WO2021106434A1 - 映像作成方法 - Google Patents

映像作成方法 Download PDF

Info

Publication number
WO2021106434A1
WO2021106434A1 PCT/JP2020/039485 JP2020039485W WO2021106434A1 WO 2021106434 A1 WO2021106434 A1 WO 2021106434A1 JP 2020039485 W JP2020039485 W JP 2020039485W WO 2021106434 A1 WO2021106434 A1 WO 2021106434A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
switching
focus
adjustment
Prior art date
Application number
PCT/JP2020/039485
Other languages
English (en)
French (fr)
Inventor
田中　康一
和田　哲
幸徳 西山
祐也 西尾
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021561219A priority Critical patent/JP7345561B2/ja
Priority to CN202080081909.8A priority patent/CN114830628B/zh
Publication of WO2021106434A1 publication Critical patent/WO2021106434A1/ja
Priority to US17/746,972 priority patent/US11689687B2/en
Priority to US18/312,566 priority patent/US20230276017A1/en
Priority to JP2023142273A priority patent/JP2023164919A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • One embodiment of the present invention relates to a video creation method of shooting a video using a shooting device and creating a video file based on the video.
  • the image of the scene may be photographed by one shooting device, and the image of each subject may be extracted and displayed from the captured images. ..
  • Examples of such a technique include the techniques described in Patent Documents 1 to 3.
  • Patent Document 1 discloses a technique of cutting out a part of an original image captured by one camera to generate a cut-out image, controlling the cut-out position, and outputting the cut-out image so that the position of the subject changes. Has been done.
  • Patent Document 2 a plurality of objects are detected based on a high-resolution wide-angle image taken by one camera, the images of the detected objects are cut out from the wide-angle image, and the images of the plurality of objects are displayed.
  • a technique for displaying in parallel on a monitor is disclosed.
  • Patent Document 3 discloses a technique of designating a plurality of arbitrary areas from an image captured by one photographing device and cutting out and outputting an image corresponding to the specified plurality of arbitrary areas. ..
  • Japanese Unexamined Patent Publication No. 11-220653 Japanese Unexamined Patent Publication No. 2004-194309 Japanese Unexamined Patent Publication No. 2014-42357
  • the image quality of the extracted image is determined according to the conditions such as the exposure amount at the time of shooting, the white balance, and the lens focus (focus). When these conditions are set to appropriate values, the extracted video has good image quality.
  • the appropriate conditions for the extracted video are determined according to the position of the extracted area in the original video. In consideration of this, when the position of the extraction region is changed, it is necessary to adjust the conditions such as the exposure amount again according to the changed extraction region.
  • the extracted image in the middle of adjusting the exposure amount condition may not be an appropriate image because the image quality is not stable and the adjustment is incomplete. Therefore, if conditions such as the exposure amount are adjusted immediately after changing the extraction area and the extracted image is displayed in the middle of the process, the viewer (user) of the image may feel uncomfortable.
  • One embodiment of the present invention has been made in view of the above circumstances, and in a configuration in which a part of an image captured by a photographing apparatus is extracted and displayed, when the extraction area is changed, the exposure amount and the like are determined. It is an object of the present invention to provide a video creation method for appropriately adjusting conditions and displaying a video.
  • the image creation method is an image creation method for creating an image file based on an image taken by a photographing apparatus including a photographing lens and an imaging element.
  • a setting process for setting a plurality of areas having a second angle of view smaller than the first angle of view and a selection area for displaying the recorded image in a plurality of areas in the shooting area of the reference image having one image angle.
  • the recording process that records the image after switching, which is the image of the selected area after the switching process, and the image after switching after displaying the image before switching, and the display period of the image before switching and the image after switching. At least one of the display process of displaying the inserted image in the period between the display period of, the exposure amount of the selected area after the switching process, the white balance of the image after switching, and the focus of the photographing lens after the switching process. It is characterized by including an adjustment step of adjusting during the display period of the inserted image.
  • the inserted video may be a video based on the video before switching and the video after switching.
  • the inserted video may be a video that is not based on any of the reference video, the pre-switching video, and the post-switching video.
  • a video file in the recording process, can be created by combining the video before switching and the video after switching.
  • the inserted video is excluded from the recording target in the recording process.
  • the exposure amount may be adjusted by adjusting the aperture amount of the incident light with respect to the photographing lens.
  • the length of the display period of the inserted image may change depending on the time required for adjusting the aperture amount or the focus in the adjustment step.
  • the required time is longer than a predetermined time, it is more preferable to display the inserted video including the information on the required time in the display process.
  • the exposure amount may be adjusted by adjusting the aperture amount of the incident light with respect to the photographing lens.
  • the adjustment speed of the aperture amount or focus is faster in the display period of the inserted image than in the period other than the display period of the inserted image.
  • the modes for adjusting the focus are the manual focus mode in which the focus is manually adjusted based on the user's operation and the autofocus in which the focus is automatically adjusted. It may be selected from the modes. Further, when the manual focus mode is selected, the focus may be automatically adjusted in the adjustment step during the display period of the inserted image.
  • the method for automatically adjusting the focus includes the first method, which is contrast autofocus, the image plane phase difference autofocus, the directional optical autofocus, and the Depth-from-Defocus method. There may be a second method of choice. Then, in the adjustment step during the display period of the inserted image, the focus may be adjusted by the second method.
  • the exposure amount may be adjusted by adjusting the aperture amount of the incident light with respect to the photographing lens.
  • the second method is image plane phase difference autofocus, and the focus may be adjusted by the second method in the adjustment step during the display period of the inserted image, regardless of the value of the aperture amount.
  • the focus is manually adjusted based on the user's operation.
  • the modes for adjusting the exposure amount are the manual adjustment mode in which the exposure amount is manually adjusted based on the user's operation, and the exposure amount is automatically adjusted. It may be selected from the auto adjustment modes. Further, when the manual adjustment mode is selected, the exposure amount may be automatically adjusted in the adjustment step during the display period of the inserted image.
  • a video creation device that creates a video file based on a video shot by a shooting device including a shooting lens and an imaging element, and a processor included in the video creation device is the first.
  • the shooting area of the reference image which is the image angle
  • the setting process of setting a plurality of areas which are the second image angle smaller than the first image angle and the selection area where the recorded image is displayed are set to a plurality of areas.
  • a selection process of selecting from among, a switching process of reselecting a selection area from a plurality of areas and switching the selection area after the selection process is performed, a pre-switching image which is an image of the selection area before the switching process, and The recording process for recording the image after switching, which is the image of the selected area after the switching process, and the image after switching after displaying the image before switching, and the display period of the image before switching and the image after switching.
  • At least one of the display process of displaying the inserted image in the period between the display period, the exposure amount of the selected area after the switching process, the white balance of the image after switching, and the focus of the photographing lens after the switching process It is feasible to implement an adjustment step that adjusts during the display period of the inserted image and an image creation device that is configured to perform.
  • the first embodiment which is an embodiment of the present invention, relates to an image creation method using the photographing apparatus 10 shown in FIGS. 1 to 3.
  • 1 and 2 show the appearance of the photographing device 10
  • FIG. 1 is a perspective view of the photographing device 10
  • FIG. 2 is a view of the photographing device 10 as viewed from the back side.
  • FIG. 3 is a block diagram showing the configuration of the photographing device 10.
  • the photographing device 10 is, for example, a digital camera and is used for image photographing.
  • the "video” means a live video (live view image), that is, a video shot in real time, unless otherwise specified.
  • the photographing device 10 shown in FIGS. 1 and 2 is a digital camera with an interchangeable lens, and includes a photographing device main body 12 and a photographing lens 14.
  • the photographing lens 14 is interchangeably attached to the mount 13 of the photographing apparatus main body 12.
  • the present invention is not limited to this, and the photographing device 10 may be a digital camera with an integrated lens.
  • the photographing lens 14 includes an optical component unit 18, a diaphragm 20, an electronic dimming filter 21, a focus drive unit 22, a diaphragm drive unit 23, and a voltage application unit 24.
  • the optical component unit 18 has a plurality of lenses, and the optical component 19 (focus lens) for focusing is included in the optical component unit 18.
  • the focusing optical component 19 moves in the direction of the optical axis L1, the focus of the photographing lens 14 changes.
  • the focus adjustment mode includes a manual focus mode and an autofocus mode.
  • the manual focus mode the focus optical component 19 moves in the direction of the optical axis L1 when the user manually turns the focus ring 16 provided on the lens barrel of the photographing lens 14.
  • the control unit 46 which will be described later, drives the focus drive unit 22 to move the focus optical component 19 in the direction of the optical axis L1, and the focus is automatically focused on the subject in the image. Is adjusted.
  • the drive motor of the focus drive unit 22 is composed of an ultrasonic motor or the like, and is provided in the photographing device main body 12 or in the photographing lens 14.
  • the optical component unit 18 includes a wide-angle lens, an ultra-wide-angle lens, a 360-degree lens, an anamorphic lens, and the like.
  • the photographing device 10 can capture an image with a wide angle of view in the lateral direction.
  • the maximum angle of view hereinafter referred to as the first angle of view
  • the image captured at the angle of view corresponds to the "reference image" in one embodiment of the present invention.
  • the photographing device 10 may include a plurality of optical component units 18 having different angles of view.
  • the diaphragm 20 is an optical component that is arranged in the optical path of the photographing lens 14 and has a variable opening shape to adjust the aperture amount (specifically, the aperture value or the F value) with respect to the light incident on the photographing lens 14. is there.
  • the aperture 20 has an opening shape that can be changed by mechanically driving a member for changing the size of the opening, for example.
  • the diaphragm is not limited to this, and a diaphragm (physical characteristic diaphragm) whose opening shape can be changed by driving a liquid crystal or electrochromic element may be used.
  • the aperture shape of the diaphragm 20, that is, the diaphragm amount, is adjusted by the diaphragm drive unit 23.
  • the electronic neutral density filter 21 is an ND (Neutral Density) filter that is arranged in the optical path of the photographing lens 14 and can change the degree of dimming electronically.
  • the electronic dimming filter 21 is composed of, for example, a liquid crystal mixed with a dimming material that absorbs light, and changes the inclination of the liquid crystal molecules to change the degree of dimming (specifically, the light transmittance). Control.
  • the electron dimming filter 21 is not limited to the liquid crystal type electron ND filter, and may be a precipitation type electron ND filter that utilizes a redox reaction of a reactant (for example, silver chloride). Further, as the electronic dimming filter 21, for example, the electronic ND filter described in Japanese Patent Application Laid-Open No. 2013-88596 or Japanese Patent Application Laid-Open No. 2019-68402 can be used.
  • the degree of dimming of the electronic dimming filter 21 is adjusted by changing the magnitude of the voltage (applied voltage) applied to the electronic dimming filter 21 by the voltage applying unit 24.
  • the photographing apparatus main body 12 includes an operation unit operated by the user.
  • a release button 26 is arranged on the upper surface of the photographing apparatus main body 12.
  • the image taken by the photographing device 10 or the recording of the image based on the photographed image is started.
  • Examples of the image based on the captured image include an image of a selected area described later.
  • the user's release instruction (that is, recording instruction) may be input to the control unit 46 via the touch operation detection function of the display 28.
  • a display 28 constituting a display screen is arranged on the back surface of the photographing device main body 12, and a plurality of buttons 30, 32, and 34 are arranged around the display 28.
  • the display 28 is composed of, for example, an LCD (Liquid Crystal Display), an organic EL (Organic Electroluminescence) display, an LED (Light Emitting Diode) display, electronic paper, or the like.
  • an image captured by the photographing device 10 or an image based on the captured image is displayed.
  • a selection menu regarding shooting conditions and the like, notification information to the user including warnings and the like, and a reproduced image of the image acquired in the past are further displayed.
  • the inserted video Pi is displayed on the display screen of the display 28.
  • the inserted video Pi is a video that is displayed for a certain period of time at a predetermined timing during the period in which the video is recorded. The inserted video Pi will be described later.
  • the display 28 has a function of detecting a touch operation of a user's finger. Further, the transmissive touch panel 36 is superimposed on the display 28 or embedded in the display 28. The touch panel 36 detects the contact position of the user's finger or stylus pen and its displacement, and outputs a signal based on the detection result to a predetermined output destination. For example, suppose that a user touches the touch panel 36 with two fingers close to each other and then performs an operation of widening the distance between the fingers (so-called pinch-out operation). In this case, the touch panel 36 detects the positions of the two fingers at the start time and the end time of the operation, and outputs a signal according to the detection result.
  • a shutter 38, an image sensor 40, an analog signal processing circuit 44, a control unit 46, an internal memory 50, a card slot 52, and a buffer 56 are provided in the housing of the photographing apparatus main body 12. ..
  • the image sensor 40 is an image sensor, and is composed of a solid-state image sensor such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor Image Sensor).
  • the image pickup device 40 has a plurality of pixels 42 arranged in a grid pattern as shown in FIG. FIG. 4 shows the correspondence between the pixels 42 of the image sensor 40 and the shooting region of the reference image.
  • Each pixel 42 has an on-chip microlens, a color filter, and a photodiode (photoelectric conversion element).
  • each pixel 42 corresponds to one of the unit areas A0 constituting the image shooting area A1.
  • the shooting area A1 is a shooting area when the shooting device 10 shoots a reference image, and its angle of view corresponds to the first angle of view.
  • the unit area A0 is an area forming the smallest unit in the photographing area A1, and is an area corresponding to the pixels 42 arranged in the vertical direction and the horizontal direction of the image sensor 40.
  • the reference image projected on the shooting area A1 is composed of the same number and unit images as the number of unit areas A0 (that is, the number of pixels 42).
  • the number of unit images in the reference image is referred to as "the number of pixels" for convenience.
  • the image sensor 40 receives light from a subject that has passed through the photographing lens 14, converts the received image into an electric signal (image signal), and outputs the light. Further, the image sensor 40 is configured so that an exposure operation using a so-called electronic shutter can be performed.
  • exposure means that the image sensor 40 performs exposure with an electronic shutter while the shutter 38 is maintained in the open state, unless otherwise specified.
  • exposure time means a time corresponding to the shutter speed of the electronic shutter, strictly speaking, a charge accumulation time.
  • the analog signal processing circuit 44 reads out an electric signal (image signal) for one frame output from the image sensor 40 for each pixel.
  • the analog signal processing circuit 44 amplifies the read image signal by an AGC (Auto Gain Controller), and performs signal processing such as correlation double sampling processing on the amplified signal.
  • the processed signal is sent to the video processing unit 48 of the control unit 46.
  • the control unit 46 controls each unit of the photographing device 10 and executes various processes related to the creation of the video file.
  • the control unit 46 includes a controller 47 and a video processing unit 48 as shown in FIG.
  • the control unit 46 is composed of, for example, one or a plurality of processors, and is composed of, for example, a CPU (Central Processing Unit) and a control program.
  • processors are not limited to this, and the above processors are FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), MPU (Micro- It may be configured by a Processing Unit) or another IC (Integrated Circuit), or may be configured by combining these.
  • the functions of the entire control unit 46 including the controller 47 and the video processing unit 48 may be configured by one IC (Integrated Circuit) chip. Good.
  • the hardware configuration of each processor described above may be realized by an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined.
  • the controller 47 comprehensively controls the photographing device 10 according to the user's operation or a specified control pattern.
  • the controller 47 controls the image sensor 40 and the analog signal processing circuit 44 so as to capture an image (moving image) at a predetermined frame rate.
  • the controller 47 determines the shooting conditions according to the shooting environment, and controls each drive unit, the image sensor 40, the analog signal processing circuit 44, and the video processing unit 48 so that the shooting conditions are the determined conditions.
  • the shooting conditions include the exposure amount when shooting an image, the white balance, the focus of the shooting lens 14, and the like. Further, the controller 47 controls the image processing unit 48 so that the captured image or the image based on the captured image is recorded on the recording medium.
  • the video processing unit 48 converts the signal sent from the analog signal processing circuit 44 into digital image data, and then performs various processing such as gamma correction, white balance correction, and scratch correction on the digital image data. Further, the video processing unit 48 compresses the processed digital image data in a compression format conforming to a predetermined standard.
  • the video processing unit 48 generates compressed digital image data at a specific frame rate during shooting of the video, and acquires the video (strictly speaking, a frame image) from the data.
  • the image (frame image) acquired at this time corresponds to an image captured at the first angle of view, that is, a reference image.
  • the video processing unit 48 executes various processes (for example, extraction processing described later) on the acquired video under the control of the controller 47, and displays the processed video frame by frame at a specific frame rate. Is output to the display 28. Further, the video processing unit 48 records the processed video on a recording medium and creates the video file. As described above, the video processing unit 48 has a video file creation function, and the photographing device 10 having the video processing unit 48 is used as a video creation device.
  • the internal memory 50 built in the photographing device main body 12 and the memory card 54 that can be attached to and detached from the photographing device main body 12 via the card slot 52 are recording media, and the image is recorded on the recording medium by the control unit 46. Will be done.
  • the internal memory 50 and the memory card 54 are composed of a flash memory, a ferroelectric memory, or the like.
  • the internal memory 50 and the memory card 54 may be outside the photographing device main body 12, and in that case, the control unit 46 may record video on an external recording medium by wire or wirelessly. ..
  • the buffer 56 functions as a work memory of the control unit 46, and is composed of, for example, a DRAM (Dynamic Random Access Memory), a ferroelectric memory, or the like.
  • a DRAM Dynamic Random Access Memory
  • ferroelectric memory or the like.
  • the processing by the control unit 46 includes a display processing, an extraction processing, a selection processing, a switching processing, a recording processing, an exposure amount adjustment processing, a focus adjustment processing, and a white balance adjustment processing.
  • a display processing an extraction processing, a selection processing, a switching processing, a recording processing, an exposure amount adjustment processing, a focus adjustment processing, and a white balance adjustment processing.
  • the display process is a process of displaying various images on the display screen of the display 28.
  • the control unit 46 starts the display process after the photographing device 10 is activated, at that time, the reference image captured by the photographing device 10 at the first angle of view, that is, the image reflected in the photographing area A1 shown in FIG. 4 is displayed. Is displayed.
  • the control unit 46 displays the image of the selected area, which will be described later, on the display screen. Further, when the selected area is switched (that is, when the switching step described later is performed), the control unit 46 displays the inserted video Pi described later on the display screen, and then the video of the selected area after the switching step. Is displayed.
  • the execution operation of the display process by the control unit 46 as described above corresponds to the display process.
  • the image displayed on the display 28 by the display process is a live image (live view image) captured in real time at that time.
  • the extraction process is a process of extracting a part of the reference video.
  • the extracted video is also called a cropped video (cut-out video) and is a recording target in the recording process.
  • the user performs an operation for setting an area to be extracted in the shooting area of the reference image. This setting operation will be specifically described with reference to FIG. FIG. 5 shows a procedure for setting an area of an image extracted from a reference image.
  • the user performs the setting operation in a state where the reference image (denoted as the symbol P1 in FIG. 5) is displayed on the display screen of the display 28.
  • the rectangular area setting frame FR is superimposed and displayed on the reference image P1 as shown in FIG.
  • the area A2 surrounded by the area setting frame FR is the area of the image extracted from the reference image P1.
  • the angle of view of the extracted image is smaller than the angle of view of the reference image P1, that is, the first angle of view, and will be referred to as the second angle of view below.
  • the area setting frame FR is displayed with its position, size, and aspect ratio variable.
  • the display position of the area setting frame FR can be changed by the user touching one side of the area setting frame FR on the touch panel 36 with a finger and dragging the finger.
  • the size and aspect ratio of the area setting frame FR can be changed by the user touching the area setting frame FR on the touch panel 36 with two fingers and widening or narrowing the distance between the fingers.
  • the above operation corresponds to the setting operation by the user. Further, by repeating the above series of operations a plurality of times, as shown in FIG. 6, a plurality of extracted video regions A2 can be set in the shooting region A1 of one reference video P1. FIG. 6 shows how a plurality of video regions A2 extracted from the reference P1 are set.
  • each region A2 When a plurality of regions A2 are set, the size (second angle of view) of each region A2 may be the same among the regions A2 or may differ between the regions A2. Further, the shape of each region A2 is not limited to a rectangle (rectangle), and may be a square, a parallelogram, a trapezoid, a rhombus, a circle or an ellipse, a polygon of a triangle or a pentagon or more, or an indefinite shape. ..
  • the number of regions A2 to be set is not particularly limited, but in the present embodiment, the number of regions A2 is two or more as shown in FIG.
  • the control unit 46 accepts each setting operation and sets a number of areas A2 corresponding to the number of setting operations in the shooting area A1 of the reference image P1. Such an operation of the control unit 46 corresponds to the setting process.
  • the reference image P1 is a high-quality image (for example, an image having 10 million or more pixels)
  • the image of the second angle of view extracted from the reference image P1 becomes a sufficiently high-quality image.
  • the number of pixels of the reference image P1 is not particularly limited, but the lower limit thereof is preferably 10 million or more, more preferably 60 million or more.
  • the upper limit of the number of pixels is preferably 1 billion or less, more preferably 500 million or less. When the number of pixels exceeds the above lower limit, the visibility of the image of the second angle of view extracted from the reference image P1 is guaranteed. When the number of pixels is less than the above upper limit, the amount of data in the reference video P1 is reduced, and the processing speed by the control unit 46 is increased.
  • the selection process is a process of selecting a selection area on which the recorded image is projected from a plurality of areas A2 set in the shooting area A1 of the reference image P1.
  • the switching process is a process of switching the selected area by reselecting the selected area from the plurality of areas A2 after the selection process.
  • the number of regions to be selected in the selection process and the switching process is one, but the number of regions is not limited to one, and two or more regions may be selected regions.
  • the user performs the above-mentioned setting operation to set a plurality of areas A2, and then selects one of the areas A2 as the selection area.
  • the area A2 selected by the user through the operation buttons 30, 32, 34, the touch panel 36, or the like is input, and the control unit 46 accepts the input operation.
  • the control unit 46 determines the selection area from the plurality of areas A2 based on the input operation of the user. Such an operation by the control unit 46 corresponds to the selection process.
  • the control unit 46 accepts the re-input operation and selects up to that point based on the re-input operation.
  • the area is switched to another area A2.
  • Such an operation by the control unit 46 corresponds to the switching process.
  • the input operation (re-input operation) performed when the user reselects the selected area is not particularly limited.
  • the re-input operation may be an operation of tapping the area A2 to be selected on the display 28, or an operation of pressing down either the up / down button or the left / right button of the first operation button 30 which is a cross key.
  • the selected area is selected from the plurality of areas A2 in the selection process, and the video of the selected area is recorded as a video file. Further, when the selection step is performed, the image of the selection area is displayed on the display screen of the display 28 as shown in FIG. 7 in conjunction with the selection step. FIG. 7 shows an image of the selected area displayed on the display screen.
  • the selection area can be switched and the image to be recorded can be changed from the image of one subject to the image of another subject.
  • individual images specifically, images close up to each subject
  • the area A2 in which the recorded video is displayed can be switched (switched) in time series according to the user's operation, and the video file in which the video before and after the switching is displayed can be easily acquired.
  • the image displayed on the display screen of the display 28 is switched from the image of the selected area before the switching process to the image of the selected area after the switching process. That is, when the control unit 46 performs the switching step during the display process, in the display step, the image of the selected area before the switching process is displayed, and then the image of the selected area after the switching process is displayed. As a result, the user can confirm the switching of the selected area on the display screen.
  • the image of the selected area after the switching process will be referred to as the image Pa after switching
  • the image of the selected area before the switching process will be referred to as the image Pb before switching.
  • FIG. 8 is an explanatory diagram of the transition of the display image accompanying the execution of the switching step.
  • the inserted video Pi is, for example, a video that is not based on any of the reference video, the video Pb before switching, and the video Pa after switching.
  • a video for example, a single color (for example, black or gray) as shown in FIG. 8 can be mentioned.
  • a video prepared in advance for example, a landscape video or a portrait video provided as a sample video
  • the inserted video Pi is not limited to the above video, and may be, for example, a video based on at least one of the post-switching video Pa and the pre-switching video Pb. For example, an image that gradually transitions (crossfades) from the image Pb before switching to the image Pa after switching may be created, and the image may be displayed as the inserted image Pi. Further, the inserted video Pi may be a still image related to the video Pb before switching.
  • the recording process is a process in which the control unit 46 records a video in the selected area on a recording medium and creates a video file (specifically, a moving image file) related to the video.
  • the operation in which the control unit 46 records the video in the selected area in the recording process corresponds to the recording process.
  • the control unit 46 records the video Pb before switching and the video Pa after switching in the recording process to create a video file. More specifically, in the recording process, the control unit 46 combines the moving image which is the video Pb before switching and the moving image which is the video Pa after switching to create a moving image file as a video file. As a result, as shown in FIG. 9, a moving image file of a video whose subject changes by switching the selected area is acquired.
  • FIG. 9 is an explanatory diagram of a moving image file of the recorded video.
  • the video recorded in the recording process is the video in the selected area, and when the switching step is performed, the video Pb before switching and the video Pa after switching are recorded.
  • the inserted video Pi is not a video that is recorded and used later, it is excluded from the recording target in the recording process.
  • a video file moving image file
  • the exposure amount adjustment process is a process for adjusting the exposure amount of the selected area, and is executed by using the AE (Automatic Exposure) function of the control unit 46.
  • the operation of the control unit 46 in the exposure amount adjustment process corresponds to an example of the adjustment step of the embodiment of the present invention.
  • the exposure amount is a plurality of parameters including the exposure time (that is, the shutter speed of the electronic shutter), the sensitivity of the pixel 42 included in the image pickup element 40 (ISO sensitivity), and the aperture amount (F value) of the incident light with respect to the photographing lens 14. Determined by.
  • the exposure amount is adjusted by determining the value of each parameter and controlling the aperture drive unit 23, the image sensor 40, the image processing unit 48, and the like so that each parameter has a determined value.
  • the diaphragm 20 is adjusted by the diaphragm drive unit 23 by using a known automatic light amount adjustment (ALC) function.
  • the shutter speed of the electronic shutter in the image sensor 40 is adjusted by using a known electronic light control (ELC) function.
  • the degree of dimming of the electronic dimming filter 21 is included in the above-mentioned plurality of parameters.
  • the exposure amount is adjusted by determining the value of the dimming degree of the electronic dimming filter 21 and controlling the voltage application unit 24 so that the dimming degree becomes the determined value.
  • the appropriate value (appropriate exposure amount) of the exposure amount of the selected area changes depending on which area is the selected area among the plurality of areas A2 set in the shooting area A1 of the reference image P1.
  • the exposure amount in each portion of the photographing region A1 including the plurality of regions A2 changes depending on the subject and the environment in each portion. That is, since the appropriate exposure amount of each region A2 in the photographing region A1 can change depending on the position of the region A2, it is determined for each region A2.
  • the appropriate exposure amount for each area A2 is determined by a known procedure.
  • R (Red), G (Green), and B (Blue) are obtained for the region A2.
  • Brightness that is, RGB pixel value
  • the pixel 42 corresponding to the unit area A0 is a pixel 42 located at the same arrangement position as the unit area A0 in the positional relationship shown in FIG.
  • the unit area A0 in the area A2 surrounded by the thick frame corresponds to the pixel 42 in the range surrounded by the thick frame in the figure.
  • the appropriate exposure amount of the region A2 is determined from the integrated value of the RGB pixel values calculated for the region A2 (specifically, the average value in the region A2).
  • the exposure amount of the selected area is adjusted based on the appropriate exposure amount determined as described above.
  • the control unit 46 determines each value of the exposure time (shutter speed), the aperture amount (F value), and the sensitivity (ISO sensitivity) of the pixel 42 based on the appropriate exposure amount in the predetermined region. ..
  • the gain (amplification ratio) for the output signal from the pixel 42 corresponding to the selected region is determined.
  • the gain may be, for example, an analog gain for an analog signal in the analog signal processing circuit 44 or the like, or a digital gain for the signal (data) after digital conversion in the video processing unit 48 or the like.
  • the control unit 46 controls the aperture drive unit 23, the image sensor 40, the image processing unit 48, and the like so that these parameters have the determined values.
  • the exposure amount when shooting the reference image including the image in the selected area is adjusted to be the target exposure amount.
  • the exposure amount adjustment process is periodically (for example, every frame) and repeatedly performed according to the above procedure. Then, the target exposure amount is set each time the exposure amount adjustment process is performed, and the exposure time, the aperture amount, and the sensitivity value are determined according to the target exposure amount. Specifically, the integrated value of the RGB pixel values in the selected area in the Nth frame image (N is a natural number) is obtained during the shooting of the moving image. After that, an appropriate exposure amount is calculated based on the obtained integrated value, and a target exposure amount is set from the calculated appropriate exposure amount. Then, the exposure time, the aperture amount, and the sensitivity when the next frame image is taken (that is, the N + 1th time) are determined according to the set target exposure amount.
  • the exposure conditions change with time, and the exposure amount of the selected area is adjusted with time accordingly.
  • “adjusting over time” means that the adjustment amount is determined for each frame for the parameter to be adjusted, and each parameter is increased or decreased by the adjustment amount for each frame.
  • the mode for adjusting the exposure amount includes a manual adjustment mode in which the user manually adjusts the exposure amount, in addition to the auto adjustment mode for automatically adjusting the exposure amount as described above.
  • the manual adjustment mode the user operates various operation buttons 30, 32, 34 or the touch panel 36 to input setting values of the above parameters (exposure time, aperture amount, sensitivity, etc.).
  • the control unit 46 controls the aperture drive unit 23, the image sensor 40, the image processing unit 48, and the like so that each parameter becomes a set value input by the user.
  • the focus adjustment process is a process in which the control unit 46 controls the focus drive unit 22 in the autofocus mode to automatically adjust the focus of the photographing lens 14.
  • the operation of the control unit 46 in the focus adjustment process corresponds to an example of the adjustment process according to the embodiment of the present invention.
  • a known autofocus technique can be used for focus adjustment in the autofocus mode.
  • Specific examples thereof include contrast autofocus, image plane phase difference autofocus, directional optical autofocus, and Depth-from-Defocus method (DFD method) autofocus.
  • the directional light autofocus is a method of irradiating a subject with light and receiving the reflected light to measure the distance to the subject and adjust the focus.
  • Examples of the directional optical autofocus include laser autofocus and autofocus using ToF (Time of Flight) technology.
  • ToF Time of Flight
  • the techniques described in JP-A-2014-98898 or JP-A-2015-200907 can be used.
  • any one of the above-mentioned methods may be adopted, or a combination of a plurality of methods may be adopted.
  • the contrast autofocus is the first method
  • any of the image plane phase difference autofocus, the directional optical autofocus, and the DFD method autofocus is the second method.
  • both the first method and the second method may be adopted, and these methods may be used properly according to the situation at the time of focus adjustment (for example, the type or brightness of the light source).
  • the first method and the second method are used in combination, and the second method is the image plane phase difference autofocus.
  • the image plane phase difference autofocus is an autofocus method having the fastest focus adjustment speed among the above-mentioned methods, although the adjustment accuracy decreases when the aperture value (F value) becomes large.
  • the white balance adjustment process is a process in which the control unit 46 automatically adjusts the white balance of the image in the selected area.
  • the white balance adjustment process is performed using a known AWB (Auto White Balance) function, for example, a technique described in JP-A-2009-33410.
  • the operation of the control unit 46 in the white balance adjustment process corresponds to an example of the adjustment process according to the embodiment of the present invention.
  • the control unit 46 executes the selection process or the switching process
  • the control unit 46 executes the adjustment process in conjunction with the selection process or the switching process.
  • the adjustment step at least one of the exposure amount of the selected area, the focus of the photographing lens 14, and the white balance of the image of the selected area is adjusted.
  • the adjustment step after the switching step is performed, at least one of the exposure amount of the selected area after the switching step, the white balance of the image Pa after the switching step, and the focus of the photographing lens 14 after the switching step is adjusted.
  • the exposure amount of the selected area and the like are adjusted during the display period of the inserted image Pi.
  • the inserted video Pi is displayed, and the exposure amount of the selected area is adjusted by using the display period.
  • the image of the selected area that is, the image Pa after switching
  • the adjustment step does not have to be completed during the display period of the inserted video Pi, and in that case, it may be performed during the display period of the video after switching.
  • the image Pa can be displayed after switching in a state where the exposure amount adjustment has been advanced to some extent, the discomfort given to the user can be alleviated.
  • the present invention is not limited to this, and a case may be used in which any of the exposure amount, focus and white balance is adjusted.
  • the user may freely select an item to be automatically adjusted (optimized) by the control unit 46 in the adjustment process from the above three items.
  • adjustment is made for the entire shooting area (that is, the first angle of view) of the reference image regardless of which area A2 is the selected area. It is good.
  • FIG. 10 is an explanatory diagram of a video creation flow according to the first embodiment.
  • the cycle of shooting one reference image (frame image) will be referred to as "1 frame" for convenience.
  • the control unit 46 makes initial settings for various conditions including shooting conditions and exposure conditions (S001).
  • shooting conditions and exposure conditions S001
  • each of a plurality of parameters that determine the exposure amount such as exposure time (shutter speed), aperture value (F value), and sensitivity (ISO sensitivity) is preset to initial values.
  • the focus, white balance, and the like of the shooting lens 14 are preset as shooting conditions when shooting an image, depending on the shooting environment and the like.
  • image shooting at the first angle of view that is, shooting of a reference image
  • the display process by the control unit 46 is performed, and the reference image, which is a live image, is displayed on the display screen of the display 28 (S002).
  • step S003 the control unit 46 sets a plurality of areas A2 in the shooting area A1 of the reference image according to the setting operation performed by the user through the reference image displayed on the display screen.
  • control unit 46 executes the selection process (S004).
  • the control unit 46 selects a selection area from the plurality of areas A2 according to the input operation of the user.
  • control unit 46 adjusts the exposure amount, focus, and white balance for the selected area (S005).
  • step S006 the control unit 46 acquires a reference image (that is, a frame image) for one frame.
  • step S007 the control unit 46 determines whether or not a predetermined time has elapsed since the previous switching of the selected area at the present time (current frame). Here, if the switching step has not been performed before that, such as in the first frame, it is determined as "Yes (predetermined time has elapsed)" in step S007.
  • step S008 the control unit 46 performs a display step and displays the image of the selected area on the display screen of the display 28. Further, in step S009, the control unit 46 performs a recording step, records the video of the selected area on the recording medium, and starts creating a moving image file which is the video file.
  • the image of the selected area displayed and recorded at this time is an image whose exposure amount, focus, and white balance have been adjusted in step S005 or step S011 described later.
  • step S013 the control unit 46 reselects and switches the selected area from the plurality of areas A2 according to the input operation of the user. After that, the process returns to step S006, and steps S006 and subsequent steps are repeated.
  • the control unit 46 When the switching step is carried out, the control unit 46 carries out the display step and inserts the display step from the time of the change until the predetermined time elapses (that is, when it is determined as "No" in S007).
  • the video Pi is displayed on the display screen (S010).
  • the control unit 46 performs the adjustment step by utilizing the display period of the inserted video Pi (S011). In such an adjustment step, the exposure amount of the selected area after the switching step, the white balance of the image Pa after the switching step, and the focus of the photographing lens 14 after the switching step are adjusted.
  • the control unit 46 interrupts the recording of the video during the display period of the inserted video Pi.
  • the present invention is not limited to this, and the control unit 46 may continue to record the video even during the display period of the inserted video Pi, that is, may create a moving image file including the inserted video Pi.
  • the length (time) of the display period of the inserted video Pi is predetermined based on the time required for adjusting the exposure amount and the like in step S011.
  • the time required for adjustment may change depending on the content of adjustment, the adjustment method, and the like. For example, when the image plane phase difference autofocus is adopted when adjusting the focus, the time required for the adjustment is shorter than when the contrast autofocus is adopted.
  • the inserted video Pi may be a single black or gray image, or may be a crossfade video that transitions from the pre-switching video Pb to the post-switching video Pa.
  • the transition speed of the image may be determined based on the time required for adjusting the exposure amount and the like in step S011.
  • the video transition speed is a value indicating the degree (increasing speed) at which the ratio of the region occupied by the video Pa after switching in the crossfade video increases per unit time.
  • the post-switching image Pa displayed at this time is an image in which adjustments such as the exposure amount have been completed for the selected area after switching.
  • the control unit 46 may display the image Pa after switching as long as the adjustment of the exposure amount and the like for the selected area after switching is approximately completed.
  • the recording process that had been interrupted until then is restarted (S009).
  • the video Pa after switching is recorded on the recording medium.
  • the video Pa after switching and the video Pb before switching are combined to create a moving image file.
  • the inserted video Pi is excluded from the recording target.
  • the moving image file created in this way as shown in FIG. 9, the video Pb before switching is immediately switched (switched) to the video Pa after switching.
  • the control unit 46 repeats the series of steps S006 to S013 described above until the user performs a predetermined operation and gives an end instruction (S014). Then, the video creation flow ends when the user gives an end instruction.
  • the inserted image Pi is displayed as a dummy image after the switching of the selected area. That is, in the present embodiment, the inserted image Pi is displayed in the period between the display period of the image Pb before switching and the display period of the image Pa after switching (strictly speaking, the image Pa after switching in which the exposure amount and the like are adjusted). To do. As a result, the image Pa after switching is not displayed at the stage where the adjustment of the exposure amount or the like is in progress, and the image Pa after switching at this stage is not shown to the user.
  • the inserted video Pi is displayed for a predetermined period after the switching step is performed.
  • the display time of the inserted video Pi may be determined based on the time required for the adjustment of the adjustment step performed after the switching step, instead of displaying the inserted video Pi only for the display time in advance.
  • the inserted video Pi may continue to be displayed until the adjustment step performed after the switching step is completed.
  • This embodiment is referred to as a second embodiment, and the second embodiment will be described below with reference to FIG.
  • FIG. 11 is an explanatory diagram of the flow of the video creation flow according to the second embodiment. In the following, items different from those of the first embodiment will be mainly described in the second embodiment.
  • each step in the video creation flow according to the second embodiment is generally common to each step in the video creation flow according to the first embodiment.
  • step S027 in the video creation flow according to the second embodiment is different from step S007 in the video creation flow according to the first embodiment.
  • the contents and execution order of each step (S021 to S026, S028 to S34) other than step S027 are the steps in the video creation flow according to the first embodiment. In common with.
  • Step S007 of the video creation flow according to the first embodiment determines whether or not a predetermined period has elapsed since the previous implementation of the adjustment step.
  • step S027 of the video creation flow according to the second embodiment it is determined whether or not the adjustment step performed in association with the switching step is completed.
  • step S027 it is determined whether or not the drive of the aperture drive unit 23 for adjusting the aperture amount is completed. .. More specifically, when the adjustment of the aperture amount is completed, the aperture drive unit 23 outputs a signal in conjunction with the adjustment. When the control unit 46 receives the output signal from the aperture drive unit 23, the control unit 46 determines that the aperture amount adjustment is completed at that time.
  • step S027 it is determined whether or not the driving of the focus driving unit 22 for the focus adjustment is completed. More specifically, when the focus adjustment is completed, the focus drive unit 22 outputs a signal in conjunction with the focus adjustment. When the control unit 46 receives the output signal from the focus drive unit 22, it determines that the focus adjustment is completed at that time.
  • control unit 46 continues to display the inserted video Pi in the display process. That is, as long as either the drive of the aperture drive unit 23 for adjusting the aperture amount or the drive of the focus drive unit 22 for adjusting the focus continues, the inserted image Pi is displayed.
  • the adjustment step is carried out along with the switching step, and in the adjustment step, the display time of the inserted image Pi is determined based on the adjustment time such as the exposure amount. For example, the inserted video Pi is displayed until the adjustment of the exposure amount and the like is completed.
  • the length of the display period of the inserted image Pi changes according to the amount of aperture in the adjustment step or the time required for adjusting the focus.
  • the control unit 46 may display the inserted image Pi as shown in FIG. 12 in the display step.
  • FIG. 12 shows a first modification example of the inserted video Pi.
  • the inserted video Pi shown in FIG. 12 contains information regarding the time required for adjustment.
  • the information regarding the time required for adjustment corresponds to, for example, the remaining time until the adjustment is completed, a message prompting the user to wait until the adjustment is completed, or the like.
  • the inserted video Pi including the information regarding the time required for the adjustment it is possible to inform the user that it takes time to adjust the aperture amount or the focus, for example.
  • the adjusting step is performed accordingly to adjust the exposure amount, the white balance, and the focus.
  • the exposure amount it is common to adjust the exposure amount so that the exposure amount gradually changes over time so as to suppress a sudden change.
  • the switching step it is necessary to promptly complete the adjustment from the viewpoint of ensuring the image quality of the image Pa after switching.
  • FIG. 13 is an explanatory diagram of a video creation flow according to the third embodiment.
  • steps S041 to S045 are common to steps S001 to S005 in the video creation flow according to the first embodiment. That is, in the video creation flow according to the third embodiment, first, various conditions are initially set, a reference video is displayed at the start of shooting the video, a plurality of areas A2 are set, and a selected area is selected from among them. Select (S041 to S044).
  • the exposure amount, focus, and white balance of the selected area are adjusted (S045).
  • the aperture drive unit 23 is controlled to change the aperture amount in order to adjust the exposure amount.
  • the focus drive unit 22 is controlled to move the focus optical component 19. At this time, each adjustment of the exposure amount and the focus is performed at a normal adjustment speed. In other words, each of the aperture drive unit 23 and the focus drive unit 22 is driven at a normal drive speed.
  • step S046 the steps after step S046 are carried out triggered by the user pressing down the release button 26 or the like. Specifically, the reference image for one frame is acquired (S046), and the image in the selected area is displayed (S048).
  • the switching step is performed to switch the selected area (S054, 055). Then, when the switching step is performed, the inserted image Pi is displayed (S052), and the exposure amount and the like are adjusted during the display period of the inserted image Pi (S053).
  • the aperture drive unit 23 changes the aperture amount to adjust the exposure amount, and the focus drive unit 22 moves the focus optical component 19 to adjust the focus.
  • the adjustment speed during the display period of the inserted video Pi is set to a speed faster than the normal adjustment speed (in other words, a period other than the display period of the inserted video Pi) (S056).
  • the adjustment speed is an adjustment speed when adjusting the aperture amount or the focus, in other words, the drive speed of the aperture drive unit 23 or the focus drive unit 22.
  • the adjustment speed during the display period of the inserted video Pi may be arbitrarily determined as long as it is faster than the normal adjustment speed, but is preferably 1.5 times or more faster than the normal adjustment speed. It is better, and more preferably, the speed is twice or more faster.
  • the aperture amount or the focus is adjusted at a speed faster than usual.
  • the aperture drive unit 23 or the focus drive unit 22 is driven at a speed faster than usual.
  • the exposure amount or the focus of the image Pa after switching is quickly optimized and reaches the target value at an early stage.
  • the inserted image Pi is displayed during the adjustment, so that the influence of the sudden change in the exposure amount or the focus (for example, a feeling of strangeness felt by the user) can be suppressed.
  • the present invention is not limited to this, and in the third embodiment, the inserted video Pi may be displayed for a predetermined period. In the third embodiment, since the adjustment speed during the display period of the inserted video Pi is faster than the normal adjustment speed, the display period of the inserted video Pi can be shortened.
  • step S050 After the adjustment of the aperture amount and the focus is completed, it is determined whether the adjustment speed has returned to the normal speed (S050). If the adjustment speed has not returned to the normal speed, the adjustment speed is set to the normal speed (S051), and then the process proceeds to step S054. On the other hand, if the adjustment speed has returned to the normal speed, the process proceeds to step S054 as it is.
  • steps S046 to S056 are repeated for each frame until the user gives an end instruction (S057). Then, when the user gives an end instruction, the video creation flow according to the third embodiment ends.
  • the mode for adjusting the focus of the photographing lens 14 includes a manual focus mode and an autofocus mode.
  • the focus is adjusted in the selected mode.
  • the focus may be adjusted once manually so as to focus on the subject, and the manual focus mode is usually selected.
  • FIG. 14 is an explanatory diagram of a video creation flow according to the fourth embodiment.
  • steps S061 to S065 are common to steps S001 to S005 in the video creation flow according to the first embodiment. That is, in the video creation flow according to the fourth embodiment, first, various conditions are initially set (S061). Here, in step S061, the focus adjustment mode is set to the manual focus mode.
  • a reference image is displayed with the start of image shooting, a plurality of areas A2 are set, a selected area is selected from the selected areas, and the exposure amount, focus, and white balance are adjusted for the selected areas (S062 to S065). .. In step S065, the exposure amount and the white balance are automatically adjusted by the control unit 46.
  • the focus is manually adjusted by the user operating the focus ring 16.
  • step S066 the steps after step S066 are carried out triggered by the user pressing down the release button 26 or the like. Specifically, the reference image for one frame is acquired (S066), and the image in the selected area is displayed (S068).
  • the switching step is performed to switch the selected area (S074, 075). Then, when the switching step is performed, the inserted image Pi is displayed (S072), and the adjustment step is performed during the display period of the inserted image Pi to adjust the exposure amount and the like (S073). In this step S073, the exposure amount and the white balance are automatically adjusted, and the focus is also automatically adjusted.
  • the focus adjustment mode which was the manual focus mode until then, is set to the autofocus mode (S076).
  • the focus is automatically adjusted under the autofocus mode. That is, in the fourth embodiment, even if the manual focus mode is normally selected, the focus is automatically adjusted immediately after the selection area is switched. As a result, it is not necessary for the user to adjust the focus each time the selection area is switched, and the convenience (usability) for the user is improved.
  • the focus is adjusted by the above-mentioned second method, and strictly speaking, the image plane phase difference autofocus is adopted for the adjustment.
  • the focus is adjusted by the image plane phase difference autofocus, which is the second method, regardless of the value of the aperture amount.
  • the aperture amount is sufficiently large (that is, when the aperture size is sufficiently small)
  • the adjustment accuracy is lowered in the image plane phase difference autofocus. Therefore, when the aperture amount becomes larger than the appropriate value, it is common to use contrast autofocus.
  • the appropriate value is the amount of aperture that is considered to be better in terms of adjustment accuracy when using contrast autofocus rather than image plane phase difference autofocus, and is expressed in F-number from F9 to F13. is there.
  • the focus adjustment speed becomes faster.
  • the focus adjustment speed is prioritized. Adopts image plane phase difference autofocus. As a result, the focus can be quickly adjusted after the selection area is switched, and the image Pa can be quickly focused after the switching.
  • the control unit 46 may display the inserted video Pi for a predetermined period. Further, in the fourth embodiment, the control unit 46 may display the image Pa after switching when the focus adjustment is almost completed.
  • step S074 it is determined whether the focus adjustment mode has returned to the manual focus mode. At this time, if the focus adjustment mode is the autofocus mode, the manual focus mode is set (S071), and then the process proceeds to step S074. On the other hand, if the adjustment speed has returned to the normal adjustment speed, the process proceeds to step S074 as it is.
  • steps S066 to S076 are repeatedly carried out until the user gives an end instruction (S077). Then, when the user gives an end instruction, the video creation flow according to the fourth embodiment ends.
  • the control unit 46 may have a full manual mode in which the focus is manually adjusted over the entire period during shooting, including the adjustment step immediately after the selection area is switched, as the focus adjustment mode.
  • the above-mentioned contents can be applied not only to the focus adjustment but also to the adjustment of the exposure amount. That is, as a mode for adjusting the exposure amount, a manual adjustment mode in which the exposure amount is manually adjusted based on the user's operation and an auto adjustment mode in which the exposure amount is automatically adjusted can be selected.
  • the manual adjustment mode is selected under such a configuration, the exposure amount may be automatically adjusted in the adjustment step immediately after switching the selected area (that is, the adjustment step during the display period of the inserted image Pi). As a result, it is not necessary for the user to adjust the exposure amount each time the selected area is switched, which improves convenience for the user.
  • the video is a moving image, that is, a set of a plurality of frame images continuously shot at a constant frame rate.
  • the recorded video is not limited to a moving image and may be a still image.
  • the control unit 46 displays the reference image as a through image on the display 28 as shown in FIG. 6, and sets a plurality of partial areas A2 in the shooting area of the reference image. Then, when the user selects one of the plurality of set areas A2 as the selection area, the control unit 46 extracts and displays the image of the selection area on the display 28 as shown in FIG. 7.
  • the control unit 46 records a still image file of the video of the selected area on the recording medium.
  • the inserted image Pi may be displayed thereafter, and the exposure amount or the like may be adjusted for the selected area after the switching by using the display period of the inserted image Pi.
  • FIG. 16 is an explanatory diagram of the flow of the video creation flow according to the fifth embodiment.
  • steps S089 and S090 related to recording the video in the selected area can be seen by comparing FIGS. 10 and 16. Is. Specifically, in the first embodiment, after displaying the video of the selected area (S008), the video of the selected area is recorded and a moving image file is created (S009).
  • the control unit 46 determines whether or not there is a recording instruction of the image of the selected area by the user (S089). If the control unit 46 determines that there is no recording instruction in this step S089, the process proceeds to step S093 for determining whether or not the selected area has been reselected. On the other hand, when the control unit 46 determines in step S089 that there is a recording instruction, the control unit 46 records the video in the selected area as a still image file on the recording medium (S090). After the video of the selected area is recorded on the recording medium, the process proceeds to step S093 for determining whether or not the selected area has been reselected.
  • the shutter speed that defines the exposure time may be the shutter speed of the electronic shutter, or the shutter speed of the shutter 38 (focal plane shutter) that is a mechanical component. May be good.
  • the photographing device 10 having an autofocus function is used, but the present invention is not limited to this, and an imaging device lacking the autofocus function may be used. That is, the focus drive unit 22 may not be provided, and the focus may be adjusted only by operating the focus ring 16 (that is, only manually). In this case, it is preferable to display the inserted video Pi as shown in FIG. 15 in the display step after switching the selected area.
  • FIG. 15 shows a second modification of the inserted video Pi.
  • the inserted video Pi shown in FIG. 15 includes guide information for manually adjusting the focus.
  • the guide information corresponds to a message or the like indicating the direction when the focus ring 16 is turned so as to be in focus.
  • the focus can be appropriately adjusted manually according to the guide information even in the photographing device without the autofocus function.
  • the photographing device 10 creates a video file as a video creation device, but the present invention is not limited to this.
  • another device connected to the photographing device by wire or wirelessly for example, a camera controller or an external recorder may be used as the image creation device. Then, a video file of a video shot by the shooting device may be created by these devices.
  • the photographing device is a digital camera, but it may be a mobile terminal such as a video camera, a mobile phone with an imaging optical system, a smartphone, or a tablet terminal.
  • the image pickup lens may be a lens unit externally attached to the image pickup optical system of the above-mentioned mobile terminal.
  • Imaging device 10 Imaging device 12 Imaging device body 13 Mount 14 Imaging lens 16 Focus ring 18 Optical component unit 19 Focus optical component 20 Aperture 21 Electronic dimming filter 22 Focus drive unit 23 Aperture drive unit 24 Voltage application unit 26 Release button 28 Display 30 1st operation button 32 2nd operation button 34 3rd operation button 36 Touch panel 38 Shutter 40 Imaging element 42 pixels 44 Analog signal processing circuit 46 Control unit 47 Controller 48 Video processing unit 50 Internal memory 52 Card slot 54 Memory card 56 Buffer A0 unit Area A1 Shooting area A2 Area L1 Optical axis Pa Image after switching Pb Image before switching Pi Inserted image FR Area setting frame

Abstract

撮影映像の一部を抽出して表示する構成で抽出領域を変えた際に露光量等の調整及び映像表示を適切に実施するための映像作成方法を提供する。　本発明の映像作成方法は、第１画角である基準映像の撮影領域の中に、第１画角よりも小さい第２画角である複数の領域を設定し、記録される映像の選択領域を複数の領域の中から選択し、選択領域を複数の領域の中から再選択して選択領域を切り替え、切り替え前映像と切り替え後映像とをそれぞれ記録し、切り替え前映像を表示した後に切り替え後映像を表示し、切り替え前映像の表示期間と切り替え後映像の表示期間との間の期間に挿入映像を表示し、選択領域の切り替え後の露光量等を挿入映像の表示期間中に調整する。

Description

映像作成方法
　本発明の一実施形態は、撮影装置を用いて映像を撮影して映像に基づく映像ファイルを作成する映像作成方法に関する。
　あるシーンにて複数の被写体の各々の映像を取得する場合に、そのシーンの映像を１台の撮影装置によって撮影し、その撮影映像の中から各被写体の映像を抽出して表示することがある。このような技術の一例としては特許文献１～３に記載の技術が挙げられる。
　特許文献１では、１台のカメラにより撮像された元画像の一部を切り出して切り出し画像を生成し、その切り出し位置を制御して、被写体の位置が変わるように切り出し画像を出力する技術が開示されている。
　特許文献２では、１台のカメラで撮影した高解像な広角映像に基づいて複数の対象物を検出し、検出された各対象物の映像を広角映像から切り出し、複数の対象物の映像をモニタに並列表示する技術が開示されている。
　特許文献３では、１台の撮影装置によって撮像された映像の中から複数の任意のエリアを指定し、指定された複数の任意のエリアに対応した映像を切り出して出力する技術が開示されている。
特開平１１－２２０６５３号公報 特開２００４－１９４３０９号公報 特開２０１４－４２３５７号公報
　映像の一部を抽出して表示する場合、抽出映像の画質は、撮影時の露光量、ホワイトバランス及びレンズフォーカス（ピント）等の条件に応じて決まる。これらの条件が適正な値に設定されると、抽出映像が良好な画質となる。
　一方、抽出映像に対する適正な条件は、元の映像における抽出領域の位置に応じて決まる。このことを考慮して、抽出領域の位置を変えた場合には、変更後の抽出領域に応じて露光量等の条件を改めて調整する必要がある。
　ただし、露光量の条件を調整している途中の段階の抽出映像は、その画質が安定せず調整未完の状態であるため、適切な映像になっていない虞がある。したがって、抽出領域を変えた直後に露光量等の条件を調整し、その途中段階で抽出映像を表示してしまうと、その映像を見る者（ユーザ）に違和感を与えてしまう可能性がある。
　本発明の一実施形態は、上記の事情に鑑みてなされたものであり、撮影装置により撮影された映像の一部を抽出して表示する構成において、抽出領域を変えたときに露光量等の条件の調整及び映像表示を適切に実施するための映像作成方法を提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態の映像作成方法は、撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成方法であって、第１画角である基準映像の撮影領域の中に、第１画角よりも小さい第２画角である複数の領域を設定する設定工程と、記録される映像が映る選択領域を、複数の領域の中から選択する選択工程と、選択工程の実施後に、選択領域を複数の領域の中から再選択して選択領域を切り替える切り替え工程と、切り替え工程前の選択領域の映像である切り替え前映像と、切り替え工程後の選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、切り替え前映像を表示した後に切り替え後映像を表示し、且つ、切り替え前映像の表示期間と切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、切り替え工程後の選択領域の露光量、切り替え後映像のホワイトバランス、及び切り替え工程後の撮影レンズのフォーカスのうちの少なくとも一つを挿入映像の表示期間中に調整する調整工程と、を備えることを特徴とする。
　また、本発明の一実施形態の映像作成方法において、挿入映像は、切り替え前映像及び切り替え後映像に基づいた映像であってもよい。あるいは、挿入映像は、基準映像、切り替え前映像及び切り替え後映像のいずれにも基づいていない映像であってもよい。
　また、本発明の一実施形態の映像作成方法において、記録工程では、切り替え前映像と切り替え後映像を結合して動画ファイルを作成することができる。
　また、記録工程において、挿入映像が記録対象から外されると、より好適である。
　また、本発明の一実施形態の映像作成方法において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。このとき、調整工程において絞り量又はフォーカスを調整する場合、挿入映像の表示期間の長さが、調整工程において絞り量又はフォーカスを調整する際の所要時間に応じて変わってもよい。
　また、所要時間が予め決められた時間以上である場合には、表示工程において、所要時間に関する情報を含む挿入映像を表示すると、より好適である。
　また、本発明の一実施形態の映像作成方法において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。このとき、調整工程において絞り量又はフォーカスを調整する場合、挿入映像の表示期間では、挿入映像の表示期間以外の期間よりも、絞り量又はフォーカスの調整速度がより速くなると、好適である。
　また、本発明の一実施形態の映像作成方法において、フォーカスを調整するモードは、ユーザの操作に基づきフォーカスが手動にて調整されるマニュアルフォーカスモード、及び、フォーカスが自動的に調整されるオートフォーカスモードの中から選択されてもよい。また、マニュアルフォーカスモードが選択されている場合、挿入映像の表示期間中における調整工程ではフォーカスが自動的に調整されてもよい。
　また、フォーカスを自動的に調整する方式には、コントラストオートフォーカスである第１方式と、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Ｄｅｐｔｈ－ｆｒｏｍ－Ｄｅｆｏｃｕｓ方式のオートフォーカスの中から選ばれる第２方式とがあってもよい。そして、挿入映像の表示期間中における調整工程では、フォーカスが第２方式にて調整されるとよい。
　さらに、上記の構成において、撮影レンズに対する入射光の絞り量を調整することで露光量が調整されてもよい。そして、第２方式は、像面位相差オートフォーカスであり、挿入映像の表示期間中における調整工程では、絞り量の値に関わらず、フォーカスが第２方式にて調整してもよい。
　また、本発明の一実施形態の映像作成方法において、撮影装置がフォーカスを自動的に調整する機能を欠く場合には、フォーカスがユーザの操作に基づいて手動にて調整されることになる。このとき、表示工程において、フォーカスを手動にて調整するためのガイド情報を含む挿入映像を表示するとよい。
　また、本発明の一実施形態の映像作成方法において、露光量を調整するモードは、ユーザの操作に基づき露光量が手動にて調整されるマニュアル調整モード、及び、露光量が自動的に調整されるオート調整モードの中から選択されてもよい。また、マニュアル調整モードが選択されている場合には、挿入映像の表示期間中における調整工程で露光量が自動的に調整されてもよい。
　さらに、本発明の一実施形態によれば、撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成装置であって、映像作成装置が備えるプロセッサが、第１画角である基準映像の撮影領域の中に、第１画角よりも小さい第２画角である複数の領域を設定する設定工程と、記録される映像が映る選択領域を、複数の領域の中から選択する選択工程と、選択工程の実施後に、選択領域を複数の領域の中から再選択して選択領域を切り替える切り替え工程と、切り替え工程前の選択領域の映像である切り替え前映像と、切り替え工程後の選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、切り替え前映像を表示した後に切り替え後映像を表示し、且つ、切り替え前映像の表示期間と切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、切り替え工程後の選択領域の露光量、切り替え後映像のホワイトバランス、及び切り替え工程後の撮影レンズのフォーカスのうちの少なくとも一つを挿入映像の表示期間中に調整する調整工程と、を実行するように構成された映像作成装置が実現可能である。
本発明の一実施形態である第１実施形態に係る撮影装置の外観の一例を示す斜視図である。 本発明の一実施形態である第１実施形態に係る撮影装置の背面側を示す背面図である。 本発明の一実施形態であるの第１実施形態に係る撮影装置の構成を示すブロック図である。 撮像素子の画素と基準映像の撮影領域との対応関係を示す図である。 基準映像から抽出される映像の領域を設定する手順を示す図である。 基準映像から抽出される映像の領域が複数設定された様子を示す図である。 表示画面に表示された選択領域の映像を示す図である。 切り替え工程の実施に伴う表示映像の遷移についての説明図である。 記録される映像の動画ファイルについての説明図である。 本発明の一実施形態である第１実施形態に係る映像作成フローについての説明図である。 本発明の一実施形態である第２実施形態に係る映像作成フローについての説明図である。 挿入映像の第１変形例を示す図である。 本発明の一実施形態である第３実施形態に係る映像作成フローについての説明図である。 本発明の一実施形態である第４実施形態に係る映像作成フローについての説明図である。 挿入映像の第２変形例を示す図である。 本発明の一実施形態である第５実施形態に係る映像作成フローについての説明図である。
　以下、本発明の好適な実施形態（第１実施形態～第５実施形態）について、添付の図面を参照しながら詳細に説明する。
　ただし、以下に説明する実施形態は、本発明の一実施形態の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明の一実施形態は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明の一実施形態には、その等価物が含まれる。
＜＜第１実施形態＞＞
　本発明の一実施形態である第１実施形態は、図１～３に示す撮影装置１０を用いた映像作成方法に関する。図１及び２は、撮影装置１０の外観を示し、図１は、撮影装置１０の斜視図であり、図２は、撮影装置１０を背面側から見た図である。図３は、撮影装置１０の構成を示すブロック図である。
　［撮影装置の基本構成］
　撮影装置１０は、例えばデジタルカメラであり、映像撮影に用いられる。以降の説明において、「映像」とは、特に断る場合を除き、ライブ映像（ライブビュー画像）、すなわちリアルタイムで撮影される映像を意味する。
　図１及び２に示す撮影装置１０は、レンズ交換式のデジタルカメラであり、撮影装置本体１２と撮影レンズ１４を備える。撮影レンズ１４は、撮影装置本体１２のマウント１３に対して交換可能に装着される。ただし、これに限定されるものではなく、撮影装置１０は、レンズ一体式のデジタルカメラであってもよい。
　（撮影レンズ）
　撮影レンズ１４は、図３に示すように、光学部品ユニット１８、絞り２０、電子減光フィルタ２１、フォーカス用駆動部２２、絞り駆動部２３、及び電圧印加部２４を含む。
　光学部品ユニット１８は、複数のレンズを有し、その中にはフォーカス用光学部品１９（フォーカスレンズ）が含まれる。フォーカス用光学部品１９が光軸Ｌ１の方向に移動すると、撮影レンズ１４のフォーカス（ピント）が変わる。
　フォーカスの調整モードには、マニュアルフォーカスモードとオートフォーカスモードがある。マニュアルフォーカスモードでは、撮影レンズ１４の鏡筒に設けられたフォーカスリング１６をユーザが手動で回すことで、フォーカス用光学部品１９が光軸Ｌ１の方向に移動する。
　オートフォーカスモードでは、後述の制御部４６がフォーカス用駆動部２２を駆動させることでフォーカス用光学部品１９を光軸Ｌ１の方向に移動させて、映像中の被写体に合焦するようにフォーカスが自動的に調整される。
　フォーカス用駆動部２２の駆動モータは、超音波モータ等によって構成され、撮影装置本体１２内又は撮影レンズ１４内に設けられる。
　光学部品ユニット１８は、広角レンズ、超広角レンズ、３６０度レンズ、又はアナモフィックレンズ等を含んでいる。これにより、撮影装置１０は、横方向に広い画角で映像を撮影することが可能である。ここで、撮影装置１０が映像を撮影するときの最大の画角（以下、第１画角と言う。）は、光学部品ユニット１８及び後述の撮像素子４０の使用等に応じて決まり、第１画角で撮影される映像が本発明の一実施形態での「基準映像」に相当する。
　なお、撮影装置１０は、互いに画角が異なる複数の光学部品ユニット１８を備えてもよい。
　絞り２０は、撮影レンズ１４の光路中に配置されて開口形状が可変に構成され、撮影レンズ１４への入射光に対する絞り量（具体的には、絞り値又はＦ値）を調整する光学部品である。絞り２０は、例えば、開口の大きさを変化させるための部材を機械的に駆動することにより開口形状が変えられるものである。ただし、これに限定されるものではなく、液晶又はエレクトロクロミック素子を駆動して開口形状が変えられる絞り（物性絞り）であってもよい。
　絞り２０の開口形状、すなわち、絞り量は、絞り駆動部２３によって調整される。
　電子減光フィルタ２１は、撮影レンズ１４の光路中に配置され、調光度合いを電子的な方式で変更可能なＮＤ（Neutral Density）フィルタである。電子減光フィルタ２１は、例えば、液晶に光を吸収する調光材料を混ぜ込んで構成されており、液晶分子の傾きを変化させて調光度合い（具体的には、光の透過率）をコントロールする。
　なお、電子減光フィルタ２１は、液晶型の電子ＮＤフィルタに限定されず、反応物質（例えば、塩化銀）の酸化還元反応を利用する析出型の電子ＮＤフィルタであってもよい。また、電子減光フィルタ２１としては、例えば、特開２０１３－８８５９６号公報、又は特開２０１９－６８４０２号公報に記載の電子ＮＤフィルタが利用可能である。
　電子減光フィルタ２１の調光度合いは、電圧印加部２４が電子減光フィルタ２１に印加する電圧（印加電圧）の大きさを変えることで調整される。
　（撮影装置本体）
　撮影装置本体１２は、図１及び２に示すように、ユーザによって操作される操作部を備える。例えば、撮影装置本体１２の上面には、レリーズボタン２６が配置されている。例えば、ユーザがレリーズボタン２６を全押しすると、撮影装置１０が撮影する映像又は撮影映像に基づく映像の記録が開始される。撮影映像に基づく映像としては、例えば、後述する選択領域の映像等が挙げられる。なお、ユーザのレリーズ指示（すなわち、記録指示）は、ディスプレイ２８によるタッチ操作の検出機能を介して、制御部４６に入力されてもよい。
　撮影装置本体１２の背面には、表示画面を構成するディスプレイ２８が配置されており、その周辺には複数のボタン３０、３２、３４が配置されている。
　ディスプレイ２８は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬ（Organic Electroluminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、又は電子ペーパー等で構成されている。ディスプレイ２８の表示画面には、撮影装置１０が撮影する映像又撮影映像に基づく映像等が表示される。
　また、ディスプレイ２８の表示画面には、撮影条件等に関する選択メニュー、警告等を含むユーザへの通知情報、及び過去に取得した映像の再生映像等がさらに表示される。
　さらに、ディスプレイ２８の表示画面には、挿入映像Ｐｉが表示される。挿入映像Ｐｉは、映像が記録される期間中、所定のタイミングで一定時間だけ表示される映像である。挿入映像Ｐｉについては、後に改めて説明する。
　ディスプレイ２８は、ユーザの指のタッチ操作を検出する機能を備えている。また、透過型のタッチパネル３６がディスプレイ２８に重ねられ、あるいはディスプレイ２８の内部に込み込まれている。タッチパネル３６は、ユーザの指又はスタイラスペン等の接触位置及びその変位を検知し、検知結果に基づく信号を所定の出力先に出力する。例えば、ユーザが、互いに近接させた二本の指でタッチパネル３６に触れた後に指間の間隔を広げる操作（所謂ピンチアウト操作）を行うとする。この場合、タッチパネル３６は、二本の指の各々の、操作開始時点及び操作終了時点の位置を検知し、その検知結果に応じた信号を出力する。
　撮影装置本体１２の筐体内には、図３に示すように、シャッタ３８、撮像素子４０、アナログ信号処理回路４４、制御部４６、内部メモリ５０、カードスロット５２、及びバッファ５６が設けられている。
　撮像素子４０は、イメージセンサであり、ＣＣＤ（Charged Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等の固体撮像素子によって構成されている。撮像素子４０は、図４に示すように升目状に配置された複数の画素４２を有する。図４は、撮像素子４０の画素４２と基準映像の撮影領域との対応関係を示している。
　それぞれの画素４２は、オンチップマイクロレンズ、カラーフィルタ、及びフォトダイオード（光電変換素子）を有する。
　また、それぞれの画素４２は、図４に示すように、映像の撮影領域Ａ１を構成する単位領域Ａ０の一つと対応している。撮影領域Ａ１は、撮影装置１０が基準映像を撮影する際の撮影領域であり、その画角は第１画角に相当する。単位領域Ａ０は、撮影領域Ａ１における最小単位をなす領域であり、撮像素子４０の縦方向及び横方向に並ぶ画素４２と対応する領域である。
　換言すると、撮影領域Ａ１に映る基準映像は、単位領域Ａ０の数（すなわち、画素４２の数）と同数と単位映像によって構成されている。なお、本明細書では、基準映像における単位映像の個数を便宜的に「画素数」と呼ぶ。
　撮像素子４０は、撮影レンズ１４を通過した被写体からの光を受光し、その受光像を電気信号（画像信号）に変換して出力する。また、撮像素子４０は、所謂電子シャッタによる露光動作が実施可能となるように構成されている。
　なお、以下の説明において「露光」とは、特に断る場合を除き、シャッタ３８を開放状態に維持したまま、撮像素子４０にて電子シャッタによる露光を行うことを意味することとする。また、「露光時間」とは、電子シャッタによるシャッタ速度に応じた時間、厳密には電荷蓄積時間を意味することとする。
　図３に示す構成において、アナログ信号処理回路４４は、撮像素子４０から出力された１フレーム分の電気信号（画像信号）を画素毎に読み出す。アナログ信号処理回路４４は、読み出した画像信号をＡＧＣ（Auto Gain Controller）によって増幅し、増幅後の信号に対して相関二重サンプリング処理等の信号処理を施す。処理済みの信号は、制御部４６の映像処理部４８に送られる。
　制御部４６は、撮影装置１０の各部を制御し、映像ファイルの作成に関する各種の処理を実行する。制御部４６は、図３に示すようにコントローラ４７及び映像処理部４８を含む。
　制御部４６は、例えば１つ又は複数のプロセッサからなり、例えばＣＰＵ（Central Processing Unit）と制御プログラムから構成される。ただし、これに限定されるものではなく、上記のプロセッサは、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はその他のＩＣ（Integrated Circuit）によって構成されてもよく、あるいは、これらを組み合わせて構成されてもよい。
　また、上記のプロセッサは、ＳｏＣ（System on Chip）等に代表されるように、コントローラ４７及び映像処理部４８を含む制御部４６全体の機能を一つのＩＣ（Integrated Circuit）チップで構成してもよい。
　なお、以上に挙げた各プロセッサのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）で実現してもよい。
　コントローラ４７は、ユーザの操作又は規定の制御パターンに従って撮影装置１０を統括的に制御する。例えば、コントローラ４７は、所定のフレームレートにて映像（動画像）を撮影するように撮像素子４０及びアナログ信号処理回路４４を制御する。
　また、コントローラ４７は、撮影環境に応じて撮影条件を決め、撮影条件が決められた条件になるように各駆動部、撮像素子４０、アナログ信号処理回路４４及び映像処理部４８を制御する。撮影条件には、映像を撮影する際の露光量、ホワイトバランス、及び撮影レンズ１４のフォーカス（ピント）等が含まれる。
　さらに、コントローラ４７は、撮影された映像、又は撮影映像に基づく映像が記録媒体に記録されるように映像処理部４８を制御する。
　映像処理部４８は、アナログ信号処理回路４４から送られてくる信号をデジタル画像データに変換した後、デジタル画像データに対してガンマ補正、ホワイトバランス補正、及び傷補正等の各種処理を行う。また、映像処理部４８は、処理後のデジタル画像データを、所定の規格に準拠した圧縮形式にて圧縮する。
　そして、映像処理部４８は、映像の撮影中、特定のフレームレートにて圧縮デジタル画像データを生成し、そのデータから映像（厳密には、フレーム画像）を取得する。このときに取得される映像（フレーム画像）は、第１画角で撮影される映像、すなわち基準映像に相当する。
　また、映像処理部４８は、コントローラ４７による制御の下、取得した映像に対して種々の処理（例えば、後述の抽出処理）を実行し、処理後の映像を特定のフレームレートにて１フレーム毎にディスプレイ２８に出力する。
　さらに、映像処理部４８は、処理後の映像を記録媒体に記録し、その映像ファイルを作成する。このように映像処理部４８が映像ファイルの作成機能を備えており、映像処理部４８を有する撮影装置１０は、映像作成装置として利用される。
　なお、以降では、特に断る場合を除き、コントローラ４７及び映像処理部４８の各々の動作及び処理を、制御部４６の動作及び処理として説明することとする。また、制御部４６による処理については、後の項で詳しく説明する。
　撮影装置本体１２に内蔵された内部メモリ５０、及び、カードスロット５２を介して撮影装置本体１２に対して着脱可能なメモリカード５４は、記録媒体であり、制御部４６により映像が記録媒体に記録される。内部メモリ５０及びメモリカード５４は、フラッシュメモリ又は強誘電体メモリ等で構成されている。なお、内部メモリ５０及びメモリカード５４は、撮影装置本体１２の外にあってもよく、その場合、制御部４６は、有線又は無線によって外部の記録媒体に対して映像の記録を行ってもよい。
　バッファ５６は、制御部４６のワークメモリとして機能し、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、又は強誘電体メモリ等で構成されている。
　［制御部による処理について］
　制御部４６による処理には、表示処理、抽出処理、選択処理、切り替え処理、記録処理、露光量調整処理、フォーカス調整処理、及びホワイトバランス調整処理が含まれる。
　以下、上述した各処理について個別に説明する。
　（表示処理）
　表示処理は、各種の映像をディスプレイ２８の表示画面に表示する処理である。例えば、撮影装置１０の起動後に制御部４６が表示処理を開始すると、その時点では、撮影装置１０が第１画角にて撮影する基準映像、つまり、図４に示す撮影領域Ａ１に映る映像が表示される。
　また、抽出処理が実行された場合、制御部４６は、後述する選択領域の映像を表示画面に表示する。さらに、選択領域が切り替えられた場合（つまり、後述の切り替え工程が実施された場合）、制御部４６は、後述の挿入映像Ｐｉを表示画面に表示し、その後に切り替え工程後の選択領域の映像を表示する。
　以上のような制御部４６による表示処理の実行動作が表示工程に該当する。なお、本実施形態では、表示処理によってディスプレイ２８に表示される映像が、その時点でリアルタイムに撮影されるライブ映像（ライブビュー画像）であることとする。
　（抽出処理）
　抽出処理は、基準映像の一部分を抽出する処理である。抽出された映像は、クロップ映像（切り出し映像）とも呼ばれ、記録処理での記録対象となる。
　抽出処理に際して、ユーザは、基準映像の撮影領域において抽出する領域を設定するための操作を行う。この設定操作について図５を参照しながら具体的に説明する。図５は、基準映像から抽出される映像の領域を設定する手順を示している。
　ユーザは、図５に示すように、ディスプレイ２８の表示画面に基準映像（図５中、記号Ｐ１と表記）が表示された状態で設定操作を行う。具体的に説明すると、基準映像Ｐ１が表示された状態においてユーザが所定のボタン操作を行うと、図５に示すように矩形状の領域設定枠ＦＲが基準映像Ｐ１に重畳されて表示される。この領域設定枠ＦＲによって囲まれる領域Ａ２が、基準映像Ｐ１から抽出される映像の領域となる。抽出される映像の画角は、基準映像Ｐ１の画角、すなわち第１画角よりも小さく、以下では第２画角と呼ぶこととする。
　領域設定枠ＦＲは、その位置、サイズ及び縦横比が可変な状態で表示される。例えば、ユーザがタッチパネル３６上で領域設定枠ＦＲの一辺に指で触れ、その指をドラッグすることで領域設定枠ＦＲの表示位置が変えられる。また、ユーザがタッチパネル３６上で領域設定枠ＦＲに二本の指で触れ、その指の間隔を広げたり狭めたりすることで領域設定枠ＦＲのサイズ及び縦横比が変えられる。このように領域設定枠ＦＲの位置、サイズ及び縦横比を変えることで、基準映像Ｐ１から抽出される映像の領域の位置、大きさ及び縦横比（アスペクト比）が変えられる。
　以上の操作がユーザによる設定操作に該当する。また、上記一連の操作を複数回繰り返すことで、図６に示すように、抽出される映像の領域Ａ２を、一つの基準映像Ｐ１の撮影領域Ａ１中に複数設定することができる。図６は、基準Ｐ１から抽出される映像の領域Ａ２が複数設定された様子を示している。
　なお、複数の領域Ａ２が設定される場合、各領域Ａ２のサイズ（第２画角）は、領域Ａ２間で揃ってもよく、あるいは領域Ａ２間で異なってもよい。
　また、各領域Ａ２の形状は、矩形（長方形）に限定されず、正方形、平行四辺形、台形、菱形、円状又は楕円状、三角形又は五角形以上の多角形、あるいは不定形であってもよい。
　また、設定される領域Ａ２の個数は、特に限定されないが、本実施形態では図６に示す通り２個以上であることとする。
　ユーザによる設定操作が複数回繰り返された場合、制御部４６は、それぞれの設定操作を受け付け、設定操作の回数に応じた数の領域Ａ２を、基準映像Ｐ１の撮影領域Ａ１中に設定する。このような制御部４６の動作が設定工程に該当する。
　なお、基準映像Ｐ１が高画質映像（例えば、画素数が１０００万以上である映像）であるときには、基準映像Ｐ１から抽出される第２画角の映像が十分に高画質な映像となる。
　基準映像Ｐ１の画素数については、特に限定されないが、その下限は、１０００万以上とするのがよく、より好ましくは６０００万以上とするのがよい。また、画素数の上限は、１０億以下とするのがよく、より好ましくは５億以下とするのがよい。画素数が上記の下限を上回ると、基準映像Ｐ１から抽出される第２画角の映像の視認性が担保される。画素数が上記の上限を下回ると、基準映像Ｐ１のデータ量が低減し、制御部４６による処理の高速化が図られる。
　（選択処理及び切り替え処理）
　選択処理は、基準映像Ｐ１の撮影領域Ａ１中に設定された複数の領域Ａ２の中から、記録される映像が映る選択領域を選択する処理である。
　切り替え処理は、選択処理の後に、選択領域を複数の領域Ａ２の中から再選択して選択領域を切り替える処理である。
　なお、本実施形態において、選択処理及び切り替え処理において選択領域とする領域の数は、１つであるが、これに限定されず、２つ以上の領域を選択領域としてもよい。
　選択処理及び切り替え処理の手順について説明すると、ユーザは、前述の設定操作を行って複数の領域Ａ２を設定した後、いずれかの領域Ａ２を選択領域として選ぶ。その後、ユーザが操作ボタン３０、３２、３４又はタッチパネル３６等を通じて選んだ領域Ａ２を入力し、その入力操作を制御部４６が受け付ける。制御部４６は、ユーザの入力操作に基づき、選択領域を複数の領域Ａ２の中から決定する。このような制御部４６による動作が選択工程に該当する。
　また、選択工程後に、ユーザが選択領域を別の領域Ａ２に選び直して入力操作を再度行うと、制御部４６が、その再入力操作を受け付けて、その再入力操作に基づき、それまでの選択領域を別の領域Ａ２に切り替える。このような制御部４６による動作が切り替え工程に該当する。
　なお、ユーザが選択領域を選び直す際に行う入力操作（再入力操作）は、特に限定されない。例えば、再入力操作は、ディスプレイ２８上で選択したい領域Ａ２をタップする操作でもよいし、十字キーである第１操作ボタン３０における上下ボタン又は左右ボタンのいずれかを押し下げる操作でもよい。
　以上のように本実施形態では、選択工程において複数の領域Ａ２の中から選択領域が選択され、選択領域の映像が映像ファイルとして記録される。また、選択工程が実施されると、それに連動して、選択領域の映像が図７に示すようにディスプレイ２８の表示画面に表示される。図７は、表示画面に表示された選択領域の映像を示している。
　また、選択工程後に切り替え工程を実施することで、選択領域を切り替えて、記録対象の映像をある被写体の映像から別の被写体の映像に変えることができる。これにより、同一シーン（同じ場所）にある複数の被写体の各々について、個別映像（詳しくは、各被写体にクローズアップした映像）を、複数の装置を用いずに一台の撮影装置１０によって同時に撮影することができる。
　また、記録される映像が映る領域Ａ２を、ユーザの操作に応じて時系列に切り替える（スイッチングする）ことができ、且つ、切り替え前後の映像が映った映像ファイルを容易に取得することができる。
　さらに、切り替え工程の実施に連動し、ディスプレイ２８の表示画面に表示される映像が、切り替え工程前の選択領域の映像から、切り替え工程後の選択領域の映像に切り替わる。つまり、制御部４６が表示工程中に切り替え工程を実施する場合、表示工程では、切り替え工程前の選択領域の映像が表示された後に、切り替え工程後の選択領域の映像が表示される。これにより、ユーザは、選択領域の切り替えを表示画面にて確認することができる。
　なお、以下では、切り替え工程後の選択領域の映像を、切り替え後映像Ｐａと呼び、切り替え工程前の選択領域の映像を、切り替え前映像Ｐｂと呼ぶこととする。
　さらにまた、制御部４６は、表示工程中に切り替え工程が実施すると、図８に示すように、表示工程において切り替え前映像Ｐｂの表示期間と切り替え後映像Ｐａの表示期間との間の期間に挿入映像Ｐｉを表示する。図８は、切り替え工程の実施に伴う表示映像の遷移についての説明図である。
　挿入映像Ｐｉは、例えば、基準映像、切り替え前映像Ｐｂ及び切り替え後映像Ｐａのいずれにも基づかない映像である。例えば、図８に示すような単一色（例えば、黒またはグレー）で塗り潰された映像が挙げられる。また、事前に用意された映像（例えば、サンプル映像として提供される風景映像又は人物映像等）も挿入映像Ｐｉとして利用可能である。
　なお、挿入映像Ｐｉは、上記の映像に限定されず、例えば、切り替え後映像Ｐａ及び切り替え前映像Ｐｂのうちの少なくとも一方に基づく映像であってもよい。例えば、切り替え前映像Ｐｂから徐々に切り替え後映像Ｐａへと遷移する（クロスフェードする）映像を作成し、その映像を挿入映像Ｐｉとして表示してもよい。また、挿入映像Ｐｉは、切り替え前映像Ｐｂに関する静止画像であってもよい。
　（記録処理）
　記録処理は、制御部４６が選択領域の映像を記録媒体に記録し、その映像に関する映像ファイル（詳しくは、動画ファイル）を作成する処理である。記録処理において制御部４６が選択領域の映像を記録する動作は、記録工程に該当する。
　また、制御部４６は、切り替え工程を実施した場合、記録工程では切り替え前映像Ｐｂと切り替え後映像Ｐａとをそれぞれ記録して映像ファイルを作成する。詳しく説明すると、制御部４６は、記録工程において、切り替え前映像Ｐｂである動画像と、切り替え後映像Ｐａである動画像とを結合して映像ファイルとしての動画ファイルを作成する。これにより、図９に示すように選択領域の切り替えによって被写体が変わる映像の動画ファイルが取得される。図９は、記録される映像の動画ファイルについての説明図である。
　なお、図９から分かるように、記録工程において記録される映像が選択領域の映像であり、切り替え工程が実施される場合には、切り替え前映像Ｐｂ及び切り替え後映像Ｐａが記録される。一方、挿入映像Ｐｉは、記録して後に利用される映像ではないため、記録工程において記録対象から外される。これにより、図９に示すような被写体が映った映像のみが記録されるように、映像ファイル（動画ファイル）を適切に作成することができる。
　（露光量調整処理）
　露光量調整処理は、選択領域の露光量を調整する処理であり、制御部４６のＡＥ（Automatic Exposure）機能を利用して実行される。露光量調整処理における制御部４６の動作は、本発明の一実施形態の調整工程の一例に相当する。
　露光量は、露光時間（つまり、電子シャッタのシャッタ速度）、撮像素子４０が備える画素４２の感度（ＩＳＯ感度）、及び、撮影レンズ１４に対する入射光の絞り量（Ｆ値）を含む複数のパラメータによって決められる。各パラメータの値を決め、各パラメータが決められた値となるように絞り駆動部２３、撮像素子４０及び映像処理部４８等を制御することで露光量が調整される。ここで、絞り駆動部２３による絞り２０の調整は、公知の自動光量調整（Automatic Light Control：ＡＬＣ）機能を利用して行われる。また、撮像素子４０における電子シャッタのシャッタ速度の調整は、公知の電子光制御（Electronic Light Control：ＥＬＣ）機能を利用して行われる。
　また、撮影レンズ１４に電子減光フィルタ２１が備わっている場合には、上記複数のパラメータに電子減光フィルタ２１の調光度合いが含められる。この場合、電子減光フィルタ２１の調光度合いの値を決め、調光度合いが決められた値となるように電圧印加部２４を制御することで、露出量が調整される。
　ところで、選択領域の露光量の適正値（適正露光量）は、基準映像Ｐ１の撮影領域Ａ１中に設定された複数の領域Ａ２のうち、どの領域が選択領域であるかに応じて変わる。
　より詳しく説明すると、基準映像Ｐ１を撮影するとき、複数の領域Ａ２を含む撮影領域Ａ１の各箇所での露光量は、各箇所に在る被写体及び環境等に応じて変化する。すなわち、撮影領域Ａ１中の各領域Ａ２の適正露光量は、その領域Ａ２の位置に応じて変わり得るので、領域Ａ２毎に決められる。
　各領域Ａ２の適正露光量は、公知の手順によって決められる。一例を挙げると、撮像素子４０中、ある領域Ａ２を構成する単位領域Ａ０と対応する画素４２から出力される画像信号から、その領域Ａ２について、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の輝度（すなわち、ＲＧＢ画素値）を積算する。ここで、単位領域Ａ０と対応する画素４２は、図４に示す位置関係において当該単位領域Ａ０と同じ配置位置にある画素４２である。例えば、図４中、太枠で囲まれた領域Ａ２中の単位領域Ａ０は、同図中、太枠で囲まれた範囲内にある画素４２と対応している。そして、上記の領域Ａ２について算出したＲＧＢ画素値の積算値（詳しくは、領域Ａ２内の平均値）から、その領域Ａ２の適正露光量が決まる。
　選択領域の露光量は、上述の要領で決められる適正露光量に基づいて調整される。具体的に説明すると、制御部４６が、所定領域の適正露光量に基づいて、露光時間（シャッタ速度）、絞り量（Ｆ値）、及び画素４２の感度（ＩＳＯ感度）の各々の値を決める。
　なお、感度（ＩＳＯ感度）については、選択領域と対応する画素４２からの出力信号に対するゲイン（増幅比）が決められる。ここで、ゲインは、例えばアナログ信号処理回路４４等におけるアナログ信号に対するアナログゲインでもよく、映像処理部４８等におけるデジタル変換後の信号（データ）に対するデジタルゲインでもよい。
　そして、露光時間、絞り量及び感度が決められた後、これらのパラメータが決められた値になるように制御部４６が絞り駆動部２３、撮像素子４０及び映像処理部４８等を制御する。これにより、選択領域の映像を含む基準映像を撮影する際の露光量が目標露光量となるように調整される。
　映像が記録される間、以上の手順にて露光量調整処理が定期的に（例えば、１フレーム毎に）繰り返し実施される。そして、露光量調整処理が実施される度に目標露光量が設定され、目標露光量に応じて露光時間、絞り量及び感度の値が決定される。
　具体的に説明すると、映像の撮影中、Ｎ回目（Ｎは自然数）のフレーム画像における選択領域内のＲＧＢ画素値の積算値を求める。その後、求めた積算値に基づく適正露光量を算出し、算出した適正露光量から目標露光量を設定する。そして、設定した目標露光量に応じて、次回（すなわち、Ｎ＋１回目）のフレーム画像を撮影する際の露光時間、絞り量、及び感度を決定する。
　また、露光量調整処理が１フレーム毎に実施されることで、露光条件（露光時間、絞り量及び感度）が経時的に変化し、これに伴って、選択領域の露光量が経時的に調整される。ここで、「経時的に調整する」とは、調整対象のパラメータについて１フレーム毎に調整量を決め、１フレーム毎に各パラメータを当該調整量だけ増減させることを意味する。
　ちなみに、本実施形態において、露光量を調整するモードには、上述した要領で自動的に露光量を調整するオート調整モードの他に、ユーザが手動にて調整するマニュアル調整モードがある。マニュアル調整モードでは、ユーザが各種の操作ボタン３０、３２、３４又はタッチパネル３６を操作して上記のパラメータ（露光時間、絞り量、及び感度等）の設定値を入力する。そして、制御部４６が、各パラメータがユーザによって入力された設定値となるように絞り駆動部２３、撮像素子４０及び映像処理部４８等を制御する。
　（フォーカス調整処理）
　フォーカス調整処理は、オートフォーカスモードにおいて制御部４６がフォーカス用駆動部２２を制御して撮影レンズ１４のフォーカスを自動的に調整する処理である。フォーカス調整処理における制御部４６の動作は、本発明の一実施形態の調整工程の一例に相当する。
　オートフォーカスモードによるフォーカス調整には、公知のオートフォーカス技術が利用可能である。その具体例としては、コントラストオートフォーカス、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Ｄｅｐｔｈ－ｆｒｏｍ－Ｄｅｆｏｃｕｓ方式（ＤＦＤ方式）のオートフォーカス等が挙げられる。
　なお、指向性光オートフォーカスは、被写体に向けて光を照射して、その反射光を受光することで被写体までの距離を測定してフォーカスを調整する方式である。指向性光オートフォーカスとしては、レーザーオートフォーカス、及びＴｏＦ（Time of Flight）技術を用いたオートフォーカス等が挙げられる。
　また、ＤＦＤ方式のオートフォーカスとしては、例えば、特開２０１４－９８８９８号公報又は特開２０１５－２００９０７号公報に記載された技術が利用可能である。
　オートフォーカスとしては、上述した方式のいずれか一つを採用してもよく、あるいは、複数の方式を組み合わせて採用してもよい。後者のケースでは、コントラストオートフォーカスを第１方式とし、像面位相差オートフォーカス、指向性光オートフォーカス、及び、ＤＦＤ方式のオートフォーカスの中から選ばれるいずれかの方式を第２方式とする。そして、第１方式と第２方式の両方を採用し、これらの方式を、フォーカス調整時の状況（例えば、光源の種類又は明るさ等）に応じて使い分けてもよい。
　なお、本実施形態では、第１方式及び第２方式を併用し、また、第２方式が像面位相差オートフォーカスであることとする。ここで、像面位相差オートフォーカスは、絞り値（Ｆ値）が大きくなった場合に調整精度が低下するものの、上述した方式の中でフォーカス調整速度が最も速いオートフォーカス方式である。
　（ホワイトバランス調整処理）
　ホワイトバランス調整処理は、選択領域の映像のホワイトバランスを制御部４６によって自動的に調整する処理である。ホワイトバランス調整処理は、公知のＡＷＢ（Auto White Balance）機能、例えば特開２００９－３３４１０号公報に記載された技術を利用して実行される。なお、ホワイトバランス調整処理における制御部４６の動作は、本発明の一実施形態の調整工程の一例に相当する。
　［調整工程について］
　制御部４６は、選択工程又は切り替え工程を実施すると、これに連動する形で調整工程を実施する。調整工程では、選択領域の露光量、撮影レンズ１４のフォーカス、及び、選択領域の映像のホワイトバランスのうちの少なくとも一つを調整する。特に、切り替え工程が実施された後の調整工程では、切り替え工程後の選択領域の露光量、切り替え後映像Ｐａのホワイトバランス、及び切り替え工程後の撮影レンズ１４のフォーカスのうちの少なくとも一つが調整される。このとき、選択領域の露光量等が挿入映像Ｐｉの表示期間中に調整される。
　以上のように、第１実施形態では、挿入映像Ｐｉを表示し、その表示期間を利用して選択領域の露光量等を調整する。これにより、露光量等を調整している途中の段階で選択領域の映像（すなわち、切り替え後映像Ｐａ）を表示する必要がない。このため、調整未完の状態で映像を表示することでユーザに違和感を与えてしまう状況を回避することができる。なお、調整工程は、挿入映像Ｐｉの表示期間中に完了しなくてもよく、その場合には、切り替え後映像の表示期間中にも行われてもよい。かかる実施形態であっても、露光量調整がある程度進んだ状態で切り替え後映像Ｐａを表示することができるので、ユーザに与える違和感を緩和することができる。
　なお、以下では、調整工程において露光量、フォーカス及びホワイトバランスを調整するケースを例に挙げて説明する。ただし、これに限定されるものではなく、露光量、フォーカス及びホワイトバランスのいずれかを調整するケースでもよい。かかるケースでは、上記３つの項目のうち、調整工程にて制御部４６によって自動的に調整（適正化）する項目をユーザが自由に選択できるようにしてもよい。このとき、ユーザに選択されなかった項目については、選択領域がどの領域Ａ２であるかに関わらず、基準映像の撮影領域（すなわち、第１画角）全体に対して調整（最適化）がなされるとよい。
　［第１実施形態に係る映像作成の流れについて］
　図１０を参照しながら、第１実施形態に係る映像作成の流れを説明する。図１０は、第１実施形態に係る映像作成フローについての説明図である。
　なお、以下では、１つの基準映像（フレーム画像）を撮影する周期を便宜上、「１フレーム」と呼ぶこととする。
　映像作成フローに際して、ユーザは、先ず、撮影装置１０を起動する。装置起動後には、制御部４６が、撮影条件及び露光条件を含む各種の条件について初期設定を行う（Ｓ００１）。このステップＳ００１において、露光時間（シャッタ速度）、絞り値（Ｆ値）及び感度（ＩＳＯ感度）等、露光量を決定する複数のパラメータの各々が初期値にプリセットされる。同様に、ステップＳ００１では、映像を撮影する際の撮影条件として、撮影レンズ１４のフォーカス（ピント）及びホワイトバランス等が撮影環境等に応じてプリセットされる。
　その後、撮影装置１０による第１画角での映像撮影（すなわち、基準映像の撮影）が開始される。これに連動して、制御部４６による表示工程が実施され、ライブ映像である基準映像がディスプレイ２８の表示画面に表示される（Ｓ００２）。
　ユーザが前述した設定操作を複数回行い、制御部４６が、それぞれの設定操作を受け付けて設定工程を実施する（Ｓ００３）。このステップＳ００３では、制御部４６が、表示画面に表示された基準映像を通じてユーザが行った設定操作に応じて、基準映像の撮影領域Ａ１中に複数の領域Ａ２を設定する。
　また、ユーザが複数の領域Ａ２の中から選択領域を選択し、その選択結果を、タッチパネル３６等を通じて入力すると、制御部４６が選択工程を実施する（Ｓ００４）。このステップＳ００４では、制御部４６が、ユーザの入力操作に応じて複数の領域Ａ２の中から選択領域を選択する。
　選択領域の選択後、制御部４６は、選択領域について露光量、フォーカス及びホワイトバランスを調整する（Ｓ００５）。
　その後、ユーザが映像の記録を開始するためにレリーズボタン２６を押す等の操作を行うと、ステップＳ００６以降の工程が実施される。
　先ず、ステップＳ００６では、制御部４６が１フレーム分の基準映像（つまり、フレーム画像）を取得する。次のステップＳ００７において、制御部４６は、現時点（現在のフレーム）で前回の選択領域の切替えから所定時間が経過しているかどうかを判定する。ここで、１回目のフレーム等、それ以前に切り替え工程が実施されていない場合には、ステップＳ００７では「Ｙｅｓ（所定時間が経過した）」と判定される。
　ステップＳ００７で「Ｙｅｓ（所定時間が経過した）」と判定された場合、ステップＳ００８において、制御部４６が表示工程を実施し、選択領域の映像をディスプレイ２８の表示画面に表示する。また、ステップＳ００９において、制御部４６は、記録工程を実施し、選択領域の映像を記録媒体に記録し、その映像ファイルである動画ファイルの作成を開始する。このときに表示及び記録される選択領域の映像は、ステップＳ００５又は後述のステップＳ０１１にて露光量、フォーカス及びホワイトバランスが調整された映像である。
　また、ユーザが選択領域を一度選んだ後に選び直して入力操作を再度行った場合（Ｓ０１２）、制御部４６が切り替え工程を実施する（Ｓ０１３）。ステップＳ０１３では、制御部４６が、ユーザの入力操作に応じて、選択領域を複数の領域Ａ２の中から再選択して切り替える。その後、ステップＳ００６に戻り、ステップＳ００６以降が繰り返される。
　切り替え工程が実施された場合には、制御部４６は、その実施時点から所定時間が経過するまでの間（すなわち、Ｓ００７にて「Ｎｏ」と判定された場合）、表示工程を実施して挿入映像Ｐｉを表示画面に表示する（Ｓ０１０）。また、制御部４６は、挿入映像Ｐｉの表示期間を利用して調整工程を実施する（Ｓ０１１）。かかる調整工程では、切り替え工程後の選択領域の露光量、切り替え後映像Ｐａのホワイトバランス、及び、切り替え工程後の撮影レンズ１４のフォーカスが調整される。なお、第１実施形態において、挿入映像Ｐｉの表示期間中、制御部４６は、映像の記録を中断する。ただし、これに限定されず、制御部４６は、挿入映像Ｐｉの表示期間中も映像を記録し続けてもよく、つまり、挿入映像Ｐｉを含めた動画ファイルを作成してもよい。
　第１実施形態において、挿入映像Ｐｉの表示期間の長さ（時間）は、ステップＳ０１１における露光量等の調整の所要時間に基づいて予め決められている。ここで、調整の所要時間は、調整内容及び調整方式等に応じて変わる場合がある。例えば、フォーカスを調整する際に像面位相差オートフォーカスを採用する場合には、コントラストオートフォーカスを採用する場合と比較して調整の所要時間が短くなる。以上の点を考慮し、挿入映像Ｐｉの表示期間の長さを決める際には、調整内容及び調整方式等に応じて決めるのがよい。
　また、挿入映像Ｐｉは、前述したように、黒またはグレーの単一画像であってもよく、切り替え前映像Ｐｂから切り替え後映像Ｐａへと遷移するクロスフェード映像であってもよい。クロスフェード映像を表示する場合には、映像の遷移速度を、ステップＳ０１１における露光量等の調整の所要時間に基づいて決めるとよい。ここで、映像の遷移速度とは、クロスフェード映像の中で切り替え後映像Ｐａが占める領域の割合が単位時間あたりに増加する度合い（増加速度）を表す値である。
　そして、前回の切り替え工程が実施されてから所定時間（すなわち、挿入映像Ｐｉの表示期間）が経過した後には、挿入映像Ｐｉの表示が終了し、切り替え後映像Ｐａが表示されるようになる（Ｓ００８）。このときに表示される切り替え後映像Ｐａは、切り替え後の選択領域について露光量等の調整が完了した状態の映像である。なお、制御部４６は、切り替え後の選択領域について露光量等の調整がおおよそ完了した状態であれば、切り替え後映像Ｐａを表示してもよい。
　また、前回の切り替え工程から所定時間（すなわち、挿入映像Ｐｉの表示期間）が経過した時点で、それまで中断していた記録工程が再開される（Ｓ００９）。再開された記録工程では切り替え後映像Ｐａが記録媒体に記録される。このとき、切り替え後映像Ｐａと切り替え前映像Ｐｂとが結合されて動画ファイルが作成される。また、前述したように、挿入映像Ｐｉは、記録対象から外される。このようにして作成される動画ファイルでは、図９に示すように切り替え前映像Ｐｂから切り替え後映像Ｐａへ直ちに切り替わる（スイッチングする）。
　制御部４６は、ユーザが所定の操作を行って終了指示を行うまで、上述した一連のステップＳ００６～Ｓ０１３を繰り返す（Ｓ０１４）。そして、ユーザからの終了指示があった時点で映像作成フローが終了する。
　以上のように本実施形態では、選択領域の切り替えに伴って露光量等を調整する場合に、選択領域の切り替え後にダミーの映像として挿入映像Ｐｉを表示する。つまり、本実施形態では、切り替え前映像Ｐｂの表示期間と切り替え後映像Ｐａ（厳密には、露光量等が調整された切り替え後映像Ｐａ）の表示期間との間の期間に挿入映像Ｐｉを表示する。これにより、露光量等の調整が途中である段階で切り替え後映像Ｐａを表示せず、この段階の切り替え後映像Ｐａをユーザに見せないようにすることができる。
＜＜第２実施形態＞＞
　第１実施形態では、切り替え工程の実施後、予め決められた期間だけ挿入映像Ｐｉを表示することとした。
　他方、挿入映像Ｐｉが予め表示時間だけ表示されるのではなく、切り替え工程後に実施される調整工程の調整に要する時間に基づいて挿入映像Ｐｉの表示時間が決められてもよい。例えば、挿入映像Ｐｉは、切り替え工程後に実施される調整工程が完了するまで表示し続けてもよい。この形態を第２実施形態とし、図１１を参照しながら、第２実施形態について以下に説明する。図１１は、第２実施形態に係る映像作成フローの流れについての説明図である。
　なお、以下では、第２実施形態のうち、第１実施形態と異なる事項を主として説明することとする。
　第２実施形態に係る映像作成フロー中の各ステップは、図１０及び１１を比較すると分かるように、第１実施形態に係る映像作成フロー中の各ステップと概ね共通する。
　具体的に説明すると、第２実施形態に係る映像作成フローにおけるステップＳ０２７は、第１実施形態に係る映像作成フローにおけるステップＳ００７と相違する。その点を除き、第２実施形態に係る映像作成フロー中、ステップＳ０２７以外の各ステップ（Ｓ０２１～Ｓ０２６、Ｓ０２８～Ｓ３４）の内容及び実施順序は、第１実施形態に係る映像作成フロー中のステップと共通する。
　第１実施形態に係る映像作成フローのステップＳ００７は、前回の調整工程の実施から所定期間が経過しているかどうかを判定するものであった。これに対して、第２実施形態に係る映像作成フローのステップＳ０２７では、切り替え工程に伴って実施された調整工程が完了しているかどうかを判定する。
　具体的に説明すると、調整工程において露光量が目標露光量となるように絞り量を調整する場合、ステップＳ０２７では、絞り量調整のための絞り駆動部２３の駆動が完了したかどうかを判定する。より詳しく説明すると、絞り量の調整が完了すると、それに連動して絞り駆動部２３が信号を出力する。制御部４６は、絞り駆動部２３からの出力信号を受信すると、その時点で絞り量調整が完了したと判定する。
　また、調整工程において選択領域の映像に映る被写体に合焦するようにフォーカスを調整する場合、ステップＳ０２７では、フォーカス調整のためのフォーカス用駆動部２２の駆動が完了したかどうかを判定する。より詳しく説明すると、フォーカス調整が完了すると、それに連動してフォーカス用駆動部２２が信号を出力する。制御部４６は、フォーカス用駆動部２２からの出力信号を受信すると、その時点でフォーカス調整が完了したと判定する。
　そして、ステップＳ０２７において調整が未だ完了していないと判定される期間中、制御部４６は、表示工程にて挿入映像Ｐｉを表示し続ける。つまり、絞り量調整のための絞り駆動部２３の駆動、又はフォーカス調整のためのフォーカス用駆動部２２の駆動のいずれかが続く限り、挿入映像Ｐｉを表示する。
　以上のように第２実施形態では、切り替え工程に伴って調整工程が実施され、その調整工程において、露光量等の調整時間に基づいて挿入映像Ｐｉの表示時間を決定する。例えば、露光量等の調整が完了するまで挿入映像Ｐｉを表示する。換言すると、第２実施形態では、調整工程での絞り量又はフォーカスの調整に要する時間に応じて挿入映像Ｐｉの表示期間の長さが変わる。これにより、露光量等の調整が大よそ完了するまでは、切り替え後映像Ｐａを確実にユーザに見せないようにすることができる。この結果、調整途中の切り替え後映像Ｐａを表示することでユーザに与える違和感を、効果的に抑えることができる。
　また、第２実施形態において、調整の所要時間が予め決められた時間以上になる場合、制御部４６は、表示工程において、図１２に示すような挿入映像Ｐｉを表示するとよい。図１２は、挿入映像Ｐｉの第１変形例を示している。
　図１２に示す挿入映像Ｐｉは、調整の所要時間に関する情報を含んでいる。ここで、調整の所要時間に関する情報としては、例えば調整完了までの残り時間、又は、ユーザに対して調整完了まで待機を促すメッセージ等が該当する。
　以上のように、調整の所要時間に関する情報を含む挿入映像Ｐｉを表示することで、例えば絞り量又はフォーカスの調整に時間を要すること等をユーザに知らせることができる。
＜＜第３実施形態＞＞
　前述の実施形態で述べたように、切り替え工程を実施して選択領域を切り替える場合には、それに伴って調整工程を実施して露光量、ホワイトバランス及びフォーカスを調整する。露光量等を調整する際には、通常、急な変化を抑えるように時間を掛けて徐々に露光量が変化するように調整するのが一般的である。ただし、切り替え工程を実施した場合には、切り替え後映像Ｐａの画質を確保する観点から速やかに調整を完了させる必要がある。
　上記の点を考慮すると、切り替え工程の実施直後には、通常より速い速度にて露光量等を調整することが好ましい。かかる形態を第３実施形態とし、図１３を参照しながら、第３実施形態について以下に説明する。図１３は、第３実施形態に係る映像作成フローについての説明図である。
　図１３から分かるように、第３実施形態に係る映像作成フローのうち、ステップＳ０４１～Ｓ０４５は、第１実施形態に係る映像作成フローにおけるステップＳ００１～Ｓ００５と共通する。すなわち、第３実施形態に係る映像作成フローでは、先ず、各種条件の初期設定を行い、映像の撮影開始に伴って基準映像を表示し、複数の領域Ａ２を設定し、その中から選択領域を選択する（Ｓ０４１～Ｓ０４４）。
　選択領域が選択されると、選択領域について露光量、フォーカス及びホワイトバランスを調整する（Ｓ０４５）。本ステップＳ０４５では、露光量を調整するために絞り駆動部２３を制御して絞り量を変更する。また、フォーカスを調整するためにフォーカス用駆動部２２を制御してフォーカス用光学部品１９を移動させる。このとき、露光量及びフォーカスの各々の調整は、通常の調整速度にて行われる。換言すると、絞り駆動部２３及びフォーカス用駆動部２２の各々が通常の駆動速度にて駆動される。
　その後、ユーザによるレリーズボタン２６の押下げ操作等を契機として、ステップＳ０４６以降の工程が実施される。具体的に説明すると、１フレーム分の基準映像を取得し（Ｓ０４６）、選択領域の映像を表示する（Ｓ０４８）。
　また、選択領域の再選択が行われた場合には、切り替え工程を実施して選択領域を切り替える（Ｓ０５４、０５５）。そして、切り替え工程が実施された場合には挿入映像Ｐｉを表示し（Ｓ０５２）、挿入映像Ｐｉの表示期間中に露光量等の調整が行われる（Ｓ０５３）。本ステップＳ０５３では、ステップＳ０４５と同様、絞り駆動部２３によって絞り量を変更して露光量を調整し、フォーカス用駆動部２２によってフォーカス用光学部品１９を移動させてフォーカスを調整する。
　また、第３実施形態では、挿入映像Ｐｉの表示期間中の調整速度を、通常（換言すると、挿入映像Ｐｉの表示期間以外の期間）の調整速度より速い速度に設定する（Ｓ０５６）。ここで、調整速度とは、絞り量又はフォーカスを調整する際の調整速度であり、換言すると、絞り駆動部２３又はフォーカス用駆動部２２の駆動速度である。
　なお、挿入映像Ｐｉの表示期間中の調整速度は、通常の調整速度よりも速い限り、任意に決めてもよいが、好ましくは、通常の調整速度に対して１．５倍以上速い速度であるのがよく、より好ましくは２倍以上速い速度であるとよい。
　以上のように、第３実施形態では、挿入映像Ｐｉの表示期間中に実施される調整工程では、通常よりも速い速度にて絞り量又はフォーカスを調整する。換言すると、挿入映像Ｐｉが表示されている間は、絞り駆動部２３又はフォーカス用駆動部２２を通常よりも速い速度にて駆動する。これにより、切り替え後映像Ｐａについて、露光量又はフォーカスが速やかに適正化されて早期に目標値に到達する。また、露光量又はフォーカスを急速に変えたとしても、調整中には挿入映像Ｐｉを表示するので、露光量又はフォーカスの急変による影響（例えば、ユーザが感じる違和感）が抑えられる。
　また、第３実施形態では、第２実施形態と同様、切り替え工程後の絞り量調整及びフォーカス調整が完了したかどうかを判定し（Ｓ０４７）、これらの調整が完了するまで挿入映像Ｐｉが表示される。ただし、これに限定されるものではなく、第３実施形態において、予め決められた期間だけ挿入映像Ｐｉを表示してもよい。
　なお、第３実施形態では、挿入映像Ｐｉの表示期間中の調整速度が通常の調整速度より速いので、挿入映像Ｐｉの表示期間をより短くすることができる。
　絞り量及びフォーカスの調整が完了した後には、調整速度が通常の速度に戻っているかを判定する（Ｓ０５０）。調整速度が通常の速度に戻っていなければ、調整速度を通常の速度に設定し（Ｓ０５１）、その後にステップＳ０５４に移行する。他方、調整速度が通常の速度に戻っていれば、そのままステップＳ０５４に移行する。
　以上までの一連の工程（すなわち、ステップＳ０４６～Ｓ０５６）は、ユーザが終了指示を行うまでの間、１フレーム毎に繰り返される（Ｓ０５７）。そして、ユーザの終了指示があった時点で、第３実施形態に係る映像作成フローが終了する。
＜＜第４実施形態＞＞
　撮影レンズ１４のフォーカスを調整するモードには、マニュアルフォーカスモードとオートフォーカスモードがある。これら２つのモードが選択可能な撮影装置１０では、選択された方のモードにてフォーカスが調整される。被写体を固定して映像を撮影する場合、その被写体に合焦するようにフォーカスを手動で一度調整すればよく、通常はマニュアルフォーカスモードが選択される。
　一方で、撮影映像から一部の領域の映像（すなわち、選択領域の映像）を抽出する構成において選択領域を切り替える場合には、切り替えられた後の選択領域に対してフォーカスを調整する必要がある。このとき、マニュアルフォーカスモードが選択されていても、挿入映像Ｐｉの表示期間中は、切り替えられた選択領域に対してフォーカスを自動的に調整するのが好ましい。これは、挿入映像Ｐｉの表示期間中にはユーザが切り替え後の選択領域の映像（すなわち、切り替え後映像Ｐａ）を確認できないからである。
　以上の形態を第４実施形態とし、図１４を参照しながら、第４実施形態について以下に説明する。図１４は、第４実施形態に係る映像作成フローについての説明図である。
　図１４から分かるように、第４実施形態に係る映像作成フローのうち、ステップＳ０６１～Ｓ０６５は、第１実施形態に係る映像作成フローにおけるステップＳ００１～Ｓ００５と共通する。すなわち、第４実施形態に係る映像作成フローでは、先ず、各種条件の初期設定を行う（Ｓ０６１）。ここで、ステップＳ０６１では、フォーカスの調整モードがマニュアルフォーカスモードに設定されることとする。
　その後、映像の撮影開始に伴って基準映像を表示し、複数の領域Ａ２を設定し、その中から選択領域を選択し、選択領域について露光量、フォーカス及びホワイトバランスを調整する（Ｓ０６２～Ｓ０６５）。ステップＳ０６５では、露光量及びホワイトバランスが制御部４６によって自動的に調整される。フォーカスについては、ユーザがフォーカスリング１６を操作する等して手動にて調整する。
　その後、ユーザによるレリーズボタン２６の押下げ操作等を契機として、ステップＳ０６６以降の工程が実施される。具体的に説明すると、１フレーム分の基準映像を取得し（Ｓ０６６）、選択領域の映像を表示する（Ｓ０６８）。
　また、選択領域の再選択が行われた場合には、切り替え工程を実施して選択領域を切り替える（Ｓ０７４、０７５）。そして、切り替え工程が実施された場合には挿入映像Ｐｉを表示し（Ｓ０７２）、挿入映像Ｐｉの表示期間中に調整工程を実施して露光量等を調整する（Ｓ０７３）。本ステップＳ０７３では、露光量及びホワイトバランスが自動的に調整され、且つ、フォーカスについても自動的に調整されるようになる。
　より詳しく説明すると、切り替え工程が実施されて選択領域が切り替えられると、それまでマニュアルフォーカスモードであったフォーカス調整モードがオートフォーカスモードに設定される（Ｓ０７６）。これにより、挿入映像Ｐｉの表示期間中における調整工程では、オートフォーカスモードの下、フォーカスが自動的に調整される。つまり、第４実施形態では、通常はマニュアルフォーカスモードが選択されていても、選択領域の切り替え直後には自動的にフォーカスを調整する。この結果、選択領域が切り替わる度にユーザがフォーカスを調整する必要がなく、ユーザにとっての利便性（使い勝手）が向上する。
　また、挿入映像Ｐｉの表示期間中に実施される調整工程において、フォーカスが前述の第２方式にて調整され、厳密には像面位相差オートフォーカスを採用して調整される。
　特に、第４実施形態では、挿入映像Ｐｉの表示期間中において、絞り量の値に関わらず、フォーカスが第２方式である像面位相差オートフォーカスにて調整される。絞り量が十分に大きくなると（つまり、開口サイズが十分小さくなると）、像面位相差オートフォーカスでは調整精度が低下する。このため、絞り量が適正値よりも大きくなった場合にはコントラストオートフォーカスを利用するのが一般的である。適正値は、その値を境にして像面位相差オートフォーカスよりもコントラストオートフォーカスを用いた方が調整精度の点で良いとされる絞り量であり、Ｆ値で表すとＦ９からＦ１３までである。
　一方、像面位相差オートフォーカスを採用した場合には、フォーカスの調整速度がより速くなる。この点を踏まえて、第４実施形態において、挿入映像Ｐｉの表示期間中に実施される調整工程では、絞り量が例え前述の適正値より大きくなったとしても、フォーカスの調整速度を優先するために像面位相差オートフォーカスを採用する。これにより、選択領域の切り替え後にフォーカスを速やかに調整し、切り替え後映像Ｐａのピントを素早く合わせることができる。
　また、第４実施形態では、切り替え工程後のフォーカス調整が完了したかどうかを判定し（Ｓ０６７）、調整が完了するまで挿入映像Ｐｉを表示する。ただし、これに限定されるものではなく、第４実施形態において、制御部４６は、予め決められた期間だけ挿入映像Ｐｉを表示してもよい。また、第４実施形態において、制御部４６は、フォーカス調整が大よそ完了した段階で切り替え後映像Ｐａを表示してもよい。
　フォーカスの調整が完了した後には、フォーカス調整モードがマニュアルフォーカスモードに戻っているかを判定する（Ｓ０７０）。このとき、フォーカス調整モードがオートフォーカスモードであれば、マニュアルフォーカスモードに設定し（Ｓ０７１）、その後にステップＳ０７４に移行する。他方、調整速度が通常の調整速度に戻っていれば、そのままステップＳ０７４に移行する。
　以上までの一連の工程（すなわち、ステップＳ０６６～Ｓ０７６）は、ユーザが終了指示を行うまでの間、繰り返し実施される（Ｓ０７７）。そして、ユーザの終了指示があった時点で、第４実施形態に係る映像作成フローが終了する。
　以上までに説明してきたように、第４実施形態では、マニュアルフォーカスモードが選択されている場合にも、選択領域が切り替えられた直後にはフォーカスを自動的に調整することとしたが、これに限定されるものではない。例えば、選択領域が切り替えられた直後の調整工程を含め、撮影中の全期間に亘ってフォーカスを手動にて調整するフルマニュアルモードを、制御部４６がフォーカス調整モードとして有してもよい。
　また、上述した内容は、フォーカス調整に限られず、露光量の調整に対しても適用することが可能である。すなわち、露光量を調整するモードとして、ユーザの操作に基づき露光量が手動にて調整されるマニュアル調整モード、及び、露光量が自動的に調整されるオート調整モードが選択可能であるとする。このような構成の下でマニュアル調整モードが選択された場合に、選択領域の切り替え直後の調整工程（すなわち、挿入映像Ｐｉの表示期間中の調整工程）では自動的に露光量を調整するとよい。この結果、選択領域が切り替わる度にユーザが露光量を調整する必要がなく、ユーザにとっての利便性が向上する。
＜＜第５実施形態＞＞
　前述した５つの実施形態では、映像が動画、すなわち、一定のフレームレートにて連続的に撮影される複数のフレーム画像の集合であることとした。ただし、記録される映像は、動画に限られず、静止画であってもよい。
　例えば、制御部４６は、図６に示すように基準映像をスルー画像としてディスプレイ２８に表示し、基準映像の撮影領域において部分的な領域Ａ２を複数設定する。そして、ユーザが複数設定された領域Ａ２の一つを選択領域として選択した場合、制御部４６は、図７に示すようにディスプレイ２８に選択領域の映像を抽出して表示する。抽出された選択領域の映像が表示されている状態において、ユーザの記録指示が入力された場合、制御部４６は、記録媒体に選択領域の映像の静止画ファイルを記録する。
　そして、選択領域を切り替えた場合には、その後に挿入映像Ｐｉを表示し、挿入映像Ｐｉの表示期間を利用して切り替え後の選択領域について露光量等の調整を行えばよい。
　以上の形態を第５実施形態とし、図１６を参照しながら、第５実施形態について以下に説明する。図１６は、第５実施形態に係る映像作成フローの流れについての説明図である。
　第５実施形態に係る映像作成フローのうち、第１実施形態に係る映像作成フローと相違する点は、図１０及び１６を比較すると分かるように、選択領域の映像の記録に関わるステップＳ０８９、Ｓ０９０である。
　具体的に説明すると、第１実施形態では、選択領域の映像を表示した後（Ｓ００８）には選択領域の映像が記録されて動画ファイルが作成されることになっていた（Ｓ００９）。
　これに対して、第５実施形態では、選択領域の映像を表示した後に（Ｓ０８８）、制御部４６が、ユーザによる選択領域の映像の記録指示があるかどうかを判断する（Ｓ０８９）。本ステップＳ０８９で記録指示がないと制御部４６が判断した場合、選択領域を再選択したか否かを判断するステップＳ０９３に移行する。
　他方、制御部４６は、ステップＳ０８９で記録指示があると判断した場合、選択領域の映像を静止画ファイルとして記録媒体に記録する（Ｓ０９０）。選択領域の映像が記録媒体に記録された後には、選択領域を再選択したか否かを判断するステップＳ０９３に移行する。
　なお、記録される映像が静止画である場合、露光時間を規定するシャッタ速度は、電子シャッタのシャッタ速度であってもよく、メカ部品であるシャッタ３８（フォーカルプレンシャッタ）のシャッタ速度であってもよい。
＜＜その他の実施形態＞＞
　以上までに説明してきた実施形態は、本発明の一実施形態の映像作成方法を分かり易く説明するために挙げた具体例であり、あくまでも一例に過ぎず、その他の実施形態も考えられる。
　例えば、上述した実施形態では、電子減光フィルタ２１を備えた撮影装置１０を説明したが、電子減光フィルタ２１を有しない撮影装置であってもよい。
　また、上述した実施形態では、オートフォーカス機能を有する撮影装置１０を用いているが、これに限定されず、オートフォーカス機能を欠く撮影装置であってもよい。すなわち、フォーカス用駆動部２２が設けられてなく、フォーカスリング１６の操作のみ（すなわち、手動のみ）でフォーカスを調整してもよい。この場合、選択領域の切り替え後の表示工程において、図１５に示すような挿入映像Ｐｉを表示するとよい。図１５は、挿入映像Ｐｉの第２変形例を示している。
　図１５に示す挿入映像Ｐｉは、フォーカスを手動にて調整するためのガイド情報を含んでいる。ここで、ガイド情報としては、合焦するようにフォーカスリング１６を回す際の向きを示すメッセージ等が該当する。
　以上のように、フォーカス調整用のガイド情報を含む挿入映像Ｐｉを表示することで、オートフォーカス機能がない撮影装置であっても、ガイド情報に従ってフォーカスを手動にて適切に調整することができる。
　また、上記の実施形態では、撮影装置１０が映像作成装置として映像ファイルを作成することとしたが、これに限定されるものではない。例えば、撮影装置と有線又は無線にて接続された他の機器、例えば、カメラコントローラ又は外付け型のレコーダを映像作成装置として用いてもよい。そして、これらの機器により、撮影装置に撮影された映像の映像ファイルを作成してもよい。
　また、上述した実施形態では、撮影装置がデジタルカメラであったが、ビデオカメラ、撮像光学系付きの携帯電話、スマートフォン及びタブレット型端末などの携帯端末であってもよい。
　また、撮像レンズは、上述した携帯端末の撮像光学系に外付けされるようなレンズユニットであってもよい。
　１０　撮影装置
　１２　撮影装置本体
　１３　マウント
　１４　撮影レンズ
　１６　フォーカスリング
　１８　光学部品ユニット
　１９　フォーカス用光学部品
　２０　絞り
　２１　電子減光フィルタ
　２２　フォーカス用駆動部
　２３　絞り駆動部
　２４　電圧印加部
　２６　レリーズボタン
　２８　ディスプレイ
　３０　第１操作ボタン
　３２　第２操作ボタン
　３４　第３操作ボタン
　３６　タッチパネル
　３８　シャッタ
　４０　撮像素子
　４２　画素
　４４　アナログ信号処理回路
　４６　制御部
　４７　コントローラ
　４８　映像処理部
　５０　内部メモリ
　５２　カードスロット
　５４　メモリカード
　５６　バッファ
　Ａ０　単位領域
　Ａ１　撮影領域
　Ａ２　領域
　Ｌ１　光軸
　Ｐａ　切り替え後映像
　Ｐｂ　切り替え前映像
　Ｐｉ　挿入映像
　ＦＲ　領域設定枠

Claims (12)

  1. 　撮影レンズ及び撮像素子を備える撮影装置によって撮影した映像に基づき、映像ファイルを作成する映像作成方法であって、
    　第１画角である基準映像の撮影領域の中に、前記第１画角よりも小さい第２画角である複数の領域を設定する設定工程と、
    　記録される映像が映る選択領域を、前記複数の領域の中から選択する選択工程と、
    　前記選択工程の実施後に、前記選択領域を前記複数の領域の中から再選択して前記選択領域を切り替える切り替え工程と、
    　前記切り替え工程前の前記選択領域の映像である切り替え前映像と、前記切り替え工程後の前記選択領域の映像である切り替え後映像と、をそれぞれ記録する記録工程と、
    　前記切り替え前映像を表示した後に前記切り替え後映像を表示し、且つ、前記切り替え前映像の表示期間と前記切り替え後映像の表示期間との間の期間に挿入映像を表示する表示工程と、
    　前記切り替え工程後の前記選択領域の露光量、前記切り替え後映像のホワイトバランス、及び前記切り替え工程後の前記撮影レンズのフォーカスのうちの少なくとも一つを前記挿入映像の表示期間中に調整する調整工程と、を備える映像作成方法。
  2. 　前記挿入映像は、前記切り替え前映像及び前記切り替え後映像に基づいた映像、若しくは、前記基準映像、前記切り替え前映像及び前記切り替え後映像のいずれにも基づいていない映像である、請求項１に記載の映像作成方法。
  3. 　前記記録工程では、前記切り替え前映像と前記切り替え後映像を結合して動画ファイルを作成する、請求項１又は２に記載の映像作成方法。
  4. 　前記記録工程において、前記挿入映像は、記録対象から外される、請求項３に記載の映像作成方法。
  5. 　前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    　前記調整工程において前記絞り量又は前記フォーカスを調整する場合、前記挿入映像の表示期間の長さは、前記調整工程において前記絞り量又は前記フォーカスを調整する際の所要時間に応じて変わる、請求項１乃至４のいずれか一項に記載の映像作成方法。
  6. 　前記所要時間が予め決められた時間以上である場合には、前記表示工程において、前記所要時間に関する情報を含む前記挿入映像を表示する、請求項５に記載の映像作成方法。
  7. 　前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    　前記調整工程において前記絞り量又は前記フォーカスを調整する場合、前記挿入映像の表示期間では、前記挿入映像の表示期間以外の期間よりも、前記絞り量又は前記フォーカスの調整速度がより速くなる、請求項１乃至６のいずれか一項に記載の映像作成方法。
  8. 　前記フォーカスを調整するモードは、ユーザの操作に基づき前記フォーカスが手動にて調整されるマニュアルフォーカスモード、及び、前記フォーカスが自動的に調整されるオートフォーカスモードの中から選択され、
    　前記マニュアルフォーカスモードが選択されている場合、前記挿入映像の表示期間中における前記調整工程では前記フォーカスが自動的に調整される、請求項１乃至７のいずれか一項に記載の映像作成方法。
  9. 　前記フォーカスを自動的に調整する方式には、コントラストオートフォーカスである第１方式と、像面位相差オートフォーカス、指向性光オートフォーカス、及び、Ｄｅｐｔｈ－ｆｒｏｍ－Ｄｅｆｏｃｕｓ方式のオートフォーカスの中から選ばれる第２方式とがあり、
    　前記挿入映像の表示期間中における前記調整工程では、前記フォーカスが前記第２方式にて調整される、請求項１乃至８のいずれか一項に記載の映像作成方法。
  10. 　前記撮影レンズに対する入射光の絞り量を調整することで前記露光量が調整され、
    　前記第２方式は、前記像面位相差オートフォーカスであり、
    　前記挿入映像の表示期間中における前記調整工程では、前記絞り量の値に関わらず、前記フォーカスが前記第２方式にて調整される、請求項９に記載の映像作成方法。
  11. 　前記撮影装置が前記フォーカスを自動的に調整する機能を欠く場合には、前記フォーカスがユーザの操作に基づいて手動にて調整され、
    　前記表示工程において、前記フォーカスを手動にて調整するためのガイド情報を含む前記挿入映像を表示する、請求項１乃至７のいずれか一項に記載の映像作成方法。
  12. 　前記露光量を調整するモードは、ユーザの操作に基づき前記露光量が手動にて調整されるマニュアル調整モード、及び、前記露光量が自動的に調整されるオート調整モードの中から選択され、
    　前記マニュアル調整モードが選択されている場合、前記挿入映像の表示期間中における前記調整工程では前記露光量が自動的に調整される、請求項１乃至１１のいずれか一項に記載の映像作成方法。
PCT/JP2020/039485 2019-11-25 2020-10-21 映像作成方法 WO2021106434A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021561219A JP7345561B2 (ja) 2019-11-25 2020-10-21 映像作成方法
CN202080081909.8A CN114830628B (zh) 2019-11-25 2020-10-21 影像制作方法
US17/746,972 US11689687B2 (en) 2019-11-25 2022-05-18 Video creation method
US18/312,566 US20230276017A1 (en) 2019-11-25 2023-05-04 Video creation method
JP2023142273A JP2023164919A (ja) 2019-11-25 2023-09-01 映像作成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-212128 2019-11-25
JP2019212128 2019-11-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/746,972 Continuation US11689687B2 (en) 2019-11-25 2022-05-18 Video creation method

Publications (1)

Publication Number Publication Date
WO2021106434A1 true WO2021106434A1 (ja) 2021-06-03

Family

ID=76129300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039485 WO2021106434A1 (ja) 2019-11-25 2020-10-21 映像作成方法

Country Status (4)

Country Link
US (2) US11689687B2 (ja)
JP (2) JP7345561B2 (ja)
CN (1) CN114830628B (ja)
WO (1) WO2021106434A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002335B (zh) * 2021-11-26 2024-04-09 荣耀终端有限公司 视频处理方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP2016219905A (ja) * 2015-05-15 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017002708A1 (ja) * 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220653A (ja) 1998-01-30 1999-08-10 Sony Corp 画像処理装置及びカメラシステム
JP3789121B2 (ja) 2002-11-27 2006-06-21 中央電子株式会社 表示方法および表示装置
US8525892B2 (en) * 2005-04-21 2013-09-03 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
JP2008022280A (ja) * 2006-07-12 2008-01-31 Fujifilm Corp 撮影装置、方法およびプログラム
JP5442891B2 (ja) 2008-09-12 2014-03-12 三洋電機株式会社 撮像システムおよび撮像方法
JP5438496B2 (ja) * 2009-12-22 2014-03-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム
CN104219439A (zh) * 2013-05-29 2014-12-17 杭州美盛红外光电技术有限公司 影像信息摄录装置和影像信息摄录方法
JP5946970B2 (ja) * 2013-09-27 2016-07-06 富士フイルム株式会社 撮像装置及び撮像方法
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックＩｐマネジメント株式会社 撮像装置
JP6426308B2 (ja) * 2016-01-15 2018-11-21 富士フイルム株式会社 撮像システム、レンズ装置及びレンズ装置の作動方法
JP6808993B2 (ja) * 2016-06-17 2021-01-06 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP2016219905A (ja) * 2015-05-15 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017002708A1 (ja) * 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置

Also Published As

Publication number Publication date
US20230276017A1 (en) 2023-08-31
JP7345561B2 (ja) 2023-09-15
US20220279136A1 (en) 2022-09-01
CN114830628B (zh) 2024-04-26
US11689687B2 (en) 2023-06-27
JPWO2021106434A1 (ja) 2021-06-03
JP2023164919A (ja) 2023-11-14
CN114830628A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
JP4477968B2 (ja) デジタルカメラ
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP2007306416A (ja) 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
KR20120122677A (ko) 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체
JP4509081B2 (ja) デジタルカメラ及びデジタルカメラのプログラム
KR20120115127A (ko) 광각 화상을 생성 가능한 화상 처리 장치
JP4891674B2 (ja) カメラ
JP5849389B2 (ja) 撮像装置および撮像方法
US9088722B2 (en) Image processing method, computer-readable recording medium, and image processing apparatus
JP2023164919A (ja) 映像作成方法
JP4490888B2 (ja) 撮影装置
JP2011040896A (ja) 撮像装置及びその制御方法
JP7469329B2 (ja) 映像作成方法
US9261771B2 (en) Digital photographing apparatus for displaying panoramic images and methods of controlling the same
US20200120264A1 (en) Display control device, imaging device, and display control method
JP2010226185A (ja) 撮像装置および撮像装置の制御方法
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP2006166132A (ja) カメラ及び輝度分布表示方法
CN118042289A (en) Image making method
JP4985716B2 (ja) 撮像装置、合焦評価領域の設定方法、及び、プログラム
JP5274290B2 (ja) 撮像装置および撮像装置の制御方法
JP5225477B2 (ja) 撮像装置、及びその制御方法
JP2011004220A (ja) デジタルカメラ
JP2007124521A (ja) 画像処理装置
JP2005347885A (ja) 撮像装置、撮影範囲調整方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892094

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561219

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20892094

Country of ref document: EP

Kind code of ref document: A1