WO2020158070A1 - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2020158070A1
WO2020158070A1 PCT/JP2019/041617 JP2019041617W WO2020158070A1 WO 2020158070 A1 WO2020158070 A1 WO 2020158070A1 JP 2019041617 W JP2019041617 W JP 2019041617W WO 2020158070 A1 WO2020158070 A1 WO 2020158070A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
image data
frame
unit
flicker
Prior art date
Application number
PCT/JP2019/041617
Other languages
English (en)
French (fr)
Inventor
哲也 藤川
幸徳 西山
田中　康一
和田　哲
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020569371A priority Critical patent/JP7112529B2/ja
Publication of WO2020158070A1 publication Critical patent/WO2020158070A1/ja
Priority to US17/361,799 priority patent/US11438521B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to an image pickup apparatus, an image pickup method, and a program, and particularly to a technique of an image pickup apparatus, an image pickup method, and a program used in an environment where flicker of a light source occurs.
  • flicker light source flicker
  • Patent Document 1 proposes a technique for suppressing the influence of flicker by detecting the frequency A of the illumination and setting the frame rate at a timing that satisfies 2A/n (n is a natural number). ing.
  • Patent Document 2 proposes a technique aiming at suppressing the influence of flicker by detecting a light amount change characteristic of flicker and operating a shutter based on the light amount change.
  • JP-A-2002-165141 Japanese Patent Laid-Open No. 2018-133826 JP, 2016-032303, A
  • the exposure time for one frame is set to be short, so that it is easily affected by flicker. Under the influence of flicker, a part of the imaged frame becomes a dark picture or has poor color. Therefore, it is necessary to suppress the influence of flicker even in the moving image shooting mode for capturing a moving image for still image extraction.
  • the user selects the desired frame from the picked-up frame group, and as the number of frames in which the influence of flicker is suppressed increases, The probability that the frame captures a desired scene and the influence of flicker is suppressed increases.
  • Patent Documents 1 to 3 there is no mention of a method of suppressing the influence of flicker in capturing such a moving image for still image extraction.
  • the present invention has been made in view of the above circumstances, and an object thereof is to capture an image of a large number of frames in which the influence of flicker is suppressed in capturing a moving image for still image extraction. It is to provide a method and a program.
  • An image pickup apparatus for achieving the above object picks up first moving image data having a preset first frame period and an exposure time of one frame shorter than the first frame period.
  • An imaging unit an image acquisition unit that acquires first moving image data captured by the imaging unit, a detection unit that detects a flicker of a light source in the first moving image data, and a frame cycle of imaging in the imaging unit
  • An imaging device including an imaging frame cycle control unit, wherein the imaging frame cycle control unit sets the frame cycle of the first moving image data captured by the imaging unit to the first frame when the detection unit detects flicker. The period is changed to the second frame period which is shorter than the first frame period.
  • the first moving image data is captured in the second frame period shorter than the preset first frame period. Accordingly, in this aspect, it is possible to increase the number of frames in which the influence of flicker is suppressed and perform imaging.
  • the detection unit detects the flicker period
  • the imaging frame period control unit changes the second frame period to a period that is half or less of the flicker period detected by the detection unit.
  • the imaging frame cycle control unit changes the second frame cycle according to the set exposure time.
  • the imaging device includes a moving image data generation unit that generates, from the first moving image data, second moving image data for recording having a third frame period longer than the second frame period.
  • the moving image data generation unit thins out some of the plurality of frames forming the first moving image data, or adjoins the plurality of frames forming the first moving image data.
  • the second moving image data of the third frame period is generated by synthesizing the plurality of frames.
  • the moving image data generation unit does not change the third frame period when the detection unit detects flicker.
  • the imaging device includes a flicker information acquisition unit that acquires phase information of the flicker detected by the detection unit.
  • the imaging frame cycle control unit further adjusts the imaging timing of the first moving image data according to the phase information when the detection unit detects flicker.
  • the image capturing unit does not capture an image in a specific flicker phase range using the phase information.
  • the imaging device includes a flicker information acquisition unit that acquires the phase information of the flicker detected by the detection unit, and the moving image data generation unit generates the second moving image data to which the phase information is added.
  • the imaging device includes a display unit that displays the phase information together with the frames that form the second moving image data.
  • the imaging device includes an extraction unit that extracts a frame from a plurality of frames that form the second moving image data using the phase information, and a display unit that displays the frame extracted by the extraction unit.
  • the imaging device includes a flicker information acquisition unit that acquires phase information of the flicker detected by the detection unit, and the moving image data generation unit uses the phase information to generate a plurality of pieces of first moving image data. A part of the frames is selected from the frames to generate the second moving image data.
  • the imaging unit has a first moving image mode and a second moving image mode, captures the first moving image data in the first moving image mode, and exposes one frame more than the first moving image data in the second moving image mode.
  • the third moving image data set for a long time is captured.
  • At least one of an autofocus following speed, an automatic exposure following speed, and a white balance following speed is set to be higher than that of the second moving image mode.
  • an imaging device includes an imaging unit that captures first moving image data that has a preset first frame period and an exposure time of one frame that is shorter than the first frame period.
  • An image acquisition unit that acquires the first moving image data
  • a detection unit that detects a flicker of a light source in the first moving image data
  • an imaging frame cycle control unit that controls a frame cycle of imaging in the imaging unit
  • An image pickup apparatus comprising: a moving image data generation unit that generates second moving image data for recording in a third frame period from one moving image data, wherein the detection unit of the imaging frame period control unit detects flicker.
  • the frame period of the first moving image data captured by the image capturing unit is changed from the first frame period to a second frame period shorter than the first frame period, and the second frame period is longer than the third frame period. short.
  • the imaging device includes a flicker information acquisition unit that acquires the phase information of the flicker detected by the detection unit, and the moving image data generation unit generates the second moving image data to which the phase information is added.
  • the imaging device includes a flicker information acquisition unit that acquires phase information of the flicker detected by the detection unit, and the moving image data generation unit uses the phase information to generate a plurality of pieces of first moving image data. A part of the frames is selected from the frames to generate the second moving image data.
  • An imaging method includes a step of imaging first moving image data in which an exposure time of one frame is shorter than a first frame cycle in a preset first frame cycle, and an imaging step.
  • An image pickup method comprising: a step of acquiring the imaged first moving image data; a step of detecting a flicker of a light source in the first moving image data; and a step of controlling a frame cycle of image pickup in the image pickup step.
  • the step of controlling the frame cycle is such that, when the step of detecting detects flicker, the frame cycle of the first moving image data captured in the step of capturing is shorter than the first frame cycle from the first frame cycle. Change to a 2-frame period.
  • a program includes a step of capturing first moving image data having an exposure time of one frame shorter than a first frame period at a preset first frame period, and an image capturing step.
  • a computer is provided with an imaging step including a step of acquiring the first moving image data obtained, a step of detecting a flicker of a light source in the first moving image data, and a step of controlling a frame cycle of the imaging in the step of imaging.
  • the step of controlling the frame cycle includes the step of changing the frame cycle of the first moving image data captured in the step of capturing from the first frame cycle to the first frame when the detecting step detects flicker.
  • the second frame period is shorter than the period.
  • the first moving image data is captured in the second frame period shorter than the preset first frame period, so that the frame of which the influence of the flicker is suppressed is captured. Imaging can be performed by increasing the number.
  • FIG. 1 is a diagram showing a configuration of an image pickup apparatus.
  • FIG. 2 is a block diagram showing a configuration example of functions realized by the control unit.
  • FIG. 3 is a diagram showing the flicker cycle and the exposure timing of each frame.
  • FIG. 4 is a flowchart showing the imaging process.
  • FIG. 5 is a flowchart showing the imaging process.
  • FIG. 6 is a block diagram showing a configuration example of functions realized by the control unit.
  • FIG. 7 is a flowchart showing the imaging process.
  • FIG. 8 is a block diagram showing a configuration example of functions realized by the control unit.
  • FIG. 9 is a flowchart showing the imaging process.
  • FIG. 10 is a flowchart showing a process of extracting a still image.
  • FIG. 11 is a flowchart showing the imaging process.
  • FIG. 12 is a diagram illustrating that a frame is exposed only in a specific phase range, or that recording moving image data is composed of frames in only a specific phase range.
  • FIG. 13 is a diagram showing the flicker cycle and the exposure timing of each frame.
  • FIG. 14 is a diagram showing an appearance of a smartphone.
  • FIG. 15 is a block diagram showing the configuration of a smartphone.
  • the captured moving image data is the first moving image data and the recorded moving image data is the second moving image data.
  • the image capturing frame period when capturing a moving image is composed of a set frame period (first frame period) and a reset frame period (second frame period).
  • the imaging frame cycle and the recording frame cycle (third frame cycle) when recording a captured moving image may be the same as or different from each other.
  • the reciprocal of the imaging frame cycle, the reciprocal of the set frame cycle, the reciprocal of the reset frame cycle, and the reciprocal of the recording frame cycle indicate the imaging frame rate, the set frame rate, the reset frame rate, and the recording frame rate, respectively.
  • FIG. 1 is a diagram showing a configuration of an image pickup apparatus 10 of the present invention.
  • the image pickup apparatus 10 is composed of an interchangeable lens 100 and an image pickup apparatus main body 200, and forms a subject image (optical image) on the image pickup element 210 by an image pickup lens including a zoom lens 110 described later.
  • the interchangeable lens 100 and the imaging device main body 200 can be attached and detached via a mount (not shown).
  • the interchangeable lens 100 includes a zoom lens 110, a focus lens 120, a diaphragm 130, and a lens driving unit 140.
  • the lens driving unit 140 drives the zoom lens 110 and the focus lens 120 to move back and forth according to a command from the control unit 240 to perform zoom (optical zoom) adjustment and focus adjustment.
  • the zoom adjustment and the focus adjustment may be performed according to a zoom operation and a focus operation (a zoom ring (not shown), a rotation of the focus ring, etc., not shown) performed by the user, in addition to the instruction from the control unit 240. ..
  • the lens driving section 140 controls the diaphragm 130 according to a command from the control section 240 to adjust the exposure.
  • information such as the positions of the zoom lens 110 and the focus lens 120 and the opening degree of the diaphragm 130 is input to the control unit 240.
  • the imaging device main body 200 includes an imaging device 210, an AFE 220 (AFE: Analog Front End), an A/D converter 230 (A/D: Analog to Digital), a control unit 240, an operation unit 250, a storage unit 260, and a monitor 270. Equipped with.
  • the image pickup apparatus main body 200 may have a mechanical shutter (not shown) for blocking the light transmitted through the image pickup element 210.
  • the image sensor 210 has a light receiving surface in which a large number of light receiving elements are arranged in a matrix, and the subject light transmitted through the zoom lens 110, the focus lens 120, and the diaphragm 130 is imaged on the light receiving surface of the image sensor 210. It is converted into an electric signal by each light receiving element.
  • An R (red), G (green), or B (blue) color filter is provided on the light receiving surface of the image sensor 210, and a color image of the subject can be acquired based on the signals of the respective colors.
  • various photoelectric conversion elements such as CMOS (Complementary Metal-Oxide Semiconductor) and CCD (Charge-Coupled Device) can be used.
  • the AFE 220 performs noise removal and amplification of the analog image signal output from the image sensor 210, and the A/D converter 230 converts the captured analog image signal into a digital image signal having a gradation width.
  • the shutter may be a mechanical shutter or an electronic shutter.
  • the exposure time can be adjusted by controlling the charge accumulation period of the image sensor 210 by the control unit 240.
  • the image pickup unit 201 includes an interchangeable lens 100, an image pickup device 210, an AFE 220, and an A/D converter 230, and is controlled by the control unit 240.
  • the image capturing apparatus 10 can set any one of a still image capturing mode, a normal moving image capturing mode, and a still image extracting moving image capturing mode as an image capturing mode.
  • the still image capturing mode and the normal moving image capturing mode are the same as those of a normal digital camera, and in the moving image capturing mode for still image extraction, a moving image with different shooting conditions from the normal moving image capturing mode (extraction of the still image rather than viewing the moving image A moving image of an imaging condition that emphasizes is captured.
  • the shutter speed is set higher than in the normal moving image capturing mode (exposure time is set shorter).
  • At least one of the autofocus following speed, the automatic exposure following speed, and the white balance following speed is set to a high speed, and/or the frame rate compared to the normal moving image shooting mode. Is set high. Further, the resolution and the frame rate are set to the maximum values (for example, 4,000 ⁇ 2,000 pixels, 30 frames/second) that can be set by the image pickup apparatus 10, and the color tone is also set on the premise of still image extraction. The upper limit of ISO sensitivity is also set higher than in the normal moving image capturing mode.
  • the shutter speed (exposure time) is set to a value corresponding to the frame rate of the moving image (third moving image data) to be recorded in the normal moving image capturing mode (1/30 seconds when the frame rate is 30 frames/second).
  • the speed is set to be higher than the frame interval (for example, less than 1/30 seconds).
  • the shutter speed is set to a value corresponding to the frame rate of the moving image so that a smooth moving image is reproduced, but in this case, a moving subject may be blurred.
  • the shutter speed is set to a higher speed (higher than the frame interval) in the moving image capturing mode for still image extraction, compared to the normal moving image capturing mode, so that high-quality still images with less subject blurring can be extracted. Will be possible.
  • the shutter speed can be increased by increasing the upper limit of the ISO sensitivity, and thus a still image with less blur can be extracted.
  • the autofocus speed, the auto exposure tracking speed, and the auto white balance tracking speed are set faster than in the normal video shooting mode, so that many frames are focused on the subject, frames with proper exposure, etc. Can be obtained.
  • the shutter speed (exposure time) can be set to the P mode (program mode) or the S mode (shutter speed priority) as in the still image capturing mode.
  • P mode program mode
  • S mode shutter speed priority
  • the shutter speed is set in advance by the user, and the aperture value is automatically controlled by the imaging device 10.
  • a moving image can be stored and the frames constituting the moving image can be extracted as a still image, so that an event (a natural phenomenon or an accident, which the user does not know when to occur) can be extracted. It is possible to easily capture a photograph of a happening), a photograph of a subject whose state changes with the passage of time or a subject having a motion, and the like.
  • the still image can be extracted not only at the timing at which the recording of the still image is instructed but also at other timings, so that the user can obtain the still image at a desired timing.
  • a high-quality still image can be extracted by setting imaging conditions (shutter speed, resolution, frame rate, etc. described above) suitable for still image extraction.
  • the storage unit 260 is composed of various types of magneto-optical recording media, non-transitory recording media such as semiconductor memories, and its control circuit, and stores moving images, still images, still images extracted from the moving images, and the like.
  • the recording medium may be of a type that can be attached to and detached from the image pickup apparatus main body 200.
  • the program and information used for various controls of the control unit 240 are stored.
  • the monitor 270 is composed of a touch panel type liquid crystal display panel and can display a moving image, a still image, a still image extracting frame, and the like.
  • the monitor 270 can be arranged on the back surface side, the top surface side, or the like of the imaging device body 200.
  • the imaging device 10 may include a finder.
  • the finder is composed of, for example, a liquid crystal display panel, a prism, a lens, and the like, and a user can visually recognize a moving image, a still image, a still image extracting frame, and the like through an eyepiece unit (not shown).
  • an "optical view finder (OVF)", an “electronic view finder (EVF)", or a combination of these, a "hybrid view finder (HVF)” Can be used.
  • the control unit 240 reads out necessary programs and information used for various controls from the storage unit 260, and performs various processes and various controls performed by the control unit 240.
  • the control unit 240 has various hardware-like structures for executing various controls, such as the following various processors.
  • the circuit configuration of various processors can be changed after manufacturing such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and act as various functional units.
  • a programmable logic device (PLD) which is a special processor, a dedicated electric circuit, which is a processor having a circuit configuration specifically designed to execute a specific process such as an ASIC (Application Specific Integrated Circuit). Be done.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be. Further, the plurality of functional units may be configured by one processor. As an example of configuring a plurality of functional units with one processor, firstly, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of functional units.
  • SoC system on chip
  • a processor that realizes the functions of the entire system including a plurality of functional units by one IC (Integrated Circuit) chip is used.
  • the various functional units are configured by using one or more of the above various processors as a hardware structure.
  • FIG. 2 is a block diagram showing a configuration example of functions realized by the control unit 240.
  • the control unit 240 includes an image acquisition unit 11, a detection unit 13, and an imaging frame cycle control unit 15.
  • the image acquisition unit 11 acquires moving image data captured by the imaging unit 201 (the interchangeable lens 100, the image sensor 210, the AFE 220, and the A/D converter 230) (hereinafter referred to as captured moving image data).
  • the image capturing unit 201 captures a moving image in the normal moving image capturing mode (first moving image mode) or the still image extracting moving image capturing mode (second moving image mode).
  • the image acquiring unit 11 also captures the captured moving image data captured by the image capturing unit 201 under the condition that the exposure time of each frame is shorter (the shutter speed is faster) than the normal moving image capturing mode. get.
  • the detection unit 13 detects flicker from a temporal or spatial luminance change or color change of the captured moving image data captured by the image sensor 210, processed by the AFE 220 and the A/D converter 230, and generated.
  • the detection unit 13 can detect flicker by a known method, and for example, the method described in JP-A-2018-133826 can be used. Further, the detection unit 13 exposes each frame forming the imaged moving image data with respect to the flicker cycle, the luminance change and the color change between the frames forming the imaged moving image data due to the flicker, and the phase of the flicker under the flicker environment. It may be configured to detect the timing.
  • the detection unit 13 detects flicker based on, for example, a live view image. Further, the detection unit 13 may detect flicker within a predetermined time from the start of moving image shooting, or may sequentially detect flicker when the brightness of a scene changes during moving image shooting.
  • the imaging frame cycle control unit 15 controls the frame cycle of imaging in the imaging unit 201 in the still image extraction moving image imaging mode.
  • the imaging frame cycle includes a preset frame cycle and a reset frame cycle that switches when the detection unit 13 detects flicker.
  • the set frame period is, for example, a frame period corresponding to the frame rate set by the user before image capturing.
  • the reset frame cycle is a frame cycle shorter than the set frame cycle.
  • FIG. 3 is a diagram showing the flicker cycle and the exposure timing of each frame.
  • the time change of the light amount of the flicker is shown together with the time (t) on the horizontal axis. It is shown that the light amount of the light source has a peak at the apex P of the curve shown and that the light amount of the light source becomes the smallest at the valley V.
  • FIG. 3B shows the exposure timing of each frame in the set frame period in the still image extraction moving image capturing mode. In the case of FIG. 3B, the exposure timing overlaps with the valley portion V of the flicker cycle, and the obtained frame has a small amount of light and becomes a dark scene.
  • FIG. 3C shows the exposure timing of each frame in the reset frame period in the moving image capturing mode for still image extraction.
  • the imaging frame cycle control unit 15 changes the imaging frame cycle to a reset frame cycle shorter than the set frame cycle.
  • the imaging frame cycle control unit 15 changes the set frame rate to a faster reset frame rate when flicker is detected.
  • the proportion of the low light amount state (valley V) in the flicker cycle varies depending on the light source.
  • the light quantity is low (valley V) for a short time, but in some LED light sources, the light quantity is low for about half the flicker cycle. It may be occupied by the state (valley V).
  • the reset frame period is half the set frame period or less. This makes it possible to suppress the influence of flicker regardless of the type of light source. Further, the reset frame cycle may be set according to the flicker phase information detected by the detection unit 13.
  • FIG. 4 is a flowchart showing an imaging method (imaging process) using the imaging device 10.
  • the user uses the operation unit 250 to set the moving image capturing mode for still image extraction.
  • flicker is detected in the moving image data captured by the detection unit 13 (step S101).
  • the image capturing frame cycle control unit 15 sets the frame rate (set frame rate) set by the user, and the image capturing moving image is set in the image capturing unit 201.
  • the data is imaged (step S104).
  • the imaging frame cycle control unit 15 sets the imaging frame rate to a frame rate (reset frame rate) higher than the frame rate set by the user. (Step S103). That is, the imaging frame cycle control unit 15 changes the set frame cycle to a reset frame cycle having a short cycle, and causes the imaging unit 201 to capture the captured moving image data. When the frame rate is changed in this way, the monitor 270 may notify the user.
  • control unit 240 determines whether or not there is a moving image recording start instruction from the user (step S105), and if there is a moving image recording start instruction, starts moving image recording (step S106).
  • control unit 240 determines whether or not there is a moving image recording end instruction (step S107), and if there is a moving image recording end instruction (Yes in step S107), performs a moving image file closing process (step S107).
  • step S108 the control unit 240 determines whether the moving image recording exceeds the storage capacity of the storage medium (step S108), and the storage capacity is exceeded. If so, the process of closing the moving image file is performed (step S109).
  • the first moving image is displayed with a reset frame period shorter than the set frame period.
  • the data is imaged.
  • the captured moving image data captured in this manner includes more frames in which the influence of flicker is suppressed than the captured moving image data captured in the set frame cycle. Therefore, the user can extract a desired still image from more frames in which the influence of flicker is suppressed.
  • Example 2 of the first embodiment will be described.
  • the set frame period is changed to the reset frame period determined according to the set exposure time.
  • FIG. 5 is a flowchart showing an imaging method (imaging process) using the imaging device 10 of this example.
  • the user uses the operation unit 250 to set the moving image capturing mode for still image extraction.
  • flicker is detected in the moving image data captured by the detection unit 13 (step S201).
  • the imaging frame cycle control unit 15 sets the frame rate set by the user and causes the imaging unit 201 to capture the captured moving image data ( Step S204).
  • the imaging frame cycle control unit 15 sets the imaging frame rate higher than the frame rate set by the user and sets the frame rate to “1/exposure time”. It is set (step S203). That is, when the flicker is detected, the imaging frame cycle control unit 15 changes the preset frame cycle to the preset frame cycle of the preset exposure time.
  • a short exposure time is generally set in the moving image capturing mode for still image extraction.
  • the exposure time is set to 1/125 second to 1/500 second, for example, though it depends on the scene to be imaged.
  • the imaging frame cycle control unit 15 changes the set frame cycle to a reset frame cycle in which the set exposure time is the frame cycle. If the set exposure time is shorter than the minimum frame cycle that can be set by the apparatus, the imaging frame cycle control unit 15 sets the reset frame cycle to the minimum set frame cycle. Since the exposure time is set to be short in the moving image capturing mode for still image extraction, the second frame cycle set in this way is a reset frame cycle shorter than the preset frame cycle.
  • the control unit 240 determines whether there is a moving image recording start instruction from the user (step S205), and if there is a moving image recording start instruction, starts moving image recording (step S206). Next, the control unit 240 determines whether or not there is a moving image recording end instruction (step S207), and if there is a moving image recording end instruction (Yes in step S207), closes the moving image file (step S207). S209). If there is no moving image recording end instruction (No in step S207), the control unit 240 determines whether the moving image recording exceeds the storage capacity of the storage medium (step S208), and the storage capacity is exceeded. If so, the moving image file close processing is performed (step S209).
  • the set frame period is changed to the reset frame period which is the exposure time set in the still image extraction moving image capturing mode, so the exposure time set by the user is set. It is possible to obtain a larger number of frames exposed by, and the flicker effect is suppressed.
  • the imaging frame rate and the recording frame rate are controlled independently.
  • the recording frame rate is a frame rate of moving image data (hereinafter, referred to as recorded moving image data) stored in the storage unit 260.
  • FIG. 6 is a block diagram showing a configuration example of functions realized by the control unit 240.
  • the parts already described in FIG. 2 are designated by the same reference numerals and the description thereof will be omitted.
  • the control unit 240 includes an image acquisition unit 11, a detection unit 13, an imaging frame cycle control unit 15, and a recorded moving image data generation unit 17.
  • the recording moving image data generation unit 17 processes the moving image data captured by the image sensor 210 and generates recording moving image data for recording. Specifically, the recording moving image data generation unit 17 acquires the captured moving image data of the reset frame period, and generates the recording moving image data changed to the recording frame period longer than the reset frame period. When the recording moving image data is stored in the storage unit 260, the recording moving image data generation unit 17 changes the recording frame period by thinning out the frames of the captured moving image data captured at the reset frame period, and the recording moving image is recorded. Generate image data. In addition, the recording moving image data generation unit 17, when storing the recording moving image data in the storage unit 260, synthesizes the adjacent frames of the captured moving image data captured at the reset frame period so that the recording frame period is changed.
  • the recorded moving image data of the recording frame period is changed. Further, the recorded moving image data generation unit 17 temporarily stores the captured moving image data as it is in the storage unit 260, and rewrites the information regarding the frame period of the reproduction of the recorded moving image data to set the reset frame period to the recording frame period. Can be changed. For example, the reset frame period is changed to the recording frame period by rewriting the header information of the recorded moving image data or the time code information so that the reproduction is performed at the recording frame period.
  • the set frame period of the captured moving image data and the recording frame period of the recorded moving image data are set to the same value in advance, and when the flicker is detected, the captured moving image is detected. Only the frame period of the data is changed from the set frame period to the reset frame period shorter than the set frame period.
  • the moving image data generation unit generates recorded moving image data having a frame period (recording frame period) of 1/30 s from the captured moving image data acquired at the frame period 1/120 s.
  • the frame rate of the recorded moving image data can be made to comply with the generally used moving image standard (24 fps/25 fps/30 fps/60 fps, etc.).
  • the recorded moving image data can be handled by a general-purpose computer application, and the versatility is improved.
  • the recording frame period is not changed when the flicker is detected, but the frame period may be changed to the frame period previously selected by the user from the prepared options (24 fps/25 fps/30 fps/60 fps, etc.). May be.
  • FIG. 7 is a flowchart showing an imaging method (imaging process) using the imaging device 10 of this example.
  • the recording moving image data generation unit 17 changes the reset frame period to the recording frame period by rewriting the reproduction frame period in the header information of the recording moving image data.
  • the user uses the operation unit 250 to set the moving image capturing mode for still image extraction. Then, the detection unit 13 detects flicker in the captured moving image data (step S301). When the detecting unit 13 does not detect the flicker (No in step S302), the image capturing frame cycle control unit 15 sets the frame rate set by the user and causes the image capturing unit 201 to capture the captured moving image data ( Step S304).
  • the imaging frame cycle control unit 15 sets the imaging frame rate to a frame rate (reset frame) higher than the frame rate (set frame rate) set by the user. Rate) (step S303).
  • the recording moving image data generation unit 17 determines whether there is a moving image recording start instruction from the user (step S305), and if there is a moving image recording start instruction, starts moving image recording (step S306). That is, the recording moving image data generation unit 17 starts generating the recording moving image data.
  • the recording moving image data generation unit 17 determines whether or not there is a moving image recording end instruction (step S307).
  • the recording moving image data generation unit 17 sets the recording frame rate to the frame rate preset by the user and closes the moving image file (step S309). .. Specifically, the recording moving image data generation unit 17 rewrites the header information of the moving image file so as to reproduce at the frame rate preset by the user, thereby changing from the reset frame rate (reset frame cycle) to the recording frame cycle. Change to (Recording frame rate).
  • the recording moving image data generation unit 17 determines whether the recording of the recording moving image data exceeds the storage capacity of the storage medium (step S307). S308). If the storage capacity is exceeded, the recording moving image data generation unit 17 sets the recording frame rate to the frame rate set by the user and closes the moving image file as described above (step S309).
  • the reset frame rate may be a frame period that is not generally used as a moving image standard.
  • the frame rate of the recorded moving image data can be made to comply with the moving image standard generally used (24 fps/30 fps/60 fps, etc.).
  • the recorded moving image data can be handled by a general-purpose computer application, and the versatility is improved.
  • FIG. 8 is a block diagram showing a configuration example of functions realized by the control unit 240. Incidentally, the parts already described in FIGS. 2 and 6 are designated by the same reference numerals, and the description thereof will be omitted.
  • the control unit 240 includes an image acquisition unit 11, a detection unit 13, an imaging frame cycle control unit 15, a recorded moving image data generation unit 17, and a flicker information acquisition unit 19.
  • the flicker information acquisition unit 19 acquires phase information regarding the phase of the flicker detected by the detection unit 13.
  • the phase information includes various information related to flicker.
  • the phase information includes information about a flicker period, a luminance change due to the flicker, a color change due to the flicker, and an exposure timing of a frame under the flicker environment.
  • the phase information may include the light source information (LED, fluorescent lamp) of the subject estimated from the flicker period, the luminance change due to the flicker, and the like.
  • Example 1 of the third embodiment will be described.
  • the phase information for each frame is acquired, and the phase information is stored in association with each frame.
  • the phase information can be referred to when extracting the still image in the moving image capturing mode for extracting the still image to assist the user in extracting the still image.
  • the recording moving image data generation unit 17 generates the recording moving image data to which the phase information is added.
  • FIG. 9 is a flowchart showing an imaging method (imaging process) using the imaging device 10.
  • the user uses the operation unit 250 to set the moving image capturing mode for still image extraction. Then, the detection unit 13 detects flicker in the captured moving image data (step S401). When the detection unit 13 does not detect the flicker (No in step S402), the imaging frame cycle control unit 15 sets the frame rate set by the user and causes the imaging unit 201 to capture the captured moving image data ( Step S404).
  • the imaging frame cycle control unit 15 sets the imaging frame rate higher than the frame rate (set frame rate) set by the user (reset). Frame rate) (step S403).
  • the recording moving image data generation unit 17 determines whether or not there is a moving image recording start instruction from the user (step S405), and if there is a moving image recording start instruction, starts moving image recording (step S406).
  • the flicker information acquisition unit 19 acquires phase information (step S407).
  • the flicker information acquisition unit 19 acquires phase information based on the detection result of the detection unit 13.
  • the recording moving image data generation unit 17 generates recording moving image data in which the phase information is added to each frame (step S408).
  • the recording moving image data generation unit 17 determines whether or not there is a moving image recording end instruction (step S409), and if there is a moving image recording end instruction (Yes in step S409), closes the moving image file. Is performed (step S411).
  • the recording moving image data generation unit 17 determines whether the moving image recording exceeds the storage capacity of the storage medium (step S410), and stores When the capacity is exceeded, the moving image file is closed (step S411).
  • the user can refer to the correlated phase information when extracting a still image, and Information can be provided. This can assist the user in extracting the still image.
  • Example 2 of the third embodiment will be described.
  • the presence or absence of flicker is determined from that information, and the result is displayed by being superimposed on the extraction candidate frame.
  • the user is notified of the presence or absence of flicker, thereby assisting the selection of still image extraction.
  • the monitor (display unit) 270 (FIG. 1) displays the phase information on the monitor 270 together with the recorded moving image data. For example, the monitor 270 displays the phase information by superimposing the phase information on the frames forming the recorded moving image data. Also, the monitor 270 extracts a frame from a plurality of frames forming the recorded moving image data by using the phase information by an extraction unit (not shown) included in the control unit 240, and displays the extracted frame. Good. For example, the extraction unit determines the light/dark state of the light source in each frame based on the phase information, and extracts the frame in the bright state.
  • FIG. 10 is a flowchart showing a process of extracting a still image from the recording moving image data from the constituent frames.
  • the control unit 240 starts the still image extraction mode (step S501). Thereafter, the frames forming the recorded moving image data are sequentially displayed on the monitor 270, and the user selects the frame (still image) via the operation unit 250 (step S502).
  • the flicker information acquisition unit 19 determines whether the selected frame has phase information (step S503). When the flicker information acquisition unit 19 determines that the selected frame has no phase information, the monitor 270 displays the selected frame without displaying the phase information (step S506).
  • the flicker information acquisition unit 19 determines the light/dark state of the light source that illuminates the subject from the phase information (step S504). Specifically, when the brightness change or the color change is acquired as the phase information, the light/dark state of the light source is determined based on the threshold value. Further, even when the flicker cycle or the exposure timing is acquired as the phase information, the bright/dark state of the flicker may be determined from these information.
  • the monitor 270 displays the information indicating the light/dark state of the light source that illuminates the subject by superimposing it on the frame (step S505).
  • the recording moving image data generation unit 17 extracts the frame for which the instruction is received (step S508).
  • the monitor 270 may display the extracted frame.
  • the control unit 240 ends the still image extraction mode (steps S509 and S510).
  • the light/dark state of the light source is determined using the phase information associated with each frame constituting the recorded moving image data, and the result is displayed by being superimposed on the extraction candidate frame. This can assist the user in extracting the still image.
  • the light/dark state of the light source is superimposed and displayed on the extraction candidate frame.
  • the flicker information acquisition unit 19 determines the dark state of the light source from the phase information (step S504)
  • the selected frame is displayed. Instead of displaying, a frame in which the light sources before and after the selected frame are in a bright state may be displayed. This allows the user to extract a still image in which the light source is in the bright state when flicker exists.
  • Example 3 of the third embodiment will be described.
  • the frame used for the recorded moving image data is selected using the acquired phase information.
  • FIG. 11 is a flowchart showing an imaging method (imaging process) using the imaging device 10.
  • the user uses the operation unit 250 to set the moving image capturing mode for still image extraction.
  • the detection unit 13 detects flicker in the captured moving image data (step S601).
  • the image capturing frame cycle control unit 15 sets the frame rate set by the user and causes the image capturing unit 201 to capture the captured moving image data ( Step S604).
  • the imaging frame cycle control unit 15 sets the imaging frame rate higher than the frame rate (reset frame) set by the user. Rate) (step S603).
  • the recording moving image data generation unit 17 determines whether or not there is a moving image recording start instruction from the user (step S605), and if there is a moving image recording start instruction, starts moving image recording (step S606).
  • the recorded moving image data generation unit 17 holds the captured moving image data (step S607).
  • “holding” means temporary storage or storage, and is performed using the storage unit 260.
  • the recorded moving image data generation unit 17 extracts a frame that is less affected by flicker by referring to the phase information from the frames that form the held captured moving image data (step S608).
  • the recorded moving image data generation unit 17 determines the light/dark state of the light source in each frame based on the phase information, and extracts the frame in the bright state. For example, even if the reset frame rate is set to 60 fps, if the frame rate set by the user (set frame rate) is 30 fps, the recording frame rate is set to 30 fps. In such a case, the frames for generating the recorded moving image data of 30 fps from the captured moving image data of 60 fps are sequentially selected from the frames of the higher ranks.
  • the recording moving image data generation unit 17 determines whether or not there is a moving image recording end instruction (step S609), and if there is a moving image recording end instruction (Yes in step S609), sets the recording frame rate.
  • the process of closing the moving image file is performed with the user set value (step S611).
  • the control unit 240 determines whether the moving image recording exceeds the storage capacity of the storage medium (step S610), and the storage capacity is exceeded. If yes, the process of closing the moving image file is performed (step S611).
  • the storage capacity can be efficiently used, and the efficiency is improved when the user selects a still image. You can make specific choices.
  • Example 4 of the third embodiment will be described.
  • the exposure of the frame is performed only in the specific phase range, or the recording moving image data is configured by the frame of only the specific phase range.
  • the exposure is controlled at the timing when the light source becomes dark due to flicker, or even if the exposure is performed, the frame is controlled not to be used for the recorded moving image data.
  • FIG. 12 is a diagram for explaining that frame exposure is performed only in a specific phase range, or that recording moving image data is composed of frames only in a specific phase range.
  • the flicker information acquisition unit 19 obtains, as the phase information, a characteristic curve L indicating the change characteristic of the light amount of the light source due to the flicker.
  • the imaging unit 201 does not perform imaging in a specific range based on the phase information. Specifically, the imaging unit 201 does not perform imaging in the unnecessary phase range R even when performing imaging at the reset frame rate.
  • the image capturing unit 201 performs the image capturing S in the peak phase range Q based on the reset frame rate.
  • the recording moving image data generation unit 17 does not use the frame captured in the unnecessary phase range R but generates the recording moving image data using only the frame captured in the peak phase range Q.
  • the phase information the information about the flicker phase and the imaging timing is associated with each frame.
  • the storage capacity can be efficiently used by exposing the frame only in the specific phase range or by configuring the recorded moving image data in the frame only in the specific phase range.
  • Example 5 of the third embodiment will be described.
  • the imaging timing in the reset frame cycle is controlled based on the phase information.
  • the imaging frame cycle control unit 15 controls the imaging timing in the reset frame cycle based on the flicker phase as the phase information. Specifically, the imaging frame cycle control unit 15 sets the set frame cycle to a shorter reset frame cycle and shifts the imaging timing in the reset frame cycle from the flicker phase.
  • FIG. 13 is a diagram showing the flicker cycle and the exposure timing of each frame.
  • the parts already described in FIG. 3 are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 13A is a diagram showing a time change of the light amount in the flicker together with time (t) indicated by the horizontal axis.
  • FIG. 13B shows the exposure timing of each frame in the set frame period in the moving image capturing mode for still image extraction. In the set frame cycle, the exposure timing is the valley portion V, and the flicker phase and the exposure timing in the set frame cycle match.
  • FIG. 13C shows the exposure timing in the reset frame cycle.
  • the reset frame cycle is shorter than the set frame cycle. Further, the image pickup timing in the reset frame period is controlled so as to be different from the flicker phase.
  • the interchangeable lens type camera is used as an example of the imaging device 10 in FIG. 1, but the application of the present invention is not limited to this.
  • Other modes to which the present invention can be applied include, for example, mobile phones and smartphones having a camera function, PDAs (Personal Digital Assistants), and portable game machines.
  • PDAs Personal Digital Assistants
  • portable game machines Portable game machines.
  • an example of a smartphone to which the present invention can be applied will be described.
  • the image pickup unit 201, the control unit 240, the operation unit 250, the storage unit 260, and the monitor 270 in FIG. 1 are the camera unit 541, the main control unit 501, the operation unit 540, the recording unit 550, and the display panel in FIG. 15, respectively. 521.
  • FIG. 14 is a diagram showing an appearance of a smartphone 500 which is an embodiment of the image pickup apparatus 10 of the present invention.
  • the smartphone 500 illustrated in FIG. 14 has a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502.
  • the unit 520 is provided.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration including a folding structure or a slide mechanism can be employed.
  • FIG. 15 is a block diagram showing the configuration of the smartphone 500 shown in FIG. As shown in FIG. 15, as main constituent elements of a smartphone, a wireless communication unit 510 that performs mobile wireless communication via a base station and a mobile communication network, a display input unit 520, a call unit 530, and an operation unit 540.
  • GPS Global Positioning System
  • the wireless communication unit 510 performs wireless communication with a base station accommodated in the mobile communication network according to an instruction from the main control unit 501. Using this wireless communication, various file data such as voice data and image data, transmission/reception of electronic mail data and the like, reception of Web data and streaming data and the like are performed.
  • the display input unit 520 under the control of the main control unit 501, displays an image (still image and moving image), character information, and the like, visually conveys information to the user, and detects a user operation on the displayed information.
  • the touch panel includes a display panel 521 and an operation panel 522.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 522 is a device for visually recognizing an image displayed on the display surface of the display panel 521 and detecting one or a plurality of coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or a stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects the operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 which is illustrated as one embodiment of the image pickup apparatus 10 of the present invention, constitute the display input unit 520 integrally.
  • the panel 522 is arranged so as to completely cover the display panel 521.
  • the operation panel 522 may have a function of detecting a user operation even in the area outside the display panel 521.
  • the operation panel 522 has a detection area (hereinafter, referred to as a display area) for the overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for the outer edge portion that does not overlap the display panel 521. Referred to).
  • the size of the display area and the size of the display panel 521 may be perfectly matched, but they are not necessarily matched. Further, the operation panel 522 may be provided with two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like. Further, the position detection method adopted in the operation panel 522 includes a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, etc., and any method is adopted. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit.
  • the audio data received by 510 or the external input/output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 and the microphone 532 can be mounted on the same surface as the surface on which the display input unit 520 is provided.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the side surface of the housing 502 of the smartphone 500, and is turned on when pressed with a finger or the like, and turned off due to a restoring force such as a spring when the finger is released. It is a push-button switch.
  • the recording unit 550 includes control data of the main control unit 501, control data, application software, address data in which names and telephone numbers of communication partners are associated with each other, data of transmitted/received e-mails, Web data downloaded by Web browsing, and It stores downloaded content data, and temporarily stores streaming data and the like.
  • the recording unit 550 includes an internal storage unit 551 built in the smartphone and an external storage unit 552 having a detachable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the recording unit 550 includes a flash memory type, a hard disk type, a multimedia card micro type, It is realized using a recording medium such as a card type memory (for example, Micro SD (registered trademark) memory or the like), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • a card type memory for example, Micro SD (registered trademark) memory or the like
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the external input/output unit 560 plays a role of an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB) and IEEE 1394) or the like.
  • Network for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) ( (Registered trademark), ZigBee (registered trademark), etc.) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 500 include a wired/wireless headset, a wired/wireless external charger, a wired/wireless data port, a memory card connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card)/UIM (User Identity Module Card) card or external audio/video equipment connected via audio/video I/O (Input/Output) terminals, wirelessly connected external audio/video equipment, and wired/wireless connection Smartphones, personal computers with/without wireless connection, PDA with/with wireless connection, and earphones.
  • the external input/output unit 560 can transmit the data transmitted from such an external device to each component inside the smartphone 500, or can transmit the data inside the smartphone 500 to the external device.
  • the GPS receiving unit 570 receives the GPS signals transmitted from the GPS satellites ST1 to STn according to the instruction of the main control unit 501, executes the positioning calculation process based on the plurality of received GPS signals, and outputs the latitude of the smartphone 500, Detect a position consisting of longitude and altitude.
  • the GPS receiving unit 570 can acquire position information from the wireless communication unit 510 or the external input/output unit 560 (for example, wireless LAN), the GPS receiving unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a triaxial acceleration sensor and a gyro sensor, and detects a physical movement of the smartphone 500 according to an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. The detection result is output to the main controller 501.
  • the power supply unit 590 supplies electric power stored in a battery (not shown) to each unit of the smartphone 500 according to an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the recording unit 550, and integrally controls each unit of the smartphone 500.
  • the main control unit 501 also has a mobile communication control function and an application processing function for controlling each unit of the communication system in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the recording unit 550.
  • Examples of the application processing function include, for example, an infrared communication function for controlling the external input/output unit 560 to perform data communication with a counterpart device, an electronic mail function for transmitting/receiving electronic mail, a web browsing function for browsing web pages, and the present invention.
  • the main control unit 501 has an image processing function such as displaying an image on the display input unit 520 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function means a function of the main control unit 501 decoding the image data, performing image processing on the decoding result, and displaying an image on the display input unit 520.
  • the main control unit 501 executes display control on the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 By executing the display control, the main control unit 501 displays an icon for activating the application software and software keys such as a scroll bar, or displays a window for creating an email.
  • the scroll bar refers to a software key for receiving an instruction to move the display portion of an image, such as a large image that cannot fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, receives an operation for an icon through the operation panel 522, and receives a character string input in the window input field, or scrolls. A request for scrolling the display image through the bar is accepted.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap the display panel 521 (display area) or the outer edge portion (non-display area) that does not overlap the other display panels 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • the gesture operation is not a conventional simple touch operation, but an operation of drawing a locus with a finger or the like, simultaneously designating a plurality of positions, or a combination of these to draw a locus for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that electronically captures an image using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device), and corresponds to the image capturing apparatus 10 illustrated in FIG. 1. Further, the camera unit 541, under the control of the main control unit 501, compresses image data of a still image obtained by shooting with, for example, JPEG (Joint Photographic coding Experts Group), or compresses image data of a moving image with, for example, H.264. It can be compressed by H.264/AVC and recorded in the recording unit 550, or can be output through the external input/output unit 560 and the wireless communication unit 510. As shown in FIG.
  • JPEG Joint Photographic coding Experts Group
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this, and the camera unit 541 is mounted on the back surface of the display input unit 520.
  • a plurality of camera units 541 may be mounted. When a plurality of camera units 541 are mounted, it is possible to switch the camera units 541 used for shooting and shoot independently, or to use a plurality of camera units 541 at the same time for shooting.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • the image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of the operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can be detected by referring to the image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 may be used without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor (gyro sensor). It is also possible to judge the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the positional information acquired by the GPS receiving unit 570 and the audio information acquired by the microphone 532 in the image data of the still image or the moving image may convert the audio text into the text information
  • the posture information and the like acquired by the motion sensor unit 580 may be added and recorded in the recording unit 550, or output through the external input/output unit 560 and the wireless communication unit 510.
  • Imaging device 11 Image acquisition unit 13: Detection unit 15: Imaging frame cycle control unit 17: Recorded moving image data generator 19: Flicker information acquisition unit 100: Interchangeable lens 110: Zoom lens 120: Focus lens 130: Aperture 140: Lens drive unit 200: Imaging device body 201: Imaging unit 210: Image sensor 230: A/D converter 240: control unit 250: Operation unit 260: storage unit 270: Monitor

Abstract

静止画抽出用の動画の撮像において、フリッカーの影響が抑制された数多くのフレームの撮像を行うことができる撮像装置、撮像方法、及びプログラムを提供する。撮像装置は、フレーム周期が第１フレーム周期で、かつ、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像する撮像部と、撮像部により撮像された第１動画像データを取得する画像取得部１１と、第１動画像データにおいて光源のフリッカーを検出する検出部１３と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部１５と、を備える撮像装置であって、撮像フレーム周期制御部１５は、検出部１３がフリッカーを検出した場合に、撮像部で撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

Description

撮像装置、撮像方法、及びプログラム

　本発明は、撮像装置、撮像方法、及びプログラムに関し、特に光源のフリッカーが発生する環境下で用いられる撮像装置、撮像方法、及びプログラムの技術に関する。

　従来より、蛍光灯やＬＥＤ（light emitting diode）光源の環境下で撮像を行う場合に光源のフリッカー（以下、単にフリッカーという）が発生してしまうことが知られており、撮像においてフリッカーの影響を抑制する技術が検討されてきた。

　例えば特許文献１では、照明の周波数Ａを検知して、２Ａ／ｎ（ｎは自然数）を満たすタイミングでフレームレートを設定することにより、フリッカーの影響を抑制することを目的とした技術が提案されている。

　又、例えば特許文献２では、フリッカーの光量変化特性を検出してその光量変化に基づいて、シャッターを作動させることにより、フリッカーの影響を抑制することを目的とした技術が提案されている。

　一方、近年では被写体の一瞬のシーンを捉えるために、静止画抽出用の動画を撮像する動画撮影モードを有する撮像装置が提案されている。例えば、特許文献３に記載の技術では、静止画抽出用の動画が、通常の動画と比べて１フレームの露光時間が短く設定されたものである。

特開２００２－１６５１４１号公報 特開２０１８－１３３８２６号公報 特開２０１６－０３２３０３号公報

　ここで、上述した静止画抽出用の動画を撮像する動画撮影モードでは、１フレームの露光時間が短く設定されているので、フリッカーの影響を受けやすい。フリッカーの影響を受けると、撮像されたフレームの一部では暗い絵になってしまったり、色味が悪くなったりする。したがって、静止画抽出用の動画を撮像する動画撮影モードにおいても、フリッカーの影響を抑制する必要がある。

　又、静止画抽出用の動画を撮像する動画撮影モードでは、撮像されたフレーム群からユーザが所望のフレームを選択するという特性上、フリッカーの影響が抑制されたフレームの数が多くなるほど、ユーザが所望するシーンを捉えたフレームであって且つフリッカーの影響が抑制されたフレームである確率が増す。

　上述した特許文献１から３においては、このような静止画抽出用の動画の撮像におけるフリッカーの影響を抑制する手法に関しては言及されていない。

　本発明はこのような事情に鑑みてなされたもので、その目的は、静止画抽出用の動画の撮像において、フリッカーの影響が抑制された数多くのフレームの撮像を行うことができる撮像装置、撮像方法、及びプログラムを提供することである。

　上記目的を達成するための本発明の一の態様である撮像装置は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像する撮像部と、撮像部により撮像された第１動画像データを取得する画像取得部と、第１動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

　本態様によれば、検出部でフリッカーが検出された場合には、予め設定された第１フレーム周期よりも短い第２フレーム周期により、第１動画像データが撮像される。これにより、本態様は、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。

　好ましくは、検出部はフリッカーの周期を検出するものであって、撮像フレーム周期制御部は、第２フレーム周期を検出部で検出されたフリッカーの周期の半分以下の周期に変更する。

　好ましくは、撮像フレーム周期制御部は、設定された露光時間に応じて第２フレーム周期を変更する。

　好ましくは、撮像装置は、第１動画像データから、第２フレーム周期より長い第３フレーム周期の、記録用の第２動画像データを生成する動画像データ生成部を備える。

　好ましくは、動画像データ生成部は、第１動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は第１動画像データを構成する複数のフレームの内の隣接する複数のフレームを合成することにより、第３フレーム周期の第２動画像データを生成する。

　好ましくは、動画像データ生成部は、検出部がフリッカーを検出した場合に、第３フレーム周期を変更しない。

　好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備える。

　好ましくは、撮像フレーム周期制御部は、さらに、検出部がフリッカーを検出した場合に、位相情報に応じて第１動画像データの撮像タイミングを調整する。

　好ましくは、撮像部は、位相情報を用いて、フリッカーの特定の位相範囲で撮像を行わない。

　好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第２動画像データを生成する。

　好ましくは、撮像装置は、位相情報を、第２動画像データを構成するフレームと共に表示する表示部を備える。

　好ましくは、撮像装置は、第２動画像データを構成する複数のフレームから、位相情報を用いてフレームを抽出する抽出部と、抽出部で抽出されたフレームを表示する表示部を備える。

　好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第１動画像データを構成する複数のフレームから一部のフレームを選択し、第２動画像データを生成する。

　好ましくは、撮像部は、第１動画モードと第２動画モードを有し、第１動画モードでは第１動画像データを撮像し、第２動画モードでは第１動画像データよりも１フレームの露光時間が長く設定された第３動画像データを撮像する。

　好ましくは、第１動画モードは、第２動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される。

　本発明の他の態様である撮像装置は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像する撮像部と撮像部により撮像された第１動画像データを取得する画像取得部と、第１動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、第１動画像データから第３フレーム周期の記録用の第２動画像データを生成する動画像データ生成部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更し、第２フレーム周期は、第３フレーム周期よりも短い。

　好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第２動画像データを生成する。

　好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第１動画像データを構成する複数のフレームから一部のフレームを選択し、第２動画像データを生成する。

　本発明の他の態様である撮像方法は、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像するステップと、撮像するステップにより撮像された第１動画像データを取得するステップと、第１動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像方法であって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

　本発明の他の態様であるプログラムは、予め設定された第１フレーム周期で、１フレームの露光時間が第１フレーム周期よりも短い第１動画像データを撮像するステップと、撮像するステップにより撮像された第１動画像データを取得するステップと、第１動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像工程をコンピュータに実行させるプログラムであって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第１動画像データのフレーム周期を第１フレーム周期から第１フレーム周期よりも短い第２フレーム周期に変更する。

　本発明によれば、フリッカーが検出された場合に予め設定された第１フレーム周期よりも短い第２フレーム周期により、第１動画像データが撮像されるので、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。

図１は、撮像装置の構成を示す図である。 図２は、制御部で実現される機能の構成例を示すブロック図である。 図３は、フリッカー周期と各フレームの露光タイミングを示す図である。 図４は、撮像工程を示したフローチャートである。 図５は、撮像工程を示したフローチャートである。 図６は、制御部で実現される機能の構成例を示すブロック図である。 図７は、撮像工程を示したフローチャートである。 図８は、制御部で実現される機能の構成例を示すブロック図である。 図９は、撮像工程を示したフローチャートである。 図１０は、静止画を抽出する工程を示したフローチャートである。 図１１は、撮像工程を示したフローチャートである。 図１２は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。 図１３は、フリッカー周期と各フレームの露光タイミングを示す図である。 図１４は、スマートフォンの外観を示す図である。 図１５は、スマートフォンの構成を示すブロック図である。

　以下、添付図面にしたがって本発明にかかる撮像装置、撮像方法、及びプログラムの好ましい実施の形態について説明する。尚、以下の説明では、撮像動画像データが第１動画像データであり、記録動画像データが第２動画像データである。又、動画を撮像する場合の撮像フレーム周期は設定フレーム周期（第１フレーム周期）と再設定フレーム周期（第２フレーム周期）とで構成される。又、撮像フレーム周期と撮像された動画を記録する場合の記録フレーム周期（第３フレーム周期）とは同じ場合と異なる場合がある。更に、撮像フレーム周期の逆数、設定フレーム周期の逆数、再設定フレーム周期の逆数、及び記録フレーム周期の逆数は、それぞれ撮像フレームレート、設定フレームレート、再設定フレームレート、及び記録フレームレートを示す。

　図１は、本発明の撮像装置１０の構成を示す図である。撮像装置１０は交換レンズ１００及び撮像装置本体２００により構成され、後述するズームレンズ１１０を含む撮像レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

　交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、制御部２４０からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、制御部２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。又、レンズ駆動部１４０は制御部２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が制御部２４０に入力される。

　撮像装置本体２００は、撮像素子２１０、ＡＦＥ２２０（ＡＦＥ：Analog Front End）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital）、制御部２４０、操作部２５０、記憶部２６０、及びモニタ２７０を備える。撮像装置本体２００は、撮像素子２１０に透過させる光を遮光するためのメカニカルシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），又はＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。尚、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。尚、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、制御部２４０によって撮像素子２１０の電荷蓄積期間を制御することで露光時間（シャッタースピード）を調節することができる。又撮像部２０１は、交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、及びＡ／Ｄ変換器２３０で構成されており、制御部２４０により制御される。

　撮像装置１０は、撮像モードとして静止画撮像モード、通常動画撮像モード、静止画抽出用動画撮像モードのいずれかを設定することができる。静止画撮像モード、通常動画撮像モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮像モードでは通常動画撮像モードと撮像条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮像条件の動画）を撮像する。具体的には、静止画抽出用動画撮像モードでは、通常動画撮像モードに対してシャッタースピードが高速に設定される（露光時間が短く設定される）。又、静止画抽出用動画撮像モードでは、オートフォーカスの追従速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、且つ／又は通常動画撮像モードに対してフレームレートが高く設定される。又、解像度及びフレームレートは撮像装置１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮像モードより高くする。

　例えばシャッタースピード（露光時間）に関しては、通常動画撮像モードでは記録する動画（第３動画像データ）のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮像モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合に動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮像モードではシャッタースピードを通常動画撮像モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。又、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮像モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。尚、静止画抽出用動画モードにおいて、シャッタースピード（露光時間）の設定は、静止画撮像モードと同様にＰモード（プログラムモード）やＳモード（シャッタスピード優先）を用いることができる。Ｐモード（プログラムモード）では、シャッタースピードと絞り値の両方が撮像装置１０によって自動制御される。一方、Ｓモードでは、シャッタースピードはユーザが事前に設定し、絞り値が撮像装置１０によって自動制御される。

　上述した静止画抽出用動画撮像モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮像することができる。この際、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。又、静止画抽出に適した撮像条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

　記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。又、プログラム及び制御部２４０の各種制御に用いる情報等が記憶される。

　モニタ２７０はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。撮像装置１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、静止画抽出用フレーム等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

　制御部２４０は、記憶部２６０から必要なプログラム及び各種制御に用いる情報を読み出して、制御部２４０で行われる各種処理及び各種制御を行う。

　制御部２４０は各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。又、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　＜第１の実施形態＞

　図２は、制御部２４０で実現される機能の構成例を示すブロック図である。

　制御部２４０は、画像取得部１１、検出部１３、及び撮像フレーム周期制御部１５を備える。

　画像取得部１１は、撮像部２０１（交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、及びＡ／Ｄ変換器２３０）により撮像された動画像データを取得する（以下、撮像動画像データという。）。尚撮像部２０１は、通常動画撮像モード（第１動画モード）又は静止画抽出用動画撮像モード（第２動画モード）により動画を撮像する。又、画像取得部１１は、静止画抽出用動画撮像モードでは、通常動画撮像モードよりも各フレームの露光時間が短い（シャッタースピードが速い）条件で撮像部２０１により撮像された撮像動画像データを取得する。

　検出部１３は、撮像素子２１０で撮像され、ＡＦＥ２２０、Ａ／Ｄ変換器２３０で処理され生成された撮像動画像データの時間的、空間的な輝度変化や色変化からフリッカーを検出する。検出部１３は、公知の手法によりフリッカーの検出を行うことができ、例えば、特開２０１８－１３３８２６に記載されている方法等を用いることができる。又、検出部１３は、フリッカーの周期、フリッカーによる撮像動画像データを構成するフレーム間の輝度変化や色変化、及びフリッカー環境下でのフリッカーの位相に対する撮像動画像データを構成する各フレームの露光タイミングを検出するように構成してもよい。検出部１３は、例えばライブビュー画像に基づいてフリッカーの検出を行う。更に検出部１３は、動画撮影の開始から予め定められた時間内にフリッカーの検出を行ってもよいし、動画撮影中にシーンの明るさが変わった時にフリッカーの検出を逐次行ってもよい。

　撮像フレーム周期制御部１５は、静止画抽出用動画撮像モードにおける撮像部２０１での撮像のフレーム周期を制御する。撮像フレーム周期は、予め設定されている設定フレーム周期と、検出部１３がフリッカーを検出した場合に切り替わる再設定フレーム周期で構成される。設定フレーム周期とは例えばユーザが、撮像前に設定したフレームレートに対応するフレーム周期である。又、再設定フレーム周期は、設定フレーム周期よりも短いフレーム周期である。撮像フレーム周期制御部１５は、検出部１３がフリッカーを検出した場合には、再設定フレーム周期により、撮像部２０１に撮像動画像データを撮像させる。

　図３は、フリッカー周期と各フレームの露光タイミングを示す図である。図３（Ａ）には、フリッカーの光量の時間変化が横軸の時間（ｔ）と共に示されている。図示された曲線の頂点部Ｐにおいて光源の光量がピークであることを示し、谷部Ｖにおいて光源の光量が最も少なくなることを示している。図３（Ｂ）は、静止画抽出用動画撮像モードにおいて、設定フレーム周期による各フレームの露光タイミングが示されている。図３（Ｂ）の場合には、露光タイミングがフリッカー周期の谷部Ｖと重なり、得られるフレームは光量が少なく暗いシーンとなってしまう。

　図３（Ｃ）は静止画抽出用動画撮像モードにおいて、再設定フレーム周期による各フレームの露光タイミングが示されている。検出部１３でフリッカーが検出されると、撮像フレーム周期制御部１５は、設定フレーム周期よりも短い再設定フレーム周期に撮像フレーム周期を変更する。言い換えると、撮像フレーム周期制御部１５は、フリッカーが検出されると、設定フレームレートをより速い再設定フレームレートに変更する。再設定フレーム周期（再設定フレームレート）により撮像動画像データを得ることにより、図３（Ｃ）に示すように、頂点部Ｐの時点においても露光されるフレームが取得される。これにより、谷部Ｖの時点で撮像されるフレーム以外のフレームを新たに得ることができ、適切な明るさのシーンを撮像したフレームの数が増える。これはユーザに、より多くの適切な明るさでシーンを撮像したフレームの選択候補を提供することができる。光源によってフリッカー周期において光量が低い状態（谷部Ｖ）が占める割合が異なる。図３（Ａ）の例では、フリッカー周期において、光量が低い状態（谷部Ｖ）となるのは短い時間であるが、一部のＬＥＤ光源では、フリッカー周期の約半分の期間が光量の低い状態（谷部Ｖ）で占められる場合がある。このため、再設定フレーム周期は、設定フレーム周期の半分以下にすることが好ましい。これにより、光源の種類によらず、フリッカーの影響を抑制することができる。又、再設定フレーム周期は、検出部１３で検出したフリッカーの位相情報に応じて設定してもよい。

　＜＜第１の実施形態の例１＞＞

　次に、第１の実施形態の例１に関して説明する。図４は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

　先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像された動画像データにおいてフリッカーの検出が行われる（ステップＳ１０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ１０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレート（設定フレームレート）を設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ１０４）。

　一方、検出部１３がフリッカーを検出した場合には（ステップＳ１０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレートより高いフレームレート（再設定フレームレート）を設定する（ステップＳ１０３）。すなわち、撮像フレーム周期制御部１５が設定フレーム周期から周期が短い再設定フレーム周期に変更して撮像部２０１に撮像動画像データを撮像させる。尚、このようにフレームレートが変更された場合には、モニタ２７０によりユーザに通知してもよい。

　その後、制御部２４０は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ１０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ１０６）。次に、制御部２４０は、動画記録終了指示が有るか否かの判定（ステップＳ１０７）を行い、動画記録終了指示がある場合（ステップＳ１０７のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ１０９）。又、動画記録終了指示がない場合（ステップＳ１０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ１０８）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ１０９）。

　以上で説明したように、撮像装置１０の静止画抽出用動画撮像モードで動画が撮像される場合に、フリッカーが検出されると、設定フレーム周期よりも短い再設定フレーム周期により、第１動画像データが撮像される。このように撮像された撮像動画像データは、フリッカーの影響が抑制されたフレームを設定フレーム周期で撮像された撮像動画像データより多く含む。したがって、ユーザはフリッカーの影響が抑制されたより多くのフレームの中から、所望の静止画を抽出することができる。

　＜＜第１の実施形態の例２＞＞

　次に、第１の実施形態の例２に関して説明する。本例では、フリッカーが検出された場合に、設定フレーム周期が設定された露光時間に応じて決定された再設定フレーム周期に変更される。

　図５は、本例の撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

　先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像した動画像データにおいてフリッカーの検出が行われる（ステップＳ２０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ２０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ２０４）。

　一方、検出部１３がフリッカーを検出した場合には（ステップＳ２０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレートより高く且つフレームレートを「１／露光時間」に設定する（ステップＳ２０３）。すなわち、撮像フレーム周期制御部１５は、フリッカーが検出されると、設定フレーム周期から予め設定された露光時間の再設定フレーム周期に変更する。

　ここで、上述したように、静止画抽出用動画撮像モードでは一般に短い露光時間が設定さる。露光時間は例えば、撮像するシーンにもよるが、１／１２５秒から１／５００秒に設定される。そして、撮像フレーム周期制御部１５は、設定フレーム周期をこの設定された露光時間がフレーム周期となる再設定フレーム周期に変更する。又、装置が設定可能な最小のフレーム周期よりも設定された露光時間が短い場合は、撮像フレーム周期制御部１５は、再設定フレーム周期を設定可能な最小のフレーム周期とする。尚、静止画抽出用動画撮像モードでは露光時間が短く設定されることから、このように設定された第２のフレーム周期は、予め設定された設定フレーム周期よりも短い再設定フレーム周期となる。

　その後、制御部２４０は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ２０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ２０６）。次に、制御部２４０は、動画記録終了指示が有るか否かの判定（ステップＳ２０７）を行い、動画記録終了指示がある場合（ステップＳ２０７のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ２０９）。又、動画記録終了指示がない場合（ステップＳ２０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ２０８）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ２０９）。

　以上のように本例では、フリッカーが検出されると、設定フレーム周期が静止画抽出用動画撮像モードで設定された露光時間である再設定フレーム周期に変更されるので、ユーザが設定した露光時間で露光され、フリッカー影響が抑制されたより多くのフレームを得ることができる。

　＜第２の実施形態＞

　次に、第２の実施形態に関して説明する。本実施形態では、撮像フレームレート及び記録フレームレートが独立に制御される。ここで記録フレームレートとは記憶部２６０に記憶される動画像データ（以下、記録動画像データという）のフレームレートのことである。

　図６は、制御部２４０で実現される機能の構成例を示すブロック図である。尚、図２で既に説明を行った箇所は同じ符号を付し説明を省略する。

　制御部２４０は、画像取得部１１、検出部１３、撮像フレーム周期制御部１５、及び記録動画像データ生成部１７を備える。

　記録動画像データ生成部１７は、撮像素子２１０で撮像された動画像データを処理して、記録用の記録動画像データを生成する。具体的には記録動画像データ生成部１７は、再設定フレーム周期の撮像動画像データを取得し、再設定フレーム周期より長い記録フレーム周期に変更した記録動画像データを生成する。記録動画像データ生成部１７は、記憶部２６０に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データのフレームを間引くことにより記録フレーム周期に変更し、記録動画像データを生成する。又、記録動画像データ生成部１７は、記憶部２６０に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データの隣接するフレームを合成することにより記録フレーム周期に変更し、記録フレーム周期の記録動画像データを生成する。又、記録動画像データ生成部１７は、一旦撮像動画像データをそのまま記憶部２６０に記憶させて、記録動画データの再生のフレーム周期に関する情報を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更することができる。例えば、記録動画像データのヘッダー情報又はタイムコードの情報を記録フレーム周期での再生を行うよう書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。

　本態様では、例えば、静止画抽出用動画モードにおいて、撮影動画像データの設定フレーム周期と記録動画像データの記録フレーム周期は予め同じ値に設定され、フリッカーが検出された場合に、撮影動画像データのフレーム周期のみを設定フレーム周期から設定フレーム周期よりも短い再設定フレーム周期に変更される。例えば、撮像動画像データ、及び記録動画像データのフレーム周期が１／３０ｓに設定されている場合において、フリッカーが検出されると、撮像動画像データのフレーム周期（再設定フレーム周期）を１／１２０ｓに変更し、動画像データ生成部は、フレーム周期１／１２０ｓで取得された撮像動画像データからフレーム周期（記録フレーム周期）が１／３０ｓの記録動画像データを生成する。これにより、フリッカーの影響を抑止すると同時に、記録動画像データのフレームレートを一般的に用いられる動画規格（２４ｆｐｓ/２５ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。尚、上述の例ではフリッカーが検出された場合に記録フレーム周期は変更されないが、予め用意された選択肢（２４ｆｐｓ/２５ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）よりユーザが事前に選択したフレーム周期に変更するようにしてもよい。

　＜＜第２の実施形態の例１＞＞

　次に、第２の実施形態の例１に関して説明する。図７は、本例の撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。尚、本例では、記録動画像データ生成部１７は、記録動画像データのヘッダー情報において再生フレーム周期を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。

　先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ３０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ３０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ３０４）。

　一方、検出部１３がフリッカーを検出した場合には（ステップＳ３０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ３０３）。

　その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ３０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ３０６）。すなわち、記録動画像データ生成部１７は、記録動画像データの生成を開始する。

　次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ３０７）を行う。記録動画像データ生成部１７は、動画記録終了指示がある場合（ステップＳ３０７のＹｅｓ）には、記録フレームレートをユーザが予め設定したフレームレートに設定して動画ファイルをクローズ処理する（ステップＳ３０９）。具体的には記録動画像データ生成部１７は、ユーザが予め設定したフレームレートで再生するように、動画ファイルのヘッダー情報を書き換えることにより、再設定フレームレート（再設定フレーム周期）から記録フレーム周期（記録フレームレート）への変更を行う。

　又、動画記録終了指示がない場合（ステップＳ３０７のＮｏ）には、記録動画像データ生成部１７は、記録動画像データの記録が記憶メディアの記憶容量を超えているか否かを判定する（ステップＳ３０８）。記憶容量を超えている場合には、上述したように記録動画像データ生成部１７により、記録フレームレートをユーザが設定したフレームレートに設定して動画ファイルをクローズ処理が行われる（ステップＳ３０９）。

　検出部１３がフリッカーを検出し、撮像動画像データのフレームレートが、予め設定された設定フレームレート（設定フレーム周期）から再設定フレームレート（再設定フレーム周期）に変更された場合、変更後の再設定フレームレート（再設定フレーム周期）が、動画規格として一般的に用いられないフレーム周期となる場合がある。本例では、このような場合であっても、記録動画像データのフレームレートを一般的に用いられる動画規格（２４ｆｐｓ/３０ｆｐｓ/６０ｆｐｓ等）に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。

　＜第３の実施形態＞

　次に、第３の実施形態に関して説明する。本実施形態ではフリッカーの位相情報が取得される。

　図８は、制御部２４０で実現される機能の構成例を示すブロック図である。尚、図２及び図６で既に説明を行った箇所は同じ符号を付し説明を省略する。

　制御部２４０は、画像取得部１１、検出部１３、撮像フレーム周期制御部１５、記録動画像データ生成部１７、及びフリッカー情報取得部１９を備える。

　フリッカー情報取得部１９は、検出部１３で検出されたフリッカーの位相に関する位相情報を取得する。位相情報とは、フリッカーに関連する様々な情報が含まれる。例えば位相情報とは、フリッカーの周期、フリッカーによる輝度変化、フリッカーによる色変化、及びフリッカー環境下でのフレームの露光タイミングに関する情報が含まれる。又、位相情報はフリッカーの周期、及び、フリッカーによる輝度変化等から推定される被写体の光源情報（ＬＥＤ、蛍光灯）を含んでもよい。

　＜＜第３の実施形態の例１＞＞

　次に、第３の実施形態の例１に関して説明する。本例では、フレーム毎の位相情報を取得し、各フレームに対応づけて位相情報を保存する。そして、静止画抽出用動画撮像モードにおける静止画抽出の際に位相情報を参照可能として、ユーザの静止画抽出を補助する。この場合、記録動画像データ生成部１７は、位相情報が付加された記録動画像データを生成する。

　図９は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

　先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ４０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ４０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ４０４）。

　一方、検出部１３がフリッカーを検出した場合には（ステップＳ４０２のＹｅｓ）、撮像フレーム周期制御部１５は、撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ４０３）。

　その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ４０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ４０６）。

　次に、フリッカー情報取得部１９は、位相情報を取得する（ステップＳ４０７）。フリッカー情報取得部１９は、検出部１３での検出結果に基づいて位相情報を取得する。そして、記録動画像データ生成部１７は、各フレームに位相情報が付与された記録動画像データを生成する（ステップＳ４０８）。

　次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ４０９）を行い、動画記録終了指示がある場合（ステップＳ４０９のＹｅｓ）には動画ファイルのクローズ処理を行う（ステップＳ４１１）。又、動画記録終了指示がない場合（ステップＳ４０９のＮｏ）には、記録動画像データ生成部１７は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ４１０）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ４１１）。

　以上で説明したように、記録動画像データの各フレームに位相情報を対応付けて保存することにより、ユーザが静止画を抽出する際に対応付けされた位相情報を参照可能として、フリッカーの有無に関する情報を提供することができる。これにより、ユーザの静止画の抽出を補助することができる。

　＜＜第３の実施形態の例２＞＞

　次に、第３の実施形態の例２に関して説明する。本例では、各フレームに対応付けられた位相情報があれば、その情報からフリッカーの有無を判定し、その結果を抽出候補フレームに重畳して表示する。静止画の抽出時に、フリッカーの発生有無をユーザに伝えることで、静止画抽出の選択の補助を行う。

　モニタ（表示部）２７０（図１）は、位相情報を記録動画像データと共にモニタ２７０に表示する。例えばモニタ２７０は、位相情報を記録動画像データを構成するフレームに重畳させて表示する。又、モニタ２７０は、記録動画像データを構成する複数のフレームから、制御部２４０に備えられる抽出部（不図示）により位相情報を用いてフレームを抽出し、抽出されたフレームを表示してもよい。例えば抽出部は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。

　図１０は、記録動画像データを構成フレームから静止画を抽出する工程を示したフローチャートである。

　先ず、制御部２４０は静止画抽出モードを開始させる（ステップＳ５０１）。その後、モニタ２７０に記録動画像データを構成するフレームが順次表示され、ユーザは操作部２５０を介してフレーム（静止画）を選択する（ステップＳ５０２）。次に、フリッカー情報取得部１９は、選択されたフレームに位相情報が有るか否かを判定する（ステップＳ５０３）。フリッカー情報取得部１９が選択されたフレームに位相情報が無いと判定した場合には、モニタ２７０は位相情報を表示せずに選択されたフレームを表示する（ステップＳ５０６）。

　一方、フリッカー情報取得部１９が選択されたフレームに位相情報が有ると判定した場合には、フリッカー情報取得部１９は位相情報から被写体を照らす光源の明暗状態を判定する（ステップＳ５０４）。具体的には、位相情報として輝度変化、又は色変化を取得した場合には閾値に基づいて、光源の明暗状態を判定する。又、位相情報として、フリッカー周期又は露光タイミングを取得した場合であっても、これらの情報からフリッカーの明暗状態の判定を行ってもよい。

　その後、モニタ２７０は、被写体を照らす光源の明暗状態を示す情報をフレームに重畳して表示する（ステップＳ５０５）。その後、フレーム抽出の指示が操作部２５０を介して有った場合には（ステップＳ５０７のＹｅｓ）、記録動画像データ生成部１７は、指示を受けたフレームを抽出する（ステップＳ５０８）。そして、この場合モニタ２７０は、抽出されたフレームを表示してもよい。その後、ユーザが操作部２５０を介して静止画抽出モードの終了指示が有った場合には、制御部２４０は静止画抽出モードを終了させる（ステップＳ５０９及びステップＳ５１０）。

　以上で説明したように、記録動画像データを構成する各フレームに対応付けられた位相情報を用いて光源の明暗状態を判定し、その結果を抽出候補フレームに重畳して表示する。これにより、ユーザの静止画の抽出を補助することができる。本例では、光源の明暗状態を抽出候補フレームに重畳して表示しているが、フリッカー情報取得部１９が位相情報から光源が暗状態を判定した場合（ステップＳ５０４）は、選択されたフレームを表示する代わりに選択されたフレーム前後の光源が明状態のフレームを表示してもよい。これにより、ユーザは、フリッカーが存在する場合において、光源が明状態の静止画を抽出することができる。

　＜＜第３の実施形態の例３＞＞

　次に、第３の実施形態の例３に関して説明する。本例では、取得した位相情報を利用して、記録動画像データに使用されるフレームが選択される。

　図１１は、撮像装置１０を使用した撮像方法（撮像工程）を示したフローチャートである。

　先ずユーザは、静止画抽出用動画撮像モードに操作部２５０を使用して設定する。その後、検出部１３により撮像動画像データにおいてフリッカーの検出が行われる（ステップＳ６０１）。検出部１３がフリッカーを検出しなかった場合には（ステップＳ６０２のＮｏ）、撮像フレーム周期制御部１５は、ユーザが設定したフレームレートを設定し、撮像部２０１に撮像動画像データを撮像させる（ステップＳ６０４）。

　一方、検出部１３がフリッカーを検出した場合には（ステップＳ６０２のＹｅｓ）、撮像フレーム周期制御部１５は撮像フレームレートをユーザが設定したフレームレート（設定フレームレート）より高いフレームレート（再設定フレームレート）に設定する（ステップＳ６０３）。

　その後、記録動画像データ生成部１７は、ユーザからの動画記録開始指示が有るか否かを判定し（ステップＳ６０５）、動画記録開始指示がある場合には動画記録を開始する（ステップＳ６０６）。

　次に、記録動画像データ生成部１７は、撮像動画像データを保持する（ステップＳ６０７）。ここで、保持するとは一時的な保存又は記憶を意味し、記憶部２６０を利用して行われる。その後、記録動画像データ生成部１７により、保持している撮像動画像データを構成するフレームから、位相情報を参照してフリッカーの影響が少ないフレームを抽出する（ステップＳ６０８）。具体的には、記録動画像データ生成部１７は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。例えば、６０ｆｐｓで再設定フレームレートが設定されている場合であっても、ユーザが設定したフレームレート（設定フレームレート）が３０ｆｐｓである場合には、記録フレームレートを３０ｆｐｓにする。このような場合には、６０ｆｐｓの撮像動画像データから３０ｆｐｓの記録動画像データを生成するためのフレームを上位ランクのフレームから順に選択する。

　次に、記録動画像データ生成部１７は、動画記録終了指示が有るか否かの判定（ステップＳ６０９）を行い、動画記録終了指示がある場合（ステップＳ６０９のＹｅｓ）には、記録フレームレートをユーザ設定値にして動画ファイルのクローズ処理を行う（ステップＳ６１１）。又、動画記録終了指示がない場合（ステップＳ６０７のＮｏ）には、制御部２４０は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し（ステップＳ６１０）、記憶容量を超えている場合には動画ファイルのクローズ処理を行う（ステップＳ６１１）。

　以上で説明したように、記録動画像データを構成するフレームを位相情報に基づいて抽出することにより、記憶容量を効率的に使用することができ、且つ、ユーザが静止画を選択する際に効率的な選択を行うことができる。

　＜＜第３の実施形態の例４＞＞

　次に、第３の実施形態の例４に関して説明する。本例では、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成される。

　静止画抽出用動画撮像モードでは、記録動画像データを構成するフレームからフレーム（静止画）を抽出することを前提としているので、必ずしも等間隔でフレームを取得する必要はない。したがって本例では、フリッカーにより光源が暗くなるタイミングでは露光しない、又は露光してもそのフレームを記録動画像データに用いないように制御する。

　図１２は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。図１２に示すようにフリッカー情報取得部１９は、位相情報としてフリッカーによる光源の光量の変化特性を示す特性曲線Ｌを得る。そして、撮像部２０１は、位相情報に基づいて特定の範囲で撮像を行わない。具体的には、撮像部２０１は、再設定フレームレートにおいて撮像を行う場合であっても、不要位相範囲Ｒにおいては撮像を行わない。一方で撮像部２０１は、ピーク位相範囲Ｑにおいては再設定フレームレートに基づいて撮像Ｓを行う。又、記録動画像データ生成部１７は、不要位相範囲Ｒで撮像されたフレームを使用せずに、ピーク位相範囲Ｑで撮像Ｓされたフレームのみを使用して記録動画像データを生成する。この場合には、位相情報として、フリッカーの位相と撮像タイミングに関する情報が各フレームに対応付けられている。

　以上で説明したように、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることにより、記憶容量を効率的に使用することができる。

　＜＜第３の実施形態の例５＞＞

　次に、第３の実施形態の例５について説明する。本例では、位相情報に基づいて、再設定フレーム周期での撮像タイミングを制御する。

　撮像フレーム周期制御部１５は、位相情報としてのフリッカーの位相に基づいて、再設定フレーム周期での撮像タイミングを制御する。具体的に、撮像フレーム周期制御部１５は、設定フレーム周期をより短い再設定フレーム周期にし、且つ再設定フレーム周期での撮像タイミングをフリッカーの位相とずらす。

　図１３は、フリッカー周期と各フレームの露光タイミングを示す図である。尚、図３で既に説明をした箇所は同じ符号を付し説明を省略する。図１３（Ａ）は、フリッカーにおける光量の時間変化が横軸で示される時間（ｔ）と共に示す図である。図１３（Ｂ）は、静止画抽出用動画撮像モードにおいて、設定フレーム周期での各フレームの露光タイミングが示されている。設定フレーム周期では、露光タイミングが谷部Ｖとなっており、又フリッカーの位相と設定フレーム周期での露光タイミングとが合致している。

　図１３（Ｃ）は、再設定フレーム周期での露光タイミングが示されている。再設定フレーム周期は、設定フレーム周期よりも短くなっている。又、再設定フレーム周期での撮像タイミングは、フリッカーの位相と異なるように制御されている。

　以上で説明したように、フリッカーの位相と再設定フレーム周期での撮像タイミング（露光タイミング）を異ならせることにより、適切な明るさで撮像されたフレームを多く取得することができる。

　＜スマートフォンの構成＞

　上述の説明では、図１において撮像装置１０の一例として、レンズ交換式のカメラを用いて説明をしたが、本発明の適用はこれに限定されるものではない。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。尚、図１における撮像部２０１、制御部２４０、操作部２５０、記憶部２６０、及びモニタ２７０は、それぞれ図１５におけるカメラ部５４１、主制御部５０１、操作部５４０、記録部５５０、及び表示パネル５２１に対応する。

　図１４は、本発明の撮像装置１０の一実施形態であるスマートフォン５００の外観を示す図である。図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。又、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図１５は、図１４に示すスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。

　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

　表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

　図１４に示すように、本発明の撮像装置１０の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。又、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。又、図１４に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。

　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（UserIdentity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。

　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。又、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。

　アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。

　又、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　又、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　又、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮像装置１０に相当する。又、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た静止画の画像データを、例えばＪＰＥＧ（Joint Photographic coding Experts Group）で圧縮し、又は動画の画像データを、例えばＨ．２６４／ＡＶＣで圧縮して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。

　又、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。又、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０　　　：撮像装置

１１　　　：画像取得部

１３　　　：検出部

１５　　　：撮像フレーム周期制御部

１７　　　：記録動画像データ生成部

１９　　　：フリッカー情報取得部

１００　　：交換レンズ

１１０　　：ズームレンズ

１２０　　：フォーカスレンズ

１３０　　：絞り

１４０　　：レンズ駆動部

２００　　：撮像装置本体

２０１　　：撮像部

２１０　　：撮像素子

２３０　　：Ａ／Ｄ変換器

２４０　　：制御部

２５０　　：操作部

２６０　　：記憶部

２７０　　：モニタ

Claims (20)


  1. 　フレーム周期が第１フレーム周期で、かつ、１フレームの露光時間が前記第１フレーム周期よりも短い第１動画像データを撮像する撮像部と、

    　前記撮像部により撮像された前記第１動画像データを取得する画像取得部と、

    　前記第１動画像データにおいて光源のフリッカーを検出する検出部と、

    　前記撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、

    　を備える撮像装置であって、

    　前記撮像フレーム周期制御部は、前記検出部が前記フリッカーを検出した場合に、前記撮像部で撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短いフレーム周期である第２フレーム周期に変更する撮像装置。

  2. 　前記検出部は前記フリッカーの周期を検出するものであって、

    　前記撮像フレーム周期制御部は、前記第２フレーム周期を前記検出部で検出された前記フリッカーの周期の半分以下の周期に変更する請求項１に記載の撮像装置。

  3. 　前記撮像フレーム周期制御部は、設定された露光時間に応じて前記第２フレーム周期を変更する請求項１又は２に記載の撮像装置。

  4. 　前記第１動画像データから、フレーム周期が前記第２フレーム周期より長い第３フレーム周期の、記録用の第２動画像データを生成する動画像データ生成部を備える請求項１から３のいずれか１項に記載の撮像装置。

  5. 　前記動画像データ生成部は、前記第１動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は前記第１動画像データを構成する前記複数のフレームの内の隣接する複数のフレームを合成することにより、前記第３フレーム周期の前記第２動画像データを生成する請求項４に記載の撮像装置。

  6. 　前記動画像データ生成部は、前記検出部が前記フリッカーを検出した場合に、前記第３フレーム周期を変更しない請求項４又は５に記載の撮像装置。

  7. 　前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備える請求項１から６のいずれか１項に記載の撮像装置。

  8. 　前記撮像フレーム周期制御部は、さらに、前記検出部が前記フリッカーを検出した場合に、前記位相情報に応じて前記第１動画像データの撮像タイミングを調整する請求項７に記載の撮像装置。

  9. 　前記撮像部は、前記位相情報を用いて、前記フリッカーの特定の位相範囲で撮像を行わない請求項７又は８に記載の撮像装置。

  10. 　前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、

    　前記動画像データ生成部は、前記位相情報が付与された前記第２動画像データを生成する請求項４から６のいずれか１項に記載の撮像装置。

  11. 　前記位相情報を、前記第２動画像データを構成するフレームと共に表示する表示部を備える請求項１０に記載の撮像装置。

  12. 　前記第２動画像データを構成する複数のフレームから、前記位相情報を用いてフレームを抽出する抽出部と、

    　前記抽出部で抽出された前記フレームを表示する表示部を備える請求項１０に記載の撮像装置。

  13. 　前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、

    　前記動画像データ生成部は、前記位相情報を用いて、前記第１動画像データを構成する前記複数のフレームから一部のフレームを選択し、前記第２動画像データを生成する請求項４から６のいずれか１項に記載の撮像装置。

  14. 　前記撮像部は、第１動画モードと第２動画モードを有し、前記第１動画モードでは前記第１動画像データを撮像し、前記第２動画モードでは前記第１動画像データよりも１フレームの露光時間が長く設定された第３動画像データを撮像する請求項１から１３のいずれか１項に記載の撮像装置。

  15. 　前記第１動画モードは、前記第２動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される請求項１４に記載の撮像装置。

  16. 　フレーム周期が第１フレーム周期で、かつ、１フレームの露光時間が前記第１フレーム周期よりも短い第１動画像データを撮像する撮像部と、

    　前記撮像部により撮像された前記第１動画像データを取得する画像取得部と、

    　前記第１動画像データにおいて光源のフリッカーを検出する検出部と、

    　前記撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、

    　前記第１動画像データからフレーム周期が第３フレーム周期の記録用の第２動画像データを生成する動画像データ生成部と、

    　を備える撮像装置であって、

    　前記撮像フレーム周期制御部は、前記検出部が前記フリッカーを検出した場合に、前記撮像部で撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短いフレーム周期である第２フレーム周期に変更し、

    　前記第２フレーム周期は、前記第３フレーム周期よりも短いフレーム周期である撮像装置。

  17. 　前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、

    　前記動画像データ生成部は、前記位相情報が付与された前記第２動画像データを生成する請求項１６に記載の撮像装置。

  18. 　前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、

    　前記動画像データ生成部は、前記位相情報を用いて、前記第１動画像データを構成する前記複数のフレームから一部のフレームを選択し、前記第２動画像データを生成する請求項１６又は１７に記載の撮像装置。

  19. 　フレーム周期が第１フレーム周期で、１フレームの露光時間が前記第１フレーム周期よりも短い第１動画像データを撮像するステップと、

    　前記撮像するステップにより撮像された前記第１動画像データを取得するステップと、

    　前記第１動画像データにおいて光源のフリッカーを検出するステップと、

    　前記撮像するステップでの撮像のフレーム周期を制御するステップと、

    　を含む撮像方法であって、

    　前記フレーム周期を制御するステップは、前記検出するステップが前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短いフレーム周期である第２フレーム周期に変更する撮像方法。

  20. 　フレーム周期が第１フレーム周期で、かつ、１フレームの露光時間が前記第１フレーム周期よりも短い第１動画像データを撮像するステップと、

    　前記撮像するステップにより撮像された前記第１動画像データを取得するステップと、

    　前記第１動画像データにおいて光源のフリッカーを検出するステップと、

    　前記撮像するステップでの撮像のフレーム周期を制御するステップと、

    　を含む撮像工程をコンピュータに実行させるプログラムであって、

    　前記フレーム周期を制御するステップは、前記検出するステップが前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第１動画像データのフレーム周期を前記第１フレーム周期から前記第１フレーム周期よりも短いフレーム周期である第２フレーム周期に変更するプログラム。
PCT/JP2019/041617 2019-01-29 2019-10-24 撮像装置、撮像方法、及びプログラム WO2020158070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020569371A JP7112529B2 (ja) 2019-01-29 2019-10-24 撮像装置、撮像方法、及びプログラム
US17/361,799 US11438521B2 (en) 2019-01-29 2021-06-29 Image capturing device, image capturing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019013238 2019-01-29
JP2019-013238 2019-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/361,799 Continuation US11438521B2 (en) 2019-01-29 2021-06-29 Image capturing device, image capturing method, and program

Publications (1)

Publication Number Publication Date
WO2020158070A1 true WO2020158070A1 (ja) 2020-08-06

Family

ID=71841071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041617 WO2020158070A1 (ja) 2019-01-29 2019-10-24 撮像装置、撮像方法、及びプログラム

Country Status (3)

Country Link
US (1) US11438521B2 (ja)
JP (1) JP7112529B2 (ja)
WO (1) WO2020158070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382162A (zh) * 2021-04-28 2021-09-10 荣耀终端有限公司 一种视频拍摄方法及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022018906A (ja) * 2020-07-16 2022-01-27 キヤノン株式会社 撮像装置およびその制御方法
CN116366983B (zh) * 2023-05-29 2023-10-20 荣耀终端有限公司 拍摄方法、电子设备及可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105693A (ja) * 2007-10-24 2009-05-14 Olympus Corp カメラ
JP2009147806A (ja) * 2007-12-17 2009-07-02 Canon Inc 撮像装置
JP2010103746A (ja) * 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2014007622A (ja) * 2012-06-26 2014-01-16 Casio Comput Co Ltd 撮像装置、及びプログラム
JP2016032214A (ja) * 2014-07-29 2016-03-07 パナソニックＩｐマネジメント株式会社 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP5343995B2 (ja) * 2010-11-25 2013-11-13 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP5938814B2 (ja) 2015-11-10 2016-06-22 パナソニックＩｐマネジメント株式会社 撮像装置
JP6505295B2 (ja) 2018-05-30 2019-04-24 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105693A (ja) * 2007-10-24 2009-05-14 Olympus Corp カメラ
JP2009147806A (ja) * 2007-12-17 2009-07-02 Canon Inc 撮像装置
JP2010103746A (ja) * 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2014007622A (ja) * 2012-06-26 2014-01-16 Casio Comput Co Ltd 撮像装置、及びプログラム
JP2016032214A (ja) * 2014-07-29 2016-03-07 パナソニックＩｐマネジメント株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382162A (zh) * 2021-04-28 2021-09-10 荣耀终端有限公司 一种视频拍摄方法及电子设备
CN113382162B (zh) * 2021-04-28 2022-06-07 荣耀终端有限公司 一种视频拍摄方法及电子设备

Also Published As

Publication number Publication date
US20210329161A1 (en) 2021-10-21
JPWO2020158070A1 (ja) 2021-11-25
US11438521B2 (en) 2022-09-06
JP7112529B2 (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
JP6302554B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6272486B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US11438521B2 (en) Image capturing device, image capturing method, and program
WO2016139847A1 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6175585B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6171116B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP7110406B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
CN109845241B (zh) 摄像装置、摄像方法及记录介质
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
US10778880B2 (en) Imaging device, imaging method, and imaging program
JP7191980B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP7150053B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
WO2020003944A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19913640

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569371

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19913640

Country of ref document: EP

Kind code of ref document: A1