WO2016163248A1 - 撮像装置および方法、電子機器、並びに車載用電子機器 - Google Patents

撮像装置および方法、電子機器、並びに車載用電子機器 Download PDF

Info

Publication number
WO2016163248A1
WO2016163248A1 PCT/JP2016/059550 JP2016059550W WO2016163248A1 WO 2016163248 A1 WO2016163248 A1 WO 2016163248A1 JP 2016059550 W JP2016059550 W JP 2016059550W WO 2016163248 A1 WO2016163248 A1 WO 2016163248A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
unit
frame
control unit
Prior art date
Application number
PCT/JP2016/059550
Other languages
English (en)
French (fr)
Inventor
真 吉村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/563,709 priority Critical patent/US11212489B2/en
Priority to EP16776416.6A priority patent/EP3282685A4/en
Priority to JP2017511535A priority patent/JP6645494B2/ja
Priority to CN201680019011.1A priority patent/CN107431759B/zh
Publication of WO2016163248A1 publication Critical patent/WO2016163248A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • the present disclosure relates to an imaging device and method, an electronic device, and an in-vehicle electronic device, and in particular, an imaging device and method, an electronic device, and an in-vehicle electronic device that can suppress flicker generated by a light source in a wide frequency band.
  • an imaging device and method an electronic device, and an in-vehicle electronic device that can suppress flicker generated by a light source in a wide frequency band.
  • Patent Document 2 An imaging device that prevents data from being extinguished for a long time by acquiring data at a frame rate higher than the output and selecting a frame at random has been proposed (see Patent Document 2).
  • the movement of the moving object may become unnatural, or low frequency flicker may cause high frequency flicker.
  • the present disclosure has been made in view of such a situation, and can suppress flicker generated by a light source in a wide frequency band.
  • An imaging apparatus condenses light from a subject and generates an image, and changes an imaging interval of an image generated by the imaging unit in a non-uniform manner during a period of one frame.
  • An imaging control unit condenses light from a subject and generates an image, and changes an imaging interval of an image generated by the imaging unit in a non-uniform manner during a period of one frame.
  • the imaging control unit can capture three or more images during one frame period.
  • the imaging control unit can gradually change the imaging interval of the generated image during one frame period.
  • the imaging control unit can gradually increase the imaging interval of the generated image during one frame period.
  • the imaging control unit can gradually reduce the imaging interval of the generated image during one frame period.
  • the imaging interval of the image can correspond to a blinking interval in a frequency band of 50 Hz to 600 Hz.
  • the imaging interval of the image can correspond to a blinking interval in a frequency band of 50 Hz to 300 Hz.
  • the imaging interval of the image can correspond to a blinking interval in a frequency band of 50 Hz to 120 Hz.
  • the image capturing control unit can set the image capturing interval for each frame to the same pattern.
  • It may further include an image composition unit for compositing the images generated by the imaging unit.
  • the image synthesizing unit can synthesize the image generated by the imaging unit with a predetermined weight.
  • the imaging control unit changes a frame rate according to light and dark, and the image synthesis unit synthesizes an image generated by the imaging unit with a weight according to the frame rate changed by the imaging control unit. be able to.
  • the imaging control unit reduces the frame rate according to darkness, and the image synthesis unit synthesizes the image generated by the imaging unit with a weight according to the frame rate changed by the imaging control unit. be able to.
  • the imaging apparatus collects light from the subject, generates an image, and changes the imaging interval of the generated image non-uniformly during one frame period.
  • An electronic apparatus collects light from a subject and generates an image, and changes an imaging interval of an image generated by the imaging unit in a non-uniform manner during one frame period And an imaging control unit.
  • An in-vehicle electronic device has a non-uniform imaging interval between an imaging unit that collects light from a subject and generates an image and an image generated by the imaging unit during a period of one frame. And an imaging control unit that changes to
  • light from a subject is collected and an image is generated.
  • the imaging interval of the generated image is changed unevenly during the period of one frame.
  • imaging device may be an independent imaging device or an internal block constituting one imaging device.
  • flicker in a wide frequency band can be suppressed.
  • the unnaturalness of the movement of the moving object can be suppressed.
  • FIG. It is a figure which shows the example in the case (use case 2) corresponding to a traffic signal and a sign. It is a figure which shows the example in the case of corresponding to a traffic signal (use case 3). It is a figure which shows the modification of use case 1.
  • FIG. It is a block diagram which shows the structural example of the hardware of a computer.
  • the shooting timing is, for example, once per frame (frm).
  • the shooting timing is once per frame (frm), for example, as shown in FIG. Therefore, the time when it always disappears is shot.
  • Patent Document 1 proposes a technique for picking up a frame that detects an LED by picking up an image at high speed.
  • FIG. 1B an example of a technique for detecting this LED is shown.
  • this technique it is also proposed to shift the timing at random as shown by ⁇ t when imaging at high speed.
  • the image is picked up three times at random, and only the image picked up at the third timing is lit at 60 Hz and 600 Hz, so that image is selected and output. Is done.
  • images are randomly picked up four times, and only the images picked up at the timing of the fourth time shine at 60 Hz and 600 Hz, so that image is selected. Is output.
  • the movement of the moving object becomes unnatural, or the low frequency flicker becomes high frequency flicker.
  • the LED detection technology shown in Fig. 1B is costly for LED light source detection processing, and requires high power consumption for high frame rate video shooting, which generates heat. It was.
  • FIG. 2 shows an example of a technique for picking up images at high speed and performing random selection.
  • a plurality of images (five images in the case of FIG. 3) are shot at non-uniform intervals during one frame period of a moving image, and blended with a plurality of images. It was made to process. Note that the number of images is three or more. Thereby, flicker is efficiently removed.
  • the non-uniform imaging timing in one frame period shown in FIG. 3 is the same in a plurality of frames. Thereby, the high frequency of the low frequency flicker can be avoided.
  • FIGS. 4 and 5 which are imaging timings according to the present technology, imaging timings at non-uniform intervals in which a plurality of images are continuously fired during one frame period, and the intervals are the same among the plurality of frames. It is shown.
  • the imaging interval of each output frame is uniform. Therefore, for example, when an object that is moving in a uniform linear motion is photographed, the object does not move in a uniform linear motion on the video image, and is unnatural.
  • the movement of the moving body is natural. That is, in the present technology, as shown in the continuous shooting timing shown in B of FIG. 4, the continuous shooting timing is fixed for each frame, and the obtained frames are blended at a substantially fixed blend ratio for each frame.
  • the bundled burst timing pattern and the blend ratio of each captured image are not substantially changed between adjacent frames, and the movement of the object does not become unnatural.
  • the blend ratio is smoothly changed with a time constant.
  • the intervals between the frames of the high-speed captured images used to generate the output frame are all the same as one frame. Images cause long-period flicker. Only a low-frequency flicker occurs even when a plurality of images causing long-period flicker are blended. Therefore, in the present technology, high frequency of long-period flicker is suppressed. Note that when high-frequency flicker is originally generated, it is not a target of suppression.
  • the LED flicker in a bright situation where LED flicker occurs, the LED flicker is already suppressed by high-speed imaging and image blending, and the frame rate of high-speed imaging is gradually getting darker. Is controlled to drop. When the frame rate is lowered, the blend ratio of each high-speed imaging result is controlled so that the change does not appear in the video. The ratio (weight) of the high-speed captured image is controlled to change with a time constant.
  • the conventional exposure control is performed after the frame rate becomes the same as that of normal single-frame shooting instead of continuous shooting.
  • control of the imaging timing, shutter, and blend ratio when the ambient brightness is changed while performing high-speed imaging of four images is shown.
  • the image is bright as shown in the first to third steps from the top in FIG. 6, four high-speed images are taken, so blending is performed in order of the weights of Wa, Wb, Wc, and Wd from the left image. Is called.
  • the frame is darkened so that the frame rate is controlled to be reduced, so that two images from the left become one image and three high-speed images.
  • blending is performed in order from the left image with weights of Wa + Wb, Wc, and Wd.
  • the surroundings become darker and the frame rate is controlled to be reduced, so that three images from the left become one image and two high-speed images.
  • blending is performed in order from the left image with weights of Wa + Wb + Wc and Wd.
  • the surroundings become darker and the frame rate is controlled to be reduced, so that 4 images from the left become 1 image and 1 image
  • the imaging timing, shutter, and blend ratio are controlled when the ambient brightness is changed as described above, the normal frame is changed from the high-speed imaging for flicker countermeasures. Seamless transition control to rate can be performed.
  • FIG. 7 is a block diagram illustrating a configuration example of an imaging apparatus to which the present technology is applied.
  • the imaging device 11 is configured to include an imaging control unit 21, an imaging unit 22, a timing adjustment buffer 23, an image composition unit 24, and an image processing unit 25.
  • the imaging control unit 21 controls the acquisition of image data in the imaging unit 22 at a cycle higher than the output frame rate (for example, 30 fps or 60 fps).
  • n be a period that is half the blinking cycle of the LED light source that generates LED flicker.
  • the imaging control unit 21 controls the imaging unit 22 and changes the imaging interval non-uniformly during the period of one output frame. Specifically, the imaging control unit 21 acquires a plurality of high-speed captured images while gradually increasing the imaging interval to an integer multiple of n during the period of one output frame. For example, as will be described later, in the case of the example of FIG. 9, during the period of one frame of output, continuous images are captured with imaging intervals of n, 2n, 2n, and 3n, which is 3: 2: 2: 1. When blended with weights, the flicker amplitude caused by LEDs with a period longer than 2n can be attenuated by half at any frequency. In addition to the monotonous increase, the imaging interval may be monotonically decreased, or increased from the decrease, decreased from the increase, etc., but the monotone increase or the monotonic decrease is more effective.
  • the imaging control unit 21 equalizes the exposure time for each high-speed captured image for the same output frame, and the exposure time is set for normal moving image shooting (one frame shooting and one frame output).
  • the imaging unit 22 is controlled so as to have the same length as in the case of.
  • the imaging control unit 21 performs control to reduce the frame rate of high-speed captured image acquisition by the imaging unit 22, as described above with reference to FIG. Seamless transition to normal video shooting control.
  • the imaging unit 22 includes various optical systems for condensing an appropriate image on the image sensor such as an aperture, a lens, and a shutter, and an image sensor that receives light passing through the optical system and converts it into an electrical signal.
  • the image sensor is constituted by a CMOS (Complementary Metal Oxide Semiconductor) solid-state imaging device or the like, and there are no particular restrictions (for example, limitations on the light receiving method, the type of color filter, etc.) other than being controllable by the imaging control unit 21. Absent.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging unit 22 is controlled by the imaging control unit 21, converts light from the subject into an electrical signal, and supplies the converted electrical signal image to the timing adjustment buffer 23.
  • the timing adjustment buffer 23 accumulates a plurality of high-speed captured images of one output frame, and outputs them in parallel to the image composition unit 24 in accordance with the output frame rate.
  • the image composition unit 24 blends (synthesizes) a plurality of high-speed captured images input in parallel at a predetermined ratio, and outputs the blended image to the image processing unit 25. Specifically, a coefficient that minimizes LED flicker is set in accordance with the imaging timing controlled by the imaging control unit 21. Further, the image composition unit 24 controls the weight of each high-speed captured image in accordance with the control for reducing the frame rate of the high-speed captured image when the exposure time becomes long. Further, the image composition unit 24 performs control to smoothly change the weight of each high-speed captured image with a time constant for image quality adjustment.
  • the image processing unit 25 performs signal processing of the image from the image composition unit 24 and outputs it to the subsequent stage. Note that a plurality or a single image processing unit 25 may be inserted at any position after the imaging unit 22. However, when the image processing unit 25 is inserted after the timing adjustment buffer 23, it is necessary to parallelize the processing blocks corresponding to the number of high-speed captured images. If it is arranged after the combining unit 24, it is advantageous in terms of hardware cost.
  • step S21 the imaging control unit 21 controls the imaging unit 22 to perform continuous imaging at non-uniform imaging intervals during one output frame period.
  • the imaging unit 22 converts light from the subject into an electrical signal, and supplies the converted electrical signal image to the timing adjustment buffer 23.
  • a plurality of high-speed captured images are input in parallel from the imaging unit 22 to the timing adjustment buffer 23.
  • step S22 the imaging control unit 21 determines whether or not the exposure time is long. If it is determined in step S22 that the exposure time is not long, the process proceeds to step S23.
  • step S23 the timing adjustment buffer 23 outputs a plurality of captured images input from the imaging unit 22 in parallel in accordance with the output frame rate.
  • step S22 determines whether the exposure time is long. If it is determined in step S22 that the exposure time is long, the process proceeds to step S25. In step S25, the imaging control unit 21 decreases the frame rate.
  • step S26 the timing adjustment buffer 23 outputs the plurality of captured images input from the imaging unit 22 in parallel with the frame rate dropped by the imaging control unit 21.
  • step S27 the image composition unit 24 controls (adjusts) the weight according to the dropped frame rate, blends (synthesizes) a plurality of high-speed captured images input in parallel with the controlled weight, and blends them.
  • the resulting image is output to the image processing unit 25.
  • step S24 or S27 the process proceeds to step S28.
  • step S ⁇ b> 28 the image processing unit 25 performs signal processing of the image from the image synthesis unit 24 and outputs it to the subsequent stage.
  • the same effect can be obtained even if blending is performed by shifting the imaging timing for each specific area, such as for each pixel or line within the plane of the imaging unit.
  • the timing is changed in this way, for the pixel corresponding to the frame that is determined not to be necessary for the above-described control of the frame rate based on the brightness, the same control as the pixel that does not correspond to the frame determined to be unnecessary is performed.
  • the image composition unit 24 has a weight coefficient set for each image fired continuously, and it is also possible to seamlessly switch the coefficient set by further blending the blend result of each coefficient set with an arbitrary weight. .
  • the normal movie shooting mode and the long-period flicker countermeasure mode by continuous shooting can be seamlessly changed according to the brightness. Only necessary scenes can be handled while realizing electric power and heat generation.
  • FIG. 9 is a diagram for explaining the effect of the present technology.
  • FIG. 9 an experimental example is shown in which a processing result of 25 fps when an image of 1000 fps is input from the imaging device 11 is created. This is the same as the example of outputting a 30 fps image from a 600 fps image.
  • FIG. 9 when no countermeasure is taken, an image is picked up at the leading timing in one output frame, so that the lifetime of the LED light source is output.
  • the horizontal axis represents the blinking frequency of the light source
  • the vertical axis represents the attenuation rate (dB) indicating how the brightness of the signal is attenuated by this processing.
  • the vertical axis is brightness and the horizontal axis is time, and as indicated by the solid line in the graph, the signal causing the LED flicker becomes brighter and becomes darker after a while.
  • the circled part has an attenuation factor of about -6 dB, and -6 dB corresponds to 1/2 times. If this is made to correspond to the graph on the lower left, as shown by the dotted line, the brightness amplitude becomes about 1 ⁇ 2, so that it can be seen that the signal completely disappeared until now becomes half.
  • flicker can be removed by performing a blend process by continuously firing a plurality of images at a non-uniform interval during one frame period of a moving image.
  • flicker can be efficiently removed as compared with equality by setting the imaging timing of a plurality of images used for generating one output frame at nonuniform intervals.
  • the blinking frequency of the light source is an integral multiple of the power supply frequency.
  • the power supply frequency is 50 Hz in the east and 60 Hz in the west.
  • the power supply frequency is either 50 Hz or 60 Hz from a global perspective.
  • FIG. 10 there are three main types of LED light sources reflected on the in-vehicle camera, and are classified into traffic lights, signs, and in-vehicle LED lights.
  • traffic lights 100Hz and 120Hz are the mainstreams in the survey, and there are a wide range of signs and in-vehicle LEDs, so it is difficult to limit them (the tendency is often a multiple of 60,90 between 500Hz and 100Hz).
  • FIG. 11 is a diagram showing an example in the case of covering all types of LED light sources (use case 1). When covering all types of LED light sources, it is necessary to cover 600Hz to 50Hz including the margin.
  • the shortest imaging interval n is 1/1200 sec and the imaging interval is changed to n, 2n, 2n, 3n.
  • the effect is improved by blending.
  • FIG. 12 is a diagram showing an example of a case (use case 2) corresponding to a traffic signal and a sign.
  • a case use case 2
  • FIG. 12 When dealing with traffic lights and signs, it is necessary to cover 300 Hz to 50 Hz.
  • the shortest imaging interval n is set to 1/600 sec, and four images are shot continuously while changing the imaging interval to n, 2n, 2n, and the weight of each image is blended at 3: 2: 1. Can be given.
  • FIG. 13 is a diagram illustrating an example of the case corresponding to a traffic light (use case 3). When dealing with traffic lights, it is necessary to make 120Hz to 50Hz cover.
  • n 1/240 sec and the imaging interval is changed to n, 2n, three shots are fired and the weight of each image is blended 2: 1: 1. It is done.
  • the imaging interval and the blend ratio may be other values.
  • the imaging interval is not limited to monotonically increasing, and may be monotonously decreasing. Further, as shown in FIG. 14B, the imaging interval may be monotonously increased from a monotonous decrease. Furthermore, as shown in FIG. 14C, the imaging interval may be a combination of short bursts.
  • CMOS solid-state imaging device As the image sensor of the imaging unit has been described.
  • a solid-state imaging device such as a CCD (Charge Coupled Device) solid-state imaging device may be used.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. Is performed.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable medium 211 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • an imaging unit that collects light from a subject and generates an image;
  • An imaging apparatus comprising: an imaging control unit that changes imaging intervals of images generated by the imaging unit in a non-uniform manner during a period of one frame.
  • the imaging device according to (1) wherein the imaging control unit captures three or more images during a period of one frame.
  • the imaging apparatus according to any one of (1) to (4), wherein the imaging control unit gradually decreases an imaging interval of a generated image during a period of one frame.
  • the imaging apparatus according to any one of (1) to (5), wherein the imaging interval of the image corresponds to a blinking interval in a frequency band of 50 Hz to 600 Hz.
  • the imaging apparatus according to any one of (1) to (6), wherein the imaging interval of the image corresponds to a blinking interval in a frequency band of 50 Hz to 300 Hz.
  • the imaging apparatus according to any one of (1) to (7), wherein the imaging interval of the image corresponds to a blinking interval in a frequency band of 50 Hz to 120 Hz.
  • the imaging apparatus according to any one of (1) to (8), wherein the imaging control unit sets an imaging interval of images for each frame to the same pattern.
  • the imaging apparatus according to any one of (1) to (9), further including an image synthesis unit that synthesizes an image generated by the imaging unit.
  • the imaging device according to (10), wherein the image synthesis unit synthesizes the image generated by the imaging unit with a predetermined weight.
  • the imaging control unit changes the frame rate according to light and dark, The imaging apparatus according to (11), wherein the image synthesis unit synthesizes an image generated by the imaging unit with a weight according to a frame rate changed by the imaging control unit.
  • the imaging control unit reduces the frame rate according to the darkness, The imaging apparatus according to (12), wherein the image synthesis unit synthesizes an image generated by the imaging unit with a weight according to a frame rate changed by the imaging control unit.
  • the imaging device is Condensing light from the subject, creating an image, An imaging method in which imaging intervals of generated images are changed non-uniformly during a period of one frame.
  • An electronic apparatus comprising: an imaging apparatus comprising: an imaging control unit that changes an imaging interval of images generated by the imaging unit in a non-uniform manner during a period of one frame.
  • An imaging unit that collects light from the subject and generates an image
  • An in-vehicle electronic apparatus comprising: an imaging device including an imaging control unit that changes an imaging interval of images generated by the imaging unit in a non-uniform manner during a period of one frame.
  • imaging device 21 imaging control unit, 22 imaging unit, 23 timing adjustment buffer, 24 image compositing unit, 25 image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

　本開示は、幅広い周波数帯の光源により生じるフリッカを抑制することができるようにする撮像装置および方法、電子機器、並びに車載用電子機器に関する。 本技術においては、動画像の１フレーム期間中に、複数画像が不均一な間隔で連射され、複数画像に対してブレンド処理が行われる。これにより、効率よくフリッカが除去される。また、１フレーム期間における不均一な撮像タイミングは、複数フレームにおいて同じとされる。これにより、低周波フリッカの高周波化を回避することができる。本開示は、例えば、車載カメラに適用することができる。

Description

撮像装置および方法、電子機器、並びに車載用電子機器
　本開示は、撮像装置および方法、電子機器、並びに車載用電子機器に関し、特に、幅広い周波数帯の光源により生じるフリッカを抑制することができるようにした撮像装置および方法、電子機器、並びに車載用電子機器に関する。
　信号機などのLED電球を動画で撮影した場合に、例えば晴天の日などシャッタが短くなる状況下で、長時間電球が消えたままの状態が写る現象が起こる。車載カメラにおいては、事故時の証拠としてなりたたなくなる他、近年搭載の進んでいる自動車のインテリジェント化の妨げになっている。
　LEDは、非常に高い周波数で明滅を繰り返しているが、上記のような現象は、LEDの発光周波数と撮影周波数とが近いために発生してしまう。そこで、出力よりも高いフレームレートでデータ取得を行い、信号機を検出し、その明滅周波数を検出してLEDが点灯しているフレームを選ぶドライブレコーダが提案されている（特許文献１参照）。
　また、出力よりも高いフレームレートでデータ取得を行い、ランダムにフレームをセレクトすることで、長時間電球が消えるのを防ぐ撮像装置も提案されている（特許文献２参照）。
特開２００８-２１１４４２号公報 特開２００９-１７２９３号公報
　しかしながら、上述したような提案の技術においては、動物体の動きが不自然になってしまうことがあったり、低周波フリッカが高周波フリッカを生じてしまうことがあった。
　本開示は、このような状況に鑑みてなされたものであり、幅広い周波数帯の光源により生じるフリッカを抑制することができるものである。
　本開示の一側面の撮像装置は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える。
　前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させることができる。
　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変えることができる。
　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させることができる。
　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させることができる。
　前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応することができる。
　前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応することができる。
　前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応することができる。
　前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとすることができる。
　前記撮像部により生成された画像を合成する画像合成部をさらに備えることができる。
　前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成することができる。
　前記撮像制御部は、明暗に応じて、フレームレートを変更し、前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成することができる。
　前記撮像制御部は、暗さに応じて、フレームレートを落とし、前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成することができる。
　本開示の一側面の撮像方法は、撮像装置が、被写体からの光を集光し、画像を生成し、１フレームの期間中において、生成される画像の撮像間隔を不均一に変える。
　本開示の一側面の電子機器は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置を有する。
　本開示の一側面の車載用電子機器は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置を有する。
　本開示の一側面においては、被写体からの光が集光され、画像が生成される。そして、１フレームの期間中において、生成される画像の撮像間隔が不均一に変えられる。
　なお、上述の撮像装置は、独立した撮像装置であってもよいし、１つの撮像装置を構成している内部ブロックであってもよい。
　本開示の一側面によれば、幅広い周波数帯のフリッカを抑制することができる。また、動物体の動きの不自然さを抑制することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
LED電球が消灯した状態で撮影されてしまう原理を説明する図である。 他の技術の例を説明する図である。 本技術の概要を説明する図である。 本技術を詳しく説明する図である。 本技術を詳しく説明する図である。 周囲の明暗に応じて行われる処理について説明する図である。 本技術を適用する撮像装置の構成例を示すブロック図である。 撮像装置の撮影処理について説明するフローチャートである。 本技術の効果について説明する図である。 LED光源の周波数を説明する図である。 全種類のLED光源を網羅する場合（ユースケース１）の例を示す図である。 信号機、標識に対応する場合（ユースケース２）の例を示す図である。 信号機に対応する場合（ユースケース３）の例を示す図である。 ユースケース１の変形例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　０．概要
　１．第１の実施の形態（撮像装置）
　２．第２の実施の形態（ターゲット周波数）
　３．第３の実施の形態（コンピュータ）
＜０．概要＞
　信号機などのLED電球を動画で撮影した場合に、例えば晴天の日などシャッタが短くなる状況下で、長時間電球が消えたままの状態が写る現象が起こる。LEDは、非常に高い周波数で明滅を繰り返しているが、上記のような現象は、LEDの発光（明滅）周波数と撮影周波数とが近いために発生してしまう。
　図１を参照して、LED電球が消灯した状態で撮影されてしまう原理について説明する。なお、以降の説明においては、１フレーム(frm)が60fpsの場合に、フリッカの光源例として、60Hzと600HzでのLED電球の明滅周期を例に説明する。
　通常撮影は、撮影タイミングが、例えば、１フレーム(frm)に１回である。通常撮影のように、撮影タイミングが、例えば、１フレーム(frm)に１回であるとすると、図１のＡに示されるように、LED電球の明滅周期の滅のタイミングと撮影タイミングが揃ってしまい、常に消えているタイミングが撮影されてしまう。
　そこで、特許文献１においては、高速に撮像して、LEDを検出し、光っているフレームを選択する技術が提案されている。図１のＢにおいては、このLEDを検出する技術の例が示されている。なお、この技術においては、高速に撮像する場合に、Δtに示されるように、ランダムにタイミングをずらすことも提案されている。
　例えば、左側の１フレームにおいては、３回ランダムに撮像が行われ、そのうちの３回目のタイミングで撮像された画像のみが明滅周期が60Hzかつ600Hzで光っているので、その画像が選択されて出力される。同様に、右側の１フレームにおいては、４回ランダムに撮像が行われ、そのうちの４回目のタイミングで撮像された画像のみが明滅周期が60Hzかつ600Hzで光っているので、その画像が選択されて出力される。
　しかしながら、図１のＢに示されるLEDを検出する技術では、動体の動きが不自然となってしまったり、低周波フリッカが高周波フリッカになってしまっていた。また、図１のＢに示されるLEDを検出する技術では、LED光源検出処理にコストがかかってしまっていたり、高フレームレートの動画撮影のため、高い消費電力が必要であり、熱が発生してしまっていた。
　このような場合に対して、製品化においては、通常撮影の動画が長周期フリッカを起こす場合のみ高速連射を行い、そうでない場合、速やかに通常撮影に移行する制御が不可欠であるが、その遷移方法についての提案はなされていない。
　また、特許文献２においては、高速に撮像してランダムにセレクトを行う技術が提案されている。図２においては、高速に撮像してランダムにセレクトを行う技術の例が示されている。
　例えば、フレーム毎に３回の撮像が行われ、左側のフレームにおいては、左から２番目の撮像画像が選択されて、出力されており、右側のフレームにおいては、左から３番目の撮像画像が選択されて、出力されている。撮像画像が、ランダムに選択されるので、左側のフレームで選択された画像は、明滅周期が60Hzかつ600Hzで光っていないが、右側のフレームで選択された画像は、明滅周期が60Hzかつ600Hzで光っている。このようにすることで、長時間LEDが消えるのを抑制することができる。
　しかしながら、図２に示される高速に撮像してランダムにセレクトを行う技術では、図１のＢの場合と同様に、動体の動きが不自然となってしまったり、低周波フリッカが高周波フリッカになってしまっていた。また、図２に示される高速に撮像してランダムにセレクトを行う技術でも、高フレームレートの動画撮影のため、高い消費電力が必要であり、熱が発生してしまっていた。
　そこで、本技術においては、図３に示されるように、動画像の１フレーム期間中に、複数（図３の場合、５枚）画像を不均一な間隔で連射させ、複数画像に対してブレンド処理を行うようにした。なお、画像の枚数は、３枚以上とされる。これにより、効率よくフリッカが除去される。
　また、図３に示される１フレーム期間における不均一な撮像タイミングは、複数フレームにおいて同じとされる。これにより、低周波フリッカの高周波化を回避することができる。
　＜本技術のポイントの説明＞
　次に、図４および図５を参照して、本技術のポイントについて詳しく説明する。図４および図５においては、本技術による撮像タイミングである、１フレーム期間中に複数画像が連射される不均一な間隔の撮像タイミングであって、その間隔が複数フレーム間で同じである撮像タイミングが示されている。
　図４のＡに示されるように、本技術の場合、光源検出やフリッカの周波数検出は不要であり、また、広い周波数帯に有効である。すなわち、本技術の場合、動画像の１フレーム期間中に、複数画像が不均一な間隔で連射されるので、図４のＡにおいて囲まれた丸の部分に示されるように、1/1200秒の間隔と1/120の間隔の両方が撮像タイミングに含まれるため、両方の周波数のLED光源で生じるフリッカの明滅をサンプルすることができる。
　また、図１のＢを参照して上述したLEDを検出する技術または図２を参照して上述した高速に撮像してランダムにセレクトを行う技術においては、出力される各フレームの撮像間隔が均一でないため、例えば、等速直線運動をしている物体を撮影したときに、映像上では、その物体は、等速直線運動にならず、不自然な動きになってしまっていた。
　これに対して、本技術の場合、動体の動きが自然である。すなわち、本技術においては、図４のＢの括った連射タイミングに示されるように、１フレーム毎に連射タイミングが固定され、得られたフレームがフレーム毎にほぼ固定のブレンド比率でブレンドされる。
　したがって、括った連射タイミングのパターンと、各撮像画像のブレンド比率は、隣接フレーム間でほぼ変わらず、物体の動きが不自然になってしまうことはない。なお、詳しくは後述するが、ブレンド比率については、時定数をもってなめらかに変更される。
　また、図２を参照して上述した高速に撮像してランダムにセレクトを行う技術では、高速に撮像したフレームからランダムにフレームを出力するため、フレーム毎にLEDの明滅が変化する（このような現象が高周波フリッカである）ケースが頻発する。
　これに対して、本技術においては、図５の矢印に示されるように、出力フレームを生成するのに用いられる各高速撮像画像のフレーム間の間隔が、すべて１フレームと同様であるので、すべての画像が長周期フリッカを起こしてしまう。長周期フリッカを起こしている複数の画像をブレンドしても生じるのは、低周波フリッカのみである。したがって、本技術においては、長周期フリッカの高周波化は抑制される。なお、もともと高周波フリッカが発生している場合は、抑制の対象とならない。
　さらに、本技術においては、図６に示されるように、LEDフリッカが発生する明るい状況では、すでに高速撮像と画像ブレンドでLEDフリッカの抑制が行われ、暗くなっていくにつれて、高速撮像のフレームレートが落としていく制御が行われる。また、フレームレートを落とすときには、その切り替わりが映像に現れないように、各高速撮像結果のブレンド比率の制御が行われる。なお、高速撮像画像の比率（重み）は、時定数を持って変化させる制御が行われる。
　また、本技術においては、フレームレートが連射ではなく通常の１枚撮影と同じになった後、従来の露光制御が行われる。
　図６の例においては、４枚の高速撮像を行いながら、周囲の明るさを変化させた場合の撮像タイミングと、シャッタと、ブレンド比率の制御が示されている。図６の上から１段目乃至３段目に示されるように明るい場合は、４枚の高速撮像が行われるので、左の画像から順に、Wa,Wb,Wc,Wdの重みによりブレンドが行われる。図６の上から４段目、５段目に示されるように周囲が暗くなることで、フレームレートを落とす制御がなされ、左から２枚分の撮像が１枚の撮像となり、３枚の高速撮像となった場合には、左の画像から順に、Wa+Wb,Wc,Wdの重みによりブレンドが行われる。
　図６の上から６段目、７段目に示されるようにさらに周囲が暗くなり、フレームレートを落とす制御がなされ、左から３枚分の撮像が１枚の撮像となり、２枚の高速撮像となった場合には、左の画像から順に、Wa+Wb+Wc,Wdの重みによりブレンドが行われる。図６の上から８段目、９段目に示されるようにさらに周囲が暗くなり、フレームレートを落とす制御がなされ、左から４枚分の撮像が１枚の撮像となり、１枚の撮像となった場合には、重みは、Wa+Wb+Wc+Wd(=1)となり、その撮像された１枚の画像が出力される。
　以上のように、本技術においては、以上のような周囲の明るさを変化させた場合の撮像タイミングと、シャッタと、ブレンド比率の制御が行われるので、フリッカ対策用の高速撮像から、通常フレームレートへのシームレスな遷移制御を行うことができる。
　以下、本技術について具体的に説明していく。
＜１．第１の実施の形態＞
　＜撮像装置の構成例＞
　図７は、本技術を適用する撮像装置の構成例を示すブロック図である。
　撮像装置１１は、撮像制御部２１、撮像部２２、タイミング調整バッファ２３、画像合成部２４、および画像処理部２５を含むように構成されている。
　撮像制御部２１は、撮像部２２での画像データの取得を、出力のフレームレート（例えば、30fpsや60fps）よりも高い周期で制御する。説明の便宜上、これ以降、LEDフリッカを発生させているLED光源の明滅周期の1/2の期間をnとする。
　撮像制御部２１は、撮像部２２を制御し、出力1フレームの期間中に撮像間隔を不均一に変える。具体的には、撮像制御部２１は、出力1フレームの期間中にnの整数倍に撮像間隔を徐々に広げながら、複数の高速撮像画像を取得する。例えば、後述するが、図９の例の場合、出力１フレームの期間中に、撮像の間隔をn,2n,2n,3nとして連続された画像が撮像されて、3:2:2:1という重みでブレンドされると、2nよりも長い周期のLEDにより生じるフリッカの振幅をあらゆる周波数において1/2減衰させることができる。なお、撮像間隔については、単調増加の他、単調減少、または、減少からの増加、増加からの減少などとしてもよいが、単調増加または単調減少がより効果的である。
　また、撮像制御部２１は、高速撮像画像1枚1枚の露光時間を同一出力フレーム用のものについては等しくし、その露光時間を通常の動画撮影時（1フレーム撮影して、1フレーム出力）の場合と同じ長さになるように撮像部２２を制御する。撮像制御部２１は、露光時間が長くなる場合（撮影対象が暗い場合）には、図６を参照して上述したように、撮像部２２による高速撮像画像取得のフレームレートを落とす制御を行い、通常の動画撮影時の制御へとシームレスに遷移させる。
　撮像部２２は、絞り、レンズ、シャッタなど、イメージセンサ上に適切な像を集光するための様々な光学系と、光学系を通ってきた光を受け、電気信号に変換するイメージセンサを含むように構成される。なお、イメージセンサは、CMOS（Complementary Metal Oxide Semiconductor）固体撮像装置などにより構成され、撮像制御部２１による制御が可能なこと以外に特に制約（例えば、受光方式、カラーフィルタの種類などの限定）はない。
　撮像部２２は、撮像制御部２１により制御され、被写体からの光を、電気信号に変換して、変換した電気信号の画像を、タイミング調整バッファ２３に供給する。
　タイミング調整バッファ２３は、出力1フレームの高速撮像画像を複数枚蓄積し、画像合成部２４に対して、出力のフレームレートにそろえて並列に出力する。
　画像合成部２４は、並列で入力された複数の高速撮像画像を、所定の比率でブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。具体的には、撮像制御部２１が制御する撮像タイミングに合わせて、LEDフリッカが最小になる係数を設定する。また、画像合成部２４は、露光時間が長くなってきた場合の高速撮像画像のフレームレートを落とす制御に応じて、各高速撮像画像の重みを制御する。さらに、画像合成部２４は、画質調整のため、時定数をもって、各高速撮像画像の重みをなめらかに変更する制御を行う。
　画像処理部２５は、画像合成部２４からの画像の信号処理を行い、後段に出力する。なお、画像処理部２５は、複数または単一で、撮像部２２以降のどの位置に挿入されてもよい。ただし、タイミング調整バッファ２３の後に画像処理部２５を挿入する場合、高速撮像画像の枚数分の処理ブロックを並列化する必要があるので、画像処理部２５は、タイミング調整バッファ２３の前か、画像合成部２４の後に配置されると、ハードウエアコストの面で有利になる。
　＜撮像装置の処理例＞
　次に、図８のフローチャートを参照して、撮像装置１１の撮影処理について説明する。
　ステップＳ２１において、撮像制御部２１は、撮像部２２を制御し、出力1フレーム期間中において、不均一な撮像間隔で連続撮影を行う。撮像部２２は、撮像制御部２１の制御のもと、被写体からの光を、電気信号に変換して、変換した電気信号の画像を、タイミング調整バッファ２３に供給する。タイミング調整バッファ２３には、撮像部２２から、複数の高速撮像画像が並列で入力される。
　撮像制御部２１は、ステップＳ２２において、露光時間が長いか否かを判定する。ステップＳ２２において、露光時間が長くないと判定された場合、処理は、ステップＳ２３に進む。ステップＳ２３において、タイミング調整バッファ２３は、撮像部２２から入力された複数の撮影画像を、出力のフレームレートにそろえて並列に出力する。
　画像合成部２４は、ステップＳ２４において、並列で入力された複数の高速撮像画像を、所定の重み（比率）でブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。
　一方、ステップＳ２２において、露光時間が長いと判定された場合、処理は、ステップＳ２５に進む。ステップＳ２５において、撮像制御部２１は、フレームレートを落とす。
　ステップＳ２６において、タイミング調整バッファ２３は、撮像部２２から入力された複数の撮影画像を、撮像制御部２１が落としたフレームレートにそろえて並列に出力する。
　画像合成部２４は、ステップＳ２７において、落としたフレームレートに合わせて重みを制御（調整）し、並列で入力された複数の高速撮像画像を、制御した重みでブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。
　ステップＳ２４またはＳ２７の処理の後、処理は、ステップＳ２８に進む。ステップＳ２８において、画像処理部２５は、画像合成部２４からの画像の信号処理を行い、後段に出力する。
　なお、上記説明においては、単一の光学系と撮像部から、タイミングをずらして撮像された画像を入力する場合が示されていたが、例えば光学系と撮像部分が複数あり、それぞれの撮像タイミングをずらしたものを光学系からの入力とする場合でもよい。
　光学系は単一でも、撮像部の面内で画素ごとやラインごとのように、特定領域ごとに撮像タイミングをずらしてブレンドを行うようにしても同等の効果を得ることができる。このように面内でタイミングを変える場合、上述した明るさによるフレームレートの制御に撮影が不要と判定されたフレームに対応する画素については、不要と判定されたフレームに対応しない画素と同様の制御を行うことにより、画像の解像度向上に役立てることが可能である。
　WD(wide dynamic range)動画撮影時には、長蓄用画像、短畜用画像にそれぞれ高速連射を行い、高速連射中に撮影タイミングをずらすことで、長畜および短畜の一方、または両方から長周期フリッカを除去する制御を行うことができる。
　また、高速連射中に画像間の位置合わせを行うことができる。
　さらに、画像合成部２４が連射した各画像用の重み係数セットを有し、それぞれの係数セットによるブレンド結果をさらに任意の重みによりブレンドすることで、係数セットをシームレスに切り替えるということも可能である。
　以上のように、本技術によれば、タイミングずらし撮影およびブレンドという非常に単純な信号処理により、幅広い周波数帯のフリッカ光源によるフリッカの振幅を抑制することができる。
　特に信号機やLED標識などが長周期フリッカを起こしてしまうことに対応して、ちらつきがない状態のまま消えることを防ぐことができる。
　動画像に関しても動体の動きがランダムに伸縮されるような動きの不自然さの発生を抑制することができる。
　また、本技術によれば、通常の動画撮影モードと連射による長周期フリッカ対策モードとを明るさに応じてシームレスに遷移することができるため、長周期フリッカが生じないシーンでは、通常撮影同等の電力や発熱を実現しつつ、必要な場面のみ対応させることができる。
　＜本技術の効果＞
　図９は、本技術の効果について説明する図である。
　図９の例においては、撮像装置１１より1000fpsの画像が入力された場合の、25fpsの処理結果が作成された実験例が示されている。これは、600fpsの画像から、30fpsの画像のものを出力する例と同じである。図９に示されるように、対策なしの場合、出力1フレームに、先頭のタイミングで画像が撮像されるので、LED光源の滅期間が出力されてしまう。これに対して、本技術の場合、たとえば、出力１フレームの期間中に、撮像の間隔をn,2n,2n,3n（n=2）として連続された画像が撮像されて、3:2:2:1という重みでブレンドされる。
　図９の右下のグラフは、横軸が光源の明滅の周波数であり、縦軸が今回の処理によりどう信号の明るさが減衰するかという減衰率(dB)である。図９の左下のグラフは、縦軸が明るさ、横軸が時間であり、グラフの実線に示されるように、LEDフリッカを起こしている信号は、明るくなって、しばらくすると暗くなるのを繰り返す。右下のグラフにおいて丸の部分が-6dB程度の減衰率になっており、-6dBは、1/2倍に相当する。これを、左下のグラフに対応させると、点線に示されるように、明るさの振幅が1/2程度になるので、いままで完全に消えていた信号が半分になるということがわかる。
　これにより、長周期フリッカの振幅が減衰することで完全に消えていた信号機のあかりの（光る）部分の輝度が戻り、目で見ても十分に認識できる明るさになる。
　以上のように、本技術によれば、動画像の１フレーム期間中に、複数画像を不均一な間隔で連射し、ブレンド処理を行うことで、フリッカを除去することができる。
　また、出力１フレームの生成に使用される複数画像の撮像タイミングを不均一な間隔とすることで、均等と比較して、効率よくフリッカを除去することができる。
　さらに、出力複数フレームに関する各１フレームの生成に使用する複数画像の撮像タイミングを同じとすることで低周波フリッカの高周波化を回避することができる。
　なお、次に、本技術が適用されるターゲット周波数について説明する。
＜２．第２の実施の形態＞
　＜ターゲット周波数＞
　基本的に光源の明滅周波数は、電源周波数の整数倍になる。日本の場合、電源周波数は、東が50Hz、西60Hzとなっている。また、世界的にみても電源周波数は、50Hz、60Hzのどちらかになっている。
　また、車載カメラに映るLED光源は、図１０に示されるように、大きく３種類あり、信号機、標識、車載LEDライトに分類される。信号機は、調査において、100Hz、120Hzが主流であり、標識と車載LEDについては多岐にわたるため、限定が困難である（傾向として500Hz～100Hz間で60,90の倍数であることが多い）。
　図１１は、全種類のLED光源を網羅する場合（ユースケース１）の例を示す図である。全種類のLED光源を網羅する場合、マージンも含めると600Hz乃至50Hzがカバー範囲となるようにする必要がある。
　この場合、例えば、最短の撮像間隔nを1/1200secとして撮像間隔をn,2n,2n,3nと変化させながら５枚連射して、各画像の重みを3:2:1:1:1でブレンドさせることで、効果があげられる。
　図１２は、信号機、標識に対応する場合（ユースケース２）の例を示す図である。信号機、標識に対応する場合、300Hz乃至50Hzがカバー範囲となるようにする必要がある。
　この場合、例えば、最短の撮像間隔nを1/600secとして撮像間隔をn,2n,2nと変化させながら４枚連射して、各画像の重みを3:2:1でブレンドさせることで、効果があげられる。
　図１３は、信号機に対応する場合（ユースケース３）の例を示す図である。信号機に対応する場合、120Hz乃至50Hzがカバー範囲となるようにする必要がある。
　この場合、例えば、最短の撮像間隔nを1/240secとして撮像間隔をn,2nと変化させながら３枚連射して、各画像の重みを2:1:1でブレンドさせることで、効果があげられる。
　なお、図１１乃至図１３の例において、具体例が示されているが、撮像間隔やブレンド比率は、他の値であってもよい。
　また、ユースケース１を例に説明すると、図１４のＡに示されるように、撮像間隔は、単調増加だけに限定されず、単調減少としてもよい。また、図１４のＢに示されるように、撮像間隔は、単調減少から、単調増加させてもよい。さらに、図１４のＣに示されるように、撮像間隔は、短い連射の組み合わせであってもよい。
　ただし、単調増加、単調減少で、撮像間隔を変化させるものが最も効率的である。また、徐々に増加していくほうが、複数の周波数帯に対応することが可能である。
　なお、以上においては、撮像部のイメージセンサとして、CMOS固体撮像装置を用いた構成について説明してきたが、CCD（Charge Coupled Device）固体撮像装置といった固体撮像装置を用いるようにしてもよい。
　また、本技術は、撮像装置、例えば、監視カメラ、車載カメラなど、その他認識に用いられる可能性のある撮像装置、また、撮像装置以外の電子機器、車載用電子機器すべてに適用することができる。
＜３．第３の実施の形態＞
　＜本技術を適用したコンピュータの説明＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　被写体からの光を集光し、画像を生成する撮像部と、
　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部と
　を備える撮像装置。
　（２）  前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させる
　前記（１）に記載の撮像装置。
　（３）　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変える
　前記（１）または（２）に記載の撮像装置。
　（４）　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させる
　前記（１）乃至（３）のいずれかに記載の撮像装置。
　（５）　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させる
　前記（１）乃至（４）のいずれかに記載の撮像装置。
　（６）　前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応する
　前記（１）乃至（５）のいずれかに記載の撮像装置。
　（７）　前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応する
　前記（１）乃至（６）のいずれかに記載の撮像装置。
　（８）　前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応する
　前記（１）乃至（７）のいずれかに記載の撮像装置。
　（９）　前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとする
　前記（１）乃至（８）のいずれかに記載の撮像装置。
　（１０）　前記撮像部により生成された画像を合成する画像合成部を
　さらに備える前記（１）乃至（９）のいずれかに記載の撮像装置。
　（１１）　前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成する
　　前記（１０）に記載の撮像装置。
　（１２）　前記撮像制御部は、明暗に応じて、フレームレートを変更し、
　前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
　　前記（１１）に記載の撮像装置。
　（１３）　前記撮像制御部は、暗さに応じて、フレームレートを落とし、
　前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
　　前記（１２）に記載の撮像装置。
　（１４）　撮像装置が、
　被写体からの光を集光し、画像を生成し、
　１フレームの期間中において、生成される画像の撮像間隔を不均一に変える
　撮像方法。
　（１５）　被写体からの光を集光し、画像を生成する撮像部と、
　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
　を有する電子機器。
　（１６）　被写体からの光を集光し、画像を生成する撮像部と、
　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
　を有する車載用電子機器。
　１１　撮像装置，　２１　撮像制御部，　２２　撮像部，　２３　タイミング調整バッファ，　２４　画像合成部，　２５　画像処理部

Claims (16)

  1. 　被写体からの光を集光し、画像を生成する撮像部と、
    　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部と
    　を備える撮像装置。
  2. 　前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させる
    　請求項１に記載の撮像装置。
  3. 　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変える
    　請求項２に記載の撮像装置。
  4. 　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させる
    　請求項３に記載の撮像装置。
  5. 　前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させる
    　請求項３に記載の撮像装置。
  6. 　前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応する
    　請求項３に記載の撮像装置。
  7. 　前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応する
    　請求項３に記載の撮像装置。
  8. 　前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応する
    　請求項３に記載の撮像装置。
  9. 　前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとする
    　請求項２に記載の撮像装置。
  10. 　前記撮像部により生成された画像を合成する画像合成部を
    　さらに備える請求項２に記載の撮像装置。
  11. 　前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成する
    　請求項１０に記載の撮像装置。
  12. 　前記撮像制御部は、明暗に応じて、フレームレートを変更し、
    　前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
    　請求項１１に記載の撮像装置。
  13. 　前記撮像制御部は、暗さに応じて、フレームレートを落とし、
    　前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
    　請求項１２に記載の撮像装置。
  14. 　撮像装置が、
    　被写体からの光を集光し、画像を生成し、
    　１フレームの期間中において、生成される画像の撮像間隔を不均一に変える
    　撮像方法。
  15. 　被写体からの光を集光し、画像を生成する撮像部と、
    　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
    　を有する電子機器。
  16. 　被写体からの光を集光し、画像を生成する撮像部と、
    　１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
    　を有する車載用電子機器。
PCT/JP2016/059550 2015-04-09 2016-03-25 撮像装置および方法、電子機器、並びに車載用電子機器 WO2016163248A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/563,709 US11212489B2 (en) 2015-04-09 2016-03-25 Imaging device, imaging method, electronic apparatus, and onboard electronic apparatus
EP16776416.6A EP3282685A4 (en) 2015-04-09 2016-03-25 Imaging device and method, electronic device, and vehicle-mounted electronic device
JP2017511535A JP6645494B2 (ja) 2015-04-09 2016-03-25 撮像装置および方法、電子機器、並びに車載用電子機器
CN201680019011.1A CN107431759B (zh) 2015-04-09 2016-03-25 摄像装置、摄像方法、电子设备以及车载电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-079679 2015-04-09
JP2015079679 2015-04-09

Publications (1)

Publication Number Publication Date
WO2016163248A1 true WO2016163248A1 (ja) 2016-10-13

Family

ID=57072301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059550 WO2016163248A1 (ja) 2015-04-09 2016-03-25 撮像装置および方法、電子機器、並びに車載用電子機器

Country Status (5)

Country Link
US (1) US11212489B2 (ja)
EP (1) EP3282685A4 (ja)
JP (1) JP6645494B2 (ja)
CN (1) CN107431759B (ja)
WO (1) WO2016163248A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204052B1 (ja) 2019-12-20 2023-01-13 コーニンクレッカ フィリップス エヌ ヴェ 周囲光画像補正を実行するためのシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151234B2 (ja) * 2018-07-19 2022-10-12 株式会社デンソー カメラシステムおよびイベント記録システム
CN109218621B (zh) * 2018-10-23 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
US11283989B1 (en) * 2021-06-11 2022-03-22 Bennet Langlotz Digital camera with multi-subject focusing
US20220400211A1 (en) * 2021-06-11 2022-12-15 Bennet Langlotz Digital camera with multi-subject focusing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211442A (ja) * 2007-02-26 2008-09-11 Shinano Kenshi Co Ltd ドライブレコーダ
JP2009017293A (ja) * 2007-07-05 2009-01-22 Panasonic Corp 撮像装置
JP2009027666A (ja) * 2007-07-24 2009-02-05 Optex Co Ltd Ｌｅｄ信号機対策用カメラ付きレコーダ
JP2009278496A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 撮像装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411302B1 (en) * 1999-01-06 2002-06-25 Concise Multimedia And Communications Inc. Method and apparatus for addressing multiple frame buffers
JP3812340B2 (ja) * 2001-01-15 2006-08-23 株式会社日立製作所 画像表示装置
JP3529759B2 (ja) * 2001-01-26 2004-05-24 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
US7043019B2 (en) * 2001-02-28 2006-05-09 Eastman Kodak Company Copy protection for digital motion picture image data
TWI285870B (en) * 2003-08-27 2007-08-21 Chi Mei Optoelectronics Corp Liquid crystal display and driving method
KR100627297B1 (ko) * 2005-01-12 2006-09-25 삼성에스디아이 주식회사 플라즈마 표시 장치 및 그 화상 처리 방법
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
AU2006244201B2 (en) * 2005-05-09 2012-09-06 Lockheed Martin Corporation Continuous extended range image processing
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
JPWO2008099737A1 (ja) * 2007-02-16 2010-05-27 日本電気株式会社 ディスプレイコントローラ及び表示装置並びに映像信号出力装置
KR101085802B1 (ko) * 2007-03-05 2011-11-22 르네사스 일렉트로닉스 가부시키가이샤 촬상 장치 및 플리커 검출 방법
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
US8194152B2 (en) * 2008-09-05 2012-06-05 CSR Technology, Inc. Image processing under flickering lighting conditions using estimated illumination parameters
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5281494B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
JP5521721B2 (ja) * 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
JP2011109619A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理方法および画像処理装置、プログラム
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
US8274573B2 (en) * 2010-03-31 2012-09-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating high temporal resolution video from low temporal resolution videos
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
WO2012027290A1 (en) * 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US9179072B2 (en) * 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US8542292B2 (en) * 2011-02-04 2013-09-24 Panasonic Corporation Flicker correction device, flicker correction method and flicker correction program
JP5128726B1 (ja) * 2011-03-24 2013-01-23 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
US8957979B2 (en) * 2011-07-19 2015-02-17 Sony Corporation Image capturing apparatus and control program product with speed detection features
JP5773816B2 (ja) * 2011-09-12 2015-09-02 キヤノン株式会社 撮像装置
JP6153290B2 (ja) * 2012-04-11 2017-06-28 シャープ株式会社 画像表示装置、および、それを用いた展示ボックス
US9542720B2 (en) * 2012-10-12 2017-01-10 Sony Corporation Terminal device, image display method, and storage medium
KR101944508B1 (ko) * 2012-11-20 2019-02-01 삼성디스플레이 주식회사 표시장치, 표시장치의 신호 제어장치 및 신호 제어방법
CA3002343C (en) * 2013-05-07 2021-08-17 Dolby Laboratories Licensing Corporation Multi-half-tone imaging and dual modulation projection/dual modulation laser projection
JP6296697B2 (ja) * 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US9686505B2 (en) * 2014-01-03 2017-06-20 Mediatek Singapore Pte. Ltd. Method for flicker detection and associated circuit
US20160198133A1 (en) * 2015-01-06 2016-07-07 Avegant Corporation System, method, and apparatus for displaying an image with reduced color breakup
US9769395B2 (en) * 2014-05-02 2017-09-19 Empire Technology Development Llc Display detection for augmented reality
US9277123B2 (en) * 2014-05-30 2016-03-01 Apple Inc. Systems and methods for exposure metering for timelapse video
GB201418619D0 (en) * 2014-10-20 2014-12-03 Apical Ltd Method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211442A (ja) * 2007-02-26 2008-09-11 Shinano Kenshi Co Ltd ドライブレコーダ
JP2009017293A (ja) * 2007-07-05 2009-01-22 Panasonic Corp 撮像装置
JP2009027666A (ja) * 2007-07-24 2009-02-05 Optex Co Ltd Ｌｅｄ信号機対策用カメラ付きレコーダ
JP2009278496A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3282685A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204052B1 (ja) 2019-12-20 2023-01-13 コーニンクレッカ フィリップス エヌ ヴェ 周囲光画像補正を実行するためのシステム
JP2023504928A (ja) * 2019-12-20 2023-02-07 コーニンクレッカ フィリップス エヌ ヴェ 周囲光画像補正を実行するためのシステム

Also Published As

Publication number Publication date
JP6645494B2 (ja) 2020-02-14
US20180077388A1 (en) 2018-03-15
JPWO2016163248A1 (ja) 2018-02-01
EP3282685A4 (en) 2018-11-14
CN107431759A (zh) 2017-12-01
CN107431759B (zh) 2021-06-15
US11212489B2 (en) 2021-12-28
EP3282685A1 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
WO2016163248A1 (ja) 撮像装置および方法、電子機器、並びに車載用電子機器
JP4630730B2 (ja) 撮像装置、カメラ及び撮像方法
US9258453B2 (en) Image capturing apparatus for enabling generation of data of panoramic image with wide dynamic range
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP4937851B2 (ja) 撮像装置
JP2011193065A (ja) 撮像装置
EP3474537A1 (en) Imaging control device, imaging control method, and program
JP2003250094A (ja) 撮像装置
JP2014052487A (ja) 撮像装置、撮像装置の制御方法、プログラム、および記憶媒体
JP2011234318A (ja) 撮像装置
JP2017103726A (ja) 撮像装置、撮像システム、撮像装置の駆動方法
US9167173B2 (en) Image capturing apparatus configured to perform a cyclic shooting operation and method of controlling the same
JP6703847B2 (ja) 撮像装置及び撮像方法
JP2016119652A (ja) 撮像装置及び撮像素子の駆動方法
JP2018006827A (ja) 撮像装置、撮像プログラム、撮像方法
JPWO2016167137A1 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
JP2010273239A (ja) カメラ装置および露光制御方法
JP2017063245A (ja) 撮像装置
EP3474544B1 (en) Image processing device, image processing method, and program
JP2015142201A (ja) 撮像装置
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP3834354B2 (ja) 撮像装置
JP6152009B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5980618B2 (ja) 画像処理装置及び画像処理方法
JP2012134745A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16776416

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017511535

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016776416

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15563709

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE