WO2016113995A1 - 撮像処理装置及び撮像処理方法 - Google Patents

撮像処理装置及び撮像処理方法 Download PDF

Info

Publication number
WO2016113995A1
WO2016113995A1 PCT/JP2015/082049 JP2015082049W WO2016113995A1 WO 2016113995 A1 WO2016113995 A1 WO 2016113995A1 JP 2015082049 W JP2015082049 W JP 2015082049W WO 2016113995 A1 WO2016113995 A1 WO 2016113995A1
Authority
WO
WIPO (PCT)
Prior art keywords
cycle
standard
period
frame
imaging
Prior art date
Application number
PCT/JP2015/082049
Other languages
English (en)
French (fr)
Inventor
昭仁 下大薗
悦也 高見
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2016113995A1 publication Critical patent/WO2016113995A1/ja
Priority to US15/341,092 priority Critical patent/US9883113B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to an imaging processing apparatus and an imaging processing method.
  • the imaging device performs imaging at a fixed period in accordance with a video standard such as NTSC system or PAL system.
  • NTSC is an abbreviation for “National Television System Committee”.
  • PAL is an abbreviation for “Phase Alternate Line”.
  • imaging is performed at a 1/60 second period (correctly, a 1 / 59.94 second period, but here expressed as a 1/60 second period). Do.
  • imaging is performed at a 1/50 second period.
  • the light source of various display devices has changed from light bulbs to LEDs.
  • the traffic light an alternative from a light bulb traffic light to an LED traffic light is progressing.
  • the LED traffic light appears to remain lit to the human eye.
  • the LED traffic light is driven by an AC power supply (AC power supply).
  • AC power supply AC power supply
  • an LED traffic light that repeatedly flickers in this manner is imaged by an imaging device compliant with a video standard such as the NTSC system or the PAL system, depending on the shutter speed, exposure may occur during the blinking period of the LED traffic light. is there. In this case, actually, the LED traffic light on the captured image is turned off although the LED traffic light is on.
  • the present invention has been made in view of the above-described problems, and reduces the problem of capturing an image of a lighted LED as an LED that is extinguished at the timing of exposure while capturing an image of a lighted LED.
  • An object of the present invention is to provide an imaging processing apparatus and an imaging processing method capable of outputting an image maintaining continuity.
  • an imaging processing apparatus drives an imaging unit so as to image a subject with an exposure time shorter than a standard period, which is a driving period compliant with a predetermined video standard.
  • a frame having a standard cycle is generated every predetermined frame, and one of the frames before and after the frame having the standard cycle has a cycle shorter than the standard cycle, and the cycle of the other frame is
  • the drive cycle control unit that controls the drive cycle of the imaging unit so that the cycle is longer than the standard cycle, and the reset timing of the charge accumulated in the imaging unit according to the amount of light from the subject,
  • a shutter control unit that controls according to the cycle, a storage unit that stores each captured image captured by the imaging unit whose reset timing is controlled, and each captured image that is stored in the storage unit , And a read control unit that reads and outputs such that the reproduction speed corresponding to the standard period.
  • the drive cycle control unit has a drive cycle based on a predetermined video standard (a drive cycle of a standardized video standard).
  • a predetermined video standard a drive cycle of a standardized video standard.
  • the drive cycle control step for controlling the drive cycle of the imaging unit so that the cycle of any one of the frames is shorter than the standard cycle and the cycle of the other frame is longer than the standard cycle;
  • the shutter control unit controls the reset timing of the charge accumulated in the imaging unit according to the amount of light from the subject according to the driving cycle of the imaging unit. It has a flop, the read control unit, the captured images stored in the storage unit, and a read control step of reading and outputting as a playback speed corresponding to the standard cycle.
  • the present invention can reduce the problem of capturing an image of a lighted LED as an LED that is extinguished at the timing of exposure. Further, the present invention can output an image maintaining the continuity of moving objects.
  • FIG. 1 is a diagram for explaining a change in the amount of imaged light when the imaging start timing of the imaging apparatus matches the lighting start timing of the LED traffic light.
  • FIG. 2 is a diagram for explaining a change in the amount of imaged light when imaging by the imaging apparatus is started after a predetermined time has elapsed since the start of lighting of the LED traffic light.
  • FIG. 3 is a diagram illustrating the amount of imaged light at the time of high-speed shutter when the imaging end timing of the imaging apparatus matches the lighting end timing of the LED traffic light.
  • FIG. 4 is a diagram illustrating the amount of imaged light at the time of the high-speed shutter when the imaging end timing of the imaging apparatus is different from the lighting end timing of the LED traffic light.
  • FIG. 5 is a block diagram of the imaging apparatus according to the embodiment.
  • FIG. 6 is a diagram for explaining an irregular drive cycle of the image sensor in the imaging apparatus according to the embodiment.
  • FIG. 7 is a diagram illustrating a relationship between the blinking cycle of the LED traffic light and the shutter timing (accumulation reset timing) at the time of high-speed shutter of the imaging apparatus according to the embodiment.
  • FIG. 8 is a schematic diagram for explaining frame interpolation processing in the imaging apparatus according to the embodiment.
  • the LED traffic light repeats blinking at a cycle that is 1/2 times that of the AC power supply (AC power supply).
  • AC power supply AC power supply
  • LED traffic lights in a region where the commercial power supply frequency is 50 Hz, for example, a region on the east side of Japan (hereinafter referred to as “the eastern Japan side”) repeatedly blinks at a cycle of 1/100 seconds.
  • LED traffic lights in a region where the commercial power supply frequency is 60 Hz for example, the western region of Japan (hereinafter referred to as “western Japan”), repeatedly blinks at a period of 1/120 seconds.
  • FIG. 1 and FIG. 2 show a case where an LED signal on the western Japan side that repeats blinking at a cycle of 1/120 seconds is imaged by an imaging device that performs imaging at a shutter speed of 1/60 seconds compliant with the NTSC system.
  • the amount of light of the LED traffic light accumulated in is shown.
  • 1/60 second in the NTSC system corresponds to one vertical synchronization period (1 VD).
  • 1 and 2 in FIG. 1, during the 1/60 second exposure time of the imaging device, imaging corresponding to two light quantity changes of the LED traffic light that blinks at a 1/120 second period is performed.
  • An example is shown. That is, FIG. 1 shows a change in the amount of imaged light when the imaging start timing of the imaging apparatus matches the lighting start timing of the LED traffic light.
  • FIG. 2 shows an example in which imaging by the imaging device is started after about 1/240 seconds have elapsed since the start of lighting of the LED traffic light.
  • FIG. 3 and FIG. 4 show a case where an LED traffic light that repeats blinking at a cycle of 1/120 seconds is imaged at a shutter speed (high-speed shutter) of 1/1000 seconds, that is, when the exposure time is shortened.
  • the light quantity of the LED traffic light accumulated in the imaging device is shown.
  • the imaging cycle is 1/60 second in conformity with the NTSC system.
  • FIG. 3 shows the amount of imaged light when the imaging end timing of the imaging apparatus matches the lighting end timing of the LED traffic light.
  • a period of 1/1000 seconds before the end of imaging and lighting which is a period indicated by hatching in FIG. 3, is an imaging period.
  • FIG. 4 shows the amount of imaging light when the imaging end timing of the imaging apparatus is different from the lighting end timing of the LED traffic light.
  • the example of FIG. 4 is an example in which about 1/240 seconds have elapsed from the start of lighting of the LED traffic light as the imaging end timing of the imaging apparatus.
  • a period of 1/1000 second before about 1/240 seconds after the start of lighting of the LED traffic light is an imaging period.
  • the LED signal device starts to light more than the case where the image pickup end timing of the image pickup device matches the LED signal light lighting end timing (FIG. 3). It can be seen that the amount of imaged light is greater when the time when about 1/240 seconds elapse is the imaging end timing of the imaging apparatus (FIG. 4).
  • the imaging end timing of the imaging device matches the lighting start timing of the LED traffic light And “when there is a difference between the imaging end timing of the imaging device and the lighting start timing of the LED traffic light”, the imaging light amounts corresponding to one imaging period are different.
  • FIG. 5 shows a block diagram of the imaging apparatus of the embodiment.
  • the imaging apparatus of the embodiment includes an imaging unit 1, an analog processing unit 2, an A / D conversion unit 3, an input controller 4, a phase correction unit 5, a digital signal processing unit 6, and compression / decompression.
  • a processing unit 7, an audio processing unit 8, and an OSD superimposing unit 9 are provided.
  • OSD is an abbreviation for “0n Screen Display”.
  • the imaging apparatus includes a ROM 10, a DRAM 11, a media control unit 12, a card I / F 13, an input / output I / F 14, and a CPU 15.
  • the input controllers 4 to 15 are connected to each other via a bus line 16.
  • the DRAM 11 is an example of a storage unit.
  • the card I / F 13 is loaded with a card type storage medium 17 such as an SD card (registered trademark).
  • a liquid crystal monitor 18, a speaker unit 19, an operation unit 20, and an input / output terminal 21 are connected to the input / output I / F 14.
  • the imaging unit 1 includes, for example, an optical lens 22 such as a concave lens and a convex lens, an iris unit 23 for adjusting the amount of incident light, and an image sensor 24 that generates an imaging signal having a level corresponding to the amount of light of the received subject.
  • an optical lens 22 such as a concave lens and a convex lens
  • an iris unit 23 for adjusting the amount of incident light
  • an image sensor 24 that generates an imaging signal having a level corresponding to the amount of light of the received subject.
  • CMOS image sensor for example, a CCD image sensor or a CMOS image sensor can be used.
  • CCD is an abbreviation for “Charge Coupled Device”.
  • CMOS is an abbreviation for “Complementary Metal Oxide Semiconductor”.
  • the analog processing unit 2 removes noise from the imaging signal by, for example, correlated double sampling processing.
  • the A / D converter 3 digitizes the image signal from which noise has been removed.
  • the input controller 4 transfers the digitized imaging signal to the digital signal processing unit 6 via the bus line 16.
  • the digital signal processing unit 6 performs signal processing such as offset control, white balance correction, gain control processing including sensitivity correction, gamma correction processing, restoration processing, YC processing, and the like on the digitized imaging signal, and writes it to the DRAM 11. .
  • “Y” is a luminance signal
  • C” is a color difference signal.
  • the imaging signal written in the DRAM 11 causes a phase shift in the time axis direction with respect to the exposure timing of the standard cycle according to the video cycle of the video standard by the irregular cycle exposure control described later.
  • the phase correction unit 5 corrects such a phase shift that occurs in the time axis direction.
  • the imaging signal whose image phase is corrected is displayed on the liquid crystal monitor 18. Further, the image signal whose phase of the image has been corrected is compressed into an image signal having a predetermined image quality by the compression / expansion processing unit 7 and supplied to the card I / F 13.
  • the imaging signal supplied to the card I / F 13 is controlled by the media control unit 12 together with the audio information generated by the audio processing unit 8 and the OSD image such as characters or graphics generated by the OSD superimposing unit 9. It is recorded on the mold recording medium 17.
  • the imaging signal and audio signal recorded on the card type recording medium 17 are reproduced under the control of the media control unit 12.
  • the compression / decompression processing unit 7 reproduces the imaging signal and the audio signal by performing an expansion process corresponding to the compression process applied to the imaging signal and the audio signal.
  • the reproduced audio signal is supplied to the speaker unit 19 via the input / output I / F.
  • the reproduced image signal is displayed on the liquid crystal monitor 18 and is output to the outside via the input / output terminal 21.
  • the ROM 10 captures an image with an irregular cycle exposure control, which will be described later, and captures an image with an irregular cycle exposure control.
  • An imaging processing program for correcting and outputting the generated phase shift is stored.
  • the CPU 15 functions as the drive cycle calculation unit 25, the shutter control unit 26, and the drive cycle control unit 27 by executing the imaging process program.
  • the drive cycle calculation unit 25 to the drive cycle control unit 27 will be described as being realized by software, but all or a part of the drive cycle calculation unit 25 to the drive cycle control unit 27 is implemented by hardware. It may be realized by wear.
  • the imaging processing program may be provided by being recorded on a recording medium that can be read by a computer device such as a CD-ROM or a flexible disk (FD) as an installable or executable file.
  • the imaging processing program may be provided by being recorded on a recording medium readable by a computer device such as a CD-R, DVD, Blu-ray disc (registered trademark), or semiconductor memory. DVD is an abbreviation for “Digital Versatile Disk”.
  • the imaging processing program may be provided via a network such as the Internet.
  • the imaging device may download the imaging processing program via a network, install it in the imaging device, and execute it.
  • the CPU 15 when imaging with a high-speed shutter that performs exposure for less than one vertical synchronization period, the CPU 15 reads an imaging processing program stored in the ROM 10. Then, the CPU 15 functions as the drive cycle calculation unit 25, the shutter control unit 26, and the drive cycle control unit 27, so that the imaging (exposure) cycle multiplied by an integer is not synchronized with the blinking cycle of the LED traffic light. Then, the image sensor 24 is driven.
  • FIG. 6 is a diagram for explaining an irregular driving cycle of the image sensor 24.
  • a pattern 110 in FIG. 6 indicates each captured image captured by the image sensor 24 in each cycle controlled irregularly.
  • a pattern 112 in FIG. 6 shows each captured image that is temporarily stored in the DRAM 11 and read out and output from the DRAM 11 at a standard reproduction speed of a video standard such as the NTSC system.
  • FIG. 6 shows an example in which 1/60 frame / second (fps) of the NTSC system is used as a standard cycle.
  • the drive cycle control unit 27 is configured to perform the first frame with a period of 60 fps, which is the standard of the NTSC system, at the time of high-speed shutter (exposure less than one vertical synchronization period).
  • the image sensor 24 is driven at an irregular cycle of 62 fps, which is a fast cycle.
  • the image sensor 24 is driven at a cycle of 60 fps, which is the NTSC standard.
  • the image sensor 24 is driven at an irregular 58 fps cycle, which is a cycle slower than the 60 fps cycle that is the standard of the NTSC system.
  • the image sensor 24 is driven at a cycle of 60 fps, which is a standard of the NTSC system.
  • the drive cycle control unit 27 sets the irregular drive cycle of the image sensor 24 every 4 standard cycles (every 4 vertical synchronization period cycles) and the standard cycle of the video standard in order to comply with the NTSC video standard. Match. That is, the drive cycle control unit 27 adds a cycle of frames before and after the frame that drives the image sensor 24 with a standard cycle such as a 60 fps cycle that is a standard of the NTSC system to a cycle that is twice the standard cycle. As described above, the period of the frames before and after the irregular frame is adjusted.
  • the second frame and the fourth frame are frames having a standard cycle. That is, the drive cycle control unit 27 drives the image sensor 24 so that every other frame becomes a frame of the standard cycle.
  • the drive cycle control unit 27 corresponds to the subsequent frame of the second frame.
  • the image sensor 24 is driven so as to have an irregular cycle of 58 fps.
  • the imaging signal of the subject imaged in such an irregular cycle or standard cycle is stored in the DRAM 11 via the analog processing unit 2, the A / D conversion unit 3, and the input controller 4.
  • the CPU 15 reads each imaging signal corresponding to the irregular cycle or the standard cycle stored in the DRAM 11 at a reading speed of 60 fps conforming to the NTSC system, as shown in the diagram with the symbol (b) in FIG. read out.
  • the imaging signal read at a reading speed of 60 fps is supplied to the liquid crystal monitor device 18 via the input / output I / F 14 and is output to the outside via the input / output terminal 21.
  • each imaging signal corresponding to an irregular period or standard period stored in the DRAM 11 is compressed by the compression / decompression processing unit 7 into an imaging signal having an image quality of 30 fps that is 1 ⁇ 2 of the standard image quality. It is processed and recorded on the card type recording medium 17 together with the audio data and the OSD image.
  • FIG. 7 shows the relationship between the blinking cycle of the LED traffic light and the shutter timing (accumulation reset timing) during such a high-speed shutter.
  • the accumulation reset timing is an example of the reset timing.
  • the driving cycle of the image sensor 24 is irregularly expanded and contracted as described using the pattern 110 in FIG.
  • the electronic shutter speed of the image sensor 24 is realized by controlling the accumulation reset timing of the image sensor 24. Therefore, the accumulation reset timing is controlled in accordance with the drive cycle of the image sensor 24.
  • the driving cycle calculation unit 25 calculates a corrected accumulation reset timing, which is an accumulation reset timing corresponding to each irregular cycle, using the following (Equation 1). .
  • Correction accumulation reset timing [ms] Normal accumulation reset timing [ms] + (Abnormal driving cycle [ms] of image sensor 24 ⁇ Normal driving cycle [ms] of image sensor 24) (Equation 1) )
  • the shutter control unit 26 resets the charge (imaging signal) accumulated in the image sensor 24 at the correction accumulation reset timing calculated by the drive cycle calculation unit 25 in the irregular cycle controlled by the drive cycle control unit 27. To do.
  • the image sensor 24 is reset controlled earlier than the standard cycle in accordance with the 62 fps cycle.
  • FIG. 7 shows an example of a high-speed shutter of 1/1000 second.
  • the image sensor 24 is reset-controlled in accordance with the 58 fps cycle later than the standard cycle.
  • the image sensor 24 can be exposed at different timings for each period, and light from the LED traffic light can be taken in. This means that the charge accumulated in the image sensor 24 increases or decreases with each cycle. For this reason, depending on the timing of exposure, the LED traffic light that should be lit may be displayed in an unlit state, but in most cases, the lit LED traffic light can be displayed and the LED that should be lit It is possible to prevent the inconvenience that the traffic light is always displayed in the off state (the inconvenience of being continuously displayed as the off state).
  • the drive cycle (interval) is greatly expanded and contracted, and the drive is less than one vertical synchronization period.
  • the moving body of the video becomes discontinuous more than the period (high-speed shutter).
  • the driving cycle is longer than the blinking cycle of the LED traffic light, it is preferable to drive the image sensor 24 at a normal cycle.
  • the image sensor 24 is reset at a standard period of 60 fps during a drive period of 58 fps. Accordingly, it is possible to reduce the inconvenience that the moving body of the video becomes discontinuous during the driving cycle of one vertical synchronization period or more.
  • phase correction unit 5 shown in FIG. 5 corrects the phase in the time axis direction of the image at the shifted exposure timing.
  • the phase correction unit 5 may be realized as software as a function of the CPU 15 by an imaging processing program stored in the ROM 10.
  • the phase correction unit 5 detects the motion vector of the imaging signals of two consecutive frames stored in the DRAM 11.
  • the motion vector is an SAD (Sum of Absolute Difference) that detects the absolute value of the difference between each pixel in a given block of the captured image of each frame and uses the sum of each absolute value as an evaluation value of the degree of matching of each pixel. It can be detected using a general block matching technique such as.
  • FIG. 8 is a schematic diagram for explaining such frame interpolation processing.
  • a pattern 120 in FIG. 8 shows a captured image (a captured image stored in the DRAM 11) before frame interpolation.
  • a pattern 122 in FIG. 8 shows a captured image after frame interpolation.
  • the phase correction unit 5 detects the motion vector from the captured images of the first frame and the second frame stored in the DRAM 11 as described above.
  • the phase correction unit 5 calculates a deviation amount with respect to the captured image of the standard period by calculating “period difference between first frame and second frame / 16.666”. Then, the phase correction unit 5 creates a captured image of the second frame in which each pixel is shifted by the calculated shift amount in the direction corresponding to the detected motion vector as a frame interpolation image.
  • the phase correction unit 5 detects a motion vector from the captured images of the second frame and the third frame stored in the DRAM 11 as described above. In addition, the phase correction unit 5 calculates the amount of deviation with respect to the captured image of the standard period by calculating “period difference between the second frame and the third frame / 16.666”. Then, the phase correction unit 5 creates a captured image of the third frame in which each pixel is shifted by the calculated shift amount in the direction corresponding to the detected motion vector as a frame interpolation image, and stores it in the DRAM 11.
  • the CPU 15 which is an example of a read control unit, converts a standard cycle captured image (such as a first frame captured image) and a frame interpolation image (such as a third frame captured image) stored in the DRAM 11 to 60 fps corresponding to the standard cycle. Are read out and output to the liquid crystal monitor 18, and output to the outside via the input / output terminal 21.
  • a standard cycle captured image such as a first frame captured image
  • a frame interpolation image such as a third frame captured image
  • the imaging apparatus operates as follows. 1.
  • the image sensor 24 is driven at a plurality of irregular cycles. 2. Between the irregular drive cycle of the image sensor 24, the image sensor 24 is driven with a standard cycle in accordance with the video standard. 3.4 A predetermined period such as every vertical synchronization period is made to coincide with a standard period conforming to the video standard. 4).
  • the shutter speed is adjusted (accumulation reset timing is corrected) according to an irregular cycle. 5.
  • the shutter speed Exposure period
  • the blinking period of the LED traffic light high-speed shutter (exposure less than one vertical synchronization period)
  • the image sensor In the case of a shutter speed (exposure period) longer than the blinking period of the LED traffic light (slow shutter (exposure over one vertical synchronization period)), the image sensor is driven at a normal period. 6). Switching between the irregular cycle and the normal cycle of the image sensor 24 is performed at a cycle that matches the standard cycle of the video standard.
  • the LED traffic light is imaged so as to repeat blinking at least.
  • the image pickup apparatus according to the embodiment is provided in the drive recorder, it is possible to take an image of the LED signal device in the lit state as the LED signal device in the lit or blinking state.
  • the imaging apparatus operates as follows. 1.
  • the image phase is adjusted and corrected in the time axis direction with respect to the captured image captured by the irregular periodic exposure.
  • a motion vector is detected from two frames before and after.
  • the motion vector detection uses a general block matching method such as a general SAD.
  • the detected motion vector is interpolated so as to cancel out the shift by irregular period exposure.
  • the embodiment described above is presented as an example, and is not intended to limit the scope of the present invention.
  • the novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention.
  • the LED traffic light is imaged.
  • the present invention can obtain the above-described effect even if any device is imaged as long as the LED is used. it can.
  • the embodiments and modifications of the embodiments are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

　点灯しているＬＥＤを高速シャッターで撮像した際に、消灯した状態のＬＥＤとして撮像される問題を軽減すると共に、動体の連続性を維持した映像を出力可能とする。駆動周期制御部は、ＮＴＳＣ方式の１垂直同期期間未満の高速シャッター時に、１フレーム置きに標準周期のフレームを生成し、標準周期のフレームの前後のフレームの周期は、いずれか一方のフレームの周期を標準周期よりも短い周期とし、他方のフレームの周期を標準周期よりも長い周期とするように、撮像部の駆動周期を変則的に制御する。位相補正部は、撮像部で撮像された各撮像画像の動きベクトルに対応する方向に、標準周期に対する撮像画像のずれ量の分、各画素をずらしたフレーム補間画像を生成して記憶部に記憶する。読み出し制御部は、記憶部に記憶された標準周期の撮像画像及びフレーム補間画像を、標準周期に対応する再生速度となるように読み出して出力する。

Description

撮像処理装置及び撮像処理方法
　本発明は、撮像処理装置及び撮像処理方法に関する。
　撮像装置は、例えばＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した一定周期の撮像を行っている。ＮＴＳＣは、「National　Television　System　Committee」の略記である。ＰＡＬは、「Phase　Alternating　Line」の略記である。具体的には、ＮＴＳＣ方式に準拠した撮像装置の場合、１／６０秒周期（正しくは、１／５９．９４秒周期であるが、ここでは、１／６０秒周期と表記する）で撮像を行う。また、ＰＡＬ方式に準拠した撮像装置の場合、１／５０秒周期で撮像を行う。
　近年、発光ダイオード（ＬＥＤ）の普及に伴い、各種表示機器の光源が電球からＬＥＤに変わっている。例えば、信号機は、電球信号機からＬＥＤ信号機への代替が進んでいる。ＬＥＤ信号機は、人間の目には点灯し続けているように見える。しかし、ＬＥＤ信号機は、交流電源（ＡＣ電源）で駆動されている。このため、人間の目では感知困難であるが、実際には、ＬＥＤ信号機は、高速かつ一定周期の明滅を繰り返している。
特開２００９－１７２９３号公報 特開２０１０－９３６０１号公報
　このように一定周期で明滅を繰り返すＬＥＤ信号機を、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した撮像装置で撮像すると、シャッタースピードによっては、ＬＥＤ信号機の明滅周期の滅期間の露光になる場合がある。この場合、実際には、ＬＥＤ信号機は点灯していたにもかかわらず、撮像された映像上のＬＥＤ信号機は、消灯状態となる。
　このような問題を解決するために、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格外の周期の露光で、ＬＥＤ信号機を撮像する手法が提案されている。しかし、この手法は、ビデオ規格外の周期の露光を行っているため、ＮＴＳＣ方式又はＰＡＬ方式等のビデオ規格に準拠した映像信号を出力することが困難となっている。このため、撮像装置として上述の問題を解決可能とは言い難い手法である。
　また、異なる周期の露光を組み合わせて撮像を行うことで、ＬＥＤ信号機の明期間の露光となる確率を向上させる手法も提案されている。しかし、この手法は、露光のタイミングを変則的なタイミングとすることで、映像の連続性の維持が困難となり、動体の動きがスムーズな映像を得られない問題があった。換言すると、動体の動きが不連続となり、動体の動きがカクつく問題があった。
　本発明は、上述の課題に鑑みてなされたものであり、点灯しているＬＥＤを撮像した際に、露光のタイミングにより消灯した状態のＬＥＤとして撮像される問題を軽減すると共に、動体の動きの連続性を維持した映像を出力可能な撮像処理装置及び撮像処理方法の提供を目的とする。
　上述した課題を解決するための手段として、本発明に係る撮像処理装置は、所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、標準周期のフレームを生成し、標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、標準周期よりも短い周期となり、他方のフレームの周期が標準周期よりも長い周期となるように、撮像部の駆動周期を制御する駆動周期制御部と、被写体からの光の光量に応じて撮像部に蓄積される電荷のリセットタイミングを、撮像部の駆動周期に応じて制御するシャッター制御部と、リセットタイミングが制御された撮像部で撮像された各撮像画像を記憶する記憶部と、記憶部に記憶された各撮像画像を、標準周期に対応する再生速度となるように読み出して出力する読み出し制御部とを有する。
　また、上述した課題を解決するための手段として、本発明に係る撮像処理方法は、駆動周期制御部が、所定のビデオ規格に準拠した駆動周期（規格化されたビデオ規格の駆動周期）である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置き（設定したフレーム毎）に、標準周期のフレームを生成し、標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、標準周期よりも短い周期となり、他方のフレームの周期が標準周期よりも長い周期となるように、撮像部の駆動周期を制御する駆動周期制御ステップと、シャッター制御部が、被写体からの光の光量に応じて撮像部に蓄積される電荷のリセットタイミングを、撮像部の駆動周期に応じて制御するシャッター制御ステップと、読み出し制御部が、記憶部に記憶された各撮像画像を、標準周期に対応する再生速度となるように読み出して出力する読み出し制御ステップとを有する。
　本発明は、点灯しているＬＥＤを撮像した際に、露光のタイミングにより消灯した状態のＬＥＤとして撮像される問題を軽減できる。また、本発明は、動体の連続性を維持した映像を出力できる。
図１は、撮像装置の撮像開始タイミングと、ＬＥＤ信号機の点灯開始タイミングとが合致している場合における、撮像光量の変化を説明するための図である。 図２は、ＬＥＤ信号機の点灯開始から所定時間が経過してから、撮像装置による撮像が開始された場合における、撮像光量の変化を説明するための図である。 図３は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合における高速シャッター時の撮像光量を示す図である。 図４は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとがずれている場合における、高速シャッター時の撮像光量を示す図である。 図５は、実施の形態となる撮像装置のブロック図である。 図６は、実施の形態となる撮像装置における、イメージセンサの変則的な駆動周期を説明するための図である。 図７は、実施の形態となる撮像装置の高速シャッター時における、ＬＥＤ信号機の明滅周期とシャッタータイミング（蓄積リセットタイミング）との関係を示す図である。 図８は、実施の形態となる撮像装置における、フレーム補間処理を説明するための模式図である。
　以下、添付図面を参照して、本発明を適用した実施の形態となる撮像装置を詳細に説明する。
　まず、点灯した状態のＬＥＤ信号機を撮像した場合でも、露光のタイミングにより，消灯した状態のＬＥＤとして撮像される現象を説明する。ＬＥＤ信号機は、交流電源（ＡＣ電源）の１／２倍の周期で明滅を繰り返している。例えば、商用電源周波数が５０Ｈｚの地域、一例として日本の東側の地域（以下「東日本側」という。）のＬＥＤ信号機は、１／１００秒の周期で明滅を繰り返している。また、商用電源周波数が６０Ｈｚの地域、一例として日本の西側の地域（以下「西日本側」という。）のＬＥＤ信号機は、１／１２０秒の周期で明滅を繰り返している。
　図１及び図２は、１／１２０秒の周期で明滅を繰り返す西日本側のＬＥＤ信号機を、ＮＴＳＣ方式に準拠した１／６０秒のシャッター速度で撮像を行う撮像装置で撮像した場合において、撮像装置に蓄積されるＬＥＤ信号機の光量を示している。ＮＴＳＣ方式における１／６０秒は、１垂直同期期間（１ＶＤ）に相当する。図１及び図２のうち、図１は、撮像装置の１／６０秒の露光時間の間に、１／１２０秒の周期で明滅するＬＥＤ信号機の２回の光量変化に対応する撮像が行われた例を示している。すなわち、図１は、撮像装置の撮像開始タイミングと、ＬＥＤ信号機の点灯開始タイミングとが合致している場合における、撮像光量の変化を示している。これに対して、図２は、ＬＥＤ信号機の点灯開始から１／２４０秒ほど時間が経過してから、撮像装置による撮像が開始された例を示している。
　図１及び図２を見比べてわかるように、１／１２０秒の周期で明滅するＬＥＤ信号機を、１／６０秒のシャッター速度で撮像する場合、撮像開始タイミングに関わらず、１／６０秒の露光時間の間に得られるＬＥＤ信号機の撮像光量は、各撮像期間とも同じとなる。
　一方、図３及び図４は、１／１２０秒の周期で明滅を繰り返すＬＥＤ信号機を、１／１０００秒のシャッター速度（高速シャッター）で撮像した場合、つまり露光時間を短くして撮像した場合に、撮像装置に蓄積されるＬＥＤ信号機の光量を示している。なお、高速シャッターで撮像した場合も撮像の周期は、ＮＴＳＣ方式に準拠した１／６０秒となる。このうち、図３は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合における撮像光量を示している。図３に斜線で示す期間である、撮像終了及び点灯終了より前の１／１０００秒の期間が、撮像期間である。
　これに対して、図４は、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとがずれている場合における撮像光量を示している。具体的には、図４の例は、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点が、撮像装置の撮像終了タイミングとなっている例である。この図４の例の場合、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点より前の１／１０００秒の期間が、撮像期間である。
　図３及び図４の各撮像期間を見比べてわかるように、撮像装置の撮像終了タイミングと、ＬＥＤ信号機の点灯終了タイミングとが合致している場合（図３）よりも、ＬＥＤ信号機の点灯開始から約１／２４０秒ほど経過した時点が、撮像装置の撮像終了タイミングとなっている場合（図４）の方が、撮像光量が多いことが分かる。
　すなわち、図１及び図２を用いて説明したように、１／１２０秒の周期で明滅するＬＥＤ信号機を、ＮＴＳＣ方式の１垂直同期期間に対応する１／６０秒のシャッター速度で撮像する場合において、「撮像装置の撮像開始タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」と、「撮像装置の撮像開始タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」とで、一つの撮像期間に対応する撮像光量は同じとなる。
　しかし、例えば１／１０００秒等の１垂直同期期間未満の露光時間となるシャッター速度でＬＥＤ信号機を撮像する場合、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」と、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」とでは、一つの撮像期間に対応する撮像光量は異なる光量となる。
　１垂直同期期間未満の露光時間となるシャッター速度でＬＥＤ信号機を撮像する場合、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとの間に、ずれが生じている場合」よりも、「撮像装置の撮像終了タイミングとＬＥＤ信号機の点灯開始タイミングとが合致している場合」の方が、一つの撮像期間に対応する撮像光量が少なくなる。
　すなわち、撮像装置の駆動周期（露光周期：シャッター速度）の整数倍で明滅を繰り返すＬＥＤ信号機を、高速シャッター（１垂直同期期間未満の露光時間）で撮像する場合、撮像タイミングによっては、ＬＥＤ信号機の点灯時の光量の蓄積が困難となる。そして、光量の蓄積が困難となると、点灯した状態のＬＥＤ信号機を撮像したにもかかわらず、映像上では、消灯状態のＬＥＤ信号機として表示される不都合を生ずる。このため、運転時の周囲の状況を記録し、信号機の点灯色も正確に記録することが求められるドライブレコーダ装置には、このような撮像装置を設けることは困難となっていた。
　実施の形態の撮像装置は、撮像装置の標準周期未満の露光時間で撮像を行う高速シャッター時において、点灯しているＬＥＤ信号機が映像上で消灯状態のＬＥＤ信号機として表示される問題を、以下のように軽減している。まず、図５に、実施の形態の撮像装置のブロック図を示す。この図５に示すように、実施の形態の撮像装置は、撮像部１、アナログ処理部２、Ａ／Ｄ変換部３、入力コントローラ４、位相補正部５、デジタル信号処理部６、圧縮／伸張処理部７、音声処理部８及びＯＳＤ重畳部９を有している。ＯＳＤは、「0n　Screen　Display」の略記である。
　また、実施の形態の撮像装置は、ＲＯＭ１０、ＤＲＡＭ１１、メディア制御部１２、カードＩ／Ｆ１３、入出力Ｉ／Ｆ１４及びＣＰＵ１５を有している。入力コントローラ４～ＣＰＵ１５は、バスライン１６を介して相互に接続されている。ＤＲＡＭ１１は、記憶部の一例である。
　カードＩ／Ｆ１３には、例えばＳＤカード（登録商標）等のカード型記憶媒体１７が装着される。入出力Ｉ／Ｆ１４には、液晶モニタ１８、スピーカ部１９、操作部２０及び入出力端子２１が接続されている。
　撮像部１は、例えば凹レンズ及び凸レンズ等の光学レンズ２２と、入射光量を調節するためのアイリス部２３及び受光した被写体の光量に対応するレベルの撮像信号を生成するイメージセンサ２４を有している。イメージセンサ２４としては、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等を用いることができる。ＣＣＤは、「Charge　Coupled　Device」の略記である。また、ＣＭＯＳは、「Complementary　Metal　Oxide　Semiconductor」の略記である。
　アナログ処理部２は、例えば相関二重サンプリング処理等により、撮像信号からノイズを除去する。Ａ／Ｄ変換部３は、ノイズ除去された撮像信号をデジタル化する。入力コントローラ４は、デジタル化された撮像信号を、バスライン１６を介して、デジタル信号処理部６に転送する。デジタル信号処理部６は、デジタル化された撮像信号に、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、復元処理及びＹＣ処理等の信号処理を施し、ＤＲＡＭ１１に書き込む。なお、「Ｙ」は輝度信号、「Ｃ」は色差信号である。
　ＤＲＡＭ１１に書き込まれた撮像信号は、後述する変則的な周期の露光制御により、ビデオ規格の映像周期に準ずる標準周期の露光タイミングに対して、時間軸方向に位相ずれを生ずる。位相補正部５は、このような時間軸方向に生じた位相ずれを補正する。画像の位相が補正された撮像信号は、液晶モニタ１８に表示される。また、画像の位相が補正された撮像信号は、圧縮／伸張処理部７により、所定画質の撮像信号に圧縮処理され、カードＩ／Ｆ１３に供給される。カードＩ／Ｆ１３に供給された撮像信号は、音声処理部８で生成された音声情報及びＯＳＤ重畳部９で生成された文字又は図形等のＯＳＤ画像等と共に、メディア制御部１２の制御により、カード型記録媒体１７に記録される。
　カード型記録媒体１７に記録された撮像信号及び音声信号は、メディア制御部１２の制御により再生される。圧縮／伸張処理部７は、撮像信号及び音声信号に施されている圧縮処理に対応する伸張処理を行うことで、撮像信号及び音声信号を再生する。再生された音声信号は、入出力Ｉ／Ｆを介してスピーカ部１９に供給される。また、再生された撮像信号は、液晶モニタ１８に表示され、また、入出力端子２１を介して外部に出力される。
　次に、ＲＯＭ１０には、ＯＳ（Operating　System）等のシステムプログラムの他に、後述する変則的な周期の露光制御で撮像を行い、変則的な周期の露光制御で撮像を行うことで、画像に生じた位相ずれを補正して出力する撮像処理プログラムが記憶されている。ＣＰＵ１５は、撮像処理プログラム実行することで、駆動周期算出部２５、シャッター制御部２６及び駆動周期制御部２７として機能する。なお、この例では、駆動周期算出部２５～駆動周期制御部２７は、ソフトウェアで実現することとして説明を進めるが、駆動周期算出部２５～駆動周期制御部２７のうち、全部又は一部をハードウェアで実現してもよい。
　また、撮像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、撮像処理プログラムは、ＣＤ－Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital　Versatile　Disk」の略記である。また、撮像処理プログラムを、インターネット等のネットワーク経由で提供してもよい。また、撮像装置は、撮像処理プログラムを、ネットワークを介してダウンロードし、撮像装置内にインストールして実行してもよい。
　このような撮像装置は、１垂直同期期間未満の露光を行う高速シャッターでの撮像を行う場合、ＣＰＵ１５がＲＯＭ１０に記憶されている撮像処理プログラムを読み出す。そして、ＣＰＵ１５が、駆動周期算出部２５、シャッター制御部２６及び駆動周期制御部２７として機能し、整数倍した撮像（露光）周期が、ＬＥＤ信号機の明滅周期と同期しないように、変則的な周期でイメージセンサ２４を駆動する。
　図６は、イメージセンサ２４の変則的な駆動周期を説明するための図である。図６のパターン１１０は、変則的に制御される各周期でイメージセンサ２４により撮像された各撮像画像を示している。図６のパターン１１２は、一旦、ＤＲＡＭ１１に記憶され、例えばＮＴＳＣ方式等のビデオ規格の標準の再生速度でＤＲＡＭ１１から読み出されて出力される各撮像画像を示している。なお、図６は、ＮＴＳＣ方式の１／６０フレーム／秒（ｆｐｓ）を標準の周期とした例である。
　駆動周期制御部２７は、一例として、図６のパターン１１０に示すように、高速シャッター時（１垂直同期期間未満の露光）、第１フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期よりも速い周期である、６２ｆｐｓの変則的な周期でイメージセンサ２４を駆動する。続く、第２フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期でイメージセンサ２４を駆動する。続く、第３フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期よりも遅い周期である、変則的な５８ｆｐｓの周期でイメージセンサ２４を駆動する。続く、第４フレーム目は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期でイメージセンサ２４を駆動する。
　駆動周期制御部２７は、ＮＴＳＣ方式等のビデオ規格に準拠させるため、イメージセンサ２４の変則的な駆動周期を、４標準周期毎に（４垂直同期期間周期毎に）、ビデオ規格の標準周期と一致させている。すなわち、駆動周期制御部２７は、ＮＴＳＣ方式の標準となる６０ｆｐｓの周期等の標準周期でイメージセンサ２４を駆動したフレームの前後のフレームの周期を加算した周期が、標準周期の２倍の周期となるように、変則的なフレームとした前後のフレームの周期を調整する。
　図６に示す例の場合、第２フレーム目及び第４フレーム目が標準周期のフレームとなっている。すなわち、駆動周期制御部２７は、１フレーム置きに標準周期のフレームとなるようにイメージセンサ２４を駆動している。駆動周期制御部２７は、標準周期の第２フレームの前フレームに相当する第１フレーム目を、６２ｆｐｓの変則的な周期となるようにイメージセンサ２４を駆動すると、第２フレームの後フレームに相当する第３フレーム目は、５８ｆｐｓの変則的な周期となるようにイメージセンサ２４を駆動する。これにより、「６２ｆｐｓ（第１フレーム）＋５８ｆｐｓ（第３フレーム）＝６０ｆｐｓ×２（第２フレーム＋第４フレーム）」となり、４標準周期のタイミングで、イメージセンサ２４の変則的な駆動周期とビデオ規格の映像周期とを一致させることができる。
　このような変則的な周期又は標準周期で撮像された被写体の撮像信号は、アナログ処理部２、Ａ／Ｄ変換部３及び入力コントローラ４を介してＤＲＡＭ１１に記憶される。ＣＰＵ１５は、ＤＲＡＭ１１に記憶された変則的な周期又は標準周期に対応する各撮像信号を、図６の（ｂ）の符号を付した図に示すように、ＮＴＳＣ方式に準拠した６０ｆｐｓの読み出し速度で読み出す。６０ｆｐｓの読み出し速度で読み出された撮像信号は、入出力Ｉ／Ｆ１４を介して液晶モニタ装置１８に供給され、また、入出力端子２１を介して外部に出力される。
　また、ＤＲＡＭ１１に記憶された変則的な周期又は標準周期に対応する各撮像信号は、圧縮／伸張処理部７により、標準画質に対して１／２の画質となる３０ｆｐｓの画質の撮像信号に圧縮処理され、音声データ及びＯＳＤ画像等と共に、カード型記録媒体１７に記録される。
　図７に、このような高速シャッター時におけるＬＥＤ信号機の明滅周期とシャッタータイミング（蓄積リセットタイミング）との関係を示す。蓄積リセットタイミングは、リセットタイミングの一例である。実施の形態の撮像装置の場合、高速シャッター時となると、図６のパターン１１０を用いて説明したように、イメージセンサ２４の駆動周期が変則的に伸び縮みする。イメージセンサ２４の電子シャッター速度は、イメージセンサ２４の蓄積リセットタイミングを制御することで実現される。このため、イメージセンサ２４の駆動周期に合わせて蓄積リセットタイミングを制御する。
　具体的には、高速シャッター時となると、駆動周期算出部２５は、以下の（数１式）を用いて、各変則的な周期に対応する蓄積リセットタイミングである、補正蓄積リセットタイミングを算出する。
　補正蓄積リセットタイミング［ｍｓ］＝通常の蓄積リセットタイミング［ｍｓ］＋（イメージセンサ２４の変則的な駆動周期［ｍｓ］－イメージセンサ２４の通常の駆動周期［ｍｓ］）・・・（数１式）
　シャッター制御部２６は、駆動周期制御部２７で制御される変則的な周期において、駆動周期算出部２５で算出された補正蓄積リセットタイミングで、イメージセンサ２４に蓄積された電荷（撮像信号）をリセットする。これにより、図７に示すように標準周期よりも早い周期の６２ｆｐｓの周期においては、この６２ｆｐｓの周期に合わせて、標準周期よりも早く、イメージセンサ２４がリセット制御される。なお、図７は、１／１０００秒の高速シャッターの例である。また、標準周期よりも遅い周期の５８ｆｐｓの周期においては、この５８ｆｐｓの周期に合わせて、標準周期よりも遅く、イメージセンサ２４がリセット制御される。
　これにより、図７に斜線で示すように、周期毎に異なるタイミングでイメージセンサ２４を露光させて、ＬＥＤ信号機からの光を取り込むことができる。これは、イメージセンサ２４に蓄積される電荷が、周期毎に増減することを意味する。このため、露光のタイミングによっては、点灯しているはずのＬＥＤ信号機が消灯状態で表示されることもあるが、大体の場合、点灯しているＬＥＤ信号機を表示でき、点灯しているはずのＬＥＤ信号機が、常に消灯状態で表示される不都合（連続的に消灯状態として表示される不都合）を防止できる。
　ここで、図６及び図７に示す５８ｆｐｓの駆動周期のように、１垂直同期期間以上の駆動周期（スローシャッター）においては、駆動周期（間隔）が大きく伸縮し、１垂直同期期間未満の駆動周期（高速シャッター）以上に、映像の動体が不連続となる問題がある。このため、ＬＥＤ信号機の明滅周期より長い駆動周期の場合は、通常の周期でイメージセンサ２４を駆動することが好ましい。上述の例で説明すると、５８ｆｐｓの駆動周期時には、標準周期の６０ｆｐｓのタイミングでイメージセンサ２４をリセット制御する。これにより、１垂直同期期間以上の駆動周期の際に、映像の動体が不連続となる不都合を軽減できる。
　次に、上述のように変則的な周期でイメージセンサ２４を駆動して露光すると、ビデオ規格の映像周期に準ずる標準周期の露光タイミングに対して、ずれを生ずる。このため、図５に示す位相補正部５は、ずれた露光タイミングの画像の時間軸方向の位相を補正する。なお、位相補正部５は、図５において、ハードウェアとして図示しているが、ＲＯＭ１０に記憶された撮像処理プログラムにより、ＣＰＵ１５の機能としてソフトウェア的に実現してもよい。
　具体的には、例えば変則的な周期５８ｆｐｓの露光は、標準周期の６０ｆｐｓの露光タイミングに比べ、約０．５７４秒遅いことになる。位相補正部５は、ＤＲＡＭ１１に記憶されている連続する２つのフレームの撮像信号の動きベクトルを検出する。動きベクトルは、各フレームの撮像画像の所定ブロック内の各画素の差分の絶対値を検出し、各絶対値の総和を、各画素の一致の度合いの評価値とするＳＡＤ（Sum　of　Absolute　Difference）等の一般的なブロックマッチングの手法を用いて検出できる。
　位相補正部５は、「０．５７４秒÷１／６０秒＝０．５７４／１６．６６６＝０．０３４（３．４％）」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした撮像画像を作成する（フレーム補間）。
　図８は、このようなフレーム補間処理を説明するための模式図である。図８のパターン１２０は、フレーム補間前の撮像画像（ＤＲＡＭ１１に記憶されている撮像画像）を示している。図８のパターン１２２は、フレーム補間後の撮像画像を示している。この図８からわかるように、位相補正部５は、ＤＲＡＭ１１に記憶されている第１フレーム及び第２フレームの撮像画像から、上述のように動きベクトルを検出する。また、位相補正部５は、「第１フレーム及び第２フレームの周期差／１６．６６６」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした第２フレームの撮像画像をフレーム補間画像として作成する。
　同様に、位相補正部５は、ＤＲＡＭ１１に記憶されている第２フレーム及び第３フレームの撮像画像から、上述のように動きベクトルを検出する。また、位相補正部５は、「第２フレーム及び第３フレームの周期差／１６．６６６」の演算を行うことで、標準周期の撮像画像に対するずれ量を算出する。そして、位相補正部５は、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらした第３フレームの撮像画像をフレーム補間画像として作成し、ＤＲＡＭ１１に記憶する。
　これにより、検出した動きベクトルに対し、変則的な周期の露光でずらした分を打ち消すようにフレーム補間することができる。このため、変則的な周期で露光した撮像画像に対し、時間軸方向に位相の調整及び補正を行うことができ、映像の動体の連続性を保持し、スムーズに動く動体を表示することができる。
　読み出し制御部の一例となるＣＰＵ１５は、ＤＲＡＭ１１に記憶された標準周期の撮像画像（第１フレームの撮像画像等）及びフレーム補間画像（第３フレームの撮像画像等）を、標準周期に対応する６０ｆｐｓの再生速度となるように読み出し、液晶モニタ１８に出力し、また、入出力端子２１を介して外部に出力する。
　以上の説明から明らかなように、実施の形態の撮像装置は、以下のように動作する。
　１．複数の変則的な周期でイメージセンサ２４を駆動する。
　２．イメージセンサ２４の変則的な駆動周期の間には、ビデオ規格に準拠した標準周期を挟んでイメージセンサ２４を駆動する。
　３．４垂直同期期間毎等の所定の周期で、ビデオ規格に準拠した標準周期と一致させる。
　４．露光レベルを合わせるために、変則的な周期に応じてシャッター速度の調整（蓄積リセットタイミングの補正）を行う。
　５．ＬＥＤ信号機の明滅周期より短いシャッタースピード（露光期間）の場合（高速シャッター（１垂直同期期間未満の露光））では、イメージセンサを変則的な周期で駆動する。また、ＬＥＤ信号機の明滅周期より長いシャッタースピード（露光期間）の場合（スローシャッター（１垂直同期期間以上の露光））では、通常の周期でイメージセンサを駆動する。
　６．イメージセンサ２４の変則的な周期と通常の周期の切り替えは、ビデオ規格の標準周期と一致する周期で行う。
　これにより、高速シャッター時（１垂直同期期間未満の露光時）には、ＬＥＤ信号機は、少なくとも明滅を繰り返すように撮像される。このため、実施の形態の撮像装置をドライブレコーダに設けた場合、点灯状態のＬＥＤ信号機を、点灯状態又は点滅状態のＬＥＤ信号機として撮像することができる。
　また、実施の形態の撮像装置は、以下のように動作する。
　１．変則的な周期の露光で撮像した撮像画像に対し、時間軸方向に画像位相を調整及び補正する。
　２．前後の２つのフレームから動きベクトル検出する。動きベクトル検出は、例えば一般的なＳＡＤ等の一般的なブロックマッチング手法を用いる。
　３．検出した動きベクトルに対し、変則的な周期の露光でずらした分を打ち消すようにフレーム補間する。
　これにより、変則的な周期でイメージセンサ２４を駆動することで生じる映像の不連続性を軽減し、スムーズに動く動体を表示できる。
　上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、上述の実施の形態では、ＬＥＤ信号機を撮像することとしたが、本発明は、ＬＥＤが用いられている機器であれば、どのような機器を撮像しても上述の効果を得ることができる。実施の形態及び実施の形態の変形は、発明の範囲及び要旨に含まれると共に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１　撮像部
　２　アナログ処理部
　３　Ａ／Ｄ変換部
　４　入力コントローラ
　５　位相補正部
　６　デジタル信号処理部
　７　圧縮／伸張処理部
　８　音声処理部
　９　ＯＳＤ重畳部
　１０　ＲＯＭ
　１１　ＤＲＡＭ
　１２　メディア制御部
　１３　カードＩ／Ｆ
　１４　入出力Ｉ／Ｆ
　１５　ＣＰＵ
　１６　バスライン
　１７　カード型記憶媒体
　１８　液晶モニタ１８
　１９　スピーカ部
　２０　操作部
　２１　入出力端子
　２２　光学レンズ
　２３　アイリス部
　２４　イメージセンサ
　２５　駆動周期算出部
　２６　シャッター制御部
　２７　駆動周期制御部

Claims (5)

  1. 　所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、前記標準周期のフレームを生成し、前記標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、前記標準周期よりも短い周期となり、他方のフレームの周期が前記標準周期よりも長い周期となるように、前記撮像部の駆動周期を制御する駆動周期制御部と、
    　前記被写体からの光の光量に応じて前記撮像部に蓄積される電荷のリセットタイミングを、前記撮像部の駆動周期に応じて制御するシャッター制御部と、
    　前記リセットタイミングが制御された前記撮像部で撮像された各撮像画像を記憶する記憶部と、
    　前記記憶部に記憶された前記各撮像画像を、前記標準周期に対応する再生速度となるように読み出して出力する読み出し制御部と
    　を有する撮像処理装置。
  2. 　前記記憶部に記憶された複数の撮像画像から動きベクトルを検出すると共に、前記標準周期に対する撮像画像のずれ量を算出し、検出した動きベクトルに対応する方向に、算出したずれ量分、各画素をずらしたフレーム補間画像を生成して前記記憶部に記憶する位相補正部を、さらに備え、
    　前記読み出し制御部は、前記記憶部に記憶された前記標準周期の撮像画像及び前記フレーム補間画像を、前記標準周期に対応する再生速度となるように読み出して出力すること
    　を特徴とする請求項１に記載の撮像処理装置。
  3. 　前記駆動周期制御部は、前記短い周期及び前記長い周期を合計した周期を、前記標準周期の少なくとも２倍の周期とすること
    　を特徴とする請求項１又は請求項２に記載の撮像処理装置。
  4. 　前記シャッター制御部により制御された前記撮像部の駆動周期の時間から、前記撮像部の標準周期の時間を減算処理した時間に、前記標準周期の前記リセットタイミングの時間を加算処理することで、前記駆動周期に対応するリセットタイミングを算出する駆動周期算出部を、さらに備え、
    　前記シャッター制御部は、前記駆動周期算出部で算出されたリセットタイミングで、前記撮像部のリセットタイミングを制御すること
    　を特徴とする請求項１から請求項３のうち、いずれか一項に記載の撮像処理装置。
  5. 　駆動周期制御部が、所定のビデオ規格に準拠した駆動周期である標準周期未満の露光時間で、被写体を撮像するように撮像部を駆動する際に、所定フレーム置きに、前記標準周期のフレームを生成し、前記標準周期のフレームの前後のフレームのうち、いずれか一方のフレームの周期が、前記標準周期よりも短い周期となり、他方のフレームの周期が前記標準周期よりも長い周期となるように、前記撮像部の駆動周期を制御する駆動周期制御ステップと、
    　シャッター制御部が、前記被写体からの光の光量に応じて前記撮像部に蓄積される電荷のリセットタイミングを、前記撮像部の駆動周期に応じて制御するシャッター制御ステップと、
    　読み出し制御部が、前記記憶部に記憶された前記各撮像画像を、前記標準周期に対応する再生速度となるように読み出して出力する読み出し制御ステップと
    　を有する撮像処理方法。
PCT/JP2015/082049 2015-01-16 2015-11-13 撮像処理装置及び撮像処理方法 WO2016113995A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/341,092 US9883113B2 (en) 2015-01-16 2016-11-02 Imaging processing apparatus and method of imaging processing by controlling an imaging period

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-007183 2015-01-16
JP2015007183A JP2016134695A (ja) 2015-01-16 2015-01-16 撮像処理装置及び撮像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/341,092 Continuation US9883113B2 (en) 2015-01-16 2016-11-02 Imaging processing apparatus and method of imaging processing by controlling an imaging period

Publications (1)

Publication Number Publication Date
WO2016113995A1 true WO2016113995A1 (ja) 2016-07-21

Family

ID=56405552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082049 WO2016113995A1 (ja) 2015-01-16 2015-11-13 撮像処理装置及び撮像処理方法

Country Status (3)

Country Link
US (1) US9883113B2 (ja)
JP (1) JP2016134695A (ja)
WO (1) WO2016113995A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121712A (ko) * 2021-02-25 2022-09-01 캐논 가부시끼가이샤 피사체의 주기적인 광량변화에 의한 플리커를 검출 가능한 촬상 장치, 플리커 검출 방법 및 비일시적 컴퓨터 판독 가능한 기억매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200726A (ja) * 2008-02-20 2009-09-03 Olympus Corp 撮像装置
JP2010154433A (ja) * 2008-12-26 2010-07-08 Panasonic Corp 車載カメラ及びそれを用いたドライブレコーダ
JP2011139432A (ja) * 2009-12-01 2011-07-14 Ricoh Co Ltd 画像撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271884B1 (en) * 1999-09-28 2001-08-07 Conexant Systems, Inc. Image flicker reduction with fluorescent lighting
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
KR100578647B1 (ko) * 2004-04-27 2006-05-11 매그나칩 반도체 유한회사 이미지센서의 인티그레이션 방법
KR100574890B1 (ko) * 2004-04-27 2006-04-27 매그나칩 반도체 유한회사 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP4937851B2 (ja) 2007-07-05 2012-05-23 パナソニック株式会社 撮像装置
JP2010093601A (ja) 2008-10-09 2010-04-22 Nec Commun Syst Ltd 点滅発光情報を含む映像の記録装置およびデータ処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200726A (ja) * 2008-02-20 2009-09-03 Olympus Corp 撮像装置
JP2010154433A (ja) * 2008-12-26 2010-07-08 Panasonic Corp 車載カメラ及びそれを用いたドライブレコーダ
JP2011139432A (ja) * 2009-12-01 2011-07-14 Ricoh Co Ltd 画像撮像装置

Also Published As

Publication number Publication date
US9883113B2 (en) 2018-01-30
US20170054889A1 (en) 2017-02-23
JP2016134695A (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
US20120257082A1 (en) Imaging apparatus, image control method, and storage medium storing program
JP4912113B2 (ja) 光源状態検出装置及び方法並びに撮像装置
JP2011193065A (ja) 撮像装置
JP2008109370A (ja) 画像補正装置及び方法並びに撮像装置
JP2009152669A (ja) 撮像装置、撮像処理方法及び撮像制御プログラム
WO2014199542A1 (ja) 撮像装置、集積回路およびフリッカ低減方法
JP6638652B2 (ja) 撮像装置および撮像装置の制御方法
US8390709B2 (en) Camera and method for adjusting photographing time and mode
WO2016113995A1 (ja) 撮像処理装置及び撮像処理方法
JP6276639B2 (ja) ビデオカメラ装置、映像信号の処理方法および映像信号処理装置
JP5202277B2 (ja) 撮像装置
JP5440245B2 (ja) 撮像装置
JP2008245096A (ja) 撮像装置、映像信号処理装置及び映像信号処理方法
JP2017169027A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP6152009B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2006098736A (ja) 撮像装置及びレンズ装置
US11102423B2 (en) Image pickup apparatus that performs flicker detection, control method for image pickup apparatus, and storage medium
JP2011066567A (ja) 撮像装置
JP5402223B2 (ja) 撮像装置
JP5341536B2 (ja) 撮像装置
US11588985B2 (en) Electronic apparatus and control method thereof
US10531023B2 (en) Imaging apparatus and driving method for the imaging apparatus
JP4844446B2 (ja) 撮像装置及び撮像方法
JP2008079099A (ja) 固体撮像装置、撮像装置、プログラム
JP2015207943A (ja) ビデオカメラ装置、映像信号の処理方法および映像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15877947

Country of ref document: EP

Kind code of ref document: A1