WO2019044009A1 - 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム - Google Patents

画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム Download PDF

Info

Publication number
WO2019044009A1
WO2019044009A1 PCT/JP2018/010945 JP2018010945W WO2019044009A1 WO 2019044009 A1 WO2019044009 A1 WO 2019044009A1 JP 2018010945 W JP2018010945 W JP 2018010945W WO 2019044009 A1 WO2019044009 A1 WO 2019044009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
unit
image generation
period
Prior art date
Application number
PCT/JP2018/010945
Other languages
English (en)
French (fr)
Inventor
久 小磯
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2019044009A1 publication Critical patent/WO2019044009A1/ja
Priority to US16/785,151 priority Critical patent/US11363211B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • a license plate of a traveling vehicle may be photographed by an imaging device as a “photographing object”.
  • an imaging device e.g., a camera, a microphone, or the like.
  • a headlight is disposed near the license plate, and an LED may be used for the headlight.
  • the image generation control program includes an image generation control device for generating an image of a shooting target located in the vicinity of a shooting blink light source that blinks periodically, the shooting failure light source and the shooting target object Calculating the turn-off scheduled period for turning off the shooting obstacle light source based on the luminance variation in the target range including the light emission period, and setting the exposure period of the imaging unit within the calculated turn-off scheduled period; A process is performed to capture an image including the target range in the calculated scheduled light-off period.
  • FIG. 1 is a block diagram showing an example of an imaging device including the image generation control device of the first embodiment.
  • the imaging device 1 includes an imaging unit 10 and an image generation control device 20.
  • the imaging unit 10 performs imaging based on imaging settings (for example, imaging frame rate) set by the image generation control device 20.
  • the imaging unit 10 includes, for example, an imaging element.
  • the imaging device is, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • the image generation control device 20 includes an acquisition unit 21, a calculation unit 22, and a photographing control unit 23.
  • the acquisition unit 21 acquires a photographed image photographed by the imaging unit 10 according to the control of the photographing control unit 23.
  • the calculation unit 22 sets a target range image including “target range” captured in a plurality of shooting frames by the imaging unit 10 when the setting value of the shooting frame rate is “first setting value” (hereinafter, “target range image 2) may be received from the acquisition unit 21). Then, the calculation unit 22 calculates the “expected turn-off period” in which the photographing failure light source is turned off, based on the brightness fluctuation of the plurality of received second images. In the plurality of second images, the luminance is high when the imaging obstacle light source is on, and the luminance is low when the imaging failure light source is off. It is detected that these variations in luminance are repeated in a plurality of images, and a “planned turn-off period” is calculated.
  • the imaging control unit 23 sets the above-described imaging conditions for the imaging unit 10. That is, the above-mentioned "first set value” is also set by the photographing control unit 23. In addition, the imaging control unit 23 sets the exposure period (exposure period) of the imaging unit 10 within the turn-off scheduled period calculated by the calculation unit 22 and includes the target range in the turn-off scheduled period for the imaging unit 10. A target range image (hereinafter sometimes referred to as “first image”) is photographed.
  • the imaging control unit 23 may adjust the setting value of the imaging frame rate for the imaging unit 10 to the “second setting value”. For example, the “second setting value” corresponds to a shooting frame rate lower than the “first setting value” described above.
  • the second image is acquired by the acquisition unit 21 according to the control of the imaging control unit 23.
  • the image generation control device 20 With the configuration of the image generation control device 20, it is possible to acquire the first image captured during the turn-off period of the imaging failure light source, so that imaging is performed even when the imaging failure light source is against the imaging unit 10 It is possible to generate an image of the object to be photographed located near the obstacle light source with high accuracy.
  • the acquired first image may be directly used to generate an image of the imaging target, or may be used to specify the position of the imaging target as in the second embodiment described later, for example. Good.
  • the second embodiment relates to a more specific embodiment.
  • FIG. 2 is a block diagram showing an example of an imaging apparatus including the image generation control apparatus of the second embodiment.
  • the imaging device 2 in FIG. 2 includes an imaging unit 10, an image generation control device 30, and an illumination unit 40.
  • the imaging unit 10 performs imaging based on the imaging setting (for example, imaging frame rate) set by the image generation control device 30.
  • the imaging setting for example, imaging frame rate
  • the image generation control device 30 includes an acquisition unit 31, a moving object image range specification unit 32, a setting unit 33, an object position specification unit 34, a photographing control unit 35, and an image generation unit 36. And.
  • the acquisition unit 31 acquires the “wide area image” captured by the imaging unit 10 according to the control of the imaging control unit 35, and outputs the acquired wide area image to the moving object image range specification unit 32 and the image generation unit 36.
  • the “wide area image” is an image including a target area and wider than the target area. That is, for example, the "wide range image” is an image obtained from, for example, the entire element of the imaging unit 10, while the “target range image” is obtained from pixels corresponding to the target range among the entire elements of the imaging unit 10. It is an image.
  • the “third setting value corresponding to the imaging frame rate lower than the above“ first setting value ”for the imaging unit 10 by the imaging control unit 35 "May be set.
  • the acquisition unit 31 acquires the “photographed object image” photographed by the imaging unit 10 under the control of the photographing control unit 35, and outputs the acquired photographed object image to the image generation unit 36.
  • the “photographed object image” is an image obtained from the pixels corresponding to the range of the photographed object in the entire elements of the imaging unit 10, and is an image in a narrower range than the “target range image”.
  • the moving body image range specifying unit 32 specifies an image range corresponding to at least a part of the moving object using the plurality of wide-range images acquired from the imaging unit 10 via the acquisition unit 31 and outputs the image range to the setting unit 33 .
  • the moving subject image range specification unit 32 specifies an image range in which the position changes with substantially no change in shape among the plurality of wide-range images.
  • the specified image range is, for example, an image range corresponding to a vehicle on which a license plate which is an object to be photographed is attached, or an image range including two headlights disposed on the left and right of the vehicle on the left and right It is.
  • the setting unit 33 sets the image range specified by the moving body image range specifying unit 32 as a “target range”.
  • the “target range” includes the imaging obstacle light source and the imaging target.
  • the object position specifying unit 34 specifies the position of the imaging target using the first image acquired from the imaging unit 10 via the acquisition unit 31.
  • the imaging control unit 35 sets a “third setting value” corresponding to an imaging frame rate lower than the “first setting value” to the imaging unit 10, and causes the imaging unit 10 to output the “wide area image”.
  • the imaging control unit 35 sets a “first setting value” for the imaging unit 10, and causes the imaging unit 10 to output a second image.
  • the imaging control unit 35 sets the above-mentioned “second setting value” for the imaging unit 10 and sets the exposure period of the imaging unit 10 within the scheduled turn-off period calculated by the calculation unit 22, The first image is output from 10.
  • the imaging control unit 35 sets the above-mentioned “second setting value” for the imaging unit 10 and sets the exposure period of the imaging unit 10 within the scheduled turn-off period calculated by the calculation unit 22.
  • the illumination unit 40 emits illumination light toward the position of the object to be photographed specified by the object position specifying unit 34 at a timing according to the exposure period of the imaging unit 10. Then, the imaging control unit 35 causes the imaging unit 10 to output an image of the position of the imaging target illuminated by the illumination light of the illumination unit 40.
  • FIG. 3 is a flowchart showing an example of the processing operation of the image generation control apparatus of the second embodiment.
  • FIG. 4 is a diagram for explaining the wide-range image and the target range image.
  • FIG. 5 is a diagram for explaining the processing operation of the image generation control device.
  • the imaging control unit 35 sets the imaging frame rate setting value to the third setting value for the imaging unit 10, and sets the acquisition mode to the “wide area image acquisition mode” for the acquisition unit 31.
  • An output destination is set in the moving body image range specification unit 32 (step S101).
  • the moving object image range specification unit 32 can acquire a plurality of wide-range images by the setting in step S101. For example, the entire image shown in FIG. 4 is one wide-range image. Also, for example, the third setting value is 30 fps.
  • the moving object image range specification unit 32 specifies an image range corresponding to at least a part of the moving object, using the plurality of acquired wide-range images (step S102).
  • the setting unit 33 sets the image range specified in step S102 as a target range (step S103).
  • the set target range is notified to the imaging control unit 35.
  • the range enclosed by the rectangular frame of the dashed dotted line shown in FIG. 4 is the target range.
  • the range occupied by the image of the vehicle approaching from the far side of the imaging direction of the imaging unit 10 is set as the target range.
  • the headlight of this vehicle is a backlight for the imaging unit 10, and thus may be an obstacle when photographing the number plate.
  • the imaging control unit 35 sets the imaging frame rate setting value to the first setting value for the imaging unit 10, and sets the acquisition mode to the “second image acquisition mode” for the acquisition unit 31.
  • the output destination is set in the calculation unit 22 (step S104).
  • the calculation unit 22 can acquire a plurality of second images.
  • the first set value needs to be set higher than the blink rate of the photographing obstacle light source.
  • the first setting value is a high-speed frame rate such as 20000 fps, and is a value higher than the third setting value.
  • the calculation unit 22 calculates an expected turn-off period in which the shooting obstacle light source is turned off based on the plurality of acquired second images (step S105).
  • step S105 an example of a timing chart regarding blinking of a headlight which is a shooting obstacle light source is shown.
  • the second row from the top of FIG. 5 shows a shooting control signal sequence when the setting value of the shooting frame rate is set to the first setting value.
  • Each pulse included in the imaging control signal sequence corresponds to one imaging, and one second image is obtained by this one imaging. That is, the reciprocal of the time interval (that is, the blink detection cycle) of the two rising portions of two consecutive pulses before and after corresponds to the imaging frame rate.
  • the calculating unit 22 determines that the blink detection cycle corresponding to the second image is a part of the lighting period of the imaging failure light source. .
  • the calculation unit 22 determines that the blink detection cycle corresponding to the second image is a part of the turn-off period of the imaging failure light source. . Since this shooting obstacle light source blinks periodically at 10 kHz, for example, by using a plurality of second images taken in a period longer than this blinking cycle, as shown in the third stage from the top of FIG. The lighting period and the extinguishing period of the photographing obstacle light source in each blink cycle can be specified. As a result, the calculation unit 22 can calculate the lighting scheduled period and the lighting scheduled period.
  • the target of the calculation process of the scheduled turn-off period is not the entire wide-area image but an image of a part of the target range. This can reduce the burden of image processing. Further, since it is only necessary to detect changes in light and dark in the target range, the second image may be a monochrome image, and the exposure period can be shortened. Therefore, even when the lighting cycle is short, the speed of data transfer and the speed of calculation processing can be matched to the lighting cycle.
  • the imaging control unit 35 sets the imaging frame rate setting value to the second setting value for the imaging unit 10, and sets the exposure period of the imaging unit 10 within the scheduled turn-off period (step S106). Further, the imaging control unit 35 sets the acquisition mode to the “first image acquisition mode” and sets the output destination in the object position identification unit 34 (step S106). That is, for the acquisition mode of the acquisition unit 31, the setting in step S104 is continued. By the setting in step S106, the object position specifying unit 34 can acquire at least one first image.
  • the second set value may be a value lower than the first set value, and may be, for example, a value corresponding to the blinking cycle of the photographing failure light source, or a natural number multiple of the blinking cycle. It may be a corresponding value. Thereby, it is possible to take a picture reliably within the turn-off scheduled period.
  • the object position specifying unit 34 specifies the position of the object to be photographed using the acquired first image (step S107).
  • the object to be photographed is a license plate
  • the shape and size of the license plate are standardized, so that, for example, the approximate position of the object to be photographed can be specified by pattern matching.
  • the imaging control unit 35 sets the imaging frame rate setting value to the second setting value for the imaging unit 10, and sets the exposure period of the imaging unit 10 within the scheduled turn-off period (step S108). That is, for the shooting frame rate and the exposure period of the imaging unit 10, the setting in step S106 is continued. Further, the imaging control unit 35 sets the irradiation timing of the illumination unit 40 in accordance with the exposure period of the imaging unit 10, and sets the irradiation target of the illumination unit 40 at the object position (step S108). Furthermore, the imaging control unit 35 sets the acquisition mode to the “acquisition mode of the imaging target object image” for the acquisition unit 31, and sets the output destination in the image generation unit 36 (step S108).
  • the image generation unit 36 can acquire the image of the imaging target illuminated by the light emitted from the illumination unit 40.
  • the lighting unit 40 emits light in all of the calculated scheduled turn-off periods, but the present invention is not limited thereto.
  • the illumination unit 40 may emit light in part of In the lowermost diagram of FIG. 5, a case is shown in which all of the calculated scheduled turn-off periods are exposure periods of the imaging unit 10, but the present invention is not limited to this.
  • the unit may be an exposure period of the imaging unit 10.
  • the imaging control unit 35 sets the imaging frame rate setting value to the third setting value for the imaging unit 10, and sets the acquisition mode to the “wide area image acquisition mode” for the acquisition unit 31.
  • the output destination is set in the image generation unit 36 (step S110). By the setting in step S110, the image generation unit 36 can acquire a wide-range image.
  • the image generation unit 36 combines the acquired wide-range image with the held imaging target object image to generate a composite image (step S111). For example, the image generation unit 36 generates a composite image by superimposing the imaging object image on the imaging object position in the wide area image, that is, replacing the image of the imaging object position in the wide area image with the imaging object image May be
  • the moving object image range specifying unit 32 in the image generation control device 30 uses at least a plurality of wide-range images captured in a plurality of imaging frames by the imaging unit 10 to Identify the image range corresponding to a part. Then, the setting unit 33 sets a target range based on the specified image range.
  • the target of calculation processing of the scheduled turn-off period can be an image of a target range of a part of the wide range image, not a whole of the wide range image, so the processing load can be reduced. Even when the lighting cycle is short, the speed of data transfer and the speed of calculation processing can be matched to the lighting cycle.
  • the position of the object to be photographed is specified using the target range image which is not affected by the back light, so that the specification accuracy can be improved.
  • the object position specifying unit 34 causes the illumination unit 40 to emit illumination light toward the specified position of the imaging target at a timing according to the exposure period, and the imaging unit 10, the position of the specified imaging target is photographed in the exposure period set within the turn-off scheduled period. That is, the image generation control device 30 can also be called a photographing control device.
  • the image generation control device 30 it is possible to capture an image of an object to be captured more clearly. That is, the image of the object to be photographed can be generated with high accuracy.
  • the image generation unit 36 generates a composite image obtained by combining the imaging object image and the wide area image.
  • the third embodiment relates to an embodiment in which an imaging unit is exposed in a plurality of exposure periods to capture one first image.
  • the basic configurations of the imaging device and the image generation control device of the third embodiment are the same as those of the imaging device 2 and the image generation control device 30 of the second embodiment, and therefore will be described with reference to FIG.
  • the imaging control unit 35 causes the imaging unit 10 to perform exposure in a plurality of exposure periods respectively corresponding to a plurality of turn-off scheduled periods, and causes one imaging of a first image. .
  • the imaging control unit 35 causes the imaging unit 10 to perform exposure in three exposure periods and causes one imaging of a first image.
  • the time taken for the three shootings is 200 ⁇ s in total.
  • the movement of the subject during this 200 .mu.S is the same as shooting with the shutter speed set to 1/5000 seconds.
  • FIG. 6 is a diagram for explaining the multiple exposure of the third embodiment.
  • the imaging control unit 35 in the image generation control device 30 causes the imaging unit 10 to perform exposure in a plurality of exposure periods respectively corresponding to a plurality of turn-off scheduled periods, One first image.
  • this image generation control device 30 it is possible to perform imaging with a sufficient amount of light, even for imaging within the scheduled turn-off period.
  • the imaging unit 10 is exposed in a plurality of exposure periods respectively corresponding to a plurality of successive scheduled turn-off periods, and one first image is photographed, but the present invention is limited thereto. Alternatively, the exposure may be performed in a plurality of exposure periods respectively corresponding to a plurality of non-consecutive turn-off scheduled periods, and a single first image may be taken.
  • the fourth embodiment relates to processing in the case where the scheduled turn-off period can not be calculated by one calculation process.
  • the basic configurations of the imaging device and the image generation control device of the fourth embodiment are the same as those of the imaging device 2 and the image generation control device 30 of the second embodiment, and therefore will be described with reference to FIG.
  • the photographing frame rate of the first setting value set in the imaging unit 10 increases.
  • a value obtained by adding a predetermined value to the currently set first set value may be used as the first set value after adjustment, or the currently set first set value May be increased by a predetermined ratio as the first set value after adjustment.
  • the case where the calculation unit 22 can not calculate the turn-off scheduled period is, for example, the case where the second image in which the sum of the luminances is less than the determination threshold Th does not appear.
  • the upper part of FIG. 7 shows the calculation results of the lighting period and the extinguishing period in the case where the blink cycle of the headlight as the shooting obstacle light source is 10 KHz and the shooting frame rate is 30 fps.
  • the shooting frame rate is slower than the blinking cycle, the luminance of each second image becomes equal to or higher than the determination threshold Th, and it is determined that all the periods are lighting periods. That is, in this case, the calculation unit 22 determines that the scheduled turn-off time can not be calculated, and outputs a calculation impossible notification to the imaging control unit 35.
  • the middle part of FIG. 7 shows the calculation results of the lighting period and the extinguishing period in the case where the blink cycle of the headlight as the shooting obstacle light source is 10 KHz and the shooting frame rate is 1000 fps. In this case, although not accurate, it is possible to calculate the expected turn-off period.
  • the lower part of FIG. 7 shows the calculation results of the lighting period and the extinguishing period in the case where the blinking cycle of the headlight as a shooting obstacle light source is 10 KHz and the shooting frame rate is 10000 fps.
  • a fairly accurate expected turn-off period can be calculated.
  • the blinking cycle of the headlights which is the shooting failure light source
  • the on / off duty 50%
  • the calculation unit 22 recalculates the turn-off scheduled period based on the plurality of second images including the target range, which are captured by the imaging unit 10 based on the adjusted first setting value.
  • the imaging control unit 35 in the image generation control device 30 sets the first set value set in the imaging unit 10 when the calculation unit 22 can not calculate the turn-off scheduled period. Adjust the shooting frame rate to be high. Then, the calculation unit 22 recalculates the turn-off scheduled period based on the plurality of second images including the target range, which are captured by the imaging unit 10 based on the adjusted first setting value.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the image generation control device.
  • the image generation control device 100 includes an interface unit 101, a processor 102, and a memory 103.
  • imaging device 10 imaging unit 20, 30 image generation control device 21, 31 acquisition unit 22 calculation unit 23, 35 imaging control unit 32 moving body image range identification unit 33 setting unit 34 object position identification unit 36 image generation unit 40 illumination Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムを提供する。画像生成制御装置（２０）において算出部（２２）は、撮影障害光源及び撮影対象物を含むターゲット範囲内の輝度変動に基づいて、撮影障害光源が消灯する消灯予定期間を算出する。そして、撮影制御部（２３）が、撮像部（１０）の露光期間を算出部（２２）で算出された消灯予定期間内に設定して、撮像部（１０）に対して該消灯予定期間にターゲット範囲を含む画像を撮影させる。

Description

画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
　本発明は、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムに関する。
　従来、撮影画像を複数の分割領域に分割し、分割領域ごとに点滅するフリッカを検出し、フリッカが検出された分割領域をＬＥＤ（Light Emitting Diode）領域とし、該ＬＥＤ領域に対してホワイトバランス調整を行う技術が提案されている（例えば、特許文献１）。
　例えば交通監視システム等では、走行車両のナンバープレートが「撮影対象物」として撮像装置によって撮影されることがある。通常、ナンバープレートの近傍にはヘッドライトが配設され、該ヘッドライトにＬＥＤが用いられることがある。
国際公開第２０１２／０７３６５７号
　しかしながら、ヘッドライトが撮像装置に対して逆光となる場合には、ナンバープレートを精度良く撮影することが困難となる可能性がある。これは、ヘッドライト及びナンバープレートに限られず、その他の撮影障害光源及び該撮影障害光源の近傍に位置する撮影対象物にも当てはまるものである。
　本実施形態は、このような問題を解決するためになされたものであり、撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムを提供することを目的とする。
　本実施形態の一態様に係る画像生成制御装置は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置であって、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する算出部と、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる撮影制御部と、を具備する。
　本実施形態の一態様に係る画像生成制御方法は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御方法であって、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる。
　本実施形態の一態様に係る画像生成制御プログラムは、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置に、前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる、処理を実行させる。
　本実施形態によれば、撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる、画像生成制御装置、画像生成制御方法、及び画像生成制御プログラムを提供することができる。
第１実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。 第２実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。 第２実施形態の画像生成制御装置の処理動作の一例を示すフローチャートである。 広範囲画像及びターゲット範囲画像の説明に供する図である。 画像生成制御装置の処理動作の説明に供する図である。 第３実施形態の多重露光の説明に供する図である。 第４実施形態の消灯所定期間の算出処理の説明に供する図である。 画像生成制御装置のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
　＜画像生成制御装置の構成例＞
　図１は、第１実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。図１において撮影装置１は、撮像部１０と、画像生成制御装置２０とを有する。
　撮像部１０は、画像生成制御装置２０によって設定される撮影設定（例えば、撮影フレームレート）に基づいて、撮影する。撮像部１０は、例えば撮像素子を含んでいる。撮像素子は、例えば、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
　画像生成制御装置２０は、周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する装置である。以下では、一例として、周期的に点滅する撮影障害光源が車両のヘッドライトに用いられているＬＥＤであり、撮影対象物がナンバープレートであるものとして説明する。
　図１において画像生成制御装置２０は、取得部２１と、算出部２２と、撮影制御部２３とを有している。
　取得部２１は、撮影制御部２３の制御に従って、撮像部１０で撮影された撮影画像を取得する。
　算出部２２は、撮影フレームレートの設定値が「第１設定値」であるときに撮像部１０によって複数の撮影フレームにおいて撮影された、「ターゲット範囲」を含むターゲット範囲画像（以下では、「第２画像」と呼ぶことがある）を取得部２１から受け取る。そして、算出部２２は、受け取った複数の第２画像の輝度変動に基づいて、撮影障害光源が消灯する「消灯予定期間」を算出する。複数の第２画像において、撮影障害光源が点灯している場合には輝度が高く、消灯している場合には輝度が低い。これらの輝度の変動が複数の画像で繰り返されることを検出し、「消灯予定期間」を算出する。すなわち、「消灯予定期間」は、周期的に点滅する撮影障害光源の「滅」に対応する期間である。ここで、「ターゲット範囲」は、撮影障害光源（つまり、ヘッドライト）及び撮影対象物（つまり、ナンバープレート）を含む範囲である。また「第１設定値」は、撮影障害光源の点滅レートより高く設定される必要がある。
　撮影制御部２３は、撮像部１０に対して上記の撮影条件を設定する。すなわち、上記の「第１設定値」も撮影制御部２３によって設定される。また、撮影制御部２３は、撮像部１０の露光期間（露出期間）を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含むターゲット範囲画像（以下では、「第１画像」と呼ぶことがある）を撮影させる。ここで、撮影制御部２３は、撮像部１０に第１画像を撮影させる際に、撮像部１０に対する撮影フレームレートの設定値を「第２設定値」に調整してもよい。例えば、「第２設定値」は、上記の「第１設定値」よりも低い撮影フレームレートに対応する。この第２画像は、撮影制御部２３の制御に従って取得部２１によって取得される。
　以上のように第１実施形態によれば、画像生成制御装置２０において算出部２２が、撮影障害光源が消灯する「消灯予定期間」を算出し、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含む「第１画像」を撮影させる。すなわち、画像生成制御装置２０は、撮影制御装置と呼ぶこともできる。
　この画像生成制御装置２０の構成により、撮影障害光源の消灯期間に撮影された第１画像を取得することができるので、撮影障害光源が撮像部１０に対して逆光となる場合であっても撮影障害光源の近傍に位置する撮影対象物の画像を精度良く生成することができる。ここで、取得された第１画像は、直接的に撮影対象物の画像生成に利用されてもよいし、例えば後述する第２実施形態のように撮影対象物の位置の特定に用いられてもよい。
＜第２実施形態＞
　第２実施形態は、より具体的な実施形態に関する。
　＜画像生成制御装置の構成例＞
　図２は、第２実施形態の画像生成制御装置を含む撮影装置の一例を示すブロック図である。図２において撮影装置２は、撮像部１０と、画像生成制御装置３０と、照明部４０とを有する。
　第２実施形態の撮像部１０は、第１実施形態と同様に、画像生成制御装置３０によって設定される撮影設定（例えば、撮影フレームレート）に基づいて、撮影する。
　画像生成制御装置３０は、図２に示すように、取得部３１と、動体画像範囲特定部３２と、設定部３３と、対象物位置特定部３４と、撮影制御部３５と、画像生成部３６とを有している。
　取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「広範囲画像」を取得し、取得した広範囲画像を動体画像範囲特定部３２及び画像生成部３６へ出力する。ここでは、「広範囲画像」は、ターゲット範囲を含み且つターゲット範囲よりも広い範囲の画像である。すなわち、例えば、「広範囲画像」は、例えば撮像部１０の素子全体から得られる画像である一方、「ターゲット範囲画像」は、撮像部１０の素子全体のうちでターゲット範囲に対応する画素から得られる画像である。ここで、後述するように、「ターゲット範囲特定処理期間」では、撮影制御部３５によって撮像部１０に対して上記の「第１設定値」よりも低い撮影フレームレートに対応する「第３設定値」が設定されてもよい。
　また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「ターゲット範囲画像（つまり、第２画像）」を取得し、取得した第２画像を算出部２２へ出力する。ここで、第２画像が取得される際には、撮影制御部３５によって撮像部１０に対して上記の「第１設定値」が設定されている。
　また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「ターゲット範囲画像（つまり、第１画像）」を取得し、取得した第１画像を対象物位置特定部３４へ出力する。ここで、第１画像が取得される際には、撮像部１０の露光期間が算出部２２で算出された消灯予定期間内に設定されている。また、第１画像が取得される際には、撮影制御部３５によって撮像部１０に対して上記の「第２設定値」が設定されていてもよい。
　また、取得部３１は、撮影制御部３５の制御に従って、撮像部１０によって撮影された「撮影対象物画像」を取得し、取得した撮影対象物画像を画像生成部３６へ出力する。「撮影対象物画像」は、撮像部１０の素子全体のうちで撮影対象物の範囲に対応する画素から得られる画像であり、「ターゲット範囲画像」よりも狭い範囲の画像である。
　動体画像範囲特定部３２は、取得部３１を介して撮像部１０から取得した、複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定し、設定部３３に出力する。例えば、動体画像範囲特定部３２は、複数の広範囲画像の間で形状が略変わらずに位置が変化する画像範囲を特定する。この特定される画像範囲は、例えば、撮影対象物であるナンバープレートが装着された車両に対応する画像範囲、又は、それぞれ車両の左右に配設された２つのヘッドライトを左右端に含む画像範囲である。
　設定部３３は、動体画像範囲特定部３２によって特定された画像範囲を「ターゲット範囲」として設定する。上述の通り、「ターゲット範囲」は、撮影障害光源及び撮影対象物を含んでいる。
　対象物位置特定部３４は、取得部３１を介して撮像部１０から取得した、第１画像を用いて、撮影対象物の位置を特定する。
　撮影制御部３５は、撮像部１０に対して「第１設定値」よりも低い撮影フレームレートに対応する「第３設定値」を設定し、撮像部１０から「広範囲画像」を出力させる。
　また、撮影制御部３５は、撮像部１０に対して「第１設定値」を設定し、撮像部１０から第２画像を出力させる。
　また、撮影制御部３５は、撮像部１０に対して上記の「第２設定値」を設定すると共に撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定し、撮像部１０から第１画像を出力させる。
　また、撮影制御部３５は、撮像部１０に対して上記の「第２設定値」を設定すると共に撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定し、さらに、照明部４０に対して、撮像部１０の露光期間に合わせたタイミングで、対象物位置特定部３４によって特定された撮影対象物の位置に向けて照明光を照射させる。そして、撮影制御部３５は、撮像部１０から、照明部４０の照明光によって照射された撮影対象物の位置の画像を出力させる。
　画像生成部３６は、取得部３１から受け取った撮影対象物の画像と取得部３１から受け取った広範囲画像とを結合して、合成画像を生成する。
　照明部４０は、撮影制御部３５の制御に従って、撮像部１０の露光期間に合わせたタイミングで、対象物位置特定部３４によって特定された撮影対象物の位置に向けて照明光を照射する。
　＜画像生成制御装置の動作例＞
　以上の構成を有する画像生成制御装置の処理動作の一例について説明する。図３は、第２実施形態の画像生成制御装置の処理動作の一例を示すフローチャートである。図４は、広範囲画像及びターゲット範囲画像の説明に供する図である。図５は、画像生成制御装置の処理動作の説明に供する図である。
　〈ターゲット範囲の特定処理〉
　撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第３設定値に設定し、取得部３１に対して、取得モードを「広範囲画像の取得モード」に設定すると共に、出力先を動体画像範囲特定部３２に設定する（ステップＳ１０１）。ステップＳ１０１における設定によって、動体画像範囲特定部３２は、複数の広範囲画像を取得することができる。例えば、図４に示す画像の全体が、１つの広範囲画像である。また、例えば、第３設定値は、３０ｆｐｓである。
　次いで、動体画像範囲特定部３２は、取得した複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する（ステップＳ１０２）。次いで、設定部３３は、ステップＳ１０２で特定された画像範囲をターゲット範囲として設定する（ステップＳ１０３）。この設定されたターゲット範囲は、撮影制御部３５に通知される。例えば、図４に示す一点鎖線の矩形枠で囲まれた範囲が、ターゲット範囲である。ここでは、撮像部１０の撮影方向の遠方から近づいてくる車両の画像が占有する範囲が、ターゲット範囲として設定されている。この車両のヘッドライトは、撮像部１０に対して逆光となるので、ナンバープレートを撮影する際の障害となる可能性がある。
　〈消灯予定期間の算出処理〉
　次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第１設定値に設定し、取得部３１に対して、取得モードを「第２画像の取得モード」に設定すると共に、出力先を算出部２２に設定する（ステップＳ１０４）。ステップＳ１０４における設定によって、算出部２２は、複数の第２画像を取得することができる。第１設定値は撮影障害光源の点滅レートより高く設定される必要がある。例えば、第１設定値は、２００００ｆｐｓなどの高速なフレームレートであり、第３設定値よりも高い値である。
　次いで、算出部２２は、取得した複数の第２画像に基づいて、撮影障害光源が消灯する消灯予定期間を算出する（ステップＳ１０５）。ここで、図５の最上段には、撮影障害光源であるヘッドライトの点滅に関するタイミングチャートの一例が示されている。そして、図５の上から２段目には、撮影フレームレートの設定値が第１設定値に設定されたときの撮影制御信号列が示されている。この撮影制御信号列に含まれる各パルスが１回の撮影に対応し、この１回の撮影によって１つの第２画像が得られる。すなわち、前後に連続する２つのパルスの２つの立ち上がり部分の時間間隔（つまり、点滅検出周期）の逆数が撮影フレームレートに対応する。そして、算出部２２は、各第２画像の輝度の総和が判定閾値Ｔｈ以上であれば、その第２画像に対応する点滅検出周期が、撮影障害光源の点灯期間の一部であると判定する。一方、算出部２２は、各第２画像の輝度の総和が判定閾値Ｔｈ未満であれば、その第２画像に対応する点滅検出周期が、撮影障害光源の消灯期間の一部であると判定する。この撮影障害光源は例えば１０ｋＨｚで周期的に点滅するので、この点滅周期よりも長い期間において撮影された複数の第２画像を用いることで、図５の上から３段目の図に示すように、各点滅周期における撮影障害光源の点灯期間及び消灯期間を特定することができる。この結果として、算出部２２は、点灯予定期間及び消灯予定期間を算出することができる。
　ここで、消灯予定期間の算出処理の対象を、広範囲画像の全体ではなくその一部のターゲット範囲の画像としている。このことで画像処理の負担を軽減することが可能である。また、ターゲット範囲における明暗の変化を検出できればよいので、第２画像はモノクロ画像でよく、露光期間も短くすることができる。このため、点灯周期が短い場合でも点灯周期にデータ転送のスピード及び算出処理のスピードを合わせることができる。
　〈対象物位置の特定処理〉
　次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第２設定値に設定すると共に、撮像部１０の露光期間を消灯予定期間内に設定する（ステップＳ１０６）。さらに、撮影制御部３５は、取得部３１に対して、取得モードを「第１画像の取得モード」に設定すると共に、出力先を対象物位置特定部３４に設定する（ステップＳ１０６）。すなわち、取得部３１の取得モードについては、ステップＳ１０４における設定が継続される。ステップＳ１０６における設定によって、対象物位置特定部３４は、少なくとも１つの第１画像を取得することができる。ここで、第２設定値は、上記の通り、第１設定値よりも低い値であり、例えば撮影障害光源の点滅周期に対応する値であってもよいし、該点滅周期の自然数倍に対応する値であってもよい。これにより、消灯予定期間内で確実に撮影することができる。
　次いで、対象物位置特定部３４は、取得した第１画像を用いて、撮影対象物の位置を特定する（ステップＳ１０７）。撮影対象物がナンバープレートである場合、ナンバープレートの形状及び大きさは規格化されているので、例えば、パターンマッチングによって撮影対象物のおおよその位置を特定することができる。
　〈対象物画像の取得処理〉
　次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第２設定値に設定すると共に、撮像部１０の露光期間を消灯予定期間内に設定する（ステップＳ１０８）。すなわち、撮像部１０の撮影フレームレート及び露光期間については、ステップＳ１０６における設定が継続される。また、撮影制御部３５は、照明部４０の照射タイミングを撮像部１０の露光期間に合わせて設定すると共に、照明部４０の照射目標を対象物位置に設定する（ステップＳ１０８）。さらに、撮影制御部３５は、取得部３１に対して、取得モードを「撮像対象物画像の取得モード」に設定すると共に、出力先を画像生成部３６に設定する（ステップＳ１０８）。ステップＳ１０８における設定によって、画像生成部３６は、照明部４０から照射された光によって照らされた撮影対象物の画像を取得することができる。ここで、図５の上から４段目の図では、算出された消灯予定期間のすべてにおいて照明部４０が発光するケースが示されているが、これに限定されるものではなく、消灯予定期間の一部において照明部４０が発光してもよい。また、図５の最下段の図では、算出された消灯予定期間のすべてが撮像部１０の露光期間であるケースが示されているが、これに限定されるものではなく、消灯予定期間の一部が撮像部１０の露光期間であってもよい。
　次いで、画像生成部３６は、取得した撮影対象物画像を保持する（ステップＳ１０９）。
　〈合成画像の生成処理〉
　次いで、撮影制御部３５は、撮像部１０に対して、撮影フレームレートの設定値を第３設定値に設定し、取得部３１に対して、取得モードを「広範囲画像の取得モード」に設定すると共に、出力先を画像生成部３６に設定する（ステップＳ１１０）。ステップＳ１１０における設定によって、画像生成部３６は、広範囲画像を取得することができる。
　次いで、画像生成部３６は、取得した広範囲画像と保持している撮影対象物画像とを結合して、合成画像を生成する（ステップＳ１１１）。例えば、画像生成部３６は、広範囲画像における撮影対象物位置に撮影対象物画像を重ね合わせて、つまり、広範囲画像における撮影対象物位置の画像を撮影対象物画像で置き換えて、合成画像を生成してもよい。
　以上のように第２実施形態によれば、画像生成制御装置３０において動体画像範囲特定部３２は、撮像部１０によって複数の撮影フレームにおいて撮影された複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する。そして、設定部３３は、特定された画像範囲に基づいて、ターゲット範囲を設定する。
　この画像生成制御装置３０の構成により、消灯予定期間の算出処理の対象を、広範囲画像の全体ではなくその一部のターゲット範囲の画像にすることができるので、処理負荷を低減することができ、点灯周期が短い場合でも点灯周期にデータ転送のスピード及び算出処理のスピードを合わせることができる。
　また、画像生成制御装置３０において対象物位置特定部３４は、撮像部１０によって撮影された第１画像を用いて、撮影対象物の位置を特定する。上述の通り、第１画像は、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間に撮影させた、ターゲット範囲を含む画像である。
　この画像生成制御装置３０の構成により、逆光の影響を受けていないターゲット範囲画像を用いて撮影対象物の位置を特定するので、特定精度を向上させることができる。
　また、画像生成制御装置３０において対象物位置特定部３４は、照明部４０に対して、露光期間に合わせたタイミングで、特定された撮影対象物の位置に向けて照明光を照射させ、撮像部１０に対して、消灯予定期間内に設定された露光期間において、特定された撮影対象物の位置を撮影させる。すなわち、画像生成制御装置３０は、撮影制御装置と呼ぶこともできる。
　この画像生成制御装置３０の構成により、さらに鮮明な撮影対象物の画像を撮影することができる。すなわち、撮影対象物の画像を精度良く生成することができる。
　また、画像生成制御装置３０において画像生成部３６は、撮像対象物画像と広範囲画像とを結合した合成画像を生成する。
　この画像生成制御装置３０の構成により、撮像対象物の画像だけでなく撮像対象物の周りの画像を含む合成画像を生成することができるので、得られる情報が多くてユーザにとって利便性の高い画像を提供することができる。
＜第３実施形態＞
　第３実施形態は、撮像部に対して複数の露光期間において露光させて、１つの第１画像を撮影させる、実施形態に関する。なお、第３実施形態の撮影装置及び画像生成制御装置の基本構成は、第２実施形態の撮影装置２及び画像生成制御装置３０と同じなので、図２を参照して説明する。
　第３実施形態の画像生成制御装置３０において撮影制御部３５は、撮像部１０に対して、複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させる。
　例えば、図６に示すように、撮影制御部３５は、撮像部１０に対して、３つの露光期間において露光させて、１つの第１画像を撮影させる。例えば、図６に示すように、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであって点灯消灯のデューティが５０％である場合、３回の撮影にかかる時間は合計２００μsである。この２００μＳの間の被写体の動きは、シャッタースピードを１／５０００秒に設定した撮影と同じである。このように３回の撮影で１つの第１画像を撮影させる場合でも十分に高速な撮影であるため、撮影対象物のナンバープレートが付けられた車両が走行中であっても、その間の動き量はごくわずかであり、ブレの無い画像を得ることができる。図６は、第３実施形態の多重露光の説明に供する図である。
　以上のように第３実施形態によれば、画像生成制御装置３０において撮影制御部３５は、撮像部１０に対して、複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させる。
　この画像生成制御装置３０により、消灯予定期間内における撮影であっても光量を十分に確保した撮影が可能となる。
　なお、図６では、撮像部１０に対して、連続した複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させているが、これに限定されるものではなく、非連続の複数の消灯予定期間にそれぞれ対応する複数の露光期間において露光させて、１つの第１画像を撮影させてもよい。
＜第４実施形態＞
　第４実施形態は、一度の算出処理では消灯予定期間が算出できない場合の処理に関する。なお、第４実施形態の撮影装置及び画像生成制御装置の基本構成は、第２実施形態の撮影装置２及び画像生成制御装置３０と同じなので、図２を参照して説明する。
　第４実施形態の画像生成制御装置３０において撮影制御部３５は、算出部２２が消灯予定期間を算出できなかった場合、撮像部１０に設定している第１設定値を撮影フレームレートが高くなるように調整する。第１設定値の調整では、例えば、現在設定されている第１設定値に対して所定値を加算したものを調整後の第１設定値としてもよいし、現在設定されている第１設定値を所定割合だけ大きくしたものを調整後の第１設定値としてもよい。ここで、算出部２２が消灯予定期間を算出できなかった場合とは、例えば、輝度の総和が判定閾値Ｔｈ未満となる第２画像が現れない場合である。
　例えば、図７の上段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが３０ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、点滅周期に対して撮影フレームレートが遅いので、各第２画像の輝度が判定閾値Ｔｈ以上となり、すべての期間が点灯期間であると判定されてしまう。すなわち、この場合には、算出部２２は、消灯予定期間が算出できないと判定して算出不可通知を撮影制御部３５へ出力する。
　そして、図７の中段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが１０００ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、正確ではないが、消灯予定期間が算出できている。
　さらに、図７の下段には、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであり且つ撮影フレームレートが１００００ｆｐｓである場合の点灯期間及び消灯期間の算出結果が示されている。この場合、かなり正確な消灯予定期間が算出できている。なお、撮影障害光源であるヘッドライトの点滅周期が１０ＫＨｚであって点灯消灯のデューティが５０％である場合、２００００ｆｐｓでの撮影で消灯点灯を繰り返す画像が撮影できる計算となる。１０００００ｆｐｓまで撮影可能であれば、より正確に消灯期間及び消灯周期を測定することが可能となる。
　そして、算出部２２は、調整された第１設定値に基づき撮像部１０によって撮影された、ターゲット範囲を含む複数の第２画像に基づいて、消灯予定期間を再度算出する。
　以上のように第４実施形態によれば、画像生成制御装置３０において撮影制御部３５は、算出部２２が消灯予定期間を算出できなかった場合、撮像部１０に設定している第１設定値を撮影フレームレートが高くなるように調整する。そして、算出部２２は、調整された第１設定値に基づき撮像部１０によって撮影された、ターゲット範囲を含む複数の第２画像に基づいて、消灯予定期間を再度算出する。
　この画像生成制御装置３０の構成により、撮影障害光源の点滅周期に対してデフォルトの第１設定値が小さい場合でも、第１設定値を撮影フレームレートが高くなるように調整して、消灯予定期間を確実に算出することができる。
＜他の実施形態＞
　＜１＞上記の第１実施形態から第４実施形態では、算出部２２が撮像部１０で撮影された複数の第２画像に基づいて、撮影障害光源が消灯する消灯予定期間を算出するものとして説明を行ったが、これに限定されるものではない。例えば、撮影装置１，２がさらに受光素子を有し、算出部２２が、該受光素子で検出されたターゲット範囲内の輝度変動に基づいて、消灯予定期間を算出してもよい。要するに、画像生成制御装置２０，３０において算出部２２は、ターゲット範囲内の輝度変動に基づいて、消灯予定期間を算出できればよい。そして、撮影制御部２３が、撮像部１０の露光期間を算出部２２で算出された消灯予定期間内に設定して、撮像部１０に対して該消灯予定期間にターゲット範囲を含む画像を撮影させることができればよい。
　＜２＞上記の第１実施形態から第４実施形態では、「ターゲット範囲画像（つまり、第１画像、第２画像）」が「広範囲画像」よりも小さい画像、つまり、「広範囲画像」の一部を切り出した画像であるものとして説明を行ったが、これに限定されるものではなく、「ターゲット範囲画像」は「広範囲画像」と同一であってもよい。
　＜３＞上記の第１実施形態から第４実施形態で説明した撮影装置１，２は、例えば、交通監視システムにおける監視装置、又は、ドライブレコーダ等に用いることができる。
　＜４＞図８は、画像生成制御装置のハードウェア構成例を示す図である。図８において、画像生成制御装置１００は、インタフェース部１０１と、プロセッサ１０２と、メモリ１０３とを有する。
　第１実施形態から第４実施形態及び他の実施形態＜１＞で説明した画像生成制御装置２０，３０の取得部２１，３１は、インタフェース部１０１によって実現される。また、画像生成制御装置２０，３０の算出部２２と、動体画像範囲特定部３２と、設定部３３と、対象物位置特定部３４と、撮影制御部２３，３５と、画像生成部３６とは、プロセッサ１０２がメモリ１０３に記憶されたプログラムを読み込んで実行することにより実現される。
　なお、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　この出願は、２０１７年８月２９日に出願された日本出願特願２０１７－１６４０６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば交通監視システムにおける監視装置、又は、ドライブレコーダ等に適用可能であり、産業上の利用可能性を有する。
１，２　撮影装置
１０　撮像部
２０，３０　画像生成制御装置
２１，３１　取得部
２２　算出部
２３，３５　撮影制御部
３２　動体画像範囲特定部
３３　設定部
３４　対象物位置特定部
３６　画像生成部
４０　照明部

Claims (10)

  1. 　周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置であって、
    　前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する算出部と、
    　撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む第１画像を撮影させる撮影制御部と、
    　を具備する画像生成制御装置。
  2. 　前記算出部は、撮影フレームレートの設定値が第１設定値であるときに前記撮像部によって複数の撮影フレームにおいて撮影された、前記ターゲット範囲を含む複数の第２画像に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出する、
    　請求項１記載の画像生成制御装置。
  3. 　前記撮影制御部は、前記算出部が前記消灯予定期間を算出できなかった場合、前記第１設定値を前記撮影フレームレートが高くなるように再調整し、
    　前記算出部は、前記調整された第１設定値に基づき前記撮像部によって撮影された、前記ターゲット範囲を含む複数の第２画像に基づいて、前記消灯予定期間を再度算出する、
    　請求項２に記載の画像生成制御装置。
  4. 　前記撮像部によって複数の撮影フレームにおいて撮影された、前記ターゲット範囲を含み且つ前記ターゲット範囲よりも広い範囲の複数の広範囲画像を用いて、移動物体の少なくとも一部に対応する画像範囲を特定する第１特定部と、
    　前記特定された画像範囲に基づいて、前記ターゲット範囲を設定する設定部と、
    　を具備する請求項１から３のいずれか１項に記載の画像生成制御装置。
  5. 　前記撮影制御部は、前記撮像部に対して、複数の前記消灯予定期間にそれぞれ対応する複数の前記露光期間において露光させて、１つの前記第１画像を撮影させる、
    　請求項１から４のいずれか１項に記載の画像生成制御装置。
  6. 　前記撮影された第１画像を用いて、前記撮影対象物の位置を特定する第２特定部をさらに具備する、
    　請求項１から５のいずれか１項に記載の画像生成制御装置。
  7. 　前記撮影制御部は、
    　照明部に対して、前記露光期間に合わせたタイミングで、前記特定された撮影対象物の位置に向けて照明光を照射させ、
    　前記撮像部に対して、前記消灯予定期間内に設定された露光期間において前記特定された撮影対象物の位置を撮影させる、
    　請求項６に記載の画像生成制御装置。
  8. 　前記撮影対象物の画像と、前記ターゲット範囲を含み且つ前記ターゲット範囲よりも広い範囲の広範囲画像とを結合した合成画像を生成する画像生成部をさらに具備する、
    　請求項１から７のいずれか１項に記載の画像生成制御装置。
  9. 　周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御方法であって、
    　前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、
    　撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる、
    　画像生成制御方法。
  10. 　周期的に点滅する撮影障害光源の近傍に位置する撮影対象物の画像を生成する画像生成制御装置に、
    　前記撮影障害光源及び前記撮影対象物を含むターゲット範囲内の輝度変動に基づいて、前記撮影障害光源が消灯する消灯予定期間を算出し、
    　撮像部の露光期間を前記算出された消灯予定期間内に設定して、前記撮像部に対して前記算出された消灯予定期間に前記ターゲット範囲を含む画像を撮影させる、
    　処理を実行させる画像生成制御プログラム。
PCT/JP2018/010945 2017-08-29 2018-03-20 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム WO2019044009A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/785,151 US11363211B2 (en) 2017-08-29 2020-02-07 Image generation control device, image generation control method, and image generation control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017164061A JP7013730B2 (ja) 2017-08-29 2017-08-29 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
JP2017-164061 2017-08-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/785,151 Continuation US11363211B2 (en) 2017-08-29 2020-02-07 Image generation control device, image generation control method, and image generation control program

Publications (1)

Publication Number Publication Date
WO2019044009A1 true WO2019044009A1 (ja) 2019-03-07

Family

ID=65527588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010945 WO2019044009A1 (ja) 2017-08-29 2018-03-20 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム

Country Status (3)

Country Link
US (1) US11363211B2 (ja)
JP (1) JP7013730B2 (ja)
WO (1) WO2019044009A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020072392A (ja) * 2018-10-31 2020-05-07 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP7475556B2 (ja) 2021-10-19 2024-04-26 三菱電機株式会社 車両用点灯制御装置、及び車両用点灯制御方法
FR3129803B1 (fr) * 2021-11-29 2023-11-03 Valeo Comfort & Driving Assistance Système de capture d’image et ensemble d’imagerie comprenant un tel système

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
JP2002204391A (ja) * 2000-10-23 2002-07-19 Hitachi Kokusai Electric Inc 透過光量制御方法およびその方法を用いたテレビジョンカメラ装置
JP2007251258A (ja) * 2006-03-13 2007-09-27 Fujitsu Ten Ltd 画像認識装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
JP2016196233A (ja) * 2015-04-03 2016-11-24 クラリオン株式会社 車両用道路標識認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674474B2 (en) 2000-10-23 2004-01-06 Hitachi Kokusai Electric Inc. Method of controlling transmission light amount and television camera apparatus using the method
JP4869572B2 (ja) * 2004-08-09 2012-02-08 株式会社ニコン 撮像装置
JP4706466B2 (ja) * 2005-12-16 2011-06-22 株式会社日立製作所 撮像装置
JP5389274B2 (ja) 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP2015009570A (ja) * 2013-06-26 2015-01-19 富士重工業株式会社 前照灯制御装置
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
JP6305456B2 (ja) * 2016-03-31 2018-04-04 株式会社Ｓｕｂａｒｕ 表示装置
US10000157B2 (en) * 2016-04-29 2018-06-19 Faraday&Future Inc. Controlling dimming of mirrors or displays using dual-function lighting
CA3033242A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
JP2002204391A (ja) * 2000-10-23 2002-07-19 Hitachi Kokusai Electric Inc 透過光量制御方法およびその方法を用いたテレビジョンカメラ装置
JP2007251258A (ja) * 2006-03-13 2007-09-27 Fujitsu Ten Ltd 画像認識装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
JP2016196233A (ja) * 2015-04-03 2016-11-24 クラリオン株式会社 車両用道路標識認識装置

Also Published As

Publication number Publication date
US20200177785A1 (en) 2020-06-04
JP2019041351A (ja) 2019-03-14
US11363211B2 (en) 2022-06-14
JP7013730B2 (ja) 2022-02-15

Similar Documents

Publication Publication Date Title
JP6566737B2 (ja) 情報処理装置、情報処理方法、プログラム
US11758279B2 (en) WDR imaging with LED flicker mitigation
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
US8743238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
US20100171875A1 (en) Imager capturing an image with a rolling shutter
US11363211B2 (en) Image generation control device, image generation control method, and image generation control program
JP2008094127A (ja) 自動車用ヘッドライト制御装置
US9651430B2 (en) Method and device for detecting at least one pulsed light source for a vehicle
CN107709096A (zh) 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
WO2016167137A1 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
JPWO2007102195A1 (ja) 撮影装置、及び撮影方法
EP3605497A1 (en) Illumination image capture device
JP2017225073A (ja) 撮像装置とその制御方法、プログラム及び撮像システム
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
JP2007013777A (ja) 撮像装置
CN112565618B (zh) 曝光控制装置
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
JP4972423B2 (ja) カメラ装置及びその制御方法
JP2017184151A (ja) 撮像装置及び撮像方法
JP2021044667A (ja) 露光制御装置
JP2004146873A (ja) 撮影装置
JP2017175199A (ja) 車室内用カメラの目標範囲の設定方法および車室内用カメラ
JP2023147476A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2016185690A1 (ja) 表示制御装置、表示システム、および、表示制御方法
CN115314641A (zh) 摄像设备的控制方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18852238

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18852238

Country of ref document: EP

Kind code of ref document: A1