JPWO2018029066A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2018029066A5
JPWO2018029066A5 JP2019506644A JP2019506644A JPWO2018029066A5 JP WO2018029066 A5 JPWO2018029066 A5 JP WO2018029066A5 JP 2019506644 A JP2019506644 A JP 2019506644A JP 2019506644 A JP2019506644 A JP 2019506644A JP WO2018029066 A5 JPWO2018029066 A5 JP WO2018029066A5
Authority
JP
Japan
Prior art keywords
frames
frame
series
frame portion
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019506644A
Other languages
Japanese (ja)
Other versions
JP2019530056A (en
JP7090251B2 (en
JP2019530056A5 (en
Publication date
Application filed filed Critical
Priority claimed from PCT/EP2017/069611 external-priority patent/WO2018029066A1/en
Publication of JP2019530056A publication Critical patent/JP2019530056A/en
Publication of JP2019530056A5 publication Critical patent/JP2019530056A5/ja
Publication of JPWO2018029066A5 publication Critical patent/JPWO2018029066A5/ja
Application granted granted Critical
Publication of JP7090251B2 publication Critical patent/JP7090251B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (17)

ある環境についての一連のフレーム内においてLED光源を検出するための方法(100)であって、
LED光源の点滅特性は、電力網によって供給されるAC信号の周波数及び整流方法に基づき、
前記一連のフレームのうちの少なくとも一つの注目フレーム部分を選択すること(102)と、
選択した少なくとも一つの注目フレーム部分の光の強さの変動を検出すること(104)と、
検出した前記変動の周波数が所定の周波数範囲内にある場合、一つの注目フレーム部分がLED光源を示す候補であると決定すること(106)と、
を含み、
前記光の強さの変動を検出すること(104)が、一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値を、一連のフレームにおける複数の別のフレーム内の注目フレーム部分の特徴的値と比較することを含み、
注目フレーム部分の特徴的値は、注目フレーム部分の光の強さを表す値であり、
前記比較することは、以下の数式に基づいて行われることであり、
Figure 2018029066000001
T(i、j)は比較結果を示し、iは一連のフレームにおける一つのフレーム内の注目フレーム部分の特徴的な値を示し、jは一連のフレームにおける複数の別のフレームの一つのフレーム内の注目フレーム部分の特徴的な値を示し、tは、定数を示し、
一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第1のしきい値j-tより小さいときは、第1の比較結果「0」を示し、
一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第2のしきい値j+t以下のときは、第2の比較結果「1」を示し、
一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第2のしきい値j+tより大きいときは、第3の比較結果「2」を示し、
第1のしきい値j-t及び第2のしきい値j+tは、一連のフレームにおける他の複数の別のフレーム内の注目フレーム部分の特徴的値に基づいていて、
一連のフレームにおける一つのフレーム内の注目フレーム部分の特徴的値を、一連のフレームにおける複数の別のフレームの一つのフレーム内の特徴的値のそれぞれとの比較した結果のそれぞれからパターンを生成し、
前記一つの注目フレーム部分がLED光源を表す候補であると決定することは、生成したパターンを、LED光源の存在を示す基準パターンと比較することを含む、ある環境についての一連のフレーム内においてLED光源を検出するための方法。
A method (100) for detecting an LED light source within a series of frames for an environment.
The blinking characteristics of the LED light source are based on the frequency and rectification method of the AC signal supplied by the power grid.
Selecting at least one frame portion of interest in the series of frames (102) and
To detect fluctuations in the light intensity of at least one selected frame of interest (104) and
When the detected frequency of the fluctuation is within a predetermined frequency range, it is determined that one frame portion of interest is a candidate indicating an LED light source (106).
Including
Detecting the fluctuation of the light intensity (104) makes the characteristic value of the attention frame portion in one frame in a series of frames, and the characteristic value of the attention frame portion in a plurality of different frames in a series of frames. Including comparing with value
The characteristic value of the attention frame portion is a value indicating the light intensity of the attention frame portion.
The above comparison is based on the following mathematical formula.
Figure 2018029066000001
T (i, j) indicates the comparison result, i indicates the characteristic value of the attention frame portion in one frame in a series of frames, and j indicates the characteristic value in one frame of a plurality of different frames in a series of frames. Indicates the characteristic value of the frame of interest of, where t indicates a constant,
When the characteristic value of the attention frame portion in one frame in a series of frames is smaller than the first threshold value jt, the first comparison result "0" is shown.
When the characteristic value of the attention frame portion in one frame in a series of frames is equal to or less than the second threshold value j + t, the second comparison result “1” is shown.
When the characteristic value of the attention frame portion in one frame in a series of frames is larger than the second threshold value j + t, the third comparison result “2” is shown.
The first threshold value jt and the second threshold value j + t are based on the characteristic values of the frame of interest in a plurality of other frames in a series of frames.
Generates a pattern from each of the results of comparing the characteristic values of the frame of interest in one frame in a series of frames with each of the characteristic values in one frame of multiple different frames in a series of frames. ,
Determining that one frame of interest portion is a candidate for an LED light source comprises comparing the generated pattern with a reference pattern indicating the presence of the LED light source within a series of frames for an environment. A method for detecting a light source.
前記基準パターンは、トレーニングデータセットから取得する、請求項1に記載の方法。 The method of claim 1, wherein the reference pattern is obtained from a training dataset. 注目フレーム部分の特徴的値は、注目フレーム部分の画素値である、請求項1又は2に記載の方法。 The method according to claim 1 or 2, wherein the characteristic value of the frame portion of interest is a pixel value of the frame portion of interest. 注目フレーム部分を選択すること(102)が、複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることを含む、請求項1から3のいずれか一項に記載の方法。 The method of any one of claims 1 to 3, wherein selecting the frame portion of interest (102) comprises repeatedly filtering at least a portion of a series of frames using a plurality of filter criteria. 複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることは、フレーム部分の第1のセットを決定することを含み、フレーム部分の第1のセットの各フレーム部分について、一連のフレームの一つのフレーム内のフレーム部分と、一連のフレームの複数の他のフレームのフレーム部分との画素値の差の合計は、しきい値を超えている、請求項4に記載の方法。 Iteratively filtering at least a portion of a set of frames using multiple filter criteria involves determining a first set of frame portions, for each frame portion of the first set of frame portions. The method of claim 4, wherein the sum of the differences in pixel values between a frame portion within one frame of a frame and a frame portion of a plurality of other frames in a series of frames exceeds a threshold value. 複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることは、フレーム部分の第1のセットから、フレーム部分の第2のセットを決定することをさらに含み、フレーム部分の第2のセットにおけるフレーム部分は所定の色範囲を示す、請求項5に記載の方法。 Iteratively filtering at least a portion of a series of frames using multiple filter criteria further comprises determining from the first set of frame portions to the second set of frame portions, the second of the frame portions. 5. The method of claim 5, wherein the frame portion of the set indicates a predetermined color range. 複数のフィルタ基準を用いて一連のフレームを繰り返しフィルタリングすることは、フレーム部分の第2のセットの中の1のフレーム部分を注目フレーム部分として選択することをさらに含み、注目フレーム部分について、一連のフレームの中で最高画素値を示す注目フレーム部分と、一連のフレームの中で最低画素値を示す注目フレーム部分との間の画素値の差は、しきい値を上回る、請求項6に記載の方法。 Iteratively filtering a series of frames using multiple filter criteria further includes selecting one frame portion of the second set of frame portions as the frame portion of interest, and for the frame portion of interest a series of frames. The sixth aspect of the present invention, wherein the difference in the pixel value between the attention frame portion showing the highest pixel value in the frame and the attention frame portion showing the lowest pixel value in the series of frames exceeds the threshold value. Method. 注目フレーム部分を少なくとも1つの特徴が一定のフレームの複数領域に組み合わせて接続フレーム部分を作ることと、
LED光源を表す複数の候補を決定することと、
接続フレーム部分がLED光源を表す一候補を含むとき、接続フレーム部分はLED光源を表す、と判定することと、
をさらに備える、請求項6又は7に記載の方法。
Creating a connection frame part by combining the frame part of interest into multiple areas of a frame with at least one feature.
Determining multiple candidates for LED light sources and
When the connection frame portion includes one candidate representing the LED light source, it is determined that the connection frame portion represents the LED light source.
The method according to claim 6 or 7, further comprising.
注目フレーム部分は、一画素である、請求項1から8のいずれか一項に記載の方法。 The method according to any one of claims 1 to 8, wherein the frame portion of interest is one pixel. 一連のフレームは、少なくとも5フレームを備える、請求項1から9のいずれか一項に記載の方法。 The method according to any one of claims 1 to 9, wherein the series of frames comprises at least 5 frames. 一連のフレームのフレームレートは、一秒当たり少なくとも100フレームである、請求項1から10のいずれか一項に記載の方法。 The method according to any one of claims 1 to 10, wherein the frame rate of a series of frames is at least 100 frames per second. 所定の周波数の範囲は、95Hzと105Hzとの間と、115Hzと125Hzとの間とのいずれかである、請求項1から11のいずれか一項に記載の方法。 The method according to any one of claims 1 to 11, wherein the predetermined frequency range is between 95 Hz and 105 Hz and between 115 Hz and 125 Hz. 請求項1から12のいずれか一項に記載の方法を備える、ある環境についての一連のフレームの中に少なくとも一つのLED光源を備える交通信号灯を検出する方法。 A method of detecting a traffic signal lamp comprising at least one LED light source in a series of frames for an environment, comprising the method of any one of claims 1-12. 請求項1から12のいずれか一項に記載の方法と、請求項13に記載の交通信号灯を検出する方法との少なくとも一方を実施する処理ユニット(710)を備える、車両(700)。 A vehicle (700) comprising a processing unit (710) that implements at least one of the method according to any one of claims 1 to 12 and the method for detecting a traffic signal lamp according to claim 13. 環境についての一連のフレームを生成するセンサ(720)をさらに備える、請求項14に記載の車両。 14. The vehicle of claim 14, further comprising a sensor (720) that produces a series of frames for the environment. センサ(720)は、環境についての一連のフレームを、一秒当たり少なくとも100フレームのフレームレートで生成する請求項15に記載の車両。 15. The vehicle of claim 15, wherein the sensor (720) produces a series of frames for the environment at a frame rate of at least 100 frames per second. 請求項1から12のいずれか一項に記載のLED光源を検出する方法と、請求項13に記載の交通信号灯を検出する方法との少なくとも一方を実施するプログラムコードを有するプログラムを格納した、機械可読記憶媒体であって、プログラムがコンピュータユニット又はプロセッサで実行される、機械可読記憶媒体。 A machine containing a program having a program code that implements at least one of the method for detecting an LED light source according to any one of claims 1 to 12 and the method for detecting a traffic signal light according to claim 13. A machine-readable storage medium in which a program is executed by a computer unit or a processor.
JP2019506644A 2016-08-08 2017-08-03 A method of detecting an LED light source in a series of image frames, a method of detecting a traffic signal light having at least one LED light source, and a vehicle. Active JP7090251B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016214664.5 2016-08-08
DE102016214664 2016-08-08
PCT/EP2017/069611 WO2018029066A1 (en) 2016-08-08 2017-08-03 Method for detecting a led light source in a sequence of frames, method for detecting a traffic light which comprises at least one led light source, and vehicle

Publications (4)

Publication Number Publication Date
JP2019530056A JP2019530056A (en) 2019-10-17
JP2019530056A5 JP2019530056A5 (en) 2021-08-05
JPWO2018029066A5 true JPWO2018029066A5 (en) 2022-02-01
JP7090251B2 JP7090251B2 (en) 2022-06-24

Family

ID=59699650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506644A Active JP7090251B2 (en) 2016-08-08 2017-08-03 A method of detecting an LED light source in a series of image frames, a method of detecting a traffic signal light having at least one LED light source, and a vehicle.

Country Status (3)

Country Link
EP (1) EP3497619B1 (en)
JP (1) JP7090251B2 (en)
WO (1) WO2018029066A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087153B2 (en) 2018-10-31 2021-08-10 Cognizant Technology Solutions India Pvt. Ltd. Traffic light recognition system and method
JP7277205B2 (en) * 2019-03-28 2023-05-18 日産自動車株式会社 Traffic light detection method and traffic light detection device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (en) 2004-04-08 2005-10-27 Toyota Motor Corp Signal detection device and signal detecting method
JP2009043067A (en) 2007-08-09 2009-02-26 Honda Motor Co Ltd Traffic light recognition system
JP6267493B2 (en) 2013-11-15 2018-01-24 株式会社Subaru Arrow signal light detector
BR112016020884B1 (en) * 2014-03-10 2022-01-11 Nissan Motor Co. Ltd. TRAFFIC SIGN DETECTION DEVICE AND TRAFFIC SIGN DETECTION METHOD
MX350449B (en) * 2014-03-10 2017-09-07 Nissan Motor Traffic light detection device and traffic light detection method.
US9305224B1 (en) 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image

Similar Documents

Publication Publication Date Title
EP3158834B1 (en) Occupancy sensing smart lighting system
US9396531B2 (en) Systems and methods for image and video signal measurement
JP2021114307A (en) Information processing device, information processing method, and program
CN109788205B (en) Image adjusting method and device and electronic equipment
CN109073536B (en) Information processing device, information processing method, program, and information processing system
JP2008243181A (en) Smoke detecting device and method thereof
US20170185843A1 (en) Image processing method for selecting image to be output
EP3762795A1 (en) Method, device, system and program for setting lighting condition and storage medium
JPWO2018029066A5 (en)
US10679038B2 (en) Method and apparatus for determining temporal behaviour of an object in image data
US20140153801A1 (en) Method and computer program product for genotype classification
JP7390628B2 (en) Identification information adding device, identification information adding method, and program
JP2013150122A (en) Image processing device, method, and program
JP2004163416A (en) Defect inspection device
KR20160120361A (en) method and apparatus of distinguishing type of dust
CN109142176B (en) Smoke subarea space rechecking method based on space association
KR20170062661A (en) Automatic source classification method and apparatus using mean-shift clustering and stepwise merging in color image
CN1637406A (en) Method and apparatus for discriminating media for image formation
CN106323947B (en) A kind of Vertical Observation position fast Optimization being applicable in MPT spectrometer
JP2021124886A (en) Information processing device, information processing method and information processing program
KR100739473B1 (en) Extracting method for feature points in moving pictures and computer readable record medium on which a program there for is recorded
JP2016149073A (en) Image processing apparatus and image processing program
JP2020144686A (en) Model creating system, and model creating method
JP7145651B2 (en) Image processing device and program
de Toledo et al. Water Classification Based on Underwater Monocular Image