JP6722041B2 - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP6722041B2 JP6722041B2 JP2016099314A JP2016099314A JP6722041B2 JP 6722041 B2 JP6722041 B2 JP 6722041B2 JP 2016099314 A JP2016099314 A JP 2016099314A JP 2016099314 A JP2016099314 A JP 2016099314A JP 6722041 B2 JP6722041 B2 JP 6722041B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flame
- color
- fire
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、監視エリア内における火や炎の検出に適した監視システム、カラーカメラ装置及び光学部品に関する。 The present invention relates to a surveillance system, a color camera device, and an optical component suitable for detecting fire or flame in a surveillance area.
従来、夜間や暗い場所での撮影を考慮したカメラ装置や光学フィルタについて検討されている。例えば、特許文献１には、波長が６５０ｎｍ〜８００ｎｍの光を選択的に透過させない近赤外バンドストップフィルタを備えたカメラ装置の発明について開示されている。また、特許文献２には、可視光帯域の光と近赤外帯域の一部の光を透過する特性を持つ光学フィルタの発明について開示されている。これら特許文献１，２に係る発明は、昼間や明るい場所での撮影で良好な色再現性を実現しつつ、近赤外ＬＥＤを照明に用いた夜間の撮影も行えるようにするものである。 2. Description of the Related Art Conventionally, a camera device and an optical filter have been studied in consideration of shooting at night or in a dark place. For example, Patent Document 1 discloses an invention of a camera device including a near-infrared band stop filter that does not selectively transmit light having a wavelength of 650 nm to 800 nm. Further, Patent Document 2 discloses an invention of an optical filter having a characteristic of transmitting light in the visible light band and part of light in the near infrared band. The inventions disclosed in Patent Documents 1 and 2 are intended to realize good color reproducibility during daytime or in a bright place, and also enable nighttime shooting using a near-infrared LED for illumination.
近年、道路やトンネルを監視カメラで撮影し、火災などの異常状態を画像認識により自動検出することが求められている。しかしながら、画像認識に適した鮮明な火や炎の像を得るためには遠赤外線カメラや赤外センサーなどの装置が必要であり、コストの面で課題があった。また、トンネル内の監視で使用される一般的なカメラは、全波長透過の素ガラスを介して撮影する白黒モードと、ＩＲ（赤外線）カットフィルタを介して撮影するカラーモードとを有しているが、カラー画像で火や炎を強調する機能を有するカメラは無かった。 In recent years, it is required to automatically detect an abnormal state such as a fire by photographing a road or a tunnel with a surveillance camera and performing image recognition. However, in order to obtain a clear fire or flame image suitable for image recognition, a device such as a far-infrared camera or an infrared sensor is required, which causes a problem in cost. In addition, a general camera used for monitoring inside a tunnel has a monochrome mode in which an image is captured through a glass that transmits all wavelengths and a color mode in which an image is captured through an IR (infrared) cut filter. However, there was no camera that had the function of emphasizing fire or flame in color images.
火や炎が強調された画像を得るには近赤外の利用が有効であるが、本来人間の目に見えない波長帯域を使用することになるので、従来の技術では色再現性が悪くなってしまっていた。そのため、近赤外感度を利用する場合は、色情報を必要としない白黒モードでの撮影に限られてしまっていた。また、カラーモードにおいては、ＩＲカットフィルタによって近赤外感度が破棄されるので、カラー画像では火や炎の波長帯域のうち近赤外感度を活かせないという問題があった。
このように、従来の技術では、トンネル内や夜間における火や炎の検出に適したカラー画像を得ることができなかった。
The use of near-infrared is effective for obtaining images with emphasized fire and flame, but since the wavelength band that is originally invisible to the human eye is used, the color reproducibility is deteriorated with the conventional technology. It was dead. Therefore, when the near-infrared sensitivity is used, the shooting is limited to the monochrome mode, which does not require color information. Further, in the color mode, since the near infrared sensitivity is discarded by the IR cut filter, there is a problem that the near infrared sensitivity in the wavelength band of fire or flame cannot be utilized in the color image.
As described above, with the conventional technique, it was not possible to obtain a color image suitable for detecting fire or flame in a tunnel or at night.
本発明は、上記従来の事情に鑑みて為されたものであり、監視エリア内における火や炎の検出に適した監視システムやカラーカメラ装置を提供することを目的とする。 The present invention has been made in view of the above conventional circumstances, and an object of the present invention is to provide a monitoring system and a color camera device suitable for detecting fire or flame in a monitoring area.
本発明では、上記目的を達成するために、監視システムを以下のように構成した。
すなわち、本発明に係る監視システムでは、監視エリア内の照明から放射されうる波長よりも長波長の所定の赤外域において各カラーチャネルが有意の相似する感度を有するカラー映像を用いて、前記監視エリア内の火炎の検出を行う。このため、監視エリア内の照明と火又は炎とを容易に区別することができる。
更に、本発明に係る監視システムでは、前記カラー映像から、所定の背景画像と比較して高輝度であるような画素又は画素ブロックを抽出し、該画素又は画素ブロックの属性が所定の属性と異なる場合に、火又は炎であると判断する画像処理装置を備える。そして、前記画素又は画素ブロックの属性として、該画素又は画素ブロックの大きさの変化率、輝度、該輝度の変化率、前記大きさと輝度の比、輪郭の強さ、輪郭の不規則さ、時間的に隣接する画素ブロック間での画素値の変化の多さ、色、スペクトル形状、前記カラー映像のフレームにおける位置、速度、及び加速度の内の少なくとも２つを含める構成とした。これにより、火又は炎かそれ以外（他の光源）かを精度よく判別することが可能となる。
In the present invention, in order to achieve the above object, the monitoring system is configured as follows.
That is, in the surveillance system according to the present invention, a color image in which each color channel has a significantly similar sensitivity in a predetermined infrared region having a wavelength longer than a wavelength that can be emitted from the illumination in the surveillance area is used to detect the surveillance area. The flame inside is detected. Therefore, it is possible to easily distinguish the lighting and the fire or flame in the monitoring area.
Further, in the surveillance system according to the present invention, a pixel or a pixel block having a higher brightness than a predetermined background image is extracted from the color image, and the attribute of the pixel or the pixel block is different from the predetermined attribute. In this case, an image processing device is provided for determining that the image is fire or flame. Then, as the attribute of the pixel or pixel block, the rate of change in the size of the pixel or pixel block, the brightness, the rate of change in the brightness, the ratio of the size to the brightness, the strength of the contour, the irregularity of the contour, and the time. At least two of the degree of change in pixel value between adjacent pixel blocks, color, spectral shape, position in frame of color image, speed, and acceleration are included. As a result, it is possible to accurately determine whether it is fire or flame or the other (other light source).
ここで、前記画素又は画素ブロックは、前記画像処理装置によって、所定の背景画像と比較して高輝度であるような画素のブロックとして抽出され、時間的に近接するフレーム間で、前記位置又は前記速度の属性を利用して移動が追跡される構成としてもよい。
このような構成によれば、所定の背景画像と比較して高輝度であるような画素のブロックの移動状況を効率よく追跡することができ、その移動状況から、火又は炎か否かを容易に判別可能となる。
Here, the pixel or the pixel block is extracted by the image processing device as a block of pixels having higher brightness than a predetermined background image, and the position or the pixel is extracted between frames that are temporally close to each other. The movement may be tracked using the speed attribute.
With such a configuration, it is possible to efficiently track the movement status of a block of pixels having a higher brightness than a predetermined background image, and it is easy to determine whether it is a fire or a flame based on the movement status. Can be determined.
また、前記カラー映像として、前記所定の赤外域において透過特性を有する光学フィルタと、少なくとも前記所定の赤外域を含む近赤外帯域において遮断特性を有するＩＲカットフィルタとを遠隔制御で択一的に挿入できるカメラで撮影されたカラー映像を用い、前記画像処理装置は、前記光学フィルタ及び前記ＩＲカットフィルタの挿抜状態を異ならせて撮像した、時間的に近接する複数の画像から、１枚の画像よりも多い色チャネルを有する画像を合成し、当該合成した画像から、火及び炎に対する感度が異なる複数の信号を計算し、火及び炎とそれ以外の光源との間のスペクトルの違いを判別する構成としてもよい。
このような構成によれば、監視エリア内の火や炎の検出に適したカラー映像を得ることができ、そのカラー映像を処理して得られるスペクトルに基づいて、火又は炎か否かを精度よく判別することができる。
Further, as the color image, an optical filter having a transmission characteristic in the predetermined infrared region and an IR cut filter having a cutoff characteristic in the near infrared band including at least the predetermined infrared region are selectively controlled by remote control. Using a color image captured by a camera that can be inserted, the image processing device takes one image from a plurality of images that are temporally close to each other and are taken with different insertion and removal states of the optical filter and the IR cut filter. Combine images with more color channels, calculate from the combined image multiple signals with different sensitivities to fire and flame, and determine spectral differences between fire and flame and other light sources It may be configured.
With such a configuration, it is possible to obtain a color image suitable for detecting a fire or a flame in the surveillance area, and based on the spectrum obtained by processing the color image, it is possible to accurately determine whether the color is a fire or a flame. Can be well discriminated.
なお、前記所定の赤外域の短波長側の端は、略８８０ｎｍであることが好ましい。監視エリアの一つとして想定されるトンネル内で照明に用いられる放電灯やＬＥＤ照明は、約８８０ｎｍ以下の波長帯域に強度を有するためである。 The end on the short wavelength side of the predetermined infrared region is preferably about 880 nm. This is because the discharge lamp and the LED lighting used for lighting in the tunnel assumed as one of the monitoring areas have intensity in the wavelength band of about 880 nm or less.
また、本発明では、上記目的を達成するために、カラーカメラ装置を以下のように構成した。
すなわち、本発明に係るカラーカメラ装置は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、前記帯域遮断光学フィルタ若しくは前記ＩＲカットフィルタを通して撮像を行う撮像素子と、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有する構成とした。
Further, in the present invention, in order to achieve the above object, the color camera device is configured as follows.
That is, the color camera device according to the present invention includes a band cutoff optical filter, an IR cut filter that cuts off near infrared rays having a wavelength longer than a first wavelength, and an actuator that inserts and removes the band cutoff optical filter and the IR cut filter. And an image pickup device that performs image pickup through the band cutoff optical filter or the IR cut filter, wherein the band cutoff optical filter has a visible light band and a wavelength longer than the first wavelength and of the image pickup device. Each color channel has a transmission characteristic at a second wavelength having substantially the same spectral sensitivity characteristic, and has a blocking characteristic in a band longer than the first wavelength and shorter than the second wavelength.
帯域遮断光学フィルタとして、放電灯（例えば、蛍光灯）及びＬＥＤ照明に含まれる、色の認識にほとんど寄与しない長波長側の帯域（約６５０〜８８０ｎｍの主に近赤外に属する波長帯域）に遮断特性を有し、放電灯及びＬＥＤ照明に含まれず且つ撮像素子が感度を有する赤外領域の波長帯域に透過特性を有するものを用いれば、放電灯やＬＥＤ照明の光を抑えて火や炎を強調したカラー画像を得ることができる。これは、可視光帯域（約４００〜６５０ｎｍの波長帯域）より長波長の波長帯域（約６５０ｎｍ以上の波長帯域）では、放電灯やＬＥＤ照明の光は約８８０ｎｍ以上に波長帯域が延びないのに対し、火や炎の光は約８８０ｎｍ以上にも波長帯域が延びる（むしろ、約８８０ｎｍ以上に強度がある）という特性を利用したものである。
このため、本発明に係るカラーカメラ装置によれば、監視エリア（例えば、トンネル内や夜間）における火や炎の検出に適したカラー画像を得ることができる。
As a band-stop optical filter, it is included in a discharge lamp (for example, a fluorescent lamp) and an LED illumination, and is included in a long-wavelength side band (a wavelength band of about 650 to 880 nm mainly belonging to the near infrared) that hardly contributes to color recognition. If the one having the cut-off characteristic, which is not included in the discharge lamp and the LED illumination and has the transmission characteristic in the wavelength band of the infrared region where the image sensor has sensitivity, is used, the light of the discharge lamp or the LED illumination is suppressed and fire or flame is suppressed. It is possible to obtain a color image with emphasis. This is because, in the wavelength band longer than the visible light band (wavelength band of about 400 to 650 nm) (wavelength band of about 650 nm or more), the wavelength band of discharge lamps or LED lighting does not extend to about 880 nm or more. On the other hand, the light of fire or flame uses the characteristic that the wavelength band extends to about 880 nm or more (rather, it has intensity at about 880 nm or more).
Therefore, according to the color camera device of the present invention, it is possible to obtain a color image suitable for detection of fire or flame in the surveillance area (for example, in a tunnel or at night).
また、本発明は、カラーカメラに取り付けることで上記のようなカラーカメラ装置を実現するための光学部品としても把握できる。
すなわち、本発明に係る光学部品は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するＩＲカットフィルタと、前記帯域遮断光学フィルタ及び前記ＩＲカットフィルタの挿抜を行うアクチュエータと、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記カラーカメラの撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有し、前記カラーカメラのフランジ若しくは前記カラーカメラと前記カラーカメラに装着されるレンズとの間に固定的に取り付けられる光学部品である。
Further, the present invention can be grasped as an optical component for realizing the above-described color camera device by attaching it to a color camera.
That is, the optical component according to the present invention includes a band cutoff optical filter, an IR cut filter that cuts off near-infrared rays having a wavelength longer than a first wavelength, and an actuator that inserts and removes the band cutoff optical filter and the IR cut filter. The band-stop optical filter has a visible light band and a second wavelength that is longer than the first wavelength and each color channel of the image sensor of the color camera has substantially the same spectral sensitivity characteristic. A lens having a transmission characteristic, a blocking characteristic in a wavelength band longer than the first wavelength and a wavelength shorter than the second wavelength, and attached to the flange of the color camera or the color camera and the color camera. It is an optical component that is fixedly attached between and.
また、本発明は、監視エリアを撮影するカメラ装置と、前記カメラ装置により撮影された画像に基づいて前記監視エリア内の火及び炎を検出する画像処理装置と、を備えた監視システムにおいて、前記カメラ装置は、光学フィルタと、前記光学フィルタを通して撮像を行う撮像素子と、を備え、前記光学フィルタは、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域において放電灯及びＬＥＤ照明の波長帯域に遮断特性を有し、該放電灯及びＬＥＤ照明の波長帯域より長波長で且つ前記撮像素子に適応した波長帯域に透過特性を有することを特徴とする監視システムとしても把握できる。 Further, the present invention provides a surveillance system including a camera device for photographing a surveillance area, and an image processing device for detecting fire and flame in the surveillance area based on an image photographed by the camera device, The camera device includes an optical filter and an imaging element that performs imaging through the optical filter, the optical filter having a transmission characteristic in a visible light band, and a discharge lamp and a discharge lamp in a wavelength band longer than the visible light band. It can also be understood as a monitoring system having a cutoff characteristic in the wavelength band of the LED illumination and a transmission characteristic in a wavelength band longer than the wavelength bands of the discharge lamp and the LED illumination and adapted to the imaging device. ..
このような構成によれば、監視エリア内の照明（蛍光灯やＬＥＤなど）の光を抑えて火や炎を強調したカラー画像を得ることができ、当該画像に基づいて火や炎の検出を行うことができるので、監視エリア内における火や炎の検出精度を従来の技術よりも高めることができる。 With such a configuration, it is possible to obtain a color image in which the light of the illumination (fluorescent lamp, LED, etc.) in the surveillance area is suppressed and the fire or flame is emphasized, and the fire or flame can be detected based on the image. Since it can be performed, the accuracy of detection of fire and flame in the monitoring area can be improved as compared with the conventional technique.
なお、前記カメラ装置は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有する光学フィルタ（ＩＲカットフィルタ）を更に備え、前記画像処理装置による制御に基づいて、いずれの光学フィルタを通して前記撮像素子による撮像を行うかを切り替え可能な構成としてもよい。 The camera device further includes an optical filter (IR cut filter) having a transmission characteristic in a visible light band and a cutoff characteristic in a wavelength band longer than the visible light band, and is controlled by the image processing device. Then, it may be configured such that which optical filter is used to perform imaging by the imaging device can be switched.
このような構成によれば、カメラ装置による監視エリアの撮影を、火及び炎を強調したカラー撮影モードと、通常（火及び炎を強調しない）のカラー撮影モードとのいずれで行うかを、画像処理装置からの制御により切り替えることが可能となる。このため、それぞれのモードで撮影されたカラー画像を比較することができ、監視エリア内における火や炎か否かを判別するのに有用である。 With such a configuration, it is possible to determine whether the surveillance device is to be photographed in the color photographing mode in which the fire and flame are emphasized or in the normal color photograph mode (in which the fire and flame are not emphasized). It is possible to switch under the control of the processing device. For this reason, it is possible to compare the color images taken in the respective modes, which is useful for determining whether or not there is fire or flame in the monitoring area.
本発明によれば、監視エリア内における火や炎の検出に適した監視システムやカラーカメラ装置及び光学部品を提供することができる。 According to the present invention, it is possible to provide a monitoring system, a color camera device, and an optical component suitable for detecting fire or flame in a monitoring area.
本発明の一実施形態に係る監視システムについて説明するに先立ち、火や炎の波長帯域と、トンネル内にある光源の波長帯域とについて説明する。
トンネル内において発生する火や炎としては、ガソリン等の油系資源の発火等によるものが想定され、具体的には油焚燃焼炎やガス焚燃焼炎が挙げられる。
図１には、油焚燃焼炎及びガス焚燃焼炎の波長帯域を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は相対強度を表す。
図１によれば、油焚燃焼炎とガス焚燃焼炎のいずれも、可視光帯域である約４００ｎｍ〜６５０ｎｍでは強度が低く、約６５０ｎｍ以上の帯域において徐々に強度が高くなり、約２５００ｎｍ以上の帯域にピークが現れている。
Prior to describing the monitoring system according to the embodiment of the present invention, the wavelength band of fire or flame and the wavelength band of the light source in the tunnel will be described.
Fires and flames generated in the tunnel are assumed to be due to ignition of oil-based resources such as gasoline, and specific examples thereof include oil-fired combustion flames and gas-fired combustion flames.
FIG. 1 shows the wavelength bands of the oil-fired combustion flame and the gas-fired combustion flame. In the graph of the figure, the horizontal axis represents wavelength (nm) and the vertical axis represents relative intensity.
According to FIG. 1, both the oil-fired combustion flame and the gas-fired combustion flame have low intensities in the visible light band of about 400 nm to 650 nm, and gradually increase in intensity in the band of about 650 nm or more, and about 2500 nm or more. A peak appears in the band.
トンネル内にある光源としては、トンネル内に照明として設置された放電灯（例えば、蛍光灯、メタルハライドランプ、高圧ナトリウムランプ）やＬＥＤ照明が挙げられる。また、他の光源として、トンネル内を走行する車両のライトやランプもあり、ハロゲンランプであってもフォグランプ等は白熱灯に近い特性（２８００Ｋ）のものが存在する。
図２には、トンネル内にあるこれらの光源の波長帯域を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は相対強度を表す。
図２によれば、蛍光灯及びＬＥＤ照明は、約８８０ｎｍ以下の波長帯域に強度を有するが、約８８０ｎｍ以上には波長帯域が延びていない。一方、白熱灯及びハロゲンランプは、約８８０ｎｍ以下の波長帯域だけでなく、約８８０ｎｍ以上の波長帯域においても高い強度を有している。
Examples of the light source in the tunnel include a discharge lamp (for example, a fluorescent lamp, a metal halide lamp, a high-pressure sodium lamp) installed as illumination in the tunnel, and an LED lighting. Further, as other light sources, there are lights and lamps of a vehicle running in a tunnel, and even a halogen lamp has a characteristic (2800K) similar to an incandescent lamp.
FIG. 2 shows the wavelength bands of these light sources in the tunnel. In the graph of the figure, the horizontal axis represents wavelength (nm) and the vertical axis represents relative intensity.
According to FIG. 2, the fluorescent lamp and the LED lighting have intensity in the wavelength band of about 880 nm or less, but the wavelength band does not extend to about 880 nm or more. On the other hand, the incandescent lamp and the halogen lamp have high intensity not only in the wavelength band of about 880 nm or less but also in the wavelength band of about 880 nm or more.
図１、図２より、約８８０ｎｍ以上の波長帯域の強度を見ることで、油焚燃焼炎やガス焚燃焼炎と蛍光灯やＬＥＤ照明とを区別できるが、油焚燃焼炎やガス焚燃焼炎と白熱灯やハロゲンランプとの区別は困難であることが分かる。
このような事項を踏まえ、本発明の一実施形態に係る監視システムは、以下のように構成してある。なお、以下の説明では、主にトンネル内における火や炎の検出について説明するが、太陽光（自然光）の存在しない環境（夜間等）に一般化でき、更には自然光存在下においても適用できる可能性がある。
From FIGS. 1 and 2, it is possible to distinguish an oil burning flame or a gas burning combustion flame from a fluorescent lamp or an LED lighting by observing the intensity in a wavelength band of about 880 nm or more. It can be seen that it is difficult to distinguish between an incandescent lamp and a halogen lamp.
Based on such matters, the monitoring system according to the embodiment of the present invention is configured as follows. In addition, in the following description, the detection of fire and flame in the tunnel will be mainly described, but it can be generalized to an environment (night, etc.) where sunlight (natural light) does not exist, and can also be applied in the presence of natural light. There is a nature.
本例の監視システムは、図３に構成例を示すように、カメラ装置１０と、画像処理装置２０とを備え、これらの装置は有線又は無線により通信可能に接続されている。
カメラ装置１０は、ＩＲカットフィルタ１１と、バンドストップフィルタ１２と、フィルタ切換え機構１３と、撮像素子１４と、映像信号処理部１５と、を有している。
As shown in the configuration example of FIG. 3, the monitoring system of this example includes a camera device 10 and an image processing device 20, and these devices are communicably connected by wire or wirelessly.
The camera device 10 includes an IR cut filter 11, a band stop filter 12, a filter switching mechanism 13, an image sensor 14, and a video signal processing unit 15.
撮像素子１４は、ＩＲカットフィルタ１１又はバンドストップフィルタ１２を通して撮影対象となる監視エリアを撮像する素子であり、ＣＣＤセンサーやＣＭＯＳセンサーなどの単板カラーセンサー素子を用いることができる。ベイヤーフィルタとして、４色からなる補色系の色フィルタを用いることができる。 The image pickup device 14 is a device for picking up an image of a monitoring area to be shot through the IR cut filter 11 or the band stop filter 12, and a single plate color sensor device such as a CCD sensor or a CMOS sensor can be used. As the Bayer filter, a complementary color filter composed of four colors can be used.
ＩＲカットフィルタ１１は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有する光学フィルタである。本例のＩＲカットフィルタ１１は、可視光帯域を含む約６５０ｎｍ以下の波長帯域に透過特性を有し、約６５０ｎｍ以上の近赤外帯域に遮断特性を有するように設定してある。 The IR cut filter 11 is an optical filter having a transmission characteristic in the visible light band and a cutoff characteristic in a wavelength band longer than the visible light band. The IR cut filter 11 of this example is set to have a transmission characteristic in a wavelength band of about 650 nm or less including a visible light band and a cutoff characteristic in a near infrared band of about 650 nm or more.
バンドストップフィルタ１２は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域で且つ放電灯及びＬＥＤ照明から放射されうる波長帯域に遮断特性を有し、放電灯及びＬＥＤ照明から放射されうる波長帯域より長波長で且つ撮像素子１４に適応した波長帯域に透過特性を有する光学フィルタである。この長波長側の透過帯域では、撮像素子１４の各カラーチャネルはほぼ同じ感度を有することが望ましい。本例のバンドストップフィルタ１２は、可視光帯域を含む約６５０ｎｍ以下の波長帯域に透過特性を有し、可視光帯域より長波長の近赤外帯域における放電灯及びＬＥＤ照明の波長帯域である約６５０ｎｍ〜８８０ｎｍの波長帯域に遮断特性を有し、放電灯及びＬＥＤ照明の波長帯域より長波長で且つ撮像素子１４が感度を有する約８８０ｎｍ以上の波長帯域に透過特性を有するように設定してある。 The band stop filter 12 has a transmission characteristic in the visible light band, has a cut-off characteristic in a wavelength band having a longer wavelength than the visible light band and can be emitted from the discharge lamp and the LED lighting, and discharge lamp and LED lighting. It is an optical filter having a transmission characteristic in a wavelength band longer than the wavelength band that can be radiated from and adapted to the image sensor 14. In the transmission band on the long wavelength side, it is desirable that each color channel of the image sensor 14 has substantially the same sensitivity. The band stop filter 12 of this example has a transmission characteristic in a wavelength band of about 650 nm or less including a visible light band, and is a wavelength band of a discharge lamp and an LED lighting in a near infrared band having a longer wavelength than the visible light band. It is set to have a cutoff characteristic in the wavelength band of 650 nm to 880 nm and a transmission characteristic in a wavelength band longer than the wavelength band of the discharge lamp and the LED illumination and in the wavelength band of about 880 nm or more at which the image sensor 14 has sensitivity. ..
フィルタ切換え機構１３は、撮像素子１４の前面側（撮影対象となる監視エリア側）に配置する光学フィルタを、ＩＲカットフィルタ１１又はバンドストップフィルタ１２のいずれかに切り換えるための機構である。本例のフィルタ切換え機構１３は、画像処理装置２０からの制御信号に基づいて動作する電動アクチュエータを備えており、当該アクチュエータの動作により光学フィルタの切り換え（光路への挿抜）を行う。ＩＲカットフィルタ１１に切り換えた場合は、火や炎を強調しないカラー画像を撮影する通常カラー撮影モードとなり、バンドストップフィルタ１２に切り換えた場合は、火や炎を強調したカラー画像を撮影する火・炎強調カラー撮影モードとなる。 The filter switching mechanism 13 is a mechanism for switching the optical filter arranged on the front side of the image sensor 14 (on the side of the monitoring area to be imaged) to either the IR cut filter 11 or the band stop filter 12. The filter switching mechanism 13 of the present example includes an electric actuator that operates based on a control signal from the image processing device 20, and switches the optical filter (inserts into and removes from the optical path) by the operation of the actuator. When the IR cut filter 11 is switched to, the normal color photographing mode for photographing a color image in which fire or flame is not emphasized is set, and when the band stop filter 12 is switched, a color image in which fire or flame is emphasized is photographed. The flame-enhanced color shooting mode is set.
映像信号処理部１５は、撮像素子１４から出力される映像信号を処理し、画像処理装置２０に送信する。すなわち、画像処理装置２０に対し、ＩＲカットフィルタ１１による通常カラー撮影モード、或いは、バンドストップフィルタ１２による火・炎強調カラー撮影モードで監視エリアを撮影した画像を、デモザイキング処理や適切なホワイトバランス処理などを施してから送信する。ホワイトバランスは、補色系信号をＹＰｂＰｒやＲＧＢ信号に変換するカラーマトリクスの各係数を、テーブルを参照して設定することにより調整される。 The video signal processing unit 15 processes the video signal output from the image sensor 14 and transmits the video signal to the image processing device 20. That is, the image processing apparatus 20 is subjected to a demosaicing process or an appropriate white balance processing for an image obtained by photographing the monitoring area in the normal color photographing mode by the IR cut filter 11 or the fire/flame enhanced color photographing mode by the band stop filter 12. Send after processing. The white balance is adjusted by setting each coefficient of the color matrix that converts the complementary color system signal into YPbPr or RGB signal with reference to the table.
図４には、バンドストップフィルタ１２の透過帯域と撮像素子１４の分光感度を示してある。同図のグラフにおいて、横軸は波長（ｎｍ）を表し、縦軸は透過率と分光感度を表す。
本例の撮像素子１４は、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｍｇ（マゼンタ）、Ｇｒ（グリーン）の色成分のベイヤーフィルタを有し、これらの色成分毎に光を検出する構成となっており、いずれの色成分も約８８０ｎｍ以上の波長帯域にまで分光感度を有している。ここで、ベイヤーフィルタとは、正方格子状の画素配置に対して、縦２画素、横２画素の略正方形内の４画素を単位として周期的に配置されるカラーフィルタアレイを意味し、補色系や色差線順次方式をも含む意味で用いる。オンチップフィルタの材料として主流の色素含有レジストは、８８０ｎｍ以上の長波長光をほぼ一律に透過する。図４にみられる長波長での感度低下は、素子自体の光電変換効率の低下による。Ｓｉ撮像素子では、分光感度の長波長側の限界は約１０００ｎｍである。
FIG. 4 shows the transmission band of the band stop filter 12 and the spectral sensitivity of the image sensor 14. In the graph of the figure, the horizontal axis represents wavelength (nm) and the vertical axis represents transmittance and spectral sensitivity.
The image pickup device 14 of the present example has a Bayer filter for the color components of Cy (cyan), Ye (yellow), Mg (magenta), and Gr (green), and is configured to detect light for each of these color components. In addition, each color component has a spectral sensitivity even in a wavelength band of about 880 nm or more. Here, the Bayer filter refers to a color filter array in which four pixels within a substantially square of two pixels in the vertical direction and two pixels in the horizontal direction are periodically arranged as a unit with respect to a square lattice pixel arrangement, and a complementary color system. Also used in the sense of including the color difference line sequential method. A dye-containing resist, which is a mainstream material for an on-chip filter, transmits long-wavelength light of 880 nm or more almost uniformly. The decrease in sensitivity at long wavelengths seen in FIG. 4 is due to the decrease in photoelectric conversion efficiency of the device itself. In the Si image sensor, the limit of spectral sensitivity on the long wavelength side is about 1000 nm.
また、本例のバンドストップフィルタ１２は、図中に符号Ｆ１で示す約６５０ｎｍ以下の波長帯域と、図中に符号Ｆ２で示す約８８０ｎｍ以上の波長帯域で１００％近い透過率を示し、その間（約６５０ｎｍ〜８８０ｎｍ）の波長帯域でほぼ０％の透過率を有している。すなわち、可視光帯域より長波長の波長帯域（約６５０ｎｍ以上の波長帯域）では、放電灯及びＬＥＤ照明の波長成分が存在する約８８０ｎｍまでは遮断特性を有し、それ以上の波長帯域に透過特性を持っている。バンドストップフィルタ１２の遮断波長帯域の下限（約６５０ｎｍ）は、ＩＲカットフィルタ１１のそれと略一致するように選んである。 In addition, the band-stop filter 12 of the present example exhibits a transmittance close to 100% in a wavelength band of about 650 nm or less shown by a symbol F1 in the drawing and a wavelength band of about 880 nm or more shown by a symbol F2 in the drawing, and between them ( It has a transmittance of almost 0% in the wavelength band of about 650 nm to 880 nm. In other words, in the wavelength band longer than the visible light band (wavelength band of about 650 nm or more), it has a blocking characteristic up to about 880 nm where the wavelength components of the discharge lamp and the LED illumination exist, and the transmission characteristic in the wavelength band longer than that. have. The lower limit (about 650 nm) of the cutoff wavelength band of the band stop filter 12 is selected so as to be substantially the same as that of the IR cut filter 11.
このようなバンドストップフィルタ１２を用いた火・炎強調カラー撮影モードでは、放電灯及びＬＥＤ照明については、ＩＲカットフィルタ１１を用いた通常カラー撮影モードと同一条件で撮影される。また、油焚燃焼炎及びガス焚燃焼炎については、通常カラー撮影モードよりも白みが増強されることで明るく撮影される。つまり８８０ｎｍ以上の長波長では各ベイヤーの分光感度は略同じであるため、感度が各ベイヤーで均一に持ち上がるため、色再現性を損なわずに、火や炎を強調したカラー画像を得ることが可能となる。なお、白熱灯及びハロゲンランプの直接光も同様に、通常カラー撮影モードよりも明るく撮影される。 In the fire/flame-enhanced color photographing mode using the band stop filter 12, the discharge lamp and the LED illumination are photographed under the same conditions as the normal color photographing mode using the IR cut filter 11. In addition, the oil-fired combustion flame and the gas-fired combustion flame are brightly photographed because the whiteness is enhanced as compared with the normal color photography mode. In other words, since the spectral sensitivity of each Bayer is approximately the same at long wavelengths of 880 nm or more, the sensitivity rises evenly for each Bayer, so it is possible to obtain a color image that emphasizes fire or flame without impairing color reproducibility. Becomes Direct light from an incandescent lamp and a halogen lamp is also brighter than in the normal color shooting mode.
画像処理装置２０は、画像処理部２１と、リモート制御部２２と、を有している。
画像処理部２１は、カメラ装置１０から送信される監視エリアの画像を画像処理し、監視エリア内における火や炎の検出を行う。
リモート制御部２２は、カメラ装置１０に対し、撮影に使用する光学フィルタ（ＩＲカットフィルタ１１又はバンドストップフィルタ１２）を指示する制御信号を送信する。
The image processing device 20 includes an image processing unit 21 and a remote control unit 22.
The image processing unit 21 performs image processing on the image of the surveillance area transmitted from the camera device 10 and detects fire or flame in the surveillance area.
The remote control unit 22 transmits to the camera device 10 a control signal instructing an optical filter (IR cut filter 11 or band stop filter 12) used for shooting.
画像処理装置２０による火や炎の検出処理について説明する。
画像処理装置２０は、トンネル内の火や炎の検出処理を行う場合、リモート制御部２２により、バンドストップフィルタ１２を撮影に使用する指示を含む制御信号をカメラ装置１０に送信する。これにより、カメラ装置１０では、バンドストップフィルタ１２による火・炎強調カラー撮影モードで監視エリアが撮影され、画像処理装置２０に送信されることになる。
The process of detecting fire or flame by the image processing device 20 will be described.
When the image processing apparatus 20 performs a process of detecting a fire or a flame in the tunnel, the remote control unit 22 transmits a control signal including an instruction to use the band stop filter 12 for photographing to the camera apparatus 10. As a result, in the camera device 10, the surveillance area is photographed in the fire/flame-enhanced color photographing mode by the band stop filter 12 and transmitted to the image processing device 20.
画像処理装置２０は、カメラ装置１０から火・炎強調カラー撮影モードによる監視エリアの画像を取得し、当該画像中に火や炎が含まれるか否かについて、例えば以下のようにして判定する。 The image processing device 20 acquires an image of the monitoring area in the fire/flame-enhanced color photographing mode from the camera device 10, and determines whether or not the image contains fire or flame, for example, as follows.
［強度差比較方式］
まず、画像処理装置２０は、火・炎強調カラー撮影モードに切り替える前（望ましくは直前）に、通常カラー撮影モードの最後の画像（通常画像）を保持する。
[Intensity difference comparison method]
First, the image processing apparatus 20 holds the last image (normal image) in the normal color shooting mode before (preferably immediately before) switching to the fire/flame-enhanced color shooting mode.
次に、画像処理装置２０は、火・炎強調カラー撮影モードに切り替えた後（望ましくは直後）に、画像（強調画像）１つを取得し、通常画像との間で動き検出を行う。そしてＭＰＥＧ等の映像符号化方式と同様に、古い方の通常画像に対して動き補償を施す。このとき、動き検出時に画素ブロック単位に評価された予測誤差（通常画像と動き補償された通常画像との間の相関の低さ）を保持しておいてもよい。そして、強調画像及び動き補償された通常画像を結合して、８つの色チャネルを有する画像（８色画像）を得る。８色画像は、撮像素子１４から直接得られるＲＡＷ画像よりも、ダウンサンプルされたものでもよい。 Next, the image processing apparatus 20 acquires one image (emphasized image) after switching (preferably immediately after) to the fire/flame-enhanced color photographing mode, and performs motion detection with the normal image. Then, similarly to the video coding method such as MPEG, motion compensation is applied to the older normal image. At this time, a prediction error evaluated for each pixel block at the time of motion detection (low correlation between a normal image and a motion-compensated normal image) may be held. Then, the enhanced image and the motion-compensated normal image are combined to obtain an image having eight color channels (eight-color image). The 8-color image may be downsampled rather than the RAW image obtained directly from the image sensor 14.
次に、８色画像から、火炎と白熱灯などとを区別するための２つの信号IBulb、IFireを計算する。通常画像の画素値を（mg, cy, gr, ye）、強調画像の画素値を（mg’, cy’, gr’, ye’）としたとき、
IBulb = mg・av0＋cy・av1＋gr・av2＋ye・av3＋mg’・av4＋cy’・av5＋gr’・av6＋ye’・av7
IFire = mg・ai0＋cy・ai1＋gr・ai2＋ye・ai3＋mg’・ai4＋cy’・ai5＋gr’・ai6＋ye’・ai7
により得られる。そしてこの２つの信号IBulb、IFireの比較により、火炎らしさを判断する。予測誤差が保持されている場合は、IBulb < IFireであって、予測誤差が所定値以下の画素を、火炎らしいと判断する。予測誤差が大きい時は、被写体の時間的変化が激しすぎる、或いは動き補償が適切に行われていない可能性があり、その画素では火炎の判断は行わない。
Next, two signals I Bulb and I Fire for distinguishing a flame from an incandescent lamp are calculated from the 8-color image. When the pixel value of the normal image is (mg, cy, gr, ye) and the pixel value of the emphasized image is (mg', cy', gr', ye'),
I Bulb = mg・a v0 ＋cy・a v1 ＋gr・a v2 ＋ye・a v3 ＋mg'・a v4 ＋cy'・a v5 ＋gr'・a v6 ＋ye'・a v7
I Fire = mg・a i0 ＋cy・a i1 ＋gr・a i2 ＋ye・a i3 ＋mg'・a i4 ＋cy'・a i5 ＋gr'・a i6 ＋ye'・a i7
Is obtained by Then, by comparing the two signals I Bulb and I Fire , the likelihood of flame is judged. When the prediction error is held, I Bulb <I Fire , and a pixel with a prediction error of a predetermined value or less is determined to be a flame. When the prediction error is large, there is a possibility that the temporal change of the subject is too severe or the motion compensation is not properly performed, and the flame is not determined in that pixel.
色行列係数av0〜av0及びaI0〜aI0は、２つの信号が、火炎と白熱灯とで異なる感受性を有するように選ばれる。これにより、単に通常画像と強調画像の輝度値を比較する場合に比べ、火炎と白熱灯のスペクトルの形状の違いが評価されることとなり、判断精度が向上する。
なお、２つの信号IBulb、IFireの算出においては、２次以上の項（mg・ye・a8＋mg・cy・a9＋…）を加えた計算式やルックアップテーブルを用いたり、対数化やガンマ処理をした輝度値を用いてもよい。また本方式の処理は、画像処理装置２０ではなく映像信号処理部１５内で行ってもよく、通常画像と強調画像の撮影の順序は逆でもよい。また、上述の動き検出や動き補償は、新たにカメラ装置１０から送信された符号化映像を画像処理装置２０で復号化する際に通常行われる処理と、共通化してもよい。
The color matrix coefficients a v0 to a v0 and a I0 to a I0 are chosen so that the two signals have different sensitivities in the flame and incandescent lamp. As a result, the difference in the shape of the spectrum between the flame and the incandescent lamp is evaluated compared with the case where the brightness values of the normal image and the emphasized image are simply compared, and the determination accuracy is improved.
Incidentally, the two signals I Bulb, in the calculation of the I Fire, or using a formula or look-up tables plus second or higher order terms (mg · ye · a 8 + mg · cy · a 9 + ...), log A luminance value that has been subjected to digitization or gamma processing may be used. The processing of this method may be performed in the video signal processing unit 15 instead of the image processing apparatus 20, and the normal image and the emphasized image may be taken in reverse order. Further, the above-described motion detection and motion compensation may be shared with the process that is normally performed when the image processing device 20 decodes the coded video newly transmitted from the camera device 10.
［車両灯火除外方式］
まず、火・炎強調カラー撮影モードによる監視エリアの画像から、火や炎の可能性がある画素のブロック（以下、候補画素ブロックという）を抽出する処理を行う。例えば、火や炎が発生しておらず且つ白熱灯やハロゲンランプを灯した車両が走行していない状態で撮影した基準画像を用意しておき、基準画像と比較して明るく撮影された部分を、候補画素ブロックとして抽出する。これにより、トンネル内を走行する車両の灯火の他、トンネル内の火や炎が存在する場合にそれに該当する画素ブロックが候補画素ブロックとして抽出される。候補画素ブロックは、後で輪郭を評価する都合、実際に明るく撮影された部分よりも大きめに切り出される。また、明るいか否かの閾値は、被写体までの距離に応じて、画像内で変化させることが望ましい。また、所定のサイズに満たない画素ブロックは、輪郭等の評価が困難なため、候補画素ブロックにしない。
[Vehicle lighting exclusion method]
First, a process of extracting a block of pixels having a possibility of fire or flame (hereinafter referred to as a candidate pixel block) from the image of the monitoring area in the fire/flame enhanced color photographing mode is performed. For example, prepare a reference image taken in a state where no fire or flame is generated and the vehicle illuminated by an incandescent lamp or a halogen lamp is not running, and the part that is brighter than the reference image is captured. , A candidate pixel block is extracted. As a result, in addition to the lighting of the vehicle traveling in the tunnel, when there is fire or flame in the tunnel, the pixel block corresponding to that is extracted as a candidate pixel block. The candidate pixel block is cut out in a larger size than a portion that is actually brightly photographed for convenience of contour evaluation later. Further, it is desirable that the threshold value of whether or not it is bright is changed in the image according to the distance to the subject. In addition, a pixel block that does not reach a predetermined size is not selected as a candidate pixel block because it is difficult to evaluate the contour and the like.
ここで、火や炎の像は輪郭が不鮮明で形状も不規則に変化するのに対し、灯火の像は輪郭が比較的鮮明であり、形状は円形や四角形で走行位置に伴う変化は少ないが、大きさは単調に変化する。このような性質を利用して、火・炎強調カラー撮影モードによる監視エリアの画像に対して物体追跡処理や各種画像処理を行うことで、これらの判別を行う。すなわち、候補画素ブロックの移動を追跡し、時系列に関連付けられた候補画素ブロックについて、輪郭の強さ、輪郭の不規則さ、時間的に隣接する候補画素ブロック間での画素値の時間的変化の多さ、及び候補画素ブロックの大きさの時間的変化率を評価する。候補画素ブロックの大きさの影響を受けないように、大きさの評価値以外では、候補画素ブロックのサイズ若しくは得られた評価値を正規化することが望ましく、３以上の複数のフレームから得た時刻の異なる評価値を平均化することが望ましい。そしてこれらの４種類の評価値を入力とする判別器によって、灯火と火炎を判別する。概略的に言えば、輪郭の強さ、大きさの時間的変化率が大きいほど灯火と判定されやすく、不規則さ、画素値の時間的変化の多さが大きいほど火炎と判定されやすくなる。画素値の時間的変化の多さは、追跡処理におけるテンプレートマッチングで得られたものが利用でき、或いは、候補画素ブロック内の全画素中、変化率が所定値以上の画素が占める割合等も利用できる。また、判別器には、簡易なフィッシャーの線形判別から高度な深層畳み込みニューラルネットワークまで、周知の様々な手法が利用できる。また、火炎から生じる煙も同様に形状の不規則性を有するため、煙も含むように候補画素ブロックを切り出してもよい。 Here, the image of fire and flame has an unclear contour and the shape changes irregularly, while the image of light has a relatively sharp contour, and the shape is circular or quadrangular and the change with traveling position is small. , The size changes monotonically. By utilizing such a property, the object tracking process and various image processes are performed on the image of the monitoring area in the fire/flame-enhanced color photographing mode to make the determination. That is, the movement of the candidate pixel block is tracked, and regarding the candidate pixel block associated in time series, the strength of the contour, the irregularity of the contour, and the temporal change of the pixel value between the temporally adjacent candidate pixel blocks. And the rate of temporal change of the size of the candidate pixel block. In order to avoid the influence of the size of the candidate pixel block, it is desirable to normalize the size of the candidate pixel block or the obtained evaluation value other than the size evaluation value. It is desirable to average evaluation values at different times. Then, the discriminator which inputs these four types of evaluation values discriminates between the light and the flame. Roughly speaking, the greater the temporal change rate of the strength and size of the contour, the easier it is to determine that it is a lamp, and the larger the irregularity and the large number of temporal changes in the pixel value, the easier it is to determine that it is a flame. The amount of change in pixel value over time can be obtained by template matching in the tracking process, or the ratio of pixels with a change rate of a predetermined value or more to all pixels in the candidate pixel block can also be used. it can. In addition, various well-known methods can be used for the discriminator, from simple Fisher's linear discrimination to sophisticated deep convolutional neural networks. Further, since smoke generated from a flame also has irregularity in shape, the candidate pixel block may be cut out so as to also include smoke.
これらの方式によって画像処理装置２０により火や炎が検出されると、その結果は画像処理装置２０もしくは別途備えるモニターディスプレイにより表示出力される。また、画像処理装置２０には、カメラ装置１０により撮影された画像も表示出力される。これにより、画像処理装置２０のオペレータ（操作者）は、トンネル内における火や炎の発生を認識できる。
なお、画像処理装置２０により火や炎が検出されたことを他の手法によりオペレータに報知してもよく、例えば、その旨を知らせる音声の出力、所定のＬＥＤの点灯や点滅などにより、オペレータに報知することができる。
When a fire or a flame is detected by the image processing apparatus 20 by these methods, the result is displayed and output by the image processing apparatus 20 or a monitor display provided separately. Further, an image taken by the camera device 10 is also displayed and output to the image processing device 20. This allows the operator (operator) of the image processing apparatus 20 to recognize the occurrence of fire or flame in the tunnel.
It should be noted that the operator may be notified of the detection of fire or flame by the image processing device 20 by another method. For example, the operator may be notified by outputting a voice notifying the fact or lighting or blinking a predetermined LED. Can be notified.
オペレータは、画像処理装置２０に対し、カメラ装置１０の撮影に使用するフィルタ（ＩＲカットフィルタ１１又はバンドストップフィルタ１２）の切り替えを指示する操作入力を行うことができる。このような操作入力がなされると、画像処理装置２０のリモート制御部２２から、オペレータに指定された光学フィルタの使用を指示する制御信号がカメラ装置１０に送信される。その結果、操作入力に応じたカラー撮影モードによる監視エリアの撮影がカメラ装置１０で行われ、その画像がカメラ装置１０から送信されて画像処理装置２０に表示出力される。したがって、オペレータは、通常カラー撮影モードによる監視エリアの画像と火・炎強調カラー撮影モードによる監視エリアの画像とを比較することができ、本当に火や炎が発生しているかを確認することができる。 The operator can perform an operation input for instructing the image processing apparatus 20 to switch the filter (IR cut filter 11 or band stop filter 12) used for photographing by the camera device 10. When such an operation input is made, the remote control unit 22 of the image processing apparatus 20 transmits a control signal instructing the use of the optical filter designated by the operator to the camera apparatus 10. As a result, the camera device 10 shoots the monitoring area in the color shooting mode according to the operation input, and the image is transmitted from the camera device 10 and displayed and output to the image processing device 20. Therefore, the operator can compare the image of the surveillance area in the normal color photographing mode with the image of the surveillance area in the fire/flame-enhanced color photographing mode, and can confirm whether or not a fire or flame is really occurring. ..
以上のように、火・炎強調カラー撮影モードで撮影された画像を用いることで、画像処理部２１は、車両のライト等による誤検出を減らすことができる。なお、火・炎強調カラー撮影モードの画像から、ハロゲンランプ等の灯火と火や炎を判別することができる画像処理部２１は、通常カラー撮影モードの画像からも火や炎を検出できる場合がある。そのため、通常は通常カラー撮影モードで撮影し、オペレータに対して表示出力しながら画像処理装置２０による火炎検知を行い、火や炎の疑いのある画像が検知された時に火・炎強調カラー撮影モードに自動的に切り替えるような構成にしてもよい。 As described above, by using the image captured in the fire/flame-enhanced color imaging mode, the image processing unit 21 can reduce erroneous detection due to the light of the vehicle or the like. It should be noted that the image processing unit 21 that can distinguish the light such as a halogen lamp and the fire or flame from the image in the fire/flame-enhanced color photographing mode may be able to detect the fire or flame from the image in the normal color photographing mode. is there. Therefore, normally, the image is captured in the normal color photographing mode, and the flame is detected by the image processing device 20 while displaying and outputting it to the operator. When an image suspected of being fire or flame is detected, the fire/flame enhanced color photographing mode is used. It may be configured to automatically switch to.
実施例１は、先に述べた車両灯火除外方式に比べ、形状が分からないほど小さな火炎をも検出することを意図し、動きや輝度を含む多変量ヒストグラムを用いて判別する。図５に、実施例１に係る画像処理部２１のブロック図を示す。
本例の画像処理部２１は、領域分割器３１、背景更新部３２、白色ハイライト評価部３３、領域抽出部３４、関心領域保持部３５、動き検出部３６、ヒストグラム算出部３７、１次火炎識別部３８、原画取得部３９、２次火炎識別部４０を有している。
The first embodiment intends to detect even a small flame whose shape is unknown as compared with the vehicle lighting exclusion method described above, and makes a determination using a multivariate histogram including motion and brightness. FIG. 5 is a block diagram of the image processing unit 21 according to the first embodiment.
The image processing unit 21 of this example includes a region divider 31, a background updating unit 32, a white highlight evaluating unit 33, a region extracting unit 34, a region of interest holding unit 35, a motion detecting unit 36, a histogram calculating unit 37, and a primary flame. It has an identification unit 38, an original image acquisition unit 39, and a secondary flame identification unit 40.
領域分割器３１は、カメラ装置１０から画像が入力されるたびに、画像を所定の規則で分割する。簡易的には、一定のサイズのブロックに格子状に分割する方法があるが、望ましくは、被写体との距離が遠いほど小さいサイズとなるような不等分割を行う。以後の処理では分割領域毎に適切なスケーリングやパラメータが適用されうる。
背景更新部３２は、入力画像を十分な時間、平均化して、ヘッドライト等が抑圧された１枚の画像（以下、背景画像という）を生成する。或いは、予めそのような背景画像を生成し、固定的に保持するものでもよい。
The area divider 31 divides the image according to a predetermined rule every time the image is input from the camera device 10. Although there is a simple method of dividing the blocks into blocks of a certain size in a grid pattern, it is desirable to carry out unequal division so that the larger the distance to the subject, the smaller the size. In the subsequent processing, appropriate scaling and parameters can be applied to each divided area.
The background updating unit 32 averages the input image for a sufficient time to generate one image in which headlights and the like are suppressed (hereinafter, referred to as a background image). Alternatively, such a background image may be generated in advance and fixedly held.
白色ハイライト評価部３３は、現在の入力画像と、背景更新部３２からの背景画像との比較演算により、火炎色或いは白色で高輝度の画素であるほど高くなるような評価値を出力する。例えば、カラー画像である入力画像と背景画像との差分画像を求め、差分画像の各画素について、輝度信号Ｙから色差信号（Ｐｂ，Ｐｒ）の絶対値を重み付きで減じた値を評価値とする。評価値は色情報を含んでもよい。ここでは、輝度信号の鮮鋭さ（ＭＴＦ）よりも輝度値や色の正確さを優先するようなデモザイキングが為された画像信号を用いることが望ましい。補色ベイヤでは、任意の位置で２×２画素を選ぶと、その中に４色の画素が常に含まれることになるため、その４信号から、２×２画素の中心位置における輝度や色（色相、彩度）を同じ条件で評価できる。一例として、輝度Ｙ、色差Ｕ及びＶは下記の式で算出される。
Ｙ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
この色分離の方法は単純であるが、暗所における灯火や火炎のように、独立したスポット状の光源であって、一つの光源内ではほぼ同一色であることが期待できる被写体に対して効果的である。なお、もしそのようなデモザイキングが為されていない画像信号をカメラ装置１０から受信している場合であっても、計算により補間された画素値を破棄し、本来の画素値を維持している画素から再度デモザイキングを行うことは可能である。
The white highlight evaluation section 33 outputs an evaluation value such that the higher the pixel is of flame color or white, the higher the brightness thereof by the comparison calculation of the current input image and the background image from the background update section 32. For example, a difference image between an input image that is a color image and a background image is obtained, and for each pixel of the difference image, a value obtained by subtracting the absolute value of the color difference signal (Pb, Pr) from the luminance signal Y with a weight is used as an evaluation value. To do. The evaluation value may include color information. Here, it is desirable to use an image signal that has undergone demosaicing so as to give priority to the brightness value and color accuracy over the sharpness (MTF) of the brightness signal. In the complementary color Bayer, if 2×2 pixels are selected at any position, pixels of 4 colors are always included in them. Therefore, from the 4 signals, the luminance and color (hue) at the center position of 2×2 pixels are calculated. , Saturation) can be evaluated under the same conditions. As an example, the brightness Y and the color differences U and V are calculated by the following formulas.
Y=0.25×(C+M+Y+G)
U=C+M-(Y+G)
V=-C+M+Y-G
This color separation method is simple, but it is effective for subjects that are independent spot-shaped light sources, such as lights and flames in a dark place, and can be expected to have almost the same color within one light source. Target. Even if an image signal that has not undergone such demosaicing is received from the camera device 10, the pixel value interpolated by the calculation is discarded and the original pixel value is maintained. It is possible to perform demosaicing again from the pixel.
領域抽出部３４は、白色ハイライト検出部３３からの評価値を２値化し、４近傍ラベリング処理などにより連接する複数の画素を１つの領域にまとめ、そのようにまとめられた各領域の座標（重心位置）とサイズ（内包画素数）と代表輝度値を関心領域情報として出力する。
２値化の際のしきい値は、２値化により真となる画素の割合等が所定値以下になるように適応制御され、また、周辺画素での２値化結果に応じて局所的にも調整される。局所的な調整は、周辺に真が無い時に閾値が下げられ、周辺に真がある時に閾値が上げられるような調整である。
The area extraction unit 34 binarizes the evaluation value from the white highlight detection unit 33, collects a plurality of pixels connected to each other by four-neighbor labeling processing, etc. into one area, and coordinates of each area thus combined ( The center of gravity position), the size (the number of included pixels), and the representative brightness value are output as the region of interest information.
The threshold value for binarization is adaptively controlled so that the ratio of pixels that become true by binarization becomes equal to or less than a predetermined value, or locally according to the binarization result in the peripheral pixels. Is also adjusted. The local adjustment is an adjustment in which the threshold value is lowered when there is no truth in the periphery and the threshold value is raised when there is a truth in the periphery.
関心領域保持部３５は、領域抽出部３４から出力された、少なくとも１つ前の関心領域情報を保持する。
動き検出部３６は、領域抽出部３４からの現在の関心領域情報と、関心領域保持部３５からの過去の関心領域情報とを、類似するもの同士を対応付けることで追跡し、各領域の見かけ上の動き、及び動きの時間的変化（つまり加速度）を検出し、関心領域情報に動き情報として付加して出力する。ここで行う追跡は、先に述べた強度比較方式における動き補償に相当する。
The ROI holding unit 35 holds at least one previous ROI information output from the region extracting unit 34.
The motion detection unit 36 tracks the current ROI information from the region extraction unit 34 and the past ROI information from the ROI holding unit 35 by associating similar ones with each other, and apparently And the temporal change of motion (that is, acceleration) are detected, and the region of interest information is added as motion information and output. The tracking performed here corresponds to the motion compensation in the intensity comparison method described above.
ヒストグラム算出部３７は、動き検出部３６からの関心領域情報に含まれる動き情報を一定期間計数し、動きヒストグラムを作成する。動きや加速度は方向と大きさの情報を有するので、４次元の動きヒストグラムが生成されうる。なお、加速度をスカラー化することで次元を減らしてもよく、逆に代表輝度値（評価値）やサイズ、あるいはそれらの時間的変化率を追加して、次元を増やしてもよい。 The histogram calculation unit 37 counts the motion information included in the ROI information from the motion detection unit 36 for a certain period, and creates a motion histogram. Since motions and accelerations have direction and magnitude information, a four-dimensional motion histogram can be generated. The dimensions may be reduced by converting the acceleration into a scalar, and conversely, the representative luminance value (evaluation value) or size, or the temporal change rate thereof may be added to increase the dimension.
１次火炎識別部３８は、動き検出部３６から関心領域情報が入力される都度、それに含まれる動き情報をヒストグラム算出部３７のヒストグラムと照合し、火や炎であるか識別する。図６に、ヒストグラムの一例の模式図を示す。図示を容易にするために、横軸を速度の方向、縦軸を加速度の方向とする２次元ヒストグラムとしてある。通常の車両の走行は、車線方向に加減速を行うものであるので、ヒストグラムは、対角線上、特に車線の方向に対応するビンに集中する。このような状態で、移動しない火炎が画像に映った場合、その関心領域は、火炎が揺らぐ性質によって、対角線とは無関係にランダムなビンに分類される。火や炎の発生は非常に稀であるので、一例として、ヒストグラムの対応するビンが０、つまり過去一定期間に一度も観測されていないような性質の関心領域を、火や炎と識別することができる。更に、走行車両と共に移動する火炎に対しては、輝度、輝度の変化、色で分類されたヒストグラムが有効である。つまり、ヘッドライトは輝度が非常に高く、輝度変化率が少なく、色は白色に近い。また尾灯やブレーキランプは、色が彩度の高い赤で、輝度変化率が少ない。他方火炎は、輝度変化率があり、油焚燃焼炎や不完全燃焼炎であればヘッドライトほど白くなくブレーキランプほど赤くない。なおビンに最初に投票する関心領域（外れ値）が必ずしも火炎とは限らないため、そのような関心領域を関心領域情報及び動き情報に基づいて追跡し、同じ関心領域が持続して同じ或いは近隣のビンに投票している場合にのみ、火炎であると判断するようにしてもよい。 Each time the region of interest information is input from the motion detection unit 36, the primary flame identification unit 38 compares the motion information included in the region of interest information with the histogram of the histogram calculation unit 37 to identify whether it is fire or flame. FIG. 6 shows a schematic diagram of an example of the histogram. For ease of illustration, a two-dimensional histogram is shown with the horizontal axis representing the velocity direction and the vertical axis representing the acceleration direction. Since normal vehicle traveling accelerates and decelerates in the lane direction, the histogram is concentrated on the diagonal line, particularly in bins corresponding to the direction of the lane. In such a state, when a flame that does not move appears in the image, the region of interest is classified into random bins regardless of the diagonal line due to the nature of the flame fluctuation. Fires and flames are extremely rare, so as an example, identify a region of interest whose corresponding bin in the histogram is 0, that is, a region of interest that has never been observed in a certain period in the past, as a fire or flame. You can Further, for a flame that moves with a traveling vehicle, a histogram classified by brightness, change in brightness, and color is effective. In other words, the headlight has a very high brightness, a small rate of change in brightness, and the color is close to white. In addition, tail lights and brake lights are highly saturated in red and have a low rate of change in luminance. On the other hand, a flame has a rate of change in brightness, and if it is an oil burning combustion flame or an incomplete combustion flame, it is not as white as a headlight and not as red as a brake lamp. Note that the region of interest (outlier) that first votes for a bin is not necessarily a flame, so such regions of interest are tracked based on region of interest information and motion information, and the same region of interest persists for the same or nearby It may be determined that the flame is present only when voting for the bin.
原画取得部３９は、１次火炎識別部３８で火や炎と識別された関心領域の原画像（カメラ装置１０からの映像）をキャプチャする。
２次火炎識別部４０は、原画取得部３９からの関心領域の原画像に対し、周波数分析を行い、火や炎の揺らぎに起因する高周波成分の強度に基づいて、火や炎か否かを最終判定する。火や炎を含む画像では、高周波領域のスペクトルに特徴的な傾向が現れる。例えば、原画像のフレーム間差分について空間周波数分析を行うと、火や炎に特徴的なスペクトルの傾きが現れるので、特段の学習等を行うことなく、傾きが所定の範囲内であるかを判別するだけで判定することができる。このため、計算コストの高いＦＦＴ演算を常時行う必要が無く、安価な画像処理装置で実現することができる。なお周波数分析の代わりに各種の特徴量（テクスチャ特徴の一種であるガボールウェーブレット特徴等）を利用してよく、サポートベクターマシン等の識別器で判定してもよい。
The original image acquisition unit 39 captures the original image (video from the camera device 10) of the region of interest identified as fire or flame by the primary flame identification unit 38.
The secondary flame identification unit 40 performs frequency analysis on the original image of the region of interest from the original image acquisition unit 39, and determines whether it is a fire or a flame based on the intensity of the high frequency component caused by the fluctuation of the fire or the flame. Final decision. In an image containing fire or flame, a characteristic tendency appears in the spectrum in the high frequency region. For example, if the spatial frequency analysis is performed on the difference between the frames of the original image, a characteristic spectrum inclination of fire or flame appears, so it is possible to determine whether the inclination is within a predetermined range without special learning. It can be determined simply by doing. Therefore, it is not necessary to always perform the FFT calculation with high calculation cost, and the image processing apparatus can be realized at a low cost. Instead of frequency analysis, various feature amounts (Gabor wavelet feature, which is a kind of texture feature, etc.) may be used, and determination may be performed by a discriminator such as a support vector machine.
上述のように本例の監視システムのカメラ装置１０は、可視光帯域に透過特性を有し、可視光帯域より長波長の波長帯域に遮断特性を有するＩＲカットフィルタ１１と、人の視覚のための照明等から放射されうる近赤外線を遮断し、それより長波長で透過特性を有するバンドストップフィルタ１２を備え、画像処理装置２０による制御に基づいて、ＩＲカットフィルタ１１とバンドストップフィルタ１２のいずれかの光学フィルタを通して撮像素子１４による撮像を行うかを切り替え可能に構成されている。
このため、１台のカメラ装置１０で、通常の道路監視と火や炎の発生監視とを行うことができ、火災発生の初期段階で火や炎を検出することが容易となる。
また、カメラ装置１０は、撮像素子１４として通常の単板カラーセンサー素子を用いることができるため、一般的なカメラ装置と同等程度のコストで製造することができる。
このような構成により、トンネル内や夜間における放電灯やＬＥＤ照明の光を抑えて火や炎の像の振幅が強調された（つまり火や炎に対してＳ／Ｎが改善された）カラー画像を得ることができ、画像処理による火や炎の検出精度が従来の技術よりも高められる。
また、約８８０から１０００ｎｍの波長帯域に感度を持たせたことで、９２０〜９５０ｎｍにピークを有する水素火炎を可視化し或いは検出することができる。
As described above, the camera device 10 of the surveillance system of the present example has the IR cut filter 11 having the transmission characteristic in the visible light band and the blocking characteristic in the wavelength band longer than the visible light band, and for human vision. Of the IR cut filter 11 and the band stop filter 12 based on the control by the image processing device 20. The band stop filter 12 blocks near-infrared rays that can be radiated from the illumination of FIG. It is configured to be able to switch whether to perform image pickup by the image pickup device 14 through the optical filter.
Therefore, one camera device 10 can perform normal road monitoring and fire/flame generation monitoring, and it becomes easy to detect fire or flame at the initial stage of fire occurrence.
Further, since the camera device 10 can use a normal single-plate color sensor element as the image pickup device 14, it can be manufactured at a cost comparable to that of a general camera device.
With such a configuration, the color image in which the amplitude of the image of the fire or flame is emphasized by suppressing the light of the discharge lamp or the LED illumination in the tunnel or at night (that is, the S/N for the fire or flame is improved) Therefore, the accuracy of detection of fire or flame by image processing can be improved as compared with the conventional technology.
Further, by providing sensitivity in the wavelength band of about 880 to 1000 nm, it is possible to visualize or detect a hydrogen flame having a peak at 920 to 950 nm.
なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。
ＩＲカットフィルタ１１、バンドストップフィルタ１２、フィルタ切換え機構１３は、カメラ装置１０内に設けられるものに限らず、レンズ交換式のカメラ装置におけるレンズ装着面であるフランジ若しくはカメラ装置とカメラ装置に装着されるレンズとの間にアダプターとして設けられてもよい。例えば、１７．５２６ｍｍのフランジバックのＣマウントレンズに適応したカメラ装置に対し、よりフランジバックの長い一眼レフカメラ用のレンズを装着するようなときに用いられるマウント変換アダプターの内部に、これらの構成を備えることもできる。
The configurations of the system and the device according to the present invention are not necessarily limited to those described above, and various configurations may be used.
The IR cut filter 11, the band stop filter 12, and the filter switching mechanism 13 are not limited to those provided in the camera device 10, but are attached to the lens mounting surface of the lens interchangeable camera device, or to the camera device and the camera device. It may be provided as an adapter between the lens and the lens. For example, in a mount conversion adapter used when a lens for a single-lens reflex camera with a longer flange back is mounted on a camera device adapted to a C-mount lens with a flange back of 17.526 mm, these configurations are used. Can also be provided.
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。 The present invention can also be provided as, for example, a method or method for executing the process according to the present invention, a program for implementing such a method or method, a storage medium storing the program, or the like.
本発明は、監視エリア内における火及び炎の検出に供される画像を撮影する種々のカメラ装置、及び当該カメラ装置により撮影された画像に基づいて火及び炎の検出を行う種々の監視システムなどに利用することができる。 The present invention relates to various camera devices that capture images used for detection of fire and flame in a surveillance area, and various monitoring systems that detect fire and flame based on images captured by the camera device. Can be used for.
１０：カメラ装置、 １１：ＩＲカットフィルタ、 １２：バンドストップフィルタ、 １３：フィルタ切換え機構、 １４：撮像素子、 １５：映像信号処理部、
２０：画像処理装置、 ２１：画像処理部、 ２２：リモート制御部、
３１：領域分割器、 ３２：背景更新部、 ３３：白色ハイライト評価部、 ３４：領域抽出部、 ３５：関心領域保持部、 ３６：動き検出部、 ３７：ヒストグラム算出部、 ３８：１次火炎識別部、 ３９：原画取得部、 ４０：２次火炎識別部
10: camera device, 11: IR cut filter, 12: band stop filter, 13: filter switching mechanism, 14: image sensor, 15: video signal processing unit,
20: image processing device, 21: image processing unit, 22: remote control unit,
31: region divider, 32: background update unit, 33: white highlight evaluation unit, 34: region extraction unit, 35: region of interest holding unit, 36: motion detection unit, 37: histogram calculation unit, 38: primary flame Identification unit, 39: Original image acquisition unit, 40: Secondary flame identification unit
Claims (4)
前記カラー映像から、所定の背景画像と比較して高輝度であるような画素又は画素ブロックを抽出し、該画素又は画素ブロックの属性が所定の属性と異なる場合に、火又は炎であると判断する画像処理装置を備え、
前記カラー映像は、前記所定の赤外域において透過特性を有する光学フィルタと、少なくとも前記所定の赤外域を含む近赤外帯域において遮断特性を有するＩＲカットフィルタとを遠隔制御で択一的に挿入できるカメラで撮影されたカラー映像であり、
前記画像処理装置は、前記光学フィルタの挿抜状態を異ならせて撮像した、時間的に近接する複数の画像から、１枚の画像よりも多い色チャネルを有する画像を合成し、当該合成した画像から、火及び炎に対する感度が異なる複数の信号を計算し、火及び炎とそれ以外の光源との間のスペクトルの違いを判別することを特徴とする監視システム。 A surveillance system for detecting a flame in a surveillance area by using a color image in which each color channel has a significantly similar sensitivity in a predetermined infrared region having a wavelength longer than a wavelength that can be emitted from illumination in the surveillance area. hand,
From the color image, a pixel or a pixel block having a higher brightness than a predetermined background image is extracted, and when the attribute of the pixel or the pixel block is different from the predetermined attribute, it is determined to be fire or flame. an image processing apparatus,
In the color image, an optical filter having a transmission characteristic in the predetermined infrared region and an IR cut filter having a cutoff characteristic in the near infrared band including at least the predetermined infrared region can be selectively inserted by remote control. It is a color image taken with a camera,
The image processing device synthesizes an image having more color channels than one image from a plurality of images that are temporally close to each other and are imaged with different insertion/extraction states of the optical filter, and from the synthesized image. A monitoring system characterized by calculating a plurality of signals having different sensitivities to fire and flame and discriminating a difference in spectrum between the fire and flame and other light sources .
前記画素又は画素ブロックの属性は、該画素又は画素ブロックの大きさの変化率、輝度、該輝度の変化率、前記大きさと輝度の比、輪郭の強さ、輪郭の不規則さ、時間的に隣接する画素ブロック間での画素値の変化の多さ、色、スペクトル形状、前記カラー映像のフレームにおける位置、速度、及び加速度の内の少なくとも２つを含むことを特徴とする監視システム。 The monitoring system according to claim 1,
The attribute of the pixel or pixel block includes a rate of change in the size of the pixel or pixel block, luminance, a rate of change in the luminance, the ratio of the size to the luminance, strength of the contour, irregularity of the contour, and temporally. A monitoring system, comprising at least two of a degree of change in pixel value between adjacent pixel blocks, a color, a spectral shape, a position in a frame of the color image, a velocity, and an acceleration.
前記画素又は画素ブロックは、前記画像処理装置によって、所定の背景画像と比較して高輝度であるような画素のブロックとして抽出され、時間的に近接するフレーム間で、前記位置又は前記速度の属性を利用して移動が追跡されることを特徴とする監視システム。 The monitoring system according to claim 2,
The pixel or pixel block is extracted by the image processing device as a block of pixels having higher brightness than a predetermined background image, and the position or the speed attribute is determined between frames that are temporally close to each other. A monitoring system characterized in that movements are tracked using the.
前記所定の赤外域の短波長側の端は、略８８０ｎｍであることを特徴とする監視システム。 The monitoring system according to any one of claims 1 to 3 ,
The short-wavelength side end of the predetermined infrared region is approximately 880 nm, which is a monitoring system.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016099314A JP6722041B2 (en) | 2016-05-18 | 2016-05-18 | Monitoring system |
| JP2020081879A JP6906084B2 (en) | 2016-05-18 | 2020-05-07 | Color camera device and optical parts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016099314A JP6722041B2 (en) | 2016-05-18 | 2016-05-18 | Monitoring system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020081879A Division JP6906084B2 (en) | 2016-05-18 | 2020-05-07 | Color camera device and optical parts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017207883A JP2017207883A (en) | 2017-11-24 |
| JP6722041B2 true JP6722041B2 (en) | 2020-07-15 |
Family
ID=60415565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016099314A Active JP6722041B2 (en) | 2016-05-18 | 2016-05-18 | Monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6722041B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102088956B1 (en) * | 2018-10-04 | 2020-03-13 | 국방과학연구소 | Unmanned camera for defending light attack and controlling method thereof |
| JP7208829B2 (en) * | 2019-03-04 | 2023-01-19 | 日立造船株式会社 | Information processing device, incineration control device, information processing method, and information processing program |
| CN111985489B (en) * | 2020-09-01 | 2024-04-02 | 安徽炬视科技有限公司 | Night lamplight and flame classification discrimination algorithm combining target tracking and motion analysis |
| CN115802183B (en) * | 2021-09-10 | 2023-10-20 | 荣耀终端有限公司 | Image processing method and related device |
| CN114627610A (en) * | 2022-03-14 | 2022-06-14 | 周瑛 | Disaster situation processing method and device based on image recognition |
-
2016
- 2016-05-18 JP JP2016099314A patent/JP6722041B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017207883A (en) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722041B2 (en) | Monitoring system | |
| KR101747603B1 (en) | Color night vision system and operation method thereof | |
| US20160198103A1 (en) | Imaging device, imaging system, and imaging method | |
| JP6394338B2 (en) | Image processing apparatus, image processing method, and imaging system | |
| JP2007286943A (en) | Signal light detection apparatus | |
| US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
| JP2013242686A (en) | Traffic signal detection device and traffic signal detection method | |
| JP2014230179A (en) | Imaging apparatus and imaging method | |
| KR101534046B1 (en) | Camera for automatically changing filter according to environment | |
| JP7057818B2 (en) | Low light imaging system | |
| JP3670952B2 (en) | Color / black and white switching camera | |
| US11490060B2 (en) | Image processing device, image processing method, and imaging device | |
| JP6906084B2 (en) | Color camera device and optical parts | |
| JP6780543B2 (en) | Image imaging system and image imaging device | |
| US10829042B2 (en) | Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same | |
| JP5265625B2 (en) | Detection system, signal processing method thereof, and program | |
| US11589028B2 (en) | Non-same camera based image processing apparatus | |
| JP6525723B2 (en) | Imaging device, control method therefor, program, and storage medium | |
| CN112770021B (en) | Camera and filter switching method | |
| KR20170032158A (en) | Imaging apparatus | |
| JP2017059904A (en) | Imaging device | |
| CN114173028A (en) | Image acquisition system, method, device and storage medium | |
| JP2017092876A (en) | Imaging device, imaging system and imaging method | |
| WO2020121626A1 (en) | Image processing device, computer program, and image processing system | |
| WO2017021417A1 (en) | Method for operating a camera system with a plenoptic camera, camera system and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6722041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |