JP6620888B2 - 煙検出装置、方法及び画像処理装置 - Google Patents

煙検出装置、方法及び画像処理装置 Download PDF

Info

Publication number
JP6620888B2
JP6620888B2 JP2018525692A JP2018525692A JP6620888B2 JP 6620888 B2 JP6620888 B2 JP 6620888B2 JP 2018525692 A JP2018525692 A JP 2018525692A JP 2018525692 A JP2018525692 A JP 2018525692A JP 6620888 B2 JP6620888 B2 JP 6620888B2
Authority
JP
Japan
Prior art keywords
image
smoke
area
saturation
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525692A
Other languages
English (en)
Other versions
JP2019504379A (ja
Inventor
バイ・シアンホォイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2019504379A publication Critical patent/JP2019504379A/ja
Application granted granted Critical
Publication of JP6620888B2 publication Critical patent/JP6620888B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435Computation of moments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/10Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Alarm Systems (AREA)

Description

本発明は、図形画像の技術分野に関し、特に、煙(smoke)検出装置、方法及び画像処理装置に関する。
今のところ、ビデオ監視では、煙を検出する必要がある。例えば、ビルのある場所で火災が発生したときに、ビデオ画像から該場所で煙が出ていることを自動検出できれば、火災警報をできるだけ早く発することで、火災による損失を減少させることができる。
しかし、煙の動きがびまん性の特徴を有するため、ビデオ画像に基づいて煙を正確に検出することは困難である。従来技術における、ビデオ画像に対して検出を行うことで煙が存在するかどうかを判断する技術案には、検出正確度が低く、迅速かつ正確に検出できない問題がある。
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
本発明の実施例は、ビデオ画像から煙を迅速かつ正確に検出し、ビデオに基づく煙検出の照度変化及び複雑環境の下での検出精度を向上させることができる煙検出装置、方法及び画像処理装置を提供する。
本発明の実施例の第一側面によれば、煙検出装置が提供され、ここで、前記煙検出装置は、
現在の画像に対して背景画像モデル化を行い、前記現在の画像の前景画像及び背景画像を取得するための背景画像モデル化ユニット;
前記前景画像に基づいて、前記現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得するための候補領域取得ユニット;
ある候補領域の、前記現在の画像及び/又は前記背景画像に対応する属性情報を計算するための属性情報計算ユニット;及び
前記属性情報に基づいて、前記ある候補領域に煙が存在するかを確定するための煙確定ユニットを含む。
本発明の実施例の第二側面によれば、煙検出方法が提供され、ここで、前記煙検出方法は、
現在の画像に対して背景画像モデル化を行い、前記現在の画像の前景画像及び背景画像を取得し;
前記前景画像に基づいて、前記現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し;
ある候補領域の、前記現在の画像及び/又は前記背景画像に対応する属性情報を計算し;及び
前記属性情報に基づいて、前記ある候補領域に煙が存在するかを確定することを含む。
本発明の実施例の第三側面によれば、画像処理装置が提供され、ここで、前記画像処理装置は、上述のような煙検出装置を含む。
本発明の実施例の他の側面によれば、コンピュータ可読プログラムが提供され、ここで、画像処理装置中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記画像処理装置中で上述のような煙検出方法を実行させる。
本発明の実施例の他の側面によれば、コンピュータ可読プログラムを記憶した記憶媒体が提供され、ここで、前記コンピュータ可読プログラムは、コンピュータに、画像処理装置中で上述のような煙検出方法を実行させる。
本発明の実施例の有益な効果は、前景画像に基づいて1つ又は複数の候補領域を取得し、ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し、及び該属性情報に基づいて該候補領域に煙が存在するかを確定することで、ビデオ画像から煙を迅速かつ正確に検出することができるだけでなく、ビデオに基づく煙検出の照度変化及び複雑環境の下での検出精度を向上させることもできる。
後述の説明及び図面を参照することで、本発明の特定の実施形態を詳しく開示し、本発明の原理を採用し得る態様を示す。なお、本発明の実施形態は、範囲上ではこれらによって限定されない。添付した特許請求の範囲内であれば、本発明の実施形態は、様々な変更、修正及び代替によるものを含んでも良い。
また、1つの実施形態について説明した及び/又は示した特徴は、同じ又は類似した方式で1つ又は複数の他の実施形態に用い、他の実施形態中の特徴と組み合わせ、又は、他の実施形態中の特徴を置換することもできる。
なお、「含む/有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、1つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
以下の図面を参照することによって、本発明の多くの側面をより良く理解することができる。図面中の部品は、比例して描かれたものではなく、本発明の原理を示すためだけのものである。本発明の一部を示す又は説明するために、図面中の対応する部分は、拡大又は縮小することがある。
本発明の1つの図面又は1つの実施形態に記載の要素及び特徴は、1つ又は複数の他の図面又は実施形態に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面中の対応する部品を示し、複数の実施形態に用いる対応する部品を示すためにも用いられる。
本発明の実施例1における煙検出方法を示す図である。 本発明の実施例1における連通領域の抽出を示す図である。 本発明の実施例1における煙検出方法を示す他の図である。 本発明の実施例1における連続移動領域の取得を示す図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す図である。 本発明の実施例1における方向を示す図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す他の図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す他の図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す他の図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す他の図である。 本発明の実施例1における剰余移動領域の取得を示す図である。 本発明の実施例1におけるある候補領域に対しての煙検出を示す他の図である。 本発明の実施例2における煙検出装置を示す図である。 本発明の実施例2における候補領域取得ユニットを示す図である。 本発明の実施例2における煙検出装置を示す他の図である。 本発明の実施例2における属性情報計算ユニットを示す図である。 本発明の実施例2における属性情報計算ユニットを示す他の図である。 本発明の実施例2における属性情報計算ユニットを示す他の図である。 本発明の実施例2における属性情報計算ユニットを示す他の図である。 本発明の実施例2における属性情報計算ユニットを示す他の図である。 本発明の実施例2における属性情報計算ユニットを示す他の図である。 本発明の実施例3における画像処理装置を示す図である。
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では、本発明の特定の実施方式を開示しているが、それは、本発明の原理を採用し得る一部のみの実施方式を示し、理解すべきは、本発明は、記載されている実施方式に限定されず、即ち、本発明は、添付した特許請求の範囲内での全ての変更、変形及び代替によるものも含むということである。
本発明の実施例は、煙検出方法を提供する。図1は、本発明の実施例における煙検出方法を示す図である。図1に示すように、前記煙検出方法は、次のようなステップを含む。
ステップ101:現在の画像に対して背景画像モデル化を行い、現在の画像の前景画像及び背景画像を取得し;
ステップ102:前景画像に基づいて、現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し;
ステップ103:ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し;及び
ステップ104:該属性情報に基づいて、該候補領域に煙が存在するかを確定する。
本実施例では、カメラなどの装置を用いて複数のフレームを含むビデオを得ることができる。また、GMM(Gaussian Mixture Model)に基づく背景画像モデル化方法を用いて、入力ビデオの現在のカラー画像(現在のフレームとも言う)に対して背景モデル化を行った後に前景画像及び背景画像を得ることができる。しかし、本発明は、これに限定されず、背景画像をモデル化し得る任意の方法を採用しても良い。
本実施例では、前景画像に基づいて1つ又は複数の候補領域を得ることができる。具体的には、前景画像を2値画像の方式で表し、前景画像の2値化画像を取得し、例えば、前景部分の画素の画素値は、“1”であり、背景部分の画素の画素値は、“0”である。
本実施例では、該2値化画像に対して中央値フィルタリングを行い、小さいノイズ点を除去することができる。その後、該2値化画像中の画素値が同じ(例えば、“1”)で且つ互いに連通する複数の画素を1つの連通領域とし、これにより、該前景画像中の、移動物体を示す1つ又は複数の連通領域を得ることができる。例えば、1つの2値化画像のうちから若干個の大小(size)が異なる連通領域を抽出することができる。
図2は、本発明の実施例における連通領域の抽出を示す図である。図2に示すように、画素値が例えば“1”で且つ連通する複数の画素は、1つの連通領域を形成することができる。該2値化画像のうちからトータルで5個の連通領域を抽出することができ、それぞれ、連通領域201、連通領域202、…、連通領域205と記す。
本実施例では、1つ又は複数の連通領域に対して選択を行うことで、1つ又は複数の候補領域を取得することができる。例えば、面積が所定閾値(第一閾値)以下の連通領域を除去し、及び/又は、平均色深度が所定範囲以外の連通領域を除去しても良い。ここで、第一閾値の具体的な数値は、例えば、経験値に基づいて予め設定されても良く、本発明は、該第一閾値について限定しない。
図2に示すような例では、例えば、連通領域203、204の面積が第一閾値よりも小さく、連通領域201、202、205の面積が第一閾値よりも大きく、この場合、連通領域201、20、2、205を候補領域とすることができる。
本実施例では、各候補領域について、該候補領域に煙が存在するかを判断することができる。例えば、ある候補領域について、該候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し、そして、該属性情報に基づいて該候補領域に煙が存在するかを確定することができる。
ここで、属性情報は、次のようなもののうちの1つ又は複数を含んでも良く、即ち、飽和度(saturation)情報、グレースケール分散(variance)情報、勾配(gradient)方向情報、グレースケール平均値情報、及び移動方向情報である。しかし、本発明は、これに限定されず、現在の画像及び/又は背景画像に対応する他の属性情報を採用しても良い。本発明では、上述のような属性情報だけを例として説明を行う。
これにより、ビデオ画像から煙を迅速かつ正確に検出することができるだけでなく、ビデオに基づく煙検出の照度変化及び複雑環境の下での検出精度を向上させることもできる。
図3は、本発明の実施例における煙検出方法を示す他の図であり、さらに、候補領域に基づく連続移動領域を用いて煙の検出を行う。図3に示すように、該煙検出方法は、次のようなステップを含んでも良い。
ステップ301:現在の画像に対して背景画像モデル化を行い、現在の画像の前景画像及び背景画像を取得し;
ステップ302:前景画像に基づいて、現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し;
ステップ303:ある候補領域を選択し;
ステップ304:該候補領域の、複数の画像フレームにおけるそれぞれの位置に基づいて、該候補領域に対応する連続移動領域を取得する。
本実施例では、現在のフレームの前の連続した複数の(例えば、N個の)画像フレームを得ても良く、その後、このN+1個のフレームにおいて対応する該候補領域を合併し、該候補領域に対応する連続移動領域を形成し、即ち、該連続移動領域は、該候補領域の、このN+1個の画像フレーム中の“移動軌跡”である。
図4は、本発明の実施例における連続移動領域の取得を示す図である。図4に示すように、現在のフレームは第N個目のフレームとされ、該第N個目のフレームから第0個目のフレームまでのトータルでN+1個の画像フレームの中にはすべて候補領域401が存在し、該候補領域401の、第0個目のフレーム乃至第N個目のフレーム中の位置及び形状はすべて異なる可能性があり、これらの候補領域401を合併することで連続移動領域402を得ることができる。
ステップ305:該連続移動領域に基づいて、該候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し;
ステップ306:該属性情報に基づいて、該候補領域に煙が存在するかを確定し;
ステップ307:他の候補領域がまだあるかを判断し、ある場合、ステップ303を実行してもう1つの候補領域を選択し、そして、継続して該もう1つの候補領域に対して判断を行う。
以上、本発明の実施例における煙検出方法のフローについて例示的に説明した。以下、移動方向情報、飽和度平均値、グレースケール分散値、勾配方向情報平均値、グレースケール平均値を例として、本発明中でのある候補領域の煙検出についてさらに説明を行う。なお、如何に候補領域を得るか、及び如何に連続移動領域を取得するかは、上述の内容を参照することができる。
1つの実施方式(実施方式1)では、ある候補領域の、複数の画像フレーム中での主移動方向が下向きであるかに基づいて、該候補領域に煙が存在するかを確定することができる。
図5は、本発明の実施例における、ある候補領域に対しての煙検出を示す図である。図5に示すように、前記方法は、次のようなステップを含む。
ステップ501:該候補領域の質量中心(位置)及び重心(位置)に基づいて、該候補領域の、複数の画像フレーム中での現在の画像に対しての移動方向を計算する。
例えば、次の式(1)により、現在のフレーム中での“候補領域”の質量中心Mc(Xc、Yc)を計算することができる。
Figure 0006620888
ここで、Nは、“候補領域”に含まれる画素の個数であり、p∈componentとは、“候補領域”が画素pを含むことを指し、p.xとは、画素pのx座標を指し、p.yとは、画素pのy座標を指す。
現在のフレーム中での“候補領域”の質量中心がMc(Xc、Yc)であり、該現在のフレームの前の若干個のフレーム(例えば、前の第5個目のフレーム又は第10個目のフレーム)中で対応する“候補領域”の重心がMp(Xp、Yp)であるとすると、次のような値、即ち、
ΔX=Xc-Xp
ΔY=Yc-Yp
を計算することができる。
図6は、本発明の実施例における方向を示す図である。図6に示すように、8つの方向を定義しても良い。なお、本発明は、これに限定されず、例えば、より多い又はより少ない数の方向を定義しても良く、即ち、実際の状況に応じて定義しても良い。
ΔX>0且つΔY=0のとき、移動方向が1であり;
ΔX>0且つΔY<0のとき、移動方向が2であり;
ΔX=0且つΔY<0のとき、移動方向が3であり;
ΔX<0且つΔY<0のとき、移動方向が4であり;
ΔX<0且つΔY=0のとき、移動方向が5であり;
ΔX<0且つΔY>0のとき、移動方向が6であり;
ΔX=0且つΔY>0のとき、移動方向が7であり;
ΔX>0且つΔY>0のとき、移動方向が8である。
これにより、該候補領域の、各画像フレーム中での現在のフレームに対しての移動方向を得ることができる。
ステップ502:各移動方向の複数の画像フレーム中での出現頻度を統計する。
ステップ503:出現頻度が最も高い移動方向を該候補領域の主移動方向とする。
本実施方式では、“候補領域”の連続した若干個のフレーム中での移動方向を記録し、また、各移動方向の出現頻度を記録し、その後、出現頻度が最も高い移動方向を該“候補領域”の主移動方向と見なしても良い。
ステップ504:該主移動方向が下向きであるかを判断し、主移動方向が下向きである場合、ステップ505を行い;
ステップ505:該候補領域に煙が存在しないと判断する。
本実施方式では、例えば、“候補領域”の主移動方向が下向き(例えば、図6に示すような6,7,8)の場合、現在のフレームのこの“候補領域”を“候補領域”リストから削除しても良く、即ち、該候補領域に煙が存在しないと確定する。また、主移動方向が下向きでない場合、該候補領域に煙が存在すると確定しても良く、或いは、検出結果をより精確にするために、継続して該候補領域についての他の項目の検出を行っても良い。
もう1つの実施方式(実施方式2)では、ある候補領域の連続移動領域中での飽和度情報が所定閾値よりも小さいかに基づいて、該候補領域に煙が存在するかを確定することができる。
図7は、本発明の実施例における、ある候補領域に対しての煙検出を示す他の図である。図7に示すように、前記方法は、次のようなステップを含む。
ステップ701:現在の画像に対して色空間変換を行い、そして、彩度成分に基づいて飽和度彩度成分を計算し、現在の画像の飽和度図を取得する。
例えば、飽和度の計算公式は、次の式(2)に示す通りである。
Figure 0006620888
式(2)は、ある画素の飽和度を如何に計算するかを例示するだけである。なお、飽和度の具体的な計算方法については、従来の任意の方法を採用しても良く、ここでは、その詳しい説明を省略する。
ステップ702:現在の画像の飽和度図に基づいて、該候補領域の連続移動領域中での現在の飽和度平均値を計算する。
例えば、該現在の飽和度平均値の計算公式は、次の式(3)に示す通りである。
Figure 0006620888
ここで、Savgは、該現在の飽和度平均値であり、Ωは、該連続移動領域であり、Nは、該連続移動領域中の画素数であり、iは、該連続移動領域中のある画素であり、Siは、該画素iの飽和度値である。
式(3)は、如何に現在の飽和度平均値を計算するかを例示するだけであり、本発明は、これに限定されず、さらに、実際のニーズに応じて、適切に調整又は変更しても良い。
ステップ703:現在の飽和度平均値が所定閾値(第二閾値)以上であるかを判断し、現在の飽和度平均値が所定閾値以上の場合、ステップ704を行い;
本実施方式でが、第二閾値の具体的な数値は、例えば、経験値に基づいて予め設定されても良く、本発明は、該第二閾値について限定しない。
ステップ704:該候補領域に煙が存在しないと確定する。
本実施方式では、例えば、現在の飽和度平均値が第二閾値以上のとき、該移動物体の飽和度が比較的高いことを意味する。しかし、一般的に言えば、煙の飽和度が比較的低い。よって、該候補領域に煙が存在しないと確定することができ、この場合、現在のフレームのこの“候補領域”を“候補領域”リストから削除することができる。また、現在の飽和度平均値が第二閾値よりも小さいとき、該候補領域に煙が存在すると確定することができ、或いは、検出結果をより正確にするために、継続して該候補領域について他の項目の検出を行っても良い。
もう1つの実施方式(実施方式3)では、ある候補領域の、連続移動領域中での現在の飽和度情報と背景飽和度情報との比較結果に基づいて、該候補領域に煙が存在するかを確定することができる。
図8は、本発明の実施例における、ある候補領域に対しての煙検出を示すもう1つの図である。図8に示すように、前記方法は、次のようなステップを含む。
ステップ801:現在の画像に対して色空間変換を行い、彩度成分に基づいて飽和度彩度成分を計算し、現在の画像の飽和度図を取得し;
ステップ802:現在の画像の飽和度図に基づいて、該候補領域の連続移動領域中での現在の飽和度平均値を計算し;
ステップ803:背景画像に対して色空間変換を行い、彩度成分に基づいて飽和度彩度成分を計算し、背景画像の飽和度図を取得し;
ステップ804:背景画像の飽和度図に基づいて、該候補領域の連続移動領域中での背景飽和度平均値を計算する。
本実施方式では、該背景飽和度平均値の計算公式は、例えば、式(3)を採用しても良い。
ステップ805:該現在の飽和度平均値が該背景飽和度平均値以上であるかを判断し、該現在の飽和度平均値が該背景飽和度平均値以上の場合、ステップ806を行い;
ステップ806:該候補領域に煙が存在しないと確定する。
本実施方式では、例えば、現在の飽和度平均値が背景飽和度平均値以上のとき、該候補領域全体の飽和度が比較的高いことを意味する。しかし、一般的に言えば、煙を有する領域全体の飽和度が比較的低い。よって、該候補領域に煙が存在しないと確定することができ、この場合、現在のフレームのこの“候補領域”を“候補領域”リストから除去することができる。また、現在の飽和度平均値が背景飽和度平均値よりも小さい場合、該候補領域に煙が存在すると確定することができ、或いは、検出結果をより正確にするために、継続して該候補領域について他の項目の検出を行っても良い。
もう1つの実施方式(実施方式4)では、ある候補領域の連続移動領域中でのグレースケール分散情報に基づいて、該候補領域に煙が存在するかを確定することができる。
図9は、本発明の実施例における、ある候補領域に対しての煙検出を示す他の図である。図9に示すように、前記方法は、次のステップを含む。
ステップ901:現在の画像のグレースケール図に基づいて、該候補領域の連続移動領域中でのグレースケール分散値を計算する。
例えば、該グレースケール分散値の計算公式は、次の式(4)に示す通りである。
Figure 0006620888
ここで、Ωは、該連続移動領域であり、Nは、該連続移動領域中の画素数であり、iは、該連続移動領域中のある画素であり、Yiは、該画素iのグレースケール値であり、Yavgは、該連続移動領域のグレースケール平均値であり、Varは、該グレースケール分散値である。
式(4)は、如何に該グレースケール分散値を計算するかを例示するだけであり、本発明は、これに限定されず、実際の状況に応じて、適切に調整又は変更しても良い。また、グレースケール図又はグレースケール値を具体的にどのように計算するかは、従来の任意の方法を採用しても良く、ここでは、詳しい説明を省略する。
ステップ902:グレースケール分散値が所定閾値(第三閾値)以上であるかを判断し、該グレースケール分散値が所定閾値以上の場合、ステップ903を行い;
本実施方式では、第三閾値の具体的な数値は、例えば、経験値に基づいて予め設定されても良く、本発明は、該第三閾値について限定しない。
ステップ903:該候補領域に煙が存在しないと確定する。
本実施方式では、例えば、グレースケール分散値が第三閾値以上のとき、物体のテクスチャーが比較的高いことを意味する。しかし、一般的に言えば、煙のテクスチャーが比較的低い。よって、該候補領域に煙が存在しないと確定することができ、この場合、現在のフレームのこの“候補領域”を“候補領域”リストから除去することができる。また、グレースケール分散値が第三閾値よりも小さい場合、該候補領域に煙が存在すると確定することができ、或いは、検出結果をより正確にするために、継続して該候補領域について他の項目の検出を行っても良い。
もう1つの実施方式(実施方式5)では、ある候補領域の連続移動領域中でのグレースケール平均値情報に基づいて、該候補領域に煙が存在するかを確定することができる。
図10は、本発明の実施例における、ある候補領域に対しての煙検出を示すもう1つの図である。図10に示すように、前記方法は、次のようなステップを含む。
ステップ1001:連続移動領域のうちから該候補領域を除去し、剰余移動領域を取得する。
図11は、本発明の実施例における剰余移動領域の取得を示す図であり、図4をもとに得られた剰余移動領域を例示する。図11に示すように、図4に示すような連続移動領域402のうちから現在の画像(第N個目のフレーム)の候補領域401を除去し、これにより、剰余移動領域1101を得ることができる。
ステップ1002:現在の画像のグレースケール図に基づいて、該剰余移動領域の現在のグレースケール平均値情報を計算する。
例えば、該現在のグレースケール平均値の計算公式は、次の式(5)に示す通りである。
Figure 0006620888
ここで、Ωは、該剰余移動領域であり、Nは、該剰余移動領域中の画素数であり、iは、該剰余移動領域中のある画素であり、Yiは、該画素iの現在の画像中でのグレースケール値であり、Favgは、該剰余移動領域の現在のグレースケール平均値である。
ステップ1003:背景画像のグレースケール図に基づいて、該剰余移動領域の背景グレースケール平均値を計算する。
例えば、該背景グレースケール平均値の計算公式は、式(6)に示す通りである。
Figure 0006620888
ここで、Ωは、該剰余移動領域であり、Nは、該剰余移動領域の画素数であり、jは、該剰余移動領域のある画素であり、Yjは、該画素jの背景画像中でのグレースケール値であり、Bavgは、該剰余移動領域の背景グレースケール平均値である。
ステップ1004:該現在のグレースケール平均値と該背景グレースケール平均値の差を計算し;
ステップ1005:該差が所定閾値(第四閾値)以下であるかを判断し、該差が所定閾値以下の場合、ステップ1006を行う。
本実施方式では、第四閾値の具体的な数値は、例えば、経験値に基づいて予め設定されても良く、本発明は、該第四閾値について限定しない。
ステップ1006:該候補領域に煙が存在しないと確定する。
本実施方式では、例えば、該現在のグレースケール平均値情報と該背景グレースケール平均値の差が第四閾値以下の場合、該候補領域中の移動物体が剛体であることを意味する。しかし、一般的に言えば、煙がびまん発散の特徴を有する。よって、該候補領域に煙が存在しないと確定することができ、この場合、現在のフレームのこの“候補領域”を“候補領域”リストから除去することができる。また、このような差が第四閾値よりも大きい場合、該候補領域に煙が存在すると確定することができ、或いは、検出結果をより正確にするために、継続して該候補領域について他の項目の検出を行っても良い。
もう1つの実施方式(実施方式6)では、ある候補領域の勾配方向情報に基づいて、該候補領域に煙が存在するかを確定することができる。
図12は、本発明の実施例における、ある候補領域に対しての煙検出を示すもう1つの図である。図12に示すように、前記方法は、次のようなステップを含む。
ステップ1201:該候補領域内のある画素について、現在の画像のグレースケール図に基づいて該画素の水平勾配及び垂直勾配を計算し、該画素の現在の画像勾配方向を取得し;
ステップ1202:背景画像のグレースケール図に基づいて、該画素の水平勾配及び垂直勾配を計算し、該画素の背景画像勾配方向を取得する。
本実施方式では、例えば、次のような式(7)により、前記ある画素の水平勾配を計算することができる。
Figure 0006620888
また、次の式(8)により、該画素の垂直勾配を計算することができる。
Figure 0006620888
ここで、fは、該画素であり、xは、画素fのx座標であり、yは、画素fのy座標である。
ステップ1203:該画素の現在の画像勾配方向と背景画像勾配方向の夾角に関連する値を計算する。
本実施方式では、現在の画像勾配方向及び背景画像勾配方向に基づいて夾角を取得し、その後、該夾角の関連値(例えば、余弦(cosの値))を計算しても良いが、本実施方式は、これに限定されず、例えば、他の関連値(例えば、余接(cotの値)など)を計算しても良い。以下、夾角の余弦値を例として説明を行う。
ステップ1204:該候補領域内の複数の画素(例えば、すべての画素)の夾角の関連値を統計して平均化を行い、そして、該候補領域の平均夾角関連値を勾配方向情報平均値とする。
ステップ1205:該勾配方向情報平均値が所定閾値(第五閾値)以上であるかを判断し、該勾配方向情報平均値が所定閾値以上である場合、ステップ1206を行う。
本実施方式では、第五閾値の具体的な数値は、例えば、経験値に基づいて予め設定されても良く、本発明は、該第五閾値について限定しない。
ステップ1206:該候補領域に煙が存在しないと確定する。
本実施方式では、例えば、該勾配方向情報平均値が第五閾値以上の場合、該候補領域が真正の移動物体による前景でなく、光照変化による偽前景であることを意味する。よって、現在のフレームのこの“候補領域”を“候補領域”リストから除去することができる。また、勾配方向情報平均値が第五閾値よりも小さい場合、該候補領域に煙が存在すると確定することができ、或いは、検出結果をより正確にするために、継続して該候補領域について他の項目の検出を行っても良い。
以上、ある候補領域に煙が存在することを如何に判断するかを例示的に説明した。なお、本発明は、これに限定されず、例えば、さらに他の属性情報を用いて判断を行っても良い。また、上述の式(1)乃至(8)は、本発明を例示的に説明するためだけのものであり、本発明は、これに限定されず、実際の状況に応じて上述の式(1)乃至(8)について適切に変更を行っても良い。
また、上述の実施方式1乃至6のうちの1つ又は複数を採用しても良く、例えば、そのうちのある実施方式のみを使用しても良く、上述の6種類の実施方式をすべて使用しても良い。さらに、上述の実施方式の間の実行順序への制限が存在せず、例えば、実施方式1乃至6をこの順に実施しても良く、実施方式4を実施した後に実施方式2を実施しても良い。即ち、実際の応用にあたって、実際の状況に応じて具体的な検出案を確定しても良い。
上述の実施例から分かるように、前景画像に基づいて1つ又は複数の候補領域を取得し、ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し、そして、該属性情報に基づいて該候補領域に煙が存在するかを確定することにより、ビデオ画像から煙を迅速かつ正確に検出することができるだけでなく、ビデオに基づく煙検出の照度変化及び複雑環境の下での検出精度を向上させることもできる。
本発明の実施例は、煙検出装置を提供し、それは、実施例1に記載の煙検出方法に対応し、ここで、同じの内容は、省略される。
図13は、本発明の実施例における煙検出装置を示す図である。図13に示すように、煙検出装置1300は、次のようなものを含む。
背景画像モデル化ユニット1301:現在の画像に対して背景画像モデル化を行い、現在の画像の前景画像及び背景画像を取得し;
候補領域取得ユニット1302:前景画像に基づいて、現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し;
属性情報計算ユニット1303:ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し;
煙確定ユニット1304:該候補領域の、現在の画像及び/又は背景画像に対応する属性情報に基づいて、該候補領域に煙が存在するかを確定する。
図14は、本発明の実施例における候補領域取得ユニットを示す図である。図14に示すように、候補領域取得ユニット1302は、次のようなものを含んでも良い。
2値化画像取得ユニット1401:前景画像の2値化画像を取得し;
連通領域取得ユニット1402:2値化画像中の画素値が同じであり且つ互いに連通した複数の画素を1つの連通領域とし、前景画像中の、移動物体を示す1つ又は複数の連通領域を取得し;
連通領域選択ユニット1403:連通領域に対して選択を行い、1つ又は複数の候補領域を取得する。
ここで、連通領域選択ユニット1403は、面積が所定閾値以下の連通領域を除去し、及び/又は、平均色深度が所定範囲以外の連通領域を除去することができる。なお、本発明は、これに限定されず、さらに他のルールに従って連通領域に対して選択を行っても良い。
図15は、本発明の実施例における煙検出装置を示す他の図である。図15に示すように、煙検出装置1500は、背景画像モデル化ユニット1301、候補領域取得ユニット1302、属性情報計算ユニット1303及び煙確定ユニット1304を上述のように含む。
図15に示すように、煙検出装置1500は、さらに、次のようなものを含んでも良い。
移動領域取得ユニット1501:該候補領域の、現在の画像を含む複数の画像フレーム中のそれぞれの位置に基づいて、該候補領域に対応する連続移動領域を取得する。
属性情報計算ユニット1303は、さらに、連続移動領域に基づいて、該候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算する。
1つの実施方式では、ある候補領域の複数の画像フレーム中での主移動方向が下向きであるかに基づいて、該候補領域に煙が存在するかを確定することができる。
本実施方式では、属性情報計算ユニット1303は、さらに、該候補領域の複数の画像フレーム中での主移動方向を取得し、煙確定ユニット1304は、さらに、該候補領域の主移動方向が下向きのとき、該候補領域に煙が存在しないと確定する。
図16は、本発明の実施例における属性情報計算ユニットを示す図である。図16に示すように、属性情報計算ユニット1303は、次のようなものを含んでも良い。
移動方向計算ユニット1601:該候補領域の質量中心位置及び重心位置に基づいて、該候補領域の複数の画像フレーム中での現在の画像に対しての移動方向を計算し;
移動方向統計ユニット1602:各移動方向の複数の画像フレーム中での出現頻度を統計し;
主移動方向確定ユニット1603:出現頻度が最も高い移動方向を該候補領域の主移動方向とする。
もう1つの実施方式では、ある候補領域の連続移動領域中での飽和度情報が所定閾値よりも小さいかに基づいて、該候補領域に煙が存在するかを確定することができる。
図17は、本発明の実施例における属性情報計算ユニットを示す他の図である。図17に示すように、属性情報計算ユニット1303は、次のようなものを含んでも良い。
現在の飽和度図取得ユニット1701:現在の画像に対して色空間変換を行い、彩度成分に基づいて飽和度彩度成分を計算し、現在の画像の飽和度図を取得し;
現在の飽和度計算ユニット1702:現在の画像の飽和度図に基づいて、該候補領域の連続移動領域中での現在の飽和度平均値を計算する。
本実施方式では、煙確定ユニット1304は、さらに、現在の飽和度平均値が所定閾値以上の場合、該候補領域に煙が存在しないと確定する。
他の実施方式では、ある候補領域の連続移動領域中での現在の飽和度情報と背景飽和度情報の比較結果に基づいて、該候補領域に煙が存在するかを確定することができる。
図18は、本発明の実施例における属性情報計算ユニットを示す他の図である。図18に示すように、属性情報計算ユニット1303は、現在の飽和度図取得ユニット1701及び現在の飽和度計算ユニット1702を上述のように含む。
図18に示すように、属性情報計算ユニット1303は、さらに、次のようなものを含んでも良い。
背景飽和度図取得ユニット1801:背景画像に対して色空間変換を行い、彩度成分に基づいて飽和度彩度成分を計算し、背景画像の飽和度図を取得し;
背景飽和度計算ユニット1802:背景画像の飽和度図に基づいて、該候補領域の連続移動領域中での背景飽和度平均値を計算する。
本実施方式では、煙確定ユニット1304は、さらに、現在の飽和度平均値が背景飽和度平均値以上の場合、該候補領域に煙が存在しないと確定する。
もう1つの実施方式では、ある候補領域の連続移動領域中でのグレースケール分散情報に基づいて、該候補領域に煙が存在するかを確定することができる。
図19は、本発明の実施例における属性情報計算ユニットを示す他の図である。図19に示すように、属性情報計算ユニット1303は、次のようなものを含んでも良い。
分散値計算ユニット1901:現在の画像のグレースケール図に基づいて、該候補領域の連続移動領域中でのグレースケール分散値を計算する。
本実施方式では、煙確定ユニット1304は、さらに、グレースケール分散値が所定閾値以上のとき、該候補領域に煙が存在しないと確定する。
他の実施方式では、ある候補領域の連続移動領域中でのグレースケール平均値情報に基づいて、該候補領域に煙が存在するかを確定することができる。
図20は、本発明の実施例における属性情報計算ユニットを示す他の図である。図20に示すように、属性情報計算ユニット1303は、次のようなものを含んでも良い。
移動領域調整ユニット2001:連続移動領域から該候補領域を除去して、剰余移動領域を取得し;
現在の平均値計算ユニット2002:現在の画像のグレースケール図に基づいて、該剰余移動領域の現在のグレースケール平均値を計算し;
背景平均値計算ユニット2003:背景画像のグレースケール図に基づいて、該剰余移動領域の背景グレースケール平均値を計算し;
差計算ユニット2004:該現在のグレースケール平均値と該背景グレースケール平均値との差を計算する。
本実施方式では、煙確定ユニット1304は、さらに、現在のグレースケール平均値と背景グレースケール平均値の差が所定閾値以下の場合、該候補領域に煙が存在しないと確定する。
他の実施方式では、ある候補領域の勾配方向情報に基づいて、該候補領域に煙が存在するかを確定することができる。
本実施方式では、属性情報計算ユニット1303は、さらに、該候補領域の勾配方向情報平均値を計算し、煙確定ユニット1304は、さらに、勾配方向情報平均値が所定閾値以上の場合、該候補領域に煙が存在しないと確定する。
図21は、本発明の実施例における属性情報計算ユニットを示す図である。図21に示すように、属性情報計算ユニット1303は、次のようなものを含んでも良い。
現在の勾配計算ユニット2101:該候補領域内のある画素について、現在の画像のグレースケール図に基づいて、該画素の水平勾配及び垂直勾配を計算し、該画素の現在の画像勾配方向を取得し;
背景勾配計算ユニット2102:背景画像のグレースケール図に基づいて、該画素の水平勾配及び垂直勾配を計算し、該画素の背景画像勾配方向を取得し;
夾角関連値計算ユニット2103:該画素の現在の画像勾配方向と背景画像勾配方向の夾角の関連値を計算し;
勾配平均値取得ユニット2104:該候補領域内の複数の画素の夾角の関連値を統計して平均化を行い、該候補領域の平均夾角関連値を勾配方向情報平均値とする。
本実施例では、属性情報は、次のようなもののうちの1つ又は複数を含んでも良く、即ち、飽和度情報、グレースケール分散情報、勾配方向情報、グレースケール平均値情報、移動方向情報である。しかし、本発明は、これに限定されず、例えば、他の属性情報を用いて判断を行っても良い。また、上述の実施方式のうちの1つ又は複数を採用しても良く、即ち、実際の状況に応じて具体的な検出案を確定しても良い。
上述の実施例から分かるように、前景画像に基づいて1つ又は複数の候補領域を取得し、ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し、そして、該属性情報に基づいて該候補領域に煙が存在するかを確定することにより、ビデオ画像から煙を迅速かつ正確に検出することができるだけでなく、ビデオに基づく煙検出の照度変化及び複雑環境の下での検出精度を向上させることもできる。
本発明の実施例は、画像処理装置を提供し、該画像処理装置は、実施例2に記載の煙検出装置を含む。
図22は、本発明の実施例における画像処理装置を示す図である。図22に示すように、画像処理装置2200は、中央処理装置(CPU)100及び記憶器110を含み、記憶器110は、中央処理装置100に接続される。ここで、該記憶器110は、各種のデータを記憶することができ、また、情報処理用のプログラムをさらに記憶することができ、且つ中央処理装置100の制御下で該プログラムを実行することができる。
1つの実施方式では、煙検出装置の機能は、中央処理装置100に統合することができる。ここで、中央処理装置100は、実施例1に記載の煙検出方法を制御するように構成されても良い。
もう1つの実施方式では、煙検出装置は、中央処理装置100と別々で配置されても良く、例えば、煙検出装置を、中央処理装置100に接続されるチップとして構成し、中央処理装置100の制御により煙検出装置の機能を実現しても良い。
本実施例では、中央処理装置100は、次のような制御を行うように構成されても良く、即ち、現在の画像に対して背景画像モデル化を行い、現在の画像の前景画像及び背景画像を取得し;前景画像に基づいて、現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し;ある候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算し;及び該属性情報に基づいて該候補領域に煙が存在するかを確定する。
さらに、中央処理装置100は、次のような制御を行うように構成されても良く、即ち、該候補領域の、複数の画像フレーム中でのそれぞれの位置に基づいて、該候補領域に対応する連続移動領域を取得し;また、該連続移動領域に基づいて、該候補領域の、現在の画像及び/又は背景画像に対応する属性情報を計算する。
また、図22に示すように、画像処理装置2200は、さらに、入出力(I/O)装置120、表示器130などを含んでも良い。なお、これらの部件の機能は、従来技術に類似しているため、ここでは詳しい説明を省略する。なお、画像処理装置2200は、必ずしも図22中の全てのものを含む必要がない。また、画像処理装置2200は、さらに図22中にないものを含んでも良く、これについては、従来技術を参照することができる。
本発明の実施例は、コンピュータ可読プログラムを提供し、ここで、画像処理装置中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記画像処理装置中で実施例1に記載の煙検出方法を実行させる。
本発明の実施例は、コンピュータ可読プログラムを記憶した記憶媒体を提供し、前記コンピュータ可読プログラムは、コンピュータに、前記画像処理装置中で実施例1に記載の煙検出方法を実行させる。
本発明の以上の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に、上述の装置又は構造部品を実現させ、又は、該ロジック部品に、上述の各種の方法又はステップを実現させる。ロジック部品は、例えば、FPGA(Field Programmable Gate Array)、マイクロプロセッサー、コンピュータに用いる処理器などであっても良い。本発明は、さらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、DVD、フラッシュメモリなどにも関する。
図面に記載の機能ブロックのうちの1つ又は複数の組み合わせ及び/又は機能ブロックの1つ又は複数の組み合わせは、本願に記載の機能を実行するための汎用処理器、デジタル信号処理器(DSP)、専用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組む合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの1つ又は複数の組み合わせ及び/又は機能ブロックの1つ又は複数の組み合わせは、さらに、計算装置の組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPと通信により接続される1つ又は複数のマイクロプロセッサ又は他の任意のこのような構成として構成されても良い。
以上、本発明の好ましい実施形態を説明したが、本発明はこのような実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (15)

  1. 煙検出装置であって、
    現在の画像に対して背景画像モデル化を行い、前記現在の画像の前景画像及び背景画像を取得する背景画像モデル化ユニット
    前記前景画像に基づいて、前記現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を得る候補領域取得ユニット
    ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算する属性情報計算ユニット及び
    前記属性情報に基づいて、前記ある候補領域に煙が存在するかを確定する煙確定ユニットを含み、
    前記煙検出装置は、
    前記ある候補領域の、複数の画像フレーム中でのそれぞれの位置に基づいて、前記ある候補領域に対応する連続移動領域を得る移動領域取得ユニットをさらに含み、
    前記属性情報計算ユニットは、前記連続移動領域に基づいて、前記ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、前記ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算し、
    前記属性情報計算ユニットは、
    前記現在の画像に対して色空間変換を行い、彩度成分を計算し、前記現在の画像の彩度図を得る彩度図取得ユニット、及び
    前記現在の画像の彩度図に基づいて、前記ある候補領域の、前記連続移動領域中での現在の彩度平均値を計算する彩度計算ユニットを含み、
    前記属性情報計算ユニットは、さらに、
    前記背景画像に対して色空間変換を行い、彩度成分を計算し、前記背景画像の彩度図を得る背景彩度図取得ユニット、及び
    前記背景画像の彩度図に基づいて、前記ある候補領域の、前記連続移動領域中での背景彩度平均値を計算する背景彩度計算ユニットを含み、
    前記煙確定ユニットは、さらに、前記現在の彩度平均値が前記背景彩度平均値以上のとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  2. 請求項に記載の煙検出装置であって、
    前記煙確定ユニットは、さらに、前記現在の彩度平均値が所定閾値以上のとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  3. 請求項に記載の煙検出装置であって、
    前記属性情報計算ユニットは、
    前記現在の画像のグレースケール図に基づいて、前記ある候補領域の、前記連続移動領域中でのグレースケール分散値を計算する分散値計算ユニットを含む、煙検出装置。
  4. 請求項に記載の煙検出装置であって、
    前記煙確定ユニットは、さらに、前記グレースケール分散値が所定閾値以上のとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  5. 請求項に記載の煙検出装置であって、
    前記属性情報計算ユニットは、
    前記連続移動領域のうちから前記ある候補領域を除去し、剰余移動領域を取得する移動領域調整ユニット
    前記現在の画像のグレースケール図に基づいて、前記剰余移動領域の現在のグレースケール平均値情報を計算する平均値計算ユニット
    前記背景画像のグレースケール図に基づいて、前記剰余移動領域の背景グレースケール平均値を計算する背景平均値計算ユニット
    前記現在のグレースケール平均値と前記背景グレースケール平均値との差を計算する差計算ユニットを含む、煙検出装置。
  6. 請求項に記載の煙検出装置であって、
    前記煙確定ユニットは、さらに、前記差が所定閾値以下のとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  7. 請求項1に記載の煙検出装置であって、
    前記属性情報計算ユニットは、
    前記ある候補領域内のある画素について、前記現在の画像のグレースケール図に基づいて前記ある画素の水平勾配及び垂直勾配を計算し、前記ある画素の現在の画像勾配方向を得る勾配計算ユニット
    前記背景画像のグレースケール図に基づいて、前記ある画素の水平勾配及び垂直勾配を計算し、前記ある画素の背景画像勾配方向を取得する背景勾配計算ユニット
    前記ある画素の前記現在の画像勾配方向と前記背景画像勾配方向との夾角の関連値を計算する夾角関連値計算ユニット及び
    前記ある候補領域内の複数の画素の前記夾角の関連値を統計して平均化を行い、前記ある候補領域の平均夾角関連値を勾配方向情報平均値とする勾配平均値取得ユニットを含む、煙検出装置。
  8. 請求項に記載の煙検出装置であって、
    前記煙確定ユニットは、さらに、前記勾配方向情報平均値が所定閾値以上のとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  9. 請求項1に記載の煙検出装置であって、
    前記候補領域取得ユニットは、
    前記前景画像の2値化画像を得る2値化画像取得ユニット
    前記2値化画像中の、画素値が同じであり且つ互いに連通する複数の画素を1つの連通領域とし、前記前景画像中の、移動物体を示す1つ又は複数の連通領域を得る連通領域取得ユニット
    前記連通領域に対して選択を行い、前記1つ又は複数の候補領域を得る連通領域選択ユニットを含む、煙検出装置。
  10. 請求項に記載の煙検出装置であって、
    前記連通領域選択ユニットは、面積が所定閾値以下の前記連通領域、及び、平均色深度が所定範囲以外の前記連通領域を除去する、煙検出装置。
  11. 請求項1に記載の煙検出装置であって、
    前記属性情報計算ユニットは、
    前記ある候補領域の重心位置に基づいて、前記ある候補領域の複数の画像フレーム中での前記現在の画像に対しての移動方向を計算する移動方向計算ユニット
    各移動方向の前記複数の画像フレーム中での出現頻度を統計する移動方向統計ユニット及び
    出現頻度が最も高い移動方向を前記ある候補領域の主移動方向として確定する主移動方向確定ユニットを含む、煙検出装置。
  12. 請求項11に記載の煙検出装置であって、
    前記煙確定ユニットは、さらに、前記ある候補領域の主移動方向が下向きのとき、前記ある候補領域に煙が存在しないと確定する、煙検出装置。
  13. 煙検出方法であって、
    現在の画像に対して背景画像モデル化を行い、前記現在の画像の前景画像及び背景画像を取得し
    前記前景画像に基づいて、前記現在の画像中の、移動物体を検出するための1つ又は複数の候補領域を取得し
    ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算し、及び
    前記属性情報に基づいて、前記ある候補領域に煙が存在するかを確定することを含み、
    前記煙検出方法は、
    前記ある候補領域の、複数の画像フレーム中での位置に基づいて、前記ある候補領域に対応する連続移動領域を得ることをさらに含み、
    前記ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算することは、
    前記連続移動領域に基づいて、前記ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、前記ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算し、
    前記連続移動領域に基づいて、前記ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、前記ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算することは、
    前記現在の画像に対して色空間変換を行い、彩度成分を計算し、前記現在の画像の彩度図を取得し、及び
    前記現在の画像の彩度図に基づいて、前記ある候補領域の、前記連続移動領域中での現在の彩度平均値を計算することを含み、
    前記連続移動領域に基づいて、前記ある候補領域の、前記現在の画像に対応する属性情報を計算し、又は、前記ある候補領域の、前記現在の画像及び前記背景画像に対応する属性情報を計算することは、さらに、
    前記背景画像に対して色空間変換を行い、彩度成分を計算し、前記背景画像の彩度図を取得し、及び
    前記背景画像の彩度図に基づいて、前記ある候補領域の、前記連続移動領域中での背景彩度平均値を計算することを含み、
    前記属性情報に基づいて、前記ある候補領域に煙が存在するかを確定することは、さらに、
    前記現在の彩度平均値が前記背景彩度平均値以上のとき、前記ある候補領域に煙が存在しないと確定する、煙検出方法。
  14. 請求項13に記載の煙検出方法であって、
    前記属性情報は、彩度情報、グレースケール分散情報、勾配方向情報、グレースケール平均値情報、及び移動方向情報のうちの1つ又は複数を含む、煙検出方法。
  15. 画像処理装置であって、
    前記画像処理装置は、請求項1に記載の煙検出装置を含む、画像処理装置。
JP2018525692A 2015-11-20 2015-11-20 煙検出装置、方法及び画像処理装置 Active JP6620888B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/095178 WO2017084094A1 (zh) 2015-11-20 2015-11-20 烟雾检测装置、方法以及图像处理设备

Publications (2)

Publication Number Publication Date
JP2019504379A JP2019504379A (ja) 2019-02-14
JP6620888B2 true JP6620888B2 (ja) 2019-12-18

Family

ID=58717279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525692A Active JP6620888B2 (ja) 2015-11-20 2015-11-20 煙検出装置、方法及び画像処理装置

Country Status (5)

Country Link
US (1) US10846867B2 (ja)
EP (1) EP3379509A4 (ja)
JP (1) JP6620888B2 (ja)
CN (1) CN108140291A (ja)
WO (1) WO2017084094A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997461B (zh) * 2017-03-28 2019-09-17 浙江大华技术股份有限公司 一种烟火检测方法及装置
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院(吴江) 一种基于视频图像的烟火检测方法和装置
CN109035666B (zh) * 2018-08-29 2020-05-19 深圳市中电数通智慧安全科技股份有限公司 一种火烟检测方法、装置及终端设备
CN109142176B (zh) * 2018-09-29 2024-01-12 佛山市云米电器科技有限公司 基于空间联系的烟雾子区域空间复检方法
CN109028234B (zh) * 2018-09-29 2020-11-10 佛山市云米电器科技有限公司 一种能够对烟雾等级进行标识的油烟机
CN111353334A (zh) 2018-12-21 2020-06-30 富士通株式会社 烟雾检测方法和装置
CN111060442B (zh) * 2019-04-30 2022-06-17 威海戥同测试设备有限公司 一种基于图像处理的油液颗粒检测方法
CN110263654A (zh) * 2019-05-23 2019-09-20 深圳市中电数通智慧安全科技股份有限公司 一种火焰检测方法、装置及嵌入式设备
CN111144312B (zh) * 2019-12-27 2024-03-22 中国移动通信集团江苏有限公司 图像处理方法、装置、设备和介质
CN112115875B (zh) * 2020-09-21 2024-05-24 北京林业大学 一种基于动静态结合区域层叠策略森林火灾烟雾根检测方法
US11908195B2 (en) 2020-12-01 2024-02-20 Devon Energy Corporation Systems, methods, and computer program products for object detection and analysis of an image
CN112616049B (zh) * 2020-12-15 2022-12-02 南昌欧菲光电技术有限公司 监控设备水雾霜处理方法、装置、设备和介质
CN112819791A (zh) * 2021-02-03 2021-05-18 广州市云景信息科技有限公司 环检线上的林格曼黑度检测方法、装置、检测仪及黑烟车识别系统
KR102279627B1 (ko) 2021-03-02 2021-07-21 한국콜마주식회사 내용물 용기
CN113112453B (zh) * 2021-03-22 2022-03-22 深圳市华启生物科技有限公司 胶体金检测卡识别方法、系统、电子设备及存储介质
TWI793901B (zh) * 2021-12-08 2023-02-21 威盛電子股份有限公司 煙霧偵測系統以及煙霧偵測方法
CN116433035B (zh) * 2023-06-13 2023-09-15 中科数创(临沂)数字科技有限公司 一种基于人工智能的建筑电气火灾风险评估预测方法
CN116503388B (zh) * 2023-06-25 2023-11-14 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4672658B2 (ja) * 2006-04-26 2011-04-20 三菱電機株式会社 物体検出装置及びエレベータの物体検出装置
JP4926603B2 (ja) * 2006-08-17 2012-05-09 能美防災株式会社 煙検出装置
US7859419B2 (en) * 2006-12-12 2010-12-28 Industrial Technology Research Institute Smoke detecting method and device
KR100858140B1 (ko) * 2007-02-20 2008-09-10 (주)에이치엠씨 영상처리를 이용한 화재 감지 방법 및 시스템
EP2000952B1 (en) * 2007-05-31 2013-06-12 Industrial Technology Research Institute Smoke detecting method and device
CN101609589A (zh) * 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测系统
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
CN101441771B (zh) * 2008-12-19 2011-07-20 中国科学技术大学 基于色彩饱和度与运动模式的视频火灾烟雾检测方法
CN101738394B (zh) * 2009-02-11 2011-10-05 北京智安邦科技有限公司 室内烟雾检测方法及系统
CN101751558B (zh) * 2009-12-16 2011-12-14 北京智安邦科技有限公司 一种基于视频的隧道烟雾检测方法及装置
US9082165B2 (en) * 2010-05-31 2015-07-14 Dvp Technologies Ltd. Inspection of region of interest
CN101908141B (zh) * 2010-08-04 2014-05-07 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN101916372B (zh) * 2010-09-08 2012-12-26 大连古野软件有限公司 基于视频的多特征融合的烟检测装置和方法
CN102136059B (zh) * 2011-03-03 2012-07-04 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
JP5697587B2 (ja) * 2011-12-09 2015-04-08 三菱電機株式会社 車両火災検出装置
CN102663869B (zh) * 2012-04-23 2013-09-11 国家消防工程技术研究中心 基于视频监控平台的室内火灾检测方法
JP5971761B2 (ja) * 2013-03-26 2016-08-17 能美防災株式会社 煙検出装置および煙検出方法
DE102013017395B3 (de) * 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
CN104978733B (zh) * 2014-04-11 2018-02-23 富士通株式会社 烟雾检测方法以及装置
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法
CN103983574B (zh) * 2014-06-03 2016-08-24 上海安维尔信息科技有限公司 一种烟雾检测方法
CN104316974B (zh) * 2014-11-04 2017-03-01 青岛橡胶谷知识产权有限公司 森林烟雾区域检测系统
CN104408745A (zh) * 2014-11-18 2015-03-11 北京航空航天大学 一种基于视频图像的实时烟雾场景检测方法

Also Published As

Publication number Publication date
WO2017084094A1 (zh) 2017-05-26
JP2019504379A (ja) 2019-02-14
US20180260963A1 (en) 2018-09-13
EP3379509A4 (en) 2019-10-30
CN108140291A (zh) 2018-06-08
US10846867B2 (en) 2020-11-24
EP3379509A1 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
JP6620888B2 (ja) 煙検出装置、方法及び画像処理装置
US10740652B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
Camplani et al. Depth-color fusion strategy for 3-D scene modeling with Kinect
US10839521B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
WO2017197988A1 (zh) 一种确定物体体积的方法及装置
JP6024658B2 (ja) 物体検出装置、物体検出方法及びプログラム
US10957068B2 (en) Information processing apparatus and method of controlling the same
JP2018507476A (ja) コンピュータビジョンに関する遮蔽処理
US20200410211A1 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
CN110717489A (zh) Osd的文字区域的识别方法、装置及存储介质
JPWO2012127618A1 (ja) 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
WO2022237026A1 (zh) 平面信息检测方法及系统
US10573073B2 (en) Information processing apparatus, information processing method, and storage medium
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
CN109819206B (zh) 基于影像的物件追踪方法及其系统与电脑可读取存储媒体
US20180047182A1 (en) System and Method for Processing Depth Images which Capture an Interaction of an Object Relative to an Interaction Plane
JP6229554B2 (ja) 検出装置および検出方法
JP2015045919A (ja) 画像認識方法及びロボット
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
KR20200083202A (ko) 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
WO2020001016A1 (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
JPWO2014033885A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6620888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150