JP7843977B2 - Ａｉ基盤の映像分析と炎検知センサーを利用した統合火災検知システム - Google Patents

Description

本発明は、ＡＩ基盤の映像分析と炎検知センサーを利用した統合火災検知システムに係り、より詳細には、人工知能基盤の映像分析及び炎検知センサーを用いて火災検知の正確度を高めうる統合火災検知システムに関する。

伝統的な炎検知センサーは、炎の光量または温度変化を検知して火災を知らせる。

ところで、炎検知センサーの場合、煙やその他の浮遊物によって赤外線が吸収されて感度が落ちてしまい、実際の火災ではない明かりにも誤って反応するなどの誤検知の可能性が高いという短所がある。

これにより、最近、ＣＣＴＶやカメラからの映像データをＡＩに基づいて分析して火災の状況を判断する技術の開発が活発に行われている。このようなＡＩ基盤の映像分析技法を活用する場合、単純に炎検知センサーを利用する場合よりも火災監視装置の誤動作を減らしうる。

したがって、ＡＩ基盤の映像分析技術と炎検知センサー機能とを結合して正確に火災検知を行える技術が要求される。

本発明の背景となる技術は、大韓民国登録特許第１０－２０２０－００４１８４９号（２０２０．０４．２２．公開）に開示されている。

本発明は、ＡＩ基盤の映像分析と炎検知結果とを用いて火災検知の効率及び正確度を高めうるＡＩ基盤の映像分析と炎検知センサーを利用した統合火災検知システムを提供するところにその目的がある。

本発明による統合火災検知システムは、炎検知センサーから監視領域内の炎センシング値を獲得するセンシング値獲得部；カメラから前記監視領域を撮影した映像を獲得する映像獲得部；前記炎検知時に前記映像を人工知能を通じて分析して炎と煙とを認識して火災を検知し、映像内の火災地点を探知する映像分析部；前記監視領域に対する映像を画面を通じてリアルタイム出力するが、前記炎検知センサーによる炎検知時に１次アラームを設定方式で発生させ、映像分析を通じた火災検知時に前記火災地点を含む２次アラームを設定方式で発生させる制御部；を含む。

また、前記制御部は、前記１次アラーム時に前記映像が出力中である画面全体を点滅させ、前記２次アラーム時に画面を点滅すると共に、前記出力中である映像内に前記探知地点をボックス表示して提供することができる。

また、前記制御部は、複数の監視領域に対する映像をマトリックス配列された複数の分割画面領域にマッピングして同時表出し、アラーム発生時に、当該監視領域に対応した分割画面領域上に前記１次アラームまたは２次アラームを設定方式で出力することができる。

また、前記統合火災検知システムは、前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、そして、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測する予測部をさらに含みうる。

また、前記映像分析部は、前記火災検知時に前記映像を分析して少なくとも１つの客体を検出した後にヒューマン客体を分類し、前記ヒューマン客体の数、探知位置及び動き値を抽出することができる。

また、前記制御部は、前記予測された危険状況発生確率を臨界値と比較して、前記臨界値以上であれば、危険状況と判断して危険状況アラームを発生させうる。

また、前記統合火災検知システムは、前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の臨界値決定モデルに適用して前記臨界値を決定する臨界値決定部をさらに含み、前記制御部は、前記臨界値決定モデルによって決定された臨界値に基づいて前記危険状況の有無を判断することができる。

また、前記臨界値決定モデルは、前記ヒューマン客体の数が多いほど、ヒューマン客体の動き値が小さいほど、または前記距離が近いほど、前記臨界値が低くなるように学習される。

また、前記予測部は、前記映像から分析された火災のサイズ及び火災が広がる速度を前記予測モデルにさらに適用して前記危険状況発生確率を予測することができる。

そして、本発明による統合火災検知システムによって行われる統合火災検知方法は、カメラを通じて監視領域の映像を獲得して画面を通じてリアルタイム出力する段階；炎検知センサーを用いて前記監視領域内の炎を検知する段階；前記炎検知センサーによる炎検知時に１次アラームを設定方式で発生させる段階；前記監視領域の映像を人工知能を通じて分析して炎と煙とを認識して火災を検知し、映像内の火災地点を探知する段階；及び前記映像分析を通じた火災検知時に火災地点を含む２次アラームを設定方式で発生させる段階；を含む。

また、前記１次アラームを発生させる段階は、前記映像が出力中である画面全体を点滅させ、前記２次アラームを発生させる段階は、前記画面を点滅すると共に、前記出力中である映像内に前記探知地点をボックス表示して出力することができる。

また、前記統合火災検知方法は、前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、そして、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測する段階；及び前記予測された危険状況発生確率を臨界値と比較して、前記臨界値以上であれば、危険状況と判断して危険状況アラームを発生させる段階；をさらに含みうる。

また、前記統合火災検知方法は、前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の臨界値決定モデルに適用して前記臨界値を決定する段階をさらに含みうる。

本発明によれば、ＡＩ基盤の映像分析と炎検知結果とをいずれも活用して火災検知の効率及び正確度を高めうる。

本発明の実施形態による統合火災検知システムの構成を示す図面である。 炎検知センサーが装着されたカメラを例示的に示す図面である。 本発明の実施形態による統合火災検知方法を説明する図面である。

以下、添付した図面を参照して、本発明の実施形態について当業者が容易に実施できるように詳しく説明する。しかし、本発明は、さまざまな異なる形態として具現され、ここで説明する実施形態に限定されるものではない。そして、図面で本発明を明確に説明するために、説明と関係のない部分は省略し、明細書の全体を通じて類似した部分については、類似した図面符号を付する。

明細書の全体において、ある部分が、他の部分と「連結」されているとする時、これは、「直接連結」されている場合だけではなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分が、ある構成要素を「含む」とする時、これは、特に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。

図１は、本発明の実施形態による統合火災検知システムの構成を示す図面であり、図２は、炎検知センサーが装着されたカメラを例示的に示す図面である。

図１に示したように、本発明の実施形態による統合火災検知システム１００は、センシング値獲得部１１０、映像獲得部１２０、映像分析部１３０、制御部１４０を含み、予測部１５０、臨界値決定部１６０、カメラ１７０、炎検知センサー１８０、ディスプレイ部１９０をさらに含みうる。

ここで、各部１１０～１３０、１５０～１９０の動作と各部間のデータの流れは、制御部１４０によって制御される。

センシング値獲得部１１０は、炎検知センサー１８０から監視領域内の炎センシング値を獲得することができる。映像獲得部１２０は、カメラ１７０から監視領域を撮影した映像を獲得することができる。制御部１４０は、映像獲得部１２０で獲得した監視領域に対する映像データをディスプレイ部１９０を通じて提供することができる。ディスプレイ部１９０は、制御部１４０に含まれて具現されることもあり、ネットワーク連結された別途の官制サーバまたはユーザ端末に含まれることもある。

炎検知センサー１８０は、赤外線に基づいて現場で発生した炎を検知することができる。炎検知センサー１８０は、炎成分に該当した赤外線波長帯域の信号をフィルタリングする方法で炎の強度を検出することができる。この際、炎から出る赤外線輻射エネルギーのレベルが異なって測定され、これにより炎信号の強度の検出が可能となる。

図２のように、炎検知センサー１８０は、カメラ１７０に内蔵された形態として具現可能である。このようなカメラ１７０は、監視領域に設けられて映像と炎センシング値とをリアルタイム収集し、それをセンシング値獲得部１１０と映像獲得部１２０とに提供することができる。

ここで、カメラ１７０は、現場に設けられたネットワークカメラに該当する。カメラ１７０は、有線、無線あるいは有線または無線混合ネットワークを通じて監視対象現場の映像と炎センシング値とを統合火災検知システム１００にリアルタイムに提供することができる。

炎検知センサー１８０は、カメラ１７０に内蔵される形態以外にも、カメラ１７０の外部に連結されるか、カメラ１７０と別個に運用される。また、図面では、炎検知センサー１８０とカメラ１７０とが統合火災検知システム１００の外部に連結されたものを例示しているが、統合火災検知システム１００内に含まれることもある。

制御部１４０は、炎検知センサー１８０を通じた炎センシング値が既定の臨界値以上であれば、炎が検知されたと判断して１次アラームを発生させ、映像分析部１３０を制御して人工知能基盤の映像分析を行わせる。

映像分析部１３０は、炎検知時に映像を人工知能を通じて分析して炎と煙とを認識して火災を検知し、映像内の火災地点を探知することができる。

映像分析部１３０は、事前に学習された人工知能モデルに映像を入力して映像から火災の有無を探知することができる。例えば、人工知能モデルは、入力された映像内で炎、煙と関連した特徴（色相、形状、パターン）などを検出して映像内の火災位置または発火位置を検出することができる。このような映像分析部１３０は、映像分析の結果を制御部１４０に提供することができる。

制御部１４０は、炎検知センサー１８０による炎検知時に１次アラームを画面上に既定の方式（例：画面点滅）で発生させ、映像分析を通じた火災検知時に火災地点を含む２次アラームを画面上に既定の方式（例：映像内の火災地点（位置）をボックス処理表示）で発生させうる。

このように、制御部１４０は、１次アラーム時に現在映像が出力中であるディスプレイ部１９０の画面全体を点滅させ、２次アラーム時には画面を点滅すると共に、映像内に火災探知地点をボックス表示して案内することができる。

統合火災検知システム１００は、互いに異なる現場に対する映像を１つの画面上に同時表出して領域別の多重モニタリングを行える。

この場合、制御部１４０は、複数の監視領域別の映像をマトリックス配列された複数の分割画面領域にマッピングして同時表出し、アラーム発生時に、当該監視領域に対応した分割画面領域上に１次アラームまたは２次アラームを設定方式で出力することができる。

例えば、制御部１４０は、ディスプレイ画面を４行×５列に分割して総２０個の監視領域の映像を２０個の分割画面領域に一対一マッチングして出力することができる。もし、ｎ番目の監視領域で炎が検知された場合、それに対応したｎ番目の分割画面領域のみ点滅させ、映像分析の結果、ｎ番目の監視領域の左側上端地点で火災が探知された場合、ｎ番目の分割画面領域で出力中であるｎ番目の監視領域のリアルタイム映像で左側上端の火災探知地点をボックス処理して提供することができる。

本発明の実施形態において、映像分析部１３０は、火災検知時に、検知領域の映像を分析して少なくとも１つの客体を検出した後にヒューマン客体を分類し、映像内の客体分類結果に基づいてヒューマン客体の数、映像内の探知位置、動き値を抽出することができる。

この際、映像分析部１３０は、映像内の客体検出、分類及び追跡（ｔｒａｃｋｉｎｇ）を行う人工知能基盤のアルゴリズムを用いて映像内で少なくとも１つの客体を検出し、客体のうち、ヒューマン客体を分類することができ、これにより映像内のヒューマン客体の数、ヒューマン客体の探知位置を獲得することができる。

また、ヒューマン客体の動き値は、ヒューマン客体の動きを追跡することを通じて確認することができ、ヒトが倒れているか、倒れた場合、動き値が低く検出され、歩くか、走る状況では、動き値が大きく検出される。

予測部１５０は、映像内から分析されたヒューマン客体の数、ヒューマン客体の動き値、映像内のヒューマン客体の探知位置と火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測することができる。

この際、予測部１５０は、映像から分析された火災のサイズ及び火災が広がる速度を予測モデルにさらに適用して危険状況発生確率を予測することができ、これに基づいて予測正確度を高めうる。もちろん、このために、映像分析部１３０は、火災発生時に、監視領域の映像をディープラーニングに基づいて分析して火災のサイズ及び火災の拡散速度をさらに算出することができる。

ここで、予測モデルは、多様な監視領域の事例別に収集されたビッグデータに基づいて学習部（図示せず）によって事前学習される。例えば、学習部は、ヒューマン客体の数、動き値、ヒューマン客体と火災地点との距離を入力データとして設定し、当該事例の実際の危険状況の発生有無を出力データとして設定して予測モデルを学習させることができる。

ここで、制御部１４０は、予測モデルを通じて導出された危険状況発生確率を臨界値と比較して、危険状況発生確率が臨界値以上であれば、危険状況アラームを発生させうる。このような危険状況アラームは、ディスプレイ部１９０の画面を通じて出力される。このように、本発明では、単純な火災と関連した１次、２次アラームだけではなく、ヒューマン客体の危険度を考慮した危険状況アラームをさらに提供することができる。

本発明の実施形態において、アラームは、ディスプレイ部１９０を通じた視覚的アラームだけではなく、ディスプレイ部１９０に内蔵されたスピーカーまたは別途の出力手段を通じて聴覚的アラームも可能である。

ここで、臨界値決定部１６０は、現在の監視領域の映像内から分析されたヒューマン客体の数、ヒューマン客体の動き値、ヒューマン客体と火災地点との距離を既学習の臨界値決定モデルに適用して臨界値を決定することができる。

ここで、臨界値決定モデルは、ヒューマン客体の数が多いほど、ヒューマン客体の動き値が小さいほど、またはヒューマン客体と火災地点との距離が近いほど、危険状況アラーム発生のための臨界値を低く決定するように学習される。

一般的に、火災の現場にヒューマン客体が多いほど、そして、火災地点とヒューマン客体との距離が近いほど、人命被害が大きくなる。また、ヒューマン客体の動き値が小さいということは、倒れ、転倒、構造物による下敷き、瞬間的な意識喪失、心停止などを意味するので、これもまた、迅速な対応が必要な危急状況に該当する。したがって、このような状況が探知された場合であるほど、臨界値をよりも低く決定して、危険状況アラーム発生の敏感度を高めうる。

制御部１４０は、臨界値決定モデルによって決定された臨界値に基づいて危険状況の有無を判断することができる。制御部１４０は、危険状況発生確率が臨界値以上であれば、危険状況が発生したと判断し、危険状況発生確率が臨界値未満であれば、危険状況が発生しなかったと判断することができる。

このように、本発明によれば、周辺状況に応じて臨界値が決定され、危険状況を認識して危険状況発生アラームを提供することにより、アラームの誤警報を減少させ、緊急状況に対して迅速に対応することができる。

図３は、本発明の実施形態による統合火災検知方法を説明する図面である。

まず、統合火災検知システム１００は、カメラ１７０を通じて監視領域の映像を獲得してディスプレイ部１９０の画面を通じてリアルタイム出力することができる（ステップＳ３１０）。そして、統合火災検知システム１００は、炎検知センサー１８０を用いて監視領域内に発生した炎を検知することができる（ステップＳ３２０）。

統合火災検知システム１００は、炎検知センサー１８０による炎検知時に１次アラームを発生させ（ステップＳ３３０）、監視領域の撮影中である映像を人工知能に基づいて分析して炎と煙とを認識して火災の有無を検知し、映像内の火災地点を探知することができる（ステップＳ３４０）。

統合火災検知システム１００は、このようにＡＩ映像分析を通じて火災が実際に探知された場合には、火災地点についての情報を含む２次アラームを発生させうる（ステップＳ３５０）。ここで、１次アラーム時には、映像が出力中である画面全体を点滅する方式を使用することができ、以後の２次アラーム時には、画面点滅を行いながら映像内の実際の探知地点をボックス表示して出力することができる。

ステップＳ３４０では、映像内のヒューマン探知を共に行うこともでき、ステップＳ３５０以後にヒューマン客体探知が行われることもある。また、映像内のヒューマン客体探知を通じて映像内に存在したヒューマン客体の数、ヒューマンの動き値、ヒューマン客体と火災地点との距離を獲得することができる。

統合火災検知システム１００は、このように映像内から分析されたヒューマン客体の数、動き値、ヒューマン客体と火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測することができる（ステップＳ３６０）。

この際、多数のヒューマン客体が探知された場合、動き値は、ヒューマン客体別の探知した動き値のうち最も大きな値が採択されるか、平均値が採択されても、距離の場合、ヒューマン客体別に把握した火災地点間の距離のうちから最も短い距離値が採択されるか、平均距離値が採択されても良い。

この際、統合火災検知システム１００は、危険状況発生確率が臨界値以上であれば、危険状況と判断して危険状況アラームを発生することができる（ステップＳ３７０）。本発明の実施形態では、ヒューマン客体探知数、動き値、ヒューマン客体と火災地点との距離を考慮して危険状況アラームを発生させる臨界値を適応的に調節することができる。すなわち、危険度が高い状況であるほど、臨界値が低くなるように設定することができる。

以上のような本発明によれば、ＡＩ基盤の映像分析と炎検知結果とをいずれも活用して火災検知の効率及び正確度を高めうる。

本発明は、図面に示された実施形態を参考にして説明されたが、これは、例示的なものに過ぎず、当業者ならば、これにより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。

Claims (8)

1. 炎検知センサーから監視領域内の炎センシング値を獲得するセンシング値獲得部と、
   カメラから前記監視領域を撮影した映像を獲得する映像獲得部と、
   前記炎検知時に前記映像を人工知能を通じて分析して炎と煙とを認識して火災を検知し、映像内の火災地点を探知する映像分析部と、
   前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、そして、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測する予測部をさらに含む、
   前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の臨界値決定モデルに適用して臨界値を決定する臨界値決定部と、
   前記監視領域に対する映像を画面を通じてリアルタイム出力するが、前記炎検知センサーによる炎検知時に１次アラームを設定方式で発生させ、映像分析を通じた火災検知時に前記火災地点を含む２次アラームを設定方式で発生させ、前記予測された危険状況発生確率を前記臨界値と比較して、前記臨界値以上であれば、危険状況と判断して危険状況アラームを発生させる制御部と、
   を含む、統合火災検知システム。
2. 前記制御部は、
   前記１次アラーム時に前記映像が出力中である画面全体を点滅させ、
   前記２次アラーム時に画面を点滅すると共に、前記出力中である映像内に前記探知地点をボックス表示して知らせる、請求項１に記載の統合火災検知システム。
3. 前記制御部は、
   複数の監視領域に対する映像をマトリックス配列された複数の分割画面領域にマッピングして同時表出し、アラーム発生時に、当該監視領域に対応した分割画面領域上に前記１次アラームまたは２次アラームを設定方式で出力する、請求項２に記載の統合火災検知システム。
4. 前記映像分析部は、
   前記火災検知時に前記映像を分析して少なくとも１つの客体を検出した後にヒューマン客体を分類し、前記ヒューマン客体の数、探知位置及び動き値を抽出する、請求項1に記載の統合火災検知システム。
5. 前記臨界値決定モデルは、
   前記ヒューマン客体の数が多いほど、ヒューマン客体の動き値が小さいほど、または前記距離が近いほど、危険状況アラーム発生のための前記臨界値が低くなるように学習される、請求項１に記載の統合火災検知システム。
6. 前記予測部は、
   前記映像から分析された火災のサイズ及び火災が広がる速度を前記予測モデルにさらに適用して前記危険状況発生確率を予測する、請求項１に記載の統合火災検知システム。
7. 統合火災検知システムによって行われる統合火災検知方法において、
   カメラを通じて監視領域の映像を獲得して画面を通じてリアルタイム出力する段階と、
   炎検知センサーを用いて前記監視領域内の炎を検知する段階と、
   前記炎検知センサーによる炎検知時に１次アラームを設定方式で発生させる段階と、
   前記監視領域の映像を人工知能を通じて分析して炎と煙とを認識して火災を検知し、映像内の火災地点を探知する段階と、
   前記映像分析を通じた火災検知時に火災地点を含む２次アラームを設定方式で発生させる段階と、
   前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の予測モデルに適用して危険状況発生確率を予測する段階と、
   前記映像内から分析されたヒューマン客体の数、前記ヒューマン客体の動き値、前記ヒューマン客体の探知位置と前記火災地点との距離を既学習の臨界値決定モデルに適用して臨界値を決定する段階と、
   前記予測された危険状況発生確率を前記臨界値と比較して、前記臨界値以上であれば危険状況と判断して危険状況アラームを発生させる段階と、
   を含む、統合火災検知方法。
8. 前記１次アラームを発生させる段階は、前記映像が出力中である画面全体を点滅させ、前記２次アラームを発生させる段階は、前記画面を点滅すると共に、前記出力中である映像内に前記探知地点をボックス表示して出力する、請求項７に記載の統合火災検知方法。