JP7207793B2 - 人工知能を用いた映像基盤のリアルタイム侵入検知方法及び監視カメラ - Google Patents

Description

本発明は、監視地域の映像に基づいてリアルタイムで検知地域に対する侵入を検知する方法及び監視カメラに関する。

現在運用中のほとんどの映像監視システムは、リアルタイムで侵入を検知することで犯罪や事件の発生を予め予防するために運用するものではなく、主に事件発生後に保存された映像を用いて犯罪や事件に係わる全貌を明らかにするか、侵入者などの身元把握に活用されている。しかし、国境線、飛行場、発電所、港湾、原電施設、備蓄基地のような国家重要施設や、産業及び公共施設、並びに事故予防など特定目的のために出入りを禁止した地域に対して非認可者の侵入を事前に防げなければ、テロのような国家的災難や保護物の毀損などの事故が発生してしまうので、そのような施設や区域に対しては、リアルタイムで侵入を検知して警報することで、事件事故の発生を遮断するか、予防する役割がさらに重要である。

ほとんどの映像監視システムは、数十～数百台のＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）監視カメラを現場に設置し、その監視カメラの映像を管制センターのサーバに伝送すれば、管制センターに設けられた数十～数百台のモニタや大型スクリーンが数十～数百台のカメラの撮影映像を分割画面、順次画面方式で表示する方式によって運用されている。しかし、管制センターに勤める少数の人が、そのような多数の映像から肉眼観察を通じて侵入者を見つけ出すことは、事実上不可能である。これを可能にするためには、管制センター内に監視人力を大幅に増加させ、一人当たり監視映像の数を最小化せねばならないが、人件費上昇、収容施設拡充など現実的に多くの難点がある。

最近になって、脚光を浴びている人工知能技法を用いてリアルタイムで侵入を検知する技術が登場している。例えば、大韓民国登録特許第１０－０４５９７６７号「ハイブリッド神経網を用いた侵入探知システム及びその侵入探知方法」は、ハイブリッド神経網を用いて侵入を探知することで、侵入探知パターンデータベースが不要であり、これにより、侵入探知に対するパターンマッチングが不要であって、処理時間を大きく短縮することができる技術を開示している。大韓民国登録特許第１０－１８０８５８７号「客体認識と追跡監視及び異常状況検知技術を用いた知能型統合監視管制システム」は、客体認識技術を用いてカメラに撮影された異常状況客体をリアルタイムで識別及び追跡可能な技術を開示している。

しかし、このような従来技術による侵入検知などは、人工知能の負荷によってハードウェアの仕様が優秀なサーバでは駆動可能であったが、ハードウェアの仕様が劣る監視カメラでは駆動が不可能であった。これにより、従来には、管制センターのサーバが監視カメラの撮影映像を受信し、これに基づいて侵入検知を遂行した。しかし、監視カメラとサーバとの通信にかかる時間によって侵入検知のリアルタイム性が落ち、映像の圧縮及び復元過程において侵入検知の精度が落ちてしまう問題点があった。

本発明が解決しようとする課題は、監視地域での侵入検知のために２つの人工神経網を段階的に用いることで監視地域での侵入発生確率の正確度を大幅に向上させつつも、ハードウェアの仕様が低い監視カメラで監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得することができる映像基盤のリアルタイム侵入検知方法及び監視カメラを提供することである。
前述したような技術的課題に限定されず、以下の説明からさらに他の技術的課題が導出されうる。

本発明の一側面による映像基盤のリアルタイム侵入検知方法は、第１時点で入力された複数フレームをサンプリングする段階と、第１人工神経網を用いて前記サンプリングされた各フレームの映像内にターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する段階と、前記少なくとも１つの客体の存在確率獲得にかかる前記第１人工神経網のフレーム別処理時間によって前記第１時点以後の第２時点で入力される複数フレームに対するサンプリングレートを調節する段階と、前記獲得された確率の大きさによって前記サンプリングされた各フレームをターゲット客体のフレームとして選定する段階と、前記ターゲット客体のフレームとして選定されたフレームから前記ターゲット客体のタイプに該当する各客体の移動軌跡を生成する段階と、第２人工神経網を用いて前記生成された移動軌跡から侵入発生確率を獲得する段階と、を含む。

前記サンプリングレートを調節する段階は、前記サンプリングされた各フレームの映像が前記第１人工神経網に入力された時点と前記サンプリングされた各フレームの映像内での少なくとも１つの客体の存在確率が前記第１人工神経網から出力された時点の差から、前記第１人工神経網のフレーム別処理時間を算出し、前記算出された第１人工神経網のフレーム別処理時間に反比例して前記サンプリングレートを調節することができる。

前記各客体の移動軌跡を生成する段階は、少なくとも１つの客体追跡アルゴリズムを用いて前記移動軌跡を生成し、前記映像基盤のリアルタイム侵入検知方法は、前記移動軌跡生成にかかる客体追跡アルゴリズムのフレーム別処理時間によって前記調節されたサンプリングレートを再調節する段階をさらに含んでもよい。

前記各客体の移動軌跡を生成する段階は、少なくとも１つの客体追跡アルゴリズムを用いて前記ターゲット客体のタイプに該当する各客体の少なくとも１つの部位別移動軌跡を生成し、前記侵入発生確率を獲得する段階は、前記第２人工神経網に前記生成された部位別移動軌跡を入力することで前記第２人工神経網の出力から前記侵入発生確率を獲得することができる。

前記映像基盤のリアルタイム侵入検知方法は、前記侵入発生確率獲得にかかる第２人工神経網のフレーム別処理時間によって前記第２人工神経網に入力される部位別移動軌跡の個数を調節する段階をさらに含んでもよい。

前記部位別移動軌跡の個数を調節する段階は、前記第２人工神経網のフレーム別処理時間が基準時間範囲以内であれば、前記第２人工神経網に入力される部位別移動軌跡の現在個数を保持し、前記第２人工神経網のフレーム別処理時間が前記基準時間範囲より大きければ、前記第２人工神経網に入力される部位別移動軌跡のうち、いずれか１つを除去し、前記第２人工神経網のフレーム別処理時間が前記基準時間範囲より小さければ、前記第２人工神経網に入力される部位別移動軌跡に対して新たな部位の移動軌跡をさらに入力することができる。

前記映像基盤のリアルタイム侵入検知方法は、前記サンプリングされた各フレームのカラー映像を少なくとも１つの客体のアウトラインを示す白黒映像に変換する段階をさらに含み、前記少なくとも１つの客体が存在する確率を獲得する段階は、前記第１人工神経網を用いて前記変換された白黒映像内に前記ターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得することができる。

本発明の他の側面による監視カメラは、第１時点で入力された複数フレームをサンプリングするサンプラと、第１人工神経網を用いて前記サンプリングされた各フレームの映像内にターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する客体識別部と、前記少なくとも１つの客体の存在する確率獲得にかかる前記第１人工神経網のフレーム別処理時間によって前記第１時点以後の第２時点で入力される複数フレームに対するサンプリングレートを調節し、前記獲得された確率の大きさによって、前記サンプリングされた各フレームをターゲット客体のフレームとして選定する制御部と、前記ターゲット客体のフレームとして選定されたフレームから前記ターゲット客体のタイプに該当する各客体の移動軌跡を生成する軌跡生成部と、第２人工神経網を用いて前記生成された移動軌跡から侵入発生確率を獲得する侵入検知部と、を含む。

第１人工神経網を用いてターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得し、第２人工神経網を用いて移動軌跡から侵入発生確率を獲得することで、すなわち、監視地域での侵入検知のために、２つの人工神経網を段階的に用いることで、監視地域での侵入検知精度を大幅に向上させうる。なによりも、第１人工神経網のフレーム別処理時間によって、これから入力される複数フレームに対するサンプリングレートを調節することで、ハードウェアの仕様が低い監視カメラにおいて２つの人工神経網を用いるにも拘わらず、監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得することができる。

また、少なくとも１つの客体追跡アルゴリズムを用いて各客体の移動軌跡を生成し、各客体の移動軌跡生成にかかる客体追跡アルゴリズムのフレーム別処理時間によって、これから入力される複数フレームに対するサンプリングレートを再調節することで、２つの人工神経網外に客体追跡アルゴリズムを用いる場合にも、監視カメラで監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得することができる。

また、第２人工神経網に各客体の少なくとも１つの部位別移動軌跡を入力することで、第２人工神経網の出力から侵入発生確率を獲得し、侵入発生確率獲得にかかる第２人工神経網のフレーム別処理時間によって第２人工神経網に入力される部位別移動軌跡の個数を調節することで、監視地域の撮影映像に対する侵入発生確率がリアルタイムで獲得されうる状態で、最も高精度で獲得されるように監視カメラのハードウェア仕様によって侵入検知の正確度を精密に調整可能である。
前述したような効果に限定されず、以下の説明からさらに他の効果が導出されうる。

本発明の一実施例による映像監視システムの構成図である。 図１に図示した監視カメラの構成図である。 本発明の一実施例による映像基盤のリアルタイム侵入検知方法のフローチャートである。 本発明の一実施例による映像基盤のリアルタイム侵入検知方法のフローチャートである。 図３に図示したリアルタイム侵入検知方法の具現例示図である。 図２に図示した映像変換部によって変換されたアウトライン映像の例を示す図面である。

以下、図面を参照して本発明の実施例を詳細に説明する。以下で説明する本発明の実施例は、監視地域での侵入検知のために２つの人工神経網を段階的に用いることで、監視地域での侵入発生確率の正確度を大幅に向上させつつも、ハードウェア仕様が低い監視カメラで監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得することができる映像基盤のリアルタイム侵入検知方法及び監視カメラに関する。以下では、そのような映像基盤のリアルタイム侵入検知方法及び監視カメラを簡略に「映像基盤のリアルタイム侵入検知方法」及び「監視カメラ」とも称する。

図１は、本発明の一実施例による映像監視システムの構成図である。図１を参照すれば、本実施例による映像監視システムは、図１に図示する監視カメラ１０を含む複数個の監視カメラ１０、複数個のハブ２０、及びサーバ３０で構成される。複数個の監視カメラ１０は、監視地域の各地に散発的に設けられつつ、上述したような構成によって撮影された映像をネットワークを介してサーバ３０に伝送する。監視地域が非常に狭い場合であれば、一台の監視カメラ１０のみ設けられてもよい。複数個のハブ２０は、複数個の監視カメラ１０をネットワークに接続させ、サーバ３０をネットワークに接続させることで、複数個の監視カメラ１０とサーバ３０とのネットワーク通信を可能にする。

サーバ３０は、管制センターに設けられて複数個の監視カメラ１０からネットワークを介して伝送されたカラー映像を受信し、受信されたカラー映像をユーザに表示する。サーバ３０は、複数個の監視カメラ１０に一対一に対応する複数個のモニタを備えている。各監視カメラ別に割り当てられたモニタは、当該監視カメラ１０の撮影映像を表示する。以下で説明するように、各モニタには、監視カメラ１０の撮影映像以外に、ある警報が同時に表示されることにより、管制センターの管理者がどの監視カメラの撮影映像を観察するかが分かる。これは、管制センターの管理者が、監視地域での犯罪や事件発生に係わる映像のみに集中可能にすることにより、管制センターの少人数だけでも監視地域での犯罪や事件発生を事前に遮断することができる。

図２は、図１に図示した監視カメラの構成図である。図２を参照すれば、本実施例による監視カメラ１０は、レンズ部１１、イメージセンサ１２、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１３、圧縮部１４、通信部１５、サンプラ１６、映像変換部１７、客体識別部１８、軌跡生成部１９、侵入検知部１１０、ユーザインターフェース１１１、及び制御部１１２で構成される。本実施例による監視カメラ１０は、前記構成要素以外にも、ハウジング、フィルタ、メモリなどをさらに含んでもよいが、本実施例の特徴を不明にすることを防止するために、本実施例の特徴と関係ないカメラの一般的な構成要素に係わる説明は省略する。前記構成要素のうち、一部は、マイクロプロセッサ、コンピュータプログラムが保存されたメモリなどの組合せによっても具現される。

監視カメラ１０の構成要素のうち、サンプラ１６、映像変換部１７、客体識別部１８、軌跡生成部１９、侵入検知部１１０、ユーザインターフェース１１１、及び制御部１１２が監視カメラ１０から除去された後、サーバ３０の構成要素としてサーバ３０に追加されうる。その場合、監視カメラ１０は、監視地域を撮影し、その結果物をサーバ３０に伝送する役割のみを行い、サーバ３０は、監視カメラ１０から伝送された映像から外部人の侵入を検知する役割を行う。サーバ３０のハードウェア的な性能は、監視カメラ１０のハードウェア性能に比べて、非常に優れるために、上述したようにサーバ３０の構成要素としてサーバ３０に追加される場合、侵入検知精度が非常に高くなるが、監視カメラ１０とサーバ３０との通信環境が劣悪であるか、通信障害が発生する場合、侵入検知のリアルタイム性が保証されない。

レンズ部１１は、少なくとも１つのレンズで構成される。一般的に、監視カメラは、移動する物体を捕捉すれば、目標物体を拡大して撮影するズームイン機能と全体撮影面積を広げるズームアウト機能を支援し、そのようなズームイン／ズームアウト機能を可能にするために、レンズ部１１は、複数個のレンズで構成される。例えば、レンズ部１１は、円筒状鏡筒、それに内蔵されて焦点距離を変更することができる凸レンズ、凹レンズ、及び凸レンズで構成されうる。レンズ部１１は、本実施例の特徴とは関わらないので、本実施例の特徴を不明にすることを防止するために、それ以上の詳細な説明は省略する。

イメージセンサ１２は、レンズ部１１を通過した光を電気的信号に変換する。イメージセンサ１３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサとＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサで分類されうる。このようなイメージセンサ１３は、赤外線と可視光線にいずれも反応し、それを電気的信号に変換する。イメージセンサ１３から出力された信号からカラー映像が生成される場合、イメージセンサ１３に照射された赤外線は、カラー映像の画質劣化の要因として作用し、イメージセンサ１３から出力された信号から白黒映像が生成される場合、イメージセンサ１３に照射された可視光線は、白黒映像の画質劣化の要因として作用する。レンズ部１１とイメージセンサ１２との間には、レンズ部１１を通過した光の赤外線帯域と可視光線帯域とのうち、いずれか１つを遮断し、他の１つを透過させるハードウェアフィルタが挿入されうる。

ＩＳＰ １３は、イメージセンサ１２によって変換された電気的信号から秒当たり複数のフレーム、例えば、秒当たり６０フレームのカラー映像を生成し、そのように生成されたカラー映像をフレーム別に出力する。各フレームは、フレームヘッダと映像データとで構成される。フレームヘッダには、各フレームの番号が記録され、これは、フレームを区分するための用途として使用される。ＩＳＰ １３は、基本的にイメージセンサ１２から出力された信号のベイヤーパターン映像（Ｂａｙｅｒ ｐａｔｔｅｒｎ ｉｍａｇｅ）の各ピクセル値を補間（ｉｎｔｅｒｐｏｌａｔｅ）することで、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）形式のカラー映像を生成する。さらに、ＩＳＰ １３は、このように生成されたカラー映像のノイズを除去し、逆光を補正し、色相を自然色に近く調整するなどの映像改善処理が可能である。

ここで、秒当たり６０フレームのカラー映像は、一例に過ぎず、ＩＳＰ １３は、イメージセンサ１２によって変換された電気的信号から秒当たり３０フレームのカラー映像を生成し、イメージセンサ１２によって変換された電気的信号から秒当たり１２０フレームのカラー映像を生成することができる。一方、ＩＳＰ １３は、イメージセンサ１２によって変換された電気的信号から白黒映像を生成することもできる。以下、ＩＳＰ １３によって秒当たり６０フレームのカラー映像が生成されると仮定して、本実施例を説明する。

圧縮部１４は、ＩＳＰ １３によって生成されたカラー映像を圧縮する。圧縮部１６は、Ｈ．２６４、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）など多様なコーデックに応じてＩＳＰ １３によって生成されたカラー映像を圧縮することができる。通信部１５は、圧縮部１４によって圧縮された映像を、ユーザに、監視カメラ１０によって撮影された映像を表示するサーバ３０、例えば、管制センターのコンピュータに伝送する。このような映像表示装置と監視カメラ１０が遠く離れている場合、インターネット、ＬＡＮのようなネットワークを介して互いに通信する。通信部１５は、圧縮部１４によって圧縮された映像をＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）によってネットワークを介して映像表示装置に伝送することができる。一方、通信部１５は、ＩＳＰ １３によって生成されたカラー映像を圧縮せずに、そのまま伝送してもよい。

サンプラ１６は、制御部１１２の制御によるサンプリングレート（ｓａｍｐｌｉｎｇ ｒａｔｅ）でＩＳＰ １３から出力されるフレームをサンプリングする。映像変換部１７は、サンプラ１６によってサンプリングされた各フレームのカラー映像を少なくとも１つの客体のアウトラインを示す白黒映像に変換する。客体識別部１８は、第１人工神経網を用いて映像変換部１７によって変換された白黒映像内にユーザインターフェース１１１に入力されたターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する。

軌跡生成部１９は、少なくとも１つの客体追跡アルゴリズム（Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ａｌｇｏｒｉｔｈｍ）を用いて制御部１１２によってターゲット客体のフレームとして選定されたフレームからユーザインターフェース１１１に入力されたターゲット客体のタイプに該当する各客体の少なくとも１つの部位別移動軌跡を生成する。侵入検知部１１０は、第２人工神経網を用いて軌跡生成部１９によって生成された部位別移動軌跡から監視カメラ１０の監視地域での侵入発生確率を獲得する。ユーザインターフェース１１１は、監視カメラ１０のユーザから侵入検知環境の設定のための情報を入力される。

制御部１１２は、第１人工神経網のフレーム別処理時間と客体追跡アルゴリズムのフレーム別処理時間によってサンプラ１６のサンプリングレートを調節し、そのように調節されたサンプリングレートにサンプリングするようにサンプラ１６の動作を制御する。また、制御部１１２は、第２人工神経網のフレーム別処理時間によって第２人工神経網に入力される部位別移動軌跡の個数を調節し、そのように調節された個数ほどの移動軌跡が第２人工神経網に入力されるように軌跡生成部１９の動作を制御する。

上述したように本実施例は、監視地域での侵入検知のために、２つの人工神経網を段階的に用いることで、監視地域での侵入検知精度を大幅に向上させうる。人工神経網のうち、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、映像学習に適した構造を有している。すなわち、ＣＮＮは、伝統の人工神経網の前に映像の特徴を抽出するコンボリューション部分が取り付けられている構造を有している。以下では、第１人工神経網と第２人工神経網とがＣＮＮによって設計された実施例を説明する。

図３、図４は、本発明の一実施例による映像基盤のリアルタイム侵入検知方法のフローチャートである。図３、図４を参照すれば、本実施例による映像基盤のリアルタイム侵入検知方法は、図２に図示した監視カメラ１０で時系列的に処理される段階で構成される。以下では、図２に図示した監視カメラ１０の処理について詳細に説明する。以下、省略された内容であっても、図１、図２に図示した監視カメラ１０について前述した内容は、後述するリアルタイム侵入検知方法にも適用される。

３１段階において、ユーザインターフェース１１１は、監視カメラ１０のユーザから侵入検知環境の設定のための情報を入力される。侵入検知環境の設定のための情報は、ターゲット客体の複数タイプのうち、いずれか１つのタイプとターゲット客体の基準精度からなる。ターゲット客体タイプの例としては、人、車両などが挙げられる。侵入検知環境の設定のための情報は、侵入検知領域、侵入先、侵入方向などをさらに含む。監視カメラ１０の遠隔地に位置したサーバ３０の管理者がサーバ３０に侵入検知環境の設定のための情報を入力する場合、通信部１５がサーバ３０から侵入検知環境の設定のための情報を受信することもできる。

３２段階において、サンプラ１６は、ＩＳＰ １３から現在時点で入力された秒当たり６０フレームを制御部１１２によって調節されたサンプリングレートにサンプリングする。現在時点で入力された秒当たり６０フレームは、現在時点で入力されたフレームを含む秒当たり６０フレームを意味し、サンプラ１６は、サンプリングレートによって現在時点で入力されたフレームを出力するか、出力しない。例えば、サンプラ１６は、ＩＳＰ １３によって生成された秒当たり６０フレームから、制御部１１２の制御によって秒当たり１～６０フレームを抽出することができる。すなわち、サンプラ１６は、秒当たり６０フレームを「１」サンプリングレートでサンプリングすることで、秒当たり６０フレームから秒当たり１フレームを抽出することができ、秒当たり６０フレームを６０サンプリングレートでサンプリングすることで、秒当たり６０フレームから秒当たり６０フレームを抽出することもできる。後者の場合、サンプラ１６は、ＩＳＰ １３によって生成された秒当たり６０フレームをそのまま映像変換部１７に伝達する役割を行う。

サンプラ１６は、サンプリングされた各フレームを１つずつ順次に出力し、後述する３３～３１６段階は、サンプラ１６によってサンプリングされた各フレーム別に繰り返される。後述するようにサンプラ１６から出力された各フレームが３３～３１６段階でリアルタイムで処理されるか否かによって、サンプラ１６のサンプリングレートが変更される。すなわち、サンプラ１６から出力された各フレームが、３３～３１６段階においてリアルタイムで処理されるか否かによって、サンプラ１６から出力されるフレーム間の時間間隔が変わる。結果として、サンプラ１６から出力された各フレームが、３３～３１６段階においてリアルタイムで処理されるようにサンプラ１６から出力されるフレーム間の時間間隔が更新され続ける。

３３段階において、映像変換部１７は、サンプラ１６によってサンプリングされた各フレームのカラー映像を少なくとも１つの客体のアウトラインを示す白黒映像に変換する。以下、少なくとも１つの客体のアウトラインを示す白黒映像は、「アウトライン映像」とも簡略に呼称される。後述するように、さらに詳細に説明すれば、映像変換部１７は、各フレームのカラー映像から少なくとも１つの客体のアウトラインを検出し、そのように検出されたアウトラインに位置した画素の値を「１」と設定し、残りの画素値を「０」と設定することで、各フレームのカラー映像をアウトライン映像に変換することができる。客体のアウトライン検出と係わっては、本実施例が属する技術分野で通常の知識を有する者に公知された様々なアルゴリズムが存在し、これについての詳細な説明は省略する。

後述するように、映像変換部１７によって変換された白黒映像は、各フレームの映像内の各客体のタイプを識別するための第１ＣＮＮ １８０に入力される。カラー映像は、各画素がＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）３つの値で表現され、白黒映像は、各ピクセルが明暗１個の値のみで表現される。本実施例は、第１ＣＮＮ １８０のフレーム別処理速度を高めるために、カラー映像の代りに、それから変換された白黒映像が第１ＣＮＮ １８０に入力される。特に、客体のアウトラインを示す白黒映像は、その客体を示す白黒映像に比べて、その映像データ量が大幅に減少するので、第１ＣＮＮ １８０のフレーム別処理速度がさらに向上しうる。

３４段階において、客体識別部１８は、第１ＣＮＮ １８０を用いて３３段階で変換された白黒映像内に、３１段階で入力されたターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する。さらに詳細に説明すれば、客体識別部１８は、第１ＣＮＮ １８０に、３１段階で入力されたターゲット客体のタイプと、３３段階で変換された白黒映像を入力することで、第１ＣＮＮ １８０の出力から第１ＣＮＮ １８０に入力されたターゲット客体のタイプに該当する少なくとも１つの客体が第１ＣＮＮ １８０に入力された白黒映像内に存在する確率を獲得する。例えば、３１段階で入力されたターゲット客体のタイプが人である場合、客体識別部１８は、第１ＣＮＮ １８０の出力から第１ＣＮＮ １８０に入力された白黒映像内に人に該当する少なくとも１つの客体が存在する確率を獲得する。

ここで、第１ＣＮＮ １８０は、その入力層に多数のアウトライン映像を入力し、その出力層に、このように入力された各アウトライン映像内の少なくとも１つの客体タイプを入力する方式によって学習されたＣＮＮを言う。第１ＣＮＮ １８０に、３１段階で入力されたターゲット客体のタイプと、３３段階で変換された白黒映像を入力すれば、その入力に対する応答として第１ＣＮＮ １８０は、フレーム番号とその番号を有するフレームの白黒映像内にターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を出力する。

３５段階において、制御部１１２は、３４段階での客体存在確率獲得にかかる第１ＣＮＮ １８０のフレーム別処理時間によって、現在時点以後の次の時点で入力される秒当たり６０フレームに対するサンプラ１６のサンプリングレートを調節する。次の時点で入力される秒当たり６０フレームは、次の時点で入力されるフレームを含む秒当たり６０フレームを意味し、監視カメラ１０のフレーム別処理速度によって、現在入力された秒当たり６０フレームに、新たなフレームが１つ追加されたものでもあり、複数個追加されたものでもある。

図５は、図３に図示したリアルタイム侵入検知方法の具現例示図である。図５は、従来、リアルタイム侵入検知を担当していたサーバ３０に比べて、ハードウェア性能が非常に落ちる監視カメラ１０がＩＳＰ １３によって生成された秒当たり６０フレームのカラー映像に対してリアルタイム侵入検知を可能にする構成のみを示す図面である。

図５を参照すれば、制御部１１２は、３３段階で変換された白黒映像が第１ＣＮＮ １８０に入力された時点「Ｔ１」と、３４段階において、その白黒映像に対する確率が第１ＣＮＮ １８０から出力された時点「Ｔ２」との差から、第１ＣＮＮ １８０のフレーム別処理時間を算出し、そのように算出された第１ＣＮＮ １８０のフレーム別処理時間に反比例してサンプラ１６のサンプリングレートを調節する。制御部１１２によって、サンプリングレートが調節されるやいなや、サンプラ１６は、このように調節されたサンプリングレートでサンプリングする。ここで、その白黒映像に対する確率は、その白黒映像内に、第１ＣＮＮ １８０に入力されたターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を意味する。

すなわち、制御部１１２は、第１ＣＮＮ １８０のフレーム別処理時間が第１ＣＮＮ １８０の基準時間範囲内であれば、サンプラ１６の現在サンプリングレートを保持し、第１ＣＮＮ １８０のフレーム別処理時間が第１ＣＮＮ １８０の基準時間範囲より大きければ、サンプラ１６のサンプリングレートを単位量ほど、例えば、１つずつ減少させ、第１ＣＮＮ １８０のフレーム別処理時間が第１ＣＮＮ １８０の基準時間範囲より小さければ、単位量ほどサンプラ１６のサンプリングレートを増加させる。ここで、第１ＣＮＮ １８０の基準時間範囲は、監視カメラ１０のハードウェア仕様、例えば、マイクロプロセッサの性能などを考慮してＩＳＰ １３によって生成された秒当たり６０フレームのカラー映像に対してリアルタイム侵入検知が可能でありながらも、第１ＣＮＮ １８０に最も多くのフレームが入力されるように設定される。

３６段階において、制御部１１２は、３４段階で獲得された確率の大きさによって、サンプラ１６によってサンプリングされた各フレームをターゲット客体のフレームとして選定する。さらに詳細に説明すれば、制御部１１２は、３４段階で獲得された確率と、３１段階で入力されたターゲット客体の基準精度を比較する。次いで、制御部１１２は、３４段階で獲得された確率が、３１段階で入力されたターゲット客体の基準精度以上であれば、３１段階で入力されたターゲット客体の基準精度以上の確率を有する各フレームをターゲット客体のフレームとして選定する。ターゲット客体のフレームが選定された場合には、３７段階に進み、３４段階で獲得された確率が、３１段階で入力されたターゲット客体の基準精度未満であれば、当該フレームに対する手続きは終了する。すなわち、基準精度未満に該当するフレームに対する手続きは終了する。

３７段階において、軌跡生成部１９は、少なくとも１つの客体追跡アルゴリズム１９０を用いて３６段階でターゲット客体のフレームとして選定されたフレームから、３１段階で入力されたターゲット客体のタイプに該当する各客体の少なくとも１つの部位別移動軌跡を生成する。３６段階において、ターゲット客体のフレームとして選定されたフレームが蓄積されるほど各客体の移動軌跡の長さが延びる。リアルタイムで客体を追跡するためのアルゴリズムの例として、平均シフト（ｍｅａｎ－ｓｈｉｆｔ）アルゴリズム、カムシフト（ｃａｍ－ｓｈｉｆｔ）アルゴリズムなどが挙げられる。そのような客体追跡アルゴリズムは、本実施例が属する技術分野で通常の知識を有する者に公知された技術なので、これについての詳細な説明は省略する。本実施例によれば、各客体の部位個数が複数である場合、その個数ほど複数の客体追跡アルゴリズムが同時に遂行されうる。

例えば、各客体の少なくとも１つの部位別移動軌跡は、人の中心部位の移動軌跡、人の右手の移動軌跡、人の右足の移動軌跡などを含んでもよい。本実施例において、人の中心部位の移動軌跡は、人の全身を最小サイズに取り囲む四角ボックスの中心点の移動軌跡であり、人の右手の移動軌跡は、人の右手を最小サイズに取り囲む四角ボックスの中心点の移動軌跡であり、人の右足の移動軌跡は、人の右足を最小サイズに取り囲む四角ボックスの中心点の移動軌跡である。すなわち、軌跡生成部１９は、３３段階で変換されたフレームの白黒映像内の３１段階で入力されたターゲット客体のタイプに該当する各客体の少なくとも１つの部位を代表する少なくとも１つのドット別移動軌跡を生成する。

３８段階において、制御部１１２は、３７段階での移動軌跡生成にかかる客体追跡アルゴリズム１９０のフレーム別処理時間によって、サンプラ１６のサンプリングレートを調節する。図５を参照すれば、制御部１１２は、３６段階でターゲット客体のフレームとして選定された各フレームが客体追跡アルゴリズム１９０に入力された時点「Ｔ３」と、３７段階において、その各フレームに対する部位別移動軌跡が客体追跡アルゴリズム１９０から出力された時点「Ｔ４」との差から、客体追跡アルゴリズム１９０のフレーム別処理時間を算出し、そのように算出された客体追跡アルゴリズム１９０のフレーム別処理時間に反比例して３５段階で調節されたサンプリングレートを再調節する。ここで、その各フレームに対する部位別移動軌跡は、その各フレームを最後のフレームにする移動軌跡を意味する。

制御部１１２によってサンプリングレートが再調節されるやいなや、サンプラ１６は、そのように再調節されたサンプリングレートでサンプリングする。これにより、２つのＣＮＮ以外に客体追跡アルゴリズムを用いる場合にも、監視カメラ１０で監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得することができる。本実施例によれば、３５段階及び３８段階において、サンプリングレートが二回調節されるが、２段階のうち、いずれかの段階でのみサンプリングレートが調節される構造で本実施例が変形されうる。

すなわち、制御部１１２は、客体追跡アルゴリズム１９０のフレーム別処理時間が客体追跡アルゴリズム１９０の基準時間範囲内であれば、サンプラ１６の現在サンプリングレートを保持し、客体追跡アルゴリズム１９０のフレーム別処理時間が客体追跡アルゴリズム１９０の基準時間範囲より大きければ、単位量ほどサンプラ１６のサンプリングレートを減少させ、客体追跡アルゴリズム１９０のフレーム別処理時間が客体追跡アルゴリズム１９０の基準時間範囲より小さければ、単位量ほどサンプラ１６のサンプリングレートを増加させる。ここで、客体追跡アルゴリズム１９０の基準処理時間は、監視カメラ１０のハードウェア仕様、例えば、マイクロプロセッサの性能などを考慮し、ＩＳＰ １３によって生成された秒当たり６０フレームのカラー映像に対してリアルタイム侵入検知が可能であり、かつ客体追跡アルゴリズム１９０に最も多くのフレームが入力されるように設定される。

３９段階において、侵入検知部１１０は、第２ＣＮＮ １１００を用いて３７段階で生成された部位別移動軌跡から監視カメラ１０の監視地域での侵入発生確率を獲得する。さらに詳細に説明すれば、侵入検知部１１０は、第２ＣＮＮ １１００に、３７段階で生成された部位別移動軌跡を入力することで、第２ＣＮＮ １１００の出力から監視カメラ１０の監視地域での侵入発生確率を獲得する。例えば、３１段階で入力されたターゲット客体のタイプが人である場合、客体識別部１８は、第２ＣＮＮ １１００の出力から第２ＣＮＮ １１００に入力された部位別移動軌跡が侵入者の侵入パターンに該当する確率、すなわち、侵入発生確率を獲得する。

ここで、第２ＣＮＮ １１００は、その入力層に多数の移動軌跡を入力し、その出力層に、そのように入力された移動軌跡それぞれが侵入パターンに該当するか否かを入力する方式によって学習されたＣＮＮを言う。第２ＣＮＮ １１００に、３７段階で生成された部位別移動軌跡を入力すれば、その入力に対する応答として第２ＣＮＮ １１００は、３７段階で生成された部位別移動軌跡が侵入者の侵入パターンに該当する確率を出力する。侵入検知部１１０は、ユーザインターフェース１１１に入力された侵入検知領域、侵入先、侵入方向によって３７段階で生成された部位別移動軌跡をフィルタリングし、そのようにフィルタリングされた部位別移動軌跡を第２ＣＮＮ １１００に入力してもよい。

図６は、図２に図示した映像変換部１７によって変換されたアウトライン映像の例を示す図面である。図６を参照すれば、最初のアウトライン映像には、人がフェンス前方に伏せている形状のアウトラインが含まれており、二番目のアウトライン映像には、人がフェンスを掴んで立っている形状のアウトラインが含まれており、三番目のアウトライン映像には、人がフェンスの裏側領域で歩いている形状のアウトラインが含まれている。このような三つのアウトライン映像は、人がフェンスを乗り越えるイベントを示す。各アウトライン映像には、人の中心部位と右手にドットが表示されている。第２ＣＮＮ １１００には、人の中心部位の移動軌跡のみ入力されてもよく、人の中心部位の移動軌跡と共に、人の右手の移動軌跡が入力されてもよい。

第２ＣＮＮ １１００に人の中心部位の移動軌跡のみ入力された場合には、１つの移動軌跡基盤の侵入発生確率が出力されるので、第２ＣＮＮ １１００のフレーム別処理速度が向上するが、一方、侵入発生確率の正確度が低くなる。第２ＣＮＮ １１００に人の中心部位の移動軌跡と、人の右手の移動軌跡が入力された場合には、２つの移動軌跡基盤の侵入発生確率が出力されるので、第２ＣＮＮ １１００のフレーム別処理速度が低下するが、一方、侵入発生確率の正確度は高くなる。前者は、人がフェンスを乗り越えるイベントに対する侵入如何を判定することができるが、人がフェンス扉を正常に通過するイベントと、フェンス一部を毀損し、非正常的に通過するイベントとを区分することができない。人がフェンス扉を開くときと、フェンス一部を毀損するときに、右手の移動軌跡が異なるので、後者は、前記イベントの両方ともに対する侵入如何を判定することができる。

３１０段階において、制御部１１２は、３９段階での侵入発生確率獲得にかかる第２ＣＮＮ １１００のフレーム別処理時間によって、第２ＣＮＮ １１００に入力される部位別移動軌跡の個数を調節する。図５を参照すれば、制御部１１２は、３７段階で生成された部位別移動軌跡が第２ＣＮＮ １１００に入力された時点「Ｔ５」と、３４段階において、その部位別移動軌跡に対する確率が第２ＣＮＮ １１００から出力された時点「Ｔ６」との差から第２ＣＮＮ １１００のフレーム別処理時間を算出し、そのように算出された第２ＣＮＮ １１００のフレーム別処理時間に反比例して、第２ＣＮＮ １１００に入力される部位別移動軌跡の個数を調節する。制御部１１２によって第２ＣＮＮ １１００に入力される部位別移動軌跡の個数が調節されるやいなや、侵入検知部１１０は、その調節された個数ほどの部位別移動軌跡を第２ＣＮＮ １１００に入力する。

これにより、本実施例は、監視地域の撮影映像に対する侵入発生確率をリアルタイムで獲得可能な状態で最も高精度に獲得されるように監視カメラ１０のハードウェア仕様によって侵入検知の正確度を精密に調整することができる。ここで、その部位別移動軌跡は、各フレームに対する部位別移動軌跡、すなわち、その各フレームを最後のフレームとする移動軌跡を意味するので、第２ＣＮＮ １１００のフレーム別処理時間が算出されうる。

すなわち、制御部１１２は、第２ＣＮＮ １１００のフレーム別処理時間が第２ＣＮＮ １１００の基準時間範囲内であれば、第２ＣＮＮ １１００に入力される部位別移動軌跡の現在個数を保持し、第２ＣＮＮ １１００のフレーム別処理時間が第２ＣＮＮ １１００の基準時間範囲より大きければ、第２ＣＮＮ １１００に入力される部位別移動軌跡のうち、いずれか１つを優先順位によって除去し、第２ＣＮＮ １１００のフレーム別処理時間が第２ＣＮＮ １１００の基準時間範囲より小さければ、第２ＣＮＮ １１００に入力される部位別移動軌跡に対して優先順位によって新たな部位の移動軌跡をさらに入力する。客体の部位それぞれには、優先順位が割り当てられており、優先順位の高い順に部位別移動軌跡が追加されるか、除去される。例えば、人の中心部位、右手、右足、左手、左足順に優先順位が高い。ここで、第２ＣＮＮ １１００の基準時間範囲は、監視カメラ１０のハードウェア仕様を考慮して、ＩＳＰ １３によって生成された秒当たり６０フレームのカラー映像に対してリアルタイム侵入検知が可能であり、かつ第２ＣＮＮ １１００に最も多くの移動軌跡が入力されるように設定される。

３１１段階において、制御部１１２は、３９段階で獲得された侵入発生確率が９０％以上であるかを確認する。３９段階で獲得された侵入発生確率が９０％以上であれば、３１２段階に進み、そうでなければ、３１３段階に進む。３１２段階において、制御部１１２は、通信部１５を介してサーバ３０に侵入警報メッセージを伝送する。このような侵入警報メッセージは、ターゲット客体のタイプ、当該フレームの番号などを含んでもよい。サーバ３０は、監視カメラ１０から侵入警報メッセージを受信すれば、当該フレームのカラー映像に侵入客体のタイプと共に、侵入を知らせる表示を行い、侵入を知らせる音声放送を行う。

３１３段階において、制御部１１２は、３９段階で獲得された侵入発生確率が８０％以上であるかを確認する。３９段階で獲得された侵入発生確率が８０％以上であれば、３１４段階に進み、そうでなければ、３１５段階に進む。３１４段階において、制御部１１２は、通信部１５を介してサーバ３０に警戒警報メッセージを伝送する。このような警戒警報メッセージは、ターゲット客体のタイプ、当該フレームの番号などを含んでもよい。サーバ３０は、監視カメラ１０から警戒警報メッセージを受信すれば、当該フレームのカラー映像に警戒対象客体のタイプと共に、警戒状況を知らせる表示を行い、警戒状況を知らせる音声放送を行う。

３１５段階において、制御部１１２は、３９段階で獲得された侵入発生確率が７０％以上であるかを確認する。３９段階で獲得された侵入発生確率が７０％以上であれば、３１６段階に進み、そうでなければ、当該フレームに対する手続きは終了する。すなわち、侵入発生確率が７０％未満に該当するフレームに対する手続きは終了する。３１６段階で制御部１１２は、通信部１５を介してサーバ３０に注意警報メッセージを伝送する。このような注意警報メッセージは、ターゲット客体のタイプ、当該フレームの番号などを含んでもよい。サーバ３０は、監視カメラ１０から注意警報メッセージを受信すれば、当該フレームのカラー映像に注意対象客体のタイプと共に、注意状況を知らせる表示を行い、注意状況を知らせる音声放送を行う。３１２、３１４、３１６段階での映像表示や音声放送が開始されると共に、当該フレームに対する手続きは終了する。

以上、本発明について望ましい実施例を中心に説明した。本発明が属する技術分野で通常の知識を有する者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現される可能性があるということを理解できるであろう。したがって、開示した実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に開示されており、それと同等な範囲内にある全ての相違点は、本発明に含まれていると解釈されねばならない。

１０ 監視カメラ
１１ レンズ部
１２ イメージセンサ
１３ ＩＳＰ
１４ 圧縮部
１５ 通信部
１６ サンプラ
１７ 映像変換部
１８ 客体識別部
１９ 軌跡生成部
２０ ハブ
３０ サーバ
１１０ 侵入検知部
１１１ ユーザインターフェース
１１２ 制御部
１８０ 第１ＣＮＮ
１９０ 客体追跡アルゴリズム
１１００ 第２ＣＮＮ

Claims (8)

1. 映像基盤のリアルタイム侵入検知方法において、
   第１時点で入力された複数フレームをサンプリングする段階と、
   第１人工神経網を用いて前記サンプリングされた各フレームの映像内にターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する段階と、
   前記少なくとも１つの客体の存在確率獲得にかかる前記第１人工神経網のフレーム別処理時間によって前記第１時点以後の第２時点で入力される複数フレームに対するサンプリングレートを調節する段階と、
   前記獲得された確率の大きさによって前記サンプリングされた各フレームをターゲット客体のフレームとして選定する段階と、
   前記ターゲット客体のフレームとして選定されたフレームから前記ターゲット客体のタイプに該当する各客体の移動軌跡を生成する段階と、
   第２人工神経網を用いて前記生成された移動軌跡から侵入発生確率を獲得する段階と、を含むことを特徴とする方法。
2. 前記サンプリングレートを調節する段階は、前記サンプリングされた各フレームの映像が前記第１人工神経網に入力された時点と前記サンプリングされた各フレームの映像内での少なくとも１つの客体の存在確率が前記第１人工神経網から出力された時点の差から前記第１人工神経網のフレーム別処理時間を算出し、前記算出された第１人工神経網のフレーム別処理時間に反比例して前記サンプリングレートを調節することを特徴とする請求項１に記載の方法。
3. 前記各客体の移動軌跡を生成する段階は、少なくとも１つの客体追跡アルゴリズムを用いて前記移動軌跡を生成し、
   前記移動軌跡の生成にかかる客体追跡アルゴリズムのフレーム別処理時間によって前記調節されたサンプリングレートを再調節する段階をさらに含むことを特徴とする請求項１に記載の方法。
4. 前記各客体の移動軌跡を生成する段階は、少なくとも１つの客体追跡アルゴリズムを用いて前記ターゲット客体のタイプに該当する各客体の少なくとも１つの部位別移動軌跡を生成し、
   前記侵入発生確率を獲得する段階は、前記第２人工神経網に前記生成された部位別移動軌跡を入力することで、前記第２人工神経網の出力から前記侵入発生確率を獲得することを特徴とする請求項１に記載の方法。
5. 前記侵入発生確率の獲得にかかる第２人工神経網のフレーム別処理時間によって前記第２人工神経網に入力される部位別移動軌跡の個数を調節する段階をさらに含むことを特徴とする請求項４に記載の方法。
6. 前記部位別移動軌跡の個数を調節する段階は、前記第２人工神経網のフレーム別処理時間が基準時間範囲以内であれば、前記第２人工神経網に入力される部位別移動軌跡の現在個数を保持し、前記第２人工神経網のフレーム別処理時間が前記基準時間範囲より大きければ、前記第２人工神経網に入力される部位別移動軌跡のうち、いずれか１つを除去し、前記第２人工神経網のフレーム別処理時間が前記基準時間範囲より小さければ、前記第２人工神経網に入力される部位別移動軌跡に対して新たな部位の移動軌跡をさらに入力することを特徴とする請求項５に記載の方法。
7. 前記サンプリングされた各フレームのカラー映像を少なくとも１つの客体のアウトラインを示す白黒映像に変換する段階をさらに含み、
   前記少なくとも１つの客体が存在する確率を獲得する段階は、前記第１人工神経網を用いて前記変換された白黒映像内に前記ターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得することを特徴とする請求項１に記載の方法。
8. 第１時点で入力された複数フレームをサンプリングするサンプラと、
   第１人工神経網を用いて前記サンプリングされた各フレームの映像内にターゲット客体のタイプに該当する少なくとも１つの客体が存在する確率を獲得する客体識別部と、
   前記少なくとも１つの客体の存在する確率獲得にかかる前記第１人工神経網のフレーム別処理時間によって前記第１時点以後の第２時点で入力される複数フレームに対するサンプリングレートを調節し、前記獲得された確率の大きさによって前記サンプリングされた各フレームをターゲット客体のフレームとして選定する制御部と、
   前記ターゲット客体のフレームとして選定されたフレームから前記ターゲット客体のタイプに該当する各客体の移動軌跡を生成する軌跡生成部と、
   第２人工神経網を用いて前記生成された移動軌跡から侵入発生確率を獲得する侵入検知部と、を含むことを特徴とする監視カメラ。
   

Images