JP6425856B1 - ビデオ録画方法、サーバー、システム及び記憶媒体 - Google Patents

Abstract

本発明は、ビデオ録画方法を提供する。ビデオ録画方法は、所定期間毎に、監視カメラによって撮影された第一画像を抽出するステップと、第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出するステップと、前記関心領域に対して行動領域を選択し、目標領域を選出するステップと、目標領域を分割し、各目標領域を複数のサブ領域に分割するステップと、所定期間毎に、前記監視カメラによって撮影された第二画像を抽出するステップと、前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定するステップと、あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるステップを含む。本発明は上記方法に用いるサーバー、システム及び記憶媒体を更に提供する。

Description

本出願は、２０１６年４月１４日に出願され、「ビデオ録画方法及びサーバー」と題された中国特許出願第２０１６１０２３４９５６．７号の優先権を主張し、その全体の内容が参照により本明細書に組み込まれている。

本発明は、ビデオ処理分野に関するものであり、ビデオ録画方法、サーバー、システム及び記憶媒体に関するものである。

自動車を修理工場で修理する過程で、監視システムによって映像は一日中間断なく録画され、つまり自動車を修理しない場合、ずっと映像を録画しているので、大量の静態ビデオフレームを生成する。このような大量の静態ビデオフレームを保存するというのは、記憶装置及びネットワーク帯域を浪費する。そして、映像における重要な情報を検索する時、長時間に渡る静態ビデオフレームから重要な情報を探し出すのに手間がかかる問題があり、キーフレームを見逃す可能性がある。

現在、既存のビデオ録画方法はパノラマを監視し、動作が発生した際に録画動作がトリガされ、このような機能は、ある程度上述した問題を解決することができるが、新しい問題は、無関係の動作による録画動作がトリガされ、例えば、修理工場の５メートル以外で歩行者が歩く場合、自動車修理と関係がなくても、動作が発生するとビデオ録画を行い、情報を冗長にする。

本発明は、上記したような従来の技術において、前記問題点を解決するためになされたものであり、必要がないビデオフレームの録画を減少することができるビデオ録画方法、サーバー、システム及び記憶媒体を提供することにその目的がある。

本願が提供するビデオ録画方法は、
第一所定期間毎に、監視カメラによって撮影された第一画像を抽出するステップと、
予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出するステップと、
解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出するステップと、
分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割されるステップと、
第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出するステップと、
前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定するステップと、
あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるステップと、
を備える。

本発明に係るサーバーは記憶装置及び処理器を備え、
前記記憶装置には、ビデオ録画システムが格納され、
前記処理器は、前記ビデオ録画システムを実行することに用いられ以下のステップを実行する。すなわち、
第一所定期間毎に、監視カメラによって撮影された第一画像を抽出し、
予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出し、
解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出し、
分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割され、
第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出し、
前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定し、
あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始める。

本発明に係るビデオ録画システムは、
第一所定期間毎に、監視カメラによって撮影された第一画像を抽出する第一画像取得モジュールと、
予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出する構築モジュールと、
解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出する選択モジュールと、
分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割される分割モジュールと、
第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出する第二画像取得モジュールと、
前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定する動作検出モジュールと、
あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるビデオ録画モジュールと、
を備える。

本発明に係るコンピュータ読み取り可能な命令の不揮発性記憶媒体は、コンピュータ読み取り可能な命令が一つ又は複数の処理器によって以下のステップを実行可能である。すなわち、
第一所定期間毎に、監視カメラによって撮影された第一画像を抽出し、
予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出し、
解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出し、
分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割され、
第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出し、
前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定し、
あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始める。

本発明のビデオ録画方法、該方法に用いられるサーバー、システム及び記憶媒体は、必要がないビデオフレームの録画を減少することができ、記憶装置及びネットワーク帯域の浪費を防ぐという効果を奏することができる。

本発明に係るビデオ録画システムの第一の好ましい実施形態のサーバーの応用環境図である。 本発明に係るビデオ録画システムの第二の好ましい実施形態のサーバーの応用環境図である。 本発明に係るビデオ録画システムの好ましい実施形態のブロック図である。 本発明に係るビデオ録画方法の好ましい実施形態のフローチャートである。 図４に係るビデオ録画方法の好ましい実施形態の各サブ領域で動作事件が発生したかどうかを判定する詳しい実施フローチャートである。

図１は、本発明に係るビデオ録画システムの第一の好ましい実施形態のサーバーの応用環境図である。

本実施形態において、ビデオ録画システム１０は、サーバーに搭載して実行されている。図１に示すように、前記サーバーは、監視サーバー１であっても良い。前記監視サーバー１は、通信モジュール（図示せず）を介して監視場所２に搭載された1つ又は複数の監視カメラ３に通信可能に接続されることができる。

前記監視場所２は、学校、幼稚園、デパート、病院、公園、町広場、地下歩行空間などのような人が多い場所であり、家庭、スーパーマーケット、現金自動預け払い機（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ、ＡＴＭ）などのような監視装置を搭載しようとする特別な場所であっても良い。本実施形態において、前記監視場所２は、４Ｓ店などのような自動車修理工場である。

前記監視場所２には、1つ又は複数の監視カメラ３が搭載されている。前記監視カメラ３は、アナログカメラであっても良い。前記アナログカメラは、ビデオ採集装置によって生成されたアナログビデオ信号を特定のビデオキャプチャカードを介してデジタル信号に変換し、且つそれを伝送して監視サーバー１に記憶する。本実施形態において、前記監視カメラ３は、ネットワークカメラである。前記ネットワークカメラは、固定された後、ケーブル及びルータによって接続され、ルータを介して監視サーバー１に通信可能に接続されており、監視サーバー１によってビデオを出力する。

前記監視サーバー１は、処理器及び記憶装置（図示せず）を備える。前記処理器は、コアユニット（Ｃｏｒｅ Ｕｎｉｔ）及びコントロールユニット（Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、コンピュータの命令を読み取り、コンピュータソフトウェアのデータを処理することに用いられる。前記記憶装置には、データベース、オペレーティングシステム、前記ビデオ録画システム１０が格納されている。いくつかの実施形態において、記憶装置は、内蔵メモリと不揮発性記憶媒体を備える。前記ビデオ録画システム１０、オペレーティングシステム及びデータベースは、不揮発性記憶媒体に格納される。内蔵メモリは、オペレーティングシステム、データベース及び前記ビデオ録画システム１０に高速なキャッシュの実行環境を提供する。

本実施形態において、前記ビデオ録画システム１０は、少なくとも1つのコンピュータ実行可能プログラム命令コードを含む。コンピュータ実行可能プログラム命令コードは、処理器によって実行され、下記の操作を実現する。

第一所定期間毎に、例えば、５分毎に、監視カメラ３によって撮影された第一画像を抽出し、予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象が含まれる関心領域、例えば、車両の部分領域又は全部領域を抽出する。解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出する。分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割される。第二所定期間毎に、例えば、０．５秒毎に、前記監視カメラ３によって撮影された第二画像を抽出し、前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定する。あるサブ領域で行動事件が発生した場合、前記監視カメラ３を制御して現在の抽出された第二画像からビデオを録画し始める。

ここで、前記予め構築されたモデルは、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）モデルである。

前記モデル生成は、以下のステップを備える。

各車両修理工場のデータベースから各車両修理位置の監視装置によって採集された予め設定された数量（例えば、１０万枚）の修理位置画像を獲得する。現在の修理工場の監視ビデオが多くあるため、本実施形態において、その中から動画を選択し、且つキーフレームを抽出し、大量の画像を獲得する。採集された各写真の中の車両のある領域に対してレーベリングをする。なお、レーベリングをする過程において、矩形フレームで車両の位置をレーベリングし、且つラベルを表記してよい。この過程は、外部委託又は会社内部の手動でのレーベリングによって行い、レーベリングをされた車両のある領域は、関心領域である。レーベリングをされた車両のある領域の予め設定された数量の画像を用いて予め設定されたモデル構造のＣＮＮモデルを訓練し、識別された画像の中の前記関心領域のＣＮＮモデルを生成する。訓練の目的は、ＣＮＮネットワーク内の各重みの値を最適化し、ネットワークモデルを全体として前記関心領域の識別に実際に適用できるようにすることである。ネットワークモデルは、合計で七層を含み、それぞれ、五つの畳み込み層と、1つのプーリング層と1つの全結合層である。なお、畳み込み層は、複数の特徴量からなる特徴図によって生成され、特徴図の役割は、畳み込みフィルタを介して重要な特徴を抽出する。プーリング層の役割は、サンプリング方法に従って重複の特徴点を除き、特徴抽出の回数を減らし、ネットワーク層の間のデータ通信の効率を向上させることであり、使用できるサンプリング方法は、最大サンプリング法、平均サンプリング法、ランダムサンプリング法を含む。全結合層の役割は、前記畳み込み層とプーリング層を接続し、且つ重み行列を計算し、その後の実際の分類に用いられる。画像がモデルに入ると、各層は、順方向代入と逆方向代入の２つのプロセスを実行し、毎回の代入によって1つの確率分布を生成し、複数回代入された確率分布を重ね合わせ、システムは、確率分布における最大値である分類を最終的な分類結果とする。

なお、前記解析ルールは、抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、例えば、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、前記Ｘ１は、Ｘ１列目の画素点を表し、前記Ｘ２は、Ｘ２列目の画素点を表し、Ｘ１は、Ｘ２より小さく、前記Ｙ１は、Ｙ１行目の画素点を表し、Ｙ２は、Ｙ２行目の画素点を表し、且つＹ１は、Ｙ２より小さく、抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである。前記解析ルールの原理は、修理工場の監視装置が、1つの修理位置に対応し、車両をレンズの主要領域（即ち、中央領域）に位置させ、従って、前記予め設定された画素領域範囲は、できるだけレンズの主要領域を含む。画素領域範囲は、大き過ぎることができず、複数の関心領域がその中に位置することを防止する。画素領域範囲はまた、小さ過ぎることができなく、関心領域がその中に入りづらくなることを防止する。手動によって前記横座標領域範囲と縦座標領域範囲を確認することができ、大き過ぎると、それを小さくし、小さ過ぎると、それを大きくする。

なお、前記分割ルールは、均一分割方式を採用し、即ち分割されたサブ領域の面積のサイズと形状を一致させ、前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であり、例えば、８＊８である。Ｎ＊Ｎ個のサブ領域を選択するが、目標領域全体ではなく、動作検出を行うのには、主に２つの考慮事項があり、第一に、精度であり、目標領域全体に対して画素値を比較する場合、微細動作が他の静態の領域によって平均化で失われかねず、このような微細動作を検出することができなくなってしまう。第二に、効率であり、動作が、ある領域だけで発生する場合、このサブ領域で動作が発生したことを検出すると、それに対応するフレームを保存することができ、他の領域を検出し続ける必要がない。例えば、1つの例において、８＊８のサブ領域を例として、１番目のサブ領域で動作を検出すると、残りの６３個のサブ領域を検出する必要がないため、効率を６４倍に向上させることができる。

なお、各サブ領域で動作事件が発生したかどうかを判定するステップは、現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出し、各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得る。サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、前記サブ領域で動作事件が発生したことを確認することを備える。

本発明の好ましい実施形態において、前記ビデオ録画システム１０は、任意の1つの端末装置に搭載して実行され、図２に示すような携帯端末４である。前記携帯端末４は、データ処理機能を有する任意の電子装置であり、例えば、スマートフォン、タブレットパソコン、ノートパソコン、着脱可能な時計、着脱可能な眼鏡等々である。同様に、端末装置２は、処理器及び記憶装置（図示せず）を備え、前記ビデオ録画システム１０は、端末装置２の記憶装置に格納される少なくとも1つのコンピュータ実行可能プログラム命令コードを含む。コンピュータ実行可能プログラム命令コードは、前記端末装置２の処理器によって実行され、下記の操作を実現する。

この技術分野の技術者が理解できることは、図１及び図２に示すような構造は、単に本発明に関連する一部分の構造のブロック図にすぎず、本願技術方案のサーバー又は端末装置の限定を構成するものではない。具体的には、電子装置は、図の中の部品より多くの又は少ない部品を含み、又はある部品を組み合わせ、又は異なる部品配列を有することができる。

理解できることは、上述した実施形態の不揮発性記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）などのような不揮発性記憶媒体であり、又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）等々であることができる。

理解できることは、前記記憶装置は、監視サーバー１又は端末装置２に内蔵するか又は接続することができる。

図３に示すように、本発明に係るビデオ録画システムの好ましい実施形態のブロック図である。

前記ビデオ録画システム１０のプログラムコードは、異なる機能に基づいて複数の機能モジュールに分割される。本発明の好ましい実施形態において、前記ビデオ録画システム１０は、第一画像取得モジュール１００と、構築モジュール１０１と、選択モジュール１０２と、分割モジュール１０３と、第二画像取得モジュール１０４と、動作検出モジュール１０５と、ビデオ録画モジュール１０６と、を備える。

前記第一画像取得モジュール１００は、第一所定期間毎に、例えば、５分毎に、監視カメラ３によって撮影された第一画像を抽出することに用いられる。

前記構築モジュール１０１は、予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象が含まれる関心領域を抽出し、例えば、車両の部分領域又は全部領域であることに用いられる。

ここで、前記予め構築されたモデルは、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）モデルである。

前記予め構築されたモデル生成は、以下のステップを備える。

各車両修理工場のデータベースから各車両修理位置の監視装置によって採集された予め設定された数量（例えば、１０万枚）の修理位置画像を獲得する。現在の修理工場の監視ビデオが多くあるため、本実施形態において、その中から動画を選択し、且つキーフレームを抽出し、大量の画像を獲得する。採集された各写真の中の車両のある領域に対してレーベリングを行う。なお、レーベリングの過程において、矩形フレームで車両の位置をレーベリングし、且つラベルを表記してよい。この過程は、外部委託又は会社内部の手動でのレーベリングによって行い、レーベリングをされた車両のある領域がすなわち関心領域である。レーベリングをされた車両のある領域の予め設定された数量の画像を用いて予め設定されたモデル構造のＣＮＮモデルを訓練し、識別された画像の中の前記関心領域のＣＮＮモデルを生成する。訓練の目的は、ＣＮＮネットワーク内の各重みの値を最適化し、ネットワークモデルを全体として前記関心領域の識別に実際に適用できるようにすることである。ネットワークモデルの合計は、七層を含み、それぞれは、五つの畳み込み層と、1つのプーリング層と1つの全結合層を含む。なお、畳み込み層は、複数の特徴量からなる特徴図によって生成され、特徴図の役割は、畳み込みフィルタを介して重要な特徴を抽出する。プーリング層の役割は、サンプリング方法に従って重複の特徴点を除き、特徴抽出の回数を減らし、ネットワーク層の間のデータ通信の効率を向上させることであり、使用できるサンプリング方法は、最大サンプリング法、平均サンプリング法、ランダムサンプリング法を含む。全結合層の役割は、前記畳み込み層とプーリング層を接続し、且つ重み行列を計算し、その後の実際な分類に用いられる。画像がモデルに入ると、各層は、順方向代入と逆方向代入の２つのプロセスを実行し、毎回の代入によって1つの確率分布を生成し、複数回代入された確率分布を重ね合わせ、システムは、確率分布における最大値である分類を最終的な分類結果とする。

前記選択モジュール１０２は、解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出することに用いられる。

なお、前記解析ルールは、抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、例えば、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである。前記解析ルールの原理は、修理工場の監視装置が、1つの修理位置に対応し、車両をレンズの主要領域（即ち、中央領域）に位置させ、従って、前記予め設定された画素領域範囲は、できるだけレンズの主要領域を含む。画素領域範囲は、大き過ぎることができず、複数の関心領域がその中に位置することを防止する。画素領域範囲はまた、小さ過ぎることができなく、関心領域がその中に入りづらくなることを防止する。手動によって前記横座標領域範囲と縦座標領域範囲を確認することができ、大き過ぎると、それを小さくし、小さ過ぎると、それを大きくする。

前記分割モジュール１０３は、分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割されることに用いられる。

なお、前記分割ルールは、均一分割方式を採用し、即ち分割されたサブ領域の面積のサイズと形状を一致させ、前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であり、例えば、８＊８である。Ｎ＊Ｎ個のサブ領域を選択するが、目標領域全体ではなく、動作検出を行うのには、主に２つの考慮事項があり、第一に、精度であり、目標領域全体に対して画素値を比較する場合、微細動作が他の静態の領域によって平均化で失われかねず、このような微細動作を検出することができなくなってしまう。第二に、効率であり、動作が、ある領域だけで発生する場合、このサブ領域で動作が発生したことを検出すると、それに対応するフレームを保存することができ、他の領域を検出し続ける必要がない。例えば、1つの例において、８＊８のサブ領域を例として、１番目のサブ領域で動作を検出すると、残りの６３個のサブ領域を検出する必要がないため、効率を６４倍に向上させることができる。

前記第二画像取得モジュール１０４は、第二所定期間毎に、例えば、０．５秒毎に、前記監視カメラ３によって撮影された第二画像を抽出することに用いられる。

前記動作検出モジュール１０５は、前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定することに用いられる。

なお、各サブ領域で動作事件が発生したかどうかを判定するステップは、現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出し、各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得る。サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、前記サブ領域で動作事件が発生したことを確認することを備える。

前記ビデオ録画モジュール１０６は、あるサブ領域で行動事件が発生した場合、前記監視カメラ３を制御して現在の抽出された第二画像からビデオを録画し始めることに用いられる。

図４に示すように、本発明に係るビデオ録画方法の好ましい実施形態のフローチャートである。本実施形態の前記ビデオ録画方法は、フローチャートに示すようなステップに限定されるものではないことを理解できる。また、フローチャートに示すステップのうち、いくつかのステップは省略でき、ステップの間の順序も変更することができる。

ステップＳ１０：第一画像取得モジュール１００は、第一所定期間毎に、例えば、５分毎に、監視カメラ３によって撮影された第一画像を抽出する。

ステップＳ１１：構築モジュール１０１は、予め構築されたモデルを介して、抽出した第一画像に対して領域検出を行い、目的対象が含まれる関心領域を抽出し、例えば、車両の部分領域又は全部領域である。

ここで、前記予め構築されたモデルは、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）モデルである。

前記予め構築されたモデルの生成は、以下のステップを備える。

各車両修理工場のデータベースから各車両修理位置の監視装置によって採集された予め設定された数量（例えば、１０万枚）の修理位置画像を獲得する。現在の修理工場の監視ビデオが多くあるため、本実施形態において、その中から動画を選択し、且つキーフレームを抽出し、大量の画像を獲得する。採集された各写真の中の車両のある領域に対してレーベリングを行う。なお、レーベリングの過程において、矩形フレームで車両の位置をレーベリングし、且つラベルを表記してよい。この過程は、外部委託又は会社内部の手動でのレーベリングによって行い、レーベリングをされた車両のある領域は、関心領域である。レーベリングをされた車両のある領域の予め設定された数量の画像を用いて予め設定されたモデル構造のＣＮＮモデルを訓練し、識別された画像の中の前記関心領域のＣＮＮモデルを生成する。訓練の目的は、ＣＮＮネットワーク内の各重みの値を最適化し、ネットワークモデルを全体として前記関心領域の識別に実際に適用できるようにすることである。ネットワークモデルの合計は、七層を含み、それぞれは、五つの畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ）と、1つのプーリング層（Ｐｏｏｌｉｎｇ）と1つの全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）を含む。なお、畳み込み層は、複数の特徴量からなる特徴図によって生成され、特徴図の役割は、畳み込みフィルタを介して重要な特徴を抽出する。プーリング層の役割は、サンプリング方法に従って重複の特徴点を除き、特徴抽出の回数を減らし、ネットワーク層の間のデータ通信の効率を向上させることであり、使用できるサンプリング方法は、最大サンプリング法、平均サンプリング法、ランダムサンプリング法を含む。全結合層の役割は、前記畳み込み層とプーリング層を接続し、且つ重み行列を計算し、その後の実際な分類に用いられる。画像がモデルに入ると、各層は、順方向代入と逆方向代入の２つのプロセスを実行し、毎回の代入によって1つの確率分布を生成し、複数回代入された確率分布を重ね合わせ、システムは、確率分布における最大値である分類を最終的な分類結果とする。

ステップＳ１２：選択モジュール１０２は、解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出する。

なお、前記解析ルールは、抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、例えば、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである。前記解析ルールの原理は、修理工場の監視装置が、1つの修理位置に対応し、車両をレンズの主要領域（即ち、中央領域）に位置させ、従って、前記予め設定された画素領域範囲は、できるだけレンズの主要領域を含む。画素領域範囲は、大き過ぎることができず、複数の関心領域がその中に位置することを防止する。画素領域範囲はまた、小さ過ぎることができなく、関心領域がその中に入りづらくなることを防止する。手動によって前記横座標領域範囲と縦座標領域範囲を確認することができ、大き過ぎると、それを小さくし、小さ過ぎると、それを大きくする。

ステップＳ１３：選択モジュール１０２は、少なくとも１つの目標領域を選出したかどうかを判定する。いずれの目標領域も選択されなかった場合、上述したステップＳ１０に戻り、第一画像の抽出を再び行う。目標領域が選出された場合、下記のステップＳ１４を実行する。

ステップＳ１４：分割モジュール１０３は、分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割される。

なお、前記分割ルールは、均一分割方式を採用し、即ち分割されたサブ領域の面積のサイズと形状を一致させ、前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であり、例えば、８＊８である。Ｎ＊Ｎ個のサブ領域を選択するが、目標領域全体ではなく、動作検出を行うのには、主に２つの考慮事項があり、第一に、精度であり、目標領域全体に対して画素値を比較する場合、微細動作が他の静態の領域によって平均化で失われかねず、このような微細動作を検出することができなくなってしまう。第二に、効率であり、動作が、ある領域だけで発生する場合、このサブ領域で動作が発生したことを検出すると、それに対応するフレームを保存することができ、他の領域を検出し続ける必要がない。例えば、1つの例において、８＊８のサブ領域を例として、１番目のサブ領域で動作を検出すると、残りの６３個のサブ領域を検出する必要がないため、効率を６４倍に向上させることができる。

ステップＳ１５：第二画像取得モジュール１０４は、第二所定期間毎に、例えば、０．５秒毎に、前記監視カメラ３によって撮影された第二画像を抽出する。

ステップＳ１６：動作検出モジュール１０５は、前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定する。ステップＳ１６の詳しい実施フローチャートは、下記の図５の説明を参照する。

ステップＳ１７：動作検出モジュール１０５は、各サブ領域で行動事件が発生したかどうかを判定する。いずれかの１つのサブ領域で行動事件が発生した場合、下記のステップＳ１８を実行する。

ステップＳ１８：ビデオ録画モジュール１０６は、あるサブ領域で行動事件が発生した場合、前記監視カメラ３を制御して現在の抽出された第二画像からビデオを録画し始める。

図５に示すように、図４に係るステップＳ１６、即ちビデオ録画方法の好ましい実施形態の各サブ領域で動作事件が発生したかどうかを判定する詳しい実施フローチャートである。本実施形態の前記ビデオ録画方法は、フローチャートに示すようなステップに限定されるものではないことを理解できる。また、フローチャートに示すステップのうち、いくつかのステップは省略でき、ステップの間の順序も変更することができる。

ステップＳ１６０：動作検出モジュール１０５は、現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値を獲得する。

ステップＳ１６１：動作検出モジュール１０５は、現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出する。

ステップＳ１６２：動作検出モジュール１０５は、各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得る。

ステップＳ１６３：動作検出モジュール１０５は、サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きいかどうかを判定する。サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、ステップＳ１６４を実行する。さもなければ、サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より小さい場合、ステップＳ１６５を実行する。

ステップＳ１６４：動作検出モジュール１０５は、前記サブ領域で動作事件が発生したことを確認する。

ステップＳ１６５：動作検出モジュール１０５は、前記サブ領域で動作事件が発生していないことを確認し、且つ上述したステップＳ１６０に戻り、即ち動作検出モジュール１０５は、現在の抽出された第二画像の次のサブ領域に位置する画像ブロックの各画素点の画素値を獲得する。

この技術分野の技術者は理解できることは、上述した実施形態の方法の中の全体又は一部分のステップを実行することは、コンピュータプログラムによってハードウェアを命令して完成することもできる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に格納され、前記プログラムが実行された時、上述したステップの実施形態のプロセスを含むことができる。前記コンピュータ読み取り可能な記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）などのような不揮発性記憶媒体であり、又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）等々であることができる。

上述した各実施形態の技術特徴は任意に組み合わせることが可能であり、説明を簡潔にするために、各実施形態における各技術特徴の組み合わせは全て記載していないが、これらの技術特徴の組み合わせに矛盾がない限り、本明細書の範囲に属するべきである。

最後に説明すべきことは、以上の実施形態は、本発明の技術方案を説明するためだけで、限定を構成するものではないということである。好ましい実施形態を参照して詳細に説明したが、この技術分野の技術者は、本発明の技術方案に対して様々な変更と同等の代替を行うことができるが、本発明の精神と範囲を逸脱するものではないことを理解できる。

Claims (14)

1. ビデオ録画方法であって、
   第一所定期間毎に、監視カメラによって撮影された第一画像を抽出するステップと、
   予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出するステップと、
   解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出するステップと、
   分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割されるステップと、
   第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出するステップと、
   前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定するステップと、
   あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるステップと、
   を備えることを特徴とするビデオ録画方法。
2. 前記予め構築されたモデルは、畳み込みニューラルネットワークモデルであることを特徴とする請求項１に記載のビデオ録画方法。
3. 前記解析ルールは、
   抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、前記Ｘ１は、Ｘ１列目の画素点を表し、前記Ｘ２は、Ｘ２列目の画素点を表し、Ｘ１は、Ｘ２より小さく、前記Ｙ１は、Ｙ１行目の画素点を表し、Ｙ２は、Ｙ２行目の画素点を表し、且つＹ１は、Ｙ２より小さく、
   抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである
   ことを特徴とする請求項１に記載のビデオ録画方法。
4. 前記分割ルールは、均一分割方式を採用して前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であることを特徴とする請求項１に記載のビデオ録画方法。
5. 各サブ領域で動作事件が発生したかどうかを判定するステップは、
   現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出するステップと、
   各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得るステップと、
   サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、前記サブ領域で動作事件が発生したことを確認するステップと、
   を備えることを特徴とする請求項１に記載のビデオ録画方法。
6. 記憶装置及び処理器を備えるサーバーであって、
   前記記憶装置には、ビデオ録画システムが格納され、
   前記処理器は、前記ビデオ録画システムを実行することに用いられ、
   第一所定期間毎に、監視カメラによって撮影された第一画像を抽出するステップと、
   予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出するステップと、
   解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出するステップと、
   分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割されるステップと、
   第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出するステップと、
   前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生したかどうかを判定するステップと、
   あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるステップと、
   を実行することを特徴とするサーバー。
7. 前記解析ルールは、抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである
   ことを特徴とする請求項６に記載のサーバー。
8. 前記分割ルールは、均一分割方式を採用して前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であることを特徴とする請求項６に記載のサーバー。
9. 各サブ領域で動作事件が発生したかどうかを判定するステップは、
   現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出するステップと、
   各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得るステップと、
   サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、前記サブ領域で動作事件が発生したことを確認するステップと、
   を備えることを特徴とする請求項６に記載のサーバー。
10. ビデオ録画システムであって、
    第一所定期間毎に、監視カメラによって撮影された第一画像を抽出する第一画像取得モジュールと、
    予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出する構築モジュールと、
    解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出する選択モジュールと、
    分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割される分割モジュールと、
    第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出する第二画像取得モジュールと、
    前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生するかどうかを判定する動作検出モジュールと、
    あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるビデオ録画モジュールと、
    を備えることを特徴とするビデオ録画システム。
11. 前記解析ルールは、
    抽出された関心領域が予め設定された画素領域範囲に位置することがあるかどうかを解析し、予め設定された画素領域は、横座標領域範囲と縦座標領域範囲を含み、ここで、前記横座標領域範囲は（Ｘ１、Ｘ２）であり、前記縦座標領域範囲は、（Ｙ１、Ｙ２）であり、前記Ｘ１は、Ｘ１列目の画素点を表し、前記Ｘ２は、Ｘ２列目の画素点を表し、Ｘ１は、Ｘ２より小さく、前記Ｙ１は、Ｙ１行目の画素点を表し、Ｙ２は、Ｙ２行目の画素点を表し、且つＹ１は、Ｙ２より小さく、
    抽出された関心領域が予め設定された画素領域範囲に位置することがある場合、前記関心領域が前記目標領域であることを確認することである
    ことを特徴とする請求項１０に記載のビデオ録画システム。
12. 前記分割ルールは、均一分割方式を採用して前記目標領域に対してサブ領域の分割を行い、前記目標領域は、Ｎ＊Ｎ個のサブ領域に分割され、ここで、Ｎは、１より大きい正の整数であることを特徴とする請求項１０に記載のビデオ録画システム。
13. 前記動作検出モジュールは、
    現在の抽出された第二画像のその中の１つのサブ領域に位置する画像ブロックの各画素点の画素値と前回の抽出された第二画像の同じサブ領域に位置する画像ブロックに対応する画素点の画素値との差値を算出し、
    各サブ領域の画像ブロックに対応する全ての差値の合計を求め、算出した合計が前記画像ブロックの画素点の数量で除算され、各サブ領域の中の画像ブロックに対応する差値平均値を得、
    サブ領域の中の画像ブロックに対応する差値平均値が予め設定された閾値より大きい場合、前記サブ領域で動作事件が発生したことを確認する
    ことに用いられることを特徴とする請求項１０に記載のビデオ録画システム。
14. コンピュータ読み取り可能な命令の記憶媒体であって、前記コンピュータ読み取り可能な命令は一つ又は複数の処理器によって、
    第一所定期間毎に、監視カメラによって撮影された第一画像を抽出するステップと、
    予め構築されたモデルを介して抽出した第一画像に対して領域検出を行い、目的対象の部分領域又は全部領域が含まれる関心領域を抽出するステップと、
    解析ルールに従って、前記関心領域で行動領域を選択し、目標領域を選出するステップと、
    分割ルールに従って、選出した目標領域を分割し、各目標領域は複数のサブ領域に分割されるステップと、
    第二所定期間毎に、前記監視カメラによって撮影された第二画像を抽出するステップと、
    前記第二画像で各サブ領域に位置する画像ブロックと前回の抽出された第二画像の同じサブ領域に位置する画像ブロックとを比較し、各サブ領域で行動事件が発生するかどうかを判定するステップと、
    あるサブ領域で行動事件が発生した場合、前記監視カメラを制御して現在の抽出された第二画像からビデオを録画し始めるステップと、
    を実行可能であることを特徴とするコンピュータ読み取り可能な記憶媒体。