JP7399306B2 - 監視システム、カメラ、解析装置及びａｉモデル生成方法 - Google Patents

Description

本発明は、ＡＩモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムに関する。

監視カメラ等の撮像装置を用いて２４時間の映像監視を提供する映像監視システムが普及している。近年では、監視員による有人監視以外に、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて監視を行う技術が検討されている。ＡＩを用いた映像監視システムは、例えば、特定物体が出現した映像及び時間などの必要最小限の情報のみを保存する機能や、表示装置による警告アイコンの表示及びブザーの鳴動などにより監視員の注意を促す機能を備えている。このため、ＡＩを用いた映像監視システムは、常時確認が必要であった従来方式に比べ、監視業務の負担軽減に役立つ。

顔検知及びナンバープレート検知などの古くから研究されている解析は、カメラ内でのリアルタイム処理が可能になるように、低演算量の解析に関する最適化が進められている。これに対し、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を主とするＡＩ解析は、計算量が膨大になるため、専用の解析サーバ又はクラウドを用いて実現されることが多い。また、近年では、組み込み用のＡＩチップが開発されており、一部のＡＩ解析についてはカメラ内部でリアルタイムに処理できるようになりつつある。例えば、特許文献１には、複数の学習モデルを切り替え可能に有するカメラが開示されている。

特許第６６４１４４６号

ＡＩを用いた映像監視システムにおいて、ＡＩ解析精度（例えば、特定物体の検知精度）は非常に重要な要素となる。従来方式のＡＩ映像監視システムとして、複数のカメラの各々で得られた映像に対してサーバ又はクラウドでＡＩ解析を行うシステムや、各々のカメラ内部でＡＩ解析を行うシステムが構築されている。しかしながら、これらのＡＩ映像監視システムでは、カメラ間の連携が考慮されていないため、複数のカメラを跨がって検知物を追跡することが困難であった。

本発明は、上記のような従来の事情に鑑みて為されたものであり、ＡＩモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムにおけるカメラ間の連携を向上させることを目的とする。

上記の目的を達成するために、本発明に係る監視システムは以下のように構成される。
すなわち、本発明に係る監視システムは、ＡＩモデルを用いて映像解析を行う機能を持つ複数のカメラと、カメラで使用されるＡＩモデルを生成する解析装置とを備え、複数のカメラは、それぞれ、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により特定挙動の検知を行い、解析装置は、いずれかのカメラで特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成し、第２のＡＩモデルを複数のカメラの１つ以上に送信し、１つ以上のカメラは、第２のＡＩモデルを用いた映像解析により特定人物の検知を行うことを特徴とする。

ここで、解析装置は、第２のＡＩモデルを用いた映像解析により特定人物が検知された場合に、第２のＡＩモデルを生成し直して複数のカメラの１つ以上に送信するようにしてもよい。

また、１つ以上のカメラは、特定挙動を検知したカメラからの距離が閾値より小さいカメラを含むようにしてもよい。

また、本発明は、ＡＩモデルを用いて映像解析を行う機能を持つカメラとして実現することもできる。すなわち、本発明に係るカメラは、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により特定挙動を検知する処理と、特定挙動を検知した場合に解析装置に通知する処理と、特定挙動を行った特定物体を検知するための第２のＡＩモデルを解析装置から受信する処理と、第２のＡＩモデルを用いた映像解析により特定物体を検知する処理とを行うことを特徴とする。

また、本発明は、カメラ内で映像解析に使用されるＡＩモデルを生成する解析装置として実現することもできる。すなわち、本発明に係る解析装置は、複数のカメラのいずれかで、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成する処理と、第２のＡＩモデルを複数のカメラの１つ以上に送信する処理とを行うことを特徴とする。

また、本発明は、カメラ内で映像解析に使用されるＡＩモデルを生成するＡＩモデル生成方法として実現することもできる。すなわち、本発明に係るＡＩモデル生成方法は、解析装置が、複数のカメラのいずれかで、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により特定挙動が検知された場合に、特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成するステップと、解析装置が、第２のＡＩモデルを複数のカメラの１つ以上に送信するステップとを有することを特徴とする

本発明によれば、ＡＩモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムにおけるカメラ間の連携を向上させることが可能となる。

本発明の一実施形態に係る監視システムの概略的な構成を示す図である。 ＡＩカメラの構成例を示す図である。 解析装置の構成例を示す図である。 不審者検知の処理フロー例を示す図である。

本発明の一実施形態に係る監視システムについて、図面を参照して説明する。以下では、監視エリアにおける不審者の検知を目的とした監視システムを例にして説明する。ここでいう不審者とは、突発的に不審な挙動（異常な挙動を含む）をとり、通常時には検知されない人物とする。不審者としては、例えば、侵入禁止区域への進入、所持品の置き去りなどの、不審挙動をとった人物が挙げられる。

図１には、本発明の一実施形態に係る監視システムの構成例を示してある。本例の監視システムは、１台以上（図１ではＮ台）のＡＩカメラ１０１と、解析装置１０２と、１台以上（図１ではＭ台）のＰＣ１０３と、発報装置１０４と、携帯端末１０５とを備え、インターネット等の通信網を介して互いに通信可能に接続されている。なお、発報装置１０４及び携帯端末１０５なども、１台以上が設けられてもよい。

ＡＩカメラ１０１は、監視エリアの撮影だけでなく、その映像をＡＩモデルに基づいて解析する機能を持つ撮像装置である。ＡＩカメラ１０１には、不審挙動を検知するための特定挙動検知用ＡＩモデルが予め設定されている。また、後述するように、いずれかのＡＩカメラ１０１で不審挙動が検知された場合に、その挙動を行った特定人物（すなわち、不審者）の追跡に適した特定人物検知用ＡＩモデルが追加で設定される。各ＡＩカメラ１０１は、特定挙動検知用ＡＩモデルを用いて不審者の発見（１回目の不審者検知）を行うだけでなく、特定人物検知用ＡＩモデルを用いて不審者の追跡（２回目以降の不審者検知）も行う。また、ＡＩカメラ１０１には、各々を識別する識別子（例えば、カメラ番号）が関連付けられており、解析装置１０２やＰＣ１０３などの他の装置との通信データに付加される。

解析装置１０２は、それぞれのＡＩカメラ１０１で得られた映像及び解析結果を記憶すると共に、これらの解析結果を統合及び再解析する。また、解析装置１０２は、複数のＡＩカメラ１０１のいずれかの映像解析で不審挙動が検知された場合に、その挙動を行った不審者を検知するための特定人物検知用ＡＩモデルを生成する処理と、特定人物検知用ＡＩモデルを各ＡＩカメラ１０１に送信する処理とを行う。

特定挙動検知用ＡＩモデルは、例えば、不審挙動としてラベル付けされた特定の挙動を撮影した過去映像に基づく深層学習により生成される。特定人物検知用ＡＩモデルは、例えば、不審挙動が検知された映像の解析により得られる、不審者の身体的特徴（年齢、性別、身長、顔、体型、肌色、髪型、髪色など）、服装、所持品などの特徴データに基づいて生成される。なお、不審挙動の検知時点の映像では不審者の特徴データを十分に得られない場合には、検知時点より前又は後の映像から不審者の特徴データを取得してもよい。特定挙動検知用ＡＩモデルは、監視システムの運用開始前に生成して各ＡＩカメラ１０１に設定され、必要に応じて更新される。一方、特定人物検知用ＡＩモデルは、不審者の発見に応じて自動的に生成され、各ＡＩカメラ１０１に設定される。

ＰＣ１０３は、ユーザ操作に応じてＡＩカメラ１０１又は解析装置１０２にアクセスし、過去又は現在の監視エリアの映像及び解析結果などを表示する。発報装置１０４は、ＡＩカメラ１０１から不審者検知時に送信される検知信号に応じてアラームを発報する。携帯端末１０５は、ＡＩカメラ１０１から不審者検知時に送信される映像及び解析結果を表示する。ここで、ＡＩカメラ１０１の解析結果には、映像内における不審者の検知座標、検知人数、検知属性（不審者の性別、年齢、身長、国籍など）、検知日時、検知場所の１つ以上が含まれる。

図２には、ＡＩカメラ１０１の構成例を示してある。ＡＩカメラ１０１は、映像受信部２０１、ＡＩ解析部２０３、データ送信部２０４、データ保存部２０５、ＡＩモデル受信部２０７、ＡＩモデル更新部２０８などの機能部と、ＡＩモデルメモリ２０２、映像・解析結果保存装置２０６などの記憶部を有する。また、ＡＩカメラ１０１は、ハードウェアとして、レンズなど光学系の補正処理及び鮮明化処理などを行うＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＩ解析を高速に行うためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、或いは、これらに代わるその他のＡＩチップを備えている。

映像受信部２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサから映像を取得する。ＡＩ解析部２０３は、映像受信部２０１で取得した映像をＡＩモデルメモリ２０２内のＡＩモデル（つまり、特定挙動検知用ＡＩモデル及び特定人物検知用ＡＩモデル）により解析する。データ送信部２０４は、映像受信部２０１で取得した映像及びＡＩ解析部２０３による解析結果などのデータを送信する。データ保存部２０５は、映像受信部２０１で取得した映像及びＡＩ解析部２０３による解析結果などのデータを映像・解析結果保存装置２０６に保存する。ＡＩモデル受信部２０７は、解析装置１０２からＡＩモデルを受信する。ＡＩモデル更新部２０８は、ＡＩモデル受信部２０７で受信したＡＩモデルで、ＡＩモデルメモリ２０２内のＡＩモデルを更新する。

図３には、解析装置１０２の構成例を示してある。解析装置１０２は、データ受信部３０１、解析部３０２、データ保存部３０３、学習データ生成部３０５、ＡＩモデル生成部３０７、ＡＩモデル送信部３０９などの機能部と、映像・解析結果保存装置３０４、学習データメモリ３０６、ＡＩモデルメモリ３０８などの記憶部を有する。また、解析装置１０２は、ハードウェアとしてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ、ＦＰＧＡなどを備えた、電子計算機システムもしくはクラウドにより構成され、各機能部の処理（後述）を実行する。

データ受信部３０１は、ＡＩカメラ１０１から送信される映像及び解析結果などのデータを受信する。解析部３０２は、データ受信部３０１で受信した映像及び解析結果に基づいて再解析を行う。解析部３０２による再解析は、例えば、ＡＩカメラ１０１での解析よりも詳細な解析や、複数のＡＩカメラ１０１の映像を用いた総合的又は横断的な解析である。データ保存部３０３は、データ受信部３０１で受信した映像及び解析結果、解析部３０２で再解析したデータなどを映像・解析結果保存装置３０４に保存する。学習データ生成部３０５は、映像・解析結果保存装置３０４に保存されている映像及び解析結果などを用いてＡＩモデル用の学習データを生成し、学習データメモリ３０６に格納する。ＡＩモデル生成部３０７は、学習データメモリ３０６内の学習データを用いてＡＩモデルを生成し、ＡＩモデルメモリ３０８に格納する。ＡＩモデル送信部３０９は、ＡＩモデルメモリ３０８内のＡＩモデルをＡＩカメラ１０１に送信する。

図４には、本例の監視システムによる不審者検知の処理フロー例を示してある。なお、不審者検知処理には、特定挙動検知用ＡＩモデルを用いて不審者の発見（１回目の不審者検知）を行う特定挙動検知処理と、特定人物検知用ＡＩモデルを用いて不審者の追跡（２回目以降の不審者検知）を行う特定人物検知処理の２種類がある。

ＡＩカメラ（１）及びＡＩカメラ（２）は、映像解析部２０３にて、ＡＩモデルメモリ２０２内の特定挙動検知用ＡＩモデルを用いて、映像受信部２０１で取得した撮影映像のＡＩ解析による不審挙動検知処理を行う（ステップＳ１０１，Ｓ１０２）。その結果、ＡＩカメラ（１）で不審挙動が検知されたとする（ステップＳ１０３）。この場合、ＡＩカメラ（１）は、不審者の発見（１回目の不審者検知）を監視員などに報せるために、検知信号及び解析結果を発報装置１０４に送信し（ステップＳ１０４）、また、不審者を検知した瞬間の前後数秒の映像及び解析結果を携帯端末１０５と解析装置１０２に送信する（ステップＳ１０５，Ｓ１０６）。これらデータの送信手段としては、例えば、有線ＬＡＮや、Ｗｉ－Ｆｉ，ＬＴＥ，５Ｇなどを含む無線ＬＡＮ、接点などを用いることができる。ＡＩカメラが送信する映像は、不審者を検知した瞬間のスナップショット（静止画）でもよい。

また、ＡＩカメラ（１）は、送信した映像及び解析結果のデータと同じものを、内蔵の映像・解析結果保存装置２０６に保存する（ステップＳ１０７）。なお、データを保存するタイミングは、映像及び解析結果などのデータを送信する前でもよい。解析装置１０２は、ＡＩカメラ（１）から映像及び解析結果を受信すると、受信した映像及び解析結果を内蔵の映像・解析結果保存装置３０４に保存する（ステップＳ１０８）。発報装置１０４は、ＡＩカメラ（１）から検知信号及び解析結果を受信すると、アラームを発報する（ステップＳ１０９）。アラームの発報は、例えば、予め録音された音声、アラーム音、非常ベル、回転灯を用いた発光などを用いて行うことができる。携帯端末１０５は、ＡＩカメラ（１）から映像及び解析結果を受信すると、受信した映像と不審者の発見を報せるメッセージを携帯端末１０５の画面に表示する（ステップＳ１１０）。

また、解析装置１０２は、ＡＩカメラ（１）から映像及び解析結果を受信したことに応じて、不審挙動検知処理により発見された不審者を追跡するために特定人物検知用ＡＩモデルを生成する（ステップＳ１１１）。解析装置１０２は、生成した特定人物検知用ＡＩモデルをＡＩカメラ（１）及びＡＩカメラ（２）に送信する（ステップＳ１１２，Ｓ１１３）。ＡＩカメラ（１）及びＡＩカメラ（２）は、モデル受信部２０７で特定人物検知用ＡＩモデルを受信すると、ＡＩモデル更新部２０８にて、受信した特定人物検知用ＡＩモデルをＡＩモデルメモリ２０２に記憶する（ステップＳ１１４，Ｓ１１５）。

その後、ＡＩカメラ（１）及びＡＩカメラ（２）は、ＡＩモデルメモリ２０２内の特定人物検知用ＡＩモデルを用いて、映像受信部２０１で取得した撮影映像のＡＩ解析による特定人物検知処理を行う（ステップＳ１１６，Ｓ１１７）。その結果、ＡＩカメラ（２）で不審者が検知されたとする（ステップＳ１１８）。この場合、ＡＩカメラ（２）は、不審者の検知（２回目以降の不審者検知）を監視員などに報せるために、検知信号及び解析結果を発報装置１０４に送信し（ステップＳ１１９）、また、不審者を検知した瞬間の前後数秒の映像及び解析結果を携帯端末１０５と解析装置１０２に送信する（ステップＳ１２０，Ｓ１２１）。また、ＡＩカメラ（２）は、送信した映像及び解析結果のデータと同じものを、内蔵の映像・解析結果保存装置２０６に保存する（ステップＳ１２２）。以降の各装置の動作は、不審者の発見時と基本的に同様である。

なお、２回目の不審者検知時に、解析装置１０２は、１回目の不審者検知時（不審者発見時）の映像と、２回目の不審者検知時の映像とに基づいて特定人物検知用ＡＩモデルを生成し直し、各ＡＩカメラに送信する。同様に、その後の不審者検知時に、解析装置１０２は、これまでの不審者検知時の映像に基づいて特定人物検知用ＡＩモデルを生成し直し、各ＡＩカメラに送信する。これにより、特定人物検知用ＡＩモデルの生成に用いる学習データが次第に増加するので、より的確に不審者の検知（追跡）を行えるようになる。

また、ＰＣ１０３は、ＡＩカメラ１０１及び解析装置１０２へのアクセスが常時可能である。このため、ＰＣ１０３を使用して、ＡＩカメラ１０１がリアルタイムに配信する映像及び解析結果を参照したり、ＡＩカメラ１０１内の映像・解析結果保存装置２０６又は解析装置１０２内の映像・解析結果保存装置３０４に保存されている過去の映像及び解析結果を参照したりすることができる。

以上のように、本例の監視システムは、ＡＩモデルを用いて映像解析を行う機能を持つ複数のＡＩカメラ１０１と、ＡＩカメラ１０１で使用されるＡＩモデルを生成する解析装置１０２とを備え、各ＡＩカメラ１０１は、不審挙動を検知するための特定挙動検知用ＡＩモデルを用いた映像解析により不審挙動の検知を行い、解析装置１０２は、いずれかのＡＩカメラ１０１で不審挙動が検知された場合（不審挙動検知の通知を受信した場合）に、不審挙動を行った特定人物（不審者）を検知するための特定人物検知用ＡＩモデルを生成して各ＡＩカメラ１０１に送信し、各ＡＩカメラ１０１は、特定人物検知用ＡＩモデルを用いた映像解析により不審者の検知を行う構成となっている。

このように、本例の監視システムでは、特定挙動検知用ＡＩモデルを用いた映像解析により不審者が発見された場合に、その不審者の検知に適した特定人物検知用ＡＩモデルが各ＡＩカメラに提供される。これにより、複数のＡＩカメラが連携して不審者を検知することができるので、不審者の追跡を効率的に行うことが可能となる。また、各ＡＩカメラが自身の撮影映像を解析するので、不審者検知のリアルタイム性を高めることができる。なお、上記の説明では一人の不審者を発見及び追跡しているが、複数の不審者を発見及び追跡することも可能である。

ここで、本例では、全てのＡＩカメラを用いて不審者を追跡できるように、全てのＡＩカメラに特定人物検知用ＡＩモデルを提供しているが、一部のＡＩカメラにのみ特定人物検知用ＡＩモデルを送信するようにしても構わない。一例として、不審挙動を検知したＡＩカメラからの距離が閾値より小さいＡＩカメラにのみ特定人物検知用ＡＩモデルを送信してもよい。閾値としては、例えば、人が所定時間内に移動可能な距離を用いることができる。これにより、不審者が所定時間内に移動可能な範囲内のＡＩカメラのみを用いて、効率的に不審者を追跡することができる。また、上記の範囲外のＡＩカメラで無駄な処理を行わずに済むようになる。

以上、本発明について一実施形態に基づいて説明したが、本発明はここに記載された構成に限定されるものではなく、他の構成のシステムに広く適用することができることは言うまでもない。例えば、車両、動物、荷物などの監視対象となる物体による特定の挙動を検知するためのＡＩモデルと、特定挙動を行った特定物体を検知するためのＡＩモデルとを用いる監視システムとして、本発明を実現することができる。
また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。更に、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。

本発明は、ＡＩモデルを用いて映像解析する機能を持つ複数のカメラを備えた監視システムに利用することができる。

１０１：ＡＩカメラ、 １０２：解析装置、 １０３：ＰＣ、 １０４：発報装置、 １０５：携帯端末、 ２０１：映像受信部、 ２０２：ＡＩモデルメモリ、 ２０３：ＡＩ解析部、 ２０４：データ送信部、 ２０５：データ保存部、 ２０６：映像・解析結果保存装置、 ２０７：ＡＩモデル受信部、 ２０８：ＡＩモデル更新部、 ３０１：データ受信部、 ３０２：解析部、 ３０３：データ保存部、 ３０４：映像・解析結果保存装置、 ３０５：学習データ生成部、 ３０６：学習データメモリ、 ３０７：ＡＩモデル生成部、 ３０８：ＡＩモデルメモリ、 ３０９：ＡＩモデル送信部

Claims (6)

1. ＡＩモデルを用いて映像解析を行う機能を持つ複数のカメラと、前記カメラで使用されるＡＩモデルを生成する解析装置とを備えた監視システムであって、
   前記複数のカメラは、それぞれ、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により前記特定挙動の検知を行い、
   前記解析装置は、いずれかのカメラで前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成し、前記第２のＡＩモデルを前記複数のカメラの１つ以上に送信し、
   前記１つ以上のカメラは、前記第２のＡＩモデルを用いた映像解析により前記特定物体の検知を行うことを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記解析装置は、前記第２のＡＩモデルを用いた映像解析により前記特定物体が検知された場合に、前記第２のＡＩモデルを生成し直して前記複数のカメラの１つ以上に送信することを特徴とする監視システム。
3. 請求項１又は請求項２に記載の監視システムにおいて、
   前記１つ以上のカメラは、前記特定挙動を検知したカメラからの距離が閾値より小さいカメラを含むことを特徴とする監視システム。
4. ＡＩモデルを用いて映像解析を行う機能を持つカメラであって、
   特定挙動を検知するための第１のＡＩモデルを用いた映像解析により前記特定挙動を検知する処理と、
   前記特定挙動を検知した場合に解析装置に通知する処理と、
   前記特定挙動を行った特定物体を検知するための第２のＡＩモデルを前記解析装置から受信する処理と、
   前記第２のＡＩモデルを用いた映像解析により前記特定物体を検知する処理とを行うことを特徴とするカメラ。
5. カメラ内で映像解析に使用されるＡＩモデルを生成する解析装置であって、
   複数のカメラのいずれかで、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成する処理と、
   前記第２のＡＩモデルを前記複数のカメラの１つ以上に送信する処理とを行うことを特徴とする解析装置。
6. カメラ内で映像解析に使用されるＡＩモデルを生成するＡＩモデル生成方法であって、
   解析装置が、複数のカメラのいずれかで、特定挙動を検知するための第１のＡＩモデルを用いた映像解析により前記特定挙動が検知された場合に、前記特定挙動を行った特定物体を検知するための第２のＡＩモデルを生成するステップと、
   前記解析装置が、前記第２のＡＩモデルを前記複数のカメラの１つ以上に送信するステップとを有することを特徴とするＡＩモデル生成方法。

Images