JP7108395B2

JP7108395B2 - 行動監視システム

Info

Publication number: JP7108395B2
Application number: JP2017226573A
Authority: JP
Inventors: 浩生菊池; 真希楠見
Original assignee: Hochiki Corp
Current assignee: Hochiki Corp
Priority date: 2017-11-27
Filing date: 2017-11-27
Publication date: 2022-07-28
Anticipated expiration: 2037-11-27
Also published as: JP2019096179A; JP2022169507A

Description

本発明は、施設内の部屋を監視カメラで撮像した画像からニューラルネットワークにより在室者の不審な行動を監視する行動監視システムに関する。

従来、オフィスビルなどの施設にあっては入退室管理設備が設置されており、部屋の出入口の扉外側に設置したカードリーダ等の読取端末で、利用者が保有するカードから読み取った利用者ＩＤ情報を予め登録した利用者識別情報（以下(利用者ＩＤ)という）との一致を判別した場合に入退室管理制御装置に認証信号を送り、入退室管理制御装置からの制御信号により扉の電気錠を解錠し、関係者以外の第三者が施設内に入らないように管理している（特許文献１）。

また、施設内に入った利用者の行動を、人物動線追跡技術を利用して監視する監視カメラシステムも知られている。この監視カメラシステムは、監視領域内を移動する人物の行動を追跡する動線データを動線データベースに記憶し、監視領域内を移動する人物をカメラで撮影したカメラ画像データをカメラ画像データベースに記憶し、動線データベースに記憶された人物の動線データのなかから、特定の人物行動を表わす条件データに該当する人物行動が行われた区間を検出し、この検出された区間の当該人物を撮影したカメラ画像データを抽出して再生することにより、不正行為者の行動を確認できるようにしている（特許文献２）。

特開２００３－１０１９９９号公報特開２００９－２８４１６７号公報

しかしながら、このような従来の入退室管理設備にあっては、利用者がカードを使用して電気錠を解錠して部屋に入る場合に別の人物が一緒に入る共連れの問題があり、登録されている利用者以外の第三者が共連れにより室内に入ってしまう場合があり、その行動を監視することが困難なため、機密漏洩の可能性がある。

また、オフィスルーム等の多数の利用者が働く場所では、権限のある管理者や担当者がパーソナルコンピュータ等の情報端末機器を使用して例えば銀行決済取引をしたり、書棚に保管した機密情報を収めたファイルを使用した業務等を日常的に行っており、例えば権限のある管理者や担当者が会議等のために一時的に席を外していた場合、権限のない第三者により情報端末機器が不正に操作されたり、書棚に保管されている機密ファイルが不正に閲覧されたり持ち出されたりする可能性がある。

このような不正行為を防止するためには、例えば監視カメラにより撮像された監視領域の画像を監視することが考えられるが、人為的に画像を常に見ていなければならず、不正行為の発見は困難であり、不正な銀行取引や機密情報の漏洩等が後に発覚して初めて気づくといった問題がある。

本発明は、多層式のニューラルネットワークに監視カメラで撮像された監視領域の画像を入力して不正行為による異常が発生していないかを監視可能とする行動者監視システムを提供することを目的とする。

（行動監視システム）
本発明は、行動監視システムであって、
監視対象とする監視領域を撮像する撮像部と、
監視領域の画像を利用して学習された多層式ニューラルネットワークを備え、監視領域内の人物の異常行動を判定して出力する行動判定部と、
行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、
が設けられ、
行動判定部は、監視領域内に入る利用者を識別して監視領域に対する利用者の出入りを管理する入退室管理設備の当該監視領域内の在室に関する情報を利用して、判定動作の休止と起動を制御し、
学習制御部は、行動判定部の判定動作の休止から起動までの間の時間を利用して、行動判定部の多層式ニューラルネットワークの学習を行うことを特徴とする。

（学習画像）
行動判定部の多層式ニューラルネットワークは、監視領域の画像から切出された１又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習される。

（備品使用権限をもつ利用者の行動及び備品の存在に基づく判定）
行動判定部は、多層式ニューラルネットワークに入力された監視領域の画像から出力される備品使用権限をもつ利用者の行動を示す推定値及び備品の存在を示す推定値に基づき、前記監視領域内の人物の異常行動を判定する。

（基本的な効果）
本発明は、行動監視システムに於いて、監視対象とする監視領域を撮像する撮像部と、監視領域内の人物の異常行動を判定して出力する行動判定部と、が設けられ、行動判定部は、監視領域内に監視領域の画像を利用して学習された多層式ニューラルネットワークによって構成されたため、多層式ニューラルネットワークの出力により、学習済み監視領域の画像と一部の特徴は一致するが一部の特徴が一致しない場合や、全ての特徴が一致しない場合には、備品使用権限をもつ利用者による備品の扱いではないことを示す異常行動が判定され、第三者の不正行為による異常行動を監視することができる。また、行動判定部は、監視領域内に入る利用者を識別して監視領域に対する利用者の出入りを管理する入退室管理設備の当該監視領域内の在室に関する情報を利用して、判定動作の休止と起動を制御し、学習制御部は、行動判定部が判定動作を休止しているときに、監視領域の画像を利用した行動判定部の多層式ニューラルネットワークの学習を行うため、監視対象とする備品使用権限をもつ利用者の服装や髪形等に変化があっても、行動判定部の多層式ニューラルネットワークはこの変化があった後の画像についても学習することから、監視区画における第三者の異常行動をより精度良く判定することを可能とする。また、多層式ニューラルネットワークは、監視領域の画像から切出された１又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されるため、備品の利用者が備品使用権限をもつ者であるか第三者であるかに基づき監視領域内の人物の異常行動を判定できると共に、利用者が監視領域の画像に映っていなくとも備品が存在するか否かに基づき、例えば備品の盗難等として監視領域内の人物の異常行動を判定することができる。

（人物特定部の効果）
また、行動監視システムは、更に、行動判定部で異常行動が判定された人物を特定して人物特定情報を出力する人物特定部を備えたため、異常行動が判定された人物がだれであるかが特定でき、異常行動が判定された人物に対し迅速且つ適切な対応が可能となる。

（多層式ニューラルネットワークの機能構成１による効果）
また、行動判定部の多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、入力した人物の画像から人物に応じた特徴量を抽出して出力する畳み込みニューラルネットワークで構成され、認識部は、畳み込みニューラルネットワークから出力される特徴量を入力して許可行動の人物か否かを推定する複数の全結合層を備えた全結合ニューラルネットワークで構成されたため、畳み込みニューラルネットワークにより備品を扱っている利用者画像の特徴が自動的に抽出されることで、利用者画像となる入力情報から前処理により人物の特徴、例えば、顔における目、口、耳等の稜線等を抽出するような前処理を必要とすることなく備品を扱う利用者画像の特徴が抽出され、引き続いて行う認識部により学習済みの許可行動の人物とは異なる第三者が備品を扱っている異常行動を高い精度で推定可能とする。

（多層式ニューラルネットワーク機能構成１の学習制御による効果）
また、行動判定部には、監視領域内に通常存在する人物の許可行動を示す画像が予め記憶された学習情報記憶部と、学習情報記憶部に記憶されている画像を読み出して教師ありの学習画像として畳み込みニューラルネットワークに入力した場合に全結合ニューラルネットワークから出力される推定値と所定の期待値との誤差に基づくバックプロパゲーションにより全結合ニューラルネットワーク及び畳み込みニューラルネットワークを学習させる学習制御部とが設けられたため、例えばシステムの運用を開始する前の段階で、オフィスルームの勤務時間帯を対象に、監視カメラにより撮像した監視画像の中から監視対象として設定した１又は複数の監視区画の画像を例えば１分周期で切出して学習画像として記憶し、これを１ケ月程度繰り返すことで多層式ニューラルネットワークの学習に必要な十分の量の学習画像が得られ、監視区画の画像を多層式のニューラルネットワークに入力して学習させることで、システムの運用を開始した場合に、学習済みの多層式のニューラルネットワークによる監視区画における第三者の異常行動を精度良く判定することができる。

（多層式ニューラルネットワークの機能構成２による効果）
また、行動判定部の多層式のニューラルネットワークは、画像解析部と行動認識部で構成され、画像解析部は、入力した人物の画像から人物に応じた特徴量を抽出して所定の中間層から出力する畳み込みニューラルネットワークと、畳み込みニューラルネットワークから出力された特徴量を入力し、監視領域の画像の画像説明文を生成して出力する再帰型ニューラルネットワークとにより構成され、行動認識部は、所定の異常行動を示す単語が登録された辞書と、画像解析部から出力された画像説明文を構成する単語を、辞書に登録された単語と比較して人物の異常行動を判定する判定器と、
により構成されたため、監視カメラにより撮像された監視領域、例えば１又は複数の監視区画の画像を解析することで、監視区画に存在する備品と備品を扱う利用者の特徴が抽出されて画像説明文が生成され、生成された画像説明文から抽出された単語を辞書の第三者の異常行動を示す所定の単語と比較して一致又は類似した場合に監視区画における第三者の異常行動と判定して報知することができる。

（人物特定による異常行動の判定による効果）
また、画像解析部は、人物の画像から人物を特定して人物特定情報を出力し、所定の異常行動を示す単語は監視領域内に通常存在する人物に応じて登録されており、判定器は画像説明文を構成する単語と、人物特定情報の人物における異常行動を示す単語を比較して人物の異常行動を判定するようにしたため、特定された人物に許可されている行動か否か監視可能となり、許可された以外の行動、例えば、使用権限のないＰＣの操作や持ち出し禁止のファイルの持ち出し等の異常行動を判定して警報することができる。

（多層式ニューラルネットワーク機能構成２の学習制御による効果）
また、行動判定部には、監視領域内に通常存在する人物の許可行動を示す画像と、画像の概要を示す所定の画像説明文とのペアが予め記憶された学習情報記憶部と、学習情報記憶部に記憶されている画像を読出して教師なしの学習画像として畳み込みニューラルネットワークに入力してバックプロパゲーションにより学習させ、当該学習の済んだ畳み込みニューラルネットワークに学習画像を入力して出力された特徴量と学習画像のペアとなる画像説明文を再帰型ニューラルネットワークに教師なしの学習情報として入力してバックプロパゲーションにより学習させる学習制御部とが設けられたため、多層式ニューラルネットワークの機能構成１の学習制御１の効果と同様、システム運用開始前の学習画像とその画像説明文の記憶及びシステム運用中の学習画像とその説明文の記憶による学習情報を使用した多層式ニューラルネットワークの学習により、第三者の異常行動と精度良く判定して報知することができる。

（入退室管理設備との連携による効果）
更に、施設内の監視領域に入室する利用者を識別し、利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備と、入退室管理設備で利用者を識別した際に入室する利用者を撮像する入室撮像部とが設けられ、人物特定部は、入退室管理設備による電気錠を解錠する制御に連動して、入室撮像部により撮像された利用者画像を記憶し、利用者画像と行動判定部で異常行動が判定された人物の画像と照合して一致した利用者の利用者情報を人物特定情報として出力するようにしたため、異常行動が判定された人物が、入退室管理設備によりＩＣカード等の読取りによる電気錠の解錠で入室して入室撮像部により撮像されている利用者であることが特定されて、その人物の入退室管理情報が異常行動が判定された人物の人物特定情報となることで、異常行動が判定された人物が社員のだれであるか又は来訪者のだれであるかが特定でき、異常行動が判定された人物に対し迅速且つ適切な対応が可能となる。

また、入退室管理設備による在室管理情報から監視領域となる部屋に利用者の入室がないことを検出して夜間や休日には行動判定部の判定動作を休止させることができ、この休止の時間帯を利用して行動判定部の多層式ニューラルネットワークの学習ができる。

また、入退室管理設備の管理情報から、行動監視を行う監視区画の利用者の在室が検出でき、利用者端末のＬＡＮ回線に対するネットワーク接続等から利用者端末の使用開始を検出した場合に、所定時間のあいだ監視区域の学習画像の記憶を行って休止時間に行動判定部の多層式ニューラルネットワークの学習ができる。

（異常行動警報と録画再生による効果）
更に、撮像部で撮像された監視領域の動画を録画する録画装置が設けられ、行動判定部は、人物の異常行動を判定した場合に、所定の外部装置に警報信号を送信して報知させると共に、異常行動を判定した時点を含む前後所定時間の撮像部で撮像された監視領域の動画を録画装置から再生して表示させるようにしたため、第三者の異常行動を判定した場合に、例えば所定の管理装置や監視対象としている備品の扱いが許可された利用者の端末に警報信号を送って警報表示させる人物の異常行動を知しらせ、その根拠となった動画再生により状況を確認して必要な対処を可能とする。

（マルチ監視による効果）
また、行動判定部は、撮像部により撮像された監視領域の画像の中に監視対象とする備品が配置された１又は複数の監視区画を設定し、監視区画の画像を切り出して多階層のニューラルネットワークに入力することにより監視区画毎に人物の異常行動を判定して出力するようにしたため、例えばオフィスルーム等のように多数の利用者が情報端末機器やファイルを使用して業務を遂行している場合、監視カメラで撮像している監視画面に映っている利用者の席及びに備品が映っている場所に例えば矩形の監視区画を必要に応じて複数設定することで、監視区域毎に人物の異常行動をマルチ的に監視することができる。

（周期的な行動監視による効果）
また、行動判定部は、所定の周期毎に、監視区画の画像を多層式のニューラルネットワークに入力して人物の異常行動を判定して出力するようにしたため、監視カメラにより撮像された動画の中から行動監視を見逃すことのない例えば１～２分といった所定周期毎にフレーム画像を読み込んで多層式ニューラルネットワークに入力することにより、多層式ニューラルネットワークの処理負担を軽減した行動監視を可能とする。

（利用者学習画像のサイズ正規化による効果）
また、行動判定部は、監視区画の画像を所定サイズの画像に正規化して多層式のニューラルネットワークに入力するようにしたため、監視カメラから監視区画までの距離により監視区画の画像サイズが異なるが、切出した監視区画の画像が同じ縦横サイズに正規化されることで、多層式のニューラルネットワークに入力した場合の判定精度を高めることができる。

行動監視システムの概略を入退室管理設備と共に示した説明図監視対象となるオフィスレイアウトの一例を示した説明図監視画像に対する監視区画の設定を示した説明図図１の行動監視装置の第１実施形態を機能構成により示したブロック図図４の多層式ニューラルネットワークの機能構成を示した説明図図４の行動判定部による行動監視制御を示したフローチャート図４の学習制御部による学習制御を示したフローチャート図１の行動監視装置の第２実施形態を機能構成により示したブロック図図８の畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示したブロック図図８の行動判定部による行動監視制御を示したフローチャート図８の学習制御部による学習制御を示したフローチャート

［行動監視システム］
（システムの概要）
図１は行動監視システムの概略を入退室管理設備と共に示した説明図である。図１に示すように、ビル等の施設のオフィスルーム１２には撮像部として機能する監視カメラ１４が設置され、複数の利用者が在室しているオフィスルーム１２内を監視カメラ１４により動画撮像している。

監視カメラ１４はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

オフィスルーム１２に対し施設の管理センター等には行動監視装置１０が設置されている。行動監視装置１０には行動判定部１６、人物特定部１７、学習制御部１８及び録画装置２０が設けられ、オフィスルーム１２に設置された監視カメラ１４からの信号線がそれぞれに並列に入力されている。

行動判定部１６は多層式のニューラルネットワークを備えており、多層式のニューラルネットワークは監視領域となるオフィ―スルーム１２の画像内に設定された１又は複数の監視区画に存在する利用者端末等の情報端末機器や書棚等の備品の画像及び監視対象とする備品の使用が許可された利用者（以下「備品使用権限をもつ利用者」という）が備品を扱う画像により予め学習されている。

システム運用中に、行動判定部１６は、例えばオフィスルーム１２に利用者の在室がある場合に行動判定動作を行っており、監視カメラ１４により撮像された監視領域の画像を多層式のニューラルネットワークに入力して備品使用権限をもつ利用者以外の第三者（人物）の異常行動、即ち監視領域内に通常存在する人物の許可された行動か否かを判定し、備品使用権限をもつ利用者の利用者端末を含む所定の管理装置に警報信号を送信して報知させると共に、録画装置２０で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を保存して再生可能としている。

人物特定部１７は、行動判定部１６で異常行動が判定された人物を特定して人物特定情報を出力する。例えば人物特定部１７は、後の説明で明らかにする入退室管理設備による電気錠２８を解錠する制御に連動して、入室カメラ２５により撮像された利用者画像を記憶し、利用者画像と行動判定部１６で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を人物特定情報として出力する。

学習制御部１８は、システムの運用開始前に、例えばオフィスルーム１２の勤務時間帯に監視カメラ１４により撮像された監視領域の画像の中から監視対象として設定した１又は複数の監視区画の画像を例えば１分周期で切出して学習画像として記憶し、これを例えば１ケ月程度繰り返すことで多層式ニューラルネットワークの学習に必要な十分の量の学習画像を収集し、監視区画の画像を多層式のニューラルネットワークに入力してディープラーニングにより学習させることで、システムの運用を開始した場合に、学習済みの多層式のニューラルネットワークにより監視区画における第三者の異常行動を精度良く判定することを可能とする。

また、システムの運用中に学習制御部１８は、例えば備品使用権限をもつ利用者が始業時に利用者端末の使用を開始した場合に、所定時間の間、システムの運用開始前と同様に、監視区画の学習画像の記憶を行い、オフィスルーム１２に利用者が在室していないことで行動判定部１６の行動判定動作が休止している夜間や休日等の空き時間に、記憶している学習画像を行動判定部１６の多層式ニューラルネットワークに入力して学習することで、監視対象とする備品使用権限をもつ利用者の服装や髪形等に変化があっても、この変化が行動判定部１６の多層式ニューラルネットワークに反映され、監視区画における第三者の異常行動を精度良く判定することを可能としている。

（入退室管理システムの概要）
本実施形態の行動監視システムが設置された施設には、入退室管理設備が併せて設けられている。入退室管理設備として、図１に示すように、在室者の監視対象となるオフィスルーム１２の出入口には扉３０が設けられており、扉３０には電気錠２８が設けられ、また扉３０の近傍にはカードリーダ２６が配置されている。

カードリーダ２６及び電気錠２８は入退室管理制御装置２２に伝送線により接続されている。入退室管理制御装置２２は例えば建物の各階毎に配置されている。施設の管理センター等には、センター装置２３とクライアント装置２４が配置され、ＬＡＮ回線２１により相互に接続されると共に各階の入退室管理制御装置２２と接続されている。

また、オフィスルーム１２の出入口には入室撮像部として機能する入室カメラ２５が設置され、電気錠２８を解錠する制御に連動して入室する利用者を撮像し、撮像した利用者画像を入出力管理制御装置２２を介してクライアント装置２４に送信し、利用者管理情報に対応して利用者画像を記憶し、例えば行動監視装置１０に設けられた人物特定部１７に利用者画像を送り、行動判定部１６で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を人物特定情報として出力させるようにしている。

入退室管理設備の管理制御は次のようになる。カードリーダ２６は、例えば利用者の携帯する磁気カード又は非接触ＩＣカードから利用者ＩＤ等の個人情報を読取って事前登録した個人情報と照合し、照合一致により認証成功を判別した場合に認証信号を入退室管理制御装置２２へ送信する。

入退室管理制御装置２２はカードリーダ２６から認証信号を受信した場合、対応する出入口に設けた扉３０の電気錠２８へ制御信号を出力して解錠制御し、入室を可能とする。なお、部屋から出る場合にはカードリーダ２６による認証は必要とせず、扉３０の内側に設けられたスイッチ釦の操作等により電気錠２８を解錠して退出することができる。

センター装置２３は、ディスプレイ付きのパーソナルコンピュータであり、入退室管理設備を設置した建物の地図などの管理情報を表示する。クライアント装置２４はディスプレイ付きのパーソナルコンピュータであり、ＬＡＮ回線２１を介して入退室管理制御装置２２と接続され、入退室管理制御装置２２を経由してカードリーダ２６との間で磁気カードや非接触ＩＣカードに対応した個人情報の登録、削除、履歴検索などの各種設定や処理を行い、また、カードリーダ２６からのカード読取信号に基づく認証処理毎にオフィスルーム１２の在室者をカウントし、在室している利用者数及び在室している利用者名（利用者ＩＤ）を管理している。

行動監視装置１０に設けられた行動判定部１６はＬＡＮ回線２１に接続され、本実施形態にあっては、入退室管理設備のクライアント装置２４を行動監視システムの管理装置として利用していることから、行動判定部１６で監視区画の画像から備品使用権限をもつ利用者以外の第三者の異常行動が判定された場合、ＬＡＮ回線２１を介してクライアント装置２４に警報信号を送信して第三者の異常行動を示す警報を報知させると共に、録画装置２０で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能としている。

また、ＬＡＮ回線２１にはオフィスルーム１２に設置されている行動監視の対象となる利用者端末３２が接続されており、利用者端末３２はディスプレイ付きのパーソナルコンピュータを用いている。なお、利用者端末３２はオフィスルーム１２内に配置されているものであるが、ＬＡＮ回線２１との接続を示すため、オフィスルーム１２から取り出した状態で示している。

また、行動判定部１６は、入退室管理設備のクライアント装置２４で管理しているオフィスルーム１２の在室管理情報を利用して行動判定動作の休止と起動（休止解除）を制御している。

即ち、行動判定部１６は、クライアント装置２４の在室管理情報から、監視対象とするオフィスルーム１２における夜間や休日等での利用者の在室なしを検出した場合に行動判定動作を休止し、この休止中に利用者の在室ありを検出した場合に、休止を解除して行動判定動作を起動する。

このようにシステムの運用中に行動判定部１６で行動判定動作が休止されると、学習制御部１８は休止による空き時間を利用して、システムの運用開始前と同様に、システム運用中に記憶した監視区画の学習画像により行動判定部１６の多層式ニューラルネットワークを学習する制御を行う。

（オフィスルーム監視の概要）
図２は監視対象となるオフィスレイアウトの一例を示した説明図、図３は監視画像に対する監視区画の設定を示した説明図である。

図２に示すように、行動監視システムの監視対象となるオフィスルーム１２は、その内部に複数の机と椅子が配置され、机の上にはパーソナルコンピュータ等の備品が置かれている。オフィスルーム１２の机配置は、例えば課や係単位に、図示で上下方向に２列に机が配置され、図示で上側には、管理職の席が配置されている。

監視カメラ１４はオフィスルーム１２の図示で左下のコーナーの天井に近い位置に、室内全体を俯瞰するように配置され、部屋全体を監視画像に映し込めるようにしている。なお、１台に監視カメラ１４で部屋全体を撮像できない場合は、必要に応じて複数台の監視カメラ１４を設置してもよい。また、監視カメラ１４として１８０°又は３６０°の撮像範囲を持つ広角の監視カメラ１４を設置しても良い。

また、オフィスルーム１２の出入口に設けられた扉３０の外側にはカードリーダ２６が配置され、入室の際に利用者はカードリーダ２６にカードを読み取らせて電気錠を解錠させる。

オフィスルーム１２に対しては、行動監視システムで監視対象とする矩形の点線で示す監視区画３４－１～３４－８が設定される。例えば監視区画３４－１は管理職となるＡ部長の席に設定され、監視区画３４－１の机には利用者端末３２－１があり、利用者端末３２－１は部長Ａが使用権限をもっている。このため監視区画３４－１は利用者端末３２－１の備品使用権限をもつＡ部長以外の第三者による行動を監視することになる。

また、監視区画３４－２は書棚３５－２に設定され、書棚３５－２にはＡ部長が使用権限を持つ機密書類のファイルが格納されている。このため監視区画３４－２は書棚３５－２の備品使用権限をもつＡ部長以外の第三者によるファイル持ち出し等の行動を監視することになる。

このようなオフィスルーム１２に対する監視区画の設定は、図３に示すように、監視カメラ１４で撮像された監視領域の監視画像３６を利用して行われる。なお、図３の監視画像３６は一例であり、図２のオフィスルーム１２には対応していない。

図３に示すように、行動監視制御の管理装置として機能する図１の入退室管理設備のクライアント装置２４に監視画像３６を表示させ、この状態で例えば点線の矩形で示す監視区画３４－１０～３４－１２を画面内に設定する。

例えば監視区画３４－１０は部長Ｘの席に設定され、監視区画３４－１０の机には利用者端末３２－１０があり、利用者端末３２－１０は部長Ｘが使用権限をもっている。このため監視領域３４－１０は利用者端末３２－１０の備品使用権限をもつＸ部長以外の第三者による行動を監視することになる。

また、監視区画３４－１１は機密情報を扱う社員Ｙの席に設定され、監視区画３４－１１の机には利用者端末３２－１１があり、利用者端末３２－１１は社員Ｙが使用権限をもっている。このため監視区画３４－１１は利用者端末３２－１１の備品使用権限をもつ社員Ｙ以外の第三者による行動を監視することになる。

このように監視画像３６により設定された監視区画３４－１０～３４－１２に対しては、行動監視制御以外に、図１に示した学習制御部１８により監視区画の画像を切り出して学習画像として記憶し、記憶した学習画像による行動判定部１６の多層式ニューラルネットワークを学習させる学習制御が行われる。

［行動監視装置の第１実施形態］
図４は、図１の行動監視装置の第１実施形態を機能構成により示したブロック図である。

図４に示すように、行動判定部１６は、画像切出部４４、多層式ニューラルネットワーク４６及び時系列判定部４８で構成され、また学習制御部１８は、画像切出部５０、制御部５２、学習情報記憶部として機能する学習画像記憶部５４、マウスやキーボード等の操作部５５及びディスプレイを備えた表示部５６で構成され、これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

（行動判定部の機能）
行動判定部１６の多層式ニューラルネットワーク４６は、学習制御部１８による監視区画に設定された備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されている。

行動判定部１６は、クライアント装置２４で管理されているオフィスルーム１２の在室管理情報から在室ありを検出した場合に行動判定動作を開始し、監視カメラ１４により撮像されたオフィスルーム１２の監視画像を例えば１分程度に定めた行動監視に必要な所定の周期毎に画像切出部４４に保持させ、保持された監視画像の中に映っている１又は複数の監視区画の画像を切出して多層式ニューラルネットワーク４６に入力し、備品使用権限をもつ利用者の行動を示す推定値を出力させる。

例えば図３の監視画像３６を例にとると、行動判定部１６は、監視画像３６を画像切出部４４に保持させた状態で、監視画像３６に設定されている監視区画３４－１０～３４－１２の画像を切出して多層式ニューラルネットワーク４６に順次入力し、例えば監視区画３４－１０の切出し画像であれば、利用者端末３２－１０の備品使用権限をもつ部長Ｘの行動を示す推定値を出力させる。

また、監視区画３４－１０の切出し画像に部長Ｘが映っておらず、利用者端末３２－１０のみの場合、この切出し画像を入力した多層式ニューラルネットワーク４６は、利用者端末３２－１０の存在を示す推定値を出力させる。

監視区画の切出し画像を入力した場合に多層式ニューラルネットワーク４６が出力する備品使用権限をもつ利用者の行動を示す推定値は０～１の値を持ち、備品使用権限をもつ利用者の画像であれば推定値は１又は１に近い値となり、第三者の画像であれば推定値は０又は０に近い値となる。

このため多層式ニューラルネットワーク４６は判定閾値を例えば０．５に設定しており、推定値が判定閾値０．５以下の場合は、第三者による異常行動と判定して時系列判定部４８に出力する。

時系列判定部４８は、多層式ニューラルネットワーク４６による異常行動の判定結果が複数回又は所定時間に亘り連続した場合に、第三者による異常行動との判定を確定させ、人物特定部１７に出力する。

人物特定部１７には、図１に示した入退室管理設備による電気錠２８を解錠する制御に連動して入室カメラ２５により撮像された利用者画像が記憶されており、記憶している利用者画像と行動判定部１６で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を入退室管理設備のクライアント装置２４から取得して人物特定情報とし、異常行動が判定された人物の画像、人物特定情報を含む警報信号を例えば入退室管理設備のクライアント装置２４に送信して警報信号を送信して第三者の異常行動を警報により報知させると共に、録画装置２０で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能としている。

また、人物特定部１７からの警報信号は、異常行動が判定された監視区画の利用者端末３２にも送信され、席を外していた利用者が戻ってきて利用者端末３２を操作した場合に、第三者の異常行動の警報を報知させると共に、録画装置２０で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能とし、判定された第三者の異常行動を確認して必要な対処を可能とする。

また、行動判定部１６の多層式ニューラルネットワーク４６は、入力された監視区画の画像に備品のみが映っており、備品使用権限をもつ利用者が映っていなかった場合、多層式ニューラルネットワーク４６は監視対象となる備品の存在を示す推定値として１又は１に近い値を出力する。

これに対し監視対象としている備品が不正に持ち出されたような場合、備品の映っていない監視区画の画像が多層式ニューラルネットワーク４６に入力され、監視対象となる備品の存在を示す推定値は０又は０に近い値となり、閾値０．５以下となるため警報信号が出力されて異常が報知され、また、異常発生時点を含む前後所定時間の録画装置２０による動画再生が可能となる。これにより監視対象としている備品の盗難等の監視も可能となる。

また、行動判定部１６は、監視画像から監視区画の画像を切り出した場合、所定サイズの画像に正規化して多層式ニューラルネットワークに入力させる制御を行う。

これは、図３に示したように、監視カメラ１４により撮像された監視画像３６に設定された監視区画３４－１０～３４－１２が、監視カメラ１４からの距離が遠くなると画像サイズが小さくなり、その結果、切出された複数の監視区画の画像は縦横サイズが異なっており、そのまま多層式ニューラルネットワーク４６に入力すると、サイズの小さい画像の判定精度が低くなり、これを防止するために監視区画の切出し画像を同じサイズに正規化している。

監視区画の切出し画像を所定サイズに正規化するためサイズ変更は公知の手法であり、画像サイズを小さくする場合は画素の間引き処理を行い、画像サイズを大きくする場合は画素の補完処理を行う。

また、学習制御部１８による監視区画の画像を切出して学習画像として記憶する場合にも、同様に監視区画から切り出した画像を所定サイズの画像に正規化して記憶する制御が行われる。

（多層式ニューラルネットワーク）
図５は図４に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図５（Ａ）に概略を示し、図５（Ｂ）に詳細を模式的に示している。

図５（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク４６は、特徴抽出部５８と認識部６０で構成される。特徴抽出部５８は畳み込みニューラルネットワークであり、認識部６０は全結合ニューラルネットワークである。

多層式ニューラルネットワーク４６は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。

通常のニューラルネットワークは、画像から通常在室している利用者を判定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク４６では、特徴抽出部５８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力し、学習により最適な特徴を抽出し、認識部６０の全結合ニューラルネットワークに入力して備品使用権限をもつ利用者の行動を示す推定値を出力する。

認識部６０の全結合ニューラルネットワークは、図５（Ｂ）に模式的に示すように、入力層６６、全結合６８、中間層７０と全結合６８の繰り返し、及び出力層７２で構成されている。

（畳み込みニューラルネットワーク）
図５（Ｂ）は特徴抽出部５８を構成する畳み込みニューラルネットワークの構造を模式的に示している。

畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワークは、図５（Ｂ）に示すように、まず、入力画像６２に対し重みフィルタ６３により畳み込み処理を行う。例えば、重みフィルタ６３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６２の９画素を小区域となる特徴マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。

続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

続いて、重みフィルタ６５ａ，６５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部６０に入力し、通常の全結合ニューラルネットワークを用いた認識部６０により備品使用権限をもつ利用者の行動を推定する。

なお、畳み込みニューラルネットワークにおけるプーリングの演算は、備品使用権限をもつ利用者の識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。

（学習制御部の機能）
図４に示す学習制御部１８の制御部５２は、システムの運用開始前に、例えばオフィスルーム１２の勤務時間帯に監視カメラ１４により撮像された監視領域の動画の中から監視対象として設定した１又は複数の監視区画のフレーム画像を例えば１分周期で１又は複数切出して学習画像として学習画像記憶部５４に記憶する。このような学習画像の記憶を例えば１ケ月程度繰り返すことで多層式ニューラルネットワーク４６の学習に必要な十分の量の学習画像が収集される。

このようにして学習画像記憶部５４に記憶される学習画像についても、行動判定部１６による監視区画の切出し画像と同様に、画像サイズの正規化が行われている。

また、制御部５２は、システム運用中に監視領域の画像を切出して学習画像記憶部５４に記憶する制御を行う。このため制御部５２は、クライアント装置２４の在室管理情報から監視区画の備品使用権限をもつ利用者の在室を検出し、且つ、利用者端末の使用開始を例えばＬＡＮ回線２１に対する利用者端末のネットワーク接続により検出した場合、例えば１０～１５分といった所定時間のあいだ、例えば１分周期で監視画像から監視区画の画像を切出して学習画像記憶部５４に記憶する制御を行う。

このようにシステム運用中の始業時に学習画像記憶部５４に記憶された学習画像は、行動判定部１６の行動判定動作が休止している夜間や休日等の空き時間に、学習制御部１８の制御部５２により学習画像記憶部５４から順次読出されて多層式ニューラルネットワーク４６に入力することで学習する制御が行われる。

これによりシステム運用中に、監視区画の画像に映される備品使用権限をもつ利用者に服装や髪形等に変化があっても、この変化した監視区画の画像により多層式ニューラルネットワーク４６の学習が行われ、備品使用権限をもつ利用者の行動を示す推定値の低下が抑制され、備品使用権限をもつ利用者の行動を第三者の異常行動と誤って判定してしまうことを未然に防止可能とする。

（多層式ニューラルネットワークの学習）
図４に示した学習制御部１８による多層式ニューラルネットワーク４６の学習は次のようにして行われる。

入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットにはウェイト（重み）とバイアス値が設定され、複数の入力値とウェイトとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。

このようなニューラルネットワークのウェイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。

教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。

バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方までウェイトとバイアスを補正しながら値を伝播させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。

ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１）入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２）推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３）ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。

この手順は、ニューラルネットワークのウェイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。

［行動判定制御］
図６は図４の行動判定部による行動判定制御を示したフローチャートである。図６に示すように、行動判定部１６はステップＳ１で監視カメラ１４により撮像された監視領域の画像に対し、例えば図３に示したように、監視区画を設定する。

続いてステップＳ２に進み、行動判定部１６は、クライアント装置２４で管理しているオフィスルーム１２の在室管理情報から在室者の有無を判別し、在室者なしが判別された場合はステップＳ３に進んで行動判定動作を休止し、一方、ステップＳ２で在室者ありが判別された場合はステップＳ４に進んで行動判定動作を開始又は継続し、ステップＳ５に進む。

行動判定部１６は、ステップＳ５で例えば１分周期となる所定の監視タイミングへの到達を判別するとステップＳ６に進み、そのとき監視カメラ１４により撮像されている動画のフレーム画像を監視画像として画像切出部４４に保持し、監視画像から監視区画の画像を切り出して画像サイズを正規化し、ステップＳ７で多層式ニューラルネットワーク４６に入力し、備品使用権限をもつ利用者の行動を示す推定値を出力する。

続いて行動判定部１６は、ステップＳ８で監視区画の画像の入力により多層式ニューラルネットワーク４６から出力された備品使用権限をもつ利用者の行動を示す推定値が所定の閾値以下（又は閾値未満）か否か判別し、備品使用権限をもつ利用者の行動であれば閾値超え（又は閾値以上）となることから、これを判別した場合はステップＳ２に戻って同様な処理を繰り返す。

これに対し行動判定器１６がステップＳ８で監視区画の画像の入力により多層式ニューラルネットワーク４６から出力される備品使用権限をもつ利用者の行動を示す推定値が所定の閾値以下（又は閾値未満）となることを判別した場合は、ステップＳ９に進んで第三者の異常行動と判定し、ステップＳ１０で例えば入退室管理設備のクライアント装置２４や異常行動が判定された監視区画の利用者端末等に警報信号を送信して警報を報知させ、更に、ステップＳ１１に進んで録画装置２０に対し、異常行動の判定時点を含む例えば前後５分間の監視動画の再生を指示し、クライアント装置２４又は利用者端末に送信して表示させる。

［学習制御］
図７は図４の学習制御部による在室者学習制御を示したフローチャートである。図７に示すように、学習制御部１８の制御部５２は、ステップＳ２１でクライアント装置２４の在室管理情報から監視区画に対する備品使用権限をもつ利用者が在室か否か判別し、在室を判別するとステップＳ２２に進んで監視領域に配置されている利用者端末のＬＡＮ回線２１への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップＳ２３に進む。このようなステップＳ２１，Ｓ２２の処理により、制御部５２は、監視領域の備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。

ステップＳ２３に進んだ制御部５２は、例えば１分周期となる所定の切出しタイミングへの到達を判別するとステップＳ２４に進み、監視区画の画像を切り出して画像サイズの正規化を行った後に、ステップＳ２５で学習画像として学習画像記憶部４４に記憶させ、これをステップＳ２６で就業開始から１０～１５分といった所定の学習時間の経過を判別するまで繰り返す。

続いて、制御部５２は、ステップＳ２７で夜間や休日等などにおける行動判定部１６の休止中を判別するとステップＳ２８に進み、学習画像記憶部５４に記憶している監視区画の画像を読み出して多層式ニューラルネットワーク４６に入力し、備品使用権限をもつ利用者の行動を示す推定値が１となるようにバックプロパゲーションにより多層式ニューラルネットワーク４６のウェイトとバイアスを調整する学習制御をステップＳ２９で行動判定部１６の休止解除が判別されるまで繰り返す。

続いて、制御部５２は、ステップＳ２９で行動判定部１６における行動判定動作の休止解除（起動）を判別するとステップＳ３０に進んで多層式ニューラルネットワーク４６の学習を中断又は終了し、ステップＳ２１からの処理を繰り返す。

［行動監視装置の第２実施形態］
図８は図１の行動監視装置の第２実施形態を機能構成により示したブロック図である。

図８に示すように、第２実施形態の行動監視装置１０に設けられた行動判定部１６は、画像切出部４４、画像解析部７４、行動認識部７６及び時系列判定部４８で構成され、画像解析部７４には畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０が設けられ、また、行動認識部７６には判定器８２とシソーラス辞書８４が設けられている。シソーラス辞書８４には備品使用権限をもたない第三者を識別するための異常行動判定単語が記憶されている。

また、学習制御部１８は、画像切出部５０、制御部５２、学習情報記憶部として機能する学習データセット記憶部１００、マウスやキーボード等の操作部５５及びディスプレイを備えた表示部５６で構成される。これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

（行動判定部の機能）
図８に示すように、行動判定部１６の画像切出部４４は監視カメラ１４で撮像されたオフィスルーム１２などの監視画像を所定周期毎に読み込んで保持し、保持した監視画像に設定された１又は複数の監視区画の画像を切り出して画像サイズを正規化した後に画像解析部７４に出力する。

画像解析部７４に設けられた畳み込みニューラルネットワーク７８は入力した監視区画の画像の特徴量を抽出して出力する。再帰型ニューラルネットワーク８０は畳み込みニューラルネットワーク７８から出力された特徴量を入力し、備品使用権限をもつ利用者又は第三者の行動を説明する入力画像の行動説明文（「画像説明文」ともいう）を生成して出力する。

行動認識部７６の判定器８２は、画像解析部７４の再帰型ニューラルネットワーク８０から出力された行動説明文を構成する１又は複数の単語と、シソーラス辞書８４に記憶されている備品使用権限をもたない第三者の行動を示す異常行動判定単語とを比較し、行動説明文の単語がシソーラス辞書８４の異常行動判定単語に一致又は類似した場合に備品使用権限をもたない第三者の行動を示す異常行動を判定し、時系列判定部４８に出力する。

時系列判定部４８は、行動認識部７６による異常行動の判定結果が複数回又は所定時間に亘り連続した場合に、第三者による異常行動との判定を確定させ、図１に示した人物特定部１７に出力する。

人物特定部１７には、入退室管理設備による電気錠２８を解錠する制御に連動して入室カメラ２５により撮像された利用者画像が記憶されており、記憶している利用者画像と行動認識部７６で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を入退室管理設備のクライアント装置２４から取得して人物特定情報とし、異常行動が判定された人物の画像、人物特定情報を含む警報信号例えば入退室管理設備のクライアント装置２４に送信して警報信号を送信して第三者の異常行動の警報を報知させると共に、録画装置２０で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生してクライアント装置２４などに表示させる。

（学習制御部の機能）
行動判定部１６の画像解析部７４に設けられた畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０は、学習制御部１８の学習データセット記憶部１００に予め記憶された学習画像とその行動説明文のペアからなる多数の学習データセットを使用して制御部５２により学習されている。

学習データセット記憶部１００に記憶されている学習画像は、例えば、図４の第１実施形態と同様に、監視カメラ１４により撮像された例えば図３に示した監視区画３４－１０～３４－１２により切出されて画像サイズが正規化された画像である。

また、学習データセット記憶部１００には、記憶された多数の学習画像に対応して行動説明文が準備され、学習画像と行動説明文のペアからなる多数の学習データセットとして記憶されている。

例えば、図３に示した監視区画３４－１０から切出された学習画像に対しては、例えば「部長Ｘが利用者端末を操作している」といった行動説明文が準備され、また、監視区画３４－１０から切出された部長Ｘが席を外している学習画像には、例えば「利用者端末が机の上に置いてある」といった行動説明文（画像説明文）が準備され、それぞれ学習画像とペアとなって学習データセット記憶部１００に記憶されている。

制御部５２は、入力層、複数の中間層及び全結合の出力層で構成された学習用の畳み込みニューラルネットワーク、即ち図５に示した特徴抽出部５８の畳み込みニューラルネットワークと認識部６０の全結合ニューラルネットワークで構成された多層式ニューラルネットワークを学習用に準備し、まず、学習データセット記憶部１００に記憶されている多数の学習画像を読み出し、学習用の多層式ニューラルネットワークに学習画像として入力し、バックプロパゲーション法（逆伝播法）により学習させる。

続いて、制御部５２は、学習済みの畳み込みニューラルネットワークに得られたウェイトとバイアスを、図９に示した出力層を持たない畳み込みニューラルネットワーク７８にセットして学習済みとし、学習済みの畳み込みニューラルネットワーク７８に学習画像を入力して特徴量を抽出し、抽出した特徴量と入力した学習画像とペアになっている行動説明文を再帰型ニューラルネットワーク８０に入力し、バックプロパゲーション法により学習させる。

このように学習制御部１８により学習された畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０で構成された画像解析部７４に、例えば図３に示した備品使用権限をもつ部長Ｘが利用者端末３２－１０を操作している監視区画３４－１０の画像が入力されると、例えば「部長Ｘが利用者端末を操作している」といった行動説明文が出力される。この場合には、行動認識部７６により異常行動判定単語との不一致が判定され、第三者の異常行動とは認識されない。

これに対し、画像解析部７４に、例えば部長Ｘ以外の第三者が利用者端末３２－１０を操作している監視区画３４－１０の画像が入力されると、例えば「不審者が利用者端末を操作している」といった行動説明文が出力され、行動認識部７６で例えば「不審者」、「利用端末」、「操作」といった異常行動判定単語との一致が判定され、第三者の異常行動を認識して報知させることができる。

［画像解析部の多層式ニューラルネットワーク］
図９は図８の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図である。

（畳み込みニューラルネットワーク）
図９に示すように、畳み込みニューラルネットワーク７８は入力層８５、複数の中間層８６で構成されている。通常の畳み込みニューラルネットワークは最後の中間層８６の後に、入力層、複数の中間層及び出力層を全結合して画像の特徴量から出力を推定する図５に示したように全結合ニューラルネットワークを設けているが、本実施形態は、入力画像の特徴量を抽出するだけで良いことから、後段の全結合ニューラルネットワークは設けていない。

畳み込みニューラルネットワーク７８は、図５に示したと同様、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。畳み込みニューラルネットワーク７８は、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワーク７８は、入力層８５に入力した入力画像に対し重みフィルタにより畳み込み処理を行い、中間層８６に特徴マップが生成される。続いて、畳み込み演算により得られた中間層８６の特徴マップに対しプーリングの演算を行う。

続いて、重みフィルタを使用した畳み込み演算とプーリングの演算を各中間層８６毎に繰り返すことで最後の中間層８６まで特徴マップが生成され、本実施形態にあっては、任意の中間層８６に生成された特徴マップを、入力画像の特徴量として再帰型ニューラルネットワーク８０に入力している。

畳み込みニューラルネットワーク７８は、図８に示した学習制御部１８により学習データセット記憶部１００に記憶された学習画像を入力して学習を行っており、この学習により、良く似た画像をグループ分けするクラスタリングされた特徴量をもつ画像を生成することができる。

（再帰型ニューラルネットワーク）
図９に示す再帰型ニューラルネットワーク８０は、畳み込みニューラルネットワーク７８を用いて抽出した画像の特徴量を、単語ベクトルと共に入力して行動説明文を予測する。

本実施形態の再帰型ニューラルネットワーク８０は、時系列データ対応の深層学習モデルとなるＬＳＴＭ－ＬＭ（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ－ＬａｎｇａｇｅＭｏｄｅｌ）を使用している。

通常の再帰型ニューラルネットワークのモデルは、入力層、隠れ層、出力層で構成され、隠れ層の情報を次時刻の入力とすることで過去の経歴を利用した時系列解析をするモデルである。これに対しＬＳＴＭモデルは、過去の文脈となるｔ－１個の単語からｔ番目の単語として各単語が選ばれる確率を算出する。即ち、ＬＳＴＭモデルは１時刻前の隠れ状態となる時刻１～ｔ－１の単語情報、１時刻前の予測結果となる時刻ｔ－１の単語、及び外部情報の３つを入力とし、逐次的に次の単語の予測を繰り返して文章を生成する。

図９の再帰型ニューラルネットワーク８０は、畳み込みニューラルネットワーク７８で抽出された画像の特徴ベクトルをＬＳＴＭ隠れ層８８に入力する行列に変換するＬＳＴＭ入力層８７、レジスタ９０に単語単位に格納された単語Ｓ₀～Ｓ_N-1をベクトルＷｅＳ₀～ＷｅＳ_N-1に変換するベクトル変換部９２、Ｎ－１段のＬＳＴＭ隠れ層８８、ＬＳＴＭ隠れ層８８の出力を出現確率ｐ₁～ｐ_Nに変換する確率変換部９４、単語を出力する確率からコスト関数ｌｏｇＰ₁（ｓ１）～ｌｏｇｐ_N（Ｓ_N）により算出してコストを最小化するコスト算出部９６で構成される。

（再帰型ニューラルネットワークの学習）
再帰型ニューラルネットワーク８０の学習対象は、ベクトル変換部９２とＬＳＴＭ隠れ層８８であり、畳み込みニューラルネットワーク７８からの特徴量の抽出には、学習済みのパラメータ（ウェイトとバイアス）をそのまま使用する。

学習データは、学習画像Ｉとその行動説明文の単語列｛Ｓｔ｝（ｔ＝０，・・・Ｎ）となり、次の手順で行う。
（１）学習画像Ｉを畳み込みニューラルネットワーク７８に入力し、特定の中間層８６の出力を特徴ベクトルとして取り出す。
（２）特徴ベクトルをＬＳＴＭ入力層８７からＬＳＴＭ隠れ層８８に入力する。
（３）単語列Ｓｔをｔ＝０からｔ＝Ｎ－１まで順に入力し、それぞれのステップで確率ｐt+1を得る。
（４）単語Ｓｔ＋１を出力する確率ｐｔ＋１（Ｓｔ＋１）から求まるコストを最小化する。

（画像説明文の生成）
学習済みの畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０を使用して入力画像の行動説明文を生成する場合には、畳み込みニューラルネットワーク７８に監視区画から切り出した画像を入力して生成した特徴量のベクトルを再帰型ニューラルネットワーク８０に入力し、単語の出現確率の積が高い順に単語列を並べて行動説明文を生成させる。この手順は次のようになる。

（１）画像を畳み込みニューラルネットワーク７８に入力し、特定の中間層８６の出力を特徴ベクトルとして取り出す。
（２）特徴ベクトルをＬＳＴＭ入力層８７からＬＳＴＭ隠れ層８８に入力する。
（３）文の開始記号＜Ｓ＞を、ベクトル変換部９２を使用してベクトルに変換し、ＬＳＴＭ隠れ層８８に入力する。
（４）ＬＳＴＭ隠れ層８８の出力から単語の出現確率が分かるので、上位Ｍ個（例えばＭ＝２０個）の単語を選ぶ。
（５）１つ前のステップで出力した単語を、ベクトル変換部９２を使用してベクトルに変換し、ＬＳＴＭ隠れ層８８に入力する。
（６）ＬＳＴＭ隠れ層８８の出力から、これまでに出力した単語の確率の積を求め、上位Ｍ個の単語列を選択する。
（７）前記（５）と前記（６）の処理を、単語の出力が終端記号になるまで繰り返す。

このように行動判定部１６は、監視カメラ１４により撮像された監視画像に設定された監視区画の画像を切り出して解析することで、監視区画の備品使用権限をもたない第三者の異常行動を判定して報知することができる。

なお、本実施形態の畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０は教師なしの学習としても良いし、教師ありの学習としても良い。

［行動判定制御］
図１０は図８の行動判定部による行動判定制御を示したフローチャートである。図１０に示すように、行動判定部１６はステップＳ３１で監視カメラ１４により撮像された監視領域の画像に対し、例えば図３に示したように、監視区画を設定する。

続いてステップＳ３２に進み、行動判定部１６は、クライアント装置２４で管理しているオフィスルーム１２の在室管理情報から在室者の有無を判別し、在室者なしが判別された場合はステップＳ３３に進んで行動判定動作を休止し、一方、ステップＳ３２で在室者ありが判別された場合はステップＳ３４に進んで行動判定動作を開始し、ステップＳ３５に進む。

行動判定部１６は、ステップＳ３５で例えば１分周期となる所定の監視タイミングへの到達を判別するとステップＳ３６に進み、そのとき監視カメラ１４により撮像されている動画のフレーム画像を監視画像として画像切出部４４に保持し、監視画像から監視区画の画像を切り出して画像サイズを正規化し、ステップＳ３７で畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０で構成される多層式ニューラルネットワークに入力して行動説明文を行動認識部７６の判定器８２に出力する。

判定器８２はステップＳ３８で行動説明文を構成する単語をソシーラス辞書８４に登録されている異常行動判定単語と比較し、ステップＳ３９で一部又は全部が異常行動判定単語と一致した場合にステップＳ４０に進んで第三者による異常行動と判定し、ステップＳ４１で例えば入退室管理設備のクライアント装置２４や第三者の異常行動が判定された監視区画の利用者端末等に警報信号を送信して警報を報知させ、更に、ステップＳ４２に進んで録画装置２０に対し、異常行動の判定時点を含む例えば前後５分間の監視動画の再生を指示し、クライアント装置２４又は利用者端末に送信して表示させる。

［学習制御］
図１１は図８の学習制御部による在室者学習制御を示したフローチャートである。図１１に示すように、学習制御部１８の制御部５２は、ステップＳ５１でクライアント装置２４の在室管理情報から監視区画に対し備品使用権限をもつ利用者（許可利用者）の在室を判別するとステップＳ５２に進み、監視区画に配置されている利用者端末のＬＡＮ回線２１への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップＳ５３に進む。このようなステップＳ５１，Ｓ５２の処理により制御部５２は、備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。

ステップＳ５３に進んだ制御部５２は、例えば１分周期となる所定の切出しタイミングへの到達を判別するとステップＳ５４に進み、監視区画の画像を切り出して画像サイズの正規化を行った後に、ステップＳ５５で切出した画像中に人物があるか否か判別する。

ステップＳ５５における切出し画像中の人物の判別は、例えば、人物不在時の背景画像を予め記憶し、切出した画像との差分をとり、差分画像の輝度値の総和が所定の閾値以上の場合に人物ありと判定すればよい。

制御部５２は、ステップＳ５５で切出し画像中に人物ありを判別した場合はステップＳ５６に進み、例えば「権限のある利用者が利用者端末を操作している」といった許可利用者の行動説明文を生成し、ステップＳ５８で監視区画画像と行動説明文のペアを学習データセットとして学習データセット記憶部１００に記憶させる。

また、制御部５２は、ステップＳ５５で切出し画像中に人物なしを判別した場合はステップＳ５７に進み、例えば「利用者端末が机の上に配置されている」といった許可利用者のいない行動説明文を生成し、ステップＳ５８で監視区画画像と行動説明文のペアを学習データセットとして学習データセット記憶部１００に記憶させる。

このようなステップＳ５３～Ｓ５８の学習情報の記憶を、制御部５２はステップＳ５９で例えば１０～１５分といった所定の学習時間の経過を判別するまで繰り返す。

続いて、制御部５２は、ステップＳ６０で夜間や休日等などにおける行動判定部１６の休止中を判別するとステップＳ６１に進み、学習データセット記憶部１００に記憶している監視区画画像と行動説明文のデータセットを読み出して畳み込みニューラルネットワーク７８と再帰型ニューラルネットワーク８０で構成される多層式ニューラルネットワークに入力し、入力画像から行動説明文が推定されるように多層式ニューラルネットワークのウェイトとバイアスを調整する学習制御をステップＳ６２で行動判定部１６の休止解除が判別されるまで繰り返す。

続いて、制御部５２は、ステップＳ６２で行動判定部１６における行動判定動作の休止解除（起動）を判別するとステップＳ６３に進んで多層式ニューラルネットワークの学習を中断又は終了し、ステップＳ５１からの処理を繰り返す。

〔本発明の変形例〕
（在室者に応じた異常判定）
上記の第２実施形態では、異常判定した人物を人物特定部１７で人物特定するようにしていたが、実施形態はこれに限らない。人物を特定したのち、当該人物に許可された行動かどうかを判定するようにしても良い。領域に通常存在する人物ごと、及び領域に通常存在しない人物について、異常と判定する行動となる異常行動判定単語に関する行動辞書を作成する。運用時、画像解析部または利用者画像と監視画像を比較により人物を特定する。画像解析部によって出力される人物の行動が、特定された人物における異常と判定する行動であるかどうかを判定する。これにより、その人物に許可されている行動か監視可能となる。例えば、通常の在室者ならＰＣの操作は問題ないが、通常の在室者でない場合は機密漏えいの可能性があるため警報を発する。部長は持ちだし可能だが社員持ち出し禁止のファイルを、社員が持ちだそうとする場合、警報を発する。

（学習機能）
上記の実施形態に示した在室監視装置は、行動判定部の多層式ニューラルネットワークを学習する学習制御部を備えた場合を例にとっているが、多層式ニューラルネットワークの学習は、学習機能を備えた別のコンピュータ設備を使用して行い、その結果得られた学習済みの多層式ニュートラルネットワークを行動判定部に実装して使用するようにしても良い。

（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して通常在室している利用者の特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワーク又は再帰型ニューラルネットワークに入力して通常在室している利用者か否かや画像説明文を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。

（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。

（入退室管理設備との連携）
上記の実施形態は、入退室管理設備で管理している在室管理情報を利用して行動判定部の動作と休止を制御しているが、これに限定されず、監視対象とする部屋に設置された人感センサにより在室の有無を判別して行動判定部の動作と休止を制御するようにしても良い。

（システム運用中の学習情報の記憶）
上記の実施形態は、監視区画における備品使用権限をもつ利用者の利用者端末の使用開始を検出した場合に、所定時間のあいだ監視区画の画像を切り出して学習情報として記憶させているが、これに限定されず、監視領域のセキュリティ－担当者等の利用者端末を使用した人為的な操作により、平日の就業時間帯に監視区画の画像を切り出して学習情報として記憶させるようにしても良い。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０：行動監視装置
１２：オフィスルーム
１４：監視カメラ
１６：行動判定部
１７：人物特定部
１８：学習制御部
２０：録画装置
２１：ＬＡＮ回線
２２：入退室管理制御装置
２３：センター装置
２４：クライアント装置
２５：入室カメラ
２６：カードリーダ
２８：電気錠
３０：扉
３２、３２－１、３２－１０：利用者端末
３４－１～３４－１２：監視区画
３６：監視画像
４４，５０：画像切出部
４６：多層式ニューラルネットワーク
４８：時系列判定部
５２：制御部
５４：学習画像記憶部
５５：操作部
５６：表示部
５８：特徴抽出部
６０：認識部
６２：入力画像
６３，６５ａ，６５ｂ：重みフィルタ
６４ａ，６４ｂ，６４ｃ：特徴マップ
６６，８５：入力層
６８：全結合
７０，８６：中間層
７２：出力層
７４：画像解析部
７６：行動認識部
７８：畳み込みニューラルネットワーク
８０：再帰型ニューラルネットワーク
８２：判定器
８４：シソーラス辞書
８７：ＬＳＴＭ入力層
８８：ＬＳＴＭ隠れ層
９０：レジスタ
９２：ベクトル変換部
９４：確率変換部
９６：コスト算出部
１００：学習データセット記憶部

Claims

監視対象とする監視領域を撮像する撮像部と、
前記監視領域の画像を利用して学習された多層式ニューラルネットワークを備え、前記監視領域内の人物の異常行動を判定して出力する行動判定部と、
前記行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、
が設けられ、
前記行動判定部は、前記監視領域内に入る利用者を識別して前記監視領域に対する利用者の出入りを管理する入退室管理設備の当該監視領域内の在室に関する情報を利用して、判定動作の休止と起動を制御し、
前記学習制御部は、前記行動判定部の判定動作の休止から起動までの間の時間を利用して、前記行動判定部の多層式ニューラルネットワークの学習を行うことを特徴とする行動監視システム。
請求項１記載の行動監視システムであって、
前記行動判定部の多層式ニューラルネットワークは、前記監視領域の画像から切出された１又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されることを特徴とする行動監視システム。
請求項２記載の行動監視システムであって、
前記行動判定部は、前記多層式ニューラルネットワークに入力された監視領域の画像から出力される前記備品使用権限をもつ利用者の行動を示す推定値及び前記備品の存在を示す推定値に基づき、前記監視領域内の人物の異常行動を判定することを特徴とする行動監視システム。