JP7054331B2 - 在室者監視システム - Google Patents

Description

本発明は、施設内の部屋を監視カメラで撮像した画像からニューラルネットワークにより在室者を判定して監視する在室者監視システムに関する。

従来、オフィスビルなどの施設にあっては入退室管理設備が設置されており、部屋の出入口の扉外側に設置したカードリーダ等の読取端末で、利用者が保有するカードから読み取った利用者ＩＤ情報を予め登録した利用者識別情報（以下(利用者ＩＤ)という）との一致を判別した場合に入退室管理制御装置に認証信号を送り、入退室管理制御装置からの制御信号により扉の電気錠を解錠し、関係者以外の第三者が施設内に入らないように管理している。

読取端末と電気錠を信号線により接続した複数の入退室制御装置に対しては管理装置を設けており、入退室を許可する多数の利用者の利用者ＩＤを管理装置で事前登録して一元的に管理しており、入退室制御装置毎に分けて管理装置から利用者ＩＤをダウンロードして読取端末に登録することで、施設に入ることを許可された利用者をそのカード読取により認識可能としている。

また、管理装置は、カードリーダ等の読取端末の操作により入室した利用者をカウントし、在室している利用者の数を管理している。

特開２００８－０４６９１６号公報 特開平７－２４５７５７号公報

しかしながら、このような従来の入退室管理設備にあっては、複数の利用者の内の一人がカードを使用して電気錠を解錠して部屋に入る共連れの問題があり、入退室管理設備で管理している在室者の人数と実際の人数とが一致しなくなる問題がある。

また、従来の入退室管理設備にあっては、共連れ等により部外者が在室していたとしても、在室した利用者が通常在室している人物であるか、不正に在室している人物であるかは認識することができず、関係者以外の第三者が在室しているような事態に適切に対応することが困難であった。

本発明は、監視カメラで撮像された部屋の画像を多層式のニューラルネットワークに入力して在室者を監視可能とする在室者監視システムを提供することを目的とする。

（在室者監視システム）
本発明は、
施設内の監視領域を撮像する撮像部と、
施設内に通常在室する利用者の画像により学習された多層式のニューラルネットワークにより構成され、撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力する在室者判定器と、
在室者判定器を施設内に通常在室する利用者の画像により学習させた学習制御部と、
施設内の監視領域の出入口の扉に設けられた電気錠を解除して入室する利用者を撮像する入室撮像部と、
が設けられた在室者監視システムであって、
学習制御部は、在室者判定器が判定制御を行っていない空き時間を利用して、在室者判定器を電気錠の解錠に連動して入室撮像部により撮像された利用者の画像により追加学習させることを特徴とする。

（周期的な在室者判定）
在室者判定器は、所定の周期毎に、撮像部により撮像された利用者の画像を入力して通 常在室する利用者か否かを判定して出力し、
学習制御部は、在室者判定器が判定制御を行っていない制御空きを判別し、次の周期までの空き時間から学習可能時間を求め、当該学習可能時間の間に、在室者判定器を電気錠の解錠に連動して入室撮像部により撮像された利用者の画像により追加学習させる。

（未学習の画像を識別した記憶）
学習制御部は、施設内に通常在室する利用者の画像、及び電気錠の解錠に連動して入室撮像部により撮像された利用者の画像を未学習の画像であるか否か識別可能に学習情報記憶部に記憶させる。

（多層式ニューラルネットワークの機能構成）
多層式のニューラルネットワークは、
特徴抽出部と認識部で構成され、
特徴抽出部は、撮像部により撮像された利用者の画像が入力されて入力された利用者の画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、
認識部は、畳み込みニューラルネットワークから出力される特徴情報が入力され、通常在室する利用者の推定値を出力する全結合ニューラルネットワークとする。

（基本的な効果）
本発明は、在室者監視システムに於いて、施設内の監視領域を撮像する撮像部と、施設内に通常在室する利用者の画像により学習された多層式のニューラルネットワークにより構成され、撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力する在室者判定器と、在室者判定器を施設内に通常在室する利用者の画像により学習させた学習制御部と、施設内の監視領域の出入口の扉に設けられた電気錠を解除して入室する利用者を撮像する入室撮像部と、が設けられ、学習制御部は、在室者判定器が判定制御を行っていない空き時間を利用して、在室者判定器を電気錠の解錠に連動して入室撮像部により撮像された利用者の画像により追加学習させるようにしたため、多層式のニューラルネットワークの出力により学習に使用された通常在室している利用者が判定されると共に、学習に使用された利用者と一部の特徴は一致するが一部の特徴が一致しない場合や、全ての特徴が一致しない場合、通常在室している利用者ではないことが判定され、関係者以外の第三者等が在室していた場合に適切に対処することができる。また、学習制御部による在室者判定器の追加学習は、在室者判定器が判定制御を行っていない空き時間に行われるため、効率良く在室者判定器の追加学習を行うことができる。また、学習制御部は、施設内に通常在室する利用者の画像、及び電気錠の解錠に連動して入室撮像部により撮像された利用者の画像を未学習の画像であるか否か識別可能に学習情報記憶部に記憶させるようにしたため、学習済の画像か、未学習の画像かを容易に識別することができる。

（利用者画像の切出し判定による効果）
また、在室者判定器は、撮像部で撮像された監視領域の画像の中から利用者毎に画像を切り出して多層式のニューラルネットワークに入力することにより、通常在室する利用者か否かを判定して出力するようにしたため、例えば撮像部として機能する監視カメラにより部屋全体の画像を撮像し、その中に映っている利用者毎に画像を切り出して多層式のニューラルネットワークに入力することで、在室している全員について通常在室している利用者か否かの判定ができる。

（利用者ごとに該当するか判定による効果）
また、在室者判定器は、通常在室する利用者ごとに学習を行い、撮像された利用者の画像がいずれかの通常在室する利用者か否かを判定し、いずれの利用者にも当てはまらない場合に通常在室する利用者でないと判定して出力することで、利用者ごとの特徴でもって通常在室者かどうかを判定することが可能となり、判定精度が向上する。

また、利用者ごとに分けずに学習した場合、共通する特徴として作業着等が抽出されることが考えられるが、共通する特徴は模倣が容易であるため、検出誤りが生じる恐れがある。本方式によれば、個々人の特徴を抽出するため、上記検出誤りが生じる恐れを減じることができる。

（利用者画像のサイズ正規化による効果）
また、在室者判定器は、利用者毎に切り出された利用者画像を所定サイズの画像に正規化して多層式のニューラルネットワークに入力するようにしたため、監視カメラから利用者までの距離により切出された利用者の画像サイズが異なるが、切出した利用者画像が同じ縦横サイズに正規化されることで、サイズの小さい利用者画像の判定精度が低くなることを防止している。

（在室利用者のカウントによる効果）
また、在室者判定器は、撮像部により撮像された利用者の画像を入力して判定された利用者の数をカウントして入退室管理設備に出力するようにしたため、入退室管理設備で管理している在室している利用者の数が共連れ等により実際と異なっている場合に、正しい在室している利用者の数に訂正することができる。

（入退室設備との誤差検出による効果）
また、施設内の監視領域に出入りする利用者が保有する媒体から読取端末で読み取った利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備が設けられ、入退室管理設備は電気錠及び扉の開閉に基づき在室者の数を検出し、前記在室者判定器による利用者の数と、前記在室者の数に差がある場合は報知することで、共連れなどで入室した場合に生じる入退室管理設備による在室者件数のずれをシステム管理者に報知することが可能となる。さらに、システム管理者は更に画像を確認し異常が発生しているかどうかを確認可能となる。

（周期的な在室者判定による効果）
また、在室者判定器は、所定の周期毎に、撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力し、学習制御部は、在室者判定器が判定制御を行っていない制御空きを判別し、次の周期までの空き時間から学習可能時間を求め、当該学習可能時間の間に、在室者判定器を電気錠の解錠に連動して入室撮像部により撮像された利用者の画像により追加学習させるようにしたため、例えば１０～１５分に１回といった周期で監視領域となる部屋の画像を撮像して通常在室している利用者か否かの判定を行うことで、多階式のニューラルネットワークによる判定処理の負担を低減した動作が可能となり、その間に空き時間ができることで、負荷を分散させた上で空き時間を利用した多層式のニューラルネットワークの学習が可能となる。

（入退室管理設備と連携した利用者学習画像の収集による効果）
また、在室者監視システムは、更に、施設内の監視領域に出入りする利用者が保有する媒体から読取端末で読み取った利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備と、入退室管理設備の読取端末を使用して入室する利用者を撮像する入室撮像部とが設けられ、学習制御部は、入退室管理設備による電気錠を解錠する制御に連動して、利用者撮像部により撮像された利用者の画像を学習情報として学習情報記憶部に記憶させるようにしたため、利用者が入室するためにカードリーダによりカード読取りを行って電気錠が解錠されると、これに連動して利用者撮像部として機能する監視カメラが撮像しているカードリーダにカードを読み取らせた利用者の画像を読み込み、通常在室している利用者の学習情報として学習情報記憶部に自動的に記憶され、例えば、多層式のニューラルネットワークの周期的な動作に伴う空き時間や夜間の空き時間に、新たに記憶された学習情報により学習が行われることで、利用者の服装や髪形等に変化があっても、監視カメラにより撮像した利用者画像を入力した場合に、高い精度で通常在室している利用者か否かを判定することができる。

また、カードリーダを操作した利用者に共連れがあっても、利用者撮像部により撮像されている画像の学習情報としての記憶は、電気錠の解錠制御のタイミングで行われ、このタイミングではカードリーダを操作した利用者しか映っていないため、この利用者に続いて共連れによる別の利用者が撮像されても、別の利用者の画像は学習画像としては記憶されず、カードリーダを操作した利用者のみの画像を学習情報として記憶することができる。このため、共連れとなった別の利用者の画像は学習情報として使用されないため、共連れとなった別の利用者は通常在籍している利用者ではないとの判定が行われる可能性が高くなり、通常在室していない利用者との判定結果から共連れをしないように利用者を特定して注意を促すことができる。

また、常に新しい画像を元に学習を行うことにより時間経過に伴う顔の変化などに対して判定が追従することが可能となり、多層式のニューラルネットワークを用いずに顔認証を行う際に時間経過へ対応するために必要となる再度の高精度な画像登録が不要となる。

（入退室管理設備の利用者識別情報と学習画像の対応による効果）
また、利用者識別情報と、電気錠を解錠する制御に連動して、前記利用者撮像部により撮像された利用者の画像と、を対応させて学習情報記憶部に記憶させることにより、利用者ごとに学習を行うことで、画像を利用者ごとに改めて分類することなく、利用者ごとに利用者の画像を記憶させ学習することができるため、利用者ごとの識別器の学習が容易となる。

（利用者画像の切出し記憶による効果）
また、学習制御部は、利用者撮像部で撮像された画像の中から利用者の画像を切り出して学習情報として学習情報記憶部に記憶させるようにしたため、利用者の画像切出して例えば輪郭線探索により人物画像のみを切り出すことで背景が除去され、背景の影響を受けることなく多層式のニューラルネットワークを学習することができ、監視カメラにより撮像された部屋の画像からも利用者の画像が切出されて学習済みの多層式のニューラルネットワークに入力されていることから、背景の影響を受けずに高い精度で通常在室している利用者か否かが判定できる。

（利用者学習画像のサイズ正規化による効果）
在室者判定器は、利用者毎に切り出された利用者画像を所定サイズの画像に正規化して学習情報記憶部に記憶させるようにしたため、多層式のニューラルネットワークの学習に使用する学習画像と、監視カメラにより撮像して多層式のニューラルネットワークに入力される利用者画像が同じ縦横サイズとなり、より高い精度で通常在室している利用者か否かを判定することができる。

（多層式ニューラルネットワークの機能構成による効果）
また、多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、撮像部により撮像された利用者の画像が入力されて入力された利用者の画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、認識部は、畳み込みニューラルネットワークから出力される特徴情報が入力され、通常在室する利用者の推定値を出力する全結合ニューラルネットワークとするようにしたため、畳み込みニューラルネットワークにより利用者の特徴が自動的に抽出されることで、利用者画像となる入力情報から前処理により人物の特徴、例えば、顔における目、口、耳等の稜線等を抽出するような前処理を必要とすることなく人物の特徴が抽出され、引き続いて行う認識部により高い精度で通常在室している利用者を推定可能とする。

在室者監視システムの概略を入退室管理設備と共に示した説明図 監視対象となるオフィスレイアウトの一例を示した説明図 図１の在室者判定器と学習制御部の機能構成を示したブロック図 在室者判定器に保持された監視画像の一例を示した説明図 図３の多層式ニューラルネットワークの機能構成を示した説明図 図３の在室者判定器による在室者判定制御を示したフローチャート 図３の学習制御部による在室者学習制御を示したフローチャート

［在室者監視システム］
（システムの概要）
図１は在室者監視システムの概略を入退室管理設備と共に示した説明図である。図１に示すように、ビル等の施設のオフィスルーム１２には撮像部として機能する監視カメラ１４が設置され、複数の利用者が在室しているオフィスルーム１２内を監視カメラ１４により動画撮像している。

監視カメラ１４はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

オフィスルーム１２に対し施設の管理センター等には在室者監視装置１０が設置されている。在室者監視装置１０には在室者判定器１６と学習制御部１８が設けられ、オフィスルーム１２に設置された監視カメラ１４からの信号線が在室者判定器１６と学習制御部１８に並列に入力されている。

在室者判定器１６は多層式のニューラルネットワークを備えており、監視カメラ１４により撮像した複数の利用者が在室しているオフィスルーム１２内の画像を入力して通常在籍している利用者か否か判定する。在室者判定器１６は、入力した利用者画像から通常在室していない利用者を判定した場合、外部装置に対し注意警報信号と共に利用者画像を送信して報知させる。

学習制御部１８は、システムの運用開始時に、人事情報として得られている複数の在室利用者の写真画像を、学習画像として在室者判定器１６の多層式のニューラルネットワークに入力してディープラーニングにより学習させる。

また、学習制御部１８は、システム運用中に、監視カメラ１４により撮像したオフィスルーム１２内の監視画像に映っている利用者の画像を、必要に応じて学習画像として切出して在室者判定器１６の多層式のニューラルネットワークをディープラーニングにより学習させる。

（入退室管理システムの概要）
本実施形態の在室者監視システムが設置された施設には、入退室管理設備が合わせて設けられている。

図１に示すように、在室者の監視対象となるオフィスルーム１２の出入口には扉３０が設けられており、扉３０には電気錠２８を設けられ、また扉３０の近傍にはカードリーダ２６が配置されている。

カードリーダ２６及び電気錠２８は入退室管理制御装置２０に伝送線により接続されている。入退室管理制御装置２０は例えば建物の各階毎に配置されている。施設の管理センター等には、センター装置２２とクライアント装置２４が配置され、ＬＡＮ回線２１により相互に接続されると共に各階の入退室管理制御装置２０と接続されている。

入退室管理設備の管理制御は次のようになる。カードリーダ２６は、例えば利用者の携帯する磁気カード又は非接触ＩＣカードを読取って事前登録した個人情報と照合し、照合一致により認証成功を判別した場合に認証信号を入退室管理制御装置２０へ送信する。

入退室管理制御装置２０はカードリーダ２６から認証信号を受信した場合、対応する出入口に設けた扉３０の電気錠２８へ制御信号を出力して解錠制御し、入室を可能とする。なお、部屋から出る場合にはカードリーダ２６による認証は必要とせず、扉３０の内側に設けられたスイッチ釦の操作等により電気錠２８を解錠して退出することができる。

センター装置２２は、ディスプレイ付きのパーソナルコンピュータであり、入退室管理設備を設置した建物の地図などの管理情報を表示する。クライアント装置２４はディスプレイ付きのパーソナルコンピュータであり、ＬＡＮ回線２１を介して入退室管理制御装置２０と接続され、入退室管理制御装置２０を経由してカードリーダ２６との間で磁気カードや非接触ＩＣカードに対応した個人情報の登録、削除、履歴検索などの各種設定や処理を行い、また、カードリーダ２６からのカード読取信号に基づく認証処理毎にオフィスルーム１２の在室者をカウントし、在室している利用者数を管理している。

尚、クライアント２４は、扉３０の内側に設けられたスイッチ釦の操作等による電気錠２８の解錠を、入退室管理制御装置２０からの信号により認識し、そのとき在室している利用者数を減算するカウントを行う。

（在室者監視システムと入退室管理設備の連携）
本実施形態の在室者監視システムは、在室者判定器１６で通常在室していない利用者であることを判別した場合、ＬＡＮ回線２１を介して注意警報信号を利用者画像と共に管理装置として機能する例えばクライアント装置２４に送信し、オフィスルーム１２内に、通常在室している利用者ではない関係者以外の第三者が在室していることを示す注意警報を出力すると共に、ディスプレイ上に注意警報に対象となった利用者の画像を表示させる。

また、本実施形態の在室者監視システムは、入退室管理設備を利用して在室者判定器１６の多層式のニューラルネットワークを学習するための在室する利用者画像を収集するようにしている。

この学習用の利用者画像を収集するため、扉３０の外側に配置されたカードリーダ２６でカード読取りを行う利用者を撮像するため、入室撮像部として機能する入室監視カメラ３２が設置され、入室監視カメラ３２からの信号線は在室者監視装置１０の学習制御部１８に入力されている。

入室監視カメラ３２は、オフィスルーム１２に入室するために保有するカードをカードリーダ２６に読み取らせる利用者の画像を撮像しており、入退室管理制御装置２０から解錠制御信号を電気錠２８に送信して解錠させるタイミングに同期して学習制御部１８に解錠通知信号を送信して入室監視カメラ３２の画像を保持し、その中から入室しようとした利用者の利用者画像を切り出して学習画像として記憶する制御を行う。

（オフィスルーム監視の概要）
図２は監視対象となるオフィスレイアウトの一例を示した説明図である。図２に示すように、在室者監視システムの監視対象となるオフィスルーム１２は、その内部に複数の机と椅子が配置され、机の上にはパーソナルコンピュータ等の備品が置かれている。オフィスルーム１２の机配置は、例えば課や係単位に、図示で上下方向に２列に机が配置され、図示で上側には、管理職の席が配置されている。

監視カメラ１４はオフィスルーム１２の図示で左下のコーナーの天井に近い位置に、室内全体を俯瞰するように配置され、在室している全ての利用者を監視画像に映し込めるようにしている。なお、１台に監視カメラ１４で室内全体を撮像できない場合は、必要に応じて複数台の監視カメラ１４を設置してもよい。また、監視カメラ１４として１８０°又は３６０°の撮像範囲を持つ広角の監視カメラ１４を設置しても良い。

また、オフィスルーム１２の出入口に設けられた扉３０の外側にはカードリーダ２６が配置され、カードリーダ２６に対しては入室監視カメラ３２が設置され、カードリーダ２６にカードを読み取らせて入室しようとする利用者を動画撮像している。

［在室者判定器と学習制御部］
図３は図１の在室者判定器と学習制御部の機能構成を示したブロック図である。図３に示すように、在室者判定器１６は、画像切出部３４、多層式ニューラルネットワーク３６及び伝送部３８で構成され、また学習制御部１８は、画像切出部４０、制御部４２、学習情報記憶部として機能する学習画像記憶部４４、マウスやキーボード等の操作部４５及びディスプレイを備えた表示部４６で構成され、これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

（在室者判定器の機能）
在室者判定器１６の多層式ニューラルネットワーク３６は、学習制御部１８による通常在室している利用者の画像により学習されており、在室者判定器１６は監視カメラ１４により撮像された複数の利用者が映っているオフィスルーム１２の監視画像を例えば１０～１５分程度に定めた所定の周期毎に画像切出部３４に保持させ、保持された監視画像の中に映っている利用者の画像を利用者毎に切出して多層式ニューラルネットワーク３６に入力し、通常在室している利用者であることを示す推定値を出力させる。

図４は在室者判定器に保持された監視画像の一例を示した説明図である。図４に示すように、監視カメラ１４により撮像された監視画像７０には、監視対象となるオフィスルーム１２に在室している複数の利用者が映っており、在室者判定器１６は、監視画像７０を図３に示す画像切出部３４に保持させた状態で、監視画像７０の中に映っている利用者の画像を探索し、矩形の点線で示す切出枠の設定により利用者画像７２－１～７２－１２を切出して多層式ニューラルネットワーク３６に順次入力し、通常在室している利用者であることを示す推定値を出力させる。

このとき在室者判定器１６は、画像切出部３４において利用者毎に切り出された利用者画像７２－１～７２－１２を所定サイズの画像に正規化して多層式のニューラルネットワークに入力させる制御を行う。

これは監視カメラ１４により撮像されたオフィスルーム１２の監視画像７０に映っている利用者は、監視カメラ１４からの距離が遠くなると利用者画像が小さくなり、その結果、切出された複数の利用者画像は縦横サイズが異なっており、そのまま多層式ニューラルネットワーク３６に入力すると、サイズの小さい利用者画像の判定精度が低くなり、これを防止するために利用者画像を同じサイズに正規化している。

利用者画像７２－１～７２－１２を所定サイズに正規化するためのサイズ変更は公知の手法であり、画像サイズを小さくする場合は画素の間引き処理を行い、画像サイズを大きくする場合は画素の補完処理を行う。

利用者画像の入力により多層式ニューラルネットワーク３６が出力する通常在室している利用者であることを示す推定値は０～１の値を持ち、通常在室している利用者であれば推定値は１又は１に近い値となり、一方、通常在室している利用者でなければ推定値は０又は０に近い値となる。

このため多層式ニューラルネットワーク３６は判定閾値を例えば０．５に設定しており、推定値が判定閾値０．５以下の場合は、通常在室している利用者ではないと判定し、伝送部３８に指示して注意警報信号と利用者画像を例えば入退室管理設備のクライアント装置２４に送信する制御を行う。また、クライアント装置２４にて管理者に報知を行ったり、監視領域１２内に配置された不図示の警報器に信号を送信し警報動作を行わせるようにしても良い。

また、在室者判定器１６は、監視カメラ１４により撮像されたオフィスルーム１２の監視画像から多層式ニューラルネットワーク３６に利用者毎の画像を入力して判定結果が得られた場合、判定結果が得られる毎に利用者の数をカウントし、監視画像に含まれる全ての利用者の画像の判定処理が終了した場合のカウント値を在室している利用者数と判定し、判定した利用者数を入退室管理設備のクライアント装置２４に送信する。

在室者判定器１６から在室している利用者数の通知を受けたクライアント装置２４は、自己が管理している在室している利用者数と通知された利用者数を比較し、もし不一致であった場合は、自己が管理している利用者数を通知された利用者数に修正し、常に正しい在室している利用者数を管理を可能とする。

（学習制御部の機能）
図３に示す学習制御部１８の制御部４２は、システムの運用開始時には、学習画像記憶部４４に人事情報として得られた利用者の写真画像が学習画像として予め記憶されており、制御部４２は学習画像記憶部４４に記憶された在室する全ての利用者画像を学習画像として順次読出し、多層式ニューラルネットワーク３６に入力してバックプロパゲーションとして知られた手法により学習する制御を行う。

この場合、学習画像記憶部４４に初期的に記憶される利用者画像は、在室者判定器１６による利用者の切出し画像と同様に、画像サイズの正規化が行われている。また、学習画像記憶部４４に初期的に記憶される利用者画像としては、利用者毎に、正面、右側面、左側面及び背面の各写真画像から生成した複数の利用者画像を記憶して学習することが望ましい。

また、制御部４２は、図１に示した入退室管理制御装置２０で利用者がカードリーダ２６にカードを読み取らせて電気錠２８の解錠制御を行った場合に出力される解錠通知信号を受信した場合、画像切出部４０に指示して入室監視カメラ３２により撮像されたカードリーダ２６にカードを読み取らせている利用者の画像を切り出して所定サイズに正規化し、これを学習情報として学習情報記憶部４４に記憶させる制御を行う。

これによりシステム運用中に、利用者の服装や髪形等に変化があっても、オフィスルーム１２に利用者が入室する場合に、電気錠２８の解錠制御に同期して利用者画像が学習画像として記憶され、利用者の服装や髪形等に変化があっても、この変化した利用者画像による多層式ニューラルネットワーク３６の学習により判定処理に反映される。

また、制御部４２は、人事異動に伴い新たに在室する利用者や転勤移動により在室する利用者でなくなる場合があることから、この場合には、操作部４５及び表示部４６を利用した人為的な操作により、学習画像記憶部４４に対する利用者画像の追加や削除を行う。

このような人為的操作による利用者画像の学習画像記憶部４４に対する記憶は、オフィスルーム１２に在室するセキュリティー担当者又は責任者が監視カメラ１４により撮像されたオフィスルーム１２内の監視画像を自分のパーソナルコンピュータのディスプレイ上に表示し、監視画像の中に映っている利用者を必要に応じてトリミング操作を行うことで切出して学習画像記憶部４４に記憶させても良い。

また、制御部４２は、１０～１５分周期で行われる在室者判定器１６の在室者判定制御が空くことを監視しており、在室者判定器１６の制御空きを判別すると、次の周期までの空き時間から学習可能時間を求め、この学習可能時間の間に、学習情報記憶部４４に記憶されている未学習の追加された利用者画像を順次読み出して多層式ニューラルネットワーク３６を学習する制御を行う。

これにより電気錠２８の解錠制御に同期して学習画像記憶部４４に新たに追加された利用者画像は、速やかに学習画像として読み出されて多層式ニューラルネットワーク３６を学習させることができる。特に、夜間の時間帯にあっては、監視カメラ１４の監視画像に利用者は映っておらず、十分な空き時間が確保されることで、昼間の時間帯に追加された新たな利用者画像による多層式ニューラルネットワーク３６の学習は翌日までに完了しており、翌日の通常在室している利用者の判定に確実に反映され、利用者の服装や髪形等に変化があっても、高い判定精度を得ることができる。

（多層式ニューラルネットワーク）
図５は図３の多層式ニューラルネットワークの機能構成を示した説明図であり、図５（Ａ）に概略を示し、図５（Ｂ）に詳細を模式的に示している。

図５（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３６は、特徴抽出部４８と認識部５０で構成される。特徴抽出部４８は畳み込みニューラルネットワークであり、認識部５０は全結合ニューラルネットワークである。

多層式ニューラルネットワーク３６は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。

通常のニューラルネットワークは、画像から通常在室している利用者を判定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３６では、特徴抽出部４８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力し、学習により最適な特徴を抽出し、認識部５０の全結合ニューラルネットワークに入力して通常在室している利用者か否かを識別する。

認識部５０の全結合ニューラルネットワークは、図５（Ｂ）に模式的に示すように、入力層５６、全結合５８、中間層６０と全結合５８の繰り返し、及び出力層６２で構成されている。

（畳み込みニューラルネットワーク）
図５（Ｂ）は特徴抽出部４８を構成する畳み込みニューラルネットワークの構造を模式的に示している。

畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形でウェイト付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワークは、図５（Ｂ）に示すように、まず、入力画像５２に対し重みフィルタ５３により畳み込み処理を行う。例えば、重みフィルタ５３は縦横３×３の所定のウェイト付けがなされた行列フィルタであり、入力画像５２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像５２の９画素を小区域となる特徴マップ５４ａの１画素に畳み込み、複数の特徴マップ５４ａが生成される。

続いて、畳み込み演算により得られた特徴マップ５４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

続いて、重みフィルタ５５ａ，５５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ５４ｂ，５４ｃが得られ、最後の層の特徴マップ５４ｃを認識部５０に入力し、通常の全結合ニューラルネットワークを用いた認識部５０により通常在室している利用者か否かを推定する。

なお、畳み込みニューラルネットワークにおけるプーリングの演算は、通常在籍している利用者の識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。

（多層式ニューラルネットワークの学習）
図３に示した学習制御部１８による多層式ニューラルネットワーク３６の学習は次のようにして行われる。

入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットにはウェイト（重み）とバイアス値が設定され、複数の入力値とウェイトとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。

このようなニューラルネットワークのウェイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。

教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。

バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方までウェイトとバイアスを補正しながら値を伝播させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。

ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。

この手順は、ニュウーラルネットワークのウェイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。

［在室者判定制御］
図６は図３の在室者判定器による在室者判定制御を示したフローチャートである。図６に示すように、在室者判定器１６はステップＳ１で例えば１０～１５分周期となる所定の監視タイミングへの到達を判別するとステップＳ２に進み、そのとき監視カメラ１４により撮像されている動画のフレーム画像を監視画像として画像切出部３４に保持し、続いてステップＳ３に進み、監視画像の中に映っている利用者を探索して切出し枠を設定して複数の利用者画像を切り出す。

続いてステップＳ４に進み、在室者判定器１６は切出した利用者画像を所定の縦横サイズに正規化し、ステップＳ５で多層式ニューラルネットワーク３６に入力する。

続いて在室者判定器１６は、利用者画像の入力により多層式ニューラルネットワーク３６から出力される通常在室している利用者を示す推定値が所定の閾値以上（又は閾値超え）か否か判別し、閾値以上（又は閾値超え）の場合はステップＳ７に進んで通常在室している利用者と判定する。

一方、多層式ニューラルネットワーク３６から出力される通常在室している利用者を示す推定値が所定の閾値未満（又は閾値以下）の場合はステップＳ８に進んで、通常在室していない利用者と判定し、ステップＳ９で注意警報信号を通常在室していない利用者と判定された利用者画像と共に例えば入退室管理設備のクライアント装置２４に送信し、注意警報により報知すると共に該当した利用者画像を画面表示し、確認を促す。

続いて、在室者判定器１６はステップＳ７又はＳ９の処理を行った後にステップＳ１０に進み、多層式ニューラルネットワーク３６から推定値が出力される毎に利用者数を１つカウントする。

続いて、在室者判定器１６はステップＳ１１に進み、ステップＳ３で切り出された全ての利用者画像について多層式ニューラルネットワーク３６による判定制御が行われたことを判別するまでステップＳ５からの処理を繰り返し、全ての利用者画像について判定制御が行われたことを判別するとステップＳ１２に進み、ステップＳ１０でカウントした利用者数を入退室管理設備のクライアント装置２４に送信してステップＳ１に戻る。

在室者判定器１６から利用者数を受信したクライアント装置２４は、自己の管理している入退室管理設備側の利用者数と比較し、不一致の場合は在室者判定器１６から送信された利用者数に修正する。

［在室者学習制御］
図７は図３の学習制御部による在室者学習制御を示したフローチャートである。図７に示すように、学習制御部１８の制御部４２は、在室者監視システムの運用開始前に、ステップＳ２１において人事情報として得られている写真画像を、可搬記憶媒体等を使用して外部から読み込み、利用者画像として学習画像記憶部４４に記憶する。この場合、外部から読み込んだ利用者画像は所定の縦横サイズに正規化して記憶する。

続いて、制御部４２は、ステップＳ２２において、学習画像記憶部４４に記憶された利用者画像を順次読出して多層式ニューラルネットワーク３６に入力し、通常在室している利用者を示す推定値が１となるようにバックプロパゲーションにより多層式ニューラルネットワーク３６のウェイトとバイアスを調整する初期的な学習制御を行う。

続いてステップＳ２３に進み、制御部４２は入退室管理設備に設けられた入退室管理制御装置２０から電気錠２８の解錠制御に同期した解錠通知信号の受信を判別するとステップＳ２４に進み、入室監視カメラ３２から送られてきている動画のフレーム画像を監視画像として保持し、この監視画像にはカードリーダ２６にカードを読み取らせている利用者の画像が映っていることから、ステップＳ２５に進んで利用者を探索して矩形の切出し枠を設定することで利用者画像を切り出し、更に、所定の縦横サイズに正規化し、ステップＳ２６で学習画像記憶部４４に記憶する。

また、制御部４２は、ステップＳ２７により操作部４５の操作に基づく新規の利用者画像の入力を判別するとステップＳ２８に進み、新規の利用者画像として学習画像記憶部４４に記憶する。

なお、ステップＳ２６又はＳ２８で学習画像記憶部４４に記憶する利用者画像は、多層式ニューラルネットワーク３６の学習に使用されていないことから、未学習を示すフラグ等の識別情報を付加して記憶する。

続いてステップＳ２９に進み、制御部４２は、多層式ニューラルネットワーク３６による在室者判定制御の空き時間か否か判別しており、空き時間を判別するとステップＳ３０に進み、学習画像記憶部４４から未学習の追加利用者画像を読み出し、多層式ニューラルネットワーク３６に入力してバックプロパゲーションによりウェイトとバイアスを調整する学習制御を行う。

続いて、制御部４２はステップＳ３１で全ての未学習の追加利用者画像による学習済みか否か判別しており、全ての追加利用者画像の学習が済んでいない場合はステップＳ３２に進み、次の在室者判定制御の開始タイミングまでの残り時間となる学習可能時間内であればステップＳ３０に戻り、次の追加利用者画像を読み出して多層式ニューラルネットワーク３６の学習制御を繰り返し、学習可能時間の経過を判別した場合はステップＳ３３に進んで学習を終了し、ステップＳ２３に戻る。また、ステップＳ３１で学習可能時間内に全ての追加利用者画像による学習が済んだことを判別した場合にも、ステップＳ３３に進んで学習を終了し、ステップＳ２３に戻る。

また、入退室管理設備の解錠動作は虹彩認証等の顔を認識させることによって行うものでも良い。この際、認証装置内と撮像部を一体化することで正面からとらえた画像を容易に学習情報として入力可能となる。

［在室者判定器の他の実施形態］
図１及び図３に示した在室者判定器１６の他の実施形態として、通常在室する利用者ごとに学習を行い、撮像された利用者の画像がいずれかの通常在室する利用者か否かを判定し、いずれの利用者にも当てはまらない場合に通常在室する利用者でないと判定して出力する。これにより利用者ごとの特徴をもって通常在室者かどうかを判定することが可能となり、判定精度が向上する。

また、学習制御部１８により利用者ごとに分けずに在室者判定器１６の多層式ニューラルネットワーク３６を学習した場合、共通する特徴として作業着等が抽出されることが考えられるが、共通する特徴は模倣が容易であるため、通常在室者かどうかを判定に検出誤りが生じる恐れがある。本実施形態によれば、個々の人の特徴を抽出するため、検出誤りが生じる恐れを減じることができる。

［入退出設備との連携による他の実施形態］
図１に示した入退出管理設備の入退出管理制御装置２０は、施設内の監視領域に出入りする利用者が保有する媒体からカードリーダ２６で読み取った利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠２８を解錠する制御を行うが、入退出管理制御装置２０は、更に、電気錠２８及び扉３０の開閉に基づき在室者の数を検出し、在室者判定器１６による利用者の数とに差がある場合はセンター装置２２又はクライアント装置２４により報知するように構成する。

このため、共連れなどで入室した場合に生じる入退室管理設備による在室者件数のずれをシステム管理者に知らせることが可能となる。この場合、システム管理者は更に入室監視カメラ３２により撮像されている画像を確認し異常が発生しているかどうかを確認可能となる。

また、図１及び図３に示した在室者監視装置１０に設けられた学習制御部１８は、入退出管理制御装置２０による利用者識別情報に基づき電気錠２８を解錠する制御に連動して、入退出監視カメラ３２により撮像された利用者の画像を対応させて学習情報記憶部４４に記憶させる。

これにより学習制御部１８は、画像を利用者ごとに改めて分類することなく、利用者ごとに利用者の画像を記憶させることができ、在室者判定器１６の多層式ニューラルネットワーク３６を利用者毎に分けて学習することができるため、多層式ニューラルネットワーク３６の利用者ごとの学習が容易となる。

〔本発明の変形例〕
（学習機能）
上記の実施形態に示した在室者監視装置は、在室者判定器の多層式ニューラルネットワークを学習する学習制御部を備えた場合を例にとっているが、多層式ニューラルネットワークの学習は、学習機能を備えたサーバ等の別のコンピュータ設備を使用して行い、その結果得られた学習済みの多層式ニューラルネットワークを在室者判定器に実装して使用するようにしても良い。

（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して通常在室している利用者の特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して通常在室している利用者か否かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。

（利用者切出し画像の処理）
上記の実施形態では、監視カメラの画像に矩形領域を設定して画像を切り出した場合に画像サイズを所定サイズに正規化しているが、更に、利用者の切出し画像から輪郭線探索により人物画像のみを切り出すようにしても良い。これにより切出し画像から背景が除去されて人物画像のみが残り、背景の影響を受けることないため、多層式のニューラルネットワークに入力した場合の判定精度を高めることができる。この切出し画像からの人物画像のみの切出しは、学習画像を生成する場合にも同様にして行う。

（利用者の撮像について）
学習のために行う利用者の撮像について、上記実施形態において監視領域を撮像するものと入退室管理設備の読取端末近傍を撮像するものについて記載したが、これに限らない。例えば、建物の出入り口に撮像部を設けて利用者を撮像するものとしても良い。

（映像情報からの識別について）
また、撮像部の画像は映像としても良い。映像とする場合、背後からの画像など利用者の判定が難しい場合、判定が容易な時点まで映像を過去に戻したうえで判定するようにしても良い。また、利用者の移動や停止位置などについても学習内容に含めて通常と異なる動作かどうかを判定に含めるようにしても良い。

（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０：在室監視装置
１２：オフィスルーム
１４：監視カメラ
１６：在室者判定器
１８：学習制御部
２０：入退室管理制御装置
２１：ＬＡＮ回線
２２：センター装置
２４：クライアント装置
２６：カードリーダ
２８：電気錠
３０：扉
３２：入室監視カメラ
３４，４０：画像切出部
３６：多層式ニューラルネットワーク
３８：伝送部
４２：制御部
４４：学習画像記憶部
４５：操作部
４６：表示部
４８：特徴抽出部
５０：認識部
５２：入力画像
５３，５５ａ，５５ｂ：重みフィルタ
５４ａ，５４ｂ，５４ｃ：特徴マップ
５６：入力層
５８：全結合
６０：中間層
６２：出力層
７０：監視画像
７２－１～７２－１２：利用者画像

Claims (4)

1. 施設内の監視領域を撮像する撮像部と、
   前記施設内に通常在室する利用者の画像により学習された多層式のニューラルネットワークにより構成され、前記撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力する在室者判定器と、
   前記在室者判定器を前記施設内に通常在室する利用者の画像により学習させた学習制御部と、
   前記施設内の監視領域の出入口の扉に設けられた電気錠を解除して入室する利用者を撮像する入室撮像部と、
   が設けられた在室者監視システムであって、
   前記学習制御部は、前記在室者判定器が判定制御を行っていない空き時間を利用して、前記在室者判定器を前記電気錠の解錠に連動して前記入室撮像部により撮像された利用者の画像により追加学習させることを特徴とする在室者監視システム。
   
2. 請求項１記載の在室者監視システムに於いて、
   前記在室者判定器は、所定の周期毎に、前記撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力し、
   前記学習制御部は、前記在室者判定器が判定制御を行っていない制御空きを判別し、次の周期までの空き時間から学習可能時間を求め、当該学習可能時間の間に、前記在室者判定器を前記電気錠の解錠に連動して前記入室撮像部により撮像された利用者の画像により追加学習させることを特徴とする在室者監視システム。
   
3. 請求項１記載の在室者監視システムにおいて、
   前記学習制御部は、前記施設内に通常在室する利用者の画像、及び前記電気錠の解錠に連動して前記入室撮像部により撮像された利用者の画像を未学習の画像であるか否か識別可能に学習情報記憶部に記憶させることを特徴とする在室者監視システム。
   
4. 施設内の監視領域を撮像する撮像部と、
   前記施設内に通常在室する利用者の画像により学習された多層式のニューラルネットワークにより構成され、前記撮像部により撮像された利用者の画像を入力して通常在室する利用者か否かを判定して出力する在室者判定器と、
   が設けられた在室者監視システムであって、
   前記多層式のニューラルネットワークは、
   特徴抽出部と認識部で構成され、
   前記特徴抽出部は、前記撮像部により撮像された利用者の画像が入力されて前記入力された利用者の画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、
   前記認識部は、前記畳み込みニューラルネットワークから出力される前記特徴情報が入力され、通常在室する利用者の推定値を出力する全結合ニューラルネットワークとしたことを特徴とする在室者監視システム。

Images