JP6163466B2

JP6163466B2 - 認証装置

Info

Publication number: JP6163466B2
Application number: JP2014168590A
Authority: JP
Inventors: 学小南; 功 ▲高▼橋; 高田　直幸; 直幸高田; 敦山内; 利彦櫻井; 祐紀斉藤; 震修
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2014-08-21
Filing date: 2014-08-21
Publication date: 2017-07-12
Anticipated expiration: 2034-08-21
Also published as: JP2016046639A

Description

本発明は、監視空間を撮像した監視画像に写された人物を認証する認証装置に関する。

建造物内等において所定の部屋や区画といった制限エリア内に予め登録された登録者以外の者の進入を制限するために、利用者が予め進入を認められた登録者であるか否かを判定するための認証装置が利用されている。

一般に、認証装置は、パスワード、ＩＤカード又は利用者の指紋、静脈パターン、虹彩、顔等の生体情報を照合することにより、利用者が登録者であるか否かを判定する。そして、利用者が登録者であると判定されると、制限エリアの入口を通行可能とするようにその入口に設けられた扉を制御する。このような認証装置において、利用者が登録者であると判定され、制限エリア内への入口が通行可能とされた時に当該利用者（以下、「認証成功者」という）と共に認証成功していない人物（認証されていない人物、又は認証失敗した人物。以下、「未認証者」という）が制限エリア内に進入するといういわゆる共連れ進入の問題がある。

そこで、撮像画像から顔領域画像を検出し、同一人物の顔領域画像を追跡して系列化した系列データを生成し、当該系列データに含まれる顔領域画像から登録者であるか未登録者であるかを判定し、登録者と判定された時刻の前後の所定期間に未登録者と判定された他の系列データが存在すれば共連れ進入が発生したと判定する認証装置が提案されている（特許文献１）。

特開２０１３−２１０７８８号公報

しかしながら、上記従来技術によって共連れ進入と判定された未認証者は、必ずしも不審者であるとは限らない。例えば、登録者である社員に引率されている来訪者や、単に認証が失敗した登録者であることも考えられる。このような進入が認められた者が未認証状態のまま制限エリア内に進入する度に異常として通報されるのは、認証装置の利用者の利便性を損なうという問題があった。

そこで、本発明は、未認証者が認証成功者と共に制限エリア内に進入した場合であっても直ちに共連れ進入として通報することなく、その未認証者を追跡したうえで所定期間内に進入が認められた利用者（例えば、来訪者や登録者）であることが確認されないときに共連れ進入が発生したとして発報することにより、利用者の利便性を向上させた認証装置を提供することを目的とする。

本発明にかかる認証装置は、監視空間を撮像した監視画像を順次取得する撮像部と、前記監視空間に存在する人物を認証して予め登録されている人物であれば認証成功者とする認証判定手段と、前記監視画像から抽出された一又は複数の人物像を時間的に追跡する追跡手段と、前記追跡手段において追跡対象とされている人物像の人物が前記認証判定手段にて認証成功されないまま前記監視空間に設定された制限エリア内に進入したとき当該人物を未認証進入状態と判定し、未認証進入状態のまま異常判定期間が経過したとき異常状態と判定する異常判定手段と、を有する認証装置であって、前記異常判定手段は、前記制限エリア内において未認証進入状態と判定された人物である未認証進入者の所定範囲内に認証成功者が同行判定期間以上存在しているとき当該未認証進入者の未認証進入状態の判定を解除することを特徴とする。

ここで、前記異常判定手段は、前記未認証進入状態と判定したときに該判定した前記未認証進入者の前記所定範囲内に前記認証成功者が存在し、かつ、前記制限エリア内において該未認証進入者の前記所定範囲内に該認証成功者が前記同行判定期間以上存在しているとき、該未認証進入者の該未認証進入状態の判定を解除することが好適である。

また、前記異常判定手段は、前記未認証進入者が前記認証判定手段により認証成功者として認証されたとき、前記未認証進入者の未認証進入状態の判定を解除することが好適である。

また、前記異常判定手段は、前記追跡手段において追跡されている人物像の向きを判定し、認証成功者の向きと未認証進入者の向きとが向かい合った頻度又は期間の少なくとも一方に応じて前記同行判定期間を調整することが好適である。

また、前記異常判定手段は、前記追跡手段において追跡されている人物像の接触を判定し、認証成功者と未認証進入者とが接触した頻度又は期間の少なくとも一方に応じて前記同行判定期間を調整することが好適である。

本発明によれば、共連れ進入に対する誤報を低減させることができ、利用者の利便性を向上させた認証装置を提供することができる。

本発明の実施の形態における認証装置の構成を示す構成概念図である。本発明の実施の形態における認証装置の構成を示すブロック図である。本発明の実施の形態における認証結果管理テーブルの登録例を示す図である。本発明の実施の形態における未認証進入者管理テーブルの登録例を示す図である。本発明の実施の形態における認証処理のフローチャートを示す図である。本発明の実施の形態における異常判定処理のフローチャートを示す図である。本発明の実施の形態における所定範囲内に同行者がいるか否かを判定する方法を説明する図である。本発明の実施の形態における進入後経過期間及び同行期間を用いた処理を説明する図である。

本発明の実施の形態における認証装置１００は、図１の概念構成図に示すように、監視空間に配置された撮像部１０、撮像部１０とネットワークを介して接続された監視端末１２とを含んで構成される。

撮像部１０は、図１に示すように、監視空間（例えば、建造物）の天井や壁面上部等に設置され、監視空間を撮像して撮像画像（監視画像）として監視端末１２へ出力する。撮像部１０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。これらの撮像素子は、明るさを電気信号に変換する可視光タイプでもよいし、赤外線に反応して温度を電気信号に変換する熱画像タイプとしてもよい。撮影は所定時間間隔で行う。

ここで、監視空間は、未認証者及び認証成功者のいずれであっても進入が許可されている共用エリアＡと、認証成功者のみに進入が許可され、未認証者には進入が許可されていない制限エリアＢと、に分けられる。図１では、共用エリアＡと制限エリアＢは壁Ｗ及び扉によって分け隔てられている。認証装置１００は、扉を通って共用エリアＡから制限エリアＢへの進入者があったときにその進入者が未認証者であるか認証成功者であるかを判定し、さらに認証成功者と共に未認証者が制限エリアＢに進入する共連れ進入が発生した場合に共連れ進入を管理者に警告するか否かを判定する処理を行う。なお、共用エリアＡと制限エリアＢは、必ずしも壁Ｗや扉で区画されていなくてもよく、撮像部１０によって撮像された撮像画像内の画像領域として共用エリアＡと制限エリアＢとが区別できればよい。なお、共用エリアＡ及び制限エリアＢは、監視端末１２において予め設定されていることとする。

監視空間は、例えば、会社の社屋であり、共用エリアＡは受付エリアとし、制限エリアＢは事務エリアとすることができる。図１では、共用エリアＡに２つの撮像部１０及び制限エリアＢに２つの撮像部１０が設けられた例が示されている。このように各エリアをそれぞれ複数の撮像部１０で撮像することにより、各エリアの移動物体を複数の視点から撮像して複数人物や什器等による隠蔽時においても高精度な追跡を可能としている。なお、本実施の形態においては複数の撮像部１０を設けているが、これに限らず、単一の撮像部１０を設けることによっても以降の処理と同様の処理を行うことができる。

また、隣り合っている撮像部１０は、互いに撮像範囲が部分的に重複していることとする。このような重複した撮像範囲（重複領域）を設けることによって、ある撮像部１０によって追跡している人物と、隣接する他の撮像部１０において追跡している人物とを、同じ位置に存在する同一人物として対応付けることができる。したがって、撮像部１０毎に追跡している人物の追跡結果に基づいて、監視空間における統合的な追跡が可能となる。

監視端末１２は、図２に示すように、制御部２０、記憶部２２、通信部２４、入力部２６及び出力部２８を含んで構成される。監視端末１２は、監視空間内を移動する移動物体である人物を追跡して各人物を検出して不審者を検知する。人物の追跡は、監視空間を撮像部１０で撮像された撮像画像を処理することにより行う。特に、監視空間を共用エリアＡ及び制限エリアＢに分割したときにこれらのエリアの追跡結果を統合して監視空間全体に亘る追跡処理を行う。

制御部２０は、ＣＰＵ等の処理装置を含んで構成される。制御部２０は、認証プログラムを実行することによって、撮像部１０において撮像された撮像画像に基づいて監視空間に進入した人物の認証処理を行う。制御部２０は、抽出処理・ラベリング処理・追跡処理を行う追跡手段２０１、認証判定処理を行う認証判定手段２０２及び異常判定処理を行う異常判定手段２０３を含んで構成される。追跡手段２０１、認証判定手段２０２及び異常判定手段２０３における処理については後述する。

記憶部２２は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部２２は、制御部２０からアクセス可能であり、撮像部１０から取得した撮像画像や基準画像等の画像データを記憶する。また、記憶部２２は、カメラ設定情報２２１、登録者情報２２２、認証結果管理テーブル２２３、未認証進入者管理テーブル２２４、異常判定期間２２５、同行判定期間２２６等の認証処理で用いられる情報を記憶する。

カメラ設定情報２２１は、各撮像部１０において撮像された撮像画像中の領域と監視区空間内の実際の位置との関係を幾何学的な方法で算出するために用いられる情報である。カメラ設定情報２２１は、撮像部１０の画角、床面からの高さ、俯角、撮像部１０間の距離の情報などの各種撮像パラメータを含む。カメラ設定情報２２１は、認証装置１００の設置時等におけるキャリブレーション作業により設定することができる。各撮像部１０のカメラ設定情報２２１を用いることにより、各撮像部１０からの撮像画像における座標と実空間における三次元座標との間で座標変換することが可能となる。

登録者情報２２２は、制限エリアＢへの進入が許可されている人物を認証するための情報である。登録者情報２２２は、例えば、人物を特定するユーザＩＤ毎に顔の画像データ等の画像処理による認識処理に必要な情報が登録される。また、登録者情報２２２は、ＩＣカード情報、パスワード等の認証のための情報や指紋、静脈パターン、虹彩パターンなどの生体認証のための情報としてもよい。この場合、監視空間の壁面等にＩＣカードリーダ、パスワード入力装置、生体情報読取装置等を設置することが好適である。

認証結果管理テーブル２２３は、図３に示すように、追跡手段２０１にて追跡対象となっている人物と認証判定手段２０２にて認証された結果とを関連付けて登録したデータベースである。認証結果管理テーブル２２３には、追跡手段２０１において追跡対象となっている人物の人物像を特定する追跡ラベルＩＤが登録される。さらに、追跡対象となっている人物のうち認証判定手段２０２において登録者として認証された人物の追跡ラベルＩＤには認証された人物のユーザＩＤが関連付けて登録される。

未認証進入者管理テーブル２２４は、認証判定手段２０２にて認証され認証成功することなく制限エリアＢに進入した人物（未認証進入者）を管理するためのデータベースである。未認証進入者管理テーブル２２４には、図４に示すように、追跡対象となっている人物の人物像を特定する追跡ラベルＩＤ、その人物の認証状態が「未認証進入」、「同行進入」、「異常」のいずれであるかを示す状態情報、制限エリアＢに共連れ進入したときに同行している認証成功者を示す同行認証者、制限エリアＢへの進入後の経過時間を示す進入後経過期間Ｔ１、制限エリアＢ内において同行認証者が同行している期間を示す同行期間Ｔ２、が関連付けて登録される。

異常判定期間２２５は、進入後経過期間Ｔ１がこれ以上の値となったときに共連れ進入が異常であると判断する基準となる閾値である。すなわち、進入後経過期間Ｔ１が異常判定期間２２５以上となった場合に、該当する追跡ラベルＩＤで特定される人物は異常の共連れ進入をしたものと判定される。同行判定期間２２６は、同行期間Ｔ２がこれ以上の値となったときに共連れ進入が同行進入状態であると判断する基準となる閾値である。すなわち、同行期間Ｔ２が同行判定期間２２６以上となった場合に、該当する追跡ラベルＩＤで特定される人物は制限エリアＢへの進入が許可されている認証成功者（同行認証者）に同行している状態であり、異常ではないと判定される。なお、異常判定期間２２５は、同行判定期間２２６より長い期間が設定される。

通信部２４は、撮像部１０と制御部２０とを接続する通信手段であり、撮像部１０で撮像された撮像画像を監視端末１２に入力するためのインターフェースを含む。通信部２４は、撮像部１０がＩＰ（Internet protocol）カメラであればイーサネット（登録商標）等のＬＡＮ（Local Area Network）により構成でき、撮像部１０がアナログカメラであれば同軸ケーブルで接続したアナログ網などで構成できる。撮像画像は、撮像が行われた撮像部１０を特定するカメラＩＤ及び撮像時刻等の情報と共に通信部２４を介して監視端末１２に入力される。制御部２０は、取得された撮像画像を記憶部２２に記憶させる。

入力部２６は、利用者（監視者）が監視端末１２に対してコマンド等を入力するために用いられる。入力部２６は、例えば、キーボード等の文字入力装置、マウス等のポインティング装置等とすることができる。出力部２８は、利用者（監視者）に対して認証装置１００での処理結果を表示するために用いられる。出力部２８は、ディスプレイ等の画像表示装置やスピーカ・ブザー等の音響出力装置等とすることができる。

＜認証処理＞
以下、図５のフローチャートを参照して、認証装置１００における認証処理について説明する。制御部２０は、認証プログラムを実行することによって、以下に説明する処理を実現する。

ステップＳ１０では、設定情報取得処理が行われる。当該処理は、認証装置１００における初期設定処理の１つであり、制御部２０は、記憶部２２に記憶されているカメラ設定情報２２１、登録者情報２２２、認証結果管理テーブル２２３、未認証進入者管理テーブル２２４、異常判定期間２２５、同行判定期間２２６等の認証処理で用いられる情報を読み出す。

ステップＳ１０の処理が終わると、ステップＳ１２〜Ｓ２４のループ処理に入る。当該ループ処理は、撮像部１０のいずれかにおいて撮像が行われ、制御部２０に撮像画像が入力される毎に実行される。

ステップＳ１２では、監視画像取得処理が行われる。各撮像部１０は、それぞれの撮像領域を所定の撮像周期で撮像して撮像画像として通信部２４を介して制御部２０へ出力する。制御部２０は、取得した撮像画像に撮像部１０のＩＤ及び撮像時刻を関連付けて記憶部２２に記憶させる。なお、通信部２４を介して、撮像画像を取得する取得時刻は、撮像部１０が割り当てられたエリアを撮像した撮像時刻をほぼ同一時刻となり、取得時刻が撮像時刻に応じた時刻となる。

各撮像部１０の撮像周期は、例えば、追跡可能な周期を３フレーム／秒として、これに対する余裕を持たせた１０フレーム／秒に設定する。なお、撮像部１０の間で撮像タイミングの同期は不要である。

ステップＳ１４では、取得された各撮像画像に対して背景差分処理を行うことにより、変化領域を抽出する抽出処理が行われる。制御部２０は、ステップ１４〜ステップ１８に記載の抽出処理、及び後述するラベリング処理、追跡処理を行うことによって追跡手段２０１として機能する。背景差分処理に利用される背景画像は、各撮像部１０において人物が居ないときに撮像した画像を予め用意して記憶部２２に記憶させておけばよい。

ステップＳ１６では、抽出された変化領域毎に撮像画像内で識別するためのラベルを付与するラベリング処理が行われる。すなわち、ラベリング処理とは、変化領域のある抽出画素に注目したときに、注目抽出画素の８近傍に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、画像内でユニークなラベルを割り当てる処理である。さらに、ラベリング処理では、所定範囲にある複数の変化領域を一体の物体からなる変化領域とみなし、単一ラベルに統合するラベル統合処理を行っている。

ステップＳ１８では、ラベリング処理された変化領域の追跡処理が行われる。追跡処理では、制御部２０は、新たに抽出された現在時刻の変化領域と、過去時刻において抽出され変化領域とを対応付ける処理を行う。制御部２０は、ステップＳ１４において抽出された変化領域毎に当該変化領域内の撮像画像から大きさや色ヒストグラム等の画像特徴量を抽出する。そして、人物らしい画像特徴量（例えば、人物らしい大きさやアスペクト比）を有する変化領域を選択する。以下では、人物らしいとして選択された変化領域（人物像）を「人物領域」という。そして、人物領域の画像特徴量を、同じ撮像装置１０の撮像画像から抽出した過去の人物領域の画像特徴量と照合することにより、同一人物と想定される人物領域を逐次対応付ける。また、対応付けを行った人物領域毎に、当該人物領域を識別する追跡ラベルＩＤと、当該人物領域の実空間における位置（以下、「人物位置」という）と、画像特徴量とを対応付けて記憶部２２に記憶させる。ここで、人物位置は、当該人物領域の撮像画像内における画像位置（例えば、撮像画像内における足元位置や頭部重心位置等の座標値）を、カメラ設定情報２２１を用いて座標変換することによって行うこととする。さらに、追跡処理では、制御部２０は、各撮像部１０で撮像される監視画像における人物位置が同一人物の位置であるか否かを判定することにより監視空間全体における人物位置を対応付ける統合処理を行う。この統合処理では、制御部２０は、複数の撮像部１０で撮像される撮像画像の重複領域における人物位置と撮像時刻との組み合わせが近接関係にある人物を同一人物と判定することで人物位置の対応付けを行い、同一人物の人物位置には共通の追跡ラベルＩＤを付与してこれらを管理する。

なお、各撮像部１０は、それぞれの撮像タイミングでそれぞれの撮像対象となる監視空間（エリア）の撮像画像を出力する。したがって、各撮像画像に対応付けて保存される撮像時刻もそれぞれの撮像タイミングに応じたものとなる。制御部２０は、各撮像部１０から新たな撮像画像を受信する度に、受信された撮像画像から人物領域を抽出して、他の撮像画像から抽出された人物領域との同一人物の判定が可能な組み合わせを都度選出して近接関係の判定に基づく対応付けを行って監視空間全体の追跡結果に逐次統合する。そして、追跡ラベルＩＤで特定される同一人物の人物位置の時間的な変化（移動）の追跡を監視空間全体において行う。

ここで、各撮像部１０は独立した周期で撮像を行うため、撮像時刻が近い撮像画像を得ることはできるが、一般的には撮像時刻が完全に同一となる撮像画像を複数の撮像部１０から得ることはできない。撮像時刻が同一でない撮像画像から抽出された人物の人物位置をそのまま統合しようとすれば、同一人物の人物位置同士には撮像時刻の差に応じたずれが存在しているため、同一人物の人物位置が別人物の人物位置として対応付けられたり、別人物の人物位置が同一人物の人物位置として対応付けられたりする誤統合を引き起こし得る。そこで、撮像時刻の差による人物位置のずれを加味して処理を行うことが好適である。ある撮像部１０によって撮像された撮像画像の撮像時刻が重複領域を撮像する他の撮像部１０によって撮像された撮像画像の連続２時点の撮像時刻に挟まれた時刻（以下、中間時刻）であれば、当該他の撮像部１０によって撮像された撮像画像における人物の人物位置を人物同定のための補助データとして用いれば、中間時刻における人物位置を推定することで同一人物を確実に対応付けることができる。

制御部２０は、追跡情報として、各人物領域の位置情報（人物位置）を追跡ラベルＩＤに関連付けて記憶部２２に記憶させる。追跡情報は、次時刻の追跡処理において利用される。すなわち、前時刻における人物位置を参照して、その位置から所定の距離以内にあり、かつ、画像特徴の近い現時刻における人物領域を同一人物として対応付けることにより追跡処理をする。

なお、現時刻の人物領域の人物位置に対応する前時刻の人物領域が無かった場合、現時刻において撮像部１０によって新規の人が撮像され始めたものとして、次の時刻から追跡の対象とする。このとき、追跡処理の対象となった人物領域の追跡ラベルＩＤは、図３に示した認証結果管理テーブル２２３にも登録される。逆に、前時刻の人物領域の人物位置に対応する現時刻において人物領域が無い場合には、これまで撮像部１０によって撮像されていた人が撮像範囲の外側にはずれて撮像画像に撮像されなくなったものとして、以後の処理対象から外し、追跡情報から消去する。

ステップＳ１８の処理が終わると、ステップＳ２０及びＳ２２のループ処理に入る。当該ループ処理は、ステップＳ１８までの処理において追跡対象とされた人物領域（追跡ラベルＩＤ）毎に実行される。すなわち、現時点において追跡対象とされている全人物領域のうち１人を処理対象人物と順に選択してステップＳ２０及びＳ２２の処理を適用し、追跡対象とされているすべての人物領域が処理対象人物として選択されるまで処理を繰り返す。

ステップＳ２０では、認証判定処理が行われる。制御部２０は、以下の処理を行うことによって認証判定手段２０２として機能する。本実施の形態では、撮像画像から処理対象人物の顔領域を検出し、当該顔領域の画像と登録者情報２２２に登録されている登録者の顔の画像とを比較することにより顔認証を行う。顔画像の比較処理では、処理対象人物が写された人物領域から目、鼻、口等の顔の構成要素の大きさ、形、相対的な位置等の特徴量を抽出して登録者情報２２２に登録されている登録者の顔の画像の特徴量と比較し、その類似度が基準値以上であれば処理対象人物が登録者であると認証するようにすればよい。

なお、ＩＣカード情報、パスワード等により認証するための情報や指紋、静脈パターン、虹彩パターンなどの生体認証のための情報を用いて認証判定処理を行ってもよい。この場合、共用エリアＡから制限エリアＢへ進入する際に進入者となる人物自身が認証手続きを行う。制御部２０は、認証手続きを行った人物と制限エリアＢに新たに進入して撮像画像に写された人物とを対応付けて認証を行う。

登録者であると認証された人物については、認証結果管理テーブル２２３における当該人物に対応する追跡ラベルＩＤに関連付けて認証結果（登録者を特定するユーザＩＤ）を登録して認証成功者とする。例えば、図３では、追跡ラベルＩＤ「Ｌ００００５」、「Ｌ０００３０」、「Ｌ０００２３」で特定される人物がそれぞれユーザＩＤ「Ｕ５２３１３」、「Ｕ４４３２３」、「Ｕ３３０３０」で特定される登録者であることが認証された例が示されている。

ステップＳ２２では、異常判定処理が行われる。制御部２０は、図６のフローチャートに沿って、以下の処理を行うことによって異常判定手段２０３として機能する。

Ｓ３０では、処理対象人物が認証成功者か否かが判定される。制御部２０は、認証結果管理テーブル２２３を参照して、処理対象人物の追跡ラベルＩＤに関連付けて認証成功者（登録者）であることを示す認証結果（ユーザＩＤ）が登録されているか否かを判定する。処理対象人物が認証成功者であればステップＳ３２に処理を移行させ、そうでなければステップＳ３６に処理を移行させる。

ステップＳ３２では、未認証進入者管理テーブル２２４から処理対象人物のレコードが存在するか否かを判定する。制御部２０は、未認証進入者管理テーブル２２４を参照して、処理対象人物のレコードが存在すればステップＳ３４に処理を移行させ、そうでなければステップＳ７０に処理を移行させて異常判定処理を終了させる。

ステップＳ３４では、未認証進入者管理テーブル２２４から処理対象人物のレコードを削除する。ステップＳ３０において処理対象人物が認証成功者と判定された場合、未認証進入者管理テーブル２２４から当該処理対象人物のレコードを削除する。その後、ステップＳ７０に処理を移行させて異常判定処理を終了させる。これにより、当該処理対象人物は、ステップＳ２０及びＳ２２のループにおける処理の対象から外れる。このように、制限エリアＢ内において処理対象人物の認証が成功したとき、当該処理対象人物は社員等の予め入室が許可された登録者であることが判明することから、当該処理対象人物の未認証進入状態の判定を解除する。したがって、単に認証が失敗した登録者を異常な共連れ進入とする誤った異常判定を抑制でき、利用者の利便性を向上することができる。

ステップＳ３６では、処理対象人物が同行進入状態であるか否かが判定される。同行進入状態とは、処理対象人物が認証成功者である社員に引率されている来訪者等のように異常でない状況において認証成功者に共連れして制限エリアＢに進入している状態である。制御部２０は、未認証進入者管理テーブル２２４を参照して、処理対象人物の追跡ラベルＩＤに関連付けられた状態が「同行進入状態」でなければステップＳ３８に処理を移行させ、「同行進入状態」であればステップＳ７０に処理を移行させて異常判定処理を終了させる。

例えば、図４の未認証進入者管理テーブル２２４では、追跡ラベルＩＤが「Ｌ０１００２」である人物が処理対象人物であった場合には、その状態は「同行進入状態」であるのでステップＳ７０に処理が移行される。一方、追跡ラベルＩＤが「Ｌ００１２０」や「Ｌ００４３３」である人物が処理対象人物であった場合には、その状態はそれぞれ「未認証進入状態」及び「異常状態」であるのでステップＳ３８に処理が移行される。

ステップＳ３８では、処理対象人物が制限エリアＢ内に存在するか否かが判定される。制御部２０は、処理対象人物の実空間の人物位置が制限エリアＢ内にあればステップＳ４２に処理を移行させ、そうでなければステップＳ４０に処理を移行させる。

ステップＳ４０では、進入後経過期間Ｔ１及び同行期間Ｔ２の計測を停止させる処理が行われる。制御部２０は、ステップＳ３８にて処理対象人物が制限エリアＢ内にいないと判定されたのであるから、処理対象人物に対する進入後経過期間Ｔ１及び同行期間Ｔ２が計測中であればそれを停止させる。その後、ステップＳ７０に処理を移行させて異常判定処理を終了させる。

ステップＳ４２では、処理対象人物が未認証進入状態であるか否かが判定される。未認証進入状態とは、処理対象人物が認証成功者に共連れして制限エリアＢに進入している状態であり、その進入が異常か否か不確定な状態である。制御部２０は、未認証進入者管理テーブル２２４を参照して、処理対象人物の追跡ラベルＩＤに関連付けられた状態が「未認証進入状態」であればステップＳ５６に処理を移行させ、そうでなければステップＳ４４に処理を移行させる。

例えば、図４の未認証進入者管理テーブル２２４では、追跡ラベルＩＤが「Ｌ００１２０」である人物が処理対象人物であった場合には、その状態は「未認証進入状態」であるのでステップＳ５６に処理が移行される。

ステップＳ４４では、未認証進入者管理テーブル２２４に処理対象人物のレコードを新規登録する。すなわち、ステップＳ３６において処理対象人物が同行進入状態でなく、ステップＳ３８において処理対象人物が制限エリアＢ内に存在し、ステップＳ４２において処理対象人物が未認証進入状態でないと判定されたので、当該処理対処人物は制限エリアＢに進入した新たな人物であるとして未認証進入者管理テーブル２２４にレコードを登録する。

ステップＳ４６では、処理対象人物に対して進入後経過期間Ｔ１の計測を開始する。進入後経過期間Ｔ１は、処理対象人物が制限エリアＢに進入してからの経過時間を計測した値となる。進入後経過期間Ｔ１は、処理対象人物の追跡ラベルＩＤに関連付けて未認証進入者管理テーブル２２４に登録される。

ステップＳ４８では、処理対象人物の近傍に認証成功者が存在しているか否かが判定される。制御部２０は、処理対象人物の追跡ラベルＩＤで特定される人物領域の実空間での人物位置を基準点として予め定められた所定範囲を定めて、その所定範囲に既に登録者として認証成功者が存在していれば、当該処理対象人物の近傍に認証成功者が存在していると判定される。すなわち、当該処理対象人物は認証成功者に同行して制限エリアＢに進入している状態であるとみなされる。なお、所定範囲は、図７に示すように、実空間での処理対象人物Ｃの位置を基準点として予め定められた距離Ｒの範囲とすればよい。距離Ｒは、処理対象人物が認証成功者に同行していると想定される範囲、例えば、２ｍとすることが好適である。所定範囲内に認証成功者Ｄが存在している場合にはステップＳ５０に処理を移行させ、そうでなければステップＳ６０に処理を移行させる。

なお、本実施の形態では、処理対象人物Ｃの人物位置を基準として所定領域に認証成功者Ｄが存在するか否かを判定したが、逆に、認証成功者Ｄの人物位置を基準として所定領域に処理対象人物Ｃが存在するか否かを判定してもよい。この場合、制限エリアＢに居る認証成功者全員について処理対象人物が所定領域内に居るか否かを判定する必要がある。

ステップＳ５０では、ステップＳ４８にて処理対象人物に同行していると判定された認証成功者を同行認証者として設定する。制御部２０は、未認証進入者管理テーブル２２４の処理対象人物のレコードの同行認証者として、処理対象人物に同行していると判定された認証成功者の追跡ラベルＩＤを登録する。なお、処理対象人物に同行していると判定された認証成功者が複数の場合、未認証進入者管理テーブルに複数の同行認証者を登録することが好適である。

ステップＳ５２では、処理対処人物を未認証状態として設定する。制御部２０は、未認証進入者管理テーブル２２４の処理対象人物のレコードの状態を未認証進入状態として登録する。すなわち、処理対象人物は、１人で制限エリアＢに進入しているのではなく、認証成功者（認証同行者）に共連れして制限エリアＢに進入している状態であるが、登録者である社員に引率されている来訪者のように正規の進入者であるか否かが不確定な状態であるものとして登録される。

ステップＳ５４では、処理対象人物に対して同行期間Ｔ２の計測を開始する。同行期間Ｔ２は、処理対象人物が制限エリアＢに進入してから認証成功者と同行している累計時間を計測した値となる。その後、ステップＳ７０に処理を移行させて異常判定処理を終了させる。同行期間Ｔ２は、処理対象人物の追跡ラベルＩＤに関連付けて未認証進入者管理テーブル２２４に登録される。

ステップＳ５６では、ステップＳ４２において処理対象人物が未認証進入状態であると判断された場合に進入後経過期間Ｔ１を累算する処理が行われる。本実施の形態では、進入後経過期間Ｔ１に単位時間として１を加算し、未認証進入者管理テーブル２２４を更新する。また、単に進入後経過期間Ｔ１を実時間で計測する処理としてもよい。

ステップＳ５８では、進入後経過期間Ｔ１が異常判定期間２２５以上であるか否かが判定される。制御部２０は、進入後経過期間Ｔ１が異常判定期間２２５以上である場合にはステップＳ６０に処理を移行させ、そうでない場合にはステップＳ６２に処理を移行させる。

ステップＳ６０では、処理対処人物を異常状態として設定する。制御部２０は、未認証進入者管理テーブルの処理対象人物のレコードの状態を異常状態として登録する。すなわち、処理対象人物は、認証成功者に共連れして制限エリアＢに進入した人物であり、さらに異常判定期間２２５よりも長い期間において認証成功せず、さらに認証成功者が同行判定期間２２６よりも長い期間において同行している者（例えば、認証成功者に引率されている来訪者）とも判定されなかった人物であり、異常な共連れ進入をした者であるとされる。その後、ステップＳ７０に処理を移行させて異常判定処理を終了させる。

なお、ステップＳ４８において処理対象人物の近傍に認証成功者が存在していないと判定された場合もステップＳ６０にて処理対処人物を異常状態として設定する。これは、初めて未認証進入状態であると判定された処理対象人物、すなわち共用エリアＡから制限エリアＢへと認証成功しないで進入した人物の近傍に認証成功者が居ない場合は共連れ進入でもなく未認証者が単独で制限エリアＢに進入している状態であると考えられるので直ちに処理対処人物を異常状態として設定する。

ステップＳ６２では、処理対象人物の近傍にステップ５０にて設定された同行認証者が存在しているか否かが判定される。このステップでの処理は、ステップＳ４８と同様であり、制御部２０は、処理対象人物の追跡ラベルＩＤで特定される人物領域の実空間での人物位置を基準点として予め定められた所定範囲を定めて、その所定範囲に同行認証者が存在していれば当該処理対象人物は認証成功者に同行して制限エリアＢに進入している状態であると判定する。処理対象人物の近傍に同行認証者が存在している場合にはステップＳ６４に処理を移行させ、そうでなければステップＳ６６に処理を移行させる。なお、このステップにおいても、同行認証者の人物位置を基準として所定領域に処理対象人物が存在するか否かを判定してもよい。この場合、全ての同行認証者について処理対象人物が所定領域内に居るか否かを判定する必要がある。

ステップＳ６４では、同行期間Ｔ２を累算する処理が行われる。本実施の形態では、同行期間Ｔ２に単位時間として１を加算し、未認証進入者管理テーブル２２４を更新する。また、単に同行期間Ｔ２を実時間で計測する処理としてもよい。

ステップＳ６６では、同行期間Ｔ２が同行判定期間２２６以上であるか否かが判定される。制御部２０は、同行期間Ｔ２が同行判定期間２２６以上である場合にはステップＳ６８に処理を移行させ、そうでない場合にはステップＳ７０に処理を移行させる。

ステップＳ６８では、処理対処人物を同行進入状態として設定する。制御部２０は、未認証進入者管理テーブル２２４の処理対象人物のレコードの状態を同行進入状態として登録する。すなわち、処理対象人物が登録者である社員のような認証成功者（同行認証者）に引率されており、制限エリアＢに進入してからの認証成功者（同行認証者）と同行している同行期間Ｔ２が同行判定期間２２６以上となった場合には異常ではない共連れ進入である同行進入状態として登録される。その後、ステップＳ７０に処理を移行させて異常判定処理を終了させる。

ステップＳ３０〜Ｓ７０の異常判定処理によって、処理対象人物による共用エリアＡから制限エリアＢへの進入が異常であるか否かが判定される。すなわち、図８に示すように、処理対象人物が共用エリアＡから制限エリアＢへと最初に進入してからの経過時間を示す進入後経過期間Ｔ１、及び、処理対象人物が制限エリアＢに存在する場合に制限エリアＢへの進入時に近傍に存在する認証成功者（同行認証者）と同行している時間を示す同行期間Ｔ２が測定される。そして、同行期間Ｔ２が同行判定期間２２６未満のまま進入後経過期間Ｔ１が異常判定期間２２５以上となるまで経過した場合に処理対象人物の進入は「異常状態」であると判定され、進入後経過期間Ｔ１が異常判定期間２２５未満の間に同行期間Ｔ２が同行判定期間２２６以上となった場合に処理対象人物の進入は「同行進入状態」と判定され、「未認証進入状態」が解除される。さらに、進入後経過期間Ｔ１が異常判定期間２２５未満の間に処理対象人物が制限エリアＢへ進入することが許可された人物であると認証された場合にも、「未認証進入状態」が解除され、ループ２における処理対象人物から外す処理が行われる。

ステップＳ７０で異常判定処理が終了すると、制御部２０は次の人物を処理対象人物としてステップＳ３０〜Ｓ７０の処理を繰り返す。そして、処理対象となるすべての人物について異常判定処理が終了するとステップＳ２４に処理を移行させる。

ステップＳ２４では、出力処理が行われる。制御部２０は、ステップＳ２２の異常判定処理において「異常状態」であると判定された人物が存在する場合には出力部２８を介して警報を出力する。出力部２８は、ブザー等の音響出力手段及び液晶ディスプレイ等の表示出力手段を含んで構成される。出力部２８は、例えば、ブザー鳴動により異常発生を監視員に報知すると共に「異常状態」と判定された人物領域が特定できるように加工された撮像画像を表示する。

以上のように、本実施の形態によれば、未認証者が認証成功者と共に制限エリアＢに進入した場合であっても直ちに共連れ進入として通報することなく、当該未認証者を追跡したうえで所定期間（異常判定期間２２５）内に進入が認められた利用者（例えば、来訪者や登録者）であることが確認されないときのみに警報を出力することにより、共連れ進入に対する誤報を低減させることができる。

＜変形例＞
上記実施の形態では、未認証者が制限エリアＢに存在するときに認証成功者が同行している場合であっても未認証者と同行認証者との関係に拠らず同行判定期間２２６は一定として処理を行った。しかしながら、未認証者と同行認証者との同行時における状況に応じて、同行時間が短くても未認証者を進入が認められた利用者（例えば、来訪者や登録者）であると判定してもよい場合がある。

具体的には、図６のステップＳ６４とＳ６６との間において、追跡手段２０１において追跡されている人物像の向きを判定し、処理対象人物の向きと認証成功者（同行認証者又は同行認証者以外の認証成功者の少なくとも一方）の向きとの関係に基づいて同行判定期間２２６を変更することが好適である。例えば、処理対象人物の顔の向きと認証成功者の顔の向きが向かい合った頻度又は向かい合った期間の少なくとも一方に応じて同行判定期間２２６を調整する。このとき、処理対象人物の顔の向きと認証成功者の顔の向きが向かい合った頻度が多くなるほど又は向かい合った期間が長くなるほど同行判定期間２２６を短くすることが好適である。これにより、未認証進入者が来訪者であることが強く推定できる状況（例えば、向かい合って会話しているような状況）であるほど、早い段階で未認証進入状態を解除することができる。また、処理対象人物の顔の向きと認証成功者の顔の向きが向かい合った頻度が少なくなるほど又は向かい合った期間が短くなるほど同行判定期間２２６を長くすることが好適である。これにより、未認証進入者が来訪者らしくないことが推定できる状況であるほど、認証成功者の近傍に長時間存在しなければならなくなるため、不審者を誤って来訪者と判定することを抑制することができる。

また、図６のステップＳ６４とＳ６６との間において、追跡手段２０１において追跡されている人物像の接触を判定し、処理対象人物と認証成功者（同行認証者又は同行認証者以外の認証成功者の少なくとも一方）とが接触した頻度又は期間の少なくとも一方に基づいて同行判定期間２２６を変更することが好適である。例えば、処理対象人物と認証成功者とが接触した頻度又は接触した期間の少なくとも一方に応じて同行判定期間２２６を調整する。このとき、処理対象人物の人物領域と認証成功者の人物領域とが接触或いは重なりあった頻度が多くなるほど又は接触或いは重なりあった期間が長くなるほど同行判定期間２２６を短くすることが好適である。これにより、未認証進入者が来訪者であることが強く推定できる状況（例えば、握手や名刺交換等の接触の機会が多い状況）であるほど、早い段階で当該未認証進入状態を解除することができる。すなわち、未認証進入者が認証成功者の近傍に長時間存在する必要はなくなることから、例えば、来訪者が制限エリアＢへの入室後にトイレに長時間立ち寄るような場合であっても、当該来訪者を共連れ進入と誤判定することを抑制でき、利用者の利便性を向上することができる。また、処理対象人物の人物領域と認証成功者の人物領域とが接触或いは重なりあった頻度が少なくなるほど又は接触或いは重なりあった期間が短くなるほど同行判定期間２２６を長くすることが好適である。これにより、未認証進入者が来訪者らしくないことが推定できる状況であるほど、認証成功者の近傍に長時間存在しなければならなくなるため、不審者を誤って来訪者と判定することを抑制することができる。

上記実施の形態では、制限エリアＢに進入した未認証者（未認証進入者）が、未認証進入状態と判定されたときに近傍（所定範囲内）に存在する認証成功者を同行認証者とし、当該未認証進入者の所定範囲内に当該同行認証者が同行判定期間以上存在しているときにのみ同行進入状態と判定して未認証進入状態の判定を解除している。すなわち、同行認証者以外の認証成功者の所定範囲内に同行判定期間以上存在していても同行進入状態と判定しないようにしている。これにより、不審者が引率とは無関係な認証成功者の周囲を渡り歩くことによって異常状態の判定を回避する、といったような不正行為を制限できるため、より厳格に不審者の判定を行うことができ、より安全性の高い認証処理を行うことができる。しかし、これに限らず、同行認証者以外の認証成功者の所定範囲内に同行判定期間以上の間存在しているときに同行進入状態と判定して未認証進入状態の判定を解除してもよい。これにより、未認証進入者を引率（同行）して制限エリアＢに進入させた認証成功者（同行認証者）が、制限エリアＢ内において他の認証成功者に同行を引き継ぐようなケースにも利用することが可能となる。この場合、同行を引き継ぐ認証成功者は、当該同行の引き継ぎがあることが予め登録されているのが好適である。

１０撮像部、１２監視端末、２０制御部、２２記憶部、２４通信部、２６入力部、２８出力部、１００認証装置、２０１追跡手段、２０２認証判定手段、２０３異常判定手段、２２１カメラ設定情報、２２２登録者情報、２２３認証結果管理テーブル、２２４未認証進入者管理テーブル、２２５異常判定期間、２２６同行判定期間。

Claims

監視空間を撮像した監視画像を順次取得する撮像部と、
前記監視空間に存在する人物を認証して予め登録されている人物であれば認証成功者とする認証判定手段と、
前記監視画像から抽出された一又は複数の人物像を時間的に追跡する追跡手段と、
前記追跡手段において追跡対象とされている人物像の人物が前記認証判定手段にて認証成功されないまま前記監視空間に設定された制限エリア内に進入したとき当該人物を未認証進入状態と判定し、未認証進入状態のまま異常判定期間が経過したとき異常状態と判定する異常判定手段と、を有する認証装置であって、
前記異常判定手段は、前記制限エリア内において未認証進入状態と判定された人物である未認証進入者の所定範囲内に認証成功者が同行判定期間以上存在しているとき当該未認証進入者の未認証進入状態の判定を解除することを特徴とする認証装置。
請求項１に記載の認証装置であって、
前記異常判定手段は、前記未認証進入状態と判定したときに該判定した前記未認証進入者の前記所定範囲内に前記認証成功者が存在し、かつ、前記制限エリア内において該未認証進入者の前記所定範囲内に該認証成功者が前記同行判定期間以上存在しているとき、該未認証進入者の該未認証進入状態の判定を解除することを特徴とする認証装置。
請求項１又は２に記載の認証装置であって、
前記異常判定手段は、前記未認証進入者が前記認証判定手段により認証成功者として認証されたとき、前記未認証進入者の未認証進入状態の判定を解除することを特徴とする認証装置。
請求項１〜３のいずれか１項に記載の認証装置であって、
前記異常判定手段は、前記追跡手段において追跡されている人物像の向きを判定し、認証成功者の向きと未認証進入者の向きとが向かい合った頻度又は期間の少なくとも一方に応じて前記同行判定期間を調整することを特徴とする認証装置。
請求項１〜４のいずれか１項に記載の認証装置であって、
前記異常判定手段は、前記追跡手段において追跡されている人物像の接触を判定し、認証成功者と未認証進入者とが接触した頻度又は期間の少なくとも一方に応じて前記同行判定期間を調整することを特徴とする認証装置。