JP6542819B2

JP6542819B2 - 画像監視システム

Info

Publication number: JP6542819B2
Application number: JP2017023111A
Authority: JP
Inventors: 高田　直幸; 直幸高田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2017-02-10
Filing date: 2017-02-10
Publication date: 2019-07-10
Anticipated expiration: 2037-02-10
Also published as: JP2018129750A

Description

本発明は、画像監視システムに係り、特に、特定の人物を検出する画像監視システムに関する。

画像を用いた人物認証のシステム形態として、ローカルに設置した撮像装置で撮影した人物画像を、ネットワーク経由で認証サーバに伝送し、特定人物の認証や検知を行うネットワーク型の認証システムがある（例えば、特許文献１）。

このようなネットワーク型の認証システムは、認証機能を認証サーバに集約することで、ローカルに設置された多数の撮像装置で撮影した人物画像を認証サーバで集中して認証するシステム形態を実現できることから、コストメリットが高く保守のしやすいシステム形態として知られている。

特開２００６−２２１３５５号公報

一方で、人物画像の撮影にあたっては、当該人物のプライバシーに配慮する必要があり、撮影した画像そのものが不必要に衆目にさらされるような事態は回避しなければならない。例えば、公共空間にカメラを設置し迷子を捜索するようなケースにおいて、本来の捜索対象である迷子（検出対象者）とは異なる無関係の歩行者の画像も認証サーバに伝送してしまうと、当該歩行者の画像が捜索を行う者の目に不必要に触れることになる。

そこで、本発明は、無関係な人物のプライバシーに配慮して検出対象者の顔画像データを取得することができる画像監視システムを提供することを目的とする。

上記の目的を達成するために本発明に係る画像監視システムは、撮像装置が取得した撮像画像から抽出した人物画像の非可逆変換により生成される、前記人物画像の被写体を目視で識別することが困難な目視識別困難データを送信すると共に、送信した前記目視識別困難データの被写体が検出対象者であることを表す照合結果を受信した場合、前記被写体を目視で識別することが可能な目視識別可能データを含む画像を送信する画像処理装置と、前記画像処理装置から受信した前記目視識別困難データと前記検出対象者について予め登録された登録人物データとを照合して、前記目視識別困難データの被写体が前記検出対象者であるか否かを表す照合結果を前記画像処理装置に送信する人物認証装置と、を備えて構成されている。

本発明に係る画像監視システムによれば、画像処理装置が、撮像装置が取得した撮像画像から抽出した人物画像の非可逆変換により生成される、前記人物画像の被写体を目視で識別することが困難な目視識別困難データを送信する。

そして、人物認証装置が、前記画像処理装置から受信した前記目視識別困難データと前記検出対象者について予め登録された登録人物データとを照合して、前記目視識別困難データの被写体が前記検出対象者であるか否かを表す照合結果を前記画像処理装置に送信する。

画像処理装置は、送信した前記目視識別困難データの被写体が検出対象者であることを表す照合結果を受信した場合、前記被写体を目視で識別することが可能な目視識別可能データを送信する。

以上説明したように、本発明の画像監視システムによれば、撮像画像から抽出した人物画像の非可逆変換により生成される、前記人物画像の被写体を目視で識別することが困難な目視識別困難データを人物認証装置に送信し、人物認証装置から、目視識別困難データの被写体が検出対象者であることを表す照合結果を受信した場合、被写体を目視で識別することが可能な目視識別可能データを送信することにより、無関係な人物のプライバシーに配慮して検出対象者の顔画像データを取得することができる、という効果が得られる。

本発明の実施の形態に係るネットワーク型顔認証システムの構成を示す概略図である。入力顔画像データの構成を示す図である。秘匿入力顔データの構成を示す図である。変形前の顔画像と変形後の顔画像を示す模式図である。目標画像とノイズ付加顔画像を示す模式図である。登録顔データの構成を示す図である。認証済み登録顔データの構成を示す図である。認証履歴データの構成を示す図である。報知用画像の例を示す図である。本発明の実施の形態に係る画像処理装置による検知処理の動作を示すフローチャートである。本発明の実施の形態に係る顔認証装置による照合処理の動作を示すフローチャートである。本発明の実施の形態に係る報知装置による報知処理の動作を示すフローチャートである。保護監視画像の例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、ネットワーク型顔認証システムに本発明を適用した場合を例に説明する。

＜システム構成＞
以下、本発明を適用したネットワーク型顔認証システム１０００の概略構成を示した図１を参照し、本発明の実施の形態の構成を説明する。

（ネットワーク型顔認証システム１０００）
ネットワーク型顔認証システム１０００は、撮像装置１１００、ネットワーク１２００、画像処理装置１３００、顔認証装置１４００、及び報知装置１５００を有する。

（撮像装置１１００）
撮像装置１１００は、所定の領域を監視する目的で設置される監視カメラであり、監視対象領域内に滞在する人物の顔が撮影できる位置に取り付けられる。撮像装置１１００で撮影した監視画像は、画像処理装置１３００に送信される。

（ネットワーク１２００）
ネットワーク１２００は、画像処理装置１３００、顔認証装置１４００、及び報知装置１５００の間でデータの送受信を行なうために利用される回線である。LAN（Local Area Network）や、インターネット等の公衆回線が本発明のネットワーク１２００として利用できる。ネットワーク１２００上の電文については、公知のVPN技術等を用いて、電文を暗号化する等の安全措置が講じられることが望ましい。

（画像処理装置１３００）
画像処理装置１３００は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリなどから構成され、撮像装置１１００が撮影した画像に対して画像処理を施した結果を、ネットワーク１２００を介して顔認証装置１４００や報知装置１５００に送信する。以下、画像処理装置１３００を構成する画像処理部１３１０、記憶部１３２０、及び送受信部１３３０の各部について、詳細に説明する。

（画像処理部１３１０）
画像処理部１３１０は、顔画像取得手段１３１１及び変換手段１３１２から構成される。

（顔画像取得手段１３１１）
顔画像取得手段１３１１は、撮像装置１１００が撮影した監視画像から人物の顔領域画像を抽出し、入力顔画像とする。さらに入力顔画像に固有の顔画像識別子と撮影時刻を付与して、図２に示す構成の入力顔画像データ２００として変換手段１３１２に送信するとともに、記憶部１３２０に格納する。

顔画像識別子２１０は顔画像を一意に特定する為の識別子で、例えば128ビット整数を顔画像識別子２１０として用いて、初期値を0として、顔画像に顔画像識別子２１０を付与するごとに顔画像識別子２１０の値をインクリメントする、等の方法がある。顔画像識別子２１０を不正に推定されないよう、顔画像識別子２１０にチェックサムなどを付与しても良い。監視画像中に複数の人物が存在する場合は、夫々の人物の顔領域画像を抽出して互いに異なる顔画像識別子２１０を付与し、変換手段１３１２および記憶部１３２０に送信する。

顔領域画像の抽出方法については、従来から多数提案されており、適宜公知の方法を採用すれば良い。例えば、顔画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔の形状である楕円形状を検出する方法などを採用すれば良い。

（変換手段１３１２）
変換手段１３１２は、顔画像取得手段１３１１で抽出した人物の顔領域画像を、非可逆変換により、被写体を目視で識別することが困難な秘匿化顔データに変換するとともに、顔画像取得手段１３１１が出力した前記顔領域画像と同一の顔画像識別子を当該秘匿化顔データに付与して、図３に示す構成の秘匿入力顔データ３００として送受信部１３３０に送信する。なお、秘匿化顔データ３２０は、目視識別困難データの一例である。

被写体を目視で識別することが困難な秘匿化顔データ３２０の作成法（以下、顔画像の秘匿化方式）については、非特許文献１（N. K. Ratha, J. H. Connell, R. M. Bolle，“Enhancing security and privacy in biometrics-based authentication systems”, IBM SYSTEMS JOURNAL, VOL 40, NO 3, 2001）を参照することができる。当該非特許文献１では、顔画像を非線形に変形し、元の顔画像に逆変換できない状態に変換してから認証を行う方式が提案されている。当該技術によって変形した顔画像の例として、図４に変形前の顔画像４００と変形後の顔画像４１０の模式図を示す。なお、図４に示す変形後の顔画像４１０は、顔画像４００を含む大きな領域で画像を変形させたものから顔領域を切り出した画像である。

顔画像の秘匿化方式はこの限りではない。例えば、顔認証装置１４００で用いられる顔認証方式が、固有顔法のように顔画像を部分空間に投影し、当該部分空間内の座標を顔画像の秘匿化顔データ３２０とする顔認証方式であれば、当該部分空間の補空間内でノイズを生成し、元の顔画像に付加することで、元の部分空間内での照合を可能としつつ、目視による識別が困難な画像を生成することができる。

具体的には、前記部分空間をＲとすると、Ｒの補空間Ｒ^⊥上のノイズεは、次式で表される。同式においてαは、後述するようにノイズを決定するパラメータである。

上記部分空間は、例えば、多数の顔画像から抽出された特徴量を主成分分析して得られた複数次元の基底で構成され、補空間は、部分空間の複数次元の基底と直交する複数次元の基底で構成される。

顔画像をｘとすると、ノイズεを付加した顔画像ｘ´は、次式で表される。

上記の手順でノイズεを付加した顔画像ｘ´を部分空間に投影した結果は、次式に示す通り、顔画像ｘを部分空間に投影した結果と同様となる。

すなわち、当該部分空間の補空間内でノイズεを生成し、元の顔画像ｘに付加することで、元の部分空間内での照合を可能としつつ、目視による識別が困難な画像ｘ´を生成することができる。ノイズεを決定するパラメータαについては、例えばノイズ付加後の目標画像ｔを設定し、次式で示す最適化問題の解として決定する方法がある。

目標画像ｔ（５００）と、顔画像ｘとに基づき上式で決定したノイズεを付加したノイズ付加顔画像ｘ´（５１０）の例を図５に示す。図５に示したように、上記の手順で目視による識別困難な画像を生成することが可能である。

以上では、Ｒの補空間Ｒ^⊥上でノイズεを考えたが、当然ながら補空間Ｒ^⊥の部分空間においても同様のノイズεを考えることができる。

以上で説明した手法以外にも、顔画像の秘匿化方式は人物画像の被写体を目視で識別することが困難な目視識別困難データを生成できる手法であれば、従来公知の手法から選択することができる。ここで、人物画像の被写体を目視で識別することが困難な目視識別困難データとは、少なくとも、元の人物画像よりも、被写体が目視で識別され難いものであることが必要であり、人物画像の被写体が目視で識別不可能であることが好ましい。

（送受信部１３３０）
送受信部１３３０は、変換手段１３１２が作成した秘匿入力顔データ３００を、ネットワーク１２００を介して顔認証装置１４００の送受信部１４１０に送信する。

また、後述するように顔認証装置１４００の送受信部１４１０から送信された、認証済み顔画像識別子の情報を受信し、認証済み顔画像識別子に対応する入力顔画像データ２００を記憶部１３２０から読み出して、ネットワーク１２００を介して報知装置１５００の受信部１５１０に送信する。

なお、画像処理装置１３００は、送信した秘匿入力顔データ３００に対応する認証済み顔画像識別子の情報を受信した場合、更に、認証済み顔画像識別子の情報を消去する共に、送信した秘匿入力顔データ３００に対応する撮像画像を記憶部１３２０に記憶するようにしてもよい。すなわち、画像処理装置１３００において受信した認証済み顔画像識別子を記憶したままにすると、当該認証済み顔画像識別子と入力顔画像データ２００（又は撮像画像）とを突合することにより、これら画像に映っている人物が何らかの理由により検出の対象となっていることが判明してしまい、プライバシー及び安全性の面で問題がある。一方で、認証済み顔画像識別子に係る入力顔画像データ２００や撮像画像を削除してしまうと不正行為を後になって調査することができなくなり、不正監視を行うことができなくなってしまう。そこで、認証済み顔画像識別子を消去する共に、認証済み顔画像識別子に対応する撮像画像を記憶することにより、人物検知だけでなく、不正監視をもプライバシーに配慮し安全に行うことをできるようにする。なお、認証済み顔画像識別子は、目視識別困難データの被写体が検出対象者であることを表す照合結果の一例である。
また、画像処理装置１３００は、送信した秘匿入力顔データ３００に対応する認証済み顔画像識別子の情報を受信した場合、認証済み顔画像識別子に対応する入力顔画像データ２００を加工した画像データを、ネットワーク１２００を介して報知装置１５００の受信部１５１０に送信するようにしてもよい。なお、認証済み顔画像識別子に対応する入力顔画像データ２００又は入力顔画像データ２００を加工した画像データは、人物画像の被写体を目視で識別することが可能な目視識別可能データの一例である。

（顔認証装置１４００）
顔認証装置１４００は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリなどから構成され、画像処理装置１３００が送信した秘匿入力顔データ３００を受信し、当該秘匿入力顔データ３００が、顔登録済み人物の顔データであるか否かを、記憶部１４２０に予め格納された登録済み顔データを参照して、照合部１４３０で判定する。

照合部１４３０における照合の結果、前記秘匿入力顔データ３００が顔登録済み人物の顔データであると判定された場合は、当該秘匿入力顔データ３００に紐付けられた顔画像識別子を、認証済み顔画像識別子として、送受信部１４１０およびネットワーク１２００を介して、画像処理装置１３００の送受信部１３３０に送信する。

以下、顔認証装置１４００を構成する送受信部１４１０、照合部１４３０、及び記憶部１４２０の各部について、詳細に説明する。

（送受信部１４１０）
送受信部１４１０は、画像処理装置１３００が送信した秘匿入力顔データ３００を、ネットワーク１２００を介して受信し、照合部１４３０に出力する。

また、照合部１４３０が出力した認証済み顔画像識別子を、ネットワーク１２００を介して画像処理装置１３００の送受信部１３３０に送信する。

（記憶部１４２０）
記憶部１４２０には、予め顔登録された人物の顔データが、登録顔画像識別子が付与された登録顔データとして格納される。図６に示すように、登録顔データ６００は、登録顔画像識別子６１０、登録顔画像６２０、登録属性情報６３０、及び秘匿化登録顔データ６４０から構成される。登録顔データ６００は、１人の登録人物に対して少なくとも１データが作成される。複数の登録人物が存在する場合、記憶部１４２０には、異なる登録顔画像識別子６１０が付与された登録顔データ６００が複数記憶される。なお、登録人物が、検出対象者の一例である。

登録顔画像識別子６１０は、登録顔画像６２０および秘匿化登録顔データ６４０を一意に特定する為の識別子で、例えば128ビット整数を用いる。例えば、初期値を0として新規に登録顔データ６００を作成する度に登録顔画像識別子６１０の値をインクリメントする、等の方法がある。登録顔画像識別子６１０を不正に推定されないよう、チェックサムなどを登録顔画像識別子６１０に付与しても良い。

登録顔画像６２０は、登録人物の顔画像であり、顔画像照合に用いる秘匿化登録顔データ６４０を作成するための元画像、および報知装置１５００における報知用画像として利用される。

登録属性情報６３０は、氏名や性別、年齢、所属組織などの登録人物に付随する属性情報を表す。

秘匿化登録顔データ６４０は、登録顔画像６２０に対して、前記変換手段１３１２で適用された秘匿化方式と同じ秘匿化方式を適用することにより、生成される。

例えば、前記変換手段１３１２で上記非特許文献１に記載の顔画像の非線形変形を適用する場合は、顔登録に用いる登録顔画像６２０に対しても、同様の非線形変換を適用して秘匿化登録顔データ６４０を生成し、記憶部１４２０に格納する。

また、前記変換手段１３１２で部分空間の補空間上のノイズを付加する秘匿化方式を適用する場合は、顔登録に用いる登録顔画像６２０に対しても、同様に部分空間の補空間上のノイズを付加して秘匿化登録顔データ６４０を生成し、記憶部１４２０に格納する。尚、前述の通り、部分空間の補空間上のノイズを付加する秘匿化方式では、部分空間への投影結果はノイズ付加の前後で同様となる為、顔登録に用いる登録顔画像６２０そのものを秘匿化登録顔データ６４０として記憶部１４２０に格納しても良い。

以上に示したように、登録顔データ６００の秘匿化登録顔データ６４０は、変換手段１３１２で適用した秘匿化方式と同じ秘匿化方式を登録顔画像６２０に適用して生成すれば良く、秘匿化登録顔データ６４０の生成方法は上記の方法に限定されるものではない。

尚、以上の説明では、秘匿化を施した顔画像を記憶部１４２０に格納する構成としたが、秘匿化を施した顔画像から特徴量を抽出し、当該特徴量を記憶部１４２０に格納する構成としてもよい。

（照合部１４３０）
照合部１４３０は、画像処理装置１３００が出力した秘匿入力顔データ３００と、記憶部１４２０に予め格納された登録顔データ６００とを照合し、当該秘匿入力顔データ３００が記憶部１４２０に少なくとも１つ以上格納されている登録顔データ６００のいずれかと一致するか否かを判定する。そして、当該秘匿入力顔データ３００と一致する登録顔データ６００が存在する場合は、当該秘匿入力顔データ３００に格納された顔画像識別子２１０を認証済み顔画像識別子として、送受信部１４１０およびネットワーク１２００を介して、画像処理装置１３００の送受信部１３３０に送信する。

次に、秘匿入力顔データ３００と一致した登録顔データ６００の登録顔画像６２０および登録属性情報６３０に、前記認証済み顔画像識別子を付与して、図７に示す認証済み登録顔データ７００を作成し、送受信部１４１０およびネットワーク１２００を介して、報知装置１５００の受信部１５１０に送信する。

照合部１４３０における秘匿入力顔データ３００と登録顔データ６００との一致判定は、秘匿入力顔データ３００の秘匿化顔データ３２０と登録顔データ６００の秘匿化登録顔データ６４０とを照合し、類似度の閾値判定などによって行う。照合方法については、前記変換手段１３１２で適用した秘匿化方式に合わせて選択する。例えば、変換手段１３１２での秘匿化方式として、変換手段１３１２の説明で例示した上記非特許文献１に記載の顔画像の非線形変形を適用する場合は、変形後の画像も顔画像の体裁を保持しているため、従来公知の顔画像照合方法が適用できる。

また、変換手段１３１２での秘匿化方式として、変換手段１３１２の説明で例示した部分空間の補空間上のノイズを顔画像に付加する方式を適用する場合は、固有顔法など部分空間を利用した従来公知の顔画像照合方法が適用でき、秘匿化顔データ３２０と秘匿化登録顔データ６４０の各々を、部分空間内の座標値に変換し、秘匿化顔データ３２０から変換された座標値と秘匿化登録顔データ６４０から変換された座標値とを照合する。

以上に説明した通り、照合部１４３０における顔画像照合方法は、変換手段１３１２で適用した秘匿化方式に合わせて、適宜選択する。

尚、画像処理装置１３００が出力した秘匿入力顔データ３００の秘匿化顔データ３２０が、前記変換手段１３１２で例示したような顔画像を変形した画像、または顔画像にノイズを付加した画像である場合は、照合部１４３０にて当該画像から照合用に入力画像特徴量を抽出する。同様に、記憶部１４２０に格納する登録顔データ６００の秘匿化登録顔データ６４０が、前記変換手段１３１２で例示したような顔画像を変形した画像、または顔画像にノイズを付加した画像である場合も、照合部１４３０にて当該画像から照合用に登録画像特徴量を抽出する。照合部１４３０は、入力画像特徴量と登録画像特徴量を照合し、両者の一致判定を行う。

（報知装置１５００）
報知装置１５００は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリ、表示用モニタなどから構成され、画像処理装置１３００から送信された入力顔画像データ２００と、顔認証装置１４００から送信された認証済み登録顔データ７００から、認証履歴作成部１５２０で認証履歴データを作成し、記憶部１５３０に格納する。記憶部１５３０に格納した認証履歴データは、報知部１５４０に表示される。なお、本実施の形態では、報知装置１５００が、本発明の画像記憶装置として機能している。

（受信部１５１０）
受信部１５１０は、画像処理装置１３００が送信した入力顔画像データ２００、および、顔認証装置１４００が送信した認証済み登録顔データ７００を受信し、認証履歴作成部１５２０に出力する。

（認証履歴作成部１５２０）
認証履歴作成部１５２０は、受信部１５１０を介して受信した入力顔画像データ２００と認証済み登録顔データ７００から認証履歴データを作成し、記憶部１５３０に格納する。

図８に認証履歴データ８００の構成を示す。認証履歴データ８００の作成に際しては、まず、入力顔画像データ２００の顔画像識別子２１０と、認証済み登録顔データ７００の認証済み顔画像識別子７１０を突合し、同一の顔画像識別子を持つ入力顔画像データ２００と認証済み登録顔データ７００を選択する。そして、選択した入力顔画像データ２００の入力顔画像２２０と撮影時刻２３０、認証済み登録顔データ７００の登録顔画像７２０と登録属性情報７３０を連結し、入力顔画像８１０、撮影時刻８２０、登録顔画像８３０、及び登録属性情報８４０から構成される認証履歴データ８００を作成する。

（記憶部１５３０）
記憶部１５３０は、認証履歴作成部１５２０が作成した認証履歴データ８００を格納する。格納する認証履歴データ８００の上限数は、記憶部１５３０の容量に基づいて決定し、格納している認証履歴データ８００の数が上限を超えた場合は、認証履歴データ８００の撮影時刻８２０を参照して、認証履歴データ８００の数が上限数に戻るまで古い履歴から順に削除する。

（報知部１５４０）
報知部１５４０は、記憶部１５３０に格納された認証履歴データ８００から、報知用画像を作成し、報知部１５４０を構成する表示用モニタ等に表示する。

図９に報知用画像９００の作成例を示す。図９の例では、認証履歴データ８００に含まれる入力顔画像８１０、登録顔画像８３０、撮影時刻８２０、登録属性情報８４０を、夫々報知情報９１０、９２０、９３０、９４０として並べて配置し、画像化している。これにより、オペレータが、目視で、登録人物が検知されたか否かを確認する。

＜ネットワーク型顔認証システムの動作＞
以下、図１０〜図１２に示したフローチャートを参照しつつ、本発明を適用したネットワーク型顔認証システム１０００による特定人物検知の動作を説明する。なお、以下に説明する図１０の画像処理装置１３００の動作は、監視画像を１枚取得するごとに実行される。また、顔認証装置１４００の記憶部１４２０に登録顔データ６００が予め格納されている場合を例に説明する。

図１０に示す画像処理装置１３００の検知処理では、最初に、ネットワーク型顔認証システム１０００の撮像装置１１００から、監視対象領域を映した監視画像を取得する（ステップＳ１０１０）。そして、画像処理部１３１０の顔画像取得手段１３１１は当該監視画像から顔領域画像を抽出する（ステップＳ１０２０）。顔画像取得手段１３１１は、１つ以上の顔領域画像が抽出されたか否かを判定し（ステップＳ１０３０）、顔領域画像が全く抽出されなかった場合には以降の処理を行わず、検知処理を終了する。一方、１つ以上の顔領域画像が抽出された場合、顔画像取得手段１３１１は検出した顔領域画像から入力顔画像データ２００を作成して記憶部１３２０に記憶した後、ステップＳ１０４０に処理を移行させる。

以下のステップＳ１０４０〜Ｓ１０５０の処理は、顔画像取得手段１３１１が抽出した顔領域画像ごとに行われる。

変換手段１３１２は、顔画像取得手段１３１１が作成した入力顔画像データ２００を変換し、秘匿入力顔データ３００を作成する（ステップＳ１０４０）。この際、入力顔画像データ２００の入力顔画像２２０に対して前述した非可逆変換を実行することにより、目視による識別が困難な秘匿化顔データ３２０に変換して秘匿入力顔データ３００を作成する。次に、作成した秘匿入力顔データ３００を顔認証装置１４００に送信する（ステップＳ１０５０）。

全ての顔領域画像についてステップＳ１０４０〜１０５０の処理が終わると、画像処理部１３１０は、ステップＳ１０６０へ移行する。

秘匿入力顔データ３００を受信した顔認証装置１４００は、図１１に示す照合処理を行う。なお、以下に説明する図１１の顔認証装置１４００の動作は、秘匿入力顔データ３００を１つ受信するごとに実行される。

顔認証装置１４００は、記憶部１４２０に格納されている予め登録されている全ての登録顔データ６００と、受信した秘匿入力顔データ３００とを照合する（ステップＳ１１１０）。照合の結果得られた最大の類似度が所定の認証閾値以上であるかを判定し（ステップＳ１１２０）、所定の認証閾値以上であった場合、受信した秘匿入力顔データ３００と最大の類似度を示した登録顔データ６００は同一人物に由来すると判定し、当該登録顔データ６００を報知装置１５００に送信する（ステップＳ１１３０）。さらに、秘匿入力顔データ３００に含まれる顔画像識別子を、認証済み顔画像識別子として、画像処理装置１３００に送信し（ステップＳ１１４０）、照合処理を終了する。

そして、上記図１０に示す画像処理装置１３００の検知処理では、認証済み顔画像識別子を受信すると（ステップＳ１０６０）、ステップＳ１０７０へ移行する。一方、認証済み顔画像識別子を受信しない場合には、検知処理を終了する。

認証済み顔画像識別子を受信した画像処理装置１３００は、認証済み顔画像識別子に対応（一致）する入力顔画像データ２００を記憶部１３２０から読み出し、報知装置１５００に送信し（ステップＳ１０７０）、検知処理を終了する。なお、複数の認証済み顔画像識別子を受信した場合には、認証済み顔画像識別子毎に、上記ステップＳ１０７０の処理が行われる。

また、入力顔画像データ２００と登録顔データ６００とを受信した報知装置１５００は、図１２に示す報知処理を行う。なお、以下に説明する図１２の報知装置１５００の動作は、入力顔画像データ２００と登録顔データ６００のペアを１つ受信するごとに実行される。

入力顔画像データ２００と登録顔データ６００を受信した報知装置１５００は、入力顔画像データ２００と登録顔データ６００を用いて認証履歴データ８００を作成し（Ｓ１２１０）、当該作成した認証履歴データ８００に係る特定人物の検知を報知して（Ｓ１２２０）、報知処理を終了する。例えば、報知装置１５００が備える表示部（図示しない）から当該作成した認証履歴データ８００に係る報知用画像９００を表示出力することにより報知する。

以上説明してきたように、本発明の実施の形態に係るネットワーク型顔認証システム１０００では、画像処理装置１３００は、撮像画像から抽出した顔領域画像（人物画像）の非可逆変換により生成される、顔領域画像（人物画像）の被写体を目視で識別することが困難な秘匿入力顔データ３００を顔認証装置１４００（人物認証装置）に送信し、顔認証装置１４００から、秘匿入力顔データ３００に対応する認証済み顔画像識別子を受信した場合、当該認証済み顔画像識別子に対応する入力顔画像データ２００を報知装置１５００に送信することにより、無関係な人物のプライバシーに配慮して検出対象者の顔画像データを取得することができる。すなわち、監視画像に映る人物が、予め顔登録済みの人物であるか否かを、目視による識別性が低い秘匿化情報によって判定し、顔登録済みの人物の情報に限って、顔画像など識別性の高い情報を記録、報知することが可能となる。なお、本実施の形態では、顔領域画像を用いて顔認証しているが、これに限らず、人物領域を示す人物画像を用いて、顔だけでなく体格や服装等の類似度も含めた人物認証を行ってもよい。

また、ローカルに設置した撮像装置１１００で撮影した人物画像を、ネットワーク経由で顔認証装置１４００に伝送し、特定人物の認証や検知を行うネットワーク型の認証システム１０００に関し、被撮影者のプライバシーに配慮したデータ伝送方式を実現することができる。

＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、画像処理装置１３００は、人物の顔領域画像を抽出し、当該顔領域画像が顔登録済みの人物である場合に限って、当該人物の顔画像を報知装置１５００に送信する構成としたが、画像処理装置１３００内に別途、保護監視画像作成手段を設け、元の監視画像から顔登録済みの人物以外の顔画像を消去した保護監視画像を作成し、当該保護監視画像を報知装置１５００に送信する構成としてもよい。

具体的には、撮像装置１１００が撮影した監視画像と、当該監視画像から顔画像取得手段１３１１にて抽出した顔領域画像の位置、大きさの情報を、記憶部１３２０に紐付けて格納し、保護監視画像作成手段は、当該監視画像中の顔登録済みの人物（顔認証装置１４００から受信した認証済み顔画像識別子に対応する人物）以外の顔画像の領域を黒画素で塗りつぶす、ガウシアンフィルタでぼかす、等の方法でマスクをする処理を施して、顔登録済みの人物以外の顔画像を消去し、保護監視画像を作成する。

図１３に、顔画像の領域を矩形とし、顔登録済みの人物以外の顔画像の領域を黒画素で塗りつぶすことによって消去した保護監視画像２１００の例を示す。図１３の例では、顔登録済みの人物以外の顔画像１１１０が黒塗りされ、顔登録済みの人物１１２０だけが目視確認できる状態となっている。

また、ノイズを付加する非可逆変換として、部分空間の補空間のノイズを付与する場合を例に説明したが、これに限定されるものではなく、顔認証装置１４００による照合に影響しないノイズを顔領域画像に対して付加する方法であれば、他の手法であってもよい。例えば、顔認証装置１４００による照合が、Convolutional Neural Networkを利用した顔認証方式である場合においても、ノイズの付加による顔領域画像の秘匿化を考えることができる。具体的には、Convolutional Neural Networkの第１層における写像は畳み込みフィルタで表されるが、フーリエ基底をＦ、フーリエ逆変換基底をＦ^*、畳み込みフィルタ係数をｗで表すと、顔画像ｘに畳み込みフィルタｗを適用した結果、Ｃｏｎｖw（ｘ）は、次式で表すことができる。

ここで、上式中の記号

はベクトルの成分毎の積を表す。ここで、

となるノイズε、すなわちフーリエドメインにおいてフィルタｗの成分が0または0とみなせる領域にのみ成分をもつノイズεを考えると、顔画像ｘにノイズを加えた信号ｘ＋εと、フィルタｗの畳み込み結果は、ノイズを加える前の元の顔画像ｘとフィルタｗの畳み込み結果と同様となる。

フーリエドメインにおいてフィルタｗの成分が0または0とみなせる領域におけるノイズεの成分については、フーリエドメインにおけるフィルタｗの成分とノイズεの成分との積が0とみなせる範囲で任意の値を設定することができる。Convolutional Neural Networkの第１層の畳み込みフィルタが複数の場合には、フーリエドメインにおいて、いずれのフィルタの成分も0または0とみなせる領域にのみ成分をもつノイズεを考えれば良い。

また、画像処理装置１３００が、認証済み顔画像識別子に対応する入力顔画像データ２００を報知装置１５００に送信する場合を例に説明したが、これに限定されるものではなく、他の装置（例えば、顔認証装置１４００）に送信するようにしてもよい。

また、目視識別困難データとして、非線形変換又はノイズ付加により秘匿化顔データ３２０を生成する場合を例に説明したが、これに限定されるものではなく、他の目視識別困難データを生成してもよい。例えば、人物の顔領域画像から推定される人物の属性情報を、目視識別困難データとして生成してもよい。この場合には、顔認証装置では、登録された人物の属性情報と照合し、属性情報が一致した場合に、認証済み顔画像識別子を、画像処理装置へ送信するようにすればよい。

以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０００ネットワーク型顔認証システム
１１００撮像装置
１２００ネットワーク
１３００画像処理装置
１３１０画像処理部
１３１１顔画像取得手段
１３１２変換手段
１３２０記憶部
１３３０送受信部
１４００顔認証装置
１４１０送受信部
１４２０記憶部
１４３０照合部
１５００報知装置
１５１０受信部
１５２０認証履歴作成部
１５３０記憶部
１５４０報知部

Claims

撮像装置が取得した撮像画像から抽出した人物画像の非可逆変換により生成される、前記人物画像の被写体を目視で識別することが困難な目視識別困難データを送信すると共に、送信した前記目視識別困難データの被写体が検出対象者であることを表す照合結果を受信した場合、前記被写体を目視で識別することが可能な目視識別可能データを送信する画像処理装置と、
前記画像処理装置から受信した前記目視識別困難データと前記検出対象者について予め登録された登録人物データとを照合して、前記目視識別困難データの被写体が前記検出対象者であるか否かを表す照合結果を前記画像処理装置に送信する人物認証装置と、
を備え、
前記画像処理装置は、前記非可逆変換として、前記人物認証装置による照合に影響しないノイズを前記人物画像に対して付加することにより、前記目視識別困難データを生成し、
前記人物認証装置は、受信した前記目視識別困難データ及び予め記憶した前記検出対象者の人物画像である前記登録人物データの各々を、所定の部分空間内の座標値に変換し、該目視識別困難データから変換された座標値と前記登録人物データから変換された座標値とを照合して前記照合結果を求める画像監視システム。
前記画像処理装置は、前記非可逆変換として、前記所定の部分空間に対する補空間内において生成したノイズを前記人物画像に対して付加することにより、前記目視識別困難データを生成する請求項１に記載の画像監視システム。
撮像装置が取得した撮像画像から抽出した人物画像の非可逆変換により生成される、前記人物画像の被写体を目視で識別することが困難な目視識別困難データを送信すると共に、送信した前記目視識別困難データの被写体が検出対象者であることを表す照合結果を受信した場合、前記被写体を目視で識別することが可能な目視識別可能データを送信する画像処理装置と、
前記画像処理装置から受信した前記目視識別困難データと前記検出対象者について予め登録された登録人物データとを照合して、前記目視識別困難データの被写体が前記検出対象者であるか否かを表す照合結果を前記画像処理装置に送信する人物認証装置と、
を備え、
前記画像処理装置は、前記非可逆変換として、前記人物画像を非線形に変形することにより、前記目視識別困難データを生成し、
前記人物認証装置は、前記非可逆変換として、予め記憶した前記検出対象者の人物画像を前記非線形に変形することにより、前記登録人物データを生成する画像監視システム。
前記画像処理装置は、送信した前記目視識別困難データの被写体が前記検出対象者であることを表す前記照合結果を受信したとき、該目視識別困難データに対応する前記撮像画像に対して、該検出対象者以外の人物の人物領域をマスクする処理を施して、前記目視識別可能データを生成する請求項１〜請求項３の何れか一項に記載の画像監視システム。
前記画像処理装置から送信された前記目視識別可能データを記憶する画像記憶装置を更に含み、
前記人物認証装置は、受信した前記目視識別困難データの被写体が前記検出対象者であると照合したとき、前記画像記憶装置に該検出対象者の前記登録人物データを送信し、
前記画像記憶装置は、前記人物認証装置から受信した前記登録人物データと、該登録人物データに対応する、前記画像処理装置から送信された前記目視識別可能データとを関連付けて記憶する請求項１〜請求項４の何れか一項に記載の画像監視システム。
前記画像処理装置は、送信した前記目視識別困難データの被写体が前記検出対象者であることを表す前記照合結果を受信した場合、更に、該照合結果を消去する共に、前記送信した前記目視識別困難データに対応する前記撮像画像を記憶する請求項１〜請求項５に記載の画像監視システム。