JP5353147B2 - 顔照合システム - Google Patents

Description

本発明は、顔画像を用いて人物を照合する顔照合システムに関する。

従来より、顔画像を用いて人物を照合する顔照合技術が実用化されており、本人認証や人物同定を行う各種システムに応用されている。

この種のシステムは、登録者の情報として、登録者の顔画像と顔画像から抽出した特徴量とを保持しているのが一般的である。照合時（認証時）には、まず照合対象者の顔をカメラで撮影し、その顔画像から対象者の特徴量を抽出する。そして、この特徴量を、予めシステムに登録されている登録者の特徴量と比較することにより、対象者が登録者と同一人か否かを判断する。一方、新規登録者を追加する時、登録情報の確認・編集を行う時、顔照合結果を確認する時などは、システムの操作者（以下、ユーザともいう）が登録者の顔を目視で確認する必要が生じる。このような場合には、登録者の顔画像を表示できるようになっている。

ところで、登録者の情報は、システム運用者にとって重要な資産であるだけでなく、一定の関係を有する他者にとっても「価値ある」情報となるため、盗難や攻撃の対象になるおそれがある。例えば、店舗に訪れる客を顔照合して、リピータや不良客を同定するシステムを想定すると、リピータや高額購買者などの情報（ＶＩＰ情報）は、他の店舗にとっても有益な情報である。またある店舗での不良客は他の店舗においても不良客となる可能性があるため、不良客情報もやはり他の店舗にとっての有益な情報となる。

また登録者の顔画像は、特定の個人を識別することができる情報であり検索性・体系性を有する情報ゆえ、いわゆる個人情報保護法で規定する「個人情報」もしくは「個人情報データ」に該当するものとなる可能性がある。したがって、顔画像を法律上適正に管理しなければ、顔照合システムの運用そのものが不適当とされるおそれがある。また顔画像やその付帯情報（例えば名前・年齢・購買情報など）が流出した場合、運用者もしくは設計者がその民事上、刑事上、場合によっては行政上の責任をとらなければならなくなるおそれもある。

なお顔照合システムにおける顔画像の保護を目的とした先行技術としては次のようなものがある。特許文献１には、通行が許可された人物の顔画像を防犯管理センタ等の外部へ配信することはせず、登録顔画像ＤＢに登録されていない不審者の顔画像のみ外部へ配信することにより、正当利用者の顔画像の漏洩を防止する技術が開示されている。特許文献２には、撮影画像とＩＣカード内に登録本人顔画像との照合処理をＩＣカード内で実行することにより、顔画像がＩＣカードから外に流出しないようする認証方式が開示されている。特許文献３には、顔照合により特定人物（例えば指名手配者）か否かを判断し、特定人物以外の者の顔部分にモザイクを施して動画を保存する技術が開示されている。特許文献４には、カメラによる顔写真の撮影と略同時に生体認証データを取得し、これらのデータを暗号化して管理装置へ送信する技術が開示されている。特許文献５には、複数の配信先に配信された個人情報の全てを顔照合を用いて検出し一括して削除する技術が開示されている。
特開２００４−３５５３７７号公報 特開２００５−２９３３９９号公報 特開２００４−６２５６０号公報 特開２００５−１４９２７５号公報 特開２００８−４０８２９号公報

本発明は上記実情に鑑みてなされたものであって、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護できる技術を提供することにある。

顔照合システムが盗難や攻撃にあった場合の対策として、例えば、システム内に保持する登録者情報を全て暗号化しておき、他者による登録者情報の利用を阻害することが考えられる。しかしこの方法では、顔照合のたびに登録者情報の復号処理が必要となり、処理速度の点から好ましくない。また、照合をローカルな端末ではなく外部の認証サーバなどで行うことも考えられるが、この方法では、顔照合のたびに顔データの送信もしくは特徴量の送信などのネットワーク通信が発生するため、処理速度の観点からも信頼性の点からも好ましくない。

そこで本発明者らは鋭意検討を重ね、次のような着想を得た。すなわち、顔照合システムでは、登録者情報として、顔画像そのものと、顔画像から抽出された特徴量とが利用される。このうち、顔照合処理に利用されるのは特徴量だけであり、顔画像が必要な処理が発生する頻度は非常に少ない。よって顔照合の処理速度の観点からは、特徴量のデータ利用が容易であれば足り、顔画像のデータ利用が困難であっても支障はない。その一方で、保護の必要性という観点から考えると、顔画像は極めて重要であるのに対し、特徴量の保護の必要性は小さいと考えられる。その理由は、特徴量はコンピュータプログラムが利用するためのデータ（数値や記号などで表現されるデータ）であり、人がそのデータ内容を見ても特定の個人を識別することができないこと、特徴量のデータから元の顔画像を復元することも不可能であること、他のコンピュータプログラムにはほとんど利用価値のないデータであること、などである。

以上のことから、本発明者らは、登録者の顔画像と特徴量とを論理的または／および物理的に分離して管理するという構成を採用することとした。これにより、照合処理におけるデータ利用を阻害することなく、登録者の顔画像の保護強化を図ることが可能となる。

具体的には、本発明の顔照合システムは、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備える。

本発明の第１態様では、少なくとも前記特徴量抽出手段、前記登録者特徴量記憶手段、および前記照合手段が第１の装置で構成されており、前記登録者顔画像記憶手段が、前記第１の装置よりもセキュリティレベルの高い場所に保管される第２の装置で構成されている。なお、前記撮像手段は、前記第１の装置に有線もしくは無線で接続されるか、前記第１の装置に具備される。

顔照合処理を担う第１の装置は、撮像手段から顔画像を取得する関係で、前記のように効率性を重視するならば認証サーバ等は利用せずに撮像手段と同じかもしくは近い場所に設置せざるを得ない。それゆえ、運用上、第１の装置はセキュリティレベルの低い場所に
設置されることが多く、また、その設置場所は他者に推測されやすい。したがって、盗難や攻撃の対象となり得るのは、第１の装置と考えられる。上記本発明の構成によれば、たとえ第１の装置が盗難や攻撃にあったとしても、第１の装置には登録者の顔画像が格納されていないため、顔画像が漏洩することはない。しかも第２の装置はセキュリティレベルの高い場所に保管されているので、第２の装置に対する盗難や攻撃の危険性を可及的に小さくすることができる。なお、前述のとおり、顔画像の利用頻度（第２の装置の利用頻度）は低いため、第２の装置に関しては、利用のしやすさよりも安全であることが優先される。

上記第１態様において、前記第１の装置は、前記登録者の顔画像を利用する必要が生じた場合に、前記第２の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第２の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータをワークメモリ上で利用することが好ましい。

これにより、第１の装置が登録者の顔画像を利用する際にも、第１の装置には顔画像が保存されない。したがって、万一、第１の装置が第２の装置から登録者の顔画像を取得した状態のときに第１の装置が盗難にあったとしても、顔画像が漏洩するおそれはない。

上記第１態様において、前記第２の装置は複数の記憶装置から構成されており、前記登録者顔画像記憶手段は、前記登録者の顔画像を複数のデータに符号化し、符号化されたそれぞれのデータを前記複数の記憶装置に別々に格納していることが好ましい。なお、顔画像を利用する際は、複数の記憶装置に別々に格納されたデータを全て集めて、それらのデータを復号して登録者の顔画像を復元する。

この構成によると、第１の装置と第２の装置のいずれにも、登録者の顔画像が存在していないため、第１の装置もしくは第２の装置が盗難や攻撃を受けたとしても、顔画像の漏洩を防ぐことができる。

上記第１態様において、前記登録者の顔画像が暗号化されていることが好ましい。万一データが流出したとしても、暗号化されていれば、他者による顔画像の利用を阻害できるからである。

また本発明の第２態様は、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、前記登録者顔画像記憶手段に記憶されている前記登録者の顔画像が暗号化されていることを特徴とする。

この構成によれば、顔照合システムが盗難や攻撃を受けて、登録者の顔画像のデータが登録者顔画像記憶手段から読み出されたとしても、データが暗号化されているので、他者による顔画像の利用を阻害することができる。

また本発明の第３態様は、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶
している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、少なくとも前記登録者顔画像記憶手段が、耐タンパ性を有するハードウエアで構成されていることを特徴とする。

この構成によれば、登録者顔画像記憶手段に対する内部解析やデータの読み出しが阻害されるので、顔照合システムが盗難を受けたとしても、登録者の顔画像の流出を防止することができる。

本発明は、上記手段の少なくとも一部を有する顔照合システムとして捉えてもよいし、上記処理の少なくとも一部を含む顔照合システムにおける顔画像保管方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することが可能である。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

（機能構成）
図１は本発明の実施形態に係る顔照合システムの基本構成を示すブロック図である。まずは図１を用いて、顔照合システムの基本構成を説明する。

この顔照合システムは、顔画像を用いて照合対象者の本人認証や個人識別（人物同定）を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置、店舗において顧客情報を収集する装置など、様々な用途に応用可能である。

顔照合システムは、その機能として、撮像部１０、顔検出部１１、特徴量抽出部１２、登録者顔画像記憶部１３、登録者特徴量記憶部１４、照合部１５、表示部１６を備えている。

撮像部１０は、対象者の顔を撮影し画像を取り込む機能である。撮像部１０には、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。顔検出部１１は、取り込まれた画像から対象者の顔を検出する機能である。特徴量抽出部１２は、顔画像から対象者の特徴量を抽出する機能である。ここで抽出される対象者の特徴量が、システムに予め登録されている登録者の特徴量と比較照合され、本人認証や個人識別が行われる。登録者顔画像記憶部１３は、登録者の顔画像を記憶しているデータベースであり、登録者特徴量記憶部１４は、登録者の顔画像から抽出された特徴量を記憶しているデータベースである。登録者の顔画像の登録、ならびに特徴量の抽出および登録は、顔照合処理に先立ち行われているものとする。照合部１５は、対象者の特徴量と登録者の特徴量とを比較することにより、対象者が登録者と同一人か否かを判断する機能である。表示部１６は、照合結果を表示し確認したり、新規登録者の追加や登録情報の確認・編集などのメンテナンス画面を表示したりするための機能である。表示部１６には、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。

これらの機能要素は、演算処理装置（コンピュータ）がソフトウエア（プログラム）を実行し、必要に応じて、カメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素の少なくとも一部を専用のチップで構成しても構わない。なお、図１は顔照合システムの機能要素の論理的な構成を示すものであり、物理的な装置構成（ハードウエア構成）を示すものではない。以下、物理的な装置構成の例を示す。

（装置構成１）
図２は、顔照合システムの装置構成１を示す図である。装置構成１では、一つのコンピュータ（照合端末）とカメラとディスプレイにより顔照合システムが構成されている。なおカメラやディスプレイが一体化されているコンピュータを利用することも可能である。登録者顔画像記憶部１３および登録者特徴量記憶部１４の両データベースは、この照合端末が具備する記憶装置（ハードディスク、半導体メモリなど）内に構築される。

照合端末は、カメラから画像を取得する関係で、カメラと同じかもしくは近い場所に設置せざるを得ない。それゆえ、照合端末は、運用上、比較的セキュリティレベルの低い場所に設置されることが多く、またその設置場所は他者に推測されやすい。したがって、照合端末が盗難や攻撃を受けた場合に備えて、個人情報保護策を講じておくことは重要である。

顔照合システムでは、登録者情報として、顔画像そのものと、顔画像から抽出された特徴量とが利用される。このうち、顔照合処理に利用されるのは特徴量だけであり、顔画像が必要な処理が発生する頻度は非常に少ない。よって顔照合の処理速度の観点からは、特徴量のデータ利用が容易であれば足り、顔画像のデータ利用が困難であっても支障はない。その一方で、保護の必要性という観点から考えると、顔画像は極めて重要であるのに対し、特徴量の保護の必要性は小さいと考えられる。その理由は、特徴量はコンピュータプログラムが利用するためのデータ（数値や記号などで表現されるデータ）であり、人がそのデータ内容を見ても特定の個人を識別することができないこと、特徴量のデータから元の顔画像を復元することも不可能であること、他のコンピュータプログラムにはほとんど利用価値のないデータであること、などである。

そこで装置構成１では、登録者顔画像記憶部１３に記憶させる登録者の顔画像を暗号化しておく。暗号方式は、既存のどのような技術が適用されてもよい。これにより、たとえ照合端末が盗難や攻撃を受けて、登録者の顔画像のデータが記憶装置から読み出されたとしても、他者による顔画像の利用を阻害することができる。一方、登録者特徴量記憶部１４に記憶させる特徴量については、暗号化しない。これにより、顔照合の処理時間の短縮を図ることができる。

（装置構成２）
装置構成２も、装置構成１（図２参照）と同様、照合端末の記憶装置に登録者の顔画像を保存する構成である。そして、個人情報保護策として、照合端末（あるいは記憶装置）を耐タンパ性を有するハードウエアで構成する。例えば、照合端末の外装を開けたり、記憶装置を取り外したり、記憶装置から不正な手順でデータを読み出したりすると、装置あるいはデータが自動的に破壊される仕組みを設けるとよい。なおハードウエアやソフトウエアの耐タンパ性を実現する具体的な仕組みについては、既存のどのような技術が適用されてもよい。

この構成によれば、記憶装置に対する内部解析やデータの読み出しが阻害されるので、たとえ照合端末が盗難を受けたとしても、登録者の顔画像の流出を防止することができる。なお、装置構成１と同様、登録者の顔画像を暗号化するとより好ましい。複数の保護策
を組み合わせることで安全性がさらに高まるからである。

（装置構成３）
図３は、顔照合システムの装置構成３を示す図である。装置構成３では、登録者の顔画像と特徴量とが物理的に分離して管理される。すなわち、顔照合システムを照合端末（第１の装置）と画像端末（第２の装置）で構成し、登録者の特徴量（登録者特徴量記憶部１４）は照合端末に保存し、登録者の顔画像（登録者顔画像記憶部１３）は画像端末に保存する。照合端末内の特徴量と画像端末内の顔画像とは、登録者ＩＤのような識別子により互いにひも付けされている。この場合も、顔画像が暗号化されているとよい。

画像端末は、照合端末とは別に、照合端末が設置されている場所よりもセキュリティレベルの高い場所に保管される。画像端末自体の盗難や攻撃を可及的に回避するためである。またネットワークを通じた攻撃を可及的に回避するため、照合端末と画像端末との間はデフォルトで非接続状態にしておくことが好ましい。

照合端末側で登録者の顔画像を利用する必要が生じた場合、照合端末と画像端末との間にデータ通信のための暗号化通信路を構築する。この暗号化通信路は照合端末と画像端末の間でしか確立できないようにしておく。暗号化のキーとして、照合端末もしくは画像端末のプログラムＩＤや、照合端末もしくは画像端末の設置場所のＩＤ（例えば端末に内蔵したＧＰＳ機能で取得する）などを用いることもできる。これにより照合端末と画像端末との間で顔画像を安全に伝送できる。

照合端末は、暗号化通信路を通じて画像端末から登録者の顔画像を取得すると、そのデータをワークメモリ上で展開し（必要に応じて復号し）、利用する。このとき、ハードディスクや不揮発性メモリなどのデータが残る記録媒体には、顔画像のデータを保存しない。

このような構成によれば、たとえ照合端末が盗難や攻撃にあったとしても、照合端末には登録者の顔画像が格納されていないため、顔画像が漏洩することはない。しかも画像端末はセキュリティレベルの高い場所に保管されているので、画像端末に対する盗難や攻撃の危険性を可及的に小さくすることができる。なお、前述のとおり、顔画像の利用頻度（画像端末の利用頻度）は低いため、画像端末に関しては、利用のしやすさよりも安全であることが優先される。

また、照合端末が登録者の顔画像を利用する際にも、照合端末には顔画像が保存されないので、万一、画像端末から登録者の顔画像を取得した状態のときに照合端末が盗難にあったとしても、顔画像が漏洩するおそれはない。

（装置構成４）
装置構成４では、登録者の顔画像を、セキュリティの確保された画像サーバにより管理する。その他の点は装置構成３（図３参照）と同様である。装置構成４の場合も装置構成３と同様の顔画像の保護が図られる。

なお、装置構成３、４では、照合端末が必要な顔画像を入手し、表示しているが、照合端末とは別に表示専用の表示端末を設けてもよい。例えば、照合端末側で登録者の顔画像を閲覧する必要が生じた場合に、画像端末もしくは画像サーバから当該利用者の顔画像を表示端末に伝送し、表示するのである。表示端末としては、照合端末とは別体の装置を用い、好ましくは、ユーザにより持ち運び可能な端末であるとよい。例えば携帯電話や携帯情報端末などを表示端末して利用することができる。この構成によると、照合端末には一切顔画像が伝送されないので、安全性をさらに高めることができる。

（装置構成５）
図４は、顔照合システムの装置構成５を示す図である。装置構成５では、画像サーバが画像の管理を担うメインサーバと複数のデータサーバ（記憶装置）から構成されている。

メインサーバは、所定の符号化ルールに従って、顔画像を複数のデータに符号化（変換）する。符号化されたそれぞれのデータは、各データサーバに別々に格納される。この符号化されたデータは、例えば、画像の部分的な画素情報をランダムに配置したり暗号化したデータであって、そのデータだけでは元の顔画像の復元ができない形式のデータである。照合端末側で顔画像を利用する必要が生じた場合は、メインサーバが各データサーバに格納されたデータを全て集めて、それらのデータを復号して登録者の顔画像を復元する。なお、データの格納先の情報や符号化および復号のルールなどは、メインサーバが管理している。

この構成によると、照合端末と各サーバのいずれにも、完全な形の顔画像が存在していない。よって、照合端末やいずれかのサーバが盗難や攻撃を受けたとしても、顔画像が漏洩することはない。なおメインサーバとデータサーバの全てに侵入して必要なデータを収集し、さらに画像の復元ルールを解読すれば、顔画像の入手が可能ではあるが、現実的にはそのような攻撃は不可能に近い。

（顔照合処理）
図５のフローチャートに沿って、顔照合処理の一例を説明する。

撮像部１０は定期的に（もしくはユーザによる撮影指示に従って）撮影を実行し、顔照合に用いるための画像を取り込む（ステップＳ１０）。取り込まれた画像は、メモリに一時的に格納され、以降の顔照合処理に供される。またこの画像は必要に応じて表示部１６に表示され、ユーザが照合用の画像や対象者の顔を確認するために利用される。

次に、顔検出部１１が、画像から対象者の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。ここで検出された顔を含む部分画像を顔画像とよぶ。顔検出部１１による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定してもよいし、不適切な画像であるとして顔照合処理を中断してもよい。

特徴量抽出部１２は、まず顔画像から複数の特徴点を検出する（ステップＳ１２）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。

続いて、特徴量抽出部１２は、検出された特徴点をもとに特徴量を抽出する（ステップＳ１３）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして照合画像から抽出された特徴量の組（特徴量ベクトル）は、顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって特徴量ベクトルの傾向（向き、大きさ）が相違する。

次に、照合部１５は、ステップＳ１３で得られた対象者の特徴量を、登録者特徴量記憶部１４に登録されている登録者の特徴量と比較する（ステップＳ１４）。この比較処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、対象者の特徴量と登録者（本人）の特徴量との類似度（スコア）を算出し、その類似度が所定の閾値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度（スコア）を算出し、類似度の大きさに基づいて対象者がどの登録者に該当するかを判定すればよい。

顔照合処理の判定結果として登録者の顔画像を表示する場合、登録者顔画像記憶部１３から該当する顔画像を取得する（ステップＳ１５）。このとき、装置構成３〜５のように照合端末内に顔画像が保存されていない場合には、ネットワークを通じて、画像端末もしくは画像サーバから顔画像を取得する。そして必要に応じて顔画像を復号し、表示部に表示する（ステップＳ１６）。なお、顔画像の表示が不要な場合には、ステップＳ１５、Ｓ１６の処理は実行されない。

（新規登録処理）
次に、装置構成４を例にとり、新規登録処理の一例を説明する。

図６は、照合端末の機能を登録処理に利用する場合の処理例を示している。（１）まず、照合端末のカメラにより、新規登録者の顔を撮影し、照合端末に画像を取り込む。（２）次に、顔検出部１１が顔を検出し、特徴量抽出部１２がその顔画像から特徴量を抽出する。（３）この登録者に新規のＩＤを付与し、特徴量をそのＩＤとともに登録者特徴量記憶部１４に保存する。（４）顔画像は暗号化し、ＩＤとともに画像サーバに送信する。（５）画像サーバ内の登録者顔画像記憶部１３に顔画像が登録されたら、照合端末内の顔画像を破棄する。このような処理により、登録者の顔画像と特徴量とを別々に管理可能となる。

なお図６は処理の一例にすぎない。最終的に顔画像と特徴量とが分離して管理されれば、どの装置がどのような手順で新規登録処理を実行しても構わない。図７と図８に変形例を示す。

図７は、登録専用端末を用いる場合の処理例である。登録専用端末は、カメラとディスプレイを備えるコンピュータで構成され、少なくとも、照合端末の撮像部、顔検出部、特徴量抽出部と同等の機能を備えている。（１）まず、登録専用端末のカメラにより、新規登録者の顔を撮影し、登録専用端末に画像を取り込む。（２）次に、登録専用端末で顔検出および特徴量の抽出を行う。（３）登録専用端末が新規のＩＤを付与し、特徴量とＩＤを照合端末に送信する。（４）登録専用端末が顔画像を暗号化し、暗号化された顔画像とＩＤを画像サーバに送信する。（５）特徴量の登録と顔画像の登録が完了したら、登録専用端末内の顔画像を破棄する。

図８は、撮影専用端末を用いる場合の処理例である。この例では、画像サーバが照合端末の顔検出部および特徴量抽出部と同等の機能を備えている。（１）まず、撮影専用端末
のカメラにより、新規登録者の顔を撮影する。（２）撮影専用端末は、画像を画像サーバに送信した後、画像を破棄する。（３）画像サーバは画像から顔検出および特徴量の抽出を行う。（４）画像サーバが顔画像を暗号化し、付与したＩＤとともに顔画像を登録する。（５）画像サーバが特徴量をＩＤとともに照合端末に送信する。

（登録情報の編集処理）
次に、装置構成４を例にとり、登録情報の編集処理の一例を説明する。

図９は、照合端末上で登録情報の確認・編集を行う場合の処理例を示している。（１）ユーザは、照合端末の登録者特徴量記憶部に登録されている登録者の中から、編集の対象となる人物を選択する。（２）照合端末は、選択された人物のＩＤを用いて、画像サーバから該当人物の顔画像を取得する。（３）照合端末は、必要に応じて顔画像を復号し、表示部に顔画像を含む登録者の情報を表示する。（４）ユーザが登録者の情報を編集（削除等）すると、その編集結果が必要に応じて画像サーバに反映される。（５）編集完了後、照合端末内の顔画像を破棄する。

以上述べたように、本実施形態の顔照合システムによれば、照合端末が盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することができる。しかも、顔照合処理に利用される特徴量については、照合端末内に保存しているため、顔照合処理におけるデータ利用を阻害したり、処理速度の低下を招いたりすることがない。

なお、上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。例えば以下に述べるような対策を適宜追加することにより、安全性をさらに高めることができる。

（追加的対策）
照合端末とディスプレイとを接続する信号線（ケーブル）が露出している場合、照合端末からディスプレイに顔画像表示信号を転送する際に信号線から表示信号が傍受されるおそれがある。これを防ぐ対策としては、例えば、（１）信号線を電波シールドする、（２）照合端末とディスプレイを一体化して信号線をなくす（隠す）、（３）照合端末からディスプレイに送信する表示信号を暗号化する、（４）照合端末からディスプレイへの表示信号の伝送を、仕様が公開されていない独自のプロトコルで行う、などの対策を取り得る。

またディスプレイに顔画像を表示するときに、画面のハードコピーをとられるおそれがある。その対策としては、例えば、（１）実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像（ノイズを加えるなど）をディスプレイに表示する、（２）実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像（ノイズを加えるなど）を照合端末に送信する、（３）実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像（ノイズを加えるなど）を登録者顔画像記憶部に保存する、などの対策を取り得る。

表示に関する対策としては、他にも、（１）耐タンパ性を有するディスプレイを用いる、（２）ドングル、トークン等の耐タンパ性を有する装置と併用しなければディスプレイに表示できないようにする、（３）ドングル、トークン等の耐タンパ性を有する装置と併用しなければ照合端末からディスプレイへの信号伝送が行われないようにする、などが考えられる。

照合端末のメモリから顔画像データが読み出されるのを防ぐために、照合端末は画像サ
ーバとの接続が一定時間（短い時間に設定する）無くなった際にメモリ内のデータを自動消去してもよい。

照合端末が盗難にあった場合の対策として、（１）照合端末が所定の場所に設置されていなければ動作しないように設計されていてもよい。例えば照合端末に内蔵したＧＰＳで位置情報を取得し、照合端末が正しい設置場所にあるか否かを判断することができる。（２）また照合端末の起動時、機能の使用時、画像サーバとの接続時などにパスワードを要求するように設計されていてもよい。（３）また、照合端末の起動時、機能の使用時、画像サーバとの接続時などに、ドングルやトークン等を要求してもよい。（４）また、暗号化のロジックが耐タンパ性をもつ回路に保持されていることも好ましい。

画像サーバへの不正なアクセスを防止するための対策として、（１）画像サーバがＯＳＩ参照モデルにおける物理層からアプリケーション層のいずれかにおいて接続の正当性を検証することにより、所定のハードウエアもしくはアプリケーションとのみ通信を行うように設計されているとよい。（２）また、画像サーバに対する同時接続数が１もしくは少数に限定されているとよい。（３）また、画像サーバが通信遮断の機能を備えていることも好ましい。通信遮断は一定数以上の接続があったときに先の要求から順に行うとよい。また通信遮断は所定のネットワーク上の場所以外の場所からの接続に対して行うこともできる。また一定回数以上の接続失敗があったときに通信拒否を行ってもよい。また新たな接続があったときにメール等により管理者に連絡を行ったり、ログを保存してもよい。

図１は、本発明の実施形態に係る顔照合システムの基本構成を示すブロック図である。 図２は、顔照合システムの装置構成１を示す図である。 図３は、顔照合システムの装置構成３を示す図である。 図４は、顔照合システムの装置構成５を示す図である。 図５は、顔照合処理の一例を示すフローチャートである。 図６は、新規登録処理の一例を示す図である。 図７は、新規登録処理の一例を示す図である。 図８は、新規登録処理の一例を示す図である。 図９は、登録情報の編集処理の一例を示す図である。

符号の説明

１０ 撮像部
１１ 顔検出部
１２ 特徴量抽出部
１３ 登録者顔画像記憶部
１４ 登録者特徴量記憶部
１５ 照合部
１６ 表示部

Claims (6)

1. 顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、
   前記対象者の顔を撮影する撮像手段と、
   前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、
   前記登録者の顔画像を記憶している登録者顔画像記憶手段と、
   前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、
   前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、
   少なくとも前記特徴量抽出手段、前記登録者特徴量記憶手段、および前記照合手段が第１の装置で構成されており、
   前記登録者顔画像記憶手段が、前記第１の装置よりもセキュリティレベルの高い場所に保管される第２の装置で構成されており、
   前記第１の装置は、前記登録者の顔画像を利用する必要が生じた場合に、前記第２の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第２の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用することを特徴とする顔照合システム。
2. 前記顔照合システムに新規登録者の情報を登録する処理が、前記第１の装置又は登録専用端末によって行われ、
   前記第１の装置又は前記登録専用端末は、前記新規登録者の顔画像から特徴量を抽出して該特徴量を前記第１の装置の前記登録者特徴量記憶手段に登録すると共に、前記新規登録者の顔画像を前記第２の装置の前記登録者顔画像記憶手段に登録し、前記登録者顔画像記憶手段への前記新規登録者の顔画像の登録が行われたら前記第１の装置内又は前記登録専用端末内の前記新規登録者の顔画像を破棄する
   ことを特徴とする請求項１に記載の顔照合システム。
3. 前記第２の装置は複数の記憶装置から構成されており、
   前記登録者顔画像記憶手段は、前記登録者の顔画像を複数のデータに符号化し、符号化
   されたそれぞれのデータを前記複数の記憶装置に別々に格納していることを特徴とする請求項１または２に記載の顔照合システム。
4. 前記登録者の顔画像が暗号化されていることを特徴とする請求項１〜３のいずれかに記載の顔照合システム。
5. 顔画像から得られる情報により対象者を登録者と照合する顔照合システムの制御方法であって、
   前記顔照合システムが、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段を有する第１の装置と、前記第１の装置よりもセキュリティレベルの高い場所に保管され、前記登録者の顔画像を記憶している登録者顔画像記憶手段を有する第２の装置とから構成されており、
   前記第１の装置が、前記対象者の顔を撮影するステップと、
   前記第１の装置が、撮影された前記対象者の顔画像から特徴量を抽出するステップと、
   前記第１の装置が、抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断するステップと、
   前記第１の装置において前記登録者の顔画像を利用する必要が生じた場合に、前記第１の装置が、前記第２の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第２の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用するステップと、
   を有することを特徴とする顔照合システムの制御方法。
6. 前記第１の装置又は登録専用端末が、前記顔照合システムに新規登録者の情報を登録する新規登録ステップをさらに有し、
   前記新規登録ステップにおいて、前記第１の装置又は前記登録専用端末は、前記新規登録者の顔画像から特徴量を抽出して該特徴量を前記第１の装置の前記登録者特徴量記憶手段に登録すると共に、前記新規登録者の顔画像を前記第２の装置の前記登録者顔画像記憶手段に登録し、前記登録者顔画像記憶手段への前記新規登録者の顔画像の登録が行われたら前記第１の装置内又は前記登録専用端末内の前記新規登録者の顔画像を破棄する
   ことを特徴とする請求項５に記載の顔照合システムの制御方法。

Images