以下、添付の図面を用いて、本実施形態にかかる情報処理方法および情報処理システムについて説明する。
(第1の実施形態)
図1は、第1の実施形態にかかる情報処理方法を適用した情報処理システムの構成を示す図である。本実施形態にかかる情報処理システム1は、図1に示すように、第1位置P1を通過する通行者が所持する媒体Mから読み取られた生体情報(第1生体情報の一例)と、第1位置P1を通過する通行者を第1撮像部11により撮像して得られた第1画像G1から取得した生体情報(第2生体情報の一例)とを用いて、通行者を認証する第1認証処理を実行する第1認証装置10と、第1認証処理による通過者の認証に成功した場合、第1認証処理に用いられた2つの生体情報の少なくとも一方に基づいて生成された第3生体情報(以下、認証用特徴情報と言う)を記憶する特徴情報記憶部31を有するサーバ30と、通行者の進行方向において第1位置P1より下流側の第2位置P2を通過する通行者を第2撮像部21により撮像して得られた第2画像G2から取得した生体情報(第4生体情報の一例)と、特徴情報記憶部31に記憶された認証用特徴情報とを用いて、通行者を認証する第2認証処理を実行する第2認証装置20と、を備えている。更に、第1認証装置10と第2認証装置20との認証処理の結果を、管理者向けに表示する管理者モニタとしての第2表示部26を備えている。
ここで、通行者の進行方向において第1位置P1より下流側とは、通行者の通行経路において第1位置P1よりも後に通過する位置である。
すなわち、本実施形態にかかる情報処理システム1は、第1位置P1を通過する通行者に対して第1認証処理を実行した後、第2位置P2を通過する通行者を第2撮像部21により撮像して得られた第2画像G2から取得した生体情報と特徴情報記憶部31に記憶された認証用特徴情報とを用いて、通行者を認証する第2認証処理を実行することで、第2位置P2を通過する通行者が第1位置P1を通過した通行者と同一人物であるか否かを検出する同定処理を行う。
これにより、第1位置P1を通過した後、第2位置P2を通過するまでの間に通行者が入れ替わった場合、第1認証処理による認証に成功したとしても、第2認証処理による認証に失敗するため、通行者の入れ替わりを防止することができる。また、第1位置P1を通過する通行者が所持する媒体Mから読み取られた生体情報を用いて第1認証処理および第2認証処理を実行することにより、サーバ30等の上位機器が有するデータベースから第1,2認証処理に用いる生体情報を検索したり、第1,2認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。
言い換えると、本実施形態にかかる情報処理システム1は、第1認証装置10において実行される第1認証処理(所謂1:1照合)と、第2認証装置20において実行される第2認証処理(所謂1:N照合)とを組み合わせることにより、効率的に通行者の認証を行うシステムである。ここで、第1認証装置10における1:1照合は、図1に示すように、例えば建物の入口やセキュリティ管理エリアの入口等の第2位置P2に通行者が到達する前に、第1位置P1を通過する通行者が所持する媒体Mから読み取った生体情報と、第1位置P1を通過する通過者を第1撮像部11により撮像して得られた第1画像G1から取得した生体情報とを用いた通行者の認証処理である。
一方、第2認証装置20における1:N照合は、図1に示すように、サーバ30の特徴情報記憶部31に記憶されている認証用特徴情報と、第2位置P2を通過する通行者を第2撮像部21により撮像して得られた第2画像G2から取得した生体情報とを用いた通行者の認証処理である。つまり、第2認証装置20における1:N照合では、通行者が所持する媒体Mからの生体情報の読み取りを行わずに、第2撮像部21の撮像により得られた第2画像G2から取得した生体情報が、サーバ30の特徴情報記憶部31に記憶されている認証用特徴情報のいずれかと一致すれば、通行者の認証に成功したと判断する。
そして、第2認証装置20は、1:N照合による認証結果に従って、通行者の通行を制御するための処理を実行する。具体的には、第2認証装置20は、1:N照合による認証に成功した場合、第2位置P2に設けられた入口ゲートをオープンしたり、第2位置P2に設けられた扉の鍵を開錠したりして、通行者の通行を許可する処理を実行する。一方、第2認証装置20は、1:N照合による認証に失敗した場合、第2位置P2に設けられた入口ゲートを閉じたり、第2位置P2に設けられた扉の鍵の開錠を禁止したりして、通行者の通行を禁止する処理を実行する。第2認証装置20は、第2位置P2に入口ゲートや扉が設けられていない場合、認証に失敗したことを通知するためのメッセージ(警報)を管理者モニタとしての第2表示部26(図1及び図7参照)に表示させたり、外部端末に当該警報を通知したり、認証に失敗した通行者の画像(例えば、第2画像G2に含まれる顔画像)を記憶しておく等の処理を、通行者の通行を禁止する処理として実行する。
本実施形態にかかる情報処理システム1によれば、第2位置P2を通過する通行者が所持する媒体Mからの生体情報の読み取りを行わずに、第2位置P2を通過する通行者の認証を行うことができ、かつ通行者の認証に要する時間の短縮のために第2認証処理を簡潔なものに切り替える必要がなくなるので、多数の通行者が第2位置P2を通過する場合に、通行者の滞りの発生および通行者の認証精度の低下を防止することができる。
本実施形態にかかる情報処理システム1は、公共施設、重要施設、オフィスビル、商業施設などの多数の通行者が通行する施設に設置される入退室管理システムや映像監視システム等に適用可能である。以下の説明では、通行者の認証処理に用いる生体情報として通行者の顔画像の特徴情報を用いる例について説明するが、これに限定するものではなく、例えば、虹彩,指紋,静脈,掌紋,耳型などの通行者の身体の情報を生体情報として用いても良い。
次に、図2を用いて、本実施形態にかかる情報処理システム1の機能的構成について説明する。図2は、第1の実施形態にかかる情報処理システムの機能的構成を示すブロック図である。
第1認証装置10は、図2に示すように、第1位置P1を通過する通行者を撮像可能に設けられた第1撮像部11と、後述する識別情報読取部14により特徴情報が読み取られた際に第1撮像部11の撮像により得られた第1画像G1を取得する第1画像取得部12と、第1画像取得部12により取得した第1画像G1から通行者の顔画像の特徴情報(第2生体情報の一例)を取得(抽出)する第1顔特徴抽出部13と、第1位置P1を通過する通行者が所持する媒体Mから特徴情報(第1生体情報の一例)を読取可能に設けられた識別情報読取部14(読取部の一例)と、第1顔特徴抽出部13により取得した特徴情報と識別情報読取部14により読み取った特徴情報とを用いて、通行者を認証する第1認証処理を実行する第1通行者認証部15と、当該第1通行者認証部15による通行者の認証結果を出力する第1出力部16と、を備えている。
サーバ30は、図2に示すように、第1認証装置10(第1通行者認証部15)による第1認証処理に用いられた2つ特徴情報(第1画像G1から取得した特徴情報および媒体Mから読み取られた特徴情報)の少なくとも一方に基づく第3生体情報の一例である認証用特徴情報(本実施形態では、第1画像G1から取得した特徴情報または媒体Mから読み取られた特徴情報)を記憶する特徴情報記憶部31(記憶部の一例)を有している。
第2認証装置20は、図2に示すように、第2位置P2を通過する通行者を撮像可能に設けられた第2撮像部21と、当該第2撮像部21の撮像により得られた第2画像G2を取得する第2画像取得部22と、当該第2画像取得部22により取得した第2画像G2から通行者の顔画像の特徴情報(第4生体情報の一例)を取得(抽出)する第2顔特徴抽出部23と、当該第2顔特徴抽出部23により取得した特徴情報と特徴情報記憶部31に記憶された認証用特徴情報とを用いて、通行者を認証する第2認証処理を実行する第2通行者認証部24と、当該第2通行者認証部24による通行者の認証結果を出力する第2出力部25と、を備えている。なお、第1認証装置10の第1出力部16と、第2認証装置20の第2出力部25とは第1表示部17を介して接続されている。
次に、図2および図4を用いて、本実施形態にかかる情報処理システム1が有する第1認証装置10における通行者の認証処理について詳細に説明する。図4は、第1の実施形態にかかる情報処理システムが有する第1認証装置における通行者の認証処理の流れを示すフローチャートである。
識別情報読取部14は、カードリーダ等により構成され、第1位置P1を通過する通行者が所持する媒体M(例えば、通行者を識別するためのIDカード、RFID(Radio Frequency Identification)チップを備えたカード、鍵、身分証明書やパスポート等の公的な本人確認用媒体など、通行者の特徴情報を読み取り可能とする媒体)から、1つの特徴情報および通行者を識別可能とする識別情報を読み取る(ステップS401)。本実施形態では、識別情報には、通行者の識別番号(ID番号),氏名,性別,年齢,所属,経歴,身長,通行者の顔画像の画像データなど当該通行者を識別可能とする情報が含まれる。
また、本実施形態では、識別情報読取部14は、第1認証装置10以外の外部装置によって媒体Mに記憶(または印刷)された特徴情報を読み取っているが、媒体Mに特徴情報を取得可能な画像(例えば、通行者の顔画像など)が印刷されていたり若しくは媒体Mに特徴情報を取得可能な画像の画像データが記憶されていたりする場合には、媒体Mに印刷された画像若しくは媒体Mに記憶されている画像データに基づく画像から、特徴情報を取得しても良い。その際、識別情報読取部14は、後述する第1顔特徴抽出部13と同様にして、媒体Mに印刷された画像若しくは媒体Mに記憶されている画像データに基づく画像から、特徴情報を取得する。
第1画像取得部12は、識別情報読取部14により識別情報が読み取られた際に第1撮像部11の撮像により得られた第1画像G1(言い換えると、識別情報読取部14により特徴情報が読み取られた媒体Mを所持する通行者を撮像して得られた画像)を取得する(ステップS402)。本実施形態では、第1撮像部11は、例えばITV(Industrial Television)カメラ等により構成され、第1位置P1を通過する通行者の身体のうち特徴情報の取得に必要な部位(本実施形態では、通行者の顔)を撮像可能に設けられている。また、本実施形態では、第1撮像部11は、レンズを通して得られた光学的な情報を、A/D変換器によりデジタル化した画像データを所定のフレームレートで生成して第1画像取得部12に出力する。
第1顔特徴抽出部13は、第1画像取得部12により取得された第1画像G1から、当該第1画像G1に含まれる通行者の顔画像の特徴情報を取得する(ステップS403)。本実施形態では、第1顔特徴抽出部13は、取得した第1画像G1内において、第1認証装置10に予め記憶された顔検出用のテンプレートを当該第1画像G1内で移動させながら当該第1画像G1とテンプレート間の相関値(相関係数)を求める。そして、第1顔特徴抽出部13は、第1画像G1内において、テンプレートとの相関値が最も高い位置を顔画像として検出する。本実施形態では、第1顔特徴抽出部13は、予め記憶された顔検出用のテンプレートを用いて、第1画像G1から顔画像を検出しているが、これに限定するものではなく、例えば周知の固有空間法や部分空間法を用いて、第1画像G1から顔画像を検出しても良い。
また、第1顔特徴抽出部13は、第1撮像部11から出力された所定のフレームレートの画像データに基づく複数のフレーム画像(第1画像G1)に同一の通行者の顔画像が連続して含まれている場合、その顔画像を、同一の通行者の顔画像として検出する追跡処理を行う必要がある。本実施形態では、第1顔特徴抽出部13は、日本特許第5355446号等に記載される方法を用いて、一のフレーム画像から検出した顔画像が、次のフレーム画像においてどの位置に存在するかを推定することにより、複数のフレーム画像に連続して含まれる顔画像を、同一の通行者の顔画像として検出する。
次いで、第1顔特徴抽出部13は、日本特許第3279913号等に記載される方法を用いて、検出した顔画像から、目や鼻等の顔の部位の位置を検出する。第1顔特徴抽出部13は、上述した追跡処理によって複数のフレーム画像に連続して含まれる顔画像を同一の通行者の顔画像として検出した場合、同一の通行者の顔画像を含む複数のフレーム画像のうちいずれか若しくは当該複数のフレーム画像の全てから検出された顔画像を用いて、顔の部位の位置を検出する。
第1顔特徴抽出部13は、顔の部位の位置を検出すると、検出した顔の部位の位置に基づいて、通行者の顔画像の特徴情報を取得し、当該取得した特徴情報を数値化して第1通行者認証部15に出力する。具体的には、第1顔特徴抽出部13は、検出した顔の部位に基づいて、第1画像G1から、所定の大きさおよび所定の形状の顔画像を切り出し、切り出した顔画像の濃淡情報を特徴情報として取得する。例えば、第1顔特徴抽出部13は、検出した顔の部位の位置に基づいて第1画像G1から切り出したmピクセル×nピクセルの矩形形状の顔画像の濃淡情報を、m×n次元の特徴ベクトル(特徴情報の一例)として取得する。
また、第1顔特徴抽出部13は、日本特許第4087953号等に記載された部分空間方法を用いて、第1画像G1が含む顔画像の特徴を示す部分空間を特徴情報として取得しても良い。
第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報と、識別情報読取部14により読み取られた特徴情報とを用いて、通行者を認証する第1認証処理を実行する(ステップS404)。言い換えると、第1通行者認証部15は、第1画像G1から取得した特徴情報と、識別情報読取部14により媒体Mから読み取った特徴情報とが同一人物の特徴情報であるか否かを判定する。これにより、サーバ30等の上位機器が有するデータベースから第1認証処理に用いる特徴情報を検索したり、第1認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。
本実施形態では、第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報と、識別情報読取部14により読み取られた特徴情報との類似度を算出する。具体的には、第1通行者認証部15は、第1特徴抽出部13により取得された特徴情報と、識別情報読取部14により読み取られた特徴情報との類似性指標の算出を行う。ここで、類似性指標とは、第1顔特徴抽出部13により抽出された特徴ベクトルや部分空間等の特徴情報と、識別情報読取部14により読み取られた特徴ベクトルや部分空間等の特徴情報とに基づく、単純類似度法による2つの特徴ベクトル間の類似度または部分空間法による部分空間同士の類似度である。
例えば、第1通行者認証部15は、第1顔特徴抽出部13により抽出された特徴ベクトルおよび識別情報読取部14により読み取られた特徴ベクトルそれぞれの長さを「1」とするように正規化し、その内積を特徴ベクトル間の類似度として算出する。また、第1通行者認証部15は、日本特許第4087953号に記載の部分空間法,複合類似度法等を用いて、第1顔特徴抽出部13により取得された部分空間と識別情報読取部14により読み取られた部分空間のなす角度を類似度として算出する。
また、第1通行者認証部15は、単純類似度法による2つの特徴ベクトル間の類似度および部分空間法による部分空間同士の類似度以外の類似性指標として、第1顔特徴抽出部13により取得された特徴情報および識別情報読取部14により読み取られた特徴情報により構成される特徴空間におけるユークリッド距離やマハラノビス距離等の距離に基づく、2つの特徴情報の類似度を用いることも可能である。特徴空間におけるユークリッド距離やマハラノビス距離等の距離に基づいて、2つの特徴情報の類似度を判断する場合、距離の値が大きくなるに従って類似度が低くなり、距離の値が小さくなるに従い類似度が高くなる。
そして、第1通行者認証部15は、算出した類似度が所定の第1閾値を超えている場合には、通行者の認証に成功したと判断する(ステップS405:Yes)。一方、第1通行者認証部15は、算出した類似度が所定の閾値以下である場合には、通行者の認証に失敗したと判断する(ステップS405:No)。
第1通行者認証部15(記憶制御部の一例)は、通行者の認証に成功した場合(ステップS405:Yes)、第1認証処理に用いた2つの特徴情報の少なくとも一方に基づく認証用特徴情報を、サーバ30の特徴情報記憶部31に記憶(保存)する(ステップS406)。一方、第1通行者認証部15は、通行者の認証に失敗した場合(ステップS405:No)、認証用特徴情報の特徴情報記憶部31への記憶を禁止する。本実施形態では、第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報または識別情報読取部14により読み取られた特徴情報を認証用特徴情報として特徴情報記憶部31に記憶させる。その際、第1通行者認証部15は、識別情報読取部14により読み取られた識別情報と対応付けて、認証用特徴情報を特徴情報記憶部31に記憶させる。本実施形態では、第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報または識別情報読取部14により読み取られた特徴情報そのものを認証用特徴情報として特徴情報記憶部31に記憶させているが、特徴情報の一例である特徴ベクトルや部分空間を算出するための相関行列を認証用特徴情報として特徴情報記憶部31に記憶させても良い。
また、本実施形態では、第1通行者認証部15は、識別情報読取部14により読み取られた識別情報に対応付けて、認証用特徴情報と、第1画像G1に含まれる通行者の顔画像の画像データと、第1認証処理を実行した時刻に関する時刻情報と、第1認証処理を実行した第1認証装置10を識別可能とする装置情報と、を特徴情報記憶部31に記憶させる。
ところで、第1認証処理に用いた2つの特徴情報のうち識別情報読取部14により読み取られた特徴情報を認証用特徴情報として特徴情報記憶部31に記憶させた場合、第2認証装置20は、第1位置P1を通過した通行者の認証に用いた特徴情報と同一の情報(識別情報読取部14により読み取られた特徴情報)を用いて、通行者の認証を行うことになる。これにより、第1位置P1と第2位置P2との間で通行者の入れ替わりが発生した場合に、第1位置P1を通過した通行者と第2位置P2を通過した通行者とが異なることを検出できる可能性を高くすることができるので、通行者の入れ替わりに対するセキュリティ性を高めることができる。
しかしながら、識別情報読取部14により媒体Mから読み取られる特徴情報は、一般的に、第1認証処理が実行された時点よりも前に通行者を撮像して得られた画像から取得した特徴情報である。そのため、通行者の経年変化等の影響によって通行者を撮像して得られる画像から取得される特徴情報が変化した場合、識別情報読取部14により媒体Mから読み取られた特徴情報は、通行者を撮像して得られる画像から取得される特徴情報との類似度が下がる。すなわち、識別情報読取部14により媒体Mから読み取られる特徴情報は、通行者の経年変化等の影響を受けやすい。
よって、この場合、第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報を認証用特徴情報として特徴情報記憶部31に記憶させる。これにより、第2認証装置20における通行者の認証処理が、第1認証処理を実行した際に通行者を撮像して得られた画像(第1画像G1)から取得した特徴情報を用いて行われ、通行者の経年変化等の影響を軽減することができるので、通行者の認証精度を向上させることができる。
本実施の形態では、通行者の経年変化の影響を軽減するために、図3に示すような経年変化データを旅券に保存された顔画像を紐付してデータとして保存することが出来る。図3に示すように、旅券に保存された顔画像に対して、撮影した時が、1990年1月の時の顔の照合画像、それから10年後の2000年2月の時の顔の照合画像、更に50年後の2050年3月の時の顔の照合画像が変化してくる。このように人物の経年変化に対応するため、旅券画像と撮影画像とを合わせて履歴として記録する。本人照合時は、類似度を時系列順に算出し、それぞれ閾値以上であれば本人とする。例えば、旅券の顔画像をx(0)、履歴に残された顔画像を時系列順にx(1),・・・・・, x(t)、顔画像aと顔画像bとの類似度をS(a, b)、本人であるかどうかを判定する類似度に対する閾値をθとすると、S(x(0), x(1))>θ, S(x(1), x(2))>θ, S(x(2), x(3)>θ, ・・・, S(x(t-1), x(t))>θのときは本人であると判定する。経年変化によってS(x(0), x(t))<θとなって本人を別人と判定する誤りを低減することができる。
例えば、第1通行者認証部15は、媒体Mに記憶(または印刷)された当該媒体Mの発行日が、第1認証処理を実行した日から所定期間遡った日までの日にちである場合、識別情報読取部14により媒体Mから読み取られた特徴情報を認証用特徴情報とする。一方、第1通行者認証部15は、媒体Mの発行日が、第1認証処理を実行した日から所定期間遡った日よりも前の日にちである場合には、第1顔特徴抽出部13により取得した特徴情報を認証用特徴情報としても良い。また、第1通行者認証部15は、第1顔特徴抽出部13により取得された特徴情報および識別情報読取部14により読み取られた特徴情報の両方を含む認証用特徴情報を特徴情報記憶部31に記憶させても良い。この場合、第2認証装置20は、第2位置P2を通過した通行者を第2撮像部21により撮像して得られた第2画像G2から取得される特徴情報(第4生体情報の一例)が、特徴情報記憶部31に記憶された認証用特徴情報に含まれる2つの特徴情報のうちいずれか一方と一致した場合に、通行者の認証に成功したと判断する。これにより、通行者の認証に失敗する可能性を低くすることができる。
また、第1通行者認証部15は、識別情報読取部14により媒体Mから読み取った特徴情報を、第1画像取得部12により取得した第1画像G1に基づいて更新した情報を認証用情報として特徴情報記憶部31に記憶させても良い。これにより、特徴情報記憶部31に記憶された認証用特徴情報を用いた認証処理の際に通行者の経年変化等の影響を軽減することができるので、通行者の認証精度を向上させることができる。
具体的には、第1通行者認証部15は、識別情報読取部14により媒体Mから読み取った特徴情報に、第1画像G1から取得した特徴情報を含めることにより、当該媒体Mから読み取った特徴情報を更新する。または、第1通行者認証部15は、識別情報読取部14により媒体Mから読み取られた特徴情報が部分空間である場合には、当該部分空間の作成に用いられた画像に、第1画像G1を追加して当該部分空間を更新しても良い。または、第1通行者認証部15は、識別情報読取部14により媒体Mから読み取った特徴情報を、第1画像G1から取得した特徴情報により置き換えることにより更新しても良い。
また、第1通行者認証部15は、特徴情報記憶部31に記憶されている複数の認証用特徴情報に対して、当該認証用特徴情報間の識別に不必要な情報を取り除くための処理を実行する。例えば、第1通行者認証部15は、日本特許第4087953号等に記載された制約相互部分空間法を用いて、特徴情報記憶部31に認証用特徴情報として記憶されている特徴ベクトルを、部分空間に射影または変換することにより、特徴情報記憶部31に記憶されている認証用特徴情報間の識別精度を高める。これにより、認証用特徴情報に含まれる不必要な情報を用いて、第2認証処理が実行されることを防止できるので、第2認証処理による通行者の認証精度を向上させることができる。
第1出力部16は、第1通行者認証部15による通行者の認証に成功した場合(ステップS405:Yes)、通行者の認証に成功したことを通知するメッセージを、第1認証装置10が備える第1表示部17(図2及び5参照)に表示させ管理者が見る(ステップS407)。一方、第1出力部16は、第1通行者認証部15による通行者の認証に失敗した場合(ステップS405:No)、通行者の認証に失敗したことを通知するメッセージを、第1認証装置10が備える第1表示部17(図2及び5参照)に表示させる(ステップS408)。
図5は、第1の実施形態にかかる情報処理システムが有する第1認証装置における通行者の認証結果の表示例を示す図である。本実施形態では、第1出力部16は、第1通行者認証部15による通行者の認証に成功した場合、図5に示すように、通行者の認証成功を通知するためのメッセージ501と、第1画像G1に含まれる顔画像である入力画像502と、識別情報読取部14により読み取った特徴情報の取得元の顔画像(本実施形態では、媒体Mから識別情報として読み取った画像データに基づく顔画像)である参照画像503と、を含む第1画面D1を、第1認証装置10が有する第1表示部17に表示させる。第1通行者認証部15による認証に成功した場合、第1画像G1に含まれる顔画像から取得した特徴情報と、識別情報読取部14により読み取った特徴情報とが類似するため、入力画像502と参照画像503も類似する画像となる。
一方、第1出力部16は、第1通行者認証部15による通行者の認証に失敗した場合、通行者の認証失敗を通知するためのメッセージ504と、入力画像502と、参照画像503と、を含む第2画面D2を第1表示部17に表示させる。第1通行者認証部15による認証に失敗した場合、第1画像G1に含まれる顔画像から取得した特徴情報と、識別情報読取部14により読み取った特徴情報とが類似しないため、入力画像502と参照画像503も類似しない画像となる。
本実施形態では、第1出力部16は、第1画面D1または第2画面D2を管理者用モニタとしての第1表示部17に表示させることにより、第1通行者認証部15による通行者の認証結果を通知しているが、これに限定するものではなく、例えば、第1認証装置10が備える図示しないスピーカから音を発したり、第1認証装置10の上位機器(情報処理システム1の管理者が操作する端末)に対して通行者の認証結果を有線または無線通信により送信したりすることにより、通行者の認証結果を通知しても良い。
次に、図2および図5を用いて、本実施形態にかかる情報処理システム1が有する第2認証装置20における通行者の認証処理について詳細に説明する。図6は、第1の実施形態にかかる情報処理システムが有する第2認証装置における通行者の認証処理の流れを示すフローチャートである。
第2画像取得部22は、第2認証装置20が有する図示しない人感センサや赤外線センサ等のセンサによって第2位置P2を通過する通行者が検知されると、第2撮像部21の撮像により得られた第2画像G2を取得する(ステップS601)。本実施形態では、第2撮像部21は、第1撮像部11と同様に、例えばITVカメラ等により構成され、第2位置P2を通過する通行者の身体のうち特徴情報の取得に必要な部位(本実施形態では、通行者の顔)を撮像可能に設けられている。また、本実施形態では、第2撮像部21は、レンズを通して得られた光学的な情報を、A/D変換器によりデジタル化した画像データを所定のフレームレートで生成して第2画像取得部22に出力する。
第2顔特徴抽出部23は、第2画像取得部22により取得された第2画像G2から、当該第2画像G2に含まれる通行者の顔画像の特徴情報を取得する(ステップS602)。本実施形態では、第2顔特徴抽出部23は、第1認証装置10が有する第1顔特徴抽出部13と同様にして、第2画像G2に含まれる通行者の顔画像の特徴情報を取得する。
第2通行者認証部24は、第2顔特徴抽出部23により取得した特徴情報および特徴情報記憶部31に記憶された認証用特徴情報を用いて、通行者を認証する第2認証処理を実行する(ステップS603)。これにより、第2位置P2を通過する通行者が所持する媒体Mからの生体情報の読み取りを行わずに、第2位置P2を通過する通行者の認証を行うことができ、かつ第2位置P2を通過する通行者の認証に要する時間の短縮のために第2認証処理を簡潔なものに切り替える必要がなくなるので、多数の通行者が第2位置P2を通過する場合に、通行者の滞りの発生および通行者の認証精度の低下を防止することができる。
本実施形態では、第2通行者認証部24は、第2顔特徴抽出部23により取得した特徴情報が、特徴情報記憶部31に記憶された認証用特徴情報のいずれかと一致した場合に、通行者の認証に成功したと判断する。ここで、一致とは、第2顔特徴抽出部23により取得した特徴情報と特徴情報記憶部31に記憶された認証用特徴情報とが完全に一致する場合および当該2つの特徴情報が類似する場合(本実施形態では、当該2つの特徴情報の類似度が所定の第2閾値を超えた場合)を含むものとする。
具体的には、第2通行者認証部24は、第1通行者認証部15と同様にして、第2顔特徴抽出部23により取得した特徴情報と、特徴情報記憶部31に記憶された認証用特徴情報それぞれとの類似度を算出する。そして、第2通行者認証部24は、特徴情報記憶部31に記憶された認証用特徴情報のうち、第2顔特徴抽出部23により取得した特徴情報との類似度が最も高い認証用特徴情報を特定する。
そして、第2通行者認証部24は、第2顔特徴抽出部23により取得した特徴情報と、特定した認証用特徴情報との類似度が所定の第2閾値を超えている場合には、通行者の認証に成功したと判断する。一方、第2通行者認証部24は、第2顔特徴抽出部23により取得した特徴情報と、特定した認証用特徴情報との類似度が第2閾値以下となっている場合には、通行者の認証に失敗したと判断する。第2通行者認証部24は、第1認証装置10が有する第1通行者認証部15と同様にして、通行者の認証を行う。ここで、第2閾値は、第1認証装置10における通行者の認証に用いた第1閾値と同じ値としても良いし、第1閾値とは異なる値としても良い。
また、第2通行者認証部24は、通行者の認証に成功した場合、当該第2顔特徴抽出部23により取得した特徴情報と一致した認証用特徴情報を特徴情報記憶部31から消去する。その際、第2通行者認証部24は、第2顔特徴抽出部23により取得した特徴情報と一致した認証用特徴情報と対応付けて記憶された識別情報や画像データや時刻情報や装置情報等の付帯情報も特徴情報記憶部31から消去する。
これにより、通行者の認証に成功した場合に、第2顔特徴抽出部23により取得した特徴情報と一致した認証用特徴情報が、その後に行われる他の通行者の認証に用いられて当該他の通行者の認証が誤って成功することを防止できるので、特徴情報記憶部31に記憶された認証用特徴情報の信頼性を維持することができる。また、通行者の認証に成功した場合に、第2顔特徴抽出部23により取得した特徴情報と一致した認証用特徴情報を、他の通行者を撮像して得られた第2画像G2から取得した特徴情報と一致するか否かの判断対象となることを防止できるので、無駄な判断処理が行われることを防止でき、通行者の認証速度の向上およびリソースの節約を図ることができる。
また、第2通行者認証部24は、特徴情報記憶部31に記憶された認証用特徴情報のうち、特徴情報記憶部31に記憶されてから所定時間経過した認証用特徴情報を特徴情報記憶部31から消去する。本実施形態では、第2通行者認証部24は、特徴情報記憶部31に記憶された認証用特徴情報のうち、当該認証用特徴情報と対応付けて記憶された時刻情報が示す時刻が現在時刻から所定時間遡った時刻までの時刻でない認証用特徴情報を特徴情報記憶部31から削除する。
これにより、第2顔特徴抽出部23により取得した特徴情報と一致するか否かの判断対象となる可能性が低い認証用特徴情報を消去することができるので、特徴情報記憶部31に記憶された認証用特徴情報の信頼性を維持することができる。また、第2顔特徴抽出部23により取得した特徴情報と一致するか否かの判断する際に、無駄な判断処理が行われることを防止でき、通行者の認証速度の向上およびリソースの節約を図ることができる。
また、第2通行者認証部24は、特徴情報記憶部31に記憶された認証用特徴情報のうち、予め設定された第1認証装置10以外の認証装置における通行者の認証に用いられた認証用特徴情報を特徴情報記憶部31から消去する。本実施形態では、第2通行者認証部24は、特徴情報記憶部31に記憶された認証用特徴情報のうち、当該認証用特徴情報と対応付けて記憶された装置情報が示す認証装置が予め設定された第1認証装置10でない場合、当該認証用特徴情報を特徴情報記憶部31から消去する。これにより、予め設定された第1認証装置10以外の認証装置における認証に成功して、特徴情報記憶部31に記憶された認証用特徴情報を用いて通行者の第2認証処理が実行されることを防止できるので、特徴情報記憶部31に記憶された認証用特徴情報の信頼性を維持することができる。
さらに、第2通行者認証部24は、特徴情報記憶部31に記憶されてから所定時間経過している認証用特徴情報と第2顔特徴抽出部23により取得した特徴情報との類似度と比較する第2閾値を、特徴情報記憶部31に記憶されてから所定時間経過していない認証用特徴情報と第2顔特徴抽出部23により取得した特徴情報との類似度と比較する第2閾値よりも高くしても良い。これにより、特徴情報記憶部31に記憶されてから所定時間経過した信頼性の低い認証用特徴情報を用いて通行者の認証が成功する可能性を低くできるので、通行者の認証精度を向上させることができる。
第2出力部25は、第2通行者認証部24による通行者の認証に成功した場合(ステップS604:Yes)、通行者の認証に成功したことを通知するメッセージを、第2表示部26(図1及び7参照)に管理者が見られるように表示させる(ステップS605)。一方、第2出力部25は、第2通行者認証部24による通行者の認証に失敗した場合(ステップS604:No)、通行者の認証に失敗したことを通知するメッセージを、管理者に通知するように第2表示部26(図1及び7参照)に表示させる(ステップS606)。
図7は、第1の実施形態にかかる情報処理システムが有する第2認証装置における通行者の認証結果の表示例を示す図である。本実施形態では、第2出力部25は、第2通行者認証部24による通行者の認証に成功した場合、図7に示すように、通行者の認証成功を通知するためのメッセージ701と、第2画像G2に含まれる顔画像である入力画像702と、第2顔特徴抽出部23により取得した特徴情報との類似度が高い認証用特徴情報から順に所定数(本実施形態では、3つ)の当該認証用特徴情報の取得元の顔画像(本実施形態では、当該認証用特徴情報と対応付けて記憶された識別情報が含む画像データに基づく顔画像)である参照画像703〜705と、を含む第3画面D3を管理者モニタとしての第2表示部26に表示させる。その際、第2出力部25は、第2顔特徴抽出部23により取得した特徴情報との類似度が高い認証用特徴情報のうち最も類似度が高い認証用特徴情報の取得元の参照画像703を点滅させる等して、他の参照画像704,705とは異なる表示態様で表示させる。
本実施形態では、第2出力部25は、第3画面D3を第2表示部26に表示させることにより、第2通行者認証部24による通行者の認証結果を管理者に通知しているが、これに限定するものではなく、例えば、第2認証装置20が備える図示しないスピーカから音を発したり、第2認証装置20の上位機器(情報処理システム1の管理者が操作する端末)に対して通行者の認証結果を有線または無線通信により送信したりすることにより、通行者の認証結果を通知しても良い。また、第2出力部25は、第2通行者認証部24による通行者の認証に成功した場合には、第2位置P2に設けられた入口ゲートを開けたり、第2位置P2に設けられた扉の鍵を開錠したりすることにより、通行者の認証結果を通知しても良い。また、第2出力部25は、第2通行者認証部24による通行者の認証に失敗した場合、第2撮像部21の撮像により得られた第2画像G2に含まれる顔画像の画像データを、不正な通行者の顔画像の画像データとして上位機器に送信して、当該上位機器に記憶させても良い。
このように、第1の実施形態の情報処理システム1によれば、第1位置P1を通行者が通過した後、第2位置P2を通過するまでの間に通行者が入れ替わった場合、第1認証処理による通行者の認証に成功したとしても、第2認証処理における通行者の認証に失敗するため、通行者の入れ替わりを防止することができる。
また、第1の実施形態の情報処理システム1によれば、サーバ30等の上位機器が有するデータベースから第1,2認証処理に用いる特徴情報を検索したり、第1,2認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。
(第2の実施形態)
本実施形態は、第2位置を通過する通行者が所持する媒体から生体情報が読み取られた場合、第2認証処理に代えて、第2位置を通過する通行者が所持する媒体から読み取られた生体情報と、第2位置を通過する通行者を撮像部によって撮像して得られた第2画像から取得した生体情報と、を用いて、通行者を認証する第3認証処理を実行可能とする例である。以下の説明では、第1の実施形態と同様の箇所については説明を省略する。
図8は、第2の実施形態にかかる情報処理システムの機能的構成を示すブロック図である。本実施形態では、第2認証装置70は、図8に示すように、第2撮像部21、第2画像取得部22、第2顔特徴抽出部23および第2出力部25に加えて、カードリーダ等により構成され、第2位置P2を通過する通行者が所持する媒体Mから特徴情報(第5生体情報の一例)を読取可能に設けられた第2識別情報読取部71(第2読取部の一例)と、第2認証処理に代えて、第2顔特徴抽出部23により取得した特徴情報と第2識別情報読取部71により読み取った特徴情報とを用いて、通行者を認証する第3認証処理を実行可能な第2通行者認証部72と、を備えている。
図9は、第2の実施形態にかかる情報処理システムが有する第2認証装置における通行者の認証処理の流れを示すフローチャートである。第2識別情報読取部71は、第2認証装置70が有する図示しない操作部(例えば、テンキーやタッチパネル等)によって識別情報の読み取りが指示されたか否かを判断する(ステップS901)。識別情報の読み取りが指示されなかった場合(ステップS901:No)、第2認証装置70は、図6に示すステップS601〜ステップS606と同様の処理を実行する。
一方、識別情報の読み取りが指示された場合(ステップS901:Yes)、第2識別情報読取部71は、第1認証装置10が有する識別情報読取部14と同様にして、第2位置P2を通過する通行者が所持する媒体Mから、特徴情報および通行者を識別可能とする識別情報を読み取る(ステップS902)。
第2画像取得部22は、第2識別情報読取部71により識別情報が読み取られた際、図6に示すステップS601と同様にして、第2撮像部21の撮像により得られた第2画像G2を取得する(ステップS903)。また、第2顔特徴抽出部23は、図6に示すステップS602と同様にして、第2画像G2から、当該第2画像G2に含まれる通行者の顔画像の特徴情報を取得する(ステップS904)。
第2通行者認証部72は、第2認証処理に代えて、第2識別情報読取部71により読み取られた特徴情報と第2顔特徴抽出部23により取得された特徴情報とを用いて、通行者を認証する第3認証処理を行う(ステップS905)。本実施形態では、第2通行者認証部72は、第2顔特徴抽出部23により取得された特徴情報と、第2識別情報読取部71により読み取られた特徴情報との類似度を算出する。そして、第2通行者認識部72は、算出した類似度が所定の第3閾値を超えている場合には、通行者の認証に成功したと判断する(ステップS604:Yes)。一方、第2通行者認識部72は、算出した類似度が第3閾値以下である場合には、通行者の認証に失敗したと判断する(ステップS604:No)。第3閾値は、第1認証装置10における認証に用いる第1閾値よりも高い値にして通行者の認識精度を高くすることが好ましい。
このように、第2の実施形態にかかる情報処理システムによれば、第2識別情報読取部71が設けられている場合、第2顔特徴抽出部23により取得した特徴情報と類似する認証用特徴情報が特徴情報記憶部31に記憶されていなくても、第2認証処理を実行することができるので、著名人等の特別な通行者が第1認証処理を免除されて第1位置P1を通過せずに、第2位置P2に到達した場合でも、当該特別な通行者以外の通常の通行者と同様にして第2認証処理を実行することができる。また、前記第1の実施形態と同様に第1位置P1を通行者が通過した後、第2位置P2を通過するまでの間に通行者が入れ替わった場合、第1認証処理による通行者の認証に成功したとしても、第2認証処理における通行者の認証に失敗するため、通行者の入れ替わりを防止することができる。
なお、本実施形態の第1認証装置10および第2認証装置20(70)で実行されるプログラムは、ROM(Read only Memory)等に予め組み込まれて提供される。
また、本実施形態の第1認証装置10および第2認証装置20(70)で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態の第1認証装置10および第2認証装置20(70)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の第1認証装置10および第2認証装置20(70)で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の第1認証装置10で実行されるプログラムは、上述した各部(第1画像取得部12、第1顔特徴抽出部13、第1通行者認証部15、第1出力部16)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(Central Processing Unit)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第1画像取得部12、第1顔特徴抽出部13、第1通行者認証部15、第1出力部16が主記憶装置上に生成されるようになっている。
また、本実施形態の第2認証装置20(70)で実行されるプログラムは、上述した各部(第2画像取得部22、第2顔特徴抽出部23、第2通行者認証部24(72)、第2出力部25)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第2画像取得部22、第2顔特徴抽出部23、第2通行者認証部24(72)、第2出力部25が主記憶装置上に生成されるようになっている。
また、本実施形態の情報処理システム1では、第1認証装置10が、第1画像取得部12、第1顔特徴抽出部13、第1通行者認証部15および第1出力部16を有し、第2認証装置20(70)が、第2画像取得部22、第2顔特徴抽出部23、第2通行者認証部24(72)および第2出力部25を有する構成となっているが、情報処理システム1内のいずれかの機器が、上述した各部を有していれば良く、例えば、サーバ30等の1つの機器に上述した各部の全てを備えさせても良いし、情報処理システム1内の3以上の機器のいずれかに上述した各部を分割して備えさせても良い。
(第3の実施形態)
以下、添付の図面を用いて、第3の実施形態にかかる人物認証方法および人物認証システムについて説明する。なお、人物認証方法は情報処理方法に含まれ、人物認証システムは情報処理システムに含まれる。
図10は、第3の実施形態にかかる人物認証システムを適用した出入国管理システムの構成を示す図である。本実施形態にかかる出入国管理システムは、図10に示すように、出国時の認証処理における人物の撮像条件に従って、当該人物の行先での認証処理における人物の撮像条件を調整することによって、当該人物の行先での認証処理の精度を向上させることを可能とするシステムである。
ここでは、本実施形態にかかる人物認証方法および人物認証システムとしての情報処理システム1を、出入国管理システムに適用した例について説明するが、公共施設,重要施設,オフィスビル,商業施設等の人物が通行する際に認証処理を実行するシステム(例えば、入退室管理システムや映像監視システムなど)であれば、出力入国管理システム1と同様にして、本実施形態にかかる人物認証方法および人物認証システムを適用可能である。
本実施形態にかかる出入国管理システムは、図10に示すように、出国審査カウンターDCまたは入国審査カウンターICにおける1:1照合と、搭乗ゲートBGまたは荷物受取場所BCにおける1:N照合とを組み合わせることにより、空港等の施設における人物の認証処理を効率的に実施するシステムである。
ここで、1:1照合は、搭乗ゲートBGまたは荷物受取場所BCに人物が到達する前に、出国審査カウンターDCまたは入国審査カウンターICを通過する人物が所持する旅券P(媒体の一例)から読み取った当該人物を識別可能とする識別情報と、当該人物を撮像して得られた画像から取得した生体情報とを用いて実行する認証処理である。1:N照合は、搭乗ゲートBGまたは荷物受取場所BCを通過する人物を撮像して得られた画像から取得した生体情報と、予め記憶した複数の生体情報とを用いて実行する認証処理である。
具体的には、本実施形態にかかる出入国管理システムは、図10に示すように、搭乗案内装置40と、第1認証装置41と、第2認証装置42と、第3認証装置43と、第4認証装置44と、第1記憶装置45と、第2記憶装置46と、を有している。
搭乗案内装置40は、第1位置P1としてのチェックインカウンターに設置され、航空機等に搭乗する人物が所持する航空券T(媒体の一例)からの行先情報の読み取り、当該人物が所持する旅券Pからの識別情報の読み取り、当該人物を撮像可能に設けられたカメラ101の撮像により得られた画像からの生体情報の取得等を行う。ここで、行先情報は、第1位置P1としてのチェックインカウンターを通過する人物の行先を示す情報である。そして、搭乗案内装置40は、航空券Tから読み取った行先情報と、旅券Pから読み取った識別情報と、カメラ101の撮像により得られた画像から取得した生体情報と、を対応付けて、第1記憶装置45に保存する。
第1認証装置41は、出国審査カウンターDCに設置され、出国審査カウンターDC(第1位置の一例)を通過する人物が所持する旅券Pからの識別情報(第1識別情報の一例)の読み取り、当該人物を撮像可能に設けられたカメラ111(第1撮像部の一例)の撮像により得られた画像(第1画像の一例)からの生体情報(第1生体情報の一例)の取得等を行う。次いで、第1認証装置41は、出国する人物が保持する旅券Pから読み取った識別情報と、カメラ111の撮像により得られた画像から取得した生体情報とを用いて、当該人物の認証処理(以下、第1認証処理と言う)を実行する。そして、第1認証装置41は、第1認証処理が成功した場合、当該第1認証処理に用いた識別情報および生体情報を、第1認証装置41を識別可能とする装置識別情報に対応付けて第1記憶装置45に保存する。さらに、第1認証装置41は、第1認証処理が成功した場合、当該第1認証処理に用いた識別情報に対応付けて、カメラ111の撮像条件を第2記憶装置46(記憶装置の一例)に保存する。第11図に示すようにカメラ111で撮影された人物の顔画像と、撮影した場所(どのゲートか)としてのカメラ番号、撮影日時を左側に表示し、通過する人物が所持する旅券Pからの識別情報として旅券に保存されている人物の顔画像、その人物の氏名、性別、年齢を右側に対比して表示する管理者用の表示部が設けられている。上記の第1認証処理の結果、すなわち撮影した顔画像と、旅券に保存されている顔画像とを比較しての類似度(Similarity)を、カメラ111で撮影された顔画像の下に表示する。類似度が低い場合には通過する人物へ自動的に警告を発する。
なお、識別情報として旅券Pに保存されている人物の顔画像に対して、図12A〜図12Eに示すように、撮影画像として不適切な場合がある。例えば、図12Aに示すように、サングラスによって顔を隠ぺいしている。図12Bに示すように、毛髪によって顔を隠ぺいしている。図12Cに示すように口を開くことによって表情が変化している。図12Dに示すように顔が正面でなく横を向いている。図12Eに示すように帽子によって顔を隠ぺいしている。以上のことが検出された場合には、表示部105、116或いは121などで通行者に対して再撮影を指示する。または、管理者への表示部に警告を発する。更に、図示しないが、撮影時の照明が明るすぎる或いは暗すぎる。また、画像を符号化した際に圧縮ノイズが含まれてしまっている場合には、管理者への表示部に警告を発して、撮影時の照明を適切にする調整を行い、圧縮ノイズが含まれないようにカメラ101、111、或いは121の調整を行う。
第2認証装置42は、搭乗ゲートBGに設置され、当該搭乗ゲートBGを通過する人物を撮像可能に設けられたカメラ121の撮像により得られた画像からの生体情報の取得等を行う。第2認証装置42は、原則として、搭乗ゲートBGを通過する人物が所持する旅券Pからの識別情報の読み取りを行わないものとする。次いで、第2認証装置42は、取得した生体情報と、第1記憶装置45に記憶された生体情報とを用いて、搭乗ゲートBGを通過する人物の認証処理を実行する。これにより、人物が出国する際の当該人物の最終的な認証において、旅券Pからの識別情報の読み取りを行うことなく、当該人物の認証を行うことができるので、多数の人物が搭乗ゲートBGを通過する場合であっても滞りが発生することなく人物の認証処理を実行することができる。
そして、第2認証装置42は、搭乗ゲートBGを通過する人物を撮像して得られた画像から取得した生体情報が、第1記憶装置45に記憶された生体情報のいずれかと一致した場合、搭乗ゲートBGを通過する人物の認証処理が成功したものとして、搭乗ゲートBGをオープンしたり搭乗ゲートBGに設置された扉の鍵を開錠したりすることにより、搭乗ゲートBGの通過を許可する。一方、第2認証装置42は、搭乗ゲートBGを通過する人物を撮像して得られた画像から取得した生体情報が、第1記憶装置45に記憶された生体情報のいずれとも一致しなかった場合、搭乗ゲートBGを通過する人物の認証処理が失敗したものとして、搭乗ゲートBGのオープンまたは搭乗ゲートBGに設置された扉の鍵の開錠を行わないことにより、搭乗ゲートBGの通過を禁止する。
本実施形態では、第2認証装置42は、搭乗ゲートBGの通過を許可または禁止するためのゲートや扉の鍵等が設置されていない場合には、以下の処理によって搭乗ゲートBGの通過の許可または禁止を行う。第2認証装置42は、搭乗ゲートBGを通過する人物の認証処理に成功した場合、第1記憶装置45に記憶された生体情報のうち、搭乗ゲートBGを通過する人物を撮像して得られた画像から取得した生体情報と一致した生体情報に対応付けて、搭乗ゲートBGを正常に通過したことを示す情報を保存する。一方、第2認証装置42は、搭乗ゲートBGを通過する人物の認証処理に失敗した場合、当該第2認証装置42が備える表示部に対して認証が失敗したことを通知するための警告情報を表示させたり、外部端末に対して認証が失敗したことを通知するための警告情報を送信したり、搭乗ゲートBGを通過した人物を撮像して得られた画像を保存したりする。
第3認証装置43は、入国審査カウンターIC(第2位置の一例)に設置され、入国審査カウンターICを通過する人物が所持する旅券Pから識別情報(第2識別情報の一例)を読み取る。次いで、第3認証装置43は、第2記憶装置46から、旅券Pから読み取った識別情報と一致する識別情報と対応付けて記憶された撮像条件を読み出す。次に、第3認証装置43は、読み出した撮像条件に従って、入国審査カウンターICを通過する人物を撮像可能に設けられたカメラ131(第2撮像部の一例)の撮像条件を調整する。
さらに、第3認証装置43は、撮像条件を調整したカメラ131の撮像により得られた画像(第2画像の一例)から生体情報(第2生体情報の一例)を取得する。そして、第3認証装置43は旅券Pから読み取った識別情報と、カメラ131の撮像により得られた画像から取得した生体情報とを用いて、当該人物の認証処理(以下、第2認証処理と言う)を実行する。これにより、出国審査カウンターDCでの第1認証処理に成功した場合のカメラ111の撮像条件と同様の撮像条件の下でのカメラ131の撮像により得られた画像から取得した生体情報を用いて第2認証処理を実行できるので、入国審査カウンターICでの人物の認証精度を向上させることができる。そして、第3認証装置43は、第2認証処理が成功した場合、第2認証処理に用いた識別情報と生体情報とを対応付けて第2記憶装置46に保存する。
第4認証装置44は、荷物受取場所BCに設置され、当該荷物受取場所BCを通過する人物を撮像可能に設けられたカメラ141の撮像により得られた画像からの生体情報の取得等を行う。次いで、第4認証装置44は、取得した生体情報と、第2記憶装置46に記憶された生体情報とを用いて、荷物受取場所BCを通過する人物の認証処理を実行する。これにより、入国時における人物の最終的な認証において、旅券Pからの識別情報の読み取りを行うことなく、当該人物の認証を行うことができるので、多数の人物が荷物受取場所BCを通過する場合であっても滞りが発生することなく人物の認証を実行することができる。
そして、第4認証装置44は、荷物受取場所BCを通過する人物を撮像して得られた画像から取得した生体情報が、第2記憶装置46に記憶された生体情報のいずれかと一致した場合、荷物受取場所BCを通過する人物の認証処理が成功したものとして、荷物受取場所BCの通過を許可する。一方、第4認証装置44は、荷物受取場所BCを通過する人物を撮像して得られた画像から取得した生体情報が、第2記憶装置46に記憶された生体情報のいずれとも一致しなかった場合、荷物受取場所BCを通過する人物の認証処理が失敗したものとして、荷物受取場所BCの通過を禁止する。
次に、図13を用いて、本実施形態にかかる出入国管理システムが有する搭乗案内装置40、第1認証装置41、および第2認証装置42の機能的な構成について説明する。図13は、本実施形態にかかる出入国管理システムが有する搭乗案内装置40、第1認証装置41、および第2認証装置42の機能的な構成を示す図である。
搭乗案内装置40は、図13に示すように、カメラ101の撮像により得られた画像を取得する画像取得部102と、当該画像取得部102により取得された画像内の顔画像の特徴情報を抽出する顔特徴抽出部103と、チェックインカウンターP1を通過する人物が所持する航空券Tから行先情報の読み取りを行う識別情報読取部104と、航空券Tからの行先情報の読取結果情報を表示可能な表示部105と、を有している。
第1認証装置41は、図13に示すように、カメラ111の撮像により得られた画像を取得する画像取得部112と、当該画像取得部112により取得された画像から、当該画像内の顔画像の特徴情報(生体情報の一例)を抽出(取得)する顔特徴抽出部113と、出国審査カウンターDCを通過する人物が所持する旅券Pから識別情報を読み取る識別情報読取部114と、顔特徴抽出部113により抽出した特徴情報および識別情報読取部114により読み取った識別情報を用いて、出国審査カウンターDCを通過する人物の第1認証処理を実行し、かつ当該第1認証処理が成功した場合、装置識別情報に対応付けて、第1認証処理に用いた識別情報および特徴情報を第1記憶装置45に保存する人物認証部115と、当該人物認証部115による第1認証処理の結果等を表示可能な表示部116と、を有している。
本実施形態では、人物認証部115は、出国審査カウンターDCを通過する人物の第1認証処理が成功した場合、当該第1認証処理に用いた識別情報と対応付けて、当該第1認証処理に用いた画像を得たカメラ111の撮像条件(第1撮像条件の一例)を、図14に示すカメラ131の撮像条件(第2撮像条件の一例)として図14に示す第2記憶装置46に保存する。本実施形態では、人物認証部115は、カメラ111の撮像条件を第2記憶装置46に保存しているが、図14に示す第3認証装置43がアクセス可能な記憶装置にカメラ111の撮像条件を保存するものであれば、これに限定するものではなく、例えば、カメラ111の撮像条件を第1記憶装置45に保存しても良い。
第2認証装置42は、図13に示すように、カメラ121の撮像により得られた画像を取得する画像取得部122と、当該画像取得部122により取得した画像内の顔画像の特徴情報を抽出する顔特徴抽出部123と、第1記憶装置45に記憶された特徴情報および顔特徴抽出部123により抽出された特徴情報を用いて、搭乗ゲートBGを通過する人物の認証処理を実行する人物検索部124と、当該人物検索部124による人物の認証結果等を表示可能な表示部125と、を有している。
本実施形態では、人物検索部124は、顔特徴抽出部123により抽出された特徴情報が、第1記憶装置45に記憶された特徴情報のいずれかと一致した場合、搭乗ゲートBGを通過する人物の認証処理に成功したと判断して、搭乗ゲートBGの通過を許可する。一方、人物検索部124は、顔特徴抽出部123により抽出された特徴情報が、第1記憶装置45に記憶された特徴情報のいずれとも一致しなかった場合、搭乗ゲートBGを通過する人物の認証処理に失敗したと判断して、搭乗ゲートBGの通過を禁止する。
また、本実施形態では、第2認証装置42は、第1認証装置41における認証処理を実行していない人物が搭乗ゲートBGを通過する場合であっても、当該人物が搭乗ゲートBGを通過できるようにするために、当該人物が所持する旅券Pから識別情報を読取可能な図示しない読取部を有していても良い。この場合、第2認証装置42の人物検索部124は、第2認証装置42が有する図示しない読取部により読み取られた識別情報と、顔特徴抽出部123により抽出された特徴情報とを用いて、搭乗ゲートBGを通過する人物の認証処理を実行する。
次に、図14を用いて、本実施形態にかかる出入国管理システムが有する第3認証装置43の機能的な構成について説明する。図14は、本実施形態にかかる出入国管理システムが有する第3認証装置の機能的な構成を示す図である。
第3認証装置43は、図14に示すように、入国審査カウンターICを通過する人物が所持する旅券Pから識別情報を読み取る識別情報読取部132と、第2記憶装置46から、識別情報読取部132により読み取られた識別情報と一致する識別情報に対応付けて記憶された撮像条件を読み出し、かつ当該読み出した撮像条件に従ってカメラ131の撮像条件を調整する撮像条件調整部133と、撮像条件が調整されたカメラ131の撮像により得られた画像を取得する画像取得部134と、当該画像取得部134により取得された画像から、当該画像内の顔画像の特徴情報(生体情報の一例)を抽出(取得)する顔特徴抽出部135と、当該顔特徴抽出部135により抽出した特徴情報および識別情報読取部132により読み取った識別情報とを用いて、入国審査カウンターICを通過する人物の第2認証処理を実行し、かつ当該第2認証処理が成功した場合、当該第2認証処理に用いた識別情報と特徴情報とを対応付けて第2記憶装置46に保存する人物認証部136と、当該人物認証部136による第2認証処理の結果を表示する表示部137と、を有している。
本実施形態では、撮像条件調整部133は、第2記憶装置46から読み出した撮像条件に近づくように、カメラ131の撮像条件を調整する。これにより、出国審査カウンターDCでの第1認証処理に成功した場合のカメラ111の撮像条件を基準とする、カメラ131の撮像条件の変動を抑制することができるので、入国審査カウンターICでの認証精度のロバスト性を向上させることができる。
次に、図15を用いて、本実施形態にかかる出入国管理システムが有する第4認証装置44の機能的な構成について説明する。図15は、本実施形態にかかる出入国管理システムが有する第4認証装置の機能的な構成を示す図である。
第4認証装置44は、図15に示すように、荷物受取場所BCを通過する人物を撮像可能に設けられたカメラ141の撮像により得られた画像を取得する第1画像取得部142と、当該第1画像取得部142により取得された画像内の顔画像の特徴情報を抽出する第1顔特徴抽出部143と、第2記憶装置46に記憶された特徴情報および第1顔特徴抽出部143により抽出された特徴情報を用いて、荷物受取場所BCを通過する人物の認証処理を実行する人物検索部144と、当該人物検索部144による認証処理の結果を表示可能な第1表示部145と、を有している。
また、第4認証装置44は、図15に示すように、荷物受取場所BCにおいて荷物を受け取る人物を撮像可能に設けられたカメラ141の撮像により得られた画像を取得する第2画像取得部146と、当該第2画像取得部146により取得された画像内の顔画像の特徴情報を抽出する第2顔特徴抽出部147と、荷物受取場所BCを通過する人物が所持する荷物タグ400から、荷物の所有者を識別可能とする情報であるタグ情報を読み取るタグ情報読取部148と、第2記憶装置46においてタグ情報読取部148により読み取られたタグ情報と一致する識別情報と対応付けて記憶された特徴情報および第2顔特徴抽出部147により抽出された特徴情報を用いて、荷物受取場所BCにおいて荷物を受け取った人物の認証処理を実行する人物認証部149と、当該人物認証部149による認証処理の結果を表示可能な第2表示部150と、を有する。
次に、図16を用いて、本実施形態にかかる出入国管理システムが有する搭乗案内装置40による生体情報の取得処理について説明する。図16は、本実施形態にかかる出入国管理システムが有する搭乗案内装置40による生体情報の取得処理の流れを示すフローチャートである。
まず、識別情報読取部104は、チェックインカウンターP1を通過する人物が所持する航空券Tから、当該人物の行先を示す行先情報を読み取る(ステップS1601)。さらに、識別情報読取部104は、チェックインカウンターP1を通過する人物が所持する旅券Pに埋め込まれたICチップから、当該旅券Pの名義人の顔画像の特徴情報を識別情報として読み取る(ステップS1602)。
本実施形態では、識別情報読取部104は、例えばカードリーダ等により構成され、航空券Tからの行先情報の読み取りおよび旅券Pに埋め込まれたICチップからの識別情報の読み取りが可能である。本実施形態では、識別情報読取部104は、旅券Pの名義人の顔画像の特徴情報を識別情報として読み取っているが、旅券Pの名義人を識別可能とする識別情報を読み取るものであれば、これに限定するものではない。例えば、旅券Pの名義人を一意に特定するためのID番号、旅券Pの名義人の生体情報(例えば、顔画像や指紋や虹彩等)、旅券Pの名義人の個人情報(例えば、氏名,生年月日,性別,年齢,所属,経歴等)などを識別情報として読み取っても良い。
本実施形態では、識別情報読取部104は、航空券Tまたは旅券Pから、行先情報や識別情報等の各種情報を読み取っているが、これに限定するものではなく、識別情報読取部104を、例えばテンキー,タッチパネル等、行先情報や識別情報等の各種情報を入力可能な入力部により構成することも可能である。この場合、搭乗案内装置40のユーザ(例えば、チェックインカウンターP1を通過する人物など)は、入力部として機能する識別情報読取部104を操作して、行先情報や識別情報を入力する。
本実施形態では、識別情報読取部104が、旅券Pに埋め込まれたICチップから識別情報(例えば、出入国管理システム以外の外部機器によって保存された識別情報)を読み取る例について説明するが、旅券Pから識別情報を読み取るものであれば、これに限定するものではない。例えば、識別情報読取部104は、旅券Pに印刷された顔画像を読み取り、読み取った顔画像の特徴情報を識別情報として読み取ることも可能である。顔画像からの特徴情報の読取方法は、後述する顔特徴抽出部103による特徴情報の抽出方法と同様である。
行先情報および識別情報が読み取られると、画像取得部102は、カメラ101を制御して、チェックインカウンターP1を通過する人物を撮像する。そして、画像取得部102は、カメラ101の撮像により得られた画像を取得する(ステップS1603)。ここで、カメラ101は、例えばビデオカメラ等により構成され、チェックインカウンターP1を通過する人物を撮像可能に設けられている。本実施形態では、カメラ101は、チェックインカウンターP1を通過する人物の顔を撮像可能に設けられている。そして、カメラ101は、チェックインカウンターP1を通過する人物の撮像により得られた画像を、図示しないA/D変換器によってデジタル化して出力する。
次いで、顔特徴抽出部103は、画像取得部102により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS1604)。本実施形態では、顔特徴抽出部103は、まず、画像取得部102により取得された画像内において、予め設定された顔検出用のテンプレートを移動させながら、取得した画像とテンプレート間の相関値を求める。そして、顔特徴抽出部103は、取得した画像内において、テンプレートとの相関値が最も高い領域を顔画像として検出する。
本実施形態では、顔特徴抽出部103は、画像取得部102により取得された画像から、予め設定された顔検出用のテンプレートを用いて顔画像を検出しているが、これに限定するものではなく、例えば周知の固有空間法や部分空間法等を用いて、画像取得部102により取得された画像から顔画像を検出することも可能である。また、顔特徴抽出部103は、例えば日本特許第5355446号等に記載される方法を用いて、画像取得部102により取得された複数の画像の中から、チェックインカウンターP1を通過する人物の複数の顔画像を検出する。次いで、顔特徴抽出部103は、検出した複数の顔画像から特徴情報の抽出に必要な顔画像を選択することも可能である。
次に、顔特徴抽出部103は、検出した顔画像から、例えば日本特許第3279913号等に記載される方法を用いて目や鼻等の顔の部位を検出する。その後、顔特徴抽出部103は、検出した顔の部位から、チェックインカウンターP1を通過する人物を識別可能とする特徴情報を数値化して出力する。具体的には、顔特徴抽出部103は、検出した顔の部位の位置に基づいて、画像取得部102により取得された画像から検出した顔画像から、所定の大きさおよび所定の形状の領域を切り出す。そして、顔特徴抽出部103は、切り出した領域の濃淡情報を、特徴情報として抽出する。顔特徴抽出部103は、例えば日本特許第4087953号等に記載された部分空間法を用いて、顔画像から切り出したm×n画素の領域の濃淡情報を、m×n次元の特徴ベクトル(特徴情報)とする。
次いで、顔特徴抽出部103は、識別情報読取部104により読み取った行先情報および識別情報に対応付けて、抽出した特徴情報を第1記憶装置45に保存する(ステップS1605)。
次に、図17を用いて、本実施形態にかかる出入国管理システムが有する第1認証装置41による認証処理について説明する。図17は、本実施形態にかかる出入国管理システムが有する第1認証装置による認証処理の流れを示すフローチャートである。
まず、識別情報読取部114は、出国審査カウンターDCを通過する人物が所持する旅券Pから、旅券Pの名義人の識別情報を読み取る(ステップS1701)。識別情報読取部114による旅券Pからの識別情報の読取方法は、搭乗案内装置40が有する識別情報読取部104による旅券Pからの識別情報の読取方法と同様である。
識別情報が読み取られると、画像取得部112は、カメラ111を制御して、出国審査カウンターDCを通過する人物を撮像する。そして、画像取得部112は、カメラ111の撮像により得られた画像を取得する(ステップS1702)。ここで、カメラ111は、例えばビデオカメラ等により構成され、出国審査カウンターDCを通過する人物を撮像可能に設けられている。本実施形態では、カメラ111は、出国審査カウンターDCを通過する人物の顔を撮像可能に設けられている。そして、カメラ111は、出国審査カウンターDCを通過する人物の撮像により得られた画像を、図示しないA/D変換器によってデジタル化して出力する。
次いで、顔特徴抽出部113は、画像取得部112により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS1703)。顔特徴抽出部113による画像からの特徴情報の抽出方法は、搭乗案内装置40が有する顔特徴抽出部103による画像からの特徴情報の抽出方法と同様である。
次に、人物認証部115は、識別情報読取部114により読み取った識別情報および顔特徴抽出部113により抽出した特徴情報を用いて、出国審査カウンターDCを通過する人物の第1認証処理(1:1照合)を実行する(ステップS1704)。本実施形態では、人物認証部115は、まず、識別情報読取部114によって識別情報として読み取った特徴情報と、顔特徴抽出部113により抽出した特徴情報との類似度を算出する。
具体的には、人物認証部115は、識別情報読取部114により読み取った特徴情報と、顔特徴抽出部113により抽出した特徴情報との類似性指標の算出を行う。ここで、類似性指標は、識別情報読取部114により読み取った特徴情報の部分空間と、顔特徴抽出部113により抽出した特徴情報の部分空間との類似度とする。人物認証部115は、例えば日本特許第4087953号等に記載された部分空間法や複合類似度法等によって、識別情報読取部114により読み取った特徴情報の部分空間と、顔特徴抽出部113により抽出した特徴情報の部分空間とがなす角度を、当該2つの部分空間同士の類似度として算出する。
または、人物認証部115は、識別情報読取部114により読み取った特徴情報と顔特徴抽出部113により抽出した特徴情報とのユークリッド距離やマハラノビス距離等を用いて、当該2つの特徴情報の類似度を求めても良い。この場合、人物認証部115は、識別情報読取部114により読み取った特徴情報と顔特徴抽出部113により抽出した特徴情報とのユークリッド距離やマハラノビス距離が大きくなるに従って類似度が低くなる。
人物認証部115は、算出した類似度が所定の第1閾値以上である場合には、出国審査カウンターDCを通過する人物の第1認証処理が成功したと判断する。言い換えると、人物認証部115は、算出した類似度が第1閾値以上である場合には、出国審査カウンターDCを通過する人物が、旅券Pの名義人本人であると判断する(ステップS1705:Yes)。そして、出国審査カウンターDCを通過する人物が旅券Pの名義人本人であると判断した場合、人物認証部115は、識別情報読取部114により読み取った識別情報と対応付けて、カメラ111の撮像条件を、カメラ131の撮像条件として第2記憶装置46に保存する(ステップS1706)。
ここで、撮像条件は、旅券Pの名義人本人であると判断した人物を撮像した際のカメラ111の撮像条件である。本実施形態では、撮像条件は、カメラ111の撮像により得られた画像(すなわち、第1認証処理に用いた特徴情報を取得した画像)に関する情報である。具体的には、撮像条件は、カメラ111の撮像により得られた画像に含まれる顔画像、当該画像に基づく人物の身長、および当該画像に基づく照明条件(言い換えると、当該が画像を得た際のカメラ111の撮像範囲の照明条件)の少なくとも1つを含む。
また、本実施形態では、人物認証部115は、出国審査カウンターDCを通過する人物が旅券Pの名義人本人であると判断した場合、第1認証装置41の装置識別情報に対応付けて、識別情報読取部114によって読み取った識別情報および顔特徴抽出部113により抽出した特徴情報を第1記憶装置45に保存する。これにより、第1記憶装置45に記憶された識別情報および特徴情報が、いずれの第1認証装置41における第1認証処理に用いられた情報であるかを特定することができるので、第2認証装置42において、第1記憶装置45に記憶された識別情報および特徴情報を用いて認証処理を実行する際に、所定の第1認証装置41によって保存された識別情報および特徴情報を用いて認証処理を実行することができる。
本実施形態では、人物認証部115は、識別情報読取部114によって識別情報として読み取った特徴情報に対応付けて、顔特徴抽出部113によって抽出した特徴情報を第1記憶装置45に保存しているが、これに限定するものではなく、例えば、第1認証処理を実行した時刻を示す時刻、旅券Pの名義人の顔画像,氏名,生年月日,性別,年齢,身長などの識別情報に対応付けて、顔特徴抽出部113によって抽出した特徴情報を第1記憶装置45に保存しても良い。また、人物認証部115は、識別情報読取部114によって読み取った識別情報に対応付けて、顔特徴抽出部113によって抽出した特徴情報の特徴ベクトル,部分空間,相関行列等を第1記憶装置45に保存しても良い。
出国審査カウンターDCを通過する人物が旅券Pの名義人本人であると判断した場合、表示部116は、人物認証部115による第1認証処理が成功したことを通知するための情報を表示する(ステップS1707)。
一方、人物認証部115は、算出した類似度が第1閾値未満である場合には、出国審査カウンターDCを通過する人物の第1認証処理が失敗したと判断する。言い換えると、人物認証部115は、算出した類似度が第1閾値未満である場合、出国審査カウンターDCを通過する人物が、旅券Pの名義人本人ではないと判断する(ステップS1705:No)。そして、出国審査カウンターDCを通過する人物が旅券Pの名義人本人でないと判断した場合、表示部116は、人物認証部115による第1認証処理が失敗したことを通知するための情報を表示する(ステップS1708)。
次に、図18を用いて、本実施形態にかかる出入国管理システムが有する第2認証装置42による認証処理について説明する。図18は、本実施形態にかかる出入国管理システムが有する第2認証装置による認証処理の流れを示すフローチャートである。
まず、画像取得部122は、カメラ121を制御して、搭乗ゲートBGを通過する人物を撮像する。そして、画像取得部122は、カメラ121の撮像により得られた画像を取得する(ステップS1801)。ここで、カメラ121は、例えばビデオカメラ等により構成され、搭乗ゲートBGを通過する人物を撮像可能に設けられている。本実施形態では、カメラ121は、搭乗ゲートBGを通過する人物の顔を撮像可能に設けられている。そして、カメラ121は、搭乗ゲートBGを通過する人物の撮像により得られた画像を、図示しないA/D変換器によってデジタル化して出力する。
顔特徴抽出部123は、画像取得部122により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS1802)。顔特徴抽出部123による画像からの特徴情報の抽出方法は、搭乗案内装置40が有する顔特徴抽出部103による画像からの特徴情報の抽出方法と同様である。
人物検索部124は、顔特徴抽出部123により抽出された特徴情報と、第1記憶装置45に記憶された特徴情報とを用いて、搭乗ゲートBGを通過する人物の認証処理(1:N照合)を実行する(ステップS1803)。その際、人物検索部124は、第1記憶装置45に記憶された特徴情報のうち、所定の装置識別情報以外の装置識別情報と対応付けて記憶された特徴情報を用いた、認証処理の実行を禁止する。これにより、所定の第1認証装置41の第1認証処理に使用された特徴情報を用いて、搭乗ゲートBGを通過する人物の認証処理を実行することができるので、搭乗ゲートBGを通過する人物の認証処理の信頼性を向上させることができる。
本実施形態では、人物検索部124は、第1記憶装置45に記憶された各特徴情報と、顔特徴抽出部123により抽出された特徴情報との類似度を算出する。ここで、人物検索部124による類似度の算出方法は、第1認証装置41が有する人物認証部115による類似度の算出方法と同様である。次いで、人物検索部124は、第1記憶装置45に記憶された特徴情報のうち、顔特徴抽出部123により抽出された特徴情報との類似度が最も高い特徴情報を選択する。そして、人物検索部124は、選択した特徴情報と顔特徴抽出部123により抽出された特徴情報との類似度が第1閾値以上である場合に、搭乗ゲートBGを通過する人物の認証処理が成功したと判断して(言い換えると、顔特徴抽出部123により抽出された特徴情報が、第1記憶装置45に記憶された特徴情報のいずれかと一致したと判断して)、搭乗ゲートBGの通過を許可する(ステップS1804:Yes)。
さらに、搭乗ゲートBGを通過する人物の認証処理が成功した場合、表示部125は、人物検索部124による認証処理が成功したことを通知するための情報を表示する(ステップS1805)。また、搭乗ゲートBGを通過する人物の認証処理が成功した場合、人物検索部124は、第1記憶装置45から、認証処理が成功した人物の識別情報と対応付けて記憶された各種情報(例えば、装置識別情報、特徴情報、行先情報など)を消去する。また、人物検索部124は、第1記憶装置45に保存されてから所定時間経過した識別情報と対応付けて記憶された各種情報も消去する。これにより、搭乗ゲートBGを通過する人物の認証処理において、第1記憶装置45に記憶された特徴情報のうち、ステップS1802において抽出した特徴情報との類似度を算出する特徴情報の数を減らすことができるので、無駄な算出処理を省略することができ、認証処理の処理速度の向上およびリソースの節約を図ることができる。また、第1記憶装置45に記憶された特徴情報の信頼性を維持することができる。
一方、人物検索部124は、選択した特徴情報と、顔特徴抽出部123により抽出された特徴情報との類似度が、第1閾値未満である場合に、搭乗ゲートBGを通過する人物の認証処理が失敗したと判断して、搭乗ゲートBGの通過を禁止する(ステップS1804:No)。さらに、搭乗ゲートBGを通過する人物の認証処理が失敗した場合、表示部125は、人物検索部124による認証処理が失敗したことを通知するための情報を表示する(ステップS1806)。
人物検索部124は、第1記憶装置45に記憶されている複数の特徴情報に対して、当該特徴情報間の識別に不必要な情報を取り除くための処理を実行可能である。例えば、人物検索部124は、日本特許第4087953号等に記載された制約相互部分空間法を用いて、第1記憶装置45に特徴情報として記憶されている特徴ベクトルを、部分空間に射影または変換することにより、第1記憶装置45に記憶されている特徴情報間の識別精度を高める。これにより、特徴情報に含まれる不必要な情報を用いて、認証処理が実行されることを防止できるので、認証処理による通行者の認証精度を向上させることができる。
本実施形態では、人物検索部124は、第1認証装置41の識別情報読取部114により旅券Pから読み取られた識別情報が特徴情報(生体情報の一例)である場合には、第1記憶装置45に記憶された識別情報と、顔特徴抽出部123により抽出された特徴情報とを用いて、搭乗ゲートBGを通過する人物の認証処理を実行しても良い。これにより、第1認証装置41と同様に、旅券Pから識別情報として読み取った特徴情報を用いて、搭乗ゲートBGを通過する人物の認証処理を実行することになるので、搭乗ゲートBGのセキュリティ性を確保することができる。ただし、旅券Pから識別情報として読み取られる特徴情報は、一般的に、認証処理を実行する時点よりも古い特徴情報であるため、認証処理が、認証対象の人物の経年変化等の影響を受け易い。
そこで、本実施形態では、人物検索部124は、上述したように、第1記憶装置45に記憶された特徴情報(第1認証装置41の顔特徴抽出部113により抽出された特徴情報)と、顔特徴抽出部123により抽出された特徴情報とを用いて、搭乗ゲートBGを通過する人物の認証処理を実行することにより、認証処理が、認証対象の人物の経年変化等の影響を受けることを軽減でき、かつ当該人物の認証精度を向上させることができる。
若しくは、人物検索部124は、第1記憶装置45に記憶された識別情報および特徴情報のうち少なくともいずれか一方と、顔特徴抽出部123により抽出された特徴情報が一致した場合に、搭乗ゲートBGを通過する人物の認証処理に成功したと判断しても良い。これにより、第1記憶装置45に記憶された情報を用いた、搭乗ゲートBGを通過する人物の認証処理の失敗を減らすことができる。
また、人物検索部124は、カメラ121の撮像により得られた画像等に基づいて、搭乗ゲートBGの混雑度を検知し、検知した混雑度に応じて、搭乗ゲートBGを通過する人物の認証処理の処理速度を変更(例えば、検出した混雑度が所定値より高い場合には、認証処理の処理速度を上げるなど)することにより、単位時間当たりに、搭乗ゲートBGを通過する人物の数を制御することも可能である。さらに、人物検索部124は、顔特徴抽出部123により抽出された特徴情報が所定の特徴情報(例えば、ファーストクラスの人物の特徴情報など)である場合には、当該所定の特徴情報を有する人物を優先的に搭乗させることを通知するための情報を表示部125に表示させても良い。
また、人物検索部124は、搭乗ゲートBGを通過する人物の認証処理が成功した場合に、第1記憶装置45において、顔特徴抽出部123により抽出された特徴情報と一致する識別情報と対応付けて記憶された行先情報を読み出す。そして、人物検索部124は、読み出した行先情報が示す行先が、搭乗ゲートBGを通過した人物が搭乗する飛行機の行先と一致しない場合、行先が違う搭乗者が存在することを通知するための情報を表示部125に表示させることが可能である。
また、人物検索部124は、搭乗ゲートBGを通過する人物の認証処理が失敗した場合、搭乗ゲートBGを通過する人物が保持する航空券Tを用いた搭乗を指示するための情報を表示部125に表示させても良い。
次に、図19を用いて、本実施形態にかかる出入国管理システムが有する第2認証装置42が旅券Pから識別情報を読取可能な読取部を備える場合の認証処理について説明する。図19は、本実施形態にかかる出入国管理システムが有する第2認証装置が旅券から識別情報を読取可能な読取部を備える場合の認証処理の流れを示すフローチャートである。
まず、画像取得部122は、第2認証装置42が備える図示しない入力部が操作されて、搭乗ゲートBGを通過する人物が所持する旅券Pからの識別情報の読み取りを指示する読取指示が入力されたか否かを判断する(ステップS1901)。読取指示が入力されなかった場合(ステップS1901:No)、第2認証装置42は、図18に示すステップS1801〜ステップS1806と同様の処理を実行する。
一方、読取指示が入力された場合(ステップS1901:Yes)、第2認証装置42が備える図示しない読取部は、搭乗ゲートBGを通過する人物が所持する旅券Pから、旅券Pの名義人の識別情報を読み取る(ステップS1902)。第2認証装置42が備える図示しない読取部による旅券Pからの識別情報の読取方法は、搭乗案内装置40が有する識別情報読取部104による旅券Pからの識別情報の読取方法と同様である。次いで、第2認証装置42は、図18に示すステップS1801〜ステップS1802と同様の処理を実行する。
次に、人物検索部124は、第2認証装置42が有する図示しない読取部によって旅券Pから読み取った識別情報および顔特徴抽出部123により抽出した特徴情報を用いて、搭乗ゲートBGを通過する人物の認証処理を実行する(ステップS1903)。本実施形態では、人物検索部124は、第1認証装置41が備える人物認証部115による認証処理と同様にして、搭乗ゲートBGを通過する人物の認証処理を実行する。
ただし、第2認証装置42が有する図示しない読取部によって旅券Pから識別情報を読み取った場合、第1認証装置41における認証処理を行っていないため、人物検索部124は、旅券Pから識別情報として読み取った特徴情報と顔特徴抽出部123により抽出した特徴情報との類似度と比較する所定の第2閾値を、第1認証装置41における認証処理において用いた第1閾値より高くしても良い。若しくは、人物検索部124は、搭乗ゲートBGを通過する人物の認証処理の効率化を優先する場合には、第2閾値を第1閾値よりも低くしても良い。
次に、図20を用いて、本実施形態にかかる出入国管理システムが有する第3認証装置43による認証処理について説明する。図20は、本実施形態にかかる出入国管理システムが有する第3認証装置43による認証処理の流れを示すフローチャートである。
まず、識別情報読取部132は、入国審査カウンターICを通過する人物が所持する旅券Pから、旅券Pの名義人の識別情報を読み取る(ステップS2001)。識別情報読取部132による旅券Pからの識別情報の読取方法は、搭乗案内装置40が有する識別情報読取部104による旅券Pからの識別情報の読取方法と同様である。
識別情報が読み取られると、撮像条件調整部133は、第2記憶装置46から、識別情報読取部132により読み取った識別情報と一致する識別情報と対応付けて記憶された撮像条件を読み出す。そして、撮像条件調整部133は、読み出した撮像条件に従って、カメラ131の撮像条件を調整する(ステップS2002)。これにより、出国審査カウンターDCでの第1認証処理に成功した場合のカメラ111の撮像条件と同様の撮像条件の下でのカメラ131の撮像により得られた画像から取得した生体情報を用いて第2認証処理を実行できるので、入国審査カウンターICでの人物の認証精度を向上させることができる。
本実施形態では、撮像条件調整部133は、読み出した撮像条件が身長を含む場合、当該身長に従って、入国審査カウンターICを通過する人物の顔が正面から撮像されるように、カメラ131の撮像範囲を調整する。また、本実施形態では、撮像条件調整部133は、読み出した撮像条件が照明条件を含む場合、当該照明条件に従って、入国審査カウンターICに光を照射可能な光源を調整する。
また、本実施形態では、撮像条件調整部133は、読み出した撮像条件が顔画像を含む場合、当該顔画像に近い表情を指示するための第1指示を表示部137に表示する。また、撮像条件調整部133は、読み出した撮像条件が顔画像を含みかつ当該顔画像が眼鏡をかけた顔画像である場合、眼鏡の着用を指示するための第2指示を表示部137に表示する。また、撮像条件調整部133は、読み出した撮像条件が顔画像を含む場合、当該顔画像に近い髪型を指示するための第3指示を表示部137に表示することも可能である。これにより、出国審査カウンターDCでの第1認証処理に成功した場合のカメラ111の撮像条件により近い撮像条件の下でのカメラ131の撮像により得られた画像から取得した生体情報を用いて第2認証処理を実行できるので、入国審査カウンターICでの人物の認証精度をさらに向上させることができる。
次に、カメラ131の撮像条件が調整された後、画像取得部134は、カメラ131を制御して、入国審査カウンターICを通過する人物を撮像する。そして、画像取得部134は、カメラ131の撮像により得られた画像を取得する(ステップS2003)。ここで、カメラ131は、例えばビデオカメラ等により構成され、入国審査カウンターICを通過する人物を撮像可能に設けられている。本実施形態では、カメラ131は、入国審査カウンターICを通過する人物の顔を撮像可能に設けられている。そして、カメラ131は、入国審査カウンターICを通過する人物の撮像により得られた画像を、図示しないA/D変換器によってデジタル化して出力する。
次いで、顔特徴抽出部135は、画像取得部134により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS2004)。顔特徴抽出部135による画像からの特徴情報の抽出方法は、搭乗案内装置40が有する顔特徴抽出部103による画像からの特徴情報の抽出方法と同様である。
次に、人物認証部136は、識別情報読取部132により読み取った識別情報および顔特徴抽出部135により抽出した特徴情報を用いて、入国審査カウンターICを通過する人物の第2認証処理(1:1照合)を実行する(ステップS2005)。人物認証部136による人物の認証方法は、第1認証装置41が有する人物認証部115による人物の認証方法と同様である。
本実施形態では、人物認証部136は、読み出した撮像条件が身長を含む場合、識別情報読取部132により識別情報として読み取った特徴情報と顔特徴抽出部135により抽出した特徴情報との類似度が第1閾値以上であり、かつ読み出した撮像条件が含む身長と画像取得部134により取得された画像に基づく人物の身長とが一致した場合に、第2認証処理が成功したと判断することも可能である。これにより、入国審査カウンターICを通過する人物の特徴情報に加えて、当該人物の身長を考慮して第2認証処理が実行されるので、第2認証処理による人物の認証精度を向上させることができる。
人物認証部136は、入国審査カウンターICを通過する人物の第2認証処理が成功して、入国審査カウンターICを通過する人物が旅券Pの名義人本人であると判断した場合(ステップS2006:Yes)、識別情報読取部132により読み取った識別情報と対応付けて、顔特徴抽出部135により抽出した特徴情報を第2記憶装置46に保存する(ステップS2007)。さらに、入国審査カウンターICを通過する人物が旅券Pの名義人本人であると判断した場合、表示部137は、人物認証部136による第2認証処理が成功したことを通知するための情報を表示する(ステップS2008)。
一方、入国審査カウンターICを通過する人物が旅券Pの名義人本人でないと判断した場合(ステップS2006:No)、表示部137は、人物認証部136による第2認証処理が失敗したことを通知するための情報を表示する(ステップS2009)。
次に、図21を用いて、本実施形態にかかる出入国管理システム1が有する第4認証装置44による認証処理について説明する。図21は、本実施形態にかかる出入国管理システムが有する第4認証装置44による認証処理の流れを示すフローチャートである。
まず、第1画像取得部142および第2画像取得部146は、第4認証装置44が備える図示しない入力部が操作されて、荷物受取場所BCを通過する人物が所持する荷物タグ400からのタグ情報の読み取りを指示する読取指示が入力されたか否かを判断する(ステップS2101)。
読取指示が入力されなかった場合(ステップS2101:No)、第1画像取得部142は、カメラ141を制御して、荷物受取場所BCを通過する人物を撮像する。そして、第1画像取得部142は、カメラ141の撮像により得られた画像を取得する(ステップS2102)。ここで、カメラ141は、例えばビデオカメラ等により構成され、荷物受取場所BCを通過する人物を撮像可能に設けられている。本実施形態では、カメラ141は、荷物受取場所BCを通過する人物の顔を撮像可能に設けられている。そして、カメラ141は、荷物受取場所BCを通過する人物の撮像により得られた画像を、図示しないA/D変換器によってデジタル化して出力する。
第1顔特徴抽出部143は、第1画像取得部142により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS2103)。第1顔特徴抽出部143による画像からの特徴情報の抽出方法は、搭乗案内装置40が有する顔特徴抽出部103による画像からの特徴情報の抽出方法と同様である。
人物検索部144は、第1顔特徴抽出部143により抽出された特徴情報と、第2記憶装置46に記憶された特徴情報とを用いて、荷物受取場所BCを通過する人物の認証処理(1:N照合)を実行する(ステップS2104)。人物検索部144による認証処理は、第2認証装置42が有する人物検索部124による認証処理と同様である。
そして、人物検索部144は、選択した特徴情報と第1顔特徴抽出部143により抽出された特徴情報との類似度が第1閾値以上である場合に、荷物受取場所BCを通過する人物の認証処理が成功したと判断して(言い換えると、第1顔特徴抽出部143により抽出された特徴情報が、第2記憶装置46に記憶された特徴情報のいずれかと一致したと判断して)、荷物受取場所BCの通過を許可する(ステップS2105:Yes)。
さらに、荷物受取場所BCを通過する人物の認証処理が成功した場合、第1表示部145は、人物検索部144による認証処理が成功したことを通知するための情報を表示する(ステップS2106)。また、荷物受取場所BCを通過する人物の認証処理が成功した場合、人物検索部144は、第2記憶装置46から、認証処理が成功した人物の識別情報と対応付けて記憶された各種情報(例えば、特徴情報など)を消去する。または、人物検索部144は、第2記憶装置46に保存されてから所定時間経過した識別情報と対応付けて記憶された各種情報も消去する。
これにより、荷物受取場所BCを通過する人物の認証処理において、第2記憶装置46に記憶された特徴情報のうち、ステップS2103において抽出した特徴情報との類似度を算出する特徴情報の数を減らすことができるので、無駄な算出処理を省略することができ、認証処理の処理速度の向上およびリソースの節約を図ることができる。また、第2記憶装置46に記憶された特徴情報の信頼性を維持することができる。
一方、人物検索部144は、選択した特徴情報と、第1顔特徴抽出部143により抽出された特徴情報との類似度が、第1閾値未満である場合に、荷物受取場所BCを通過する人物の認証処理が失敗したと判断して、荷物受取場所BCの通過を禁止する。さらに、荷物受取場所BCを通過する人物の認証処理が失敗した場合、第1表示部145は、人物検索部144による認証処理が失敗したことを通知するための情報を表示する(ステップS2107)。
読取指示が入力された場合(ステップS2101:Yes)、タグ情報読取部148は、荷物受取場所BCを通過する人物が所持する荷物タグ400から、タグ情報を読み取る(ステップS2108)。タグ情報読取部148による荷物タグ400からのタグ情報の読取方法は、搭乗案内装置40が有する識別情報読取部104による旅券Pからの識別情報の読取方法と同様である。
識別情報が読み取られると、第2画像取得部146は、カメラ141を制御して、荷物受取場所BCを通過する人物を撮像する。そして、第2画像取得部146は、カメラ141を制御して、荷物受取場所BCを通過する人物を撮像する。そして、第2画像取得部146は、カメラ141の撮像により得られた画像を取得する(ステップS2109)。
第2顔特徴抽出部147は、第2画像取得部146により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する(ステップS182110)。第2顔特徴抽出部147による画像からの特徴情報の抽出方法は、搭乗案内装置40が有する顔特徴抽出部103による画像からの特徴情報の抽出方法と同様である。
人物認証部149は、タグ情報読取部148により読み取ったタグ情報および第2顔特徴抽出部147により抽出した特徴情報を用いて、荷物受取場所BCを通過する人物の認証処理を実行する(ステップS2111)。人物認証部149による人物の認証方法は、第1認証装置41が有する人物認証部115による人物の認証方法と同様である。
そして、人物認証部149は、タグ情報読取部148により読み取ったタグ情報と第2顔特徴抽出部147により抽出された特徴情報との類似度が第1閾値以上である場合に、荷物受取場所BCを通過する人物の認証処理が成功したと判断して(ステップS2105:Yes)、荷物受取場所BCを通過する人物の荷物を出荷する(ステップS2106)。その際、人物認証部149は、認証処理を実行した順番が早いものから順に、荷物受取場所BCを通過する人物の荷物を出荷することにより、荷物の受け取りを効率化することも可能である。また、人物認証部149は、荷物受取場所BCを通過する人物の認証処理の結果に基づいて、当該人物の荷物の所在や荷物が出荷されるまでの待ち時間を第2表示部150に表示させることも可能である。
一方、人物認証部149は、タグ情報読取部148により読み取ったタグ情報と、第2顔特徴抽出部147により抽出された特徴情報との類似度が、第1閾値未満である場合に、荷物受取場所BCを通過する人物の認証処理が失敗したと判断して、荷物受取場所BCを通過する人物への荷物の出荷を禁止する。さらに、荷物受取場所BCを通過する人物の認証処理が失敗した場合、第2表示部150は、人物認証部149による認証処理が失敗したことを通知するための情報を表示する(ステップS2107)。
(第4の実施形態)
以上の実施例では、通行者はカメラによる撮影時には立ち止まっていなければならなかったが、第4の実施形態として、図22に示すように歩行中であっても例えば第2認証装置20に設置された第2撮像部21による撮影及び照合が行える。
すなわち、第23図に示すフローチャートに沿って動作を説明する。歩行者がゲートGT入場時に旅券PのIC画像を読み取る(ステップS2301)。第2撮像部21によって歩行中の人物の顔を第2撮像部21によって撮影する(ステップS2302)。得られた撮影動画像から顔を検出及び追跡を行う(ステップS2303)。追跡された複数の顔画像から少なくとも1枚の顔画像を用いて本人であるかの照合を行い、その照合による類似度が閾値以上であれば(ステップS2304;Yes)であれば、ゲートGTを開いて歩行者の通過を許可する(ステップS2305)。照合による類似度が閾値以下である場合(ステップS2304;No)にはゲートGTは閉じる(ステップS2306)。そして歩行者に対して警告を発する(ステップS2307)
このように、本実施形態にかかる出入国管理システムによれば、入国審査カウンターICでの人物の認証精度を向上させることができる。
なお、本実施形態の搭乗案内装置40,第1認証装置41,第2認証装置42,第3認証装置43,第4認証装置44で実行されるプログラムは、ROM(Read Only Memory)等に予め組み込まれて提供される。
本実施形態の搭乗案内装置40,第1認証装置41,第2認証装置42,第3認証装置43,第4認証装置44で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。
さらに、本実施形態の搭乗案内装置40,第1認証装置41,第2認証装置42,第3認証装置43,第4認証装置44で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の搭乗案内装置40,第1認証装置41,第2認証装置42,第3認証装置43,第4認証装置44で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の搭乗案内装置40で実行されるプログラムは、上述した各部(画像取得部102、顔特徴抽出部103、識別情報読取部104)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(Central Processing Unit)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部102、顔特徴抽出部103、識別情報読取部104が主記憶装置上に生成されるようになっている。
本実施形態の第1認証装置41で実行されるプログラムは、上述した各部(画像取得部112、顔特徴抽出部113、識別情報読取部114、人物認証部115)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部112、顔特徴抽出部113、識別情報読取部114、人物認証部115が主記憶装置上に生成されるようになっている。
本実施形態の第2認証装置42で実行されるプログラムは、上述した各部(画像取得部122、顔特徴抽出部123、人物検索部124)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部122、顔特徴抽出部123、人物検索部124が主記憶装置上に生成されるようになっている。
本実施形態の第3認証装置43で実行されるプログラムは、上述した各部(撮像条件調整部133、画像取得部134、顔特徴抽出部135、識別情報読取部132、人物認証部136)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像条件調整部133、画像取得部134、顔特徴抽出部135、識別情報読取部132、人物認証部136が主記憶装置上に生成されるようになっている。
本実施形態の第4認証装置44で実行されるプログラムは、上述した各部(第1画像取得部142、第1顔特徴抽出部143、人物検索部144、第2画像取得部146、第2顔特徴抽出部147、タグ情報読取部148、人物認証部149)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第1画像取得部142、第1顔特徴抽出部143、人物検索部144、第2画像取得部146、第2顔特徴抽出部147、タグ情報読取部148、人物認証部149が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本実施形態の課題を解決する手段は次の通りである。
[1]
第1位置を通過した人物の第1識別情報と対応付けて、前記第1位置を通過する人物の第1認証処理に用いた第1画像を得た第1撮像部の第1撮像条件を記憶する記憶装置から、前記第1位置とは異なる第2位置を通過する人物が所持する媒体から読み取られた第2識別情報と一致する前記第1識別情報と対応付けて記憶された前記第1撮像条件を読み出す工程と、
読み出した前記第1撮像条件に従って、前記第2位置を通過する人物を撮像可能な第2撮像部の第2撮像条件を調整する工程と、
前記第2識別情報と、前記第2撮像部の撮像により得られた第2画像から取得した生体情報とを用いて、前記第2位置を通過する人物の第2認証処理を実行する工程と、
を具備する情報処理方法。
[2]
前記第1撮像条件は、前記第1画像に関する情報である[1]の情報処理方法。
[3]
前記第1撮像条件は、前記第1画像に含まれる顔画像、前記第1画像に基づく人物の第1身長、および前記第1画像に基づく照明条件の少なくとも1つを含む[2]の情報処理方法。
[4]
前記第1撮像条件が前記第1身長を含む場合、前記第2識別情報としての顔画像の特徴情報と前記第2画像に含まれる顔画像の特徴情報との類似度が所定の閾値以上であり、かつ前記第1身長と前記第2画像に基づく人物の第2身長とが一致した場合に、前記第2認証処理が成功したものとする[3]の情報処理方法。
[5]
前記第1撮像条件が前記第1身長を含む場合、当該第1身長に従って、前記第2位置を通過する人物の顔が正面から撮像されるように、前記第2撮像部の撮像範囲を調整する[3]の情報処理方法。
[6]
前記第1撮像条件が前記照明条件を含む場合、当該照明条件に従って、前記第2撮像部の撮像範囲に光を照射可能な光源を調整する[3]の情報処理方法。
[7]
前記第1撮像条件が前記第1画像に含まれる顔画像を含む場合、当該顔画像に近い表情を指示するための第1指示を表示部に表示する[3]の情報処理方法。
[8]
前記第1撮像条件が前記第1画像に含まれる顔画像を含みかつ当該顔画像が眼鏡をかけた顔画像である場合、眼鏡の着用を指示するための第2指示を表示部に表示する[3]の情報処理方法。
[9]
前記第1撮像条件が前記第1画像に含まれる顔画像を含む場合、当該顔画像に近い髪型を指示するための第3指示を表示部に表示する[3]の情報処理方法。
[10]
第1位置を通過する人物が所持する媒体から読み取った第1識別情報と当該人物を第1撮像部によって撮像して得られた第1画像から取得した第1生体情報とを用いて、当該人物の第1認証処理を実行する第1認証部と、
前記第1認証処理が成功した場合、前記第1識別情報と対応付けて、前記第1撮像部の第1撮像条件を記憶する記憶部と、
前記記憶部から、前記第1位置とは異なる第2位置を通過する人物が所持する媒体から読み取られた第2識別情報と一致する前記第1識別情報と対応付けて記憶された前記第1撮像条件を読み出し、読み出した前記第1撮像条件に従って、前記第2位置を通過する人物を撮像可能な第2撮像部の第2撮像条件を調整する調整部と、
前記第2識別情報と、前記第2撮像部の撮像により得られた第2画像から取得した生体情報とを用いて、前記第2位置を通過する人物の第2認証処理を実行する第2認証部と、を具備する情報処理システム。