JP7468668B2 - 情報処理装置、システム、情報処理方法、及び、プログラム - Google Patents

Description

この開示は、情報処理装置、システム、情報処理方法、及び、記録媒体に関する。

出入国の審査では、審査官が渡航者の旅券の内容を確認するとともに、旅券に添付された顔写真と渡航者の顔とを比較して出入国の可否を判定する。審査官による審査を効率化するため、渡航者の顔画像を撮影し、渡航者の旅券の写真と照合する装置が提案されている（特許文献１、２を参照）。また、近年では、主として外国人入国者に対し、審査官による審査に先立ってパスポート情報、顔画像、指紋などを取得する情報処理装置が知られている。

特開２００２－００８０７０号公報 特開２０１６－０５３８９６号公報

この開示の１つの目的は、上述した先行技術文献に開示されている技術を改善することである。

この開示の一つの観点では、情報処理装置は、
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備え、
前記センサは、サーモセンサを含み、
前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信し、
前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない。

この開示の他の観点では、情報処理方法は、
コンピュータにより実行される情報処理方法であって、
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知する異常検知処理を行い、
前記異常に基づいて、前記個人識別情報の取得を制御する制御処理を行い、
前記センサは、サーモセンサを含み、
前記異常検知処理は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御処理は、前記異常が検知された場合、端末装置へアラートを送信し、
前記情報処理装置の前方に複数の人物がいることを前記異常検知処理が検知した場合、前記制御処理は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない。

この開示のさらに他の観点では、プログラムは、
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知する異常検知処理を行い、
前記異常に基づいて、前記個人識別情報の取得を制御する制御処理を行い、
前記センサは、サーモセンサを含み、
前記異常検知処理は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御処理は、前記異常が検知された場合、端末装置へアラートを送信し、
前記情報処理装置の前方に複数の人物がいることを前記異常検知処理が検知した場合、前記制御処理は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない、処理をコンピュータに実行させる。

第１実施形態に係る入国審査システムの全体構成を示す。 情報処理装置の外観を示す図である。 情報処理装置のベースの内部構造を示す。 情報処理装置の機能構成を示すブロック図である。 管理サーバの機能構成を示すブロック図である。 情報取得処理のフローチャートである。 パスポート処理及び顔認証処理のフローチャートである。 指紋採取処理及びＥＤカード処理のフローチャートである。 タッチパネルの表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 タッチパネルの他の表示例を示す。 管理サーバによる情報管理処理のフローチャートである。 タブレットの表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 タブレットの他の表示例を示す。 第２実施形態に係る情報取得処理のフローチャートである。 第２実施形態の顔認証処理のフローチャートである。 ２名の人物が不正に情報処理装置を操作している状態のサーモ画像の例を示す。 第３実施形態による指紋採取処理のフローチャートである。 第４実施形態による発熱者検出処理のフローチャートである。 発熱者が見つかった場合にタブレットへ送信する画像の例を示す。 第５実施形態に係る情報処理装置の構成を示すブロック図である。 第５実施形態による情報処理のフローチャートである。

以下、図面を参照して、この開示の好適な実施形態について説明する。
＜第１実施形態＞
本実施形態の入国審査システムは、空港などに設置され、主として外国人の入国審査に使用される。外国人に対する入国審査は、基本的に個人識別情報の取得と、審査官による入国審査の２ステップで行われる。具体的に、外国人入国者は、飛行機を降りて入国審査エリアに入ると、まず、情報処理装置を操作して個人識別情報を提供する。次に、入国者は、審査官のいる審査ブースへ進み、審査官による審査を受ける。審査官による審査が完了すると、入国が許可される。

［全体構成］
図１は、第１実施形態に係る入国審査システムの全体構成を示す。入国審査システム１は、複数の情報処理装置１００と、管理サーバ２００と、タブレット３００と、ＰＣ５とを備える。情報処理装置１００は、入国者Ｐの個人識別情報を取得するために設けられている。入国者Ｐは、外国人に限らず、入国を希望する人物全員を対象とすることができる。なお、入国者Ｐは、人間のみならず、犬、猫、蛇などの動物であっても構わない。これらの入国者Ｐは「対象」の一例である。個人識別情報は、顔画像と指紋を含む。情報処理装置１００の付近には、コンシェルジュが待機しており、情報処理装置１００の管理や操作の補助を行う。コンシェルジュには、担当する所定数の情報処理装置１００が割り当てられている。コンシェルジュは、情報処理装置１００の管理などを行う際に使用するタブレット３００を所持している。なお、タブレット３００は一例であり、情報処理装置１００の管理を行える端末装置であれば、ＰＣ、スマートフォンなど、どのような端末を使用してもよい。なお、コンシェルジュに対して、補助業務を行う補助者（サポーター）が割り当てられている場合もあるが、本明細書では補助者も含めてコンシェルジュと呼ぶ。

審査ブースには、審査官が待機しており、個人識別情報の提供を済ませた入国者Ｐに対する審査を行う。審査ブースには、審査官が使用するＰＣ５が設置されている。審査官は、入国者Ｐの個人識別情報などをＰＣ５に表示し、審査を行う。なお、図１では便宜上１つの審査ブースのみを図示しているが、実際には複数の審査ブースが設置されている。

管理サーバ２００は、無線通信により、情報処理装置１００及びタブレット３００を管理、制御する。また、管理サーバ２００は、審査官が使用するＰＣ５と有線又は無線により通信する。具体的に、情報処理装置１００は、入国者Ｐが情報処理装置１００を操作することにより提供した情報を、管理サーバ２００に送信する。管理サーバ２００は、情報処理装置１００から取得した情報を記憶するとともに、タブレット３００及びＰＣ５へ送信する。タブレット３００は、情報処理装置１００の操作状態を示す情報などを管理サーバ２００から受信し、表示する。これにより、コンシェルジュは、自分が担当する情報処理装置１００の状況を把握することができる。

また、管理サーバ２００は、入国者Ｐが情報処理装置１００を操作して提供した個人識別情報を審査ブースのＰＣ５へ送信する。審査官は、管理サーバ２００から受信した入国者Ｐの個人識別情報をＰＣ５に表示させ、その内容を見て審査を行う。なお、上記の例では、情報処理装置１００、コンシェルジュのタブレット３００及び審査ブースのＰＣ５は管理サーバ２００を介して情報を授受しているが、情報処理装置１００とタブレット３００の間、及び、情報処理装置１００と審査ブースのＰＣ５との間で、管理サーバ２００を介さずに直接情報の授受を行う構成としてもよい。

［情報処理装置］
次に、情報処理装置について説明する。
（外観構成）
図２は、情報処理装置１００の外観を示す図である。情報処理装置１００は、サーモセンサ１１５と、監視カメラ１１６と、タッチパネル１１７と、２つの顔認証カメラ１１８Ａ、１１８Ｂと、パスポートリーダ１１９と、一対の指紋スキャナ１２０Ｒ、１２０Ｌと、一対の手元カメラ１２１Ｒ、１２１Ｌと、昇降機構１２２と、一対の移動用ハンドル１３１Ｒ、１３１Ｌと、ベース１３２と、移動用キャスター１３３と、バー１３４と、テーブル１３５とを備える。なお、以下の説明では、ペアで構成されている要素について、個々を特定する必要がない場合には添え字を省略して表記する。例えば、指紋スキャナ１２０Ｒ、１２０Ｒについて、いずれかを特定する場合は「指紋スキャナ１２０Ｒ」、「指紋スキャナ１２０Ｌ」などと表記し、いずれかを特定しない場合には単に「指紋スキャナ１２０」と表記する。

サーモセンサ１１５は、情報処理装置１００の最上部に設けられ、情報処理装置１００に対する人物の接近を検知する。基本的に、サーモセンサ１１５が人物を検知していない状態では、情報処理装置１００は待機（スリープ）状態となっている。入国者Ｐがサーモセンサ１１５の前に立つと、サーモセンサ１１５が入国者Ｐを熱源として検知し、情報処理装置１００が起動する。また、後述するように、サーモセンサ１１５は、入国者Ｐの発熱を検知するためにも使用される。

監視カメラ１１６も情報処理装置１００の最上部に設けられており、情報処理装置１００の前方の所定の範囲を斜め上から撮影する。監視カメラ１１６は、情報処理装置１００の前にいる入国者Ｐの挙動などを撮影するために使用される。

タッチパネル１１７は、情報処理装置１００の前に立った入国者Ｐの上半身に相当する位置に設けられており、バー１３４に沿って上下方向に移動可能である。タッチパネル１１７は、入国者Ｐが情報処理装置１００を操作する際の入力部及び表示部としての役割を有する。タッチパネル１１７には、入国者Ｐが情報処理装置１００を操作する際に必要な案内情報が表示される。また、案内情報に対して入国者Ｐが何らかの選択を行う必要がある場合には、タッチパネル１１７に選択ボタンが表示される。

タッチパネル１１７の上端には顔認証カメラ１１８Ａが設けられ、下端には顔認証カメラ１１８Ｂが設けられている。基本的に、上側の顔認証カメラ１１８Ａは背の高い人の顔画像を撮影するために使用され、下側の顔認証カメラ１１８Ｂは子供などの背の低い人の顔画像を撮影するために使用される。このように、撮影対象に応じて使用する顔認証カメラを選択することで、顔認証に適した画像（例えば、正面の顔画像）を撮影できる可能性が高くなる。なお、上側の顔認証カメラ１１８Ａで背の低い人の顔画像を撮影しても構わないし、下側の顔認証カメラ１１８Ｂで背の高い人の顔画像を撮影しても構わない。また、複数の顔認証カメラを使用することにより、正面の顔画像だけでなく、様々な角度の顔画像を取得することが可能となる。

なお、本実施形態のようにタッチパネル１１７をバー１３４に沿って上下方向に移動可能とした場合には、タッチパネル１１７の上下方向における中央付近に１つの顔認証カメラを設けることとしてもよい。また、図２の例では、顔認証カメラ１１８Ａ、１１８Ｂをタッチパネル１１７の上下の表示エリア外に設けているが、その代わりに、タッチパネル１１７の上にハーフミラーを設け、ハーフミラーの内側において任意の位置に顔認証カメラを設けてもよい。このようにハーフミラーの内側に顔認証カメラを設けることで、入国者にカメラの存在を意識させることなく、顔画像を撮影することが可能となる。

タッチパネル１１７の下方にはテーブル１３５が設けられている。テーブル１３５の上面には、パスポートリーダ１１９と、一対の指紋スキャナ１２０Ｒ、１２０Ｌとが設けられている。パスポートリーダ１１９は、パスポートリーダ１１９上に置かれたパスポート内のＩＣチップから、無線通信により記録情報を読みとる。具体的には、パスポートリーダ１１９は、パスポートから国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真の顔画像など（以下、これらをまとめて「パスポート情報」とも呼ぶ。）を読み取る。指紋スキャナ１２０は、入国者Ｐの左右の手の人差し指の指紋を読み取る。指紋スキャナ１２０Ｒは右手用、指紋スキャナ１２０Ｌは左手用である。

昇降機構１２２は、テーブル１３５を上下方向に移動させる。昇降機構１２２により、入国者Ｐの身長に合った高さ、即ち、入国者Ｐが指紋スキャナ１２０Ｒ、１２０Ｌに指を置きやすい高さにテーブル１３５を移動させることができる。また、昇降機構１２２は、タッチパネル１１７をバー１３４に沿って移動させる。なお、タッチパネル１１７をバー１３４に沿って移動させる機構はどのようなものでも良い。例えば、バーの前面にレールを設け、レール内を上下移動可能なスライダーにタッチパネル１１７に固定し、昇降機構１２２によりスライダーを上下移動させることにより、タッチパネル１１７を昇降させることができる。

テーブル１３５の上方には、一対の手元カメラ１２１Ｒ、１２１Ｌが設けられている。手元カメラ１２１Ｒ、１２１Ｌは、入国者Ｐがパスポートリーダ１１９にパスポートを置いた状態や、指紋スキャナ１２０に左右の指を置いた状態などを撮影する。手元カメラ１２１Ｒは入国者Ｐの右手側、即ち、指紋スキャナ１２０Ｒ側を撮影し、手元カメラ１２１Ｌは入国者Ｐの左手側、即ち、指紋スキャナ１２０Ｌ側を撮影する。手元カメラ１２１は、タッチパネル１１７の下端に設けてもよく、タッチパネル１１７の背後の位置でバー１３４に設けてもよい。

ベース１３２は、情報処理装置１００の下端に設けられた筐体であり、内部には取り外し可能なバッテリーや予備バッテリーなどが収納される。情報処理装置１００は、取り外し可能なバッテリーで電源供給されるため、コンセントが無い場所に移動して使用可能である。ベース１３２の下には移動用キャスター１３３が設けられ、テーブル１３５の下端には一対の移動用ハンドル１３１Ｒ、１３１Ｌが設けられている。コンシェルジュや他の作業者は、移動用ハンドル１３１を持って情報処理装置１００を移動することができる。

図３は、ベース１３２の内部構造を示す。図３は、ベース１３２の前面パネルを外し、正面から内部を見た状態を示す。ベース１３２の中央には操作パネル１５２が設けられ、操作パネル１５２の左右のスペースにバッテリー１５１が設置される。バッテリー１５１は一方が使用中であり、もう一方が予備である。バッテリー１５１は、所定位置に置かれた状態で端子に電気的に接続され、充電が行われる。操作パネル１５２には、電源ボタン１５３と、昇降ボタン１５４、１５５とが設けられる。電源ボタン１５３は情報処理装置１００の主電源のボタンである。昇降ボタン１５４、１５５は、それぞれ昇降機構１２２によりタッチパネル１１７及びテーブル１３５を昇降させるためのボタンである。

また、操作パネル１５２は、各バッテリーに対応して、残量インジケータ１５６と、使用中ランプ１５７と、交換ランプ１５８と、充電中ランプ１５９を備える。残量インジケータ１５６は、バッテリーの残量を表示する。使用中ランプ１５７は、バッテリーが使用中であるときに点灯する。交換ランプ１５８は、バッテリーの交換が必要な場合に点灯する。充電中ランプ１５９は、バッテリーが充電中である場合に点灯する。

（機能構成）
図４は、情報処理装置１００の機能構成を示すブロック図である。図示のように、情報処理装置１００は、通信部１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４とを備える。また、情報処理装置１００は、図２を参照して説明したサーモセンサ１１５、監視カメラ１１６、タッチパネル１１７、顔認証カメラ１１８、パスポートリーダ１１９、指紋スキャナ１２０、手元カメラ１２１及び昇降機構１２２を備える。

通信部１１１は、外部装置との間でデータの送受信を行う。具体的に、通信部１１１は、管理サーバ２００との間で情報を送受信する。また、情報処理装置１００がタブレット３００又は審査ブースのＰＣ５と直接に通信可能な場合、通信部１１１はタブレット３００又はＰＣ５との間で情報を送受信する。

プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、情報処理装置１００の全体を制御する。なお、プロセッサ１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などであってもよい。具体的に、プロセッサ１１２は、後述するパスポート処理、顔画像処理、指紋採取処理、ＥＤカード処理などの各種の処理を実行する。

メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、情報処理装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。情報処理装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。

［管理サーバ］
図５（Ａ）は、管理サーバ２００の機能構成を示すブロック図である。図示のように、管理サーバ２００は、通信部２１１と、プロセッサ２１２と、メモリ２１３と、記録媒体２１４と、データベース２１５と、を備える。

通信部２１１は、外部装置との間でデータの送受信を行う。具体的に、通信部２１１は、情報処理装置１００、コンシェルジュが使用するタブレット３００、及び、審査ブースのＰＣ５との間で情報を送受信する。

プロセッサ２１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、管理サーバ２００の全体を制御する。なお、プロセッサ２１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。具体的に、プロセッサ２１２は、情報処理装置１００が入国者Ｐから取得した情報を受信してＤＢ２１５に記憶したり、審査ブースのＰＣ５へ入国者の情報を送信したりする。

メモリ２１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ２１３は、プロセッサ２１２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体２１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、管理サーバ２００に対して着脱可能に構成される。記録媒体２１４は、プロセッサ２１２が実行する各種のプログラムを記録している。管理サーバ２００が各種の処理を実行する際には、記録媒体２１４に記録されているプログラムがメモリ２１３にロードされ、プロセッサ２１２により実行される。

データベース２１５は、通信部２１１を通じて受信した入国者Ｐの個人識別情報や情報処理装置１００の動作状態を示す情報などを記憶する。なお、管理サーバ２００は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。

［タブレット］
図５（Ｂ）は、コンシェルジュが使用するタブレット３００の内部構成を示すブロック図である。図示のように、タブレット３００は、通信部３１１と、プロセッサ３１２と、メモリ３１３と、タッチパネル３１４と、を備える。

通信部３１１は、外部装置との間でデータの送受信を行う。具体的に、通信部３１１は、管理サーバ２００との間で情報を送受信する。また、タブレット３００が、情報処理装置１００や審査ブースのＰＣ５と直接通信可能である場合、通信部３１１は情報処理装置１００及びＰＣ５との間で情報を送受信する。

プロセッサ３１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、タブレット３００の全体を制御する。なお、プロセッサ３１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。具体的に、プロセッサ３１２は、情報処理装置１００の状態や入国者Ｐによる操作状況などを示す情報を管理サーバ２００又は情報処理装置１００から受信し、タッチパネル３１４に表示する。

メモリ３１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ３１３は、プロセッサ３１２による各種の処理の実行中に作業メモリとしても使用される。タッチパネル３１４は、タブレット３００を所持するコンシェルジュが担当する情報処理装置１００の状態や入国者Ｐによる操作状況を示す情報を表示する。

［情報処理装置の処理］
次に、情報処理装置１００で実行される処理について説明する。図６は、情報処理装置１００で実行される情報取得処理のフローチャートである。この処理は、図４に示すプロセッサ１１２が予め用意されたプログラムを実行することにより実現される。

情報処理装置１００は、入国者Ｐが操作していないときはスリープ状態となっており、サーモセンサ１１５で情報処理装置１００の前方を検知している（ステップＳ１）。なお、情報処理装置１００の「前方」とは、情報処理装置１００を操作する入国者Ｐが立つ領域であり、例えば図２の破線１７０で示す領域である。入国者Ｐが情報処理装置１００の前に立つと、サーモセンサ１１５は入国者Ｐを検知し（ステップＳ１：Ｙｅｓ）、情報処理装置１００はパスポート処理を実行する（ステップＳ１０）。パスポート処理は、入国者Ｐのパスポートからパスポート情報を読み取る処理である。

図７（Ａ）は、パスポート処理のフローチャートである。具体的に、情報処理装置１００は、パスポートリーダ１１９によりパスポートを検出する（ステップＳ１１）。パスポートを検出できない場合（ステップＳ１１：Ｎｏ）、情報処理装置１００は、タッチパネル１１７に「パスポートを置いて下さい。」などのメッセージを表示する（ステップＳ１２）。一方、パスポートを検出すると（ステップＳ１１：Ｙｅｓ）、パスポートリーダ１１９は、パスポート内のＩＣチップからパスポート情報を読み取る（ステップＳ１３）。ここで、パスポート情報は、国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真から読み取った顔画像などを含む。次に、情報処理装置１１０は、読み取ったパスポート情報をメモリ１１３などに一時的に記憶する（ステップＳ１４）。そして、処理は図６のメインルーチンへ戻る。

次に、情報処理装置１００は、顔認証処理を実行する（ステップＳ２０）。顔認証処理は、入国者Ｐの顔画像を撮影し、パスポート情報に含まれる顔画像と照合して顔認証を行う処理である。図７（Ｂ）は、顔認証処理のフローチャートである。まず、情報処理装置１００は、タッチパネル１１７に「顔画像を撮影します。」などのメッセージを表示する。また、必要に応じて、情報処理装置１００は、撮影タイミングを示すカウントダウンの数字などを表示してもよい。次に、顔認証カメラ１１８は、入国者Ｐの顔画像を撮影する（ステップＳ２２）。この際、情報処理装置１００は、入国者Ｐの身長に応じて顔認証カメラ１１８Ａの１１８Ｂのうちの一方を用いて入国者Ｐを撮影する。

次に、情報処理装置１００は、顔認証カメラ１１８で撮影した顔画像をメモリ１１３に一時的に記憶する（ステップＳ２３）。次に、情報処理装置１１０は、顔認証カメラ１１８で撮影した顔画像と、パスポートから読み取ったパスポート情報に含まれる顔画像とを照合して顔認証を行い、認証結果をメモリ１１３に保存する（ステップＳ２４）。そして、処理は図６のメインルーチンへ戻る。

次に、情報処理装置１００は、指紋採取処理を実行する（ステップＳ３０）。指紋採取処理は、入国者Ｐの指紋を採取する処理である。具体的に、指紋採取処理は、入国者Ｐの左右の手の人差し指の指紋を採取する。図８（Ａ）は、指紋採取処理のフローチャートである。まず、情報処理装置１００は、タッチパネル１１７に指紋を採取するための案内画面を表示する（ステップＳ３１）。例えば、情報処理装置１００は、指紋スキャナ１２０に対する指の配置方法などを示す案内画像をタッチパネル１１７に表示する。次に、指紋スキャナ１２０Ｒ、１２０Ｌはそれぞれ入国者Ｐの人差し指の指紋を読み取り（ステップＳ３２）、指紋画像をメモリ１１３に一時的に記憶する（ステップＳ３３）。そして、処理は図６のメインルーチンへ戻る。

次に、情報処理装置１００は、ＥＤ（Ｅｍｂａｒｋａｔｉｏｎ Ｄｉｓｅｍｂａｒｋａｔｉｏｎ）カード処理を行う（ステップＳ４０）。ＥＤカードとは、渡航先の国に入出国する際に必要事項を記入するカードであり、入出国カードとも呼ばれる。ＥＤカード処理は、入国者Ｐが事前登録したＥＤ情報を入国者Ｐのスマートフォンなどの端末装置から読み取る処理である。入国者ＰがＥＤ情報を事前登録すると、登録したＥＤ情報と関連付けされたＱＲコード（登録商標）が発行され、入国者Ｐはこれをスマートフォンに記憶している。

図８（Ｂ）は、ＥＤカード処理のフローチャートである。まず、情報処理装置１００は、入国者ＰがＥＤ情報を事前登録済みであるか否かを尋ねる（ステップＳ４１）。ＥＤ情報が事前登録済みで無い場合（ステップＳ４１：Ｎｏ）、処理は終了する。一方、ＥＤ情報が事前登録済みである場合（ステップＳ４１：Ｙｅｓ）、情報処理装置１００は、入国者Ｐがスマートフォンなどに表示したＱＲコードを読み取る（ステップＳ４２）。具体的には、入国者ＰはＱＲコードをスマートフォンに表示させ、パスポートリーダ１１９などにかざす。パスポートリーダ１１９は、スマートフォンからＱＲコードを読み取る。そして、情報処理装置１００は、読み取ったＥＤ情報をメモリ１１３に一時的に記憶する（ステップＳ４３）。そして、処理は図６のメインルーチンへ戻る。

なお、上記の例では、ＱＲコードをパスポートリーダ１１９で読み取っているが、ＱＲコードを顔認証カメラ１１８や手元カメラ１２１でも読み取れるようにしてもよい。また、情報処理装置１００にＩＣカードリーダを設け、入国者Ｐのスマートフォンと情報処理装置１００との間で無線通信を行うことで登録済のＥＤ情報を入国者Ｐのスマートフォンから取得する構成としてもよい。

次に、情報処理装置１００は、ステップＳ１０～Ｓ４０で取得した個人識別情報を管理サーバ２００へ送信する（ステップＳ５０）。ここで、管理サーバ２００へ送信される個人識別情報は、パスポート処理で取得したパスポート情報、顔認証処理で取得した顔画像及び顔認証結果、指紋採取処理で取得した指紋画像、及び、ＥＤカード処理で取得したＥＤ情報を含む。このとき、情報処理装置１００は、「審査ブースへ進んでください。」などのメッセージをタッチパネル１１７に表示し、入国者Ｐに審査ブースへ進むよう促す。

［情報処理装置の表示例］
次に、上記の情報取得処理において情報処理装置１００がタッチパネル１１７に表示する画像の例を説明する。なお、以下に示す表示例の順序は一例に過ぎず、表示する順序を任意に変更することが可能である。まず、入国者Ｐが情報処理装置１００の前に来てサーモセンサ１１５が入国者Ｐを検知すると、情報処理装置１００はタッチパネル１１７に図９（Ａ）に示す初期画像４０１を表示する。なお、初期画像４０１に含まれる言語選択ボタン４８１については後述する。

次に、情報処理装置１００は、パスポートスキャンの案内画像を表示する。具体的に、情報処理装置１００は、図９（Ｂ）～（Ｄ）に示す画像４０２～４０４を順に表示する。画像４０２～４０４はいずれもパスポートリーダ１１９にパスポートを置くことを求めるメッセージを含む。画像４０２はパスポートリーダの外観を示し、画像４０３はパスポートの外側面をパスポートリーダ１１９に重ねることを示し、画像４０４はパスポートの内側面をパスポートリーダ１１９に重ねることを示す。なお、画像４０２に含まれるヘルプボタン４８２、及び、画像４０４に含まれるリプレイボタン４８３については後述する。

入国者Ｐがパスポートをパスポートリーダ１１９に重ねると、タッチパネル１１７には図１０（Ａ）に示す読取中画像４０５が表示される。パスポートの読取が成功すると、図１０（Ｂ）に示すように、読取ＯＫを示す画像４０６が表示される。一方、パスポートの読取が失敗すると、図１０（Ｃ）に示すように、読取ＮＧを示す画像４０７が表示される。読取が失敗した場合、入国者Ｐはパスポートの読取操作をやり直す。

パスポートの読取に成功すると、図１１（Ａ）に示すように、顔撮影の案内画像４１０が表示される。情報処理装置１００は、入国者Ｐの身長に応じて、上側の顔認証カメラ１１８Ａと下側の顔認証カメラ１１８Ｂのいずれを使用するかを決定する。そして、情報処理装置１００は、上側の顔認証カメラ１１８Ａを使用する場合、図１１（Ｂ）に示す画像４１１を表示し、入国者Ｐに上側の顔認証カメラ１１８Ａを見るように促す。一方、情報処理装置１００は、下側の顔認証カメラ１１８Ｂを使用する場合、図１１（Ｃ）に示す画像４１２を表示し、入国者Ｐに下側の顔認証カメラ１１８Ｂを見るように促す。

その後、顔認証カメラ１１８が顔画像の撮影を開始すると、図１２（Ａ）に示す撮影中画像４１３が表示される。適正な顔画像が撮影された場合、図１２（Ｂ）に示す撮影ＯＫ画像４１４が表示される。一方、適正な顔画像が撮影できなかった場合、図１２（Ｃ）に示す撮影ＮＧ画像４１５が表示される。

撮影ＮＧの場合、情報処理装置１００は、顔画像を正しく撮影するための案内情報を表示する。例えば、図１３（Ａ）の画像４１６に示すように入国者Ｐの顔が撮影枠４９０内に収まっていない場合、情報処理装置１００は入国者Ｐに撮影枠４９０内に入るように促すメッセージを表示する。ここで、情報処理装置１００は、顔画像の撮影に使用する顔認証カメラ１１８に対応する位置にメッセージを表示する。具体的に、上側の顔認証カメラ１１８Ａを使用して顔画像を撮影している場合、情報処理装置１００は、図１３（Ａ）の画像４１６に示すように、撮影枠４９０の上側にメッセージを表示する。一方、下側の顔認証カメラ１１８Ｂを使用して顔画像を撮影している場合、情報処理装置１００は、図１３（Ｂ）の画像４１７に示すように、撮影枠４９０の下側にメッセージを表示する。また、２つの顔認証カメラ１１８を使用して顔画像を撮影している場合、情報処理装置１００は、入国者の身長、画像４１６内における入国者の顔の位置、又は、顔画像に基づいて検知した入国者の視線の位置に応じてメッセージを表示する場所を適宜設定することができる。

なお、顔画像の撮影がＮＧになる他の原因としては、入国者Ｐがカメラの方向を見ていないこと、入国者Ｐがサングラスやマスクをしていることなどが挙げられる。入国者Ｐが正しくカメラの方向を見ていない場合には、画像４１６又は４１７で「カメラの方向を見てください。」などのメッセージが表示され、入国者Ｐがサングラスやマスクをしている場合には、画像４１６又は４１７で「サングラス（又はマスク）を外して下さい。」などのメッセージが表示される。

顔認証処理が終了すると、指紋採取処理が行われる。情報処理装置１００は、まず、指紋の採取方法を説明する案内画像を表示する。具体的には、情報処理装置１００は、図１３（Ｃ）、（Ｄ）に示す画像４２１、４２２を順に表示する。画像４２１は指紋スキャナを表示し、画像４２２は指紋スキャナに対する指の配置例を示す。続いて、情報処理装置１００は図１４（Ａ）に示す画像４２３を表示する。画像４２３では、手元カメラ１２１で撮影した左右の指紋スキャナ１２０付近の画像上に、左右の手の指の正しい配置を示すガイドハンド５１２が表示される。さらに、人差し指を指紋スキャナ１２０上に置くことを示す破線の円５１１が表示される。なお、リプレイボタン４８３については後述する。

入国者Ｐが実際に指紋スキャナ１２０上に指を置くと、その様子が手元カメラ１２１で撮影される。情報処理装置１００は、図１４（Ｂ）に示すように、手元カメラ１２１が撮影した入国者Ｐの手５１３を含む画像４２４を表示する。入国者Ｐは、画像４２４におけるガイドハンド５１２の位置を参照して、自分の手を正しい位置に配置する。

入国者Ｐの指が接触すると、指紋スキャナ１２０は指紋の読取を開始し、図１４（Ｃ）に示す読取中画像４２５が表示される。指紋の読取が成功すると、図１４（Ｄ）に示す読取ＯＫ画像４２６が表示される。一方、指紋の読取が失敗すると、図１５（Ａ）に示す読取ＮＧ画像４２７が表示される。指紋の読取が失敗する原因はいくつかある。例えば、入国者Ｐが指紋スキャナ１２０に片手しか置いていない場合、情報処理装置１００は図１５（Ｂ）に示す画像４２８を表示する。画像４２８では、両手を指紋スキャナ１２０に置くことを求めるメッセージが表示される。

指紋スキャナ１２０に対する指の位置がずれている場合、情報処理装置１００は図１５（Ｃ）に示す画像４２９を表示する。画像４２９では、右手の位置がずれていることを示すメッセージが表示される。なお、画像４２９では、右手の指の位置がずれているが、左手の指の位置はずれていないため、右手の画像の下にのみ「位置ずれ」のメッセージが表示されている。仮に左手の指の位置のみがずれている場合、左手の画像の下にのみ「位置ずれ」のメッセージが表示される。また、両手の指の位置がずれている場合、両手の画像の下にそれぞれ「位置ずれ」のメッセージが表示される。なお、下側の顔認証カメラ１１８Ｂを用いて顔認証を行った場合は手の画像の下側にメッセージを表示し、上側の顔認証カメラ１１８Ａを用いて顔認証を行った場合は手の画像の上側にメッセージを表示してもよい。また、指の位置が正しいか否かに応じて、ガイドハンド５１２の色や線の太さなどを変えてもよい。例えば、指が正しい位置に置かれるまでは第１の表示（例えば赤の点線）でガイドハンド５１２を表示し、指が正しい位置に置かれたら第２の表示（例えば緑の実線）でガイドハンド５１２を表示してもよい。

指紋スキャナ１２０に対する指の押し付けが不足している場合、情報処理装置１００は図１５（Ｄ）に示す画像４３０を表示する。画像４３０では、指紋スキャナ１２０に対する右手の人差し指の押し付けが不足していることを示すメッセージが表示されている。なお、この場合も、左右の指のうち、押し付け不足となっている方の画像の下にメッセージが表示される。こうして、情報処理装置１００は、指紋の読取が失敗した理由をタッチパネル１１７に表示し、再度の指紋採取を促す。

指紋採取処理が終了すると、ＥＤカード処理が行われる。情報処理装置１００は、まず、図１６（Ａ）に示す画像４４１を表示し、事前登録したＥＤ情報を使用するか否かを入国者Ｐに尋ねる。画像４１１は、ＹＥＳボタン５３１と、ＮＯボタン５３２を含む。入国者ＰがＮＯボタン５３２を押すと、ＥＤカード処理は終了する。一方、入国者ＰがＹＥＳボタン５３１を押すと、情報処理装置１００はＱＲコードの読取操作の案内画像を表示する。具体的には、情報処理装置１００は、図１６（Ｂ）～（Ｄ）の画像４４２～４４４を順に表示する。画像４４２は、事前登録済みのＥＤ情報に対応するＱＲコードをスマートフォンに表示させることを促す画像である。画像４４３は、ＱＲコードの読取に使用するパスポートリーダ１１９を示す。画像４４４は、ＱＲコードをパスポートリーダ１１９にかざす様子を示す。なお、画像４４４にはリプレイボタン４８３が表示されているが、これについては後述する。

入国者ＰがＱＲコードをパスポートリーダ１１９にかざすと、ＱＲコードの読取が開始し、図１７（Ａ）に示す読取中画像４４５が表示される。ＱＲコードが正しく読み取られると、図１７（Ｂ）に示す画像４４６が表示される。画像４４６は、事前登録したＥＤ情報と、入国者Ｐに修正の要否の確認を促すメッセージと、ＹＥＳボタン５４１と、ＮＯボタン５４２とを含む。入国者Ｐは、修正の要否に応じて、ＹＥＳボタン５４１又はＮＯボタン５４２を押す。ＹＥＳボタン５４１が押されると、画像４４６に対する入力が可能となり、入国者Ｐは必要な修正を行う。修正が無い場合又は修正が終了した場合、図１７（Ｃ）に示す確認画像４４７が表示される。確認画像４４７は、ＹＥＳボタン５４３とＮＯボタン５４４を含む。入国者ＰがＮＯボタン５４４を押すと、図１７（Ｂ）に示す画像４４６に戻る。一方、入国者ＰがＹＥＳボタン５４３を押すと、図１７（Ｄ）のような終了画面４４８が表示され、情報取得処理は終了する。

図９～１７に例示した画像のうち、全ての画像又は任意の画像において、言語選択ボタン及びヘルプボタンを表示することができる。図９（Ａ）は、言語選択ボタン４８１が表示された画像の一例を示す。言語選択ボタン４８１が押されると、図１８（Ａ）に示す画像４５１が表示され、入国者Ｐは情報処理装置１００の操作において使用する言語を選択することができる。

ヘルプボタンは、コンシェルジュを呼び出すためのボタンである。図９（Ｂ）は、ヘルプボタン４８２が表示された画像の一例を示す。ヘルプボタン４８２が押されると、まず、図１８（Ｂ）に示す画像４５２が表示される。画像４５２において、ＹＥＳボタン５５１が押されると、情報処理装置１００はコンシェルジュのタブレット３００に呼び出し情報を送信し、図１８（Ｃ）に示す画像４５３を表示する。コンシェルジュが情報処理装置１００に到着し、所定の操作を行うと、画像４５３の表示は終了する。

また、上記のパスポート処理、顔認証処理、指紋採取処理、及び、ＥＤカード処理の各々において、情報処理装置１００の操作方法の案内画像に続く画像にリプレイボタンを表示することができる。リプレイボタンは、情報処理装置１００の操作方法を示す案内画像のリプレイを指示するためのボタンである。具体的に、リプレイボタン４８３は、図９（Ｄ）の画像４０４、図１４（Ａ）の画像４２３、図１６（Ｄ）の画像４４４などに表示されている。リプレイボタン４８３は、先行して表示された案内画像のリプレイを行うためのボタンである。例えば、図９（Ｄ）の画像４０４において入国者Ｐがリプレイボタン４８３を押すと、図９（Ｂ）～（Ｄ）の画像４０２～４０４がこの順でリプレイされる。図１４（Ａ）の画像４２３において入国者Ｐがリプレイボタン４８３を押すと、図１３（Ｃ）、（Ｄ）、図１４（Ａ）の画像４２１～４２３がこの順でリプレイされる。また、図１６（Ｄ）の画像４４４において入国者Ｐがリプレイボタン４８３を押すと、図１６（Ｂ）～（Ｄ）の画像４４２～４４４がこの順でリプレイされる。これら以外に、顔認証処理やＥＤカード処理においても一連の案内画像の最後の画像においてリプレイボタンを設けることができる。この場合、顔認証処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、顔認証処理に関する一連の案内画像がリプレイされる。また、ＥＤカード処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、ＥＤカード処理に関する一連の案内画像がリプレイされる。なお、リプレイボタン４８３が所定回数以上選択された場合、情報処理装置１００は、入国者Ｐが操作方法で困っていると判断し、自動的にコンシェルジュを呼び出すアラートをタブレット３００に送信するようにしてもよい。

［管理サーバの処理］
次に、情報取得処理と並行して行われる管理サーバの処理について説明する。図１９は、管理サーバ２００による情報管理処理のフローチャートである。この処理は、図５（Ａ）に示すプロセッサ２１２が予め用意されたプログラムを実行することにより実現される。

まず、情報処理装置１００は、取得した個人識別情報を管理サーバ２００へ送信し（ステップＳ５０）、管理サーバ２００は個人識別情報を受信する（ステップＳ５１）。次に、管理サーバ２００は、受信した個人識別情報を、パスポート番号に関連付けてＤＢ２１５に記憶する（ステップＳ５２）。こうして、入国者Ｐが情報処理装置１００を操作して提供した個人識別情報が管理サーバ２００のＤＢ２１５に蓄積される。

入国者Ｐは情報処理装置１００での操作を終了すると、審査ブースへ進む。入国者Ｐが審査ブースで審査官にパスポートを提示すると、審査官はＰＣ５を用いて入国者Ｐのパスポートを読み取る（ステップＳ５３）。ＰＣ５は、読み取ったパスポート情報をモニタなどに表示するとともに、パスポート番号を管理サーバ２００へ送信する（ステップＳ５４）。

管理サーバ２００は、パスポート番号を受信し（ステップＳ５５）、そのパスポート番号に対応する個人識別情報をＤＢ２１５から取得し、審査ブースのＰＣ５へ送信する（ステップＳ５６）。審査ブースのＰＣ５は、受信した個人識別情報をモニタなどに表示する（ステップＳ５７）。こうして、審査ブースに来た入国者Ｐについて情報処理装置１００が取得した個人識別情報が、審査ブースのＰＣ５のモニタに表示される。審査官は、表示された個人識別情報に含まれる顔画像や、顔認証結果などを参照して入国の可否の審査を行う。

なお、情報処理装置１００による情報提供が必要な入国者Ｐが、情報処理装置１００での操作を行わずに審査ブースに来てしまった場合、審査ブースのＰＣ５は、コンシェルジュのタブレット３００に通知するとともに、使用可能な（他に誰も使用していない）情報処理装置１００のＩＤと当該情報処理装置１００までの道のりを示す地図情報をＰＣ５のモニタに表示してもよい。この場合、審査官は上記の地図情報をプリントアウトして入国者Ｐに渡すことができ、入国者Ｐを正しく情報処理装置１００へ案内することができる。

［タブレットの表示例］
次に、コンシェルジュが使用するタブレット３００の表示例を説明する。入国者Ｐが情報処理装置１００を操作している間、情報処理装置１００は入国者Ｐの個人識別情報を取得し、管理サーバ２００へ送信する。管理サーバ２００は、取得した情報を担当のコンシェルジュが所持するタブレット３００へ送信する。図２０は、コンシェルジュのタブレット３００の表示例を示す。１人のコンシェルジュには、複数の情報処理装置１００が紐づけされる。図２０の例は、コンシェルジュＸのタブレット３００の表示画面を示す。

図示のように、タブレット３００は、コンシェルジュＸに紐付けられた複数の情報処理装置１００の情報を表示する装置一覧画面を表示する。装置一覧画面は、情報処理装置１００毎の個別情報を表示する個別情報エリア３２０と、全体的な情報を表示する全体情報エリア３３０とを含む。図２０の例では、コンシェルジュは、装置番号「０１」～「０７」の７台の情報処理装置１００を担当しており、各情報処理装置１００に対応する７個の個別情報エリア３２０が表示されている。

各個別情報エリア３２０は、カメラ表示ボタン３２１と、個別アラートエリア３２２と、プロセス表示エリア３２３とを備える。カメラ表示ボタン３２１は、監視カメラ１１６の撮影画像を表示させるためのボタンである。コンシェルジュがカメラ表示ボタン３２１を押すと、図２０の装置番号「０４」の個別情報エリア３２０に示すように、監視カメラ１１６により撮影された監視カメラ画像３２４が表示される。監視カメラ画像３２４が表示された状態で、コンシェルジュが監視カメラ画像３２４内の閉じるボタン３２５を押すと、監視カメラ画像３２４の表示が終了する。

監視カメラ画像３２４は、情報処理装置１００の監視カメラ１１６が撮影した入国者Ｐの画像である。図２に示すように、監視カメラ１１６は情報処理装置１００の上端に設けられているため、監視カメラ画像３２４は、入国者Ｐを斜め上から見下ろしたような画像となる。監視カメラ画像３２４は、入国者Ｐ及びその前方にある情報処理装置１００のテーブル１３５を含む画像となるので、コンシェルジュは監視カメラ画像３２４を見ることにより、入国者Ｐが操作を行っている状況を把握することができる。なお、監視カメラ１１６の画像だけでなく、顔認証カメラ１１８や手元カメラ１２１を監視カメラとして使用してもよい。その場合、顔認証カメラ１１８や手元カメラ１２１の画像も監視カメラ画像３２４として表示することができる。

個別アラートエリア３２２は、入国者Ｐが情報処理装置を操作する際に、情報処理装置１００毎に個別に発生したアラートを表示するエリアである。図２０の例では、「呼出」、「不正」、「故障」、及び、「バッテリー」の４つのマークが表示されている。「呼出」マークは、入国者Ｐが情報処理装置１００の操作に困り、呼び出しボタンなどを押してコンシェルジュを呼び出したときに点灯する。「不正」マークは、情報処理装置１００が入国者Ｐの操作における不正を検出した場合に点灯し、例えば１つの情報処理装置１００の周辺に２人以上の人物が立っている場合に点灯する。「故障」マークは、情報処理装置１００のハードウェアなどに異常が発生した場合に点灯する。「バッテリー」マークは、情報処理装置１００のバッテリー残量が所定値以下となった場合に点灯する。

情報処理装置１００においてアラートが発生すると、個別アラートエリア３２２内の対応するマークが点灯するとともに、そのアラートの発生時刻が表示される。図２０の装置番号「０１」の個別情報エリア３２０では、「不正」のアラートマークが点灯し、そのアラートの発生時刻「１０：５１」が表示されている。これにより、コンシェルジュは、自分が担当する情報処理装置１００に発生しているアラートの種類及びその発生時刻を知ることができる。実際の処理としては、情報処理装置１００は、上記のいずれかの状態になったときに、その旨を示すアラート信号を管理サーバ２００へ送信するか、もしくはタブレット３００へ直接送信する。タブレット３００は、アラート信号を、管理サーバ２００経由又は直接に受信し、表示する。

プロセス表示エリア３２３は、各情報処理装置１００の入国者Ｐが前述の情報取得処理のどのプロセスを行っているかを示す。具体的に、プロセス表示エリア３２３は、「旅券」、「顔」、「指紋」及び「ＥＤ」のマークを含む。「旅券」はパスポート処理を示し、「顔」は顔認証処理を示し、「指紋」は指紋採取処理を示し、「ＥＤ」はＥＤカード処理を示す。図２０の表示例において、プロセス表示エリア３２３は、装置番号「０１」及び「０２」の入国者Ｐは指紋採取処理を行っており、装置番号「０３」の入国者Ｐは顔認証処理を行っており、装置番号「０４」～「０７」の入国者Ｐは指紋採取処理を行っていることを示している。なお、各処理（プロセス）に関してアラートが発生した場合には、対応するマークが点灯する。例えば、各処理において、入国者Ｐが２回以上エラーを起こしたときや、入国者Ｐの操作時間が既定の時間を超えたときなどには、そのプロセスのマークが点灯する。図２０の表示画面例では、装置番号「０６」の入国者Ｐの指紋採取処理においてアラートが発生し、「指紋」のマークが点灯している。監視カメラ画像とプロセスとを同時に表示することにより、コンシェルジュは入国者が行っているプロセスとその様子を示す画像とを併せて見ることができ、不審な行動を行っていないかなどを確認しやすくなる。

なお、タブレット３００は、プロセス表示エリア３００への表示を行うために、各情報処理装置１００と通信し、各情報処理装置１００が実行しているプロセスを示す情報を取得する。この場合、情報処理装置１００は、入国者Ｐの操作入力に基づいて実行中のプロセスを特定してもよいし、監視カメラ１１６、顔認証カメラ１１８、手元カメラ１２１などの画像に基づいて入国者Ｐの行動を解析し、実行中のプロセスを判定してもよい。例えば、情報処理装置１００は、入国者Ｐが両手を指紋スキャナ１２０の所に置いていたら、指紋採取処理を実行中であると判定してもよい。

全体情報エリア３３０は、全体アラートのマーク３３２～３３５と、コンシェルジュＩＤ３３６と、ログアウトボタン３３７と、紐づけボタン３３８と、紐渡しボタン３３９とを含む。全体アラートのマーク３３２～３３５は、呼出マーク３３２と、不正マーク３３３と、故障マーク３３４と、バッテリーマーク３３５を含む。全体アラートのマーク３３２～３３５は、コンシェルジュＸが担当する複数の情報処理装置１００のいずれかにアラートが発生した場合に点灯する。例えば、呼出マーク３３２は、コンシェルジュＸの管理する装置番号「０１」～「０７」の情報処理装置１００のいずれか１つが呼び出しを行った場合に点灯する。不正マーク３３３、故障マーク３３４、バッテリーマーク３３５についても同様である。

点灯した全体アラートのマーク３３２～３３５のいずれかをコンシェルジュＸが押すと、そのアラートの詳細を示すアラートリスト３７０が表示される。図２１は、不正マーク３３３が押されたときのアラートリスト３７０の例を示す。アラートリスト３７０は、不正アラートが発生している情報処理装置１００のリストを表示する。図２１の例では、アラートリスト３７０は装置番号「０１」と「０７」の情報処理装置１００で不正アラートが発生していることを示している。表示されている装置番号「０１」のバー３７１をコンシェルジュＸが押すと、図２０のような装置一覧画面が表示され、その装置番号「０１」の個別情報エリア３２０が一時的に点灯する。また、コンシェルジュＸがキャンセルボタン３７２を押すと、アラートリスト３７０の表示が終了し、図２０のような装置一覧画面に戻る。

なお、上記の例では、全体アラートのマーク３３２～３３５のいずれかが選択されると、そのマークに対応するアラートのアラートリストが表示される。その代わりに、マーク３３２～３３５のいずれかが選択されると、そのときに発生している４種類のアラート全てを含むアラートリストを表示することとしてもよい。

次に、情報処理装置の紐づけについて説明する。図２０に示す紐づけボタン３３８はコンシェルジュＸに対して情報処理装置１００を紐づけするためのボタンである。コンシェルジュＸが紐付けボタン３３８を押すと、図２２に示す紐づけウィンドウ３４０が表示される。紐づけウィンドウ３４０では、個々の情報処理装置１００が、装置番号を示す装置マークで表示される。このうち、色付きの装置マーク３４１は、このタブレット３００を操作するコンシェルジュＸに紐づけされている情報処理装置１００を示している。破線の装置マーク３４２は、他のコンシェルジュに紐づけされている情報処理装置１００を示している。また、実線の装置マーク３４３は、いずれのコンシェルジュにも紐づけされていない情報処理装置１００を示している。図２２の例では、装置番号「０１」～「０７」がコンシェルジュＸに紐づけされており、装置番号「０９」～「２４」の情報処理装置１００は他のコンシェルジュに紐づけされており、装置番号「０８」、「２５」～「２７」はいずれのコンシェルジュにも紐づけされていない。

ここで、コンシェルジュＸが装置番号「０８」の装置マーク３４３を押すと、装置番号「０８」の情報処理装置１００がコンシェルジュＸに紐づけされる。閉じるボタン３４４を押すことにより、紐づけウィンドウ３４０が閉じる。図２３は、装置番号「０８」の情報処理装置１００をコンシェルジュＸに紐づけた後の装置一覧画面を示す。図２０との比較によりわかるように、装置番号「０８」の情報処理装置についての個別情報エリア３２０が追加されている。

次に、情報処理装置１００の紐外しについて説明する。紐外しとは、担当装置の一部又は全部を、自分の担当から外す作業である。紐外しを行う場合、コンシェルジュＸは紐づけボタン３３８を押し、図２２に示す紐づけウィンドウ３４０を表示させる。そして、コンシェルジュＸは、紐外しの対象となる装置番号の装置マーク３４１を押せばよい。

次に、情報処理装置１００の紐渡しについて説明する。紐渡しとは、自分の担当装置を他のコンシェルジュに渡すことをいう。コンシェルジュＸが図２０に示す紐渡しボタン３３９を押すと、図２４に示す紐づけウィンドウ３４０が表示される。ここで、コンシェルジュが紐渡しボタン３４５を押すと、図２５に示すように、紐づけウィンドウ３４０の右端に対象となるコンシェルジュを指定するボタン３４７が表示される。コンシェルジュＸが紐渡し先のコンシェルジュ（コンシェルジュＡとする。）のボタン３４７を選択すると、紐渡し先のコンシェルジュＡのタブレット３００には、図２６に示すように確認ウィンドウ３５０が表示される。確認ウィンドウ３５０は、紐渡しが要求されたことを示すメッセージと、同意ボタン３５１と、拒否ボタン３５２とを含む。紐渡し先のコンシェルジュＡが同意ボタン３５１を押すと、紐渡しが行われ、コンシェルジュＸの担当していた情報処理装置１００がコンシェルジュＡに渡される。一方、コンシェルジュＡが拒否ボタン３５２を押すと、紐渡しは行われない。

次に、情報処理装置１００の奪取について説明する。奪取とは、他のコンシェルジュの担当している装置を自分の担当装置に変更することをいう。奪取を行う場合、コンシェルジュＸが図２０に示す紐渡しボタン３３９を押すと、図２４に示す紐づけウィンドウ３４０が表示される。ここで、コンシェルジュＸが、例えば他のコンシェルジュが担当している装置番号「１６」の装置マークを押すと、図２７に示すように、紐づけウィンドウ３４０の右端に、選択した情報処理装置１００が他のコンシェルジュ（コンシェルジュＢとする。）の担当装置であることを示すメッセージと、ＯＫボタン３５３と、キャンセルボタン３５４とが表示される。コンシェルジュＸがＯＫボタン３５３を押すと、装置番号１６を担当しているコンシェルジュＢのタブレット３００には図２８に示すように、確認ウィンドウ３５０が表示される。確認ウィンドウ３５０は、奪取が要求されたことを示すメッセージと、同意ボタン３５１と、拒否ボタン３５２とを含む。コンシェルジュＢが同意ボタン３５１を押すと、奪取が行われ、コンシェルジュＢの担当していた装置番号「１６」の情報処理装置１００がコンシェルジュＸに渡される。一方、コンシェルジュＢが拒否ボタン３５２を押すと、奪取は行われない。

次に、装置一覧画面のページ送りについて説明する。上記の例では、コンシェルジュＸの担当装置が８個以内であるが、１人のコンシェルジュが９個以上の情報処理装置１００を担当する場合、図２０に例示する装置一覧画面は複数のページにまたがることになる。この場合、コンシェルジュは、装置一覧画面のページをフリックすることにより、複数のページ間を移動することができる。例えば、コンシェルジュＸが９個以上の情報処理装置を担当している場合、コンシェルジュＸは装置一覧画面の第１ページを左へフリックすることにより、９個目以降の装置に対応する第２ページを表示させることができる。また、コンシェルジュＸは、第２ページを右へフリックすることにより、第１ページに戻ることができる。また、フリックを使用する代わりに、図２９に例示するように、ページ移動ボタン３４８を設け、ページ移動ボタン３４８が押されたときにページを移動するようにしてもよい。

次に、タブレットからのログアウトについて説明する。コンシェルジュＸが図２０に示すログアウトボタン３３７を押すと、図３０に例示するように、ログアウトウィンドウ３６０が表示される。コンシェルジュＸがログアウトウィンドウ３６０内のログアウトボタン３６１を押すと、図３１に例示する確認ウィンドウ３６５が表示される。確認ウィンドウ３６５は、担当装置の紐づけを外すためのボタン３６６と、紐づけを残すためのボタン３６７と、ログアウトをキャンセルするためのボタン３６８とを含む。コンシェルジュＸがボタン３６６を選択すると、担当している情報処理装置１００の紐づけが外され、コンシェルジュＸはログアウトできる。コンシェルジュＸがボタン３６７を押すと、担当している情報処理装置１００の紐づけが維持されたままとされ、コンシェルジュＸはログアウトできる。コンシェルジュＸがボタン３６８を押すと、ログアウトがキャンセルされる。

＜第２実施形態＞
次に、この開示の第２実施形態について説明する。
［基本概念］
第２実施形態に係る情報処理装置１００の構成は基本的に第１実施形態と同様であり、図２に示す外観構成及び図４に示す内部構成を備える。但し、第２実施形態に係る情報処理装置１００は、図６に示す情報取得処理のステップＳ２０で実行される顔認証処理が第１実施形態とは異なる。

具体的に、第１実施形態では、情報処理装置１００は、情報取得処理においてパスポート処理が終了した後、顔認証処理において入国者Ｐの顔画像を撮影し、顔認証を行っている。これに対し、第２実施形態では、情報処理装置１００は、情報処理装置１００の前方のサーモセンサ１１５の検知範囲に入国者が入ったときに入国者Ｐの顔画像の撮影を開始する。即ち、情報処理装置１００は、パスポート処理の実行前及び実行中に入国者Ｐの顔画像の撮影を行う。なお、入国者Ｐが情報処理装置１００の使用状態を遠くからでも判断できるように、タッチパネル１１７や情報処理装置１００の付近の床などに情報処理装置１００の使用状態（例えば、使用可能、使用不可など）を表示しておいてもよい。そして、パスポート処理が終了するまでに、顔認証に適した顔画像（以下、「適合顔画像」と呼ぶ。）が得られた場合には、その顔画像を使用して顔認証処理を実行する。即ち、パスポート処理中に適合顔画像が得られた場合には、顔認証処理において入国者Ｐの顔画像を撮影する処理を省略する。

ここで、「適合顔画像」とは、顔認証に使用可能な顔画像を意味する。具体的には、適合顔画像に該当するか否かは、顔画像に写っている顔の方向が適正か、即ち、目、鼻、口などの顔の全てのパーツが写っているか、画像の解像度が十分であるか、画像のブレがないか、などを考慮して決定される。

［処理フロー］
図３２は、第２実施形態に係る情報取得処理のフローチャートである。この処理は、プロセッサ１１２が予め用意されたプログラムを実行することにより実現される。

情報処理装置１００は、入国者Ｐが操作していないときはスリープ状態となっており、サーモセンサ１１５で情報処理装置１００の前方を検知している（ステップＳ１）。入国者Ｐが情報処理装置１００の前に立つと、サーモセンサ１１５は入国者Ｐを検知し（ステップＳ１：Ｙｅｓ）、情報処理装置１００は、顔認証カメラ１１８をオンにして入国者Ｐの撮影を開始する（ステップＳ２）。続いて、情報処理装置１００は、パスポート処理を実行する（ステップＳ１０）。これにより、入国者Ｐがサーモセンサ１１５の検出範囲に入ってから、情報処理装置１００の前に来てパスポート処理を終了するまでの間、顔認証カメラ１１８は入国者Ｐの顔画像を撮影し続けることになる。パスポート処理が終了すると、情報処理装置１００は、顔認証処理を実行する（ステップＳ２０）。

図３３は、第２実施形態の顔認証処理のフローチャートである。まず、情報処理装置１００は、それまでに取得した顔画像の適否を判定する（ステップＳ５１）。具体的には、情報処理装置１００は、ステップＳ２で顔認証カメラ１１８をオンにしてから撮影された入国者Ｐの顔画像を分析し、前述の適合顔画像に該当するか否かを判定する。情報処理装置１００は、適合顔画像が取得できていないと判定した場合（ステップＳ５２：Ｎｏ）、第１実施形態と同様に顔認証処理を行う。即ち、情報処理装置１００は、「顔画像を撮影します。」などのメッセージをタッチパネル１１７に表示し（ステップＳ５４）、顔画像を撮影する（ステップＳ５５）。そして、情報処理装置１００は、撮影した顔画像を一時的にメモリ１１３に記憶し（ステップＳ５６）、撮影した顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ１１３に記憶する（ステップＳ５７）。

一方、情報処理装置１００は、適合顔画像が取得できていると判定した場合（ステップＳ５２：Ｙｅｓ）、「顔画像は取得済みです。」などのメッセージをタッチパネル１１７に表示し（ステップＳ５３）、顔画像の撮影を行わずにステップＳ５６へ進む。そして、情報処理装置１００は、顔認証処理の開始前に取得された適合顔画像を一時的にメモリ１１３に記憶し（ステップＳ５６）、その適合顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ１１３に記憶する（ステップＳ５７）。こうして顔認証処理は終了し、処理は指紋採取処理へ進む。なお、指紋採取処理以降の処理は第１実施形態と同様であるので、説明を省略する。

なお、図３２及び図３３の処理では、適合顔画像が得られている場合でも、パスポート処理が完了するまでは適合顔画像を用いた認証処理を行わないこととしている。その代わりに、適合顔画像が取得できた場合は、パスポート処理と並行して適合顔画像を用いた顔認証処理を行ってもよい。この場合、タッチパネル１１７には「顔画像は取得済みです。」の代わりに、「顔認証処理は完了しています。」などのメッセージを表示すればよい。また、「顔画像は取得済みです。」や「顔認証処理は完了しています。」などのメッセージの表示を省略し、パスポート処理が終了すると直ちに指紋採取処理に移行するようにしてもよい。

以上のように、第２実施形態の情報取得処理では、入国者Ｐがパスポート処理を終了するまでの間に顔認証カメラ１１８で入国者Ｐの顔画像を撮影しておく。そして、その間に顔認証に使用可能な品質の適合顔画像が取得できた場合には、顔認証処理において顔画像の撮影は行わず、その適合顔画像を用いて顔認証処理を行う。これにより、顔認証処理に要する時間を短縮することができる。なお、第２実施形態は、第１実施形態と組み合わせて実施することができる。

［変形例］
（変形例１）
第２実施形態では、情報処理装置１００は、ステップＳ５１において、顔画像に写っている顔の方向が適正か、画像の解像度が十分であるか、などに基づいて適合顔画像の判定を行っている。その代わりに、情報処理装置１００は、パスポート処理の終了までに得られた顔画像と、パスポート処理により得られたパスポート情報に含まれる顔画像とを用いて実際に顔認証処理を行い、得られた照合スコア（一致スコア）が所定値以上である場合に、その顔画像を適合顔画像と判定してもよい。

（変形例２）
第２実施形態では、パスポート処理を行っている間も顔認証カメラ１１８で入国者Ｐの顔画像を撮影しているが、入国者Ｐとしては知らないうちに顔画像を撮影されていることになる。そこで、情報処理装置１００は、図３２のステップＳ２で入国者Ｐの顔画像の撮影を開始したときに、顔画像を撮影していることを入国者Ｐに知らせることが好ましい。例えば、情報処理装置１００は、タッチパネル１１７に「顔画像撮影中」などのメッセージやカメラにより撮影していることを表すマークなどを表示してもよい。これにより、顔画像の撮影中であることを入国者Ｐに伝えることができる。入国者Ｐは顔画像の撮影中であることを知ると、顔をタッチパネル１１７に向けるなどして撮影に協力すると考えられるので、パスポート処理と並行して適合顔画像を取得できる可能性が高くなり、情報取得処理の効率化が期待できる。また、入国者Ｐに撮影中であることを伝える場合には、適合顔画像が取得できたタイミングでその旨を入国者Ｐに伝えてもよい。例えば、情報処理装置１００は、適合顔画像が取得できたタイミングで「顔画像ＯＫ」などのメッセージやマークをタッチパネル１１７に表示してもよい。

＜第３実施形態＞
次に、この開示の第３実施形態について説明する。
［基本概念］
第３実施形態に係る情報処理装置１００の構成は基本的に第１実施形態と同様であり、図２に示す外観構成及び図４に示す内部構成を備える。但し、第２実施形態に係る情報処理装置１００は、図６に示す情報取得処理のステップＳ３０で実行される指紋採取処理が第１実施形態とは異なる。

情報処理装置１００で採取された指紋はいわゆるウオッチリストと照合される。入国審査においては、入国者Ｐの指紋がウオッチリストに載っている場合、その入国者Ｐは入国を拒否される。このため、ウオッチリストに載っていることが懸念される入国者Ｐは、指紋採取処理において、自分の指紋の代わりに一緒にいる他の人物（以下、「協力者」と呼ぶ。）の指紋を提供しようと考えることがある。このような場合には、不正を行う入国者（以下、「不正者」と呼ぶ。）と協力者を含む複数の人物が情報処理装置１００の前で指紋採取処理の操作を行うことになる。そこで、第３実施形態では、情報処理装置１００は、指紋採取処理中にサーモセンサ１１５が出力するサーモ画像を用いて、情報処理装置１００の前に複数の人物がいることを異常として検出し、複数の人物がいる場合には、アラートを発してコンシェルジュに通知するとともに、指紋採取処理を中断する。これにより、不正者が自分の指紋の代わりに協力者の指紋を提供するタイプの不正を防止することができる。

図３４（Ａ）は、不正者Ｘと協力者Ｙの２名が情報処理装置１００を操作している状態のサーモ画像の例を示す。不正者Ｘは情報処理装置１００のほぼ正面に立っており、不正者Ｘの頭Ｘ１、体Ｘ２、腕Ｘ３が検出されている。不正者Ｘの腕Ｘ３は情報処理装置１００のテーブル１３５に伸びている。なお、図１６においては、図示の便宜上、熱源の温度をグレースケールで示し、温度の高い領域を黒に近い色で示し、温度の低い領域を白に近い色で示すものとする。通常、頭などの衣服に覆われていない領域は、体や腕などの衣服に覆われている領域よりも高い温度が検出されるので、頭Ｘ１は体Ｘ２や腕Ｘ３より黒い色で表されている。各領域の温度を取得し、分析することで、サーモ画像から頭の領域、体の領域などの各領域を判別することができる。一方、協力者Ｙは情報処理装置１００の正面から少し横方向に外れた位置に立っており、協力者Ｙの頭Ｙ１、体Ｙ２、腕Ｙ３が検出されている。協力者Ｙの腕Ｙ３は同じく情報処理装置１００のテーブル１３５へ伸びている。

図３４（Ｂ）は、不正者Ｘと協力者Ｙの２名が情報処理装置１００を操作している状態のサーモ画像の他の例を示す。図１６（Ａ）の例と同様に、不正者Ｘは情報処理装置１００のほぼ正面に立っており、不正者Ｘの頭Ｘ１、体Ｘ２、腕Ｘ３が検出されている。不正者Ｘの腕Ｘ３は情報処理装置１００のテーブル１３５に伸びている。一方、協力者Ｙは不正者Ｘの背後に隠れているが、サーモ画像により協力者Ｙの頭Ｙ１、体Ｙ２、腕Ｙ３が検出されている。協力者Ｙの腕Ｙ３は情報処理装置１００のテーブル１３５へ伸びている。

図３４（Ｃ）は、不正者Ｘと協力者Ｙの２名が情報処理装置１００を操作している状態のサーモ画像の他の例を示す。この例も図１６（Ｂ）の例と同様に協力者Ｙが不正者Ｘの背後にいるが、２人の体が接近しているため、サーモ画像における領域が一体化し、１つの大きな塊となって検出されている。具体的に、不正者Ｘの体Ｘ２と協力者Ｙの体Ｙ２が一体化して大きな領域となっており、不正者Ｘの体Ｘ２と協力者Ｙの体Ｙ２が一体化して１つの太い腕のようになっている。しかし、頭は体よりも温度が高いため体とは別の色の領域として検出することができる。また、協力者Ｙが不正者Ｘの背後に隠れている場合でも、それぞれの頭は別個の領域として検出できることが多い。よって、情報処理装置１００の前方に検出された体や腕が一体化している場合でも、検出された頭の数に基づいて、複数の人物がいると判定することができる。なお、頭の数に基づく判定に加えて、一般的な大人の体の領域がどの程度のサイズ、面積になるかを予め実験などにより決定しておき、一般的な体のサイズより過剰に大きい領域が検出された場合には、複数の人物がいる可能性が高いと判定してもよい。

なお、実際には、サーモ画像に２人の人物が含まれている場合に、どちらが不正者でどちらが協力者であるかは区別できないが、情報処理装置１００は、どちらが不正者でどちらが協力者であるかを区別する必要はなく、単にサーモ画像から複数の人物が検出された場合にアラートを発すればよい。

このように、サーモセンサ１１５が出力したサーモ画像を用いて、情報処理装置１００の前に複数の人物がいることを検出することができる。よって、情報取得処理中、特に指紋採取処理中に情報処理装置１００の前に複数の人物が検出された場合には、情報処理装置１００は、入国者が不正を行っている可能性があると判定し、コンシェルジュに対してアラートを出力する。情報処理装置１００が出力したアラートはコンシェルジュが所持するタブレット３００に表示されるため、コンシェルジュはアラートを出力した情報処理装置１００の場所に移動して不正が行われているかを確認することができる。

なお、第３実施形態において、顔認証カメラ１１８、パスポートリーダ１１９及び指紋スキャナ１２０は情報取得手段の一例であり、サーモセンサ１１５又は監視カメラ１１６は異常検知手段の一例であり、プロセッサ１１２は制御手段の一例である。

［処理フロー］
図３５は、第３実施形態による指紋採取処理のフローチャートである。この処理は、図６に示す情報取得処理のステップＳ３０として実行される。まず、情報処理装置１００は、タッチパネル１１７に指紋を採取する案内画面を表示する（ステップＳ６１）。例えば、情報処理装置１００は、図１４（Ａ）に例示するように、指紋スキャナ１２０に対する指の配置方法などを示す案内画像をタッチパネル１１７に表示する。次に、情報処理装置１００は、サーモセンサ１１５からサーモ画像を取得する（ステップＳ６２）。次に、情報処理装置１００は、サーモ画像に基づいて、情報処理装置１００の前に複数の人物を検出したか否かを判定する（ステップＳ６３）。

複数の人物を検出しなかった場合（ステップＳ６３：Ｎｏ）、即ち、情報処理装置１００の前方にいる人物が１人である場合、情報処理装置１００は指紋スキャナ１２０Ｒ、１２０Ｌにより入国者Ｐの左右の人差し指の指紋を読み取り（ステップＳ６４）、指紋画像をメモリ１１３に一時的に記憶する（ステップＳ６５）。そして、処理は図６のメインルーチンへ戻る。

一方、複数の人物を検出した場合（ステップＳ６３：Ｙｅｓ）、情報処理装置１００はコンシェルジュのタブレット３００にアラートを出力する（ステップＳ６６）。アラートを確認すると、コンシェルジュは対象の情報処理装置１００の場所に行き、必要な対応を行う。例えば、コンシェルジュがその場で補助するなどして不正者の指紋を正しく採取できた場合、処理は図６のメインルーチンへ進む。

以上のように、第３実施形態によれば、サーモセンサ１１５を利用して情報処理装置１００の前に複数の人物がいることを検出することができるので、入国者Ｐが他人の指紋を読み取らせるなどの不正行為を検出することが可能となる。なお、第３実施形態は、第１～第２実施形態の一方又は両方と組み合わせて実施することができる。

［変形例］
（変形例１）
上記の実施形態では、情報処理装置１００は、サーモセンサ１１５が出力するサーモ画像に基づいて、複数の人物を検出しているが、その代わりに、監視カメラ１１６の撮影画像に基づいて、複数の人物を検出してもよい。また、サーモセンサ１１５が出力するサーモ画像と、監視カメラ１１６の撮影画像の両方を用いて、複数の人物を検出してもよい。また、情報処理装置１００はさらに顔認証カメラ１１８を起動し、顔認証カメラ１１８の撮影画像を併用してもよい。

（変形例２）
サーモ画像に基づいて情報処理装置１００の前に複数の人物がいることが検出された場合でも、不正が行われているわけではないことがある。例えば、複数の人物が親子であり、子供による情報処理装置１００の操作を親が補助しているという状況も考えられる。また、情報処理装置１００の操作方法がよくわからない入国者Ｐに対して、コンシェルジュが操作の補助を行っているという状況も考えられる。よって、親が子の操作を補助している場合や、コンシェルジュが操作補助を行っている場合には、情報処理装置１００は、アラートを出力しないようにしてもよい。なお、情報処理装置１００は、検出された複数の人物の状況が上記の操作補助に該当するか否かを、監視カメラ１１６の撮影画像の画像解析により行うことができる。監視カメラ１１６は入国者Ｐによる情報処理装置１００の操作中に常時オンにしておいてもよく、情報処理装置１００が複数の人物を検出したときに起動してもよい。例えば、監視カメラ１１６の撮影画像中の２人の人物が大人と子供の組み合わせである場合、情報処理装置１００は、その状況が親子の操作補助に該当すると判定することができる。なお、撮影画像中の人物が子供であるか否かの判断は、顔認証カメラ１１８が撮影した顔画像から年齢を推定することにより行ってもよく、監視カメラ１１６の画像やサーモカメラ１１５の出力（熱源の大きさや形状）などに基づいて行ってもよく、パスポート情報に基づいて行ってもよい。また、監視カメラ１１６の撮影画像中の２人の人物のうち、１名が既知のユニフォームを着用したコンシェルジュである場合、情報処理装置１００はその状況がコンシェルジュによる操作補助に該当すると判定することができる。なお、複数人で操作することを前提として複数人専用（例えば、家族専用、障害のある方専用など）の情報処理装置１００を設けた場合には、複数の人物が検出されたとしてもアラートを出力しないようにすればよい。

具体的な処理としては、図３５に示すフローチャートにおいて、ステップＳ６３で複数の人物が検出された場合（ステップＳ６３：Ｙｅｓ）、情報処理装置１００は、検出された複数の人物の状況が、前述の操作補助に該当するか否かを判定する。複数の人物の状況が操作補助に該当する場合、処理はステップＳ６４へ進み、情報処理装置１００は指紋の読み取りを行う。一方、複数の人物の状況が操作補助に該当しない場合、処理はステップＳ６６へ進み、情報処理装置１００はアラートを出力する。

なお、情報処理装置１００は、サーモ画像に基づいて複数の人物を検出した場合、その後に操作補助に該当するとしてアラートを出力しなかったとしても、そのときのサーモ画像や監視カメラ１１６の撮影画像などをメモリ１１３に記憶し、その入国者Ｐの個人識別情報とともに管理サーバ２００へ送信してもよい。この場合、管理サーバ２００は、その入国者Ｐの入国審査の際に審査ブースのＰＣ５へサーモ画像や監視カメラ１１６の撮影画像を送信する。よって、その入国者Ｐが審査ブースで入国審査を受ける際に、審査官は複数の人物が検出されたという事実や、そのときのサーモ画像、監視カメラ１１６の画像などを見ることができる。

＜第４実施形態＞
次に、この開示の第４実施形態について説明する。
［基本概念］
第４実施形態に係る情報処理装置１００の構成は基本的に第１実施形態と同様であり、図２に示す外観構成及び図４に示す内部構成を備える。第４実施形態では、情報処理装置１００はサーモセンサ１１５を用いて入国者Ｐの発熱を検出する。

空港では、ウィルス対策などの観点から入国者の発熱を検査することがある。通常は、入国者Ｐが通過する場所にサーモセンサなどを配置し、サーモ画像に基づいて発熱者の体温を検出し、検出された体温が所定の閾値以上である場合に、その入国者Ｐは発熱があると判定する。第４実施形態では、入国者Ｐが情報処理装置１００の前に立って情報取得処理を行っている間、情報処理装置１００がサーモセンサ１１５の出力するサーモ画像に基づいて、入国者Ｐの表面温度を検出する。そして、情報処理装置１００は、検出した表面温度が所定の閾値より高い場合、その入国者Ｐが発熱していると判定し、コンシェルジュのタブレット３００へアラートを出力する。また、情報処理装置１００は、タッチパネル１１７に「発熱の疑いあり」などのメッセージを表示してもよい。これにより、コンシェルジュは、発熱の疑いがある入国者Ｐを所定の検査エリアへ連行することができる。

但し、サーモセンサ１１５で検出される温度は入国者Ｐの身体の表面温度であり、頭などの露出している箇所や衣服を着ている箇所の表面温度は、外気やその環境の温度による影響を受けやすい。そこで、第４実施形態では、情報処理装置１００は、入国者Ｐに関する外的要因に基づいて、発熱ありとの判定に使用する閾値を補正する。

具体的な補正方法は以下の通りである。
（１）入国者Ｐが通過したエリアに基づく補正
入国者Ｐが飛行機を降りてから入国審査場に至るルートが全て屋内である場合、入国者Ｐが移動するルートは空調により温度管理されているので、情報処理装置１００は閾値を補正しない。一方、入国審査場に至るルートが屋外を通過する場合、入国者Ｐの表面温度は外気温による影響を受けるので、情報処理装置１００は閾値を補正する。具体的に、外気温が氷点下になるような寒冷地の空港では、外気温が低いことによって入国者Ｐの表面温度が下がるので、情報処理装置１００は閾値を低くする。一方、砂漠地帯など、外気温が体温より高い空港では、情報処理装置１００は外気温が高いことによって入国者Ｐの表面温度が上がるので、情報処理装置１００は閾値を高くする。なお、屋外を含むルートとは、例えば、飛行機から空港ターミナルまでバスで移動するルートである。

また、閾値の補正量は一定量としてもよく、屋外の外気温に応じて変化させてもよい。補正量を一定量とする場合、例えば、情報処理装置１００は、入国審査場までのルートが屋外を含む場合、閾値を所定量（例えば０．５度）下げる。また、補正量を外気温に応じて変化させる場合、情報処理装置１００は、外気温が低い又は高いほど補正量を大きくしてもよく、外気温と空港ターミナル内の温度との差が大きいほど補正量を大きくしてもよい。

なお、入国者Ｐが飛行機を降りてから入国審査場に至るルートは、搭乗する飛行機毎に予め決まっており、対象となる入国者が搭乗した便名により判定することができる。具体的に、入国者が搭乗した便名は、入国者識別情報（名前、会員ＩＤなど）と紐付けられて管理されており、情報処理装置１００で特定した入国者識別情報を用いて便名を特定することができる。よって、閾値の補正量を一定量とする場合、情報処理装置１００は便名に応じて、予め決められた補正量の補正を行うこととしてもよい。

（２）入国者Ｐがアルコールを摂取している場合の補正
入国者Ｐがアルコールを摂取している場合、サーモセンサ１１５が検出する入国者Ｐの表面温度は上がる傾向になる。よって、情報処理装置１００にアルコールセンサを設け、入国者Ｐがアルコールを摂取している場合、情報処理装置１００は、閾値を所定量高くする。

（３）入国者Ｐの洋服を着ている領域の温度を考慮した補正
サーモセンサ１１５による検出温度は、入国者Ｐの頭、手などの露出している部分（以下、「露出部」と呼ぶ。）ではほぼ体温に等しいが、洋服などでおおわれている部分（以下、「非露出部」と呼ぶ。）は外気温の影響を受けやすい。例えば、寒冷地の空港などで外気にさらされた場合、サーモセンサ１１５で検出された入国者Ｐの露出部の温度は体温に近い値を維持していたとしても、非露出部の温度は外気温の影響を受けてかなり低下してしまうおそれがある。

そこで、情報処理装置１００は、サーモセンサ１１５により検出された入国者Ｐの露出部と非露出部の温度差に基づいて、閾値を補正する。具体的には、情報処理装置１００は、露出部と非露出部との温度差が所定値未満である場合、閾値の補正を行わない。一方、情報処理装置１００は、露出部と非露出部の温度差が所定値以上である場合、非露出部の温度に応じて閾値を補正する。例えば、露出部と非露出部の温度差が所定値以上であり、かつ、非露出部の温度が露出部の温度より低い場合、情報処理装置１００は、閾値を下げる。逆に、露出部と非露出部の温度差が所定値以上であり、かつ、非露出部の温度が露出部の温度より高い場合、情報処理装置１００は閾値を上げる。

なお、上記のように、露出部と非露出部との温度差に基づいて閾値を補正する代わりに、非露出部の温度に基づいて閾値を補正してもよい。即ち、情報処理装置１００は、非露出部の温度が第１の所定温度より高い場合に閾値を上げ、非露出部の温度が第２の所定温度より低い場合に閾値を下げてもよい。

なお、第４実施形態において、サーモセンサ１１５及びプロセッサ１１２は体温推定手段の一例であり、プロセッサ１１２は発熱推定手段及び閾値補正手段の一例である。

［処理フロー］
図３６は、第４実施形態による発熱者検出処理のフローチャートである。この処理は、この処理は、図４に示すプロセッサ１１２が予め用意されたプログラムを実行することにより実現される。

まず、入国者Ｐが情報処理装置１００の前に立つと、情報処理装置１００はサーモセンサ１１５からのサーモ画像を取得する（ステップＳ７１）。次に、情報処理装置１００は、入国者Ｐの状況を示す状況情報を取得する（ステップＳ７２）。状況情報は、閾値の補正が必要であるか否かを判定するために使用される情報である。例えば、上記（１）の例では、状況情報は、入国者Ｐが屋外を通ったか否か、サーモ画像から検出された入国者Ｐの表面温度などである。上記（２）の例では、状況情報は、入国者Ｐからアルコールが検出されたか否かである。また、上記（３）の例では、状況情報は、サーモ画像から検出された入国Ｐの露出部及び非露出部の温度である。

次に、情報処理装置１００は、状況情報に基づいて、発熱の有無を判定する閾値の補正が必要であるか否かを判定する（ステップＳ７３）。閾値の補正が必要と判定した場合（ステップＳ７３：Ｙｅｓ）、情報処理装置１００は、上記（１）～（３）で説明した方法の少なくとも１つの方法で閾値を補正する（ステップＳ７４）。なお、上記（１）～（３）で説明した方法のうちの複数を組み合わせて使用してもよい。一方、閾値の補正が必要でないと判定した場合（ステップＳ７３：Ｎｏ）、情報処理装置１００は閾値を補正しない。

次に、情報処理装置１００は、サーモ画像から取得した入国者Ｐの体温、具体的には頭部などの検出温度と閾値を比較し、入国者Ｐの発熱の有無を判定する（ステップＳ７５）。情報処理装置１００は、入国者Ｐの体温が閾値より高い場合、入国者Ｐは発熱の可能性があると判定し、入国者Ｐの体温が閾値より低い場合、入国者Ｐは発熱の可能性が無いと判定する。発熱の可能性があると判定した場合（ステップＳ７６：Ｙｅｓ）、情報処理装置１００は、コンシェルジュのタブレット３００にアラートを出力し（ステップＳ７７）、処理を終了する。これにより、コンシェルジュはアラートを出力した情報処理装置１００の場所に来て、発熱の疑いのある入国者Ｐを所定のエリアに連行する。なお、ステップＳ７７において、情報処理装置１００は、タッチパネル１１７に「発熱の可能性あり」などと表示してもよい。一方、発熱の可能性が無いと判定された場合（ステップＳ７６：Ｎｏ）、処理は終了する。

以上のように、第４実施形態によれば、サーモセンサ１１５により入国者Ｐの体温を計測して発熱の可能性を検査する際に、入国者Ｐが屋外を通過したか否か、アルコールを摂取したか否か、又は、入国者Ｐの非露出部の検出温度などを考慮して、発熱の有無を判定する閾値を補正するので、外的要因による影響を低減して発熱者の検出精度を向上させることができる。なお、第４実施形態は、第１～第３実施形態の１つ又は複数と組み合わせて実施することができる。

［変形例］
（変形例１）
上記の処理フローでは、入国者Ｐに発熱の疑いがある場合、情報処理装置１００はコンシェルジュのタブレット３００にアラートを送信している。この際、情報処理装置１００は、サーモセンサ１１５が出力したサーモ画像を同時にタブレット３００に送信し、コンシェルジュが見られるようにしてもよい。図３７は、発熱者が見つかった場合にタブレット３００へ送信する画像の例を示す。この例では、情報処理装置１００は、サーモセンサ１１５が出力したサーモ画像６１と、発熱の可能性ありと判定された入国者Ｐの顔画像６２とを含む画像６０をタブレット３００へ送信し、タブレット３００は受信した画像６０を表示する。サーモ画像６１では、情報処理装置１００が発熱の有無の判定に使用した領域及びその領域の検出温度が表示されている。図３７の例では、入国者Ｐの頭部の検出温度が「３７．８度」、胸部の検出温度が「２８．５度」と表示されている。また、顔画像６２を表示することにより、コンシェルジュが対象の入国者Ｐを見つけやすくなる。また、情報処理装置１００は、画像６０を管理サーバ２００へ送信し、必要に応じて審査ブースのＰＣ５に送信して審査官が見られるようにしてもよい。

（変形例２）
発熱の可能性がある入国者Ｐが見つかった場合、その情報処理装置１００を一時的に停止させてもよい。この場合、情報処理装置１００内のプログラムにより、発熱の可能性ありと判定した場合に、情報処理装置１００自体が自動的に停止するようにしてもよい。その代わりに、発熱の可能性ありと判定した場合に、情報処理装置１００がその判定結果を管理サーバ２へ送信し、管理サーバ２００の制御によりその情報処理装置１００を停止させてもよい。停止させた情報処理装置１００のタッチパネル１１７には、「使用禁止」などの表示を行ってもよく、タッチパネル１１７の表示をオフにしてもよい。また、タブレット３００でアラートを見たコンシェルジュが対象の情報処理装置１００を操作して一時的に停止させてもよい。停止された情報処理装置１００は、消毒などの必要な作業が施された後、復帰させればよい。

また、入国者Ｐが搭乗していた飛行機毎のグループ単位で入国審査場に誘導するような場合には、発熱の可能性があると判定された入国者Ｐと同じ便に乗っていた全ての入国者を、別の便のルートと異なるルートに誘導するなどして、他の便の搭乗者と分離してもよい。また、発熱の可能性がある入国者Ｐを検出した情報処理装置１００は、その旨を管理サーバ２００へ通知し、管理サーバ２００は、発熱の可能性があると判定された入国者Ｐと同じ便に乗っていた全ての搭乗者のリスト及び顔画像をコンシェルジュのタブレット３００へ送信してもよい。これにより、コンシェルジュは、顔画像を見ながら、その便の搭乗者を隔離することができる。なお、上記のように発熱の可能性がある入国者Ｐと同じ便に乗っていた全ての入国者を対象とする代わりに、発熱の可能性のある入国者Ｐの近くの座席に座っていた人（その入国者Ｐの周りの座席の人や前方座席の人）を隔離対象として特定し、コンシェルジュのタブレット３００へ顔画像を送信してもよい。

＜第５実施形態＞
次に、本開示の第５実施形態について説明する。図３８は、第５実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置５００は、情報取得手段５０１と、異常検知手段５０２と、制御手段５０３とを備える。情報取得手段５０１は、対象の個人識別情報を取得する。異常検知手段５０２は、センサを利用して、前記対象に関する異常を検知する。制御手段５０３は、異常に基づいて、前記個人識別情報の取得を制御する。

図３９は、第５実施形態による情報処理のフローチャートである。この処理は、図４に示すプロセッサ１１２が、予め用意されたプログラムを実行することにより実現される。まず、情報取得手段５０１は、対象の個人識別情報を取得する（ステップＳ５０１）。次に、異常検知手段５０２は、センサを利用して、前記対象に関する異常を検知する（ステップＳ５０２）。制御手段５０３は、異常に基づいて、前記個人識別情報の取得を制御する（ステップＳ５０３）。そして、処理は終了する。

上記の情報処理装置５００によれば、対象から個人識別情報を取得している間に、対象に関する異常が検出された場合、異常に基づいて個人識別情報の取得を制御することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
対象の個人識別情報を取得する情報取得手段と、
センサを利用して、前記対象に関する異常を検知する異常検知手段と、
前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
を備える情報処理装置。

（付記２）
前記センサは、サーモセンサを含み、
前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信する付記１に記載の情報処理装置。

（付記３）
前記異常検知手段は、前記サーモセンサが出力するサーモ画像における対象の頭部の数に基づいて、複数の人物がいることを検知する付記２に記載の情報処理装置。

（付記４）
前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない付記２又は３に記載の情報処理装置。

（付記５）
前記センサは、サーモセンサを含み、
前記サーモセンサが出力するサーモ画像に基づいて、前記対象の体温を推定する体温推定手段と、
前記体温が予め決められた閾値より高い場合、前記対象に発熱の可能性があると判定する発熱判定手段と、
前記対象が移動してきたルート、前記対象がアルコールを摂取しているか否か、及び、前記サーモ画像における前記対象の非露出部の検出温度の少なくとも１つに基づいて、前記閾値を補正する閾値補正手段と、
を備える付記２に記載の情報処理装置。

（付記６）
前記発熱判定手段は、前記対象に発熱の可能性があると判定した場合、端末装置へ前記対象の画像を送信し、
前記対象の画像は、前記サーモセンサが生成した前記対象のサーモ画像、及び、前記対象の顔画像を含む付記５に記載の情報処理装置。

（付記７）
前記センサは、カメラを含み、
前記個人識別情報は、前記対象のパスポート情報及び前記対象の顔画像を含み、
前記情報取得手段は、前記対象パスポート情報を取得するパスポート情報取得処理を実行した後、前記対象の顔画像を取得する顔画像取得処理を実行し、
前記情報取得手段は、前記パスポート情報取得処理中又は前記パスポート情報取得処理以前のいずれかに、前記カメラにより所定の品質を満たす顔画像を取得できた場合、パスポート情報取得処理後の前記顔画像取得処理を省略する付記１に記載の情報処理装置。

（付記８）
付記２に記載の情報処理装置と、前記端末装置とを備えるシステムであって、
前記端末装置は、前記情報処理装置を操作中の前記対象の撮影画像と、前記個人識別情報を取得する複数のプロセスのうちの実行中のプロセスを示す情報とを表示するシステム。

（付記９）
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する情報処理方法。

（付記１０）
対象の個人識別情報を取得し、
センサを利用して、前記対象に関する異常を検知し、
前記異常に基づいて、前記個人識別情報の取得を制御する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照してこの開示を説明したが、この開示は上記実施形態及び実施例に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 入国審査システム
５ ＰＣ
１００ 情報処理装置
１１５ サーモセンサ
１１６ 監視カメラ
１１７ タッチパネル
１１８ 顔認証カメラ
１１９ パスポートリーダ
１２０ 指紋スキャナ
１２１ 手元カメラ
１２２ 昇降機構
２００ 管理サーバ
２１２ プロセッサ
３００ タブレット
３１２ プロセッサ
３１４ タッチパネル
Ｐ 入国者

Claims (8)

1. 対象の個人識別情報を取得する情報取得手段と、
   センサを利用して、前記対象に関する異常を検知する異常検知手段と、
   前記異常に基づいて、前記個人識別情報の取得を制御する制御手段と、
   を備え、
   前記センサは、サーモセンサを含み、
   前記異常検知手段は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
   前記制御手段は、前記異常が検知された場合、端末装置へアラートを送信し、
   前記情報処理装置の前方に複数の人物がいることを前記異常検知手段が検知した場合、前記制御手段は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない、情報処理装置。
2. 前記異常検知手段は、前記サーモセンサが出力するサーモ画像における対象の頭部の数に基づいて、複数の人物がいることを検知する請求項１に記載の情報処理装置。
3. 前記サーモセンサが出力するサーモ画像に基づいて、前記対象の体温を推定する体温推定手段と、
   前記体温が予め決められた閾値より高い場合、前記対象に発熱の可能性があると判定する発熱判定手段と、
   前記対象が移動してきたルート、前記対象がアルコールを摂取しているか否か、及び、前記サーモ画像における前記対象の非露出部の検出温度の少なくとも１つに基づいて、前記閾値を補正する閾値補正手段と、
   を備える請求項１に記載の情報処理装置。
4. 前記発熱判定手段は、前記対象に発熱の可能性があると判定した場合、端末装置へ前記対象の画像を送信し、
   前記対象の画像は、前記サーモセンサが生成した前記対象のサーモ画像、及び、前記対象の顔画像を含む請求項３に記載の情報処理装置。
5. 前記センサは、カメラを含み、
   前記カメラは、前記対象が所定の範囲に入ると前記対象の顔画像の撮影を開始し、
   前記個人識別情報は、前記対象のパスポート情報及び前記対象の顔画像を含み、
   前記情報取得手段は、前記対象のパスポート情報を取得するパスポート情報取得処理を実行した後、顔画像の撮影を案内する画面を表示させて前記対象の顔画像を取得する顔画像取得処理を実行し、
   前記情報取得手段は、前記パスポート情報取得処理中又は前記パスポート情報取得処理以前のいずれかに、前記カメラにより所定の品質を満たす顔画像を取得できた場合、パスポート情報取得処理後の前記顔画像取得処理を省略する請求項１に記載の情報処理装置。
6. 請求項１に記載の情報処理装置と、前記端末装置とを備えるシステムであって、
   前記端末装置は、前記情報処理装置を操作中の前記対象の撮影画像と、前記個人識別情報を取得する複数のプロセスのうちの実行中のプロセスを示す情報とを表示するシステム。
7. コンピュータにより実行される情報処理方法であって、
   対象の個人識別情報を取得し、
   センサを利用して、前記対象に関する異常を検知する異常検知処理を行い、
   前記異常に基づいて、前記個人識別情報の取得を制御する制御処理を行い、
   前記センサは、サーモセンサを含み、
   前記異常検知処理は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
   前記制御処理は、前記異常が検知された場合、端末装置へアラートを送信し、
   前記情報処理装置の前方に複数の人物がいることを前記異常検知処理が検知した場合、前記制御処理は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない、情報処理方法。
8. 対象の個人識別情報を取得し、
   センサを利用して、前記対象に関する異常を検知する異常検知処理を行い、
   前記異常に基づいて、前記個人識別情報の取得を制御する制御処理を行い、
   前記センサは、サーモセンサを含み、
   前記異常検知処理は、前記異常として情報処理装置の前方に複数の人物がいることを検知し、
   前記制御処理は、前記異常が検知された場合、端末装置へアラートを送信し、
   前記情報処理装置の前方に複数の人物がいることを前記異常検知処理が検知した場合、前記制御処理は、前記複数の人物の状態が、前記複数の人物のうちの一方が他方の操作補助を行っている補助状態に該当する否かを判定し、前記複数の人物の状態が前記補助状態に該当する場合、前記アラートを送信しない、処理をコンピュータに実行させるプログラム。

Images