JP6323025B2 - 表示制御プログラム、表示制御装置及び表示制御システム - Google Patents

Description

本発明は、照合作業に用いられる表示制御プログラム、表示制御装置及び表示制御システムに関する。

従来から、場所や情報へのアクセスの管理において、アクセス希望者の識別情報（ＩＤ）とパスワードを用いた認証だけでなく、作業者（例えば警備員等）による本人確認が行われる場合がある。作業者による本人確認作業は、作業者が予め登録された写真（顔や全身の写真）等の参照情報と、検証対象者とを目視で検証することにより行われる。

特開２００５−０９２７００号公報 特開２０１２−２３９００４号公報

目視による本人確認作業では、顔全体、顔のパーツ、身長等を特徴やサイズの対比により高精度に見分けることが難しい。

例えば顔のパーツ等の特徴を対比する場合、髪型やメガネ等が判断に影響する可能性がある。また、パーツ等の対比では、例えば眼が類似していても、顔の大きさが異なる場合等があり、対比が困難な場合がある。さらに全身の対比では、服装や体型の変化等が影響する可能性がある。

開示の技術は、目視による照合作業を高精度に行うことが可能な表示制御プログラム、表示制御装置及び表示制御システムを提供することを目的としている。

開示の技術は、照合対象および第１の基準物の双方を含む第１の画像を取得し、前記第１の基準物に対応づけられた参照情報に含まれる、前記照合対象の画像である第２の画像を取得し、前記第１の画像に含まれる前記第１の基準物から生成される、前記第１の画像の撮像時の前記第１の基準物の状態を示す第１の表示定義情報、および、前記第２の画像と対応づけられた、前記第２の画像と、前記第１の画像に含まれる前記第１の基準物の画像との相対的な位置関係を示す第２の表示定義情報に応じた表示態様で、前記第１の画像および前記第２の画像を表示させる、処理をコンピュータに実行させる。

上記各処理は、上記各処理を実現する機能部、上記各処理をコンピュータにより実行させるプログラム、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。

目視による照合作業を高精度に行うことができる。

第一の実施例の認証システムのシステム構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 第一の実施例の認証システムの有する装置の機能を説明する図である。 参照先テーブルの一例を示す図である。 重畳定義テーブルの一例を示す図である。 参照情報データベースの一例を示す図である。 参照情報に含まれる画像を説明する図である。 第一の実施例の認証システムの動作を説明するフローチャートである。 第一の実施例における認証結果の一例を示す第一の図である。 第一の実施例における認証結果の一例を示す第二の図である。 第一の実施例における認証結果の一例を示す第三の図である。 第二の実施例の認証システムの有する装置の機能を説明する図である。 誤差判定用テーブルの一例を示す図である。 第二の実施例の認証システムの動作を説明するフローチャートである。 第二の実施例における認証結果の一例を示す図である。

（第一の実施例）
以下に図面を参照して第一の実施例について説明する。図１は、第一の実施例の認証システムのシステム構成の一例を示す図である。

本実施例の認証システム１００は、端末装置２００と、認証サーバ３００と、を有する。端末装置２００と認証サーバ３００とは、例えば無線通信網等を介して接続されている。

本実施例の端末装置２００は、撮像機能を有し、所定のマーカ４００を装着した検証対象者の画像を撮像する。本実施例の認証サーバ３００は、端末装置２００によるマーカ４００の認識を受けて、マーカ４００と対応付けられた検証対象者に係る参照情報を端末装置２００へ送信する。

端末装置２００は、撮像機能により撮像した撮像画像と、認証サーバ３００から受信した検証対象者に係る参照情報とを重畳させて表示させることで、端末装置２００を用いた本人確認作業を容易にする。したがって本実施例の認証システム１００は、端末装置２００における参照情報の表示制御を行う表示制御システムの機能も果たす。尚、本実施例の参照情報の詳細は後述する。

以下に本実施例のマーカ４００について説明する。

本実施例では、検証対象者に装着される所定のマーカ４００をＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実感）マーカと呼ばれる識別体とした。

ＡＲマーカは、例えば、ＡＲマーカを撮影した撮像画像に基づいて、撮像装置との相対位置及び相対角度を計測可能な模様（パターン）が印刷された印刷物等である。すなわちＡＲマーカは、端末装置２００の撮像機能によりＡＲマーカを撮影した場合に、端末装置２００を所持している作業者が、どこから何を見ているのかを特定する基準となるパターン画像である。

本実施例の端末装置２００は、撮像画像に含まれるマーカ４００の画像の位置、サイズ及び向き等に応じて参照情報を表示させる際の位置、サイズ及び向き等を調整し、撮像画像に参照情報を重畳させて表示させる。

本実施例の端末装置２００は、撮像画像内に映されたマーカ４００の画像により、マーカ４００と撮像装置との相対位置及び相対的な向き（相対角度）とを計測する。また端末装置２００は、ＡＲマーカに印刷されたパターンを解析してＡＲマーカと対応した検証対象者の識別情報を取得し、この識別情報と対応した参照情報を認証サーバ３００から取得する。本実施例の端末装置２００は、例えばタブレット端末やスマートフォン等であっても良い。

本実施例の認証システム１００は、例えば特定の場所へ出入りする際の出入り口において行われる本人確認作業等に用いられても良い。特定の場所とは、例えば会社や学校の敷地であっても良いし、イベント会場等であっても良い。

以下の説明では、特定の場所を会社の敷地内とし、所定のマーカ４００を装着した検証対象者を、ＡＲマーカが印刷された社員証等を装着した人物とした。

図２は、端末装置のハードウェア構成の一例を示す図である。

本実施例の端末装置２００は、それぞれバスＢで相互に接続されている表示操作装置２１、ドライブ装置２２、補助記憶装置２３、メモリ装置２４、演算処理装置２５、インターフェース装置２６及び撮像装置２７を有する。

表示操作装置２１は、タッチパネル等であり、各種信号の入力と各種情報の表示をするために用いられる。

インターフェース装置２６は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。撮像装置２７は、撮像素子を有し、画像を撮像する。

認証プログラムは、端末装置２００を制御する各種プログラムの少なくとも一部である。認証プログラムは例えば記録媒体２８の配布やネットワークからのダウンロードなどによって提供される。認証プログラムを記録した記録媒体２８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また認証プログラムを記録した記録媒体２８がドライブ装置２２にセットされると、認証プログラムは記録媒体２８からドライブ装置２２を介して補助記憶装置２３にインストールされる。ネットワークからダウンロードされた認証プログラムは、インターフェース装置２６を介して補助記憶装置２３にインストールされる。

補助記憶装置２３は、インストールされた認証プログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置２４は、コンピュータの起動時に補助記憶装置２３から認証プログラムを読み出して格納する。そして、演算処理装置２５はメモリ装置２４に格納された認証プログラムに従って、後述するような各種処理を実現している。

尚本実施例の認証サーバ３００は、例えばデスクトップ型あるいはノートブック型のコンピュータであっても良い。その場合認証サーバ３００は、表示操作装置２１の代わりに、キーボードやマウス等を含む入力装置と、ディスプレイ等を含む出力装置とを有する。また認証サーバ３００は、タブレット端末であっても良い。本実施例の認証サーバ３００は、演算処理装置とメモリ装置とを有する一般的なコンピュータであるから、そのハードウェア構成の説明を省略する。

図３は、第一の実施例の認証システムの有する装置の機能を説明する図である。

本実施例の認証システム１００において、端末装置２００は、参照先テーブル２１０を有する。本実施例の参照先テーブル２１０は、端末装置２００の補助記憶装置２３やメモリ装置２４に格納されていても良い。

本実施例の参照先テーブル２１０は、マーカを識別するマーカＩＤと、マーカＩＤに対応した参照先情報とが予め対応付けられたテーブルである。参照先情報とは、後述する定義情報と参照情報とに対応付けられており、マーカＩＤと対応する定義情報と参照情報とを特定するための情報である。参照先テーブル２１０は、認証システム１００の管理者等により、予め端末装置２００に登録されているものとした。参照先テーブル２１０の詳細は後述する。

また本実施例の端末装置２００は、撮像制御部２２０、マーカ認識部２３０、参照先情報送信部２４０、参照情報取得部２５０、定義情報取得部２６０、参照情報補正部２７０、表示制御部２８０を有する。

本実施例の撮像制御部２２０は、端末装置２００のユーザ（本人確認作業を行う作業者）により、撮像装置２７が使用される際の撮像装置２７の動作を制御する。本実施例の撮像装置２７は、主にマーカ４００を装着した検証対象者の画像を撮像する。

本実施例のマーカ認識部２３０は、撮像装置２７により撮像された撮像画像に含まれるマーカ４００の画像を識別（認識）し、マーカの画像を解析することでマーカと対応したマーカ４００の識別情報（以下、マーカＩＤ）を取得する。尚マーカ認識部２３０は、このときマーカ４００の画像のサイズ、撮像画像におけるマーカ４００の位置、撮像画像におけるマーカ４００の角度（見え方のゆがみ）等も取得する。

参照先情報送信部２４０は、参照先テーブル２１０を参照し、マーカ認識部２３０により取得されたマーカＩＤと対応付けられた参照先情報を取得して認証サーバ３００へ送信する。

参照情報取得部２５０は、認証サーバ３００から参照先情報に対応した参照情報を取得する。定義情報取得部２６０は、認証サーバ３００から参照先情報に対応した定義情報を取得する。

本実施例の参照情報は、撮像装置２７により撮像された撮像画像に重畳して表示される情報（画像データ及びテキストデータを含む）である。本実施例の定義情報は、参照情報を表示させる際の表示のサイズや角度、表示の位置等を定義した情報である。

すなわち本実施例のマーカ４００に対応した参照情報及び定義情報は、マーカ４００に対応して表示されるＡＲコンテンツデータである。本実施例の参照情報と定義情報の詳細は後述する。

本実施例の参照情報補正部２７０は、マーカ認識部２３０が取得した撮像画像におけるマーカ４００の画像のサイズ、位置、角度等に基づき、撮像画像に重畳させて表示させる参照情報を補正する。参照情報補正部２７０の処理の詳細は後述する。

本実施例の表示制御部２８０は、参照情報補正部２７０により補正された参照情報を、撮像画像において定義情報で示される位置に重畳させて表示させる。

本実施例の認証サーバ３００は、重畳定義テーブル３１０、参照情報データベース３２０を有する。本実施例の重畳定義テーブル３１０及び参照情報データベース３２０は、例えば認証サーバ３００の補助記憶装置やメモリ装置等に予め格納されていても良い。

本実施例の重畳定義テーブル３１０は、参照先情報と、参照先情報と対応した参照情報の表示位置、回転角度、表示サイズ及び参照情報のファイル名等が格納されている。本実施例の参照情報データベース３２０は、参照先情報と対応付けられた写真や人事情報等が格納されている。本実施例の重畳定義テーブル３１０と参照情報データベース３２０は、予め認証サーバ３００に格納されている。

また本実施例の認証サーバ３００は、参照先情報取得部３３０、情報取得部３４０、情報送信部３５０を有する。

本実施例の参照先情報取得部３３０は、端末装置２００から参照先情報を取得する。情報取得部３４０は、重畳定義テーブル３１０と参照情報データベース３２０のそれぞれを参照し、参照先情報と対応付けられた定義情報と参照情報を取得する。情報送信部３５０は、定義情報と参照情報とを端末装置２００へ送信する。

以下に図４を参照して参照先テーブル２１０について説明する。図４は、参照先テーブルの一例を示す図である。図４（Ａ）は、マーカＩＤと検証対象者の社員番号とが対応づけられたテーブルの例を示し、図４（Ｂ）は、社員番号と、定義情報及び参照情報と対応付けられた参照ＩＤとが対応づけられたテーブルの例を示している。

図４（Ａ）に示す参照先テーブル２１０Ａは、情報の項目としてマーカＩＤと社員番号とを有し、両者が対応付けられている。

本実施例の参照先テーブル２１０Ａによれば、例えば社員番号０１２３４５の人物の有する社員証は、マーカＩＤが１と識別されるマーカ（ＡＲマーカ）４００が印刷されていることがわかる。また本実施例の参照先テーブル２１０Ａによれば、例えば社員番号０１２３４６の人物の有する社員証は、マーカＩＤが２と識別されるマーカ（ＡＲマーカ）４００が印刷されていることがわかる。

さらに本実施例の参照先テーブル２１０Ａでは、例えば１つの社員番号に対して複数のマーカＩＤが対応付けられていても良い。図４（Ａ）の例では、社員番号０１２３４５について、マーカＩＤ「１」とマーカＩＤ「１０」とが対応付けられていることがわかる。

このように１つの社員番号に対して複数のマーカＩＤを対応付けておけば、マーカＩＤ「１」のマーカが印刷された社員証を紛失した場合に、マーカＩＤ「１０」のマーカが印刷された社員証を代用することができ、後述する参照情報の登録を再度行う手間を省くことができる。

図４（Ｂ）に示す参照先テーブル２１０Ｂは、情報の項目として社員番号と参照ＩＤとを有し、両者が対応付けられている。

本実施例の参照先テーブル２１０Ｂによれば、例えば社員番号０１２３４５は、参照ＩＤ０１と対応付けられていることがわかる。

本実施例では、マーカＩＤに対応した参照先情報を、検証対象者に付与された社員番号としても良い。また本実施例では、マーカＩＤに対応した参照先情報を、社員番号を介してマーカＩＤと対応付けられた参照ＩＤとしても良い。

本実施例では、参照先情報を参照ＩＤとすることで、例えばマーカＩＤと対応付ける定義情報及び参照情報を、参照先テーブル２１０Ｂにおいて社員番号と対応付ける参照ＩＤを変更するだけで変更できる。

具体的には例えば、社員番号０１２３４５と対応する参照情報と定義情報とが更新された場合について考える。この場合、更新された参照情報及び定義情報に新たな参照ＩＤを対応付けて認証サーバ３００へ格納し、端末装置２００において社員番号０１２３４５に新たな参照ＩＤを対応付ければ良い。このようにすれば、社員番号０１２３４５と、更新された参照情報と定義情報とを対応付けることができる。したがって参照先情報を参照ＩＤとすれば、容易にマーカＩＤと対応付ける参照情報及び定義情報を変更することができる。

以下の本実施例の説明では、マーカＩＤに対応した参照先情報を参照ＩＤとした場合を説明する。

次に本実施例の重畳定義テーブル３１０と、参照情報データベース３２０について説明する。図５は、重畳定義テーブルの一例を示す図である。

本実施例の重畳定義テーブル３１０は、情報の項目として、参照ＩＤ、位置情報、表示サイズ、回転角度、ファイル名を有し、社員番号に対してその他の項目が対応付けられている。本実施例では、参照ＩＤに対応付けられた位置情報、表示サイズ、回転角度及びファイル名を参照ＩＤと対応する定義情報とする。

本実施例の位置情報とは、参照情報と、撮像画像に含まれるマーカ４００の画像との相対的な位置関係を示す情報であり、参照情報を撮像画像に重畳させて表示させる際の参照情報の表示位置を示す。本実施例では、撮像装置２７により撮像された撮像画像内にマーカ４００の画像を認識すると、マーカ４００に対して位置情報により定義される位置に参照情報を表示させる。尚、図５の例では、位置情報は３次元の座標で示されるものとしたが、位置情報は２次元の座標で示されても良い。

本実施例の表示サイズとは、参照情報を表示させる際の参照情報の表示サイズを示す。本実施例の位置情報及び表示サイズの詳細は後述する。

本実施例の回転角度は、参照情報を撮像画像に重畳させて表示させる際の参照情報の回転角度を示す。ファイル名は、参照情報として表示する画像のファイル名である。

尚、本実施例では、重畳定義テーブル３１０は、予め参照情報と共に認証サーバ３００に格納されているものとしたが、これに限定されない。例えば参照情報とした登録される画像にマーカ４００の画像が含まれている場合には、端末装置２００が認証サーバ３００から参照情報を取得した後に、参照情報に含まれるマーカ４００の画像から定義情報を生成しても良い。

図６は、参照情報データベースの一例を示す図である。本実施例の参照情報データベース３２０は、情報の項目として、参照ＩＤ、顔写真、全身写真、人事情報を有し、社員番号に対して顔写真、全身写真及び人事情報が対応付けられている。

図６の例では、参照ＩＤ「０１」と対応付けられた社員番号の社員の顔写真である画像ファイルのファイル名が１．ｊｐｇであり、全身写真の画像ファイルのファイル名が１１．ｊｐｇであり、人事情報であるテキストファイルのファイル名がｔｅｘｔ１となっている。すなわち図６の例では、参照ＩＤ「０１」と対応する参照情報は、顔写真１．ｊｐｇ、全身写真１１．ｊｐｇ、人事情報ｔｅｘｔ１となる。尚本実施例の人事情報とは、例えば社員番号、写真番号と対応した人物の氏名、所属部署等が含まれる。

次に図７を参照して本実施例の定義情報に含まれる位置情報を説明する。図７は、参照情報に含まれる画像を説明する図である。図７（Ａ）は、参照情報データベース３２０に格納する画像の撮像について説明する図であり、図７（Ｂ）は撮像により得られた画像の例を示している。

画像を撮像する際には、撮影対象となる人物にマーカ４００を装着させて撮像する。より具体的には例えば、撮影対象の人物（社員）が、マーカ４００が印刷された社員証を装着した状態で撮像を行う。

以下に、図７（Ｂ）に示す撮像画像Ｇ１を取得してから、参照情報としての画像を参照情報データベース３２０に格納する手順を説明する。尚、以下の手順は、例えば撮像画像Ｇ１を取得した認証サーバ３００等のコンピュータによって実行される。

例えば顔写真の画像を参照情報データベース３２０に格納する場合、撮像画像Ｇ１において選択された顔部分の領域Ｇ２の画像が格納される。

本実施例では、例えば領域Ｇ２を定義する各点（Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４）を透視変換して、実空間上の座標（Ｐｃ１，Ｐｃ２，Ｐｃ３，Ｐｃ４）に変換する。この際、カメラ７１から被写体までの奥行きは、マーカ４００の位置に応じた値とする。例えばカメラ７１から被写体までの奥行きをマーカ４００の奥行きと同じ値に設定しても良い。

次に（Ｐｃ１，Ｐｃ２，Ｐｃ３，Ｐｃ４）をモデルビュー変換によりマーカ座標系（Ｘｍ，Ｙｍ，Ｚｍ）の座標（Ｐｍ１，Ｐｍ２，Ｐｍ３，Ｐｍ４）に変換する。モデルビュー変換とは、ローカル座標上にあるオブジェクトをワールド座標に移動する変換し、視点から見える位置に移動することである。

ここで認証サーバ３００は、変換した座標を位置情報として、マーカ４００のマーカＩＤと対応する参照ＩＤと対応付けて重畳定義テーブル３１０に格納する。また認証サーバ３００は、領域Ｇ２の画像を顔写真とし、マーカ４００のマーカＩＤと対応する参照ＩＤと対応付けて、参照情報データベース３２０に格納する。

本実施例では、以上のようにして参照情報に含まれる画像とマーカ４００の画像との位置関係を定義することで、マーカ４００を認識した際に、マーカ４００に対して点Ｐｍ１，点Ｐｍ２，点Ｐｍ３，点Ｐｍ４に囲まれた領域に、領域Ｇ２の画像（顔写真）が存在するように表示させることができる。尚本実施例では、点Ｐｍ１，点Ｐｍ２，点Ｐｍ３，点Ｐｍ４の各々のＸｍ座標に対して所定値α（４０ｃｍ程度）を加えてから位置情報として重畳定義テーブル３１０に格納しても良い。すると、マーカ４００を装着した人物の顔の隣に参照情報として顔写真が表示されるため、撮像画像と参照情報とを照合する作業を行う作業者にとって見やすい表示となる。

尚、参照情報に含まれる画像とマーカ４００の画像との相対的な位置関係を示す位置情報は、上述した座標でなくても良い。

例えばマーカ４００の形を長方形とし、マーカ４００の画像の幅をＷ、高さをＨとした場合、領域Ｇ２の点Ｐｍ１のＸ座標とＹ座標を、マーカ４００の画像の幅Ｗと高さＨで示しても良い。具体的には、点Ｐｍ１のＸ座標は、マーカ４００の画像の中心点からマーカ４００の画像の幅Ｗ×２の位置、点Ｐｍ１のＹ座標は、マーカ４００の画像の中心点からマーカ４００の画像の高さＨ×５の位置等と言うように算出されても良い。

また本実施例の定義情報に含まれる参照情報の表示サイズは、例えばＸ軸方向の大きさをマーカ４００の画像の幅Ｗ×５とし、Ｙ軸方向の大きさをマーカ４００の画像の高さＨ×３の長さ等として示しても良い。

次に図８を参照して本実施例の認証システム１００の動作を説明する。図８は、第一の実施例の認証システムの動作を説明するフローチャートである。

本実施例の認証システム１００において、端末装置２００は、マーカ認識部２３０により、撮像装置２７により撮像された検証対象者の撮像画像からマーカ４００の画像を認識する（ステップＳ８０１）。続いて本実施例の端末装置２００は、撮像画像内にマーカ４００の画像を認識したか否かを判断する（ステップＳ８０２）。ステップＳ８０２において認識しない場合、端末装置２００は、例えば表示操作装置２１にマーカ４００の画像が取得できない旨を表示させ、端末装置２００の位置を作業者に調整させ（ステップＳ８０３）、ステップＳ８０１へ戻る。

ステップＳ８０２においてマーカ４００の画像が認識されると、マーカ認識部２３０は、マーカ４００の画像を解析し、マーカ４００のマーカＩＤと、撮像時におけるマーカ４００の状態を示すマーカ状態情報を取得する（ステップＳ８０４）。本実施例のマーカ状態情報は、例えば撮像画像におけるマーカ４００の画像の位置を示すマーカ位置情報、撮像画像におけるマーカ４００の画像のサイズを示す情報、撮像時における撮像装置２７に対するマーカ４００の角度等が含まれる。

続いて参照先情報送信部２４０は、参照先テーブル２１０Ａ，２１０Ｂを参照し、マーカＩＤと対応付けられた参照ＩＤを取得する（ステップＳ８０５）。

端末装置２００は、参照先情報送信部２４０により参照ＩＤを認証サーバ３００へ送信し、参照情報取得部２５０及び定義情報取得部２６０により、参照ＩＤと対応した参照情報と定義情報とを取得する（ステップＳ８０６）。

続いて参照情報補正部２７０は、ステップＳ８０４で取得したマーカ状態情報に基づき、参照情報を補正する（ステップＳ８０７）。

以下に本実施例の参照情報補正部２７０による参照情報の補正について説明する。本実施例の参照情報補正部２７０は、マーカ状態情報に示されるマーカ４００のサイズを示す情報から端末装置２００と検証対象者との距離を算出し、この距離に応じて参照情報の画像の表示サイズを変更する補正を行っても良い。

また本実施例の参照情報補正部２７０は、例えばマーカ状態情報に含まれる撮像時における撮像装置２７に対するマーカ４００の角度に応じて、参照情報の画像を回転させても良い。

本実施例では、以上のように、撮像画像に含まれるマーカ４００の画像から、端末装置２００とマーカ４００との位置関係を示すマーカ状態情報を取得し、マーカ状態情報に基づき参照情報に含まれる画像を補正する。この補正により、参照情報に含まれる画像を、撮像画像に映された検証対象者の画像と同じ撮影条件で撮影した画像とすることができる。したがって本実施例によれば、参照情報に含まれる画像と撮像画像との目視による照合を高精度に行わせることができ、目視による本人確認作業を容易にすることができる。

続いて表示制御部２８０は、補正した後の参照情報を撮像画像に重畳させて表示する（ステップＳ８０８）。

何尚、図８では、撮像画像からマーカ状態情報を取得して参照情報を補正するものと
したが、これに限定されない。補正される画像は、参照情報の画像ではなく、撮像画像であっても良い。

以下に図９乃至図１１を参照して本実施例の認証システム１００による認証結果について説明する。

図９は、第一の実施例における認証結果の一例を示す第一の図である。図９（Ａ）は、認証システム１００を用いて本人確認作業を行う作業者が、端末装置２００で検証対象者を撮像した撮像画像の例を示す。図９（Ｂ）は、撮像画像に参照情報が重畳された画像の例を示す図である。

図９の例では、撮像画像９１にマーカ４００の画像４００Ｇが含まれている。本実施例のマーカ認識部２３０は、撮像画像９１から画像４００Ｇを認識して解析し、マーカ４００のマーカＩＤと、撮像画像９１が撮像された際のマーカ４００の状態を示すマーカ状態情報を取得する。

そして端末装置２００は、定義情報取得部２６０により重畳定義テーブル３１０からマーカＩＤと対応した定義情報を取得し、参照情報取得部２５０により、参照情報データベース３２０からマーカＩＤと対応する参照情報９３、９４を取得する。参照情報９３、９４は、定義情報とマーカ状態情報に基づき撮像画像９１と重畳されて表示される。図９の例では、参照情報９３として顔写真の画像が用いられている。

図９（Ｂ）の例では、定義情報に含まれる位置情報において、参照情報９３の表示位置が、検証対象者顔の隣になるように定義されており、容易に本人確認作業を行うことができる。図９の例では、参照情報９３、９４により、撮像画像９１に含まれる検証対象者が社員番号○○○の人物と同一人物であることが確認できる。

まて本実施例では、検証対象者の身長を判断する基準となるポインタ９５を表示させることで、確認作業を行う作業者に対し、身長の情報も含めて表示させることができ、目視による本人確認作業を容易に行わせることができる。

図１０は、第一の実施例における認証結果の一例を示す第二の図である。図１０（Ａ）は、認証システム１００を用いて本人確認作業を行う作業者が、端末装置２００で検証対象者を撮像した撮像画像の例を示す。図１０（Ｂ）は、撮像画像に参照情報が重畳された画像の例を示す図である。

図１０では、撮像画像１０１に含まれる検証対象者が、社員番号○○○の人物と同一人物でない場合の例を示している。上述の場合とは、例えば社員番号○○○の人物の社員証を社員番号○○○の人物とは別の人物が装着していた場合等が考えられる。

図１０（Ｂ）では、撮像画像１０１に、画像４００Ｇから取得された参照情報９３、９４が表示される。参照情報９３は、社員番号○○○である人物が検証対象者である場合に、この人物の顔の隣に表示されるように、位置情報が定義されており、この位置情報にしたがって撮像画像１０１上に表示される。

このため、例えば図１０（Ｂ）に示すように、社員番号○○○である人物と身長が異なる人物が撮像画像に写っていた場合、参照情報９３の表示位置と、検証対象者として撮像画像１０１に写っている人物の顔の位置との間で高さにズレが生じる。よって、本実施例では、身長の条件により、撮像画像に写っている検証対象者が社員番号○○○である人物ではない、ということが容易に判断できる。

図１１は、第一の実施例における認証結果の一例を示す第三の図である。図１１（Ａ）は、検証対象者と参照情報とが一致する場合を示している。図１１（Ｂ）は、検証対象者と参照情報とが一致しない場合を示している。図１１は、参照情報として、検証対象者の全身写真を用いた場合の例を示している。

図１１（Ａ）に示す端末装置２００の画面１１１Ａには、撮像画像１１２と、撮像画像１１２に重畳された参照情報１１３、１１４が表示されている。

図１１（Ａ）の例では、マーカ４００の画像４００Ｇ１と対応する社員番号が社員番号××であり、参照情報１１３、１１４は社員番号××と対応している。参照情報１１３は、社員番号××の人物の全身写真である。

図１１（Ｂ）に示す端末装置２００の画面１１１Ｂには、撮像画像１１５と、撮像画像１１５に重畳された参照情報１１３、１１４とが表示されている。

図１１（Ａ）、（Ｂ）では、何れも撮像画像１１２、１１５に含まれる検証対象者の画像の隣に参照情報１１３として社員番号××の人物の全身写真が表示される。

図１１（Ａ）では、撮像画像１１２における検証対象者の画像と、参照情報１１３とが一致していることがわかる。また図１１（Ｂ）では、撮像画像１１５における検証対象者の画像と、参照情報１１３とが一致していないことがわかる。

以上のように本実施例では、参照情報の画像を全身写真の画像とすれば、例えば検証対象者と端末装置２００との距離が離れていた場合でも、容易に目視による本人確認作業を行うことができる。また本実施例では、参照情報の画像を全身写真の画像とすることで、参照情報に身長や体の各パーツの大きさ等の情報が含まれることになり、例えば体型の変化や服装等により本人確認作業における判断に及ぼす影響を低減できる。

尚、上記の説明では、マーカＩＤに対応付けられた参照先情報を参照ＩＤとする例を説明したが、これに限定されない。本実施例では、参照先情報を社員番号としても同様の処理を行うことができる。参照先情報を社員番号とし場合には、重畳定義テーブル３１０及び参照情報データベース３２０の参照ＩＤの項目が社員番号となる。

また、上記の説明では、本実施例を本人確認作業に使用した形態を説明したが、これに限定されない。本実施例では、例えば遊園地等において、確認の対象となる人物の身長が制限を満たしているか否かを判断する作業等に用いられても良い。

（第二の実施例）
以下に図面を参照して第二の実施例について説明する。第二の実施例では、撮像画像の解像度と参照情報の画像の解像度とを比較する点が第一の実施例と相違する。よって第二の実施例の説明では、第一の実施例との相違点についてのみ説明し、第一の実施例と同様の機能構成を有するものには第一の実施例の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１２は、第二の実施例の認証システムの有する装置の機能を説明する図である。本実施例の端末装置２００Ａは、第一の実施例の端末装置２００の有する各部に加え、誤差判定用テーブル２９０と、誤差判定部２９５とを有する。また本実施例の端末装置２００Ａは、表示制御部２８０Ａを有する。

本実施例の端末装置２００Ａは、例えば撮像画像の解像度と、参照情報の画像の解像度とを比較し、解像度の差に応じて撮像画像に参照情報の画像を重畳させる際の参照情報の画像の表示サイズの誤差を判定する。

本実施例の誤差判定部２９５は、撮像画像の解像度と、参照情報に含まれる画像の解像度との差が予め設定された値以上であるか否かを判定する。そして誤差判定部２９５は、解像度の差が予め設定された値以上である場合、誤差判定用テーブル２９０を参照し、解像度の差に応じた参照情報の画像の表示サイズの誤差の値を取得する。尚、参照情報に含まれる解像度は、予め登録されていても良い。また撮像画像の解像度は、撮像画像に含まれるマーカ４００の画像を解析した際に取得されても良い。

本実施例の表示制御部２８０Ａは、誤差判定部２９５が誤差の値を取得した場合には、参照情報の画像を表示させる際に、この誤差の値に応じたポインタを表示させる。

図１３は、誤差判定用テーブルの一例を示す図である。

本実施例の誤差判定用テーブル２９０は、情報の項目として、解像度差と、誤差とを有し、解像度差と誤差とが対応付けられている。

以下に本実施例の参照情報に含まれる画像の表示サイズの誤差について説明する。以下では、例えば参照情報として登録された画像の解像度が、撮像画像の解像度よりも低い場合について説明する。尚、参照情報に含まれる画像の解像度が低い場合とは、例えば全身写真から顔の部分を切り出して拡大した画像等を参照情報の顔写真として登録した場合等である。

撮像画像に比べて参照情報の画像の解像度が低い場合、例えば参照情報の画像において被写体の外形にエッジが立ち、その結果として描画における線が解像度が高い撮像画像と比べて太くなる。描画における線が太い画像の場合、同じ画像であっても解像度が高い画像と比べて、線が太い分だけ表示サイズが大きくなる場合がある。

本実施例の誤差判定用テーブル２９０では、解像度の差が２００ｄｐｉであった場合の表示サイズの誤差は５０ｍｍである。この誤差とは、例えば解像度が高い画像における線の太さと、この画像よりも解像度が２００ｄｐｉ低い画像における線の太さの差を示す。

本実施例の誤差判定用テーブル２９０は、例えば解像度に差に応じた線の太さの実測値等により、解像度と誤差との関係を対応付けたものである。

本実施例の端末装置２００Ａでは、以上のように解像度の差による線の太さから生じる画像の表示サイズの誤差を考慮し、誤差が生じる場合にはその旨を示すポインタを表示させる。

図１４は、第二の実施例の認証システムの動作を説明するフローチャートである。

図１４のステップＳ１４０１からステップＳ１４０７までの処理は、図８のステップＳ８０１からステップＳ８０７までの処理と同様であるから、説明を省略する。

ステップＳ１４０７に続き、端末装置２００Ａは、誤差判定部２９５により、撮像画像の解像度と参照情報に含まれる画像の解像度との差が所定値以上であるか否かを判断する（ステップＳ１４０８）。

ステップＳ１４０８において解像度の差が所定値未満であった場合、端末装置２００Ａは後述するステップＳ１４１０へ進む。ステップＳ１４０８において、解像度の差が所定値以上であった場合、誤差判定部２９５は、誤差判定用テーブル２９０を参照し、誤差の値に基づくポインタを描画し（ステップＳ１４０９）、ステップＳ１４１０へ進む。

ステップＳ１４１０の処理は、図８のステップＳ８０８の処理と同様であるから、説明を省略する。

図１５は、第二の実施例における認証結果の一例を示す図である。

図１５に示す画面１５１は、撮像画像１５２に、参照情報１５３、１５４が重畳されている。画面１５１に表示された参照情報１５３は、撮像画像１５２よりも所定値以上解像度が低い画像であり、描画における線が撮像画像１５２の描画における線よりも太くなっていることがわかる。

そこで本実施例では、例えば線の太さにより生じる表示サイズの誤差を示すポインタ１５５Ａ、１５５Ｂを、例えば参照情報１５３の顔写真の頭頂部の近傍に表示させる。表示サイズの誤差とは、撮像画像１５２における検証対象者の画像の表示サイズと、参照情報１５３における顔写真の画像の表示サイズの誤差である。

画面１５１では、撮像画像１５２における検証対象者の画像の頭頂部が、ポインタ１５５Ａとポインタ１５５Ｂの間に入れば、撮像画像１５２における検証対象者の身長と、参照情報１５３の顔写真の人物の身長は、ほぼ同じであると判断できる。

以上のように本実施例では、参照情報に含まれる画像の解像度と撮像画像の解像度との差により生じる誤差を本人確認作業を行う作業者に認識させることができ、目視による本人確認作業の精度の向上に貢献することができる。

開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
照合対象および第１の基準物の双方を含む第１の画像を取得し、
前記第１の基準物に対応づけられた参照情報に含まれる、第２の画像を取得し、
前記第１の画像に含まれる前記第１の基準物から生成される第１の表示定義情報、および、前記第２の画像と対応づけられた第２の表示定義情報に応じた表示態様で、前記第１の画像および第２の画像を表示させる、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記２）
付記１記載の表示制御プログラムであって、前記第２の表示定義情報は、前記参照情報に含まれることを特徴とする表示制御プログラム。
（付記３）
付記１記載の表示制御プログラムであって、前記第２の表示定義情報は、前記第２の画像に含まれる第２の基準物から生成される、
ことを特徴とする表示制御プログラム。
（付記４）
付記１記載の表示制御プログラムであって、前記表示態様は、前記第１の画像に含まれる前記照合対象の像と、前記第２の画像に含まれる参照対象の像が、同一のスケールで表示される表示態様である
ことを特徴とする表示制御プログラム。
（付記５）
付記１記載の表示制御プログラムであって、前記表示態様は、前記第１の画像の解像度と、前記第２の画像の解像度とから得られる、前記第１の画像に含まれる前記照合対象の像の表示サイズと、前記第２の画像の表示サイズとの誤差を示すポインタが表示される表示態様である
ことを特徴とする表示制御プログラム。
（付記６）
照合対象および第１の基準物の双方を含む第１の画像を取得する第１の取得部と、
前記第１の基準物に対応づけられた参照情報に含まれる、第２の画像を取得する第２の取得部と、
前記第１の画像に含まれる前記第１の基準物から生成される第１の表示定義情報、および、前記第２の画像と対応づけられた第２の表示定義情報に応じた表示態様で、前記第１の画像および第２の画像を表示させる表示制御部と、
を有することを特徴とする表示制御装置。
（付記７）
第１の基準物に対応づけられた参照情報が格納されたサーバと、端末装置とを有する表示制御システムであって、
前記端末装置は、
照合対象および前記第１の基準物の双方を含む第１の画像を取得する第１の取得部と、
前記参照情報に含まれる、第２の画像を取得する第２の取得部と、
前記第１の画像に含まれる前記第１の基準物から生成される第１の表示定義情報、および、前記第２の画像と対応づけられた第２の表示定義情報に応じた表示態様で、前記第１の画像および第２の画像を表示させる表示制御部と、
を有することを特徴とする表示制御システム。

開示の技術は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１００ 認証システム
２００ 端末装置
２１０ マーカテーブル
２２０ 撮像制御部
２５０ 参照情報取得部
２６０ 定義情報取得部
２７０ 参照情報補正部
２８０ 表示制御部
３００ サーバ
３１０ 重畳定義テーブル
３２０ 参照情報データベース

Claims (9)

1. 照合対象および第１の基準物の双方を含む第１の画像を取得し、
   前記第１の基準物に対応づけられた参照情報に含まれる、前記照合対象の画像である第２の画像を取得し、
   前記第１の画像に含まれる前記第１の基準物から生成される、前記第１の画像の撮像時の前記第１の基準物の状態を示す第１の表示定義情報、および、前記第２の画像と対応づけられた、前記第２の画像と、前記第１の画像に含まれる前記第１の基準物の画像との相対的な位置関係を示す第２の表示定義情報に応じた表示態様で、前記第１の画像および前記第２の画像を表示させる、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
2. 請求項１記載の表示制御プログラムであって、前記第２の表示定義情報は、前記参照情報に含まれることを特徴とする表示制御プログラム。
3. 請求項１記載の表示制御プログラムであって、前記第２の表示定義情報は、前記第２の画像に含まれる第２の基準物から生成される、ことを特徴とする表示制御プログラム。
4. 請求項１記載の表示制御プログラムであって、前記表示態様は、前記第１の画像に含まれる前記照合対象の像と、前記第２の画像に含まれる参照対象の像が、同一のスケールで表示される表示態様である、ことを特徴とする表示制御プログラム。
5. 請求項１記載の表示制御プログラムであって、
   前記第１の表示定義情報に基づき、前記第２の画像を、前記第１の画像の撮像条件と同じ撮像条件の画像となるように補正する、
   処理を前記コンピュータに実行させる、ことを特徴とする表示制御プログラム。
6. 請求項１記載の表示制御プログラムであって、
   前記表示態様は、前記第１の画像の解像度と、前記第２の画像の解像度とから得られる、前記第１の画像に含まれる前記照合対象の画像の表示サイズと、前記第２の画像の表示サイズとの誤差を示すポインタが表示される表示態様である、ことを特徴とする表示制御プログラム。
7. 請求項１記載の表示制御プログラムであって、
   前記第１の画像および前記第２の画像を表示させる際に、前記第１の画像と前記第２の画像の表示位置が並ぶように配置する、ことを特徴とする表示制御プログラム。
8. 照合対象および第１の基準物の双方を含む第１の画像を取得する第１の取得部と、
   前記第１の基準物に対応づけられた参照情報に含まれる、前記照合対象の画像である第２の画像を取得する第２の取得部と、
   前記第１の画像に含まれる前記第１の基準物から生成される、前記第１の画像の撮像時の前記第１の基準物の状態を示す第１の表示定義情報、および、前記第２の画像と対応づけられた、前記第２の画像と、前記第１の画像に含まれる前記第１の基準物の画像との相対的な位置関係を示す第２の表示定義情報に応じた表示態様で、前記第１の画像および前記第２の画像を表示させる表示制御部と、
   を有することを特徴とする表示制御装置。
9. 第１の基準物に対応づけられた参照情報が格納されたサーバと、端末装置とを有する表示制御システムであって、
   前記端末装置は、
   照合対象および前記第１の基準物の双方を含む第１の画像を取得する第１の取得部と、
   前記参照情報に含まれる、前記照合対象の画像である第２の画像を取得する第２の取得部と、
   前記第１の画像に含まれる前記第１の基準物から生成される、前記第１の画像の撮像時の前記第１の基準物の状態を示す第１の表示定義情報、および、前記第２の画像と対応づけられた、前記第２の画像と、前記第１の画像に含まれる前記第１の基準物の画像との相対的な位置関係を示す第２の表示定義情報に応じた表示態様で、前記第１の画像および前記第２の画像を表示させる表示制御部と、
   を有することを特徴とする表示制御システム。

Images