JP6675064B2 - 照合装置 - Google Patents

Description

本開示は、ディスプレイ及びカメラを配置した照合装置に関する。

従来、ハーフミラーの背面にディスプレイ及びカメラを配置した装置（以下、このような装置を「ハーフミラー表示撮像装置」と略記する）が提案されている。このハーフミラー表示撮像装置は、ハーフミラーの背面のディスプレイを発光させることにより、ハーフミラーの前面側からディスプレイの文字や画像を見ることができる。また、ハーフミラー表示撮像装置を用いれば、ハーフミラーに映った顔及び姿とほぼ同様の画像を背面のカメラで撮像できるので、自分の表情等を確認しながら撮像画像を得ることができる。

特許文献１には、ハーフミラーの背面側にディスプレイ及びカメラが配置された健康管理システムが開示されている。この健康管理システムでは、ハーフミラーの前面側のユーザがハーフミラーに映った自身の顔及び姿を見ながら、ハーフミラーの背面側からディスプレイによってハーフミラーに映し出された活動量を見ることができ、かつハーフミラーの背面側からカメラによってそのときの自身の顔及び姿を撮像して記録できるようになっている。

特開２０１５−２２５６２７号公報

上述したようなハーフミラー表示撮像装置のようにディスプレイに情報を表示しつつ、ユーザの顔を撮像する技術、様々な場面への応用が考えられる。例えば照合装置への適用が考えられる。

しかしながら、ディスプレイに情報を表示しつつ、ユーザの顔を撮像する技術を照合装置に適用した場合の構成については十分な検討がなされていなかった。従来の技術では、ユーザに対してディスプレイによって照合に適した表示を行いつつ、撮像装置によって照合に適した顔画像を撮像できるとは言えなかった。

本開示の一態様は、ユーザに対してディスプレイによって照合に適した表示を行いつつ、撮像装置によって照合に適した顔画像を撮像できる照合装置を提供する。

本開示の一態様に係る照合装置は、複数のディスプレイと、撮像装置と、ハーフミラーと、パスポートに記録されている顔画像を取得する照合対象画像取得部とを有する照合装置であり、ハーフミラーは、複数のディスプレイを覆う位置に配置され、照合対象画像取得部は、複数のディスプレイよりも鉛直方向において下に配置され、照合装置は、パスポートに記録されている顔画像の入力を促す表示を、複数のディスプレイのうち鉛直方向において最も下のディスプレイに表示し、パスポートに記録されている顔画像の入力を促す表示を行うディスプレイ以外のディスプレイを低輝度又は黒表示し、撮像装置が撮影するユーザの顔画像と、パスポートに記録されている顔画像との照合を行う。

本開示の一態様によれば、ユーザに対してディスプレイによって照合に適した表示を行いつつ、撮像装置によって照合に適した顔画像を撮像できる。

本開示の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態に係る照合装置の外観構成を示す図である。 図２は、照合装置の内部構成を示す正面図である。 図３は、照合装置の内部構成を示す背面図である。 図４は、実施の形態によるカメラの構成を示す概略図である。 図５は、他の実施の形態の照合装置の内部構成を示す正面図である。

先ず、実施の形態を説明する前に、本開示の一態様に至った経緯について説明する。

本開示の発明者らは、ディスプレイ及びカメラ（撮像装置）を配置した装置を照合装置に適用する場合において、次の点に着目した。

ディスプレイは、ユーザが目視し易いようにユーザの正面位置又はその近傍に配置することが好ましい。同様に、カメラも、ユーザが正面を向いた画像を撮像できるようにユーザの正面位置又はその近傍に配置することが好ましい。

しかし、ディスプレイ及びカメラをユーザの正面位置に配置すると、前方に配置した機器（ディスプレイ又はカメラ）が後方に配置した機器（カメラ又はディスプレイ）に対して遮蔽物となる不都合が生じる。ユーザの正面にディスプレイを配置すると、カメラがディスプレイに遮蔽されやすくなるため、照合に適切な正面画像を得ることが困難となる。一方で、ユーザの正面にカメラを配置すると、ディスプレイがカメラに遮蔽されやすくなるため、文字又は画像をユーザにとってディスプレイの見易い箇所へ表示することが困難となる。さらには、ユーザの正面にカメラを配置すると、カメラによって撮像した画像もユーザの視線が正面から逸れた画像となってしまう（ユーザが正面からかけ離れた位置のディスプレイを見てしまうおそれがあるため）。発明者らは、以上の着眼点により、本開示の構成の着想に至った。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜構成＞
図１は、実施の形態に係る照合装置１００の外観を示す。図１は、照合装置１００を空港などに設けられるゲート装置に適用した例を示す。

照合装置１００は、テーブル１０上に載置されている。ゲート装置は、一点鎖線の矢印で示すように、テーブル１０から突き出す位置及び引っ込んだ位置に移動可能なゲート１１と、駆動装置（図示しない）を有する。ゲート装置は、ゲート１１を駆動装置によって駆動する。照合装置１００とゲート装置とは通信可能である。照合装置１００による照合の結果、本人であると認証された場合には、照合装置１００からゲート装置の駆動装置に対して所定の信号が送信される。駆動装置は所定の信号を受けると、ゲート１１をテーブルから引っ込んだ位置に移動することで、ゲート１１を開く。

照合装置１００は、本体部１１０と、照合対象画像取得部１２０と、を有する。

本体部１１０は、鉛直方向に長い直方体形状の筐体１１１と、この筐体１１１の前側に取り付けられたハーフミラー１１２と、を有する。筐体１１１の内部には、後述するディスプレイ１１３及びカメラレンズ１１４が収容されている。

照合対象画像取得部１２０は、ガラス面１２１上に載置されたパスポート１２２等を内部に設けられたスキャナ（図示せず）等で読み込む。パスポート１２２等には照合対象画像としての顔画像が記録されている。このようにして、照合対象画像取得部１２０は、照合対象画像を取得する。

図２は、照合装置１００の内部構成を示す正面図である。図２は、筐体１１１からハーフミラー１１２（図１）を取り外して筐体１１１の内部を正面方向から見た図である。

筐体１１１内には、複数のディスプレイ１１３ａ、１１３ｂ、１１３ｃが所定の隙間Ｄを有して配置されている。また、ディスプレイ１１３ａ、１１３ｂ、１１３ｃ同士の隙間Ｄには、カメラレンズ１１４ａ、１１４ｂが配置されている。本実施の形態においては、３つのディスプレイ１１３ａ、１１３ｂ、１１３ｃが鉛直方向に隙間Ｄをおいて並んで配置され、鉛直方向の異なる隙間Ｄに２つのカメラレンズ１１４ａ、１１４ｂが配置されている。

筐体１１１の前面枠には、ＬＥＤ（Light Emitting Diode）ランプ１１８が設けられている。このＬＥＤランプ１１８によって照合装置１００の前面側の人物（ユーザ）に光を照射することができる。本実施の形態においては、ＬＥＤランプ１１８は、ハーフミラー１１２によって覆われた位置に配置されている。なお、ＬＥＤランプ１１８は、ハーフミラー１１２によって覆われない位置に配置してもよい。

図３は、照合装置１００の内部構成を示す背面図である。図３は、筐体１１１の背面板を取り外して、筐体１１１の内部を背面方向から見た図である。

ディスプレイ１１３ａ、１１３ｂ、１１３ｃはそれぞれ、支持部材１１５ａ、１１５ｂ、１１５ｃによって筐体１１１に固定されている。

カメラレンズ１１４ａ、１１４ｂに入射した光はそれぞれ、カメラ本体１１６ａ、１１６ｂに入り撮像される。カメラ本体１１６ａ、１１６ｂはそれぞれ、支持部材１１７ａ、１１７ｂによって固定されている。

図４は、本実施の形態によるカメラの構成を示す概略図である。ディスプレイの隙間Ｄに配置されたカメラレンズ１１４ａ（１１４ｂ）を通過した光は、偏光部材としてのプリズム１３１によって鉛直方向に屈折される。屈折した光は、結像レンズ１３２によって撮像素子としてのＣＣＤ(Charge Coupled Device)１３３に入射され、ＣＣＤ１３３によって電気
信号に変換され、画像として記録される。このように、カメラレンズ１１４ａ、１１４ｂで得られた光をプリズム１３１等の偏光部材によって鉛直方向に屈折させるように偏光した後に撮像素子によって撮像したことにより、ディスプレイ１１３ｂ、１１３ｃの背面の空間を有効活用してカメラ本体１１６ａ、１１６ｂの水平方向のサイズを小さくでき、この結果、照合装置１００の筐体１１１を薄くすることができる。

＜動作＞
次に、照合装置１００の動作について説明する。

照合装置１００の前にユーザが立ったことが人感センサ（図示しない）によって検知されると、人を検知したこと示す情報が人感センサから照合装置１００へ出力される。すると、照合装置１００は、ディスプレイ１１３ａ、１１３ｂ、１１３ｃによるガイダンスを開始する。

ガイダンスにおいて、照合装置１００は、最も下のディスプレイ１１３ｃに「パスポートを置いて下さい」といった、ユーザに対して照合対象画像の入力を促す、文字を表示する。ガラス面１２１上にパスポート１２２が置かれると、照合対象画像取得部１２０によってパスポート１２２に印刷された、又はパスポート１２２のＩＣチップに格納された顔画像が読み取られる。ここで、照合対象画像取得部１２０に最も近い、最も下のディスプレイ１１３ｃにガイダンスを表示したことにより、ユーザの視線を照合対象画像取得部１２０の方向に誘導することができ、ユーザに照合対象画像取得部１２０の位置を気付かせることができる。

次に、照合装置１００は、最も下のディスプレイ１１３ｃに「正面を向いて下さい」といった、ユーザに対して所定の方向へ視線を移すための注意を促す、文字を表示する。なお、ユーザに対して所定の方向へ視線を移すための注意を促す文字を表示してから一定時間経過後に当該表示を消去すると、ユーザの視線を正面に誘導しやすくなる。

なお、本実施の形態においては最も下のディプレイ１１３ｃに「正面を向いて下さい」といった文字を表示したが、このような表示を行うディスプレイはディスプレイ１１３ｃに限られない。「正面を向いて下さい」といった表示を、全てのディスプレイ１１３に表示してもよい。ただし、少なくとも、ユーザに対して照合対象画像の入力を促す表示を行ったディスプレイに、当該表示を行った場合は、ユーザが当該表示に気づきやすくなるという利点がある。なぜならばディスプレイ１１３ｃは、「パスポートを置いて下さい」という文字が表示されたディスプレイであり、当該ディスプレイに引き続き「正面を向いて下さい」といった表示がされるので、ユーザの視点移動が少なくなるからである。

次に、照合装置１００は、ディスプレイ１１３ａ、１１３ｂ、１１３ｃに対して、撮影を行う旨の表示、撮影に際しての注意事項など、撮影に際してユーザに伝えるべき情報を表示する。照合装置１００は、撮影に際してユーザに伝えるべき情報を表示した後、あるいは最中に、カメラレンズ１１４ａ及びカメラレンズ１１４ｂを用いた撮像を行う。

ここで、ディスプレイ１１３ａ、１１３ｂ、１１３ｃのうち、どのディスプレイに撮影に際してユーザに伝えるべき情報を表示するかは、全てのディスプレイに情報を表示してもよいし、特定のディスプレイに情報を表示してもよい。

特定のディスプレイに情報を表示する場合において、カメラレンズ１１４ａ及びカメラレンズ１１４ｂで得られた画像に基づいて情報を表示するディスプレイを選択してもよい。すなわち、カメラレンズ１１４ａ及びレンズ１１４ｂで得られた画像のうち視線がより正面を向いている方の画像を撮像しているレンズに隣接するディスプレイの一、あるいは両方を特定のディスプレイとして選択すると、ユーザの視線移動を少なくさせることができる。また、選択したディスプレイのどの箇所に情報を表示するかを、カメラレンズ１１４ａ及びカメラレンズ１１４ｂで得られた画像に基づいて決定してもよい。例えば画像中の顔向きの角度又は視線を検出することにより、ディスプレイにおいてユーザに正対する箇所に情報を表示することができる。

また、特定のディスプレイに情報を表示する場合において、ユーザの身長等の、ユーザの顔の位置を推定するパラメータに基づいて情報を表示するディスプレイを選択してもよい。すなわち、ユーザの顔の位置により近いディスプレイを特定のディスプレイとして選択すると、ユーザの視線移動を少なくさせることができる。また、選択したディスプレイのどの箇所に情報を表示するかを、ユーザの身長等の、ユーザの顔の位置を推定するパラメータに基づいて決定してもよい。例えばユーザの身長と各ディスプレイの箇所とを対応づけたデータベースを事前に用意しておくことで、ユーザの身長に応じた箇所に情報を表示することができる。

また、特定のディスプレイを全てのディスプレイのうちで真ん中のディスプレイ１１３ｂとしてもユーザの視線移動を少なくさせることができる。

なお、画像において、画像中の顔向きの角度又は視線が正面を向いている度合いを判定するためには、次のアルゴリズムの一を適用することができる。例えば、正面顔を含む複数の角度の顔画像を学習した識別器（識別アルゴリズム）に画像を入力することが挙げられる。または画像と照合対象画像とを照合したスコアの高いほうの画像がより正面を向いている画像であると推定することが挙げられる。

また、ユーザの身長等の、ユーザの顔の位置を推定するパラメータは、鉛直方向を向いて配置された距離センサ等を用いて取得することができる。また、当該距離センサを複数配置した場合は、ユーザがディスプレイに対して左右にずれて存在している場合であっても、当該ずれ量を検出することができる。当該ずれ量に基づいて、選択したディスプレイのどの箇所に情報を表示するかを決定してもよい。

また、照合に用いる画像として、カメラレンズ１１４ａの画像を用いるのか、又はカメラレンズ１１４ｂの画像を用いるのかの選択も、視線がより正面を向いている方の画像を選択することで行ってもよい。また、同様の選択を、ユーザの身長等の顔の位置を推定するパラメータに基づいて、より顔の位置に近いと推定されるレンズによって得られた画像を選択することで行ってもよい。

本実施の形態の構成では、ディスプレイ及びカメラレンズの両方をユーザのほぼ正面位置に配置できている。よって、ユーザがディスプレイの情報を視認した状態であっても、視線がレンズに対してほぼ正面に向いた顔画像を撮像することができる。つまり、視線を向ける位置と撮像される位置がほぼ一致するので、ユーザにとっては視線移動をする必要が少ない状態で撮影を行うことができる。結果として、ユーザに対してディスプレイ１１３ａ、１１３ｂ、１１３ｃによって照合に適した見易い表示を行いつつ、カメラによって照合に適した顔画像を撮像できる。

また、本実施の形態のように、ディスプレイ及びレンズを覆う位置にハーフミラー１１２を配置すると、ユーザは、ディスプレイの情報を視認しつつも、ハーフミラー１１２に映っている自分の表情を確認し、あるいはハーフミラー１１２に反射した自分と目を合わせようとする。本実施の形態では、上述したようにユーザがハーフミラー１１２に着目した状態であっても、ハーフミラー１１２の裏面に、ディスプレイ１１３及びカメラレンズ１１４の両方をユーザのほぼ正面位置に配置したので、ハーフミラー１１２に映っている顔とほぼ同じ顔をカメラによって撮像できる。また、ディスプレイ１１３に表示する情報を視認する視線と、ハーフミラー１１２に反射した自分を視認する視線との移動を少なくすることもできる。なお、本実施の形態ではハーフミラー１１２の裏面に存在するディスプレイ１１３に様々な情報を表示したが、このような情報を表示する際には、ディスプレイ１１３において情報を表示する領域以外を低輝度又は黒表示することが望ましい。このようにすると、情報が表示されていない箇所にはユーザ側からの光が反射されることで、表示された情報のみが浮き上がったかのように表示される。よって、ユーザの情報に対する注意をより情報に対して惹きつけることができる。

このように、パスポートの顔画像（照合対象画像）、及び、実際のユーザの顔画像を得ると、照合装置１００は、これらの顔画像を画像処理部（図示せず）によって照合する。
そして照合の結果に基づいてゲート１１の開閉を行う。

以上説明したように、本実施の形態によれば、複数のディスプレイ１１３ａ、１１３ｂ、１１３ｃを所定の隙間Ｄをもって配置し、この隙間Ｄにカメラレンズ１１４ａ、１１４ｂを配置したことにより、ディスプレイを見るための視線とカメラによる撮影のための視線とをほぼ同一視線とすることができるので、ユーザに対してディスプレイ１１３ａ、１１３ｂ、１１３ｃによって照合に適した表示を行いつつ、カメラによって照合に適した顔画像を撮像できる照合装置１００を実現できる。

本実施の形態の構成は、換言すれば、ディスプレイを複数のディスプレイに分割して、その間にカメラを配置したと言うことができる。このようにすることで、顔の正面位置がディスプレイのみで占有されることなく、カメラも配置できるようになる。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

上述の実施の形態では、ハーフミラー１１２の背面側に３つのディスプレイ１１３ａ、１１３ｂ、１１３ｃと、２つのカメラレンズ１１４ａ、１１４ｂを配置した場合について述べたが、ディスプレイ及びカメラの数はこれに限らず、要は、ハーフミラーの背面側に、複数のディスプレイを配置すると共にそのディスプレイの隙間Ｄにカメラレンズを配置すればよい。図２との対応部分に同一符号を付して示す図５における照合装置２００は、５つのディスプレイ１１３ａ〜１１３ｅを隙間Ｄをおいて配置し、その隙間Ｄに４つのカメラレンズ１１４ａ〜１１４ｄを配置した例である。

また上述の実施の形態では、複数のディスプレイ１１３ａ、１１３ｂ、１１３ｃを鉛直方向に配置した場合について述べたが、複数のディスプレイを配置する方向は鉛直方向に限らない。例えば複数のディスプレイを水平方向に隙間Ｄをおいて配置し、その隙間Ｄにカメラレンズを配置してもよい。

＜まとめ＞
本開示の照合装置は、複数のディスプレイと、撮像装置と、を有する照合装置であり、前記ディスプレイは、前記照合装置の筐体内部に所定の隙間Ｄを有して配置されており、前記撮像装置のレンズは、前記ディスプレイ同士の隙間Ｄに配置される。このようにすることで、顔の正面位置がディスプレイのみで占有されることなく、カメラも配置できるようになる。

また、本開示の照合装置において、ハーフミラーが、前記複数のディスプレイ及び前記撮像装置のレンズを覆う位置に配置される。このようにすることで、ユーザがハーフミラーに着目した状態であっても、ハーフミラーに映っている顔とほぼ同じ顔をカメラによって撮像できる。また、ディスプレイに表示する情報を視認する視線と、ハーフミラーに反射した自分を視認する視線との移動を少なくすることもできる。

また本開示の照合装置において、前記撮像装置は複数配置され、前記ディスプレイは鉛直方向に３枚以上配置され、前記撮像装置のレンズは前記ディスプレイ同士の隙間Ｄにそれぞれ鉛直方向に異なる高さに配置される。このようにすることで、撮像装置が複数配置されることになるため、ユーザがディスプレイの誘導に従ってハーフミラーに視線を合わせた際に、ユーザの正面に撮像装置が存在する可能性が高くなる。よって、ユーザの身長を問わず、視線が正面に向いた顔画像を撮像しやすくなる。

また本開示の照合装置において、前記レンズで得られた光線を偏光させる偏光部材をさらに有し、前記偏光部材で偏光された前記光線は、前記ディスプレイの背面に存在する、前記撮像装置の撮像素子に入射する。このようにすることで、照合装置１００、２００の筐体１１１を薄くすることができる。

また本開示の照合装置において、照合対象となる画像を取得する画像取得部をさらに有し、前記複数のディスプレイのうち画像取得部に最も近いディスプレイに、前記画像取得部に画像を読み込ませる旨を表示する。このようにすることで、ユーザに照合対象画像取得部１２０の位置を気付かせることができる。

本開示は、ハーフミラーの背面側にディスプレイ及びカメラを配置した照合装置に好適である。

１００、２００ 照合装置
１１０ 本体部
１１１ 筐体
１１２ ハーフミラー
１１３ａ、１１３ｂ、１１３ｃ、１１３ｄ、１１３ｅ ディスプレイ
１１４ａ、１１４ｂ、１１４ｃ、１１４ｄ カメラレンズ
１１５ａ、１１５ｂ、１１５ｃ、１１７ａ、１１７ｂ 支持部材
１１６ａ、１１６ｂ カメラ本体
１１８ ＬＥＤランプ
１２０ 照合対象画像取得部
１２１ ガラス面

Claims (9)

1. 鉛直方向に異なる高さに配置された複数のディスプレイと、撮像装置と、ハーフミラーと、パスポートに記録されている顔画像を取得する照合対象画像取得部とを有する照合装置であり、
   前記ハーフミラーは、前記複数のディスプレイを覆う位置に配置され、
   前記照合対象画像取得部は、前記複数のディスプレイよりも鉛直方向において下に配置され、
   前記照合装置は、
   前記パスポートに記録されている顔画像の入力を促す表示を、前記複数のディスプレイのうち鉛直方向において最も下のディスプレイに行い、
   前記パスポートに記録されている顔画像の入力を促す表示を行うディスプレイ以外のディスプレイを低輝度又は黒表示し、
   前記撮像装置が撮影するユーザの顔画像と、前記パスポートに記録されている顔画像との照合を行う、
   照合装置。
2. 前記複数のディスプレイは、前記照合装置の筐体内部に所定の隙間を有して配置され、
   前記撮像装置のレンズは、それぞれ鉛直方向に異なる高さに複数配置され、
   前記撮像装置のレンズのうち少なくとも１つは、前記複数のディスプレイ同士の隙間に配置される、
   請求項１に記載の照合装置。
3. 前記ディスプレイは鉛直方向に３枚以上配置され、
   前記撮像装置のレンズは前記ディスプレイ同士の隙間にそれぞれ鉛直方向に異なる高さに配置される、
   請求項２に記載の照合装置。
4. 前記撮像装置のレンズで得られた光線を偏光させる偏光部材をさらに有し、
   前記偏光部材で偏光された前記光線は、前記ディスプレイの背面に存在する、前記撮像装置の撮像素子に入射する、
   請求項１から請求項３のいずれか一項に記載の照合装置。
5. 前記照合装置は、更に、
   前記パスポートに記録されている顔画像の入力を促す表示が行われた後に、前記ディスプレイのいずれかに前記ユーザに対して所定の方向へ視線を移すための注意を促す表示を行い、
   前記ユーザに対して所定の方向へ視線を移すための注意を促す表示を行うディスプレイ以外のディスプレイを低輝度又は黒表示する、請求項１から請求項４のいずれか一項に記載の照合装置。
6. 前記照合装置は、前記パスポートに記録されている顔画像の入力を促す表示を行ったディスプレイと同じディスプレイに、前記ユーザに対して所定の方向へ視線を移すための注意を促す表示を行う、請求項５に記載の照合装置。
7. 前記照合装置は、前記ユーザに対して所定の方向へ視線を移すための注意を促す表示を、所定の時間が経過した後に消去する、請求項５に記載の照合装置。
8. 前記照合装置は、更に、
   前記パスポートに記録されている顔画像の入力を促す表示が行われた後に、前記ディスプレイのいずれかに前記撮像装置による撮影に際してユーザに伝えるべき情報を表示し、
   前記撮像装置による撮影に際してユーザに伝えるべき情報の表示を行うディスプレイ以外のディスプレイを低輝度又は黒表示する、請求項１から請求項４のいずれか一項に記載の照合装置。
9. 前記照合装置は、前記複数のディスプレイのうち、前記ユーザの身長に応じて特定したディスプレイに、前記撮像装置による撮影に際してユーザに伝えるべき情報の表示を行う、
   請求項８に記載の照合装置。

Images