JPWO2020105578A1

JPWO2020105578A1 - 撮像装置および撮像方法

Info

Publication number: JPWO2020105578A1
Application number: JP2020558369A
Authority: JP
Inventors: 隆宏坂元; 正樹黒岩
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-11-21
Filing date: 2019-11-18
Publication date: 2021-09-27
Anticipated expiration: 2039-11-18
Also published as: US11699304B2; EP3886035A1; US20230306793A1; JP7259866B2; US20230298387A1; US12046079B2; US20220019825A1; WO2020105578A1

Abstract

撮像装置は、生体の一部を撮像することにより、画像を取り込む撮像部と、前記撮像部により取り込まれた画像に基づく第１表示画像と、前記生体の一部の所定位置への置き方の案内を含む第２表示画像と重ねて表示する表示部と、前記生体の一部が前記所定位置に置かれているか判定する判定部と、前記判定部が前記生体の一部が前記所定位置に置かれていると判定するまで、前記撮像部に前記生体の一部を新たに撮像させて新たな画像を取り込ませ、また、前記表示部に前記撮像部により取り込まれた新たな画像に基づく画像を前記第１表示画像として表示させる制御部と、を備える。

Description

本発明は、撮像装置および撮像方法に関する。

特許文献１は、指静脈パターンを利用して個人を識別する個人認証装置の一例を示す。特許文献１に記載されている個人認証装置では、撮像部への指の正しい入れ方をガイドするため、モニタ上に、指の撮像状態を表す画像と、指の輪郭を合わせる目安となる輪郭ガイドが重ねて表示される。また、このモニタには、利用者が指の状態をどのように補正すればよいのかを示す情報が文章と図を用いて表示される。特許文献１に記載されている個人認証装置によれば、利用者が画面の案内に従い正しく登録作業を行うことで、登録時に管理者が行う作業が低減される。

日本国特開２００６−２６４２７号公報

特許文献１に記載されている個人認証装置では、撮像部への指の正しい入れ方が文章（文字）と図によって示される。このため、例えば、利用者が文章の言語を理解できない場合、案内が通じなかったり、案内の効果が低下してしまったりする。そのため、指等の対象物を正しい撮像位置に置くことができない場合があるという課題がある。

本発明の目的の一例は、上述した課題を解決することができる撮像装置および撮像方法を提供することである。

本発明の一態様は、生体の一部を撮像することにより、画像を取り込む撮像部と、前記撮像部により取り込まれた画像に基づく第１表示画像と、前記生体の一部の所定位置への置き方の案内を含む第２表示画像と重ねて表示する表示部と、前記生体の一部が前記所定位置に置かれているか判定する判定部と、前記判定部が前記生体の一部が前記所定位置に置かれていると判定するまで、前記撮像部に前記生体の一部を新たに撮像させて新たな画像を取り込ませ、また、前記表示部に前記撮像部により取り込まれた新たな画像に基づく画像を前記第１表示画像として表示させる制御部と、を備える撮像装置である。

また、本発明の一態様は、生体の一部を撮像することにより、画像を取り込み、前記取り込まれた画像に基づく第１表示画像と、前記生体の一部の所定位置への置き方の案内を含む第２表示画像と重ねて表示し、前記生体の一部が前記所定位置に置かれているか判定し、前記生体の一部が前記所定位置に置かれていると判定されるまで、前記生体の一部を新たに撮像して新たな画像を取り込み、また、前記取り込まれた新たな画像に基づく画像を前記第１表示画像として表示する、ことを含む撮像方法である。

本発明の各態様によれば、利用者は、容易に生体の一部（例えば、対象物）を所定位置（例えば、正しい撮像位置）に置くことができる。

本発明の第１実施形態に係る撮像装置の構成例を示す概略構成図である。本発明の第２実施形態に係る撮像装置１０の構成例を模式的に示す斜視図である。本発明の第２実施形態に係る撮像ユニット１の構成例を示す模式図である。図３に示す撮像ユニット１の構成例を示す斜視図である。図３に示す撮像ユニット１の動作例を説明するための模式図である。図３に示す撮像ユニット１の動作例を説明するための模式図である。図３に示す撮像ユニット１の構成例を模式的に示す平面図である。図３に示す撮像ユニット１による撮像画像の例を示す図である。図３に示す撮像ユニット１による撮像画像の例を示す図である。図１に示す撮像装置１の動作例を示すフローチャートである。図１に示す撮像装置１の動作例を説明するための模式図である。図１に示す撮像装置１の他の動作例を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置の構成例を示す概略構成図である。図１に示す撮像装置１０は、撮像部１１と、表示部１２と、制御部１３と、制御部１３へ画像判定結果を供給する判定部１５とを備える。第１撮像部１１は、所定の撮像位置に置かれた、例えば生体の一部等の撮像の対象物を撮像する。表示部１２は、前記撮像部により取り込まれた生体の一部の画像を表す第１表示画像と、取り込まれた画像から有効に認証することができる認証可能領域を表す第２表示画像とを表示する。前記判定部１５は、前記表示部１２に表示される第１表示画像による認証が可能か否かを判定する。前記制御部１３は、前記第１撮像部１１、表示部１２、判定部１５を制御して、前記判定部１５が前記第１表示画像による判定が可能と判定するまで、前記第１撮像部１１による生体の一部の撮像を繰り返して、前記表示部１２の前記第１表示画像が撮像された位置に表示する。

図１に示す撮像装置１によれば、利用者は、表示部１２の表示形態の変化に基づいて対象物が撮像位置に正しく置かれているか否かを認識することができるので、容易に対象物を正しい撮像位置に置くことができる。

次に、図２を参照して、第２実施形態に係る撮像装置１について説明する。図２は、図１に示す撮像装置１０の構成例を模式的に示す斜視図である。図２において図１に示す構成に対応する構成には同一の符号を付けている。図２に示す例では、撮像の対象物を指端部（人の指の端部）としている。撮像装置１０は、指端部の腹面にある指紋を、生体認証用の身体的特徴として撮像することを一つの目的とする。ただし、撮像装置１０の撮像の対象物は、指端部に限らず、手のひら等であってもよい。すなわち、撮像装置１０は、掌紋等の他の生体認証用の身体的特徴を撮像することを一つの目的とするものであってもよい。また、撮像装置１０の対象物は、身体の一部に限定されない。

図２に示す例では、撮像装置１０は、筐体１０１と筐体１０２を備える。筐体１０１には表示部１２が設けられている。筐体１０２には２個の撮像ユニット１ａおよび１ｂと制御部１３が設けられている。撮像ユニット１ａは、図１に示す第１撮像部１１に対応する第１撮像部１１ａと、後述する光源部および光学系とを有する。撮像ユニット１ａは、撮像位置１４ａに設置された対象物である指端部を表す第１画像を第１撮像部１１ａによって撮像する。撮像ユニット１ｂは、撮像ユニット１ａと同様に、図１に示す第１撮像部１１に対応する第１撮像部１１ｂと、後述する光源部および光学系とを有する。撮像ユニット１ｂは、撮像位置１４ｂに設置された対象物である指端部を表す第１画像を第１撮像部１１ｂによって撮像する。なお、各第１撮像部１１は、１つの撮像部（カメラ）を備えて１種類の第１画像を撮像するものであってもよいし、２以上の撮像部（カメラ）を備えて２種類以上の画像を撮像するものであってもよい。

表示部１２は、例えば液晶ディスプレイや有機エレクトロルミネッセンスディスプレイである表示部１２は、表示領域１２ａと表示領域１２ｂに、制御部１３の制御によって画像を表示する。具体的には、表示部１２は、表示領域１２ａ内に、撮像位置１４ａに置かれた指端部を表す第１表示画像と、指端部の撮像位置１４ａへの置き方の案内を示す第２表示画像とを表示する。第１表示画像は、撮像位置１４ａに置かれた指端部を第１撮像部１１ａが撮像することにより得られた第１画像に基づく画像である。また、表示部１２は、表示領域１２ｂ内に、第１表示画像と、指端部の撮像位置１４ｂへの置き方の案内を示す第２表示画像とを表示する。第１表示画像は、撮像位置１４ｂに置かれた指端部を第１撮像部１１ｂが撮像することにより得られた第１画像に基づく画像である。

制御部１３は、第１撮像部１１ａが撮像した第１画像を取得し、取得した第１画像に基づき指端部が撮像位置１４ａに正しく置かれているか否かを判断する。制御部１３は、指端部が正しく置かれている場合と指端部が正しく置かれていない場合とに応じて表示部１２の表示領域１２ａ内の表示形態を変化させる。また、制御部１３は、第１撮像部１１ｂが撮像した第１画像を取得し、取得した第１画像に基づき指端部が撮像位置１４ｂに正しく置かれているか否かを判断する。制御部１３は、指端部が正しく置かれている場合と指端部が正しく置かれていない場合とで表示部１２の表示領域１２ｂ内の表示形態を変化させる。

図２に示す撮像装置１０は、２個の撮像位置１４ａおよび撮像位置１４ｂを備えることで、例えば両手の各１本の指の指紋を同時に撮像することができる。なお、以下では、区別が不要な場合、撮像位置１４ａと撮像位置１４ｂ、撮像ユニット１ａと撮像ユニット１ｂ、表示領域１２ａと表示領域１２ｂ、および、第１撮像部１１ａと第１撮像部１１ｂを、それぞれ、撮像位置１４、撮像ユニット１、表示領域１２、および、第１撮像部１１と符号を付して総称する。

次に、図３〜図８Ｂを参照して、図２に示す撮像ユニット１の構成例について説明する。図３は、図２に示す撮像ユニット１の詳細構成例を模式的に示す正面図である。図３において図２に示す構成に対応する構成には同一の符号を付けている。図３に示す例では、撮像位置１４が光学素子４の接触面４ａに設けられている。指端部７が撮像位置１４に設置されている。

図３に示す例では、撮像ユニット１は、第１光源部２、第２光源部３、光学素子４、および、第１撮像部１１を備える。第１撮像部１１は、第２撮像部６と第３撮像部５を含む。また、第１撮像部１１が撮像した画像である第１画像Ｍ１は、第２撮像部６が撮像した画像である第２画像Ｍ２と第３撮像部５が撮像した画像である第３画像Ｍ３を含む。

また、表示部１２は、第２画像Ｍ２に基づき対象物である指端部７を表す第１表示画像を表示する。また、制御部１３は、第３画像Ｍ３に基づき対象物である指端部７が正しく撮像位置１４に置かれているか否かを判断する。

図３に示す例において光学素子４は、プリズムである。光学素子（プリズム）４は、接触面４ａと、交わり面４ｂと、接触面４ａに対向する対向面４ｃと、面４ｄを有する。接触面４ａは、対象物である指端部７が接触する面である。交わり面４ｂは、接触面４ａと所定のなす角θ１で交わる。対向面４ｃは、接触面４ａに対向する。面４ｄは、交わり面４ｂと対向する。この例では、光学素子（プリズム）４は、屈折率が空気と異なる多面体（例えば六面体）であり、例えば、ガラス、水晶等で形成することができる。また、図３に示す例では、角θ１が鋭角である。また、対向面４ｃは、接触面４ａと平行であってもよいし、平行でなくてもよい。また、面４ｄには、画像のコントラストを高めるため、黒板４１が貼り付けてある。ただし、面４ｄには、黒板４１に代えて、黒色塗料等が塗布されていてもよい。なお、光学素子４は、プリズムに限られない。光学素子４は、対象物へ光源からの光線を導き、また、対象物によって反射された光線を撮像ユニット１へ導くことのできるレンズ、反射鏡、光ファイバー、またはこれらの組み合わせであっても良い。
なお、図３に示す第２撮像部５の配置では、角θ１が鋭角である。しかしながら、角θ１は、鋭角に限らず、例えば、角θ１は、第２撮像部５を下方に配置する場合等、撮像部の配置に応じて、鈍角や直角としてもよい。

第１光源部２は、光学素子４の下方に設けられ、白色ＬＥＤ（Light emitting diode（発光ダイオード））等の可視光ＬＥＤ２ａを有している。第１光源部２、すなわち、可視光ＬＥＤ２ａは、第１の光Ｌ１を出力する。この場合、第１の光Ｌ１は、波長が３８０〜８００ｎｍ程度の可視光成分を多く含む。また、図３に示す例では、第１の光Ｌ１は、光学素子４（プリズム）の対向面４ｃ側から対象物である指端部７へ照射される。

第２光源部３は、光学素子４上の接触面４ａに設けられ、複数の赤外線ＬＥＤ３ａおよび３ｂを有している。第２光源部３、すなわち、複数の赤外線ＬＥＤ３ａおよび３ｂは、第１の光Ｌ１より波長が長い第２の光Ｌ２を出力する。第２の光Ｌ２は、波長が８００ｎｍ〜１０００ｎｍ程度の赤外線成分を多く含む。また、図３に示す例では、第２の光Ｌ２が接触面４ａ上の周辺部から対象物である指端部７へ照射される。

第２撮像部６は、対向面４ｃ側から対象物である指端部７を撮像する。第２撮像部６は、ＣＭＯＳ（Complementary metal oxide semiconductor 相補型金属酸化膜半導体）イメージセンサ、ＣＣＤ（Charge coupled device 電荷結合素子）イメージセンサ等の撮像素子と、赤外線カットフィルターを有する。第２撮像部６は、入力された光の可視光成分を画像信号に変換して第２画像Ｍ２として制御部１３へ出力する。第２撮像部６は、第２の光Ｌ２に対して感度が低い。すなわち、第２撮像部６は、第１の光Ｌ１に対して所定の感度を有し、第２の光Ｌ２に対して所定の感度を有さない。ただし、第２撮像部６は、赤外線カットフィルターを有していなくてもよい。この場合、例えば、画像処理等によって赤外線カットフィルターを設けた場合と同等の効果を得るようにしてもよい。

第３撮像部５は、交わり面４ｂ側から対象物である指端部７を撮像する。第３撮像部５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子を有する。第３撮像部５は、入力された光の可視光成分と赤外線成分を画像信号に変換して第３画像Ｍ３として制御部１３へ出力する。第３撮像部５は、第１の光Ｌ１と第２の光Ｌ２に対して感度が高い。すなわち、第３撮像部５は、第１の光Ｌ１と第２の光Ｌ２に対して所定の感度を有する。

図４は、図３に示す撮像ユニット１の各部の配置例を模式的に示す斜視図である。図４において図３に示す構成に対応する構成には同一の符号を付けている。図４に示す撮像ユニット１では、第１光源部２が、光学素子（プリズム）４の対向面４ｃ側に配置された４個の白色ＬＥＤ２ａ、２ｂ、２ｃおよび２ｄから構成されている。４個の白色ＬＥＤ２ａ、２ｂ、２ｃおよび２ｄは、基板４３に搭載されている。基板４３は、光学素子（プリズム）４を対向面４ｃ側から支持することにより、固定する。また、第２光源部３は、光学素子（プリズム）４の接触面４ａ上の周辺部に配置された８個の赤外線ＬＥＤ３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇおよび３ｈから構成されている。８個の赤外線ＬＥＤ３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇおよび３ｈは、基板４２に搭載されている。基板４２は、光学素子（プリズム）４を接触面４ａ側から支持することにより、固定する。ＬＥＤの個数は図４に示す例に限定されない。

次に、図３に示す光学素子（プリズム）４内の各光路について、図５と図６を参照して説明する。図５は、図３に示す接触面４ａと指端部７を拡大して示す模式図である。図６は、図３に示す光学素子（プリズム）４と指端部７を拡大して示す模式図である。上述したように、第２実施形態の撮像ユニット１は、生体的特徴の一つである指紋を撮像することを一つの目的とする。指紋は、指端部７の腹面７ａの凹凸（谷線部７２および隆線部７１）の組み合わせで構成される。第１光源部２が出力した第１の光Ｌ１は、接触面４ａに設置された隆線部７１および谷線部７２によって反射されて光学素子（プリズム）４へ入射する。また、第２光源部３が出力した第２の光Ｌ２は、指端部７を透過し、接触面４ａに設置された隆線部７１および谷線部７２から出射されて、接触面４ａから光学素子（プリズム）４へ入射する。

図５に示すように、指端部７の隆線部７１は接触面４ａと接触している。このため、隆線部７１から入射または隆線部７１で反射された光の屈折率は光学素子（プリズム）４（ガラス等）の屈折率とほぼ同じである。よって、隆線部７１から出射または隆線部７１によって反射された光は、接触面４ａで反射された光と同様のものとみなすことができる。すなわち、この光は、鎖線の矢印で示すように光学素子（プリズム）４内のほぼ全方位にほぼ均等に放射され、接触面４ａより下側のすべての領域に達することができる。

一方、谷線部７２は接触面４ａとは接触しておらず、谷線部７２と接触面４ａとの間には空気層８がある。したがって、谷線部７２からの出射光または谷線部７２での反射光は、空気層８を介して接触面４ａに入射する。ここで、空気の屈折率は１．０である。ガラスの屈折率は、一般に１．５前後であり、１．３〜２．０の範囲である。水分と皮膚の屈折率は１．３〜１．４である。このように、このように、屈折率に違いがあるため、谷線部７２からの出射光および反射光の屈折現象は、隆線部７１の出射光および反射光とは異なる。具体的には、谷線部７２からの出射光および反射光は、全方位に放射されない。また、入射角αより屈折角βが小さくなるので、谷線部７２からの出射光および谷線部７２での反射光は破線の矢印で示すように光学素子（プリズム）４内の下向きへの光に偏ることになる。

図５を参照して説明したように、隆線部７１からの光は接触面４ａから全方位にほぼ均等に放射され、谷線部７２からの光は接触面４ａから下向きの方向へ偏って放射される。また、谷線部７２からの光は下向きの方向へ偏って放射される。このため、図６に示すように、谷線部７２からの光の交わり面４ｂへの入射角γが、隆線部７１からの光と比較して大きくなる。そのため、隆線部７１からの光の場合と比較して、谷線部７２からの光の入射角γが臨界角δを超える割合が大きくなる。ゆえに、隆線部７１からの光の場合と比較して、谷線部７２からの光が交わり面４ｂで全反射される割合が大きくなる。そのため、第３撮像部５へは、隆線部７１からの光の方が、谷線部７２からの光より多く到達する。ここで、第３撮像部５は、交わり面４ｂ側から指端部７を撮像して第３画像Ｍ３を得る。したがって第３画像Ｍ３は、隆線部７１が明るく、谷線部７２が暗い画像となり、ゆえに、コントラストの高い指紋画像（以下、ハイコントラスト画像と称する）となる。また、指端部７を撮像する際、第１の光Ｌ１が対向面４ｃ側から指端部７に照射されるとともに、第２の光Ｌ２が接触面４ａの周辺部から指端部７に照射される。このため、第１の光Ｌ１が到達し難い指端部７の周辺部を第２の光Ｌ２で明るくことができる。よって、第３撮像部５は、指紋全体が適切に照明された状態で指紋を撮像することができる。したがって、第２実施形態によれば、指紋画像の全体にわたってコントラストを高くすることができる。

一方、第２撮像部６へは、隆線部７１からの光と谷線部７２からの光が、第３撮像部５への到達する割合と比較して、おおむね均等な割合で到達する。ここで、第２撮像部６は、対向面４ｃ側から指端部７を撮像して第２画像Ｍ２を得る。第２画像Ｍ２は接触面４ａに設置された指端部７を対向面４ｃから直視した場合に見えるものと同様な画像となる。また、第２画像Ｍ２は、赤外線成分が抑制された画像である。したがって、第２撮像部６で撮像される画像は、指端部７の自然な画像（以下、自然画像と表現する）となる。ただし、上述したように、第２撮像部６が撮像した画像の用途によっては赤外線成分を抑制しなくてもよい。

第３撮像部５で撮像されたハイコントラスト画像（第３画像Ｍ３）は例えば指紋を照合する用途に用いられる。その際、第３撮像部５は、画像内に特徴点が多く存在するように、より広いエリアの指紋画像を撮像することが望ましい。第２実施形態では、第３撮像部５が全体にわたってコントラストが高い指紋画像を撮像することができるので、例えば指紋照合の精度を容易に高めることができる。一方、第２撮像部６が撮像する自然画像（第２画像Ｍ２）は、例えば指が偽物か本物が判断する用途に用いられる。また、第２撮像部６が撮像する自然画像（第２画像Ｍ２）は、例えば指端部７の撮像位置１４への設置状態をほぼリアルタイムで表示部１２に表示するために使用される。

図７は、図４に示す撮像ユニット１上の撮像位置１４に指端部７を正しく置いた場合の例を模式的に示す平面図である。また、図８Ａは、第３撮像部５が撮像した第３画像Ｍ３の例を示す。図８Ｂは、第２撮像部６が撮像した第２画像Ｍ２の例を示す。

次に、図９および図１０を参照して、図１および図２を参照して説明した撮像装置１０の動作例について説明する。図９は、図１および図２に示す撮像装置１０の動作例を示すフローチャートである。図１０は、図２に示す撮像装置１０の表示部１２の表示例を示す模式図である。図１０の部分（ａ）は、撮像位置１４に指端部７が置かれていない場合において表示領域１２０に表示される画像（表示状態）を示す。図１０の部分（ｂ）は、撮像位置１４に指端部７が置かれているが、指端部７の置き方が正しくない場合において表示領域１２０に表示される画像（表示状態）を示す。図１０の部分（ｃ）は、撮像位置１４に指端部７が正しく置かれている場合において表示領域１２０に表示される画像（表示状態）を示す。

図９に示す処理は所定の周期毎に繰り返し実行される。また、図２に示すように、第１撮像部１１が第１撮像部１１ａと第１撮像部１１ｂを有する場合、制御部１３は、第１撮像部１１ａの撮像画像に基づく図９に示す処理と第１撮像部１１ｂの撮像画像に基づく図９に示す処理を、順次にあるいは並行して実行する。

図９に示す処理が開始されると、制御部１３は、第１撮像部１１が出力した第１画像Ｍ１を取得する（ステップＳ１１）。次に、制御部１３は、撮像位置１４に対象物である指端部７が正しく置かれているか否かを判断する（ステップＳ１２）。ステップＳ１２において、制御部１３は、例えば、次のようにして撮像位置１４に指端部７が正しく置かれているか否かを判断する。すなわち、制御部１３は、まず、第１画像Ｍ１から指端部７の輪郭線を抽出する。そして、制御部１３は、輪郭線の位置や向きが所定の範囲内にある場合に指端部７が撮像位置１４に正しく置かれていると判断する。一方、制御部１３は、第１画像Ｍ１から指端部７の輪郭線を抽出できない場合や、抽出した輪郭線の位置や向きが所定の範囲内にない場合に指端部７が撮像位置１４に正しく置かれていないと判断する。別法として、制御部１３は、第１画像Ｍ１の画素値の分布状態が所定のパターンに合致する場合に、指端部７が正しく置かれていると判断し、そうでない場合に指端部７が正しく置かれていないと判断してもよい。別法として、制御部１３は、第１画像Ｍ１の画素値の平均値や分散値が所定の範囲内にある場合に、指端部７が正しく置かれていると判断し、そうでない場合に指端部７が正しく置かれていないと判断してもよい。なお、判断の基準となる値は、例えば、実験的にあるいはシミュレーションによって求めてもよい。また、ステップＳ１２の判断は、図９に示す処理において毎回実行されてもよいし、複数回置きに実行されてもよい。

制御部１３は、ステップＳ１２において指端部７が正しく置かれていると判断した場合（ステップＳ１３で「ＹＥＳ」の場合）、指端部７が正しく置かれている場合の表示形態で第１表示画像と第２表示画像を表示し（ステップＳ１４）、図９に示す処理を終了する。一方、制御部１３は、ステップＳ１２において指端部７が正しく置かれていないと判断した場合（ステップＳ１３で「ＮＯ」の場合）、指端部７が正しく置かれていない場合の表示形態で第１表示画像と第２表示画像を表示し（ステップＳ１５）、ステップＳ１１へ戻り、ステップＳ１１〜Ｓ１３の処理を繰り返す。

ステップＳ１４およびステップＳ１５において、制御部１３は、例えば、次のように表示部１２の表示形態を変化させる。すなわち、正しく置かれていない場合、制御部１３は、図１０の部分（ａ）または部分（ｂ）に示すように、第１表示画像９１と第２表示画像９２を表示する。第１表示画像９１は、第１画像Ｍ１（第２画像Ｍ２と第３画像Ｍ３との少なくとも一方）に基づいて撮像位置１４の状態を示す実際の画像である。図１０の部分（ａ）では表示領域１２０は、指端部７の画像を含んでいない。図１０の部分（ｂ）では表示領域１２０は、正しく置かれていない場合の指端部７の画像を含む。第２表示画像９２は、第１表示画像９１に重畳して表示される画像であって、輪郭画像（案内）９２１とマスク画像９２２を含む。輪郭画像９２１は、指端部７を撮像位置１４に正しく置いた場合の指端部７の輪郭の位置を表す模様である。図１０の部分（ａ）および部分（ｂ）では、輪郭画像９２１は例えば赤で表示される。マスク画像９２２は、身体的特徴部である指紋の少なくとも一部をマスクする（隠す）模様である。マスク画像９２２は、例えば、撮像装置１０の利用者以外の者が、表示部１２に表示された利用者の指紋画像を撮影することを防止するために表示される。図１０の部分（ａ）および部分（ｂ）では、マスク画像９２２は例えば赤で表示される。

指端部７が正しく置かれている場合、制御部１３は、図１０の部分（ｃ）に示すように、第１表示画像９１と第２表示画像９２を表示する。図１０の部分（ｃ）に示す第２表示画像９２は、図１０の部分（ａ）および部分（ｂ）と同じ形状で色が異なる輪郭画像９２１とマスク画像９２２を含む。指端部７が正しく置かれている場合には、輪郭画像９２１とマスク画像９２２は例えば青で表示される。利用者は、第２表示画像の色が変化することで、指端部７が撮像位置１４に正しく置かれていることを認識することができる。さらに、図１０の部分（ｃ）に示す第２表示画像９２は、指端部７が撮像位置１４に正しく置かれていることを示す画像（表示）、具体的には、「ＯＫ」の文字列を表す文字画像９２３を含む。文字画像９２３は、例えば青で表示される。利用者は、第２表示画像に正しいことを示す文字列が含まれることでも、指端部７が撮像位置１４に正しく置かれていることを認識することができる。
この表示の変更による案内として、両方の指の載置位置の確認に際して、いずれか一方の指が正しく載置された場合に、対応する指の表示を個々に変更してもよい。さらに、両方の指が正しく載置された場合、すなわち指の載置が正常に完了した場合にのみ完了した旨を表示しても良い。このような表示により、複数の指（生体の部位）の画像の認証が必要な場合に、必要な画像が漏れなく取り込まれたことをより明確に判断することができる。
なお、光学素子の配置（画像が伝送される光学経路の構成）により、天地が逆になった画像や鏡像が取り込まれる構成となった場合は、必要に応じて、取り込まれた画像の天地を逆転させ、あるいは鏡像を反転させる画像処理が行われる。

なお、図３に示すように、第１撮像部１１が、第２撮像部６と第３撮像部５を含み、第１画像Ｍ１が第２撮像部６が撮像した第２画像Ｍ２と第３撮像部５が撮像した第３画像Ｍ３とを含む場合、表示部１２と制御部１３は次のように動作してもよい。すなわち、この場合、表示部１２は、第２画像Ｍ２に基づき対象物である指端部７を表す第１表示画像９１を表示することができる。また、制御部１３は、第３画像Ｍ３に基づき対象物である指端部７が正しく撮像位置１４に置かれているか否かを判断することができる。

次に、図１１を参照して、図３に示すように撮像ユニット１を構成した場合の図１および図２に示す撮像装置１０の動作例について説明する。図１１は、図３に示すように撮像ユニット１を構成した場合の図１および図２に示す撮像装置１０の動作例を示すフローチャートである。この場合、第１撮像部１１は第２撮像部６と第３撮像部５の２種類の撮像部を備える。

図１１に示す処理は所定の周期で繰り返し実行される。なお、図２に示すように、第１撮像部１１が第１撮像部１１ａと第１撮像部１１ｂを有する場合、制御部１３は、第１撮像部１１ａの撮像画像をリアルタイムで表示しながら、撮影画像に基づく図１１に示す処理と第１撮像部１１ｂの撮像画像に基づく図１１に示す処理を、順次にあるいは並行して実行する。

図１１に示す処理が開始されると、制御部（判定部）１３は、第２撮像部６が出力した第２画像Ｍ２と第３撮像部５が出力した第３画像Ｍ３を取得する（ステップＳ２１）。次に、制御部１３は、第３画像Ｍ３に基づき第３画像Ｍ３の品質値を算出する（ステップＳ２２）。ただし、ステップＳ２２の品質値の算出処理は、図１１に示す処理において毎回実行されてもよいし、複数回置きに実行されてもよい。

画像の品質値は、指紋照合用の指紋画像の品質を表す指標値である。画像の品質値として、例えば、ＮＦＩＱ（NIST Fingerprint Image Quality）値（ＮＩＳＴ（米国国立標準技術研究所）指紋画像画質値（NFIQ NISTIR 7151 - Fingerprint Image Quality, NIST Interagency Report, August 2004））、特開２００２−２２２４２４号公報に記載された平均的な濃度や分散値に基づく品質値、特開２００７−２２６７４６号公報に記載された特徴点確信度に基づく品質値等を用いてもよい。画像の品質値が所定の値以上である場合、その画像は、指紋照合に使用するのに十分な品質を有していることになる。よって、画像の品質値が所定の値以上である場合、指端部７が撮像位置１４に正しく置かれた状態で撮像されたものであることを意味する。
画像の品質値は、画像そのものの質を評価する前述の各品質値に限られない。画像の品質値は、単に、ガイド（輪郭画像９２１）に対してどれだけ指が正しい位置に載置された度合を示す値（位置ずれ量の大小の指標となる値）であっても良い。

制御部１３は、ステップＳ２２で算出した品質値が所定の閾値を超える場合（ステップＳ２３で「ＹＥＳ」の場合）、次の画像を表示部１２に表示させる（ステップＳ２４）。すなわち、ステップＳ２４で制御部１３は、例えば図１０の部分（ｃ）に示すように、第２画像Ｍ２に基づき第１表示画像９１を表示するとともに、第１表示画像９１に重ねて輪郭画像９２１とマスク画像９２２と文字列「ＯＫ」を表す文字画像９２３を第２表示画像として青色で表示する（ステップＳ２４）。一方、制御部１３は、ステップＳ２２で算出した品質値が所定の閾値を超えない場合（ステップＳ２３で「ＮＯ」の場合）、次の画像を表示部１２に表示させる（ステップＳ２５）。すなわち、ステップＳ２４で制御部１３は、例えば図１０の部分（ａ）または部分（ｂ）に示すように、第２画像Ｍ２に基づき第１表示画像９１を表示するとともに、第１表示画像９１に重ねて輪郭画像９２１とマスク画像９２２を第２表示画像として赤色で表示する（ステップＳ２５）。制御部１３は、ステップＳ２４またはステップＳ２５の処理の後、図１１に示す処理を終了する。
なお実際の運用では、指を正しく置いたとしても、指の状態（シワ、汚れ、乾燥の影響による異常な表面状態等）や、光学系の汚れ等の原因によって必要な品質値が得られないことがあり得る。このような場合に照合の繰り返しが終結せず業務が滞ることがある。このため、所定時間経過後、あるいはＮＧの場合（ステップＳ２３で「ＮＯ」の場合）の処理が所定回数繰り返された場合には指紋取得ができませんといった表示や警告ランプの点灯等の処理を行うことが望ましい。さらに、警告ランプに代えて、あるいは加えて、係員を呼ぶべき旨をディスプレイ表示、あるいは音声により報知しても良い。なお、この報知動作は、ＮＧの繰り返し数にかかわらず、ユーザの何らかの意志表示（発声や、呼び出しボタンの操作）の検出に基づいて行うようにしても良い。
なお表示部１２に表示される画像は、表示画面の覗き見等による個人情報漏洩を防止する見地から、実際に第１〜第３撮像部１１、５、６で撮影され、照合に利用される画像を変形したデータ、あるいは、単に指端等の輪郭を示すダミーの画像であることが望ましい。
この表示画像として、例えば下記の処理（１）〜（４）により得た画像を用いることもできる。
処理（１）：第２画像Ｍ２に基づきリアルタイムに指の位置を検出する。
処理（２）：表示部１２にはガイドになる枠と爪側から見た指の表側を示す線図を表示する。
処理（３）：処理（１）で検出した位置にあわせ、指の表側を示す線図を動かす。
処理（４）指が枠に合えば、指端部７が正しく置かれていると判定する。
すなわち、指の指紋側の画像ではなく、爪側をアニメーション的に表示する。そうすることで表示部に表示されているアニメーションと実際の利用者の指が動く方向を同じにして、より良好な操作性を得ることもできる。
さらに、ユーザ側のディスプレイに指の爪側の画像を表示してその位置を示す一方、係員側のディスプレイには指紋側の画像を表示しても良い。

以上のように、第２実施形態によれば、利用者は、容易に対象物である指端部７を正しい撮像位置１４に置くことができる。

上記第１および２実施形態は、下記変形例１〜５のように変形してもよい。
[変形例１]
上記実施形態では、ユーザに指の位置を認識させるためのディスプレイ（表示部１０１）を設けている。さらに、指紋等を確認する係員にも指の位置を認識させるべく、他のディスプレイを設けてもよい。あるいは、係員が使用する既存のディスプレイの画面表示を切り替えて、あるいは分割画面の一部にユーザの指の画像を表示させても良い。さらに、無線、有線の通信経路を介して画像を送信し、表示しても良い。
このように指の画像を係員が目視確認することにより、係員がユーザの指の載置状態を確認することができ、係員がユーザへ位置の移動を促し、あるいは、不正行為を監視することに利用することができる。
[変形例２]
ユーザが指をガイド周辺に載置した際、上記実施形態における表示の態様に代えて、下記のように表示を変化させても良い。
指をガイド周辺に載置したときの指の状態により、ガイドの表示変化の仕方を変える具体例として、以下のように表示を変化させても良い。
（例ａ）撮像範囲内に指が載置されていないときの、デフォルトの色：青
（例ｂ）指は表示画面上に確認できるが、正常な位置に到達していないとき：白
（例ｃ）ガイドの通り、正常に載置されたとき：赤
（例ｄ）指の輪郭を正常に確認できないとき：オレンジ
（例ｅ）システムエラーの場合：黄色
なお、変化の態様は色でなく、形状の変化等、何らか表示態様の変更があればユーザへ伝えることができる。
[変形例３]
指紋画像をディスプレイにフィードバックして、リアルタイムで表示しても良い。この場合、第三者の覗き見防止の見地から、指紋画像に所定の処理を施して、指のシルエットや輪郭のみを表示することが望ましい。
[変形例４]
読取部で取得した指の自然画像をさらに外部端末へ送信し、さらに偽指判定等の高度の判定処理に利用してもよい。この場合、外部端末は、ディスプレイあるいは解析部のうち少なくとも一方を備えた端末への送信であってもよく、この外部端末には、例えば下記の機能が設けられる。
（機能ａ）ディスプレイのみを備えた場合は、係員による目視判定が可能となる。
（機能ｂ）解析部を備えた場合は、何等かのアルゴリズムによる偽指判定も可能となる。
（機能ｃ）ディスプレイ及び解析部を備えた場合は、上記機能ａ、ｂに加え、解析部による結果を係員が見て最終判定を下す機能を設けるようにしても良い。
[変形例５]
本発明の実施形態として、生体特徴を含む画像として指紋の画像の場合を説明したが、撮影された画像が含む生体特徴はこれに限定されない。例えば、静脈、皮膚の模様、掌紋等の生体特徴であってもよい。この場合、品質値は、指紋画像の品質を表す指標値以外にも、上記の生体特徴を含む画像が照合に適している程度を示す値であってもよい。

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

この出願は、２０１８年１１月２１日に出願された日本国特願２０１８−２１８３４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、撮像装置および撮像方法に適用してもよい。

１撮像ユニット
２第１光源部
２ａ〜２ｄ白色ＬＥＤ
３第２光源部
３ａ〜３ｈ赤外線ＬＥＤ
４光学素子（プリズム）
４ａ接触面
４ｂ交わり面
４ｃ対向面
５第３撮像部
６第２撮像部
１０撮像装置
１１、１１ａ、１１ｂ第１撮像部
１２表示部
１３制御部
１４、１４ａ、１４ｂ撮像位置
１５判定部
９１第１表示画像
９２第２表示画像
９２１輪郭画像
９２２マスク画像
９２３文字画像
Ｌ１第１の光
Ｌ２第２の光

Claims

生体の一部を撮像することにより、画像を取り込む撮像部と、
前記撮像部により取り込まれた画像に基づく第１表示画像と、前記生体の一部の所定位置への置き方の案内を含む第２表示画像と重ねて表示する表示部と、
前記生体の一部が前記所定位置に置かれているか判定する判定部と、
前記判定部が前記生体の一部が前記所定位置に置かれていると判定するまで、前記撮像部に前記生体の一部を新たに撮像させて新たな画像を取り込ませ、また、前記表示部に前記撮像部により取り込まれた新たな画像に基づく画像を前記第１表示画像として表示させる制御部と、
を備える撮像装置。
前記判定部は、前記撮像部により取り込まれた画像の品質値が所定のしきい値以上である場合に、前記生体の一部が前記所定位置に置かれていると判断する
請求項１に記載の撮像装置。
前記第１表示画像は、赤外線成分がカットされた画像である、
請求項２に記載の撮像装置。
前記制御部は、前記表示部の表示形態を変化させる際に、前記第２表示画像の色を変化させる
請求項１から３のいずれか１項に記載の撮像装置。
前記生体の一部が、生体認証用の身体的特徴部を含み、
前記第２表示画像が、前記身体的特徴部の少なくとも一部をマスクするマスク画像を含む
請求項１から４のいずれか１項に記載の撮像装置。
前記生体の一部が、指端部である
請求項１から５のいずれか１項に記載の撮像装置。
前記制御部は、前記判定部が前記生体の一部が前記所定位置に置かれていないと判定した場合に、前記表示部に第１の表示態様で前記案内を表示させ、
前記制御部は、前記判定部が前記生体の一部が前記所定位置に置かれていると判定した場合に、前記表示部に前記第１の表示態様とは異なる第２の表示態様で前記案内を表示させる、
請求項１〜６のいずれか１項に記載の撮像装置。
生体の一部を撮像することにより、画像を取り込み、
前記取り込まれた画像に基づく第１表示画像と、前記生体の一部の所定位置への置き方の案内を含む第２表示画像と重ねて表示し、
前記生体の一部が前記所定位置に置かれているか判定し、
前記生体の一部が前記所定位置に置かれていると判定されるまで、前記生体の一部を新たに撮像して新たな画像を取り込み、また、前記取り込まれた新たな画像に基づく画像を前記第１表示画像として表示する、
ことを含む撮像方法。