以下、本発明の実施形態を、図面を用いて説明する。
以下に述べる実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
本発明の各実施形態の説明に先立ち、各実施形態で共通に用いる、光学レンズレス(レンズ無し)撮像装置(以下、単に撮像装置と呼ぶ。)を説明する。まず、当該撮像装置おける撮像および測距の基本的な原理を説明する。
<無限遠物体の撮影原理>
図1は、本実施の形態1による撮像装置101aにおける構成の一例を示す説明図である。撮像装置101aは、結像させるレンズを用いることなく、外界の物体の画像を取得する装置である。撮像装置101aは、図1に示すように、変調器102と、画像センサ103と、画像処理部106と、を備える。
図2(a)に変調器102の一例を示す。変調器102は、画像センサ103の受光面に密着して固定される。変調器102は、格子基板112aに形成された第1の格子パターン104と、第2の格子パターン105とを備える。格子基板112aは、例えばガラスやプラスティックなどの透明な材料で形成される。以降、格子基板112aの画像センサ103側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。
格子パターン104、105は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンを備える。格子パターン104、105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンとによって濃淡がつけられる。なお、格子パターン104、105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成されてもよい。
なお、ここでは変調器102を実現するために、格子パターン104、105を格子基板112aに形成する方法について述べたが、図2(b)に示すように格子パターン104、105を薄膜に形成し、支持部材112bにより保持する構成などによっても実現できる。
格子パターン104、105を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどを備える。
画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置される。画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部106によって画像処理されて画像表示装置107などに出力される。
図3は、図1の撮像装置101aによる撮影の一例を示す説明図である。本図には、撮像装置101aによって被写体400を撮影して画像表示装置107に表示する例を示す。図示するように、被写体400を撮影する際には、被写体400に対して変調器102における表面、具体的には第1の格子パターン104が形成されている格子基板112aの面が正対するように配置する。
続いて、画像処理部106による画像処理の概略について説明する。図4は、図1の撮像装置101aが有する画像処理部106による画像処理の概略を示すフローチャートである。
まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)成分ごとに2次元フーリエ変換(FFT:Fast Fourier Transform)演算を行い、周波数スペクトルを求める(ステップS501)。
続いて、ステップS501の処理による周波数スペクトルの片側周波数のデータを切り出した後(ステップS502)、該周波数スペクトルの強度計算を行う(ステップS503)ことによって画像を取得する。
そして、得られた画像に対してノイズ除去処理を行い(ステップS504)、続いてコントラスト強調処理(ステップS505)などを行う。
その後、画像のカラーバランスを調整して(ステップS506)、出力信号として撮影画像(画像データ)を生成し(ステップS507)、出力する。以上により、画像処理部106による画像処理が終了となる。
続いて、撮像装置101aによる撮影原理について説明する。
まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104、105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、位相φ(r)は、以下の式(1)で表される。
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、以下の式(2)で示される干渉縞の強度分布が得られる。
この干渉縞は、以下の式(3)を満たす半径位置で明るい線を持つ同心円の縞となる。
縞のピッチをpとすると、以下の式(4)が得られる。
式(4)より、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示す格子パターン104、105として用いる。
このような格子パターンが両面に形成された厚さtの変調器102に、図5(a)に示すように角度θ
0で平行光が入射したとする。変調器102中の屈折角をθとし、幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、以下の式(5)で示す強度分布が得られる。
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。
このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。
このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。但し、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレートに限定するものではない。
式(5)の展開式の第2項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかる。しかしながら、2つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。式(5)から鋭いピークを持つ成分のみを、以下の式(6)のように取り出す。
そのフーリエスペクトルは、以下の式(7)で表される。
ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。
その様子を図5(b)~図5(d)に示す。これらの図において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す。図5(b)は、垂直入射、図5(c)は、左側から角度θで光線が入射する場合、図5(d)は、右側から角度θで光線が入射する場合をそれぞれ示す。
変調器102の表面側に形成された第1の格子パターン104と裏面側に形成された第2の格子パターン105とは、軸がそろっている。図5(b)では、第1の格子パターン104と第2の格子パターン105との影が一致するのでモアレ縞は生じない。
図5(c)および図5(d)では、第1の格子パターン104と第2の格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図5(c)の場合なのか、あるいは図5(d)の場合なのかを判別することができない。
これを避けるためには、例えば図6(a)に示すように、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるようあらかじめ2つの格子パターン104、105を光軸に対して相対的にずらしておくことが必要である。
軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ
0とするとき、入射角θの平面波によって生じるずれδは、以下の式(8)で表される。
このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、以下の式(9)で示すuの位置となる。
画像センサ103の大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、高速フーリエ変換(FFT:Fast Fourier Transform)による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られる。
このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、以下の式(10)で表される空間周波数位置とするのが妥当である。
したがって、2つの格子の相対的な中心位置ずれは、以下の式(11)で表されるδ
0とするのが妥当である。
図6(b)~図6(d)は、第1の格子パターン104と第2の格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図5(b)~図5(d)と同様に、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図6(b)は、光線が垂直入射の場合であり、図6(c)は、光線が左側から角度θで入射する場合であり、図6(d)は、光線が右側から角度θで入射する場合である。
第1の格子パターン104と第2の格子パターン105とは、あらかじめδ0だけずらして配置される。そのため、図6(b)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定される。このとき図6(c)では、ずれδがさらに大きくなる方向、図6(d)では、小さくなる方向となっている。このため、図5(c)、図5(d)と異なり、図6(c)と図6(d)との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101aによる撮影像にほかならない。
受光できる平行光の入射角の最大角度をθmaxとすると、以下の式(12)で示されるu
maxより、
撮像装置101aにて受光できる最大画角tanθ
maxは、以下の式(13)で与えられる。
一般的なレンズを用いた結像との類推から、画角θ
maxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101aの実効的な焦点距離f
effは、以下の式(14)に相当すると考えることができる。
ここで、式(13)より画角は変調器102の厚さt、格子パターン104、105の係数βによって変更可能であることが判る。よって、例えば変調器102が図2(b)の構成であり支持部材112bの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
なお、式(2)で示すように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図7(a)に示す格子パターン104aように、格子パターンの透過率を2値化することも可能である。さらに、図7(b)に示す格子パターン104bのように、透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101aがカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。
もし、これらが相互にモアレ縞を生じると、信号成分である第2の格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第1の格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第2の格子パターン105との重なりだけになる。その理由について以下に説明する。
まず、複数の入射角の光線による表面側の第1の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による第1の格子パターン104の影と第2の格子パターン105との重なりでは、第1の格子パターン104の影である光の強度分布に、第2の格子パターン105の透過率を乗算することで、裏面側の第2の格子パターン105を透過したあとの光強度分布が得られる。
これに対して、表面側の第1の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、以下の式(15)に示すように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。
したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。
したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第1の格子パターン104と裏面側の第2の格子パターン105との積のモアレだけであり、第2の格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図8(a)を用いて模式的に説明する。図8(a)は、物体を構成する各点からの光が画像センサ103に対してなす角を説明する説明図である。
被写体400を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101aの変調器102および画像センサ103(以下、図8(a)では格子センサ一体基板113という)に入射する。このとき、被写体400に対して格子センサ一体基板113が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板113を照明する光の入射角が同じとみなすことができる。
式(9)から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、以下の式(16)で表される。
この条件下であれば、無限遠の物体に対して撮像装置101aで撮像が可能であり、これまでの議論から高速フーリエ変換(FFT)によって、図8(b)に示すような像を得ることができる。
<有限距離物体の撮影原理>
ここで、これまで述べた無限遠の場合における表面側の第1の格子パターン104の裏面への射影の様子を図9(a)に示す。
無限遠の物体を構成する点401からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第1の格子パターン104を照射し、その投影像402が下の面に投影される場合、投影像は第1の格子パターン104とほぼ同じ形状である。その結果、投影像402に対して、裏面側の格子パターン(図1の第2の格子パターン105に相当)の透過率分布を乗じることにより、図9(b)に示すような等間隔な直線状のモアレ縞を得ることができる。
一方、有限距離の物体に対する撮像について説明する。図10(a)は、撮像する物体が有限距離にある場合に表面側の第1の格子パターン104の裏面への射影が第1の格子パターン104より拡大されることを示す説明図である。
図10(a)に示すように、物体を構成する点411からの球面波が表面側の第1の格子パターン104を照射し、その投影像412が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第1の格子パターン104から点411までの距離fを用いて、以下の式(17)のように算出できる。
そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図10(b)に示すように、等間隔な直線状のモアレ縞は生じなくなる。
しかし、一様に拡大された表面側の第1の格子パターン104の影に合わせて、第2の格子パターン105を拡大するならば、図10(c)に示すように、拡大された投影像412に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、第2の格子パターン105の係数βをβ/αとすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点411からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
<変調器の変形例>
次に、変調器102の構成を簡略化する方法について説明する。この場合の撮像装置101bの構成の一例を図11(a)に示す。
撮像装置101aの変調器102では、格子基板112aの表面および裏面にそれぞれ同一形状の第1の格子パターン104および第2の格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成する。
撮像装置101aの裏面側の第2の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。
そこで、撮像装置101bでは、図11(a)に示すように、第2の格子パターン105を除去した変調器102bを使用し、第2の格子パターン105に相当する処理を画像処理部106b内の強度変調部106cで実行してもよい。
変調器102bの構成の詳細を図11(b)に示す。この構成によって、格子基板112aに形成する格子パターンを1面減らすことができる。それにより、変調器の製造コストを低減することができる。
図12は、図11(a)の画像処理部106bによる画像処理の概略を示すフローチャートである。
この図12におけるフローチャートが図4のフローチャートと異なるところは、ステップS511の処理である。ステップS511において、画像処理部106bは、前述した強度変調部106cにより、画像センサ103から出力される画像に対して、裏面側の格子パターン105を透過したことに相当するモアレ縞画像を生成する。
具体的には、式(5)に相当する演算が行われればよいので、強度変調部106cにおいて裏面側の格子パターン105を生成し、画像センサ103の画像に対して乗算すればよい。なお、裏面側の格子パターン105が図7(a)、図7(b)に示すような2値化したパターンであれば、黒に相当する領域の画像センサ103の値を0にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。
以降、図12のステップS501~S507の処理は、図4の処理と同様であるので、ここでは説明を省略する。
なお、この場合、画像センサ103が有する画素103aのピッチは、第1の格子パターン104のピッチを十分再現できる程度に細かいか、あるいは第1の格子パターン104のピッチが画素103aのピッチにて再現できる程度に粗い必要がある。
格子パターンを格子基板112aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は同等である必要がある。
また、以上は強度変調部106cにより第2の格子パターン105に相当する処理を実現したが、第2の格子パターン105は画像センサ103に密着して入射する光の強度を変調する光学素子であるため、画像センサ103の感度を実効的に第2の格子パターン105の透過率を加味して設定することによっても実現できる。
以上で説明した、裏面側の第2の格子パターン105を画像処理部106bで行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。すなわち、リフォーカスが可能である。このようなリフォーカスが可能な撮像装置101cの構成を図13に示す。
撮像装置101cが図11(a)に示す撮像装置101bと異なるのは、画像記憶部121、画像処理部122、フォーカス設定部123である。
画像記憶部121は、撮影後のフォーカス調整を可能とするため、画像センサ103から出力される画像を一時的に格納するために設けられる。また、フォーカス設定部123は、撮像装置101cに備え付けられたつまみや、スマートフォンのGUI(Graphical User Interface)などを介して、ユーザが設定するフォーカス距離を受け付け、フォーカス距離情報として画像処理部122に出力する。このように、本図に示す撮像装置101cは、フォーカス距離の設定が可能である。
図14は、図13の画像処理部122による画像処理の概略を示すフローチャートである。
この図14におけるフローチャートが図12のフローチャートと異なるところは、ステップS521の処理である。ステップS521において、画像処理部122は、前述したフォーカス設定部123出力であるフォーカス距離情報に基づいて、式(17)から拡大率αを算出し、裏面側の第2の格子パターン105の係数βをβ/αとする計算を行う。その後ステップS511において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。
以降、図14のステップS501~S507の処理は、図4の処理と同様であるので、ここでは説明を省略する。
以上の方法・構成に依れば、高速フーリエ変換(FFT)などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、撮像装置101cによれば、1度の撮影しか必要としない。
なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換(DCT:Discrete Cosine Transform)などを使用しても実現可能であり、さらに演算量を削減することも可能である。
また、撮像装置101cにおいて格子パターン104、105はフレネルゾーンプレートやガボールゾーンプレートとして説明したが、これに限定されるものではなく、モアレ縞から空間周波数スペクトルを算出できさえすれば、1次元方向のパターンなどを使用してもよい。これらは他の撮像装置101a、101bにおいても適用できる。
<フォーカス調整の自動化>
フォーカス調整を自動化する撮像装置101dの構成例を図15に示す。図13に示す撮像装置101cと異なるのは、フォーカス距離算出部124である。
図16は、図15のフォーカス距離算出部124によるオートフォーカスの概略を示すフローチャートである。本オートフォーカスは、フォーカス距離を分解能Δf(シフト設定値)ずつシフトさせながら現像処理し、コントラストが最大となる距離を算出し、その距離をフォーカス距離とすることによって実現する。この処理について詳細に説明する。
まず、フォーカス距離の初期値(無限遠もしくは距離0など)を設定(ステップS531)し、フォーカス距離から拡大率αを算出し、第2の格子パターン105の係数βを算出する(ステップS521)。ステップS511からS503までは図14と同様である。
その後、図17(a)に示すように画像センサ103で捉えた撮像範囲610内の領域611の、任意の領域611aを切り出す(ステップS533)。この領域611aがフォーカス調整に用いる領域であり、ユーザがGUIで設定してもよいし、顔認識技術等により自動的に設定してもよい。
次に、領域611a内のコントラストCを、領域611a内の最大輝度Imax、最小輝度Iminを用いて、以下の式(18)または式(19)のいずれかにより算出し(ステップS534)、結果を、フォーカス距離に対応づけてメモリに格納する(ステップS535)。
この後、予め設定したフォーカス可変範囲内の操作が完了するまで(ステップS536)、ステップS532へ移行し、フォーカス距離をΔfずらして設定し、ステップS521以降の処理を繰り返す。
探索完了後、メモリ内のコントラスト情報を読み出す(ステップS537)と、図17(b)に示すように、コントラストとフォーカス距離との関係が得られるので、コントラストが最大となるフォーカス距離を探索し(ステップS538)、出力する(ステップS539)。
このフォーカス距離算出部124において得られたフォーカス距離情報に基づき、画像処理部122で画像処理を行えば、最適なフォーカスでの撮影が可能となる。
以上の方法・構成に依れば、フォーカス調整を自動化でき、さらに従来のカメラと異なり、再撮影を行うことなく最適なフォーカスでの撮影が可能となる。
なお、ここでは、コントラストが最大となる探索を行ったが、これに限定するものではなく、SNR(Signal to Noise Ratio)や、HPF(High-Pass Filter)結果の加算値など、鮮明な画像となるフォーカス距離を決定できる方法であればよい。
また、フォーカス距離の走査範囲はユーザが予め設定することも可能である。
また、フォーカス距離をΔfずつシフトする方法について説明したが、これに限定するものではない。フォーカス距離が変わることによる像のボケ方は、遠方ほど位置に対する感度が低くなるため、撮像装置101dの近傍は細かく、遠方は粗くシフトさせることでより高精度・高速な探索が可能となる。
<距離情報の取得>
次に、距離情報を取得する撮像装置101dの構成例を図18に示す。撮像装置101dは、測距可能な撮像装置である。図13の撮像装置101cと異なる構成は、距離計測部125ならびに距離情報表示装置107eである。
図19は、図18の距離計測部125による距離計測の概略を示すフローチャートである。本距離計測は、前述のオートフォーカスの原理を、画像センサ103上の予め定めた画素領域毎に実施することで、最適なフォーカス距離(=物体が存在する位置)を計測することによって実現する。この処理について詳細に説明する。
まず、ステップS531からステップS503までは図16と同様である。その後、図20(a)に示すように撮像範囲610内の領域621を、単位領域621uに分割する(ステップS541)。
この分割サイズが距離計測における2次元方向の分解能に対応するためサイズが細かい方が好ましいが、細かくし過ぎると測定誤差が増大する問題がある。よって、環境に応じてユーザが分割サイズを変更できることも有用である。この分割した単位領域621uの例として単位領域621aと単位領域621bを図20(a)に示す。
次に、単位領域621u毎に、領域内のコントラストCを、領域内の最大輝度Imax、最小輝度Iminを用いて、上記式(18)または式(19)により算出(ステップS542)し、結果を、領域毎に、フォーカス距離に対応づけてメモリに格納する(ステップS543)。
この後、予め設定したフォーカス可変範囲内の操作が完了するまで(ステップS544)、ステップS532へ移行し、フォーカス距離をΔfずらして設定し、ステップS521以降の処理を繰り返す。
探索完了後、メモリ内のコントラスト情報を読み出す(ステップS545)と、図20(b)に示すように、コントラストとフォーカス距離の関係が得られる。本図に示すように、遠方の山が領域内に含まれる領域621aは遠方でコントラストが最大となり、近傍の人が領域内に含まれる領域621bは比較的近傍でコントラストが最大となる様子が判る。
なお、本図の例では2つの領域の変化のみ示しているが、実際には図20(a)における単位領域621uの数だけメモリに格納される。このように、単位領域621u毎にコントラストが最大となるフォーカス距離を探索し(ステップS546)、図20(c)に示すように、距離情報の2次元マップ721を作成し、距離データとして出力する(ステップS547)。
なお、単位領域621uに対応するメモリ位置721uごとに、距離情報がメモリに格納される。例えば、単位領域621aに対応するメモリ721aには、距離情報Paが、単位領域621bに対応するメモリ721bには、距離情報Pbが、それぞれ、格納される。
この距離データを距離情報表示装置107eにより表示することで、2次元方向の距離情報を確認可能となる。
ここでは、距離計測部125からの出力を、距離情報表示装置107eに表示する場合を例にあげて説明している。しかし、距離計測部125からの出力は、出力信号として、他の装置に出力してもよい。距離計測部125からの出力信号は、例えば、自動車やドローンのような機器における、障害物認識、自動運転に適用することもできる。
以上の方法・構成に依れば、画像のみならず、単位領域毎の距離情報を取得することが可能となる。
なお、撮像装置101d、101eでは、コントラストが最大となる探索を行ったが、これに限定されない。例えば、SNR(Signal to Noise Ratio)や、HPF(High-Pass Filter)結果の加算値など、鮮明な画像となるフォーカス距離を決定できる方法であればよい。
また、撮像装置101d、101eでは、単一フレームから距離情報を算出する例について述べたが、複数フレームの画像を平均化して使用する、または複数フレームの距離情報を平均化して使用することによってSNRを向上し、距離精度を向上したり、2次元方向の分解能を向上したりすることが可能である。
<第一実施形態>
以下、上記撮像装置101b~101eのいずれかを用いる、本発明の第一実施形態を説明する。本実施形態では、3次元情報を取得可能なレンズレスカメラを用い、小型かつ薄型で高精度な3次元認証装置を実現する。以下、本実施形態では、認証対象者(ユーザ)の顔を撮影し、顔により認証を行う場合を例にあげて説明する。すなわち、被写体400が顔である場合を例にあげて説明する。
図21は、本実施形態の3次元認証装置200aの使用環境の一例を説明するための図である。本図に示すように、本実施形態の3次元認証装置200aは、撮像装置101eを備え、例えば、入退室管理に用いられる。すなわち、本実施形態の3次元認証装置200aにおいてユーザの認証が成功した場合、3次元認証装置200aから入退出ゲート920を解錠する解錠信号が、入退出管理サーバ910に向けて出力される。入退出管理サーバ910は、解錠信号を受信した場合、入退出ゲート920を解錠する。
本実施形態の3次元認証装置200aの構成を説明する。図22(a)は、本実施形態の3次元認証装置200aの構成図である。本図に示すように、本実施形態の3次元認証装置200aは、撮像装置101eと、認証制御装置210と、表示装置107aと、音声出力装置108と、操作装置109と、を備える。
なお、本実施形態の3次元認証装置200aは、例えば、CPU291と、メモリ292と、記憶装置293と、ユーザインタフェース294と、撮像データ取得部295と、を備える。そして、撮像装置101eおよび認証制御装置210の各機能は、記憶装置293に記憶されたプログラムを、CPU291がメモリ292にロードして実行することにより実現される。
また、ユーザインタフェース294として、表示装置107a、音声出力装置108および操作装置109等を備える。なお、撮像データ取得部295は、画像センサ103と変調器102bとを備える。
撮像装置101eは、撮像画像(画像データ)および距離情報(距離データ)を得る、3次元画像取得装置である。また、撮影後に任意の距離にフォーカスを合わせることが可能な装置である。
本実施形態の撮像装置101eは、基本的に、前述の撮像装置101eと同じ構成を備える。すなわち、変調器102bと、画像センサ103と、画像記憶部121と、画像処理部122と、距離計測部125と、を備える。
変調器102bは、第一パターンを備え、その第一パターンにより光の強度を変調する。本実施形態では、第一パターンとして、複数の同心円で構成される第一の格子パターンが用いられる。
画像センサ103は、変調器102bを透過した光を、所定の時間間隔で撮像データに変換して出力する。本実施形態では、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換し、撮像データとして出力する。
画像記憶部121は、画像センサ103から出力される撮像データを記憶する。これは、撮影後にフォーカス調整を可能とするためである。また、撮像データから、各領域の距離を算出するためである。また、複数フレームの撮像データを使用したノイズキャンセル等の画質改善のためにも使用する場合がある。
画像処理部122は、画像記憶部121に格納された撮像データに対し、その撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて被写体400の像を復元する復元処理を行い、撮影画像(画像データ)を取得する。本実施形態は、上述のように、第二パターンとして、複数の同心円で構成される仮想的な第二格子パターンを用いる。
距離計測部125は、予め定めた計測領域の、撮像装置101から被写体400までの距離(距離データ)を取得する。本実施形態では、距離計測部125は、画像記憶部121に格納された撮像データに対する復元処理を、フォーカス距離を変えながら繰り返し、計測領域内の最もコントラストの高いフォーカス距離を、距離データ(その計測領域の距離値)とする。
本実施形態では、図23(a)に示すように、撮像範囲610内の所定領域631を、予め、複数の単位領域631uに分割する。そして、各単位領域631uを、それぞれ計測領域とし、単位領域631u毎の距離情報を取得する。そして、図23(b)に示すように、単位領域631u毎の距離情報マップ711を作成し、距離データとして出力する。
本実施形態の距離計測部125による距離計測処理は、基本的に前述の撮像装置101eによる距離計測処理と同じであるため、ここでは、説明を省略する。
ただし、本実施形態では、撮像対象が人物の顔である。また、後述するように、図23(c)に示す、ガイドパターン117を、表示装置107aに表示させて撮像を行う。
このため、撮像対象である顔画像の大きさは、概ね同等となり、また、凹凸も略想定可能である。従って、フォーカス距離算出処理のS531およびS532で設定するフォーカス距離の初期値は、その値をある程度の範囲に絞り込むことが可能である。また、顔の凹凸状態の範囲が、所定の範囲内と想定できることから、上記シフト設定値Δfの値も、予め設定できる。従って、処理量を低減できる。
また、距離計測部125は、この様にして得られた単位領域631uに対応する領域711u(以下、単位領域711u)毎の距離情報を、フォーカス距離情報として、画像処理部122へ出力する。画像処理部122は、この情報を用いて画像のフォーカス調整を実行し、フォーカス調整実行済みの画像データとして画像情報取得部211および画像表示装置107へ出力する。
変調器102bと、画像センサ103と、画像記憶部121と、画像処理部122と、距離計測部125と、は、上記撮像装置101eの同名の構成と基本的に同じである。同じであるため、ここでは、詳細な説明を省略する。
認証制御装置210は、3次元認証装置200a全体の動作を制御するとともに、画像データと距離データとを用いて、撮像装置101eが撮像した認証対象である被写体400を、認証する。本実施形態では、これを実現するために、画像情報取得部211と、画像認証処理部212と、距離情報取得部221と、距離認証処理部222と、登録情報記憶部231と、指示受付部241と、撮像制御部243と、を備える。
指示受付部241は、ユーザからの指示を受け付ける。本実施形態では、ユーザの認証時に用いる照合用データを登録する登録指示を受け付ける。登録指示を受け付けた場合、撮像制御部243にその旨、通知する。
なお、指示受付部241は、ユーザから、登録指示を受け付ける際、後述する照合用データに対応づけて登録情報記憶部231に記憶する当該ユーザの識別情報の入力も受け付ける。
ユーザからの指示は、例えば、タッチパネルの機能を有する表示装置107a、あるいは、撮像装置101eが備える指示ボタン、テンキー、キーボード等の操作装置109等を介して受け付ける。
撮像制御部243は、撮像装置101eの撮像を制御する。本実施形態では、指示受付部241から登録指示を受け付けた場合、照合用データ(登録データ)を取得するよう撮像装置101eを制御する。登録データ取得処理は、後述する。取得した登録データは、登録画像データおよび登録距離データとして、それぞれ、登録情報記憶部231に記憶する。なお、このとき、指示受付部241を介して受け付けた、識別情報を対応づけて記憶する。
また、撮像制御部243は、ガイドパターン117を表示装置107aに表示させ、撮像時の、ユーザのポジション(立ち位置)を調整する。調整は、図23(c)に示すように、表示装置107aに表示されるガイドパターン内に、ユーザの顔が入るように行われる。
なお、ガイドパターン117は、撮像時に顔認証を実施する利用者に対して撮像装置101と適切な距離を保つことで、画像表示装置107に適切な大きさで顔画像が表示できるように誘導するものである。表示させるガイドパターンは、予め、記憶装置に記憶される。
画像情報取得部211と、画像認証処理部212とは、撮像装置101eで取得した認証対象の画像である認証画像(認証画像データ)と、登録認証画像(登録画像データ)とを照合し、照合結果を画像認証結果として出力する。このように、画像情報取得部211と、画像認証処理部212とは、画像認証部として機能する。
画像情報取得部211は、画像処理部122が出力する画像データから、顔認証に必要な特徴(認証用特徴データと呼ぶ)を抽出し、認証画像データまたは登録画像データを生成する。
本実施形態では、画像情報取得部211は、まず、画像データで定まる画像領域の中から顔認証に用いる顔領域を抽出する。顔領域の抽出は、既知の顔認識処理等の画像処理を用いて行う。なお、本実施形態では、上述のように、撮像時、ガイドパターン117を表示させ、ユーザに、顔が、ガイドパターン117内に入る位置に立つように促す。このため、画像情報取得部211は、画像領域内の、ガイドパターン117に対応する領域を、顔領域として抽出してもよい。
そして、画像情報取得部211は、顔領域として抽出した範囲についてのみ、特徴量抽出処理を行う。特徴量抽出処理では、既知の特徴量抽出手法を用いる。
すなわち、画像情報取得部211は、抽出した顔領域に対し、顔画像解析処理を行い、顔の特徴を構成する主要部位を特定する。顔の主要部位としては、例えば目、鼻、口、眉毛、耳などの顔の部位とする。主要部位を特定すると、画像情報取得部211は、各主要部位から特徴点の抽出処理を行い特徴点の位置や特徴点間の2次元距離情報等を、認証特徴データとする。
ここで、画像情報取得部211は、指示受付部241を介して、登録指示を受け付けている場合、算出した認証用特徴データに対し、後述の処理を施し、登録画像データを生成する。そして、登録指示とともに受け付けた識別情報に対応づけて、登録情報記憶部231に記憶する。
一方、登録指示を受け付けていない場合は、画像情報取得部211は、算出した認証特徴データを、認証画像データとし、画像認証処理部212に出力する。
なお、特定した顔領域の情報は、距離計測部125にも出力してもよい。この場合、距離計測部125は、顔領域のみ、距離情報を算出する。これにより、距離計測部125の計算量を抑えることができる。
画像認証処理部212は、画像情報取得部211から受け取った認証画像データを用いて画像についての認証処理を行う。本実施形態では、受け取った認証画像データに合致する登録画像データが登録情報記憶部231に記憶されているか否かを判別する。本実施形態では、両者を比較し、その一致度が予め定めた閾値(画像認証閾値)を超えているか否かを判別する。この判別に用いる一致度の閾値は、予め定めておく。
判別の結果、画像認証閾値以上の一致度を示す登録画像データが記憶されている場合、照合成功を、それ以外の場合は、照合不成功を、それぞれ示す情報を、画像認証結果として出力する。
距離情報取得部221と、距離認証処理部222とは、撮像装置101eで取得した認証対象の距離である認証距離情報(認証距離データ)と、登録認証距離情報(登録距離データ)とを照合し、照合結果を距離認証結果として出力する。このように、距離情報取得部221と、距離認証処理部222とは、距離認証部として機能する。
距離情報取得部221は、距離計測部125が算出した撮像装置101eから顔の各部位までの距離情報を基に、各部位間での差分を求め、顔の凹凸情報を算出する。算出した凹凸情報は、認証距離データとする。本実施形態では、予め基準とする位置(単位領域711u)を定め、当該単位領域までの距離値との差分を算出する。
例えば、図23(b)のように、顔領域内の各単位領域711uにおいて、耳の部分を含む領域711cを基準単位領域とする。そして、他の単位領域、例えば、目の部分を含む領域711aや鼻頭部分を含む領域711b、等との差分を求め、顔の凹凸情報(認証距離データ)とする。
なお、上記では、耳の部分を含む領域711cを基準としたが、これに限るものではなく、額の部分や口元の部分など適宜設定することでも良い。
なお、距離情報取得部221は、指示受付部241を介して、登録指示を受け付けている場合、認証距離データに対し、後述する処理を施し、登録距離データを生成する。そして、登録指示とともに受け付けた識別情報に対応づけて、登録情報記憶部231に記憶する。
一方、登録指示を受け付けていない場合は、距離情報取得部221は、算出した認証距離データを、距離認証処理部222に出力する。
距離認証処理部222は、距離情報取得部221から受け取った認証距離データを用いて、距離情報についての認証を行う。本実施形態では、受け取った認証距離データに合致する登録距離データが登録情報記憶部231に記憶されているか否かを判別する。本実施形態では、両者を比較し、その一致度が、予め定めた閾値(距離認証閾値)を超えているか否かを判別する。この判別に用いる一致度の閾値は、予め定めておく。
判定の結果、距離認証閾値以上の一致度を示す登録距離データが記憶されている場合、照合成功を、それ以外の場合は、照合不成功を、それぞれ示す情報を、距離認証結果として出力する。
登録情報記憶部231は、上述のように、登録画像データおよび登録距離データを、ユーザの識別情報とともに記憶する。
表示装置107aは、画像処理部122が処理した画像を表示する。また、本実施形態では、認証制御装置210からの指示に従って、ガイドパターン117を表示する。
音声出力装置108は、認証制御装置210からの指示に従って、音声メッセージを出力する。出力するメッセージは、予め記憶装置293に記憶される。
[顔領域決定処理]
次に、本実施形態の3次元認証装置200aにおける、顔領域決定処理について説明する。図24は、本実施形態の顔領域決定処理の処理フローである。上述のように、本実施形態では、所定の時間間隔で、画像センサ103は、撮像データを画像記憶部121に出力する。本処理は、画像記憶部121に撮像データが出力されたことを契機に開始される。
画像処理部122は、画像記憶部121に出力された撮像データに対し、画像処理を行い(ステップS1101)、画像データを生成する。
次に、画像情報取得部211は、顔領域を特定するため、画像データに対し、顔画像解析処理を行う(ステップS1102)。まず、画像データに顔画像が含まれているか否か、すなわち、顔領域として特定される領域があるか否かを判別する(ステップS1103)。ここで、顔領域として特定される領域が、画像データに含まれていない場合(S1103;No)は、そのまま、処理を終了する。
一方、顔領域が画像データに含まれている場合(S1103;Yes)、当該顔領域がガイドパターン117内に収まっているか否かを判別する(ステップS1104)。
ガイドパターン117内に収まっている場合(S1104;Yes)、ステップS1104で特定した顔領域を、顔領域として決定する(ステップS1105)。そして、画像情報取得部211は、距離計測部125に、決定した顔領域を特定する情報を出力し(ステップS1106)、処理を終了する。
一方、ステップS1104で、ガイドパターン117に収まっていない場合(No)、撮像制御部243は、メッセージを出力し(ステップS1107)、再度撮像データを待つ。なお、このとき出力されるメッセージは、例えば、ガイドパターンに収まるよう立ち位置を変更する指示等を含む。
本処理により、顔が、ガイドパターン117内に収まった状態で取得された撮像データを用いて、処理を行うことができ、認証精度を高めることができる。
[登録データ登録処理]
次に、本実施形態の撮像装置101の画像情報取得部211および距離情報取得部221による、画像データおよび距離データの登録処理を説明する。図25は、本登録処理の処理フローである。本実施形態では、指示受付部203を介して登録指示を受け付けた場合、本処理を実行し、登録画像データおよび登録距離データをそれぞれ登録する。本処理は、指示受付部203を介して、登録指示を受け付けた後、開始される。
なお、本実施形態では、顔領域を決定した後、その顔領域を決定した撮像データに対し、登録画像データ取得処理と、登録距離データ取得処理とが並行して行われる。
まず、上述の、3次元認証装置200aは、顔領域決定処理を行う(ステップS1201)。
その後、画像情報取得部211では、特徴点抽出処理を行い(ステップS1202)、抽出した特徴点を認証画像データとする認証画像データ生成処理を行う(ステップS1203)。
一方、顔領域の通知を受け取った距離計測部125では、顔領域に含まれる単位領域711uそれぞれについて、距離データを算出する(ステップS1302)。そして、距離情報取得部221は、距離データから認証距離データを生成する(ステップS1303)。
3次元認証装置200aは、以上の処理を、予め定めた回数繰り返す(ステップS1204)。
そして、画像情報取得部211は、繰り返した数の認証画像データから登録画像データを生成し(ステップS1205)、登録情報記憶部231に、入力された識別情報に対応づけて登録する(ステップS1206)。
また、距離情報取得部221は、繰り返した数の認証距離データから登録距離データを生成し(ステップS1305)、登録情報記憶部231に、入力された識別情報に対応づけて登録する(ステップS1306)。そして、処理を終了する。
なお、登録データ(登録画像データ、登録距離データ)は、取得した複数の認証用データ(認証画像データ、認証距離データ)に、予め定めた統計処理を施し、生成される。統計的処理は、例えば、平均値処理やバラつき範囲を求め、計測誤差等によるバラつきの許容値等の算出等である。
このように、認証用データを複数取得し、それに対し、統計処理を施し、登録データを生成するのは、撮像時のバラつきや、誤差の影響を低減するためである。撮像時の条件、例えば周囲の明るさ、撮像装置101eまでの距離、撮像装置101eに対する顔の向きや傾きなどの諸条件は、撮像毎にバラつくことが想定される。従って、ステップS1204おける処理回数(繰り返し回数)は、認識精度や認識誤り等を考慮して、予め設定する。なお、処理回数は、認証精度との兼ね合いにより適宜増減可能に構成してもよい。
[顔認証処理]
次に、本実施形態の3次元認証装置200aによる、顔認証処理の流れを説明する。本処理は、顔領域決定処理により顔領域が決定した際、開始される。図26(a)は、本実施形態の、画像による顔認証処理の処理フローである。また、図26(b)は、距離による顔認証処理の処理フローである。
まず、画像による顔認証処理の流れを説明する。
画像情報取得部211は、顔領域が決定した撮像データに対し、特徴点抽出処理を行う(ステップS1401)。そして、抽出した特徴点を認証画像データ(認証画像)とする認証画像データ生成処理を行う(ステップS1402)。
次に、画像認証処理部212は、生成された認証画像データを、登録情報記憶部231に記憶される登録画像データと比較することにより照合する(ステップS1403)。そして、比較結果を画像認証結果として出力し(ステップS1404)、処理を終了する。ここでは、画像認証処理部212は、認証画像データと登録画像データとを比較し、画像認証閾値以上の一致度を示す登録画像データが記憶されている場合、認証成功とする。一方、記憶されている登録画像データとの一致度が、全て画像認証閾値未満である場合は、認証不成功とする。
次に、距離による顔認証処理の流れを説明する。
顔領域の通知を受け取った距離計測部125では、その顔領域を決定した撮像データの顔領域に含まれる単位領域それぞれについて、距離データを算出する(ステップS1501)。そして、距離情報取得部221は、距離データから認証距離データを生成する(ステップS1502)。
そして、距離認証処理部222は、生成された認証距離データを、登録情報記憶部231に記憶される登録距離データと比較することにより照合する(ステップS1503)。そして、比較結果を距離認証結果として出力し(ステップS1504)、処理を終了する。ここでは、距離認証処理部222は、認証距離データと登録距離データとを比較し、距離認証閾値以上の一致度を示す登録距離データが記憶されている場合、認証成功とする。一方、記憶されている登録距離データとの一致度が、全て距離認証閾値未満である場合は、認証不成功とする。
比較処理を行う際に用いる画像認証閾値および距離認証閾値は、それぞれ、所定値以内の一致度を示すデータを同一人物として判別されるように決定する。3次元認証装置200aの置かれた環境等に基づき、測定誤差や撮像時の撮像条件等によるバラつきの影響が排除されるよう決定する。
また、画像認証閾値と、距離認証閾値とは、同じであっても、それぞれ、異なる値であってもよい。これは、以下、他の実施形態、変形例でも同様である。
認証結果の出力先は、例えば、入退出ゲート920の開閉を制御する入退出管理サーバ910とする。入退出管理サーバ910は、画像認証結果と距離認証結果とを受け取り、その認証の成否に応じて解錠する。例えば、画像認証結果および距離認証結果の両者が認証成功の場合、解錠し、その他の場合は、解錠しない。
なお、認証結果は、表示装置107aに出力してもよい。このとき、認証結果として、一致度を表示装置107aに出力してもよい。
なお、本実施形態の処理フローにおいて、各機能が実施している各処理は、他の機能により実施されてもよい。全体の処理の流れとして上記が達成できれば構成要素の何れで実施されても良い。
また、登録画像データおよび登録距離データは、3次元認証装置200aが備える登録情報記憶部231に記憶するものとして記載しているが、これに限定されない。外部から容易にアクセスできない様に十分安全性を確保出来れば、3次元認証装置200a外の装置に保持してもよい。例えば、ネットワーク上のサーバ上に保持することも可能である。この場合、3次元認証装置200aは、外部装置とのデータの送受信機能、または、通信機能を備える。
以上説明したように、本実施形態の3次元認証装置200aは、認証対象を被写体400として撮像する撮像装置101eと、撮像装置101eが撮像した認証対象を認証する認証制御装置210と、を備える。撮像装置101eは、第一パターンを備え、当該第一パターンにより光の強度を変調する変調器102bと、変調器102bを透過した光を撮像データに変換して出力する画像センサ103と、撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて被写体400の像を復元する復元処理を行い、画像を取得する画像処理部122と、予め定めた計測領域の、当該撮像装置101eから被写体400までの距離を取得する距離計測部125と、を備える。そして、距離計測部125は、撮像データに対する復元処理を、フォーカス距離を変えながら繰り返し、計測領域内の最もコントラストの高いフォーカス距離を、距離とする。また、認証制御装置210は、予め取得した認証対象の画像である登録画像データと、予め取得した認証対象の距離情報である登録距離データとを記憶する登録情報記憶部231と、撮像装置101eで取得した前記認証対象の画像である認証画像データと、登録画像データとを照合し、照合結果を画像認証結果とする画像認証部と、撮像装置101eで取得した前記認証対象の距離である認証距離データと、登録距離データとを照合し、照合結果を距離認証結果とする距離認証部と、を備える。
このように、本実施形態の3次元認証装置200aによれば、認証に光学レンズを用いない撮像装置を用いる。従って、小型かつ薄型の認証装置を実現できる。さらに、撮像装置で取得した撮像データを処理し、同じ撮影範囲の画像データと距離データとを同時に得、それらを用いて、画像による認証と距離による認証とを並行して行う。従って、より精度の高い認証を実現できる。すなわち、本実施形態によれば、小型かつ薄型で、高精度な個人認証技術を提供できる。
さらに、本実施形態では、距離情報を、2次元の予め定めた単位領域毎に取得する。そして、この距離データを用いて距離による認証を行う。特に、個人の顔で認証を行う顔認証に、この本実施形態の3次元認証装置200aを用いると、2次元画像による顔画像認証に加えて顔の凹凸情報を含む距離情報を用いた距離認証を行うことができる。これにより、3次元の認証が可能となり、認証精度の向上が期待できる。
なお、本実施形態では、3次元認証装置200aを入退室管理に用いる場合を例にあげて説明したが、これに限定されない。セキュリティの向上のために、例えばPC、サーバ、あるいは情報機器等のデータ管理や、その他にも様々な機器や装置の作動管理等の認証時にも、本実施形態の3次元認証装置200aは、用いることができる。
また、図22(a)に示す3次元認証装置200aの各構成は、一つの機器で実現する必要はなく、例えば、利用者と直接的に接する機器が、撮像装置101の画像センサ103、変調器102b、画像記憶部121といった構成を備え、その他の構成は、他所に存するPCやサーバなどの機器が備えるようにしてもよい。この場合、登録情報記憶部231は、他所に存するPCやサーバ等の機器に設けられる。
<変形例1>
上記実施形態では、顔認証処理を、被写体400である顔画像が、ガイドパターン117内に収まった際に実行される場合を例にあげて説明しているが、これに限定されない。指示受付部241が、ユーザから認証処理実行の指示を受け付け、それを契機に開始するよう構成してもよい。
この場合、距離計測部125は、顔領域の決定を待たず、撮像データの全領域、あるいは、予め定めた所定領域631を、単位領域631uに分割し、各単位領域631uの距離を算出する。なお、用いる撮像データは、画像情報取得部211が処理対象とする撮像画像の基となる撮像データである。
なお、本変形例においても、ユーザからの指示受付後、顔認証処理実行前に、顔領域決定処理を実行してもよい。
<変形例2>
また、上記実施形態では、距離計測部125は、顔領域決定後、顔領域を含む各単位領域631uについて、距離データを算出している。しかしながら、距離データの算出範囲は、これに限定されない。
本実施形態では、2次元の画像による顔認証の追加認証として距離情報を用いる。認証対象が顔であるため、予め定めた、目、鼻、口等の主要部分の距離情報だけでも認証情報として十分である。従って、例えば、図27(a)に示すように、予め主要部分を指定領域とし、距離計測部125は、その指定領域の距離データのみを算出するよう構成してもよい。
本図の例では、目を含む領域631dおよび鼻を含む領域631eについて、上記撮像装置101dを用いて説明した手法で、距離を算出する。
これらの領域631d、631eは、まず、これらの領域631d、631eに対応する画像上の領域を画像情報取得部211が特定する。特定は、上述のように、画像処理部122が取得した2次元画像に対し、顔認識処理を行うことによりなされる。そして、距離計測部125は、それに対応するメモリの領域、すなわち、画像メモリの画素103aを、領域631d、631eとして特定する。
このように構成することにより、距離情報を算出する領域を抑えることができ、それに伴い、演算量を抑えることができる。すなわち、本変形例によれば、3次元認証を少ない負荷で実現できる。
<変形例3>
なお、さらに、セキュリティを向上させるため、ユーザの、片目瞼、喉元や歯の奥などの2次元情報、距離情報も取得し、認証を行ってもよい。図27(b)のこの場合の顔画像の一例を示す。
この様に、通常の表情での顔の凹凸情報に加えて方瞼、両瞼、口の中の情報等、より複雑な形状を認証情報として取り込むことにより、デスマスク的なものによる成りすましによる不正な認証を回避できる。
なお、図27(b)の例では、片目を瞑った状態での目、あるいは口の中の情報を取得する様子について示しているが、これに限るものではなく、両目の距離や瞼までの距離なども利用できる。
音声出力装置108は、平常状態の表情で顔認証を行い、画像認証処理部212から認証成功の通知を受け取ると、所定の時間間隔で、予め定めた音声メッセージを出力する。
出力する音声メッセージは、例えば、片目を例えば「片目を瞑ってください」あるいは「口を大きく開けて下さい」といった音声指示である。これらのデータは、予め、記憶装置293に格納される。音声出力装置108は、これらの音声指示により、ユーザに、所望の顔の状態とするよう促す。
なお、この場合、変化前の画像と距離との3次元情報、および、変化後の3次元情報を、それぞれ、登録情報記憶部231に登録し、認証時にそれぞれ照合してもよい。すなわち、画像情報取得部211、画像認証処理部212、距離情報取得部221および距離認証処理部222は、音声メッセージの出力後、所定の時間経過後に、上述の顔認証処理を行う。
また、変化後の表情については、登録情報として登録しておかなくてもよい。例えば、画像情報取得部211、画像認証処理部212、距離情報取得部221、および距離認証処理部222は、変化させる対象の領域が、変化したか否かを判別するだけでもよい。
すなわち、この場合、画像認証処理部212および距離認証処理部222は、該当する領域が、音声指示に従って変化したことが検出された場合、認証成功とする。一方、該当する領域が、音声指示を受けても変化しない、すなわち、利用者が指示通りの顔の表情を実行できないと判断する場合は、認証不成功と判断する。
このように構成することにより、記憶する情報量の増加を抑え、成りすましを防止することができる。また、認証処理時の演算量を低減させることができる。
また、記憶装置293に登録されている表情の変化を指示する音声指示を全て行わなくてもよい。例えば、上限の回数を決め、表情の変化を検出できるまで音声指示を行う。そして、上限回数までに、表情の変化を検出できない場合は、認証不成功、すなわち、成りすまし、と済まし判断するよう構成してもよい。
なお、顔の表情を変化させる指示は、音声指示だけでなくてもよい。例えば、さらに、画像表示装置107に指示をメッセージとして表示させてもよい。
<変形例4>
なお、上記実施形態では、画像による認証と、距離による認証とを別個独立に行っているが、これに限定されない。例えば、画像による認証および距離情報による認証の両者が認証成功でない限り、認証成功を出力しないように構成してもよい。
この場合、図28に示すように、3次元認証装置200bは、さらに、認証処理部251を備える。そして、認証処理部251が、画像認証処理部212および距離認証処理部222の認証結果に基づいて、最終的に認証(3次元認証)を行う。
例えば、認証処理部251は、画像認証処理部212が認証成功と判別し、かつ、距離認証処理部222が認証成功と判別した場合のみ、認証成功とする。一方、少なくとも一方が、認証不成功の場合、認証不成功と判別する。
この場合の顔認証処理の流れを、図29に示す。この場合も、顔領域決定処理により、顔領域が決定されたことを契機に開始されるものとして説明する。
顔領域が決定されると、画像情報取得部211および画像認証処理部212では、上記同様、特徴点抽出処理(ステップS1401)、認証画像データ生成処理(ステップS1402)、比較処理(ステップS1403)を行い、画像認証結果を算出する(ステップS1404)。
また、距離情報取得部221および距離認証処理部222では、上記同様、領域毎距離計測処理(ステップS1501)、認証距離データ生成処理(ステップS1502)、比較処理(ステップS1503)を行い、距離認証結果を算出する(ステップS1504)。
認証処理部251は、画像認証結果および距離認証結果を受け取り、両方とも認証成功であるか否かを判別する3次元認証を行う(ステップS1601)。そして、両方とも成功である場合(S1601;Yes)、3次元認証結果として、認証成功を出力し(ステップS1602)、それ以外の場合は、認証不成功を出力し(ステップS1603)、処理を終了する。
このように本変形例によれば、例えば、顔認証の場合、顔画像による2次元的な情報による認証と、距離情報による顔の凹凸情報といった別の次元の情報とを加えた、3次元情報を用いた認証において、両者ともに認証成功の場合のみ、認証成功とする。従って、3次元認証装置200aからの認証の成否の出力自体の精度を高めることができる。また、そのための新たなハードウェアは不要である。このため、本変形例によれば、簡易な構成で、精度の高い認証を行うことができる。
<変形例5>
さらに、上記実施形態では、認証の成否について、比較の結果、一致度が予め定めた閾値以上の登録データが存在するか否かで判別している。しかしながら、これに限定されない。
例えば、画像認証処理部212は、画像認証閾値以上の一致度の登録画像データが有る場合、そのうち、最も一致度が高い登録画像データの識別情報を、認証処理部251に出力する。
また、距離認証処理部222は、距離認証閾値以上の一致度の登録距離データが有る場合、すなわち、認証成功の場合、そのうち、最も一致度が高い登録距離データの識別情報を、認証処理部251に出力する。
認証処理部251は、画像認証処理部212から受け取った識別情報と、距離認証処理部222から受け取った識別情報とが一致した場合、認証成功と判断する。一方、たとえ、両者で認証が成功したとしても、識別情報が一致しない場合、認証不成功と判別する。
この場合の処理フローを、図30に示す。画像認証処理部212および距離認証処理部222による比較処理(S1403、S1503)までは、上記実施形態と同様である。
その後、画像認証処理部212は、画像認証閾値以上の一致度を示す登録画像データがあるか否かを判別する(ステップS1701)。そして、画像認証閾値以上の一致度を示すデータが無い場合(S1701;No)、認証不成功とし、その旨出力し(ステップS1702)、処理を終了する。
一方、画像認証閾値以上の一致度を示すデータが有る場合(S1701;Yes)、画像認証処理部212は、その中で最も一致度の高い(最高一致度)登録画像データに対応づけて記憶されている識別情報(ID)を、画像IDと特定し(ステップS1703)、認証処理部251に出力する。
同様に、距離認証処理部222は、距離認証閾値以上の一致度を示す登録距離データがあるか否かを判別する(ステップS1704)。そして、距離認証閾値以上の一致度を示すデータが無い場合(S1704;No)、認証不成功とし、その旨出力し(ステップS1702)、処理を終了する。
一方、距離認証閾値以上の一致度を示すデータが有る場合(S1704;Yes)、距離認証処理部222は、その中で最も一致度の高い(最高一致度)登録距離データに対応づけて記憶されている識別情報(ID)を、距離IDと特定し(ステップS1705)、認証処理部251に出力する。
認証処理部251は、受け取った画像IDと距離IDとを比較し、両者が一致するか否かを判別する(ステップS1706)。そして、一致した場合、認証成功と判別し、その旨出力し(ステップS1707)、処理を終了する。一致しない場合は、ステップS1702へ移行する。
この変形例によれば、画像による認証と距離による認証それぞれにおいて、最も一致度の高い登録情報の識別情報を特定し、両者の一致不一致を判別する。したがって、より認証精度が高くなる。
なお、本変形例では、最も一致度の高い1つの識別情報を、画像認証処理部212および距離認証処理部222から、認証処理部251に出力するよう構成しているが、出力する識別情報は1つに限定されない。
例えば、画像認証処理部212および距離認証処理部222それぞれから、一致度の高い方からN個、M個(N、Mは2以上の整数)抽出してもよい。そして、認証処理部251では、受け取ったN個の識別情報と、M個の識別情報とを対比し、合致するものがあれば、認証成功と判別してもよい。
N、Mは、画像認証および距離認証の精度に応じて予めさだめておく。これにより、認証の許容度を高めることができる。
<第二実施形態>
本発明の第二実施形態を説明する。上記実施形態では、認証対象を、ユーザの顔を念頭においている。一方、本実施形態では、認証対象を、同じ生体でも、生体内部の、例えば、静脈等とする。以下、本実施形態を、指の静脈で認証を行う場合を例にあげて説明する。
本実施形態の3次元認証装置200bを、図31(a)に示す。本実施形態の3次元認証装置200aは、基本的に第一実施形態と同じ構成を有する。本実施形態の3次元認証装置200aは、さらに、間隔制御部261と、照射装置262を備える。
また、本実施形態では、画像センサ103と変調器102bとの間の距離を可変とする。前述の式(13)で示すように、支持部材112bの長さに相当する画像センサ103と変調器102bとの間の距離を変更することにより、画角を変更する。そして、画像センサ103から近距離範囲の物体を撮像する際の、後処理によるフォーカス調整精度を向上させる。
図31(b)および図31(c)は、静脈認証を実施する場合の例を示す。通常の画像撮像時には、図31(b)に示す様に、画像センサ103と変調器102bとの間隔Dは、D1となるよう配置する。一方、静脈認証を実行する場合は、図31(b)に示す様に、両者の間隔をD2とする。なお、D1>D2である。
間隔制御部261は、画像センサ103と変調器102bとの間隔を制御する。例えば、間隔は、ユーザからの指示により制御する。なお、間隔制御部261は、画像センサ103と変調器102bとの間に設けられる支持部材112bであってもよい。すなわち、この支持部材112bを、弾性体で形成し、ユーザが、認証時に変調器102bを押下することにより、間隔を変更してもよい。また、間隔制御部261は、変更後の間隔を検出し、撮像制御部243に出力するよう構成してもよい。
なお、本実施形態の撮像装置101は、ユーザが認証のために、例えば指等を載置したことを検出する検出センサ263を備えてもよい。検出センサ263は、変調器102bの上に設けられてもよいし、変調器102bと画像センサ103との間の、例えば、支持部材112bが備えていてもよい。
照射装置262は、静脈パターンを透過撮像するための照射装置である。認証対象の指を挟んで、変調器102bと対向する位置に、配置される。照射装置262は、例えば、近赤外線LED等により構成される。
3次元認証装置200bは、静脈のような変調器102bに近接させて認証する対象と、顔のような離間して認証する対象との両方に用いてもよい。すなわち、3次元認証装置200bは、顔認証モードと、静脈認証モードとの2つの認証モードを備えてもよい。この場合、画像センサ103と変調器102bとの間隔は、前述のように、指による変調器102b部分の押下げで行うことでも良いし、モードに切り替え時に、間隔を機械的、あるいは電気的に変える様にしても良い。
なお、3次元認証装置200bを、例えば、静脈による認証専用とする場合は、変調器102bと画像センサ103との間隔Dは、近距離範囲の物体に最適な間隔D2に固定であってもよい。この場合、間隔制御部261は、備えなくてもよい。
本実施形態の撮像制御部243は、検出センサ263が、変調器102b上に載置されたユーザの指を検出すると、まず、照射装置262に照射させる。そして、画像処理部122に画像処理を行わせる。
画像処理部122は、図32に示す様に、照射装置262による照射により得られる指の輪郭および破線で示す指の中の静脈に対応する領域641を切り出し、静脈画像を生成し、出力する。
また、距離計測部125は、フォーカス調整を実施し、距離情報を得る距離計測を行う。距離計測は、図32に示すように、領域641を所定の網目状に細かく分割した各単位領域641uに対して実行する。そして、単位領域641u毎の距離データを得る。
本実施形態の距離情報取得部221は、第一実施形態同様、各単位領域741uについて、基準とする単位領域の距離データとの差分を算出し、凹凸情報の認証距離データを生成する。
さらに、本実施形態の距離情報取得部221は、単位領域毎の距離データを解析することにより、静脈画像における交差領域の特性を特定する。具体的には、画像上の血管の重なりが、血管の分岐によるものか、独立した血管が3次元的に重なっているものかを判別する。そして、判別結果を、単位領域を特定する情報とともに出力する。
判別の原理を説明する。静脈画像が重なり合う様な単位領域、例えば641aや641bでは、静脈が分岐している場合と立体的に重なり合って映し出されている場合とで、距離データが異なる。静脈が分岐している単位領域641aでは、その前後左右の単位領域の静脈までの距離値と、略同じ結果が得られる。一方、静脈が立体的に重なり合っている単位領域641bでは、その前後左右の単位領域の静脈までの距離値と異なる結果が得られる。
距離情報取得部221は、このように、距離データの距離値を、前後左右の単位領域の距離値を用いて解析することにより、静脈画像の重なりが血管の分岐によるものか、立体的に重なって撮像されているものかの判別する3次元解析を行う。
なお、その他の第一実施形態と同名の構成は、同様の機能であるため、ここでは、説明を省略する。
本実施形態における登録画像データ登録処理、登録距離データ登録処理、顔認証処理は、基本的に第一実施形態と同様である。ただし、本実施形態では、顔決定処理を行わない。その代わり、撮像制御部243が、変調器102b上に指が載置されたことを検出すると、処理を開始する。
このとき、画像処理部122は、処理開始後、所定の時間間隔で画像センサ103から出力される撮像データから画像を復元し、画像情報取得部211に出力する。そして、画像情報取得部211は、画像を受け取る毎に、当該画像を解析し、特徴点抽出処理を行い、認証画像データを生成する。
また、距離計測部125は、処理開始後、画像処理部122の処理と同じタイミングで得られる撮像データに基づいて、距離データを算出し、距離情報取得部221に出力する。そして、距離情報取得部221は、その距離データに基づき、認証距離データを生成する。
なお、その他の処理手順は、第一実施形態と同様であるため、ここでは、説明を省略する。
本実施形態の3次元認証装置200bを、入退出管理に適用する例を説明するための説明図を、図33(a)に示す。
図33(b)に示すように、画像センサ103と変調器102bとの距離を静脈認証用に設定した撮像装置101eを適用すれば、静脈パターンおよび静脈の3次元位置関係による認証により入退出ゲート920の開錠が可能となる。
以上説明したように、本実施形態の3次元認証装置200bは、第一実施形態の構成に加え、画像センサ103と変調器102bとの間の間隔を変更する間隔制御部を備える。これにより、撮像装置101eの画角の変更を自在に行うことができる。
従って、本実施形態によれば、撮像可能な範囲が拡大し、それに伴い、認証対象を広げることができる。例えば、撮像装置101eと、ある程度の距離を置いて顔を撮影して行う顔認証だけでなく、近接して撮影する必要のある静脈認証にも対応できる。
また、本実施形態の3次元認証装置200bでは、画像認証部で、静脈画像から認証に必要な静脈パターンを抽出し、予め登録してある静脈パターンとの一致度合を判定する。
一方、距離認証部では、静脈パターンの距離情報を取得し、静脈を立体的に捉える。すなわち、距離認証部では、距離計測部125で得られる静脈パターンの距離データから血管の3次元的な位置関係を把握することができる。
特に、上述の画像上の重なり部分は血管の分岐か重なりかを判別することが可能となる。なお、この特性を利用し、静脈パターン全体について3次元認証を実施することに替えて、上述の様な重なり部分に着目して特徴点として抽出し、3次元認証に用いてもよい。
なお、本実施形態では、指静脈の場合を例示しているが、静脈を撮像できれば掌等でも同様に実施できる。
また、本実施形態についても、第一実施形態の各種の変形例は適用可能である。
さらに、第一実施形態と第二実施形態とを組み合わせてもよい。
図33(c)は、3次元顔認証と3次元静脈認証と両方を実行可能な3次元認証装置200cの一例を示す。3次元認証装置200cのカバー部201cが開いている状態では撮像装置101eは顔認証を実行するための顔画像の取得を実行し、次にカバー部201cを閉じると静脈画像を取得して静脈認証を実行する。例えば、顔認証と静脈認証の双方を実施して、双方で認証成功の場合のみ、通行を許可する。これにより、セキュリティ強度を一層向上させることも可能となる。
<第三実施形態>
本発明の第三実施形態を説明する。本実施形態では、第一実施形態または第二実施形態の3次元認証装置200a~200c(以下、3次元認証装置200で代表する。)の機能の一部または全部を、スマートフォン等の携帯型の情報通信機器に搭載する。これにより、本実施形態では、3次元情報を取得可能なレンズレスカメラを用い、小型かつ薄型、高精度に認証可能で、かつ、携帯可能な3次元認証システム900を実現する。
図34(a)は、本実施形態の3次元認証システム900のシステム概要を説明するための図である。本図に示すように、本実施形態では、3次元認証装置200の機能およびハードウェアを、スマートフォン等の携帯型情報端末(以下、携帯端末と呼ぶ。)300が備える。そして、携帯端末300による認証結果を、入退出管理サーバ910に出力する。入退出管理サーバ910は、認証結果に応じて、入退出ゲート920の解錠を制御する。
なお、携帯端末300は、無線通信機能と、情報処理機能と、撮像機能と、表示機能と、を有する情報処理装置であればよく、例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。
本実施形態の携帯端末300は、既存の一般的な携帯端末300である。その外観を図34(b)に、また、そのハードウェア構成を図35に、それぞれ示す。本図に示すように、携帯端末300は、CPU(Central Processing Unit)301と、システムバス302と、記憶装置310と、通信装置320と、拡張I/F327と、操作器330と、ビデオプロセッサ340と、オーディオプロセッサ350と、センサ360と、照射装置370と、を備える。
CPU301は、携帯端末300全体を制御するマイクロプロセッサユニットである。システムバス302はCPU301と携帯端末300内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。
記憶装置310は、ROM(Read Only Memory)311と、RAM(Random Access Memory)312と、ストレージ313とを備える。
ROM311は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されたメモリである。ROM311として、例えば、EEPROM(Electrically Erasable and Programmable Read Only Memory)やフラッシュROMのような書き換え可能なROMが用いられる。
ストレージ313は、携帯端末300の動作プログラムや動作設定値、本実施形態の各機能を実現するために必要な各種のプログラムや各種のデータを記憶する。ストレージ313は、携帯端末300に外部から電源が供給されていない状態であっても記憶している情報を保持する。このため、ストレージ313には、例えば、フラッシュROMやSSD(Solid State Drive)、HDD(Hard Disk Drive)等のデバイスが用いられる。
RAM312は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。
通信装置320は、LAN(Local Area Network)通信器321と、電話網通信器322と、有線通信器323と、近接無線通信器324と、無線通信器325と、を備える。
LAN通信器321はWi-Fi(登録商標)等による無線接続によりアクセスポイント(AP)装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行う。
電話網通信器322は移動体電話通信網の基地局との無線通信により、通話およびデータの送受信を行う。
有線通信器323は、USB(Universal Serial Bus)等の有線接続手段により、携帯端末300近傍の他の装置とデータの送受信を行う。
近接無線通信器324は、近接無線通信器を備える他の装置と無線通信によりデータの送受信を行う。近接無線通信器324は、例えば、近距離無線通信(NFC(Near Field Communication))のI/Fであり、数センチからおよそ1メートル程度の極短距離で、NFCチップを搭載した機器間の双方向通信を実現する。例えば、携帯端末300に搭載される電子マネーなどの非接触ICチップを利用したサービスに対応する。
無線通信器325は、無線通信器を備える他の装置と無線通信によりデータの送受信を行う。例えば、Bluetooth(登録商標)等により、数mから数十m程度の距離の情報機器間で、電波を使い簡易な情報のやりとりを実現する。
LAN通信器321と、電話網通信器322と、有線通信器323と、近接無線通信器324と、無線通信器325は、それぞれ、符号回路や復号回路、アンテナ等を備える。また、通信装置320は、赤外線通信を実現する通信器や、その他の通信器を更に備えていても良い。
本実施形態では、携帯端末300から入退出管理サーバ910には、例えば、LAN通信器321、無線通信器325または有線通信器323により、認証結果が送信される。
拡張I/F327は、携帯端末300の機能を拡張するためのインタフェース群である。本実施形態では、映像/音声I/F、操作機器I/F、メモリI/F等を備える。映像/音声I/Fは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。キーボード等の外部操作機器は、操作機器I/Fを介して接続される。メモリI/Fは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
操作器330は、携帯端末300に対する操作指示の入力を行う。本実施形態では、ディスプレイ341に重ねて配置したタッチパネルおよびボタンスイッチを並べた操作キーを備える。なお、そのいずれか一方のみであっても良い。また、拡張I/F327に接続したキーボード等を用いて携帯端末300の操作を行っても良い。また、有線通信又は無線通信により接続された別体の携帯情報端末機器を用いて携帯端末300の操作を行っても良い。また、タッチパネル機能はディスプレイ341が備えていてもよい。
ビデオプロセッサ340は、ディスプレイ341と、画像信号プロセッサ342と、カメラ343と、を備える。
ディスプレイ341は、例えば液晶パネル等の表示デバイスであり、画像信号プロセッサ342で処理した画像データを表示し、携帯端末300のユーザに提供する。本実施形態では、3次元認証装置200の表示装置107aとしても機能する。
画像信号プロセッサ342は図示を省略したビデオRAMを備え、ビデオRAMに入力された画像データに基づいてディスプレイ341が駆動される。また、画像信号プロセッサ342は、必要に応じてフォーマット変換、メニューやその他のOSD(On-Screen Display)信号の重畳処理等を行う。
カメラ343は、入射した光を電気信号に変換することにより、周囲や対象物を画像データとして取得する撮像装置である。本実施形態では、3次元認証装置200の撮像装置101である。
オーディオプロセッサ350は、スピーカ351と、音声信号プロセッサ352と、マイク353と、を備える。スピーカ351は、音声信号プロセッサ352で処理した音声信号を携帯端末300のユーザに提供する。マイク353は、ユーザの声などを音声データに変換して入力する。スピーカ351は、3次元認証装置200の音声出力装置108としても機能する。
センサ360は、携帯端末300の状態を検出するためのセンサ群である。本実施形態では、例えば、GPS(Global Positioning System)受信器361と、ジャイロセンサ362と、地磁気センサ363と、加速度センサ364と、照度センサ365と、近接センサ366と、生体情報センサ367と、検出センサ368と、を備える。
検出センサ368は、第二実施形態の3次元認証装置200aが搭載された際、指が変調器102b上に載置されたことを検出するセンサである。
尚、他のセンサ群により、携帯端末300の位置、傾き、方角、動き、および周囲の明るさ、ユーザの生体情報等を検出する。また、携帯端末300が、気圧センサ等、圧力センサ他のセンサを更に備えていても良い。なお、位置情報は、GPS受信器361により取得する。GPS電波が入りにくい場所等では、LAN通信器321によりWi-FiのAP装置の位置情報を用いて取得してもよいし、同様に電話網通信器322により基地局の位置情報および電話通信電波の伝搬遅延を用いた位置情報取得方法により取得してもよい。また、これらのセンサ群は、必ずしも全てを備えていなくてもよい。
照射装置370は、第二実施形態の3次元認証装置200aが搭載された際、変調器102b上に載置された指を照射する装置である。
なお、図35に示す携帯端末300の構成例は、本実施形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
また、撮像装置101eおよび認証制御装置210の各機能は、予め記憶装置310に記憶されたプログラムを、CPU301がRAM312にロードして実行することにより実現される。また、登録情報記憶部231は、例えば、ストレージ33上に構築される。
本実施形態の撮像および3次元認証の方法および動作は、上記各実施形態および変形例と同様である。
このように、本実施形態によれば、携帯端末300が、上述の3次元認証装置200を備える。このため、小型の端末で手軽に3次元認証処理を行うことが可能となる。よって、セキュリティ管理の必要な入退室管理、情報機器のデータ管理、ソフトウェア操作等へ適用して安全性の向上を図ることができる。
<変形例6>
なお、本実施形態の3次元認証システム900では、第一実施形態または第二実施形態の3次元認証装置200の全機能を携帯端末300が備える場合を例にあげて説明したが、これに限定されない。入退出管理サーバ910が、一部の機能を備えていてもよい。
本実施形態の3次元認証システム900は、例えば、撮像、画像処理(現像)、距離測定(距離計測処理)、フォーカス調整、顔認証(画像認証処理)、距離認証処理、および解錠指示といった処理(機能)を含む。
携帯端末300および入退出管理サーバ910との間の、これらの機能の分担の一例を、図36に示す。ここでは、各機能の分担例を、それぞれ、処理方式として示す。
処理方式1では、携帯端末300側では、撮像処理だけを実施する。その他の処理を入退出管理サーバ910で実現する。
すなわち、携帯端末300では、画像センサ103で撮像データを取得し、その撮像データを、通信により、入退出管理サーバ910へ送信する。
入退出管理サーバ910は、画像記憶部121、画像センサ103、距離計測部125および認証制御装置210の機能を備える。そして、画像処理、距離計測(フォーカス調整)、認証処理および解錠指示を実現する。
処理方式2では、撮像から距離測定(フォーカス調整)までの処理を携帯端末300側で担い、後の処理を入退出管理サーバ910側に引き継がせる。
すなわち、携帯端末300が、撮像装置101の機能を、入退出管理サーバ910が、認証制御装置210の機能と解錠指示機能とを備える。
処理方式3では、撮像および3次元認証を携帯端末300側で実行し、入退出管理サーバ910で、顔認証と解錠指示とを行う。なお、認証については、逆であってもよい。すなわち、いずれか一方の認証を携帯端末300側で行い、他方の認証を、入退出管理サーバ910側で行う。
処理方式4では、認証処理までの全てを携帯端末300側で実施し、入退出管理サーバ910側では、携帯端末300からの認証結果に基づいて入退出ゲート920の解錠制御を実行する。
以上の様に処理負荷やシステム構築のし易さ等から、携帯端末300と入退出管理サーバ910で処理分担を、自在に変更することが可能であり、融通性の高いシステムを実現できる。
なお、いずれの方式を採用する場合であっても、認証処理を行う際に使用する登録データを格納する登録情報記憶部231は、認証処理を行う機能の側の装置に構築することが望ましい。
<変形例7>
さらに、携帯端末300と入退出管理サーバ910との間のデータ通信は、暗号化してもよい。
図37(a)に示すように、携帯端末300の通信装置320は、送出するデータを暗号化するとともに、受信したデータ復号化する暗号復号化処理部329を備える。また、入退出管理サーバ910も同様に、送出するデータを暗号化するとともに、受信したデータ復号化する暗号復号化処理部411を備える。
これにより、認証に必要な情報やデータを盗聴されることなく携帯端末300と入退出管理サーバ910との間で受け渡しが可能となる。
なお、暗号復号化処理部329、411は、それぞれの機器のCPUが演算により実現してもよいし、専用ハードウェア等により実現されてもよい。
<変形例8>
なお、本実施形態の3次元認証装置200は、例えば、図37(b)に示すように、携帯端末300自体の使用者認証に用いてもよい。
この場合、登録画像データおよび登録距離データとして登録されるデータは、それぞれ、使用者本人のもののみである。従って、上記の顔認証処理の比較処理において、登録されている登録画像データとの一致度が画像認証閾値以上であれば、認証成功と判別する。また、距離データについても同様に、登録されている登録距離データとの一致度が、距離認証閾値以上であれば、認証成功と判別する。そして、携帯端末300の制御部は、認証成功時に、当該携帯端末300のロックを解除する。
本変形例においても、さらに、認証処理部251により、画像認証と距離認証との結果を用いて、最終的な認証の成否を決定してもよい。また、顔認証と静脈認証とを組み合わせて認証の成否を決定してもよい。
これにより、携帯端末300による決済機能への対応等において、精度の高い使用者認証を行うことができる。
上述の各実施形態および各変形例では、変形例8を除き、入退室管理に3次元認証装置200を用いる場合を例にあげて説明している。しかし、利用箇所はこれに限定されない。例えば、データ管理やインターネットバンキングなどセキュリティ強度を要するアプリケーションソフトウェア等でのパスワード処理に代えて、あるいは更に追加して、各実施形態および各変形例の3次元認証装置を用いることで一層のセキュリティ向上が図れる。
また、認証対象についても、顔、静脈に限らず、虹彩、手のひら、他3次元情報により精度が高まる生体認証等に用いることができる。
以上説明したように、各実施形態および各変形例によれば、光学的なレンズを不要とする撮像装置を用い、簡易な構成により3次元認証を実施することが出来、装置の小型化および利便性を向上する認証機能を提供できる。
本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。