JP7282884B2 - ３次元認証装置、３次元認証システム、携帯型情報端末および３次元認証方法 - Google Patents

Description

本発明は、認証技術に関し、特にレンズレスカメラを用いた生体認証技術に関する。

セキュリティ意識の高まりや、個人が保有する情報機器による決済機能への対応等から、精度の高い個人認証技術が求められている。例えば、特許文献１には、「少なくとも３次元の形状情報を得る測定機器、カメラ、および画像判定機を備え、個人認証を行う装置において、前記測定機器により人体の頭部を検出して、前記カメラにより顔の２次元情報を取得し、すでに登録した情報と比較することにより被測定者の判定をする（要約抜粋）」３次元計測を用い、精度を高めた個人認証装置が開示されている。

また、レンズを使用せず、３次元計測可能な技術がある。例えば、特許文献２には、「撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置（要約抜粋）」が開示されている。

特開２００４－１２６７３８号公報 国際公開第２０１７／１４９６８７号

特許文献１に記載の認証装置は、認証精度向上のために３次元形状を測定する測定機器を用いる。しかし、３次元的な測定のためにカメラ以外の機器を別途必要とする。このため、認証装置の大きさや費用の面で課題があり、スマートフォンやタブレット等の携帯型情報機器へ適用は難しい。また、入退室管理等でも、特に後付けする際等に、スペースの問題から、認証装置の小型化、薄型化が要求される。

本発明は、上記事情に鑑みてなされたもので、小型かつ薄型で、高精度な個人認証技術を提供することを課題とする。

本発明は、３次元認証装置であって、認証対象を被写体として撮像する撮像装置と、前記撮像装置が撮像した前記認証対象を認証する認証制御装置と、を備え、前記撮像装置は、第一パターンを備え、当該第一パターンにより光の強度を変調する変調器と、前記変調器を透過した光を撮像データに変換して出力する画像センサと、前記撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて前記被写体の像を復元する復元処理を行い、画像を取得する画像処理部と、予め定めた計測領域の、当該撮像装置から前記被写体までの距離を取得する距離計測部と、前記変調器と前記画像センサとの間の間隔を変更する間隔制御部と、を備え、前記距離計測部は、前記撮像データに対する前記復元処理を、フォーカス距離を変えながら繰り返し、前記計測領域内の最もコントラストの高い前記フォーカス距離を、前記距離とし、前記認証制御装置は、予め取得した認証対象の画像である登録画像データと、予め取得した認証対象の距離情報である登録距離データとを記憶する登録情報記憶部と、前記撮像装置で取得した前記認証対象の画像である認証画像データと、前記登録画像データとを照合し、照合結果を画像認証結果とする画像認証部と、前記撮像装置で取得した前記認証対象の距離である認証距離データと、前記登録距離データとを照合し、照合結果を距離認証結果とする距離認証部と、を備えることを特徴とする。

また、本発明は、３次元認証システムであって、前述の３次元認証装置と、前記３次元認証装置による認証結果に基づいてセキュリティ管理を行う管理サーバと、を備えることを特徴とする。

また、本発明は、認証対象を被写体として撮像する撮像装置と、前記撮像装置が撮像した前記認証対象を認証する認証制御装置と、を備える３次元認証装置における３次元認証方法であって、第一パターンを備え、当該第一パターンにより光の強度を変調し、画像センサを備え、前記変調後の光を撮像データに変換し、前記第一パターンと前記画像センサとの間の間隔が変更可能とされており、前記撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて前記被写体の像を復元する復元処理を行い、画像を取得するとともに、当該復元処理を、フォーカス距離を変えながら繰り返し、予め定めた計測領域内で最もコントラストの高い前記フォーカス距離を、当該計測領域における、当該撮像装置から前記被写体までの距離として取得し、取得した前記認証対象の画像である認証画像データと、予め記憶された登録画像データとを照合し、照合結果を画像認証結果とし、取得した前記認証対象の距離である認証距離データと、予め記憶された登録距離データとを照合し、照合結果を距離認証結果とすることを特徴とする。

本発明によれば、小型かつ薄型で、高精度な個人認証技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態の基本的な光学レンズ無し撮像装置の構成図である。 （ａ）および（ｂ）は、それぞれ、本発明の実施形態の光学レンズ無し撮像装置の変調器を説明するための説明図である。 本発明の実施形態の光学レンズ無し撮像装置により外界の物体を撮影する様子を示す図である。 本発明の実施形態の光学レンズ無し撮像装置の画像処理部による画像処理のフローチャートである。 （ａ）は、斜め入射平行光による格子基板表面から裏面への照射像が面内ずれを生じることを、（ｂ）～（ｄ）は、本発明の実施形態の、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを、それぞれ、説明するための説明図である。 （ａ）は、本発明の実施形態の表面格子と裏面格子の軸をずらして配置する場合の模式図であり、（ｂ）～（ｄ）は、本発明の実施形態の格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを、それぞれ説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、本発明の実施形態の格子パターンの一例を説明するための説明図である。 （ａ）は、物体を構成する各点からの光がセンサに対してなす角を、（ｂ）は、物体を撮影した場合の空間周波数スペクトルを、それぞれ、説明するための説明図である。 （ａ）は、物体が無限距離にある場合に表側格子パターンが投影されることを、（ｂ）は、物体が無限距離にある場合に生成されるモアレ縞の例を、それぞれ説明するための説明図である。 （ａ）は、物体が有限距離にある場合に表側格子パターンが拡大されることを、（ｂ）は、物体が有限距離にある場合に生成されるモアレ縞の例を、（ｃ）は、物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を、それぞれ説明するための説明図である。 （ａ）は、本発明の実施形態の、裏側格子パターンを画像処理で実現する撮像装置の構成図であり、（ｂ）は、裏側格子パターンを画像処理で実現する撮像装置の変調器を説明するための説明図である。 本発明の実施形態の、裏側格子パターンを画像処理で実現する撮像装置の画像処理部による画像処理のフローチャートである。 本発明の実施形態のリフォーカス可能な撮像装置の構成図である。 本発明の実施形態のリフォーカス可能な撮像装置の画像処理部による画像処理のフローチャートである。 本発明の実施形態のオートフォーカス可能な撮像装置の構成図である。 本発明の実施形態のオートフォーカス可能な撮像装置の画像処理部による画像処理のフローチャートである。 （ａ）は、本発明の実施形態のオートフォーカス可能な撮像装置のコントラスト計算領域を、（ｂ）は、本発明の実施形態のオートフォーカス可能な撮像装置の最適フォーカス距離の決定手法を、それぞれ、説明するための説明図である。 本発明の実施形態の、測距可能な撮像装置の構成図である。 本発明の実施形態の、測距可能な撮像装置の距離計測部による距離計測処理のフローチャートである。 （ａ）は、本発明の実施形態の測距可能な撮像装置のコントラスト計算領域を、（ｂ）は、本発明の実施形態の測距可能な撮像装置の最適フォーカス距離の決定手法を、（ｃ）は、本発明の実施形態の測距可能な撮像装置から出力される２次元マップの一例を、それぞれ説明するための説明図である。 第一実施形態の３次元認証装置の使用環境を説明するための説明図である。 （ａ）は、第一実施形態の３次元認証装置の構成図であり、（ｂ）は、第一実施形態の３次元認証装置のハードウェア構成図である。 （ａ）は、第一実施形態の３次元認証装置の測距時のコントラスト計算領域を、（ｂ）は、第一実施形態の３次元認証装置が生成する２次元マップの一例を、（ｃ）は、第一実施形態の３次元認証装置で顔を撮像する様子を、それぞれ説明するための説明図である。 第一実施形態の顔領域決定処理のフローチャートである。 第一実施形態の登録データ登録処理のフローチャートである。 （ａ）および（ｂ）は、第一実施形態の顔認証処理のフローチャートである。 （ａ）および（ｂ）は、第一実施形態の変形例の認証対象を説明するための説明図である。 第一実施形態の変形例の３次元認証装置の構成図である。 第一実施形態の変形例の顔認証処理のフローチャートである。 第一実施形態の他の変形例の顔認証処理のフローチャートである。 （ａ）は、第二実施形態の３次元認証装置の構成図であり、（ｂ）および（ｃ）は、第二実施形態の３次元認証装置を静脈認証に用いる場合の使用方法を説明するための説明図である。 第二実施形態の３次元認証装置の撮像装置のコントラスト計算領域を説明するための説明図である。 （ａ）は、第二実施形態の３次元認証装置の使用環境を、（ｂ）は、第二実施形態の３次元認証装置の撮像装置の使用態様を、（ｃ）は、第二実施形態の３次元認証装置の変形例を、それぞれ説明するための説明図である。 （ａ）は、第三実施形態の３次元認証装置を含む認証システムを説明するための説明図であり、（ｂ）は、第三実施形態の３次元認証装置を搭載する携帯端末の外観図である。 第三実施形態の３次元認証装置を搭載する携帯端末のハードウェア構成図である。 第三実施形態の変形例の、各構成要素による処理分担を説明するための説明図である。 （ａ）は、第三実施形態の変形例の使用環境を、（ｂ）は、第三実施形態の他の変形例の使用態様を、それぞれ、説明するための説明図である。

以下、本発明の実施形態を、図面を用いて説明する。

以下に述べる実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

本発明の各実施形態の説明に先立ち、各実施形態で共通に用いる、光学レンズレス（レンズ無し）撮像装置（以下、単に撮像装置と呼ぶ。）を説明する。まず、当該撮像装置おける撮像および測距の基本的な原理を説明する。

＜無限遠物体の撮影原理＞
図１は、本実施の形態１による撮像装置１０１ａにおける構成の一例を示す説明図である。撮像装置１０１ａは、結像させるレンズを用いることなく、外界の物体の画像を取得する装置である。撮像装置１０１ａは、図１に示すように、変調器１０２と、画像センサ１０３と、画像処理部１０６と、を備える。

図２（ａ）に変調器１０２の一例を示す。変調器１０２は、画像センサ１０３の受光面に密着して固定される。変調器１０２は、格子基板１１２ａに形成された第１の格子パターン１０４と、第２の格子パターン１０５とを備える。格子基板１１２ａは、例えばガラスやプラスティックなどの透明な材料で形成される。以降、格子基板１１２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。

格子パターン１０４、１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンを備える。格子パターン１０４、１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンとによって濃淡がつけられる。なお、格子パターン１０４、１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成されてもよい。

なお、ここでは変調器１０２を実現するために、格子パターン１０４、１０５を格子基板１１２ａに形成する方法について述べたが、図２（ｂ）に示すように格子パターン１０４、１０５を薄膜に形成し、支持部材１１２ｂにより保持する構成などによっても実現できる。

格子パターン１０４、１０５を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを備える。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置される。画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部１０６によって画像処理されて画像表示装置１０７などに出力される。

図３は、図１の撮像装置１０１ａによる撮影の一例を示す説明図である。本図には、撮像装置１０１ａによって被写体４００を撮影して画像表示装置１０７に表示する例を示す。図示するように、被写体４００を撮影する際には、被写体４００に対して変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１１２ａの面が正対するように配置する。

続いて、画像処理部１０６による画像処理の概略について説明する。図４は、図１の撮像装置１０１ａが有する画像処理部１０６による画像処理の概略を示すフローチャートである。

まず、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとに２次元フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算を行い、周波数スペクトルを求める（ステップＳ５０１）。

続いて、ステップＳ５０１の処理による周波数スペクトルの片側周波数のデータを切り出した後（ステップＳ５０２）、該周波数スペクトルの強度計算を行う（ステップＳ５０３）ことによって画像を取得する。

そして、得られた画像に対してノイズ除去処理を行い（ステップＳ５０４）、続いてコントラスト強調処理（ステップＳ５０５）などを行う。

その後、画像のカラーバランスを調整して（ステップＳ５０６）、出力信号として撮影画像（画像データ）を生成し(ステップＳ５０７)、出力する。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１ａによる撮影原理について説明する。

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４、１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、位相φ（ｒ）は、以下の式（１）で表される。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、以下の式（２）で示される干渉縞の強度分布が得られる。

この干渉縞は、以下の式（３）を満たす半径位置で明るい線を持つ同心円の縞となる。

縞のピッチをｐとすると、以下の式（４）が得られる。

式（４）より、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示す格子パターン１０４、１０５として用いる。

このような格子パターンが両面に形成された厚さｔの変調器１０２に、図５（ａ）に示すように角度θ_０で平行光が入射したとする。変調器１０２中の屈折角をθとし、幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、以下の式（５）で示す強度分布が得られる。

この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。

このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。

このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。但し、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレートに限定するものではない。

式（５）の展開式の第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかる。しかしながら、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。式（５）から鋭いピークを持つ成分のみを、以下の式（６）のように取り出す。

そのフーリエスペクトルは、以下の式（７）で表される。

ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

その様子を図５（ｂ）～図５（ｄ）に示す。これらの図において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す。図５（ｂ）は、垂直入射、図５（ｃ）は、左側から角度θで光線が入射する場合、図５（ｄ）は、右側から角度θで光線が入射する場合をそれぞれ示す。

変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図５（ｂ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。

図５（ｃ）および図５（ｄ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図５（ｃ）の場合なのか、あるいは図５（ｄ）の場合なのかを判別することができない。

これを避けるためには、例えば図６（ａ）に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの格子パターン１０４、１０５を光軸に対して相対的にずらしておくことが必要である。

軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ_０とするとき、入射角θの平面波によって生じるずれδは、以下の式（８）で表される。

このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、以下の式（９）で示すｕの位置となる。

画像センサ１０３の大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。

このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、以下の式（１０）で表される空間周波数位置とするのが妥当である。

したがって、２つの格子の相対的な中心位置ずれは、以下の式（１１）で表されるδ_０とするのが妥当である。

図６（ｂ）～図６（ｄ）は、第１の格子パターン１０４と第２の格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図５（ｂ）～図５（ｄ）と同様に、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図６（ｂ）は、光線が垂直入射の場合であり、図６（ｃ）は、光線が左側から角度θで入射する場合であり、図６（ｄ）は、光線が右側から角度θで入射する場合である。

第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ_０だけずらして配置される。そのため、図６（ｂ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ_０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定される。このとき図６（ｃ）では、ずれδがさらに大きくなる方向、図６（ｄ）では、小さくなる方向となっている。このため、図５（ｃ）、図５（ｄ）と異なり、図６（ｃ）と図６（ｄ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１ａによる撮影像にほかならない。

受光できる平行光の入射角の最大角度をθｍａｘとすると、以下の式（１２）で示されるｕ_ｍａｘより、

撮像装置１０１ａにて受光できる最大画角ｔａｎθ_ｍａｘは、以下の式（１３）で与えられる。

一般的なレンズを用いた結像との類推から、画角θ_ｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１ａの実効的な焦点距離ｆ_ｅｆｆは、以下の式（１４）に相当すると考えることができる。

ここで、式（１３）より画角は変調器１０２の厚さｔ、格子パターン１０４、１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が図２（ｂ）の構成であり支持部材１１２ｂの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

なお、式（２）で示すように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図７（ａ）に示す格子パターン１０４ａように、格子パターンの透過率を２値化することも可能である。さらに、図７（ｂ）に示す格子パターン１０４ｂのように、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１ａがカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。

もし、これらが相互にモアレ縞を生じると、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりでは、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、以下の式（１５）に示すように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。

したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。

したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図８（ａ）を用いて模式的に説明する。図８（ａ）は、物体を構成する各点からの光が画像センサ１０３に対してなす角を説明する説明図である。

被写体４００を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１ａの変調器１０２および画像センサ１０３（以下、図８（ａ）では格子センサ一体基板１１３という）に入射する。このとき、被写体４００に対して格子センサ一体基板１１３が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板１１３を照明する光の入射角が同じとみなすことができる。

式（９）から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、以下の式（１６）で表される。

この条件下であれば、無限遠の物体に対して撮像装置１０１ａで撮像が可能であり、これまでの議論から高速フーリエ変換（ＦＦＴ）によって、図８（ｂ）に示すような像を得ることができる。

＜有限距離物体の撮影原理＞
ここで、これまで述べた無限遠の場合における表面側の第１の格子パターン１０４の裏面への射影の様子を図９（ａ）に示す。

無限遠の物体を構成する点４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像４０２が下の面に投影される場合、投影像は第１の格子パターン１０４とほぼ同じ形状である。その結果、投影像４０２に対して、裏面側の格子パターン（図１の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、図９（ｂ）に示すような等間隔な直線状のモアレ縞を得ることができる。

一方、有限距離の物体に対する撮像について説明する。図１０（ａ）は、撮像する物体が有限距離にある場合に表面側の第１の格子パターン１０４の裏面への射影が第１の格子パターン１０４より拡大されることを示す説明図である。

図１０（ａ）に示すように、物体を構成する点４１１からの球面波が表面側の第１の格子パターン１０４を照射し、その投影像４１２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点４１１までの距離ｆを用いて、以下の式（１７）のように算出できる。

そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図１０（ｂ）に示すように、等間隔な直線状のモアレ縞は生じなくなる。

しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、図１０（ｃ）に示すように、拡大された投影像４１２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、第２の格子パターン１０５の係数βをβ／αとすることで補正が可能である。

これにより、必ずしも無限遠でない距離の点４１１からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

＜変調器の変形例＞
次に、変調器１０２の構成を簡略化する方法について説明する。この場合の撮像装置１０１ｂの構成の一例を図１１（ａ）に示す。

撮像装置１０１ａの変調器１０２では、格子基板１１２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成する。

撮像装置１０１ａの裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。

そこで、撮像装置１０１ｂでは、図１１（ａ）に示すように、第２の格子パターン１０５を除去した変調器１０２ｂを使用し、第２の格子パターン１０５に相当する処理を画像処理部１０６ｂ内の強度変調部１０６ｃで実行してもよい。

変調器１０２ｂの構成の詳細を図１１（ｂ）に示す。この構成によって、格子基板１１２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができる。

図１２は、図１１（ａ）の画像処理部１０６ｂによる画像処理の概略を示すフローチャートである。

この図１２におけるフローチャートが図４のフローチャートと異なるところは、ステップＳ５１１の処理である。ステップＳ５１１において、画像処理部１０６ｂは、前述した強度変調部１０６ｃにより、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。

具体的には、式（５）に相当する演算が行われればよいので、強度変調部１０６ｃにおいて裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算すればよい。なお、裏面側の格子パターン１０５が図７（ａ）、図７（ｂ）に示すような２値化したパターンであれば、黒に相当する領域の画像センサ１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。

以降、図１２のステップＳ５０１～Ｓ５０７の処理は、図４の処理と同様であるので、ここでは説明を省略する。

なお、この場合、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチが画素１０３ａのピッチにて再現できる程度に粗い必要がある。

格子パターンを格子基板１１２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。

また、以上は強度変調部１０６ｃにより第２の格子パターン１０５に相当する処理を実現したが、第２の格子パターン１０５は画像センサ１０３に密着して入射する光の強度を変調する光学素子であるため、画像センサ１０３の感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。

以上で説明した、裏面側の第２の格子パターン１０５を画像処理部１０６ｂで行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。すなわち、リフォーカスが可能である。このようなリフォーカスが可能な撮像装置１０１ｃの構成を図１３に示す。

撮像装置１０１ｃが図１１（ａ）に示す撮像装置１０１ｂと異なるのは、画像記憶部１２１、画像処理部１２２、フォーカス設定部１２３である。

画像記憶部１２１は、撮影後のフォーカス調整を可能とするため、画像センサ１０３から出力される画像を一時的に格納するために設けられる。また、フォーカス設定部１２３は、撮像装置１０１ｃに備え付けられたつまみや、スマートフォンのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを介して、ユーザが設定するフォーカス距離を受け付け、フォーカス距離情報として画像処理部１２２に出力する。このように、本図に示す撮像装置１０１ｃは、フォーカス距離の設定が可能である。

図１４は、図１３の画像処理部１２２による画像処理の概略を示すフローチャートである。

この図１４におけるフローチャートが図１２のフローチャートと異なるところは、ステップＳ５２１の処理である。ステップＳ５２１において、画像処理部１２２は、前述したフォーカス設定部１２３出力であるフォーカス距離情報に基づいて、式（１７）から拡大率αを算出し、裏面側の第２の格子パターン１０５の係数βをβ／αとする計算を行う。その後ステップＳ５１１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。

以降、図１４のステップＳ５０１～Ｓ５０７の処理は、図４の処理と同様であるので、ここでは説明を省略する。

以上の方法・構成に依れば、高速フーリエ変換（ＦＦＴ）などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、撮像装置１０１ｃによれば、１度の撮影しか必要としない。

なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

また、撮像装置１０１ｃにおいて格子パターン１０４、１０５はフレネルゾーンプレートやガボールゾーンプレートとして説明したが、これに限定されるものではなく、モアレ縞から空間周波数スペクトルを算出できさえすれば、１次元方向のパターンなどを使用してもよい。これらは他の撮像装置１０１ａ、１０１ｂにおいても適用できる。

＜フォーカス調整の自動化＞
フォーカス調整を自動化する撮像装置１０１ｄの構成例を図１５に示す。図１３に示す撮像装置１０１ｃと異なるのは、フォーカス距離算出部１２４である。

図１６は、図１５のフォーカス距離算出部１２４によるオートフォーカスの概略を示すフローチャートである。本オートフォーカスは、フォーカス距離を分解能Δｆ（シフト設定値）ずつシフトさせながら現像処理し、コントラストが最大となる距離を算出し、その距離をフォーカス距離とすることによって実現する。この処理について詳細に説明する。

まず、フォーカス距離の初期値（無限遠もしくは距離０など）を設定（ステップＳ５３１）し、フォーカス距離から拡大率αを算出し、第２の格子パターン１０５の係数βを算出する（ステップＳ５２１）。ステップＳ５１１からＳ５０３までは図１４と同様である。

その後、図１７（ａ）に示すように画像センサ１０３で捉えた撮像範囲６１０内の領域６１１の、任意の領域６１１ａを切り出す（ステップＳ５３３）。この領域６１１ａがフォーカス調整に用いる領域であり、ユーザがＧＵＩで設定してもよいし、顔認識技術等により自動的に設定してもよい。

次に、領域６１１ａ内のコントラストＣを、領域６１１ａ内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、以下の式（１８）または式（１９）のいずれかにより算出し（ステップＳ５３４）、結果を、フォーカス距離に対応づけてメモリに格納する（ステップＳ５３５）。

この後、予め設定したフォーカス可変範囲内の操作が完了するまで（ステップＳ５３６）、ステップＳ５３２へ移行し、フォーカス距離をΔｆずらして設定し、ステップＳ５２１以降の処理を繰り返す。

探索完了後、メモリ内のコントラスト情報を読み出す（ステップＳ５３７）と、図１７（ｂ）に示すように、コントラストとフォーカス距離との関係が得られるので、コントラストが最大となるフォーカス距離を探索し（ステップＳ５３８）、出力する（ステップＳ５３９）。

このフォーカス距離算出部１２４において得られたフォーカス距離情報に基づき、画像処理部１２２で画像処理を行えば、最適なフォーカスでの撮影が可能となる。

以上の方法・構成に依れば、フォーカス調整を自動化でき、さらに従来のカメラと異なり、再撮影を行うことなく最適なフォーカスでの撮影が可能となる。

なお、ここでは、コントラストが最大となる探索を行ったが、これに限定するものではなく、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ－Ｐａｓｓ Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス距離を決定できる方法であればよい。

また、フォーカス距離の走査範囲はユーザが予め設定することも可能である。

また、フォーカス距離をΔｆずつシフトする方法について説明したが、これに限定するものではない。フォーカス距離が変わることによる像のボケ方は、遠方ほど位置に対する感度が低くなるため、撮像装置１０１ｄの近傍は細かく、遠方は粗くシフトさせることでより高精度・高速な探索が可能となる。

＜距離情報の取得＞
次に、距離情報を取得する撮像装置１０１ｄの構成例を図１８に示す。撮像装置１０１ｄは、測距可能な撮像装置である。図１３の撮像装置１０１ｃと異なる構成は、距離計測部１２５ならびに距離情報表示装置１０７ｅである。

図１９は、図１８の距離計測部１２５による距離計測の概略を示すフローチャートである。本距離計測は、前述のオートフォーカスの原理を、画像センサ１０３上の予め定めた画素領域毎に実施することで、最適なフォーカス距離（＝物体が存在する位置）を計測することによって実現する。この処理について詳細に説明する。

まず、ステップＳ５３１からステップＳ５０３までは図１６と同様である。その後、図２０（ａ）に示すように撮像範囲６１０内の領域６２１を、単位領域６２１ｕに分割する（ステップＳ５４１）。

この分割サイズが距離計測における２次元方向の分解能に対応するためサイズが細かい方が好ましいが、細かくし過ぎると測定誤差が増大する問題がある。よって、環境に応じてユーザが分割サイズを変更できることも有用である。この分割した単位領域６２１ｕの例として単位領域６２１ａと単位領域６２１ｂを図２０（ａ）に示す。

次に、単位領域６２１ｕ毎に、領域内のコントラストＣを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、上記式（１８）または式（１９）により算出（ステップＳ５４２）し、結果を、領域毎に、フォーカス距離に対応づけてメモリに格納する（ステップＳ５４３）。

この後、予め設定したフォーカス可変範囲内の操作が完了するまで（ステップＳ５４４）、ステップＳ５３２へ移行し、フォーカス距離をΔｆずらして設定し、ステップＳ５２１以降の処理を繰り返す。

探索完了後、メモリ内のコントラスト情報を読み出す（ステップＳ５４５）と、図２０（ｂ）に示すように、コントラストとフォーカス距離の関係が得られる。本図に示すように、遠方の山が領域内に含まれる領域６２１ａは遠方でコントラストが最大となり、近傍の人が領域内に含まれる領域６２１ｂは比較的近傍でコントラストが最大となる様子が判る。

なお、本図の例では２つの領域の変化のみ示しているが、実際には図２０（ａ）における単位領域６２１ｕの数だけメモリに格納される。このように、単位領域６２１ｕ毎にコントラストが最大となるフォーカス距離を探索し（ステップＳ５４６）、図２０（ｃ）に示すように、距離情報の２次元マップ７２１を作成し、距離データとして出力する（ステップＳ５４７）。

なお、単位領域６２１ｕに対応するメモリ位置７２１ｕごとに、距離情報がメモリに格納される。例えば、単位領域６２１ａに対応するメモリ７２１ａには、距離情報Ｐａが、単位領域６２１ｂに対応するメモリ７２１ｂには、距離情報Ｐｂが、それぞれ、格納される。

この距離データを距離情報表示装置１０７ｅにより表示することで、２次元方向の距離情報を確認可能となる。

ここでは、距離計測部１２５からの出力を、距離情報表示装置１０７ｅに表示する場合を例にあげて説明している。しかし、距離計測部１２５からの出力は、出力信号として、他の装置に出力してもよい。距離計測部１２５からの出力信号は、例えば、自動車やドローンのような機器における、障害物認識、自動運転に適用することもできる。

以上の方法・構成に依れば、画像のみならず、単位領域毎の距離情報を取得することが可能となる。

なお、撮像装置１０１ｄ、１０１ｅでは、コントラストが最大となる探索を行ったが、これに限定されない。例えば、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ－Ｐａｓｓ Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス距離を決定できる方法であればよい。

また、撮像装置１０１ｄ、１０１ｅでは、単一フレームから距離情報を算出する例について述べたが、複数フレームの画像を平均化して使用する、または複数フレームの距離情報を平均化して使用することによってＳＮＲを向上し、距離精度を向上したり、２次元方向の分解能を向上したりすることが可能である。

＜第一実施形態＞
以下、上記撮像装置１０１ｂ～１０１ｅのいずれかを用いる、本発明の第一実施形態を説明する。本実施形態では、３次元情報を取得可能なレンズレスカメラを用い、小型かつ薄型で高精度な３次元認証装置を実現する。以下、本実施形態では、認証対象者（ユーザ）の顔を撮影し、顔により認証を行う場合を例にあげて説明する。すなわち、被写体４００が顔である場合を例にあげて説明する。

図２１は、本実施形態の３次元認証装置２００ａの使用環境の一例を説明するための図である。本図に示すように、本実施形態の３次元認証装置２００ａは、撮像装置１０１ｅを備え、例えば、入退室管理に用いられる。すなわち、本実施形態の３次元認証装置２００ａにおいてユーザの認証が成功した場合、３次元認証装置２００ａから入退出ゲート９２０を解錠する解錠信号が、入退出管理サーバ９１０に向けて出力される。入退出管理サーバ９１０は、解錠信号を受信した場合、入退出ゲート９２０を解錠する。

本実施形態の３次元認証装置２００ａの構成を説明する。図２２（ａ）は、本実施形態の３次元認証装置２００ａの構成図である。本図に示すように、本実施形態の３次元認証装置２００ａは、撮像装置１０１ｅと、認証制御装置２１０と、表示装置１０７ａと、音声出力装置１０８と、操作装置１０９と、を備える。

なお、本実施形態の３次元認証装置２００ａは、例えば、ＣＰＵ２９１と、メモリ２９２と、記憶装置２９３と、ユーザインタフェース２９４と、撮像データ取得部２９５と、を備える。そして、撮像装置１０１ｅおよび認証制御装置２１０の各機能は、記憶装置２９３に記憶されたプログラムを、ＣＰＵ２９１がメモリ２９２にロードして実行することにより実現される。

また、ユーザインタフェース２９４として、表示装置１０７ａ、音声出力装置１０８および操作装置１０９等を備える。なお、撮像データ取得部２９５は、画像センサ１０３と変調器１０２ｂとを備える。

撮像装置１０１ｅは、撮像画像（画像データ）および距離情報（距離データ）を得る、３次元画像取得装置である。また、撮影後に任意の距離にフォーカスを合わせることが可能な装置である。

本実施形態の撮像装置１０１ｅは、基本的に、前述の撮像装置１０１ｅと同じ構成を備える。すなわち、変調器１０２ｂと、画像センサ１０３と、画像記憶部１２１と、画像処理部１２２と、距離計測部１２５と、を備える。

変調器１０２ｂは、第一パターンを備え、その第一パターンにより光の強度を変調する。本実施形態では、第一パターンとして、複数の同心円で構成される第一の格子パターンが用いられる。

画像センサ１０３は、変調器１０２ｂを透過した光を、所定の時間間隔で撮像データに変換して出力する。本実施形態では、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換し、撮像データとして出力する。

画像記憶部１２１は、画像センサ１０３から出力される撮像データを記憶する。これは、撮影後にフォーカス調整を可能とするためである。また、撮像データから、各領域の距離を算出するためである。また、複数フレームの撮像データを使用したノイズキャンセル等の画質改善のためにも使用する場合がある。

画像処理部１２２は、画像記憶部１２１に格納された撮像データに対し、その撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて被写体４００の像を復元する復元処理を行い、撮影画像（画像データ）を取得する。本実施形態は、上述のように、第二パターンとして、複数の同心円で構成される仮想的な第二格子パターンを用いる。

距離計測部１２５は、予め定めた計測領域の、撮像装置１０１から被写体４００までの距離（距離データ）を取得する。本実施形態では、距離計測部１２５は、画像記憶部１２１に格納された撮像データに対する復元処理を、フォーカス距離を変えながら繰り返し、計測領域内の最もコントラストの高いフォーカス距離を、距離データ（その計測領域の距離値）とする。

本実施形態では、図２３（ａ）に示すように、撮像範囲６１０内の所定領域６３１を、予め、複数の単位領域６３１ｕに分割する。そして、各単位領域６３１ｕを、それぞれ計測領域とし、単位領域６３１ｕ毎の距離情報を取得する。そして、図２３（ｂ）に示すように、単位領域６３１ｕ毎の距離情報マップ７１１を作成し、距離データとして出力する。

本実施形態の距離計測部１２５による距離計測処理は、基本的に前述の撮像装置１０１ｅによる距離計測処理と同じであるため、ここでは、説明を省略する。

ただし、本実施形態では、撮像対象が人物の顔である。また、後述するように、図２３（ｃ）に示す、ガイドパターン１１７を、表示装置１０７ａに表示させて撮像を行う。

このため、撮像対象である顔画像の大きさは、概ね同等となり、また、凹凸も略想定可能である。従って、フォーカス距離算出処理のＳ５３１およびＳ５３２で設定するフォーカス距離の初期値は、その値をある程度の範囲に絞り込むことが可能である。また、顔の凹凸状態の範囲が、所定の範囲内と想定できることから、上記シフト設定値Δｆの値も、予め設定できる。従って、処理量を低減できる。

また、距離計測部１２５は、この様にして得られた単位領域６３１ｕに対応する領域７１１ｕ（以下、単位領域７１１ｕ）毎の距離情報を、フォーカス距離情報として、画像処理部１２２へ出力する。画像処理部１２２は、この情報を用いて画像のフォーカス調整を実行し、フォーカス調整実行済みの画像データとして画像情報取得部２１１および画像表示装置１０７へ出力する。

変調器１０２ｂと、画像センサ１０３と、画像記憶部１２１と、画像処理部１２２と、距離計測部１２５と、は、上記撮像装置１０１ｅの同名の構成と基本的に同じである。同じであるため、ここでは、詳細な説明を省略する。

認証制御装置２１０は、３次元認証装置２００ａ全体の動作を制御するとともに、画像データと距離データとを用いて、撮像装置１０１ｅが撮像した認証対象である被写体４００を、認証する。本実施形態では、これを実現するために、画像情報取得部２１１と、画像認証処理部２１２と、距離情報取得部２２１と、距離認証処理部２２２と、登録情報記憶部２３１と、指示受付部２４１と、撮像制御部２４３と、を備える。

指示受付部２４１は、ユーザからの指示を受け付ける。本実施形態では、ユーザの認証時に用いる照合用データを登録する登録指示を受け付ける。登録指示を受け付けた場合、撮像制御部２４３にその旨、通知する。

なお、指示受付部２４１は、ユーザから、登録指示を受け付ける際、後述する照合用データに対応づけて登録情報記憶部２３１に記憶する当該ユーザの識別情報の入力も受け付ける。

ユーザからの指示は、例えば、タッチパネルの機能を有する表示装置１０７ａ、あるいは、撮像装置１０１ｅが備える指示ボタン、テンキー、キーボード等の操作装置１０９等を介して受け付ける。

撮像制御部２４３は、撮像装置１０１ｅの撮像を制御する。本実施形態では、指示受付部２４１から登録指示を受け付けた場合、照合用データ（登録データ）を取得するよう撮像装置１０１ｅを制御する。登録データ取得処理は、後述する。取得した登録データは、登録画像データおよび登録距離データとして、それぞれ、登録情報記憶部２３１に記憶する。なお、このとき、指示受付部２４１を介して受け付けた、識別情報を対応づけて記憶する。

また、撮像制御部２４３は、ガイドパターン１１７を表示装置１０７ａに表示させ、撮像時の、ユーザのポジション（立ち位置）を調整する。調整は、図２３（ｃ）に示すように、表示装置１０７ａに表示されるガイドパターン内に、ユーザの顔が入るように行われる。

なお、ガイドパターン１１７は、撮像時に顔認証を実施する利用者に対して撮像装置１０１と適切な距離を保つことで、画像表示装置１０７に適切な大きさで顔画像が表示できるように誘導するものである。表示させるガイドパターンは、予め、記憶装置に記憶される。

画像情報取得部２１１と、画像認証処理部２１２とは、撮像装置１０１ｅで取得した認証対象の画像である認証画像（認証画像データ）と、登録認証画像（登録画像データ）とを照合し、照合結果を画像認証結果として出力する。このように、画像情報取得部２１１と、画像認証処理部２１２とは、画像認証部として機能する。

画像情報取得部２１１は、画像処理部１２２が出力する画像データから、顔認証に必要な特徴（認証用特徴データと呼ぶ）を抽出し、認証画像データまたは登録画像データを生成する。

本実施形態では、画像情報取得部２１１は、まず、画像データで定まる画像領域の中から顔認証に用いる顔領域を抽出する。顔領域の抽出は、既知の顔認識処理等の画像処理を用いて行う。なお、本実施形態では、上述のように、撮像時、ガイドパターン１１７を表示させ、ユーザに、顔が、ガイドパターン１１７内に入る位置に立つように促す。このため、画像情報取得部２１１は、画像領域内の、ガイドパターン１１７に対応する領域を、顔領域として抽出してもよい。

そして、画像情報取得部２１１は、顔領域として抽出した範囲についてのみ、特徴量抽出処理を行う。特徴量抽出処理では、既知の特徴量抽出手法を用いる。

すなわち、画像情報取得部２１１は、抽出した顔領域に対し、顔画像解析処理を行い、顔の特徴を構成する主要部位を特定する。顔の主要部位としては、例えば目、鼻、口、眉毛、耳などの顔の部位とする。主要部位を特定すると、画像情報取得部２１１は、各主要部位から特徴点の抽出処理を行い特徴点の位置や特徴点間の２次元距離情報等を、認証特徴データとする。

ここで、画像情報取得部２１１は、指示受付部２４１を介して、登録指示を受け付けている場合、算出した認証用特徴データに対し、後述の処理を施し、登録画像データを生成する。そして、登録指示とともに受け付けた識別情報に対応づけて、登録情報記憶部２３１に記憶する。

一方、登録指示を受け付けていない場合は、画像情報取得部２１１は、算出した認証特徴データを、認証画像データとし、画像認証処理部２１２に出力する。

なお、特定した顔領域の情報は、距離計測部１２５にも出力してもよい。この場合、距離計測部１２５は、顔領域のみ、距離情報を算出する。これにより、距離計測部１２５の計算量を抑えることができる。

画像認証処理部２１２は、画像情報取得部２１１から受け取った認証画像データを用いて画像についての認証処理を行う。本実施形態では、受け取った認証画像データに合致する登録画像データが登録情報記憶部２３１に記憶されているか否かを判別する。本実施形態では、両者を比較し、その一致度が予め定めた閾値（画像認証閾値）を超えているか否かを判別する。この判別に用いる一致度の閾値は、予め定めておく。

判別の結果、画像認証閾値以上の一致度を示す登録画像データが記憶されている場合、照合成功を、それ以外の場合は、照合不成功を、それぞれ示す情報を、画像認証結果として出力する。

距離情報取得部２２１と、距離認証処理部２２２とは、撮像装置１０１ｅで取得した認証対象の距離である認証距離情報（認証距離データ）と、登録認証距離情報（登録距離データ）とを照合し、照合結果を距離認証結果として出力する。このように、距離情報取得部２２１と、距離認証処理部２２２とは、距離認証部として機能する。

距離情報取得部２２１は、距離計測部１２５が算出した撮像装置１０１ｅから顔の各部位までの距離情報を基に、各部位間での差分を求め、顔の凹凸情報を算出する。算出した凹凸情報は、認証距離データとする。本実施形態では、予め基準とする位置（単位領域７１１ｕ）を定め、当該単位領域までの距離値との差分を算出する。

例えば、図２３（ｂ）のように、顔領域内の各単位領域７１１ｕにおいて、耳の部分を含む領域７１１ｃを基準単位領域とする。そして、他の単位領域、例えば、目の部分を含む領域７１１ａや鼻頭部分を含む領域７１１ｂ、等との差分を求め、顔の凹凸情報（認証距離データ）とする。

なお、上記では、耳の部分を含む領域７１１ｃを基準としたが、これに限るものではなく、額の部分や口元の部分など適宜設定することでも良い。

なお、距離情報取得部２２１は、指示受付部２４１を介して、登録指示を受け付けている場合、認証距離データに対し、後述する処理を施し、登録距離データを生成する。そして、登録指示とともに受け付けた識別情報に対応づけて、登録情報記憶部２３１に記憶する。

一方、登録指示を受け付けていない場合は、距離情報取得部２２１は、算出した認証距離データを、距離認証処理部２２２に出力する。

距離認証処理部２２２は、距離情報取得部２２１から受け取った認証距離データを用いて、距離情報についての認証を行う。本実施形態では、受け取った認証距離データに合致する登録距離データが登録情報記憶部２３１に記憶されているか否かを判別する。本実施形態では、両者を比較し、その一致度が、予め定めた閾値（距離認証閾値）を超えているか否かを判別する。この判別に用いる一致度の閾値は、予め定めておく。

判定の結果、距離認証閾値以上の一致度を示す登録距離データが記憶されている場合、照合成功を、それ以外の場合は、照合不成功を、それぞれ示す情報を、距離認証結果として出力する。

登録情報記憶部２３１は、上述のように、登録画像データおよび登録距離データを、ユーザの識別情報とともに記憶する。

表示装置１０７ａは、画像処理部１２２が処理した画像を表示する。また、本実施形態では、認証制御装置２１０からの指示に従って、ガイドパターン１１７を表示する。

音声出力装置１０８は、認証制御装置２１０からの指示に従って、音声メッセージを出力する。出力するメッセージは、予め記憶装置２９３に記憶される。

［顔領域決定処理］
次に、本実施形態の３次元認証装置２００ａにおける、顔領域決定処理について説明する。図２４は、本実施形態の顔領域決定処理の処理フローである。上述のように、本実施形態では、所定の時間間隔で、画像センサ１０３は、撮像データを画像記憶部１２１に出力する。本処理は、画像記憶部１２１に撮像データが出力されたことを契機に開始される。

画像処理部１２２は、画像記憶部１２１に出力された撮像データに対し、画像処理を行い（ステップＳ１１０１）、画像データを生成する。

次に、画像情報取得部２１１は、顔領域を特定するため、画像データに対し、顔画像解析処理を行う（ステップＳ１１０２）。まず、画像データに顔画像が含まれているか否か、すなわち、顔領域として特定される領域があるか否かを判別する（ステップＳ１１０３）。ここで、顔領域として特定される領域が、画像データに含まれていない場合（Ｓ１１０３；Ｎｏ）は、そのまま、処理を終了する。

一方、顔領域が画像データに含まれている場合（Ｓ１１０３；Ｙｅｓ）、当該顔領域がガイドパターン１１７内に収まっているか否かを判別する（ステップＳ１１０４）。

ガイドパターン１１７内に収まっている場合（Ｓ１１０４；Ｙｅｓ）、ステップＳ１１０４で特定した顔領域を、顔領域として決定する（ステップＳ１１０５）。そして、画像情報取得部２１１は、距離計測部１２５に、決定した顔領域を特定する情報を出力し（ステップＳ１１０６）、処理を終了する。

一方、ステップＳ１１０４で、ガイドパターン１１７に収まっていない場合（Ｎｏ）、撮像制御部２４３は、メッセージを出力し（ステップＳ１１０７）、再度撮像データを待つ。なお、このとき出力されるメッセージは、例えば、ガイドパターンに収まるよう立ち位置を変更する指示等を含む。

本処理により、顔が、ガイドパターン１１７内に収まった状態で取得された撮像データを用いて、処理を行うことができ、認証精度を高めることができる。

［登録データ登録処理］
次に、本実施形態の撮像装置１０１の画像情報取得部２１１および距離情報取得部２２１による、画像データおよび距離データの登録処理を説明する。図２５は、本登録処理の処理フローである。本実施形態では、指示受付部２０３を介して登録指示を受け付けた場合、本処理を実行し、登録画像データおよび登録距離データをそれぞれ登録する。本処理は、指示受付部２０３を介して、登録指示を受け付けた後、開始される。

なお、本実施形態では、顔領域を決定した後、その顔領域を決定した撮像データに対し、登録画像データ取得処理と、登録距離データ取得処理とが並行して行われる。

まず、上述の、３次元認証装置２００ａは、顔領域決定処理を行う（ステップＳ１２０１）。

その後、画像情報取得部２１１では、特徴点抽出処理を行い（ステップＳ１２０２）、抽出した特徴点を認証画像データとする認証画像データ生成処理を行う（ステップＳ１２０３）。

一方、顔領域の通知を受け取った距離計測部１２５では、顔領域に含まれる単位領域７１１ｕそれぞれについて、距離データを算出する（ステップＳ１３０２）。そして、距離情報取得部２２１は、距離データから認証距離データを生成する（ステップＳ１３０３）。

３次元認証装置２００ａは、以上の処理を、予め定めた回数繰り返す（ステップＳ１２０４）。

そして、画像情報取得部２１１は、繰り返した数の認証画像データから登録画像データを生成し（ステップＳ１２０５）、登録情報記憶部２３１に、入力された識別情報に対応づけて登録する（ステップＳ１２０６）。

また、距離情報取得部２２１は、繰り返した数の認証距離データから登録距離データを生成し（ステップＳ１３０５）、登録情報記憶部２３１に、入力された識別情報に対応づけて登録する（ステップＳ１３０６）。そして、処理を終了する。

なお、登録データ（登録画像データ、登録距離データ）は、取得した複数の認証用データ（認証画像データ、認証距離データ）に、予め定めた統計処理を施し、生成される。統計的処理は、例えば、平均値処理やバラつき範囲を求め、計測誤差等によるバラつきの許容値等の算出等である。

このように、認証用データを複数取得し、それに対し、統計処理を施し、登録データを生成するのは、撮像時のバラつきや、誤差の影響を低減するためである。撮像時の条件、例えば周囲の明るさ、撮像装置１０１ｅまでの距離、撮像装置１０１ｅに対する顔の向きや傾きなどの諸条件は、撮像毎にバラつくことが想定される。従って、ステップＳ１２０４おける処理回数（繰り返し回数）は、認識精度や認識誤り等を考慮して、予め設定する。なお、処理回数は、認証精度との兼ね合いにより適宜増減可能に構成してもよい。

［顔認証処理］
次に、本実施形態の３次元認証装置２００ａによる、顔認証処理の流れを説明する。本処理は、顔領域決定処理により顔領域が決定した際、開始される。図２６（ａ）は、本実施形態の、画像による顔認証処理の処理フローである。また、図２６（ｂ）は、距離による顔認証処理の処理フローである。

まず、画像による顔認証処理の流れを説明する。

画像情報取得部２１１は、顔領域が決定した撮像データに対し、特徴点抽出処理を行う（ステップＳ１４０１）。そして、抽出した特徴点を認証画像データ（認証画像）とする認証画像データ生成処理を行う（ステップＳ１４０２）。

次に、画像認証処理部２１２は、生成された認証画像データを、登録情報記憶部２３１に記憶される登録画像データと比較することにより照合する（ステップＳ１４０３）。そして、比較結果を画像認証結果として出力し（ステップＳ１４０４）、処理を終了する。ここでは、画像認証処理部２１２は、認証画像データと登録画像データとを比較し、画像認証閾値以上の一致度を示す登録画像データが記憶されている場合、認証成功とする。一方、記憶されている登録画像データとの一致度が、全て画像認証閾値未満である場合は、認証不成功とする。

次に、距離による顔認証処理の流れを説明する。

顔領域の通知を受け取った距離計測部１２５では、その顔領域を決定した撮像データの顔領域に含まれる単位領域それぞれについて、距離データを算出する（ステップＳ１５０１）。そして、距離情報取得部２２１は、距離データから認証距離データを生成する（ステップＳ１５０２）。

そして、距離認証処理部２２２は、生成された認証距離データを、登録情報記憶部２３１に記憶される登録距離データと比較することにより照合する（ステップＳ１５０３）。そして、比較結果を距離認証結果として出力し（ステップＳ１５０４）、処理を終了する。ここでは、距離認証処理部２２２は、認証距離データと登録距離データとを比較し、距離認証閾値以上の一致度を示す登録距離データが記憶されている場合、認証成功とする。一方、記憶されている登録距離データとの一致度が、全て距離認証閾値未満である場合は、認証不成功とする。

比較処理を行う際に用いる画像認証閾値および距離認証閾値は、それぞれ、所定値以内の一致度を示すデータを同一人物として判別されるように決定する。３次元認証装置２００ａの置かれた環境等に基づき、測定誤差や撮像時の撮像条件等によるバラつきの影響が排除されるよう決定する。

また、画像認証閾値と、距離認証閾値とは、同じであっても、それぞれ、異なる値であってもよい。これは、以下、他の実施形態、変形例でも同様である。

認証結果の出力先は、例えば、入退出ゲート９２０の開閉を制御する入退出管理サーバ９１０とする。入退出管理サーバ９１０は、画像認証結果と距離認証結果とを受け取り、その認証の成否に応じて解錠する。例えば、画像認証結果および距離認証結果の両者が認証成功の場合、解錠し、その他の場合は、解錠しない。

なお、認証結果は、表示装置１０７ａに出力してもよい。このとき、認証結果として、一致度を表示装置１０７ａに出力してもよい。

なお、本実施形態の処理フローにおいて、各機能が実施している各処理は、他の機能により実施されてもよい。全体の処理の流れとして上記が達成できれば構成要素の何れで実施されても良い。

また、登録画像データおよび登録距離データは、３次元認証装置２００ａが備える登録情報記憶部２３１に記憶するものとして記載しているが、これに限定されない。外部から容易にアクセスできない様に十分安全性を確保出来れば、３次元認証装置２００ａ外の装置に保持してもよい。例えば、ネットワーク上のサーバ上に保持することも可能である。この場合、３次元認証装置２００ａは、外部装置とのデータの送受信機能、または、通信機能を備える。

以上説明したように、本実施形態の３次元認証装置２００ａは、認証対象を被写体４００として撮像する撮像装置１０１ｅと、撮像装置１０１ｅが撮像した認証対象を認証する認証制御装置２１０と、を備える。撮像装置１０１ｅは、第一パターンを備え、当該第一パターンにより光の強度を変調する変調器１０２ｂと、変調器１０２ｂを透過した光を撮像データに変換して出力する画像センサ１０３と、撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて被写体４００の像を復元する復元処理を行い、画像を取得する画像処理部１２２と、予め定めた計測領域の、当該撮像装置１０１ｅから被写体４００までの距離を取得する距離計測部１２５と、を備える。そして、距離計測部１２５は、撮像データに対する復元処理を、フォーカス距離を変えながら繰り返し、計測領域内の最もコントラストの高いフォーカス距離を、距離とする。また、認証制御装置２１０は、予め取得した認証対象の画像である登録画像データと、予め取得した認証対象の距離情報である登録距離データとを記憶する登録情報記憶部２３１と、撮像装置１０１ｅで取得した前記認証対象の画像である認証画像データと、登録画像データとを照合し、照合結果を画像認証結果とする画像認証部と、撮像装置１０１ｅで取得した前記認証対象の距離である認証距離データと、登録距離データとを照合し、照合結果を距離認証結果とする距離認証部と、を備える。

このように、本実施形態の３次元認証装置２００ａによれば、認証に光学レンズを用いない撮像装置を用いる。従って、小型かつ薄型の認証装置を実現できる。さらに、撮像装置で取得した撮像データを処理し、同じ撮影範囲の画像データと距離データとを同時に得、それらを用いて、画像による認証と距離による認証とを並行して行う。従って、より精度の高い認証を実現できる。すなわち、本実施形態によれば、小型かつ薄型で、高精度な個人認証技術を提供できる。

さらに、本実施形態では、距離情報を、２次元の予め定めた単位領域毎に取得する。そして、この距離データを用いて距離による認証を行う。特に、個人の顔で認証を行う顔認証に、この本実施形態の３次元認証装置２００ａを用いると、２次元画像による顔画像認証に加えて顔の凹凸情報を含む距離情報を用いた距離認証を行うことができる。これにより、３次元の認証が可能となり、認証精度の向上が期待できる。

なお、本実施形態では、３次元認証装置２００ａを入退室管理に用いる場合を例にあげて説明したが、これに限定されない。セキュリティの向上のために、例えばＰＣ、サーバ、あるいは情報機器等のデータ管理や、その他にも様々な機器や装置の作動管理等の認証時にも、本実施形態の３次元認証装置２００ａは、用いることができる。

また、図２２（ａ）に示す３次元認証装置２００ａの各構成は、一つの機器で実現する必要はなく、例えば、利用者と直接的に接する機器が、撮像装置１０１の画像センサ１０３、変調器１０２ｂ、画像記憶部１２１といった構成を備え、その他の構成は、他所に存するＰＣやサーバなどの機器が備えるようにしてもよい。この場合、登録情報記憶部２３１は、他所に存するＰＣやサーバ等の機器に設けられる。

＜変形例１＞
上記実施形態では、顔認証処理を、被写体４００である顔画像が、ガイドパターン１１７内に収まった際に実行される場合を例にあげて説明しているが、これに限定されない。指示受付部２４１が、ユーザから認証処理実行の指示を受け付け、それを契機に開始するよう構成してもよい。

この場合、距離計測部１２５は、顔領域の決定を待たず、撮像データの全領域、あるいは、予め定めた所定領域６３１を、単位領域６３１ｕに分割し、各単位領域６３１ｕの距離を算出する。なお、用いる撮像データは、画像情報取得部２１１が処理対象とする撮像画像の基となる撮像データである。

なお、本変形例においても、ユーザからの指示受付後、顔認証処理実行前に、顔領域決定処理を実行してもよい。

＜変形例２＞
また、上記実施形態では、距離計測部１２５は、顔領域決定後、顔領域を含む各単位領域６３１ｕについて、距離データを算出している。しかしながら、距離データの算出範囲は、これに限定されない。

本実施形態では、２次元の画像による顔認証の追加認証として距離情報を用いる。認証対象が顔であるため、予め定めた、目、鼻、口等の主要部分の距離情報だけでも認証情報として十分である。従って、例えば、図２７（ａ）に示すように、予め主要部分を指定領域とし、距離計測部１２５は、その指定領域の距離データのみを算出するよう構成してもよい。

本図の例では、目を含む領域６３１ｄおよび鼻を含む領域６３１ｅについて、上記撮像装置１０１ｄを用いて説明した手法で、距離を算出する。

これらの領域６３１ｄ、６３１ｅは、まず、これらの領域６３１ｄ、６３１ｅに対応する画像上の領域を画像情報取得部２１１が特定する。特定は、上述のように、画像処理部１２２が取得した２次元画像に対し、顔認識処理を行うことによりなされる。そして、距離計測部１２５は、それに対応するメモリの領域、すなわち、画像メモリの画素１０３ａを、領域６３１ｄ、６３１ｅとして特定する。

このように構成することにより、距離情報を算出する領域を抑えることができ、それに伴い、演算量を抑えることができる。すなわち、本変形例によれば、３次元認証を少ない負荷で実現できる。

＜変形例３＞
なお、さらに、セキュリティを向上させるため、ユーザの、片目瞼、喉元や歯の奥などの２次元情報、距離情報も取得し、認証を行ってもよい。図２７（ｂ）のこの場合の顔画像の一例を示す。

この様に、通常の表情での顔の凹凸情報に加えて方瞼、両瞼、口の中の情報等、より複雑な形状を認証情報として取り込むことにより、デスマスク的なものによる成りすましによる不正な認証を回避できる。

なお、図２７（ｂ）の例では、片目を瞑った状態での目、あるいは口の中の情報を取得する様子について示しているが、これに限るものではなく、両目の距離や瞼までの距離なども利用できる。

音声出力装置１０８は、平常状態の表情で顔認証を行い、画像認証処理部２１２から認証成功の通知を受け取ると、所定の時間間隔で、予め定めた音声メッセージを出力する。

出力する音声メッセージは、例えば、片目を例えば「片目を瞑ってください」あるいは「口を大きく開けて下さい」といった音声指示である。これらのデータは、予め、記憶装置２９３に格納される。音声出力装置１０８は、これらの音声指示により、ユーザに、所望の顔の状態とするよう促す。

なお、この場合、変化前の画像と距離との３次元情報、および、変化後の３次元情報を、それぞれ、登録情報記憶部２３１に登録し、認証時にそれぞれ照合してもよい。すなわち、画像情報取得部２１１、画像認証処理部２１２、距離情報取得部２２１および距離認証処理部２２２は、音声メッセージの出力後、所定の時間経過後に、上述の顔認証処理を行う。

また、変化後の表情については、登録情報として登録しておかなくてもよい。例えば、画像情報取得部２１１、画像認証処理部２１２、距離情報取得部２２１、および距離認証処理部２２２は、変化させる対象の領域が、変化したか否かを判別するだけでもよい。

すなわち、この場合、画像認証処理部２１２および距離認証処理部２２２は、該当する領域が、音声指示に従って変化したことが検出された場合、認証成功とする。一方、該当する領域が、音声指示を受けても変化しない、すなわち、利用者が指示通りの顔の表情を実行できないと判断する場合は、認証不成功と判断する。

このように構成することにより、記憶する情報量の増加を抑え、成りすましを防止することができる。また、認証処理時の演算量を低減させることができる。

また、記憶装置２９３に登録されている表情の変化を指示する音声指示を全て行わなくてもよい。例えば、上限の回数を決め、表情の変化を検出できるまで音声指示を行う。そして、上限回数までに、表情の変化を検出できない場合は、認証不成功、すなわち、成りすまし、と済まし判断するよう構成してもよい。

なお、顔の表情を変化させる指示は、音声指示だけでなくてもよい。例えば、さらに、画像表示装置１０７に指示をメッセージとして表示させてもよい。

＜変形例４＞
なお、上記実施形態では、画像による認証と、距離による認証とを別個独立に行っているが、これに限定されない。例えば、画像による認証および距離情報による認証の両者が認証成功でない限り、認証成功を出力しないように構成してもよい。

この場合、図２８に示すように、３次元認証装置２００ｂは、さらに、認証処理部２５１を備える。そして、認証処理部２５１が、画像認証処理部２１２および距離認証処理部２２２の認証結果に基づいて、最終的に認証（３次元認証）を行う。

例えば、認証処理部２５１は、画像認証処理部２１２が認証成功と判別し、かつ、距離認証処理部２２２が認証成功と判別した場合のみ、認証成功とする。一方、少なくとも一方が、認証不成功の場合、認証不成功と判別する。

この場合の顔認証処理の流れを、図２９に示す。この場合も、顔領域決定処理により、顔領域が決定されたことを契機に開始されるものとして説明する。

顔領域が決定されると、画像情報取得部２１１および画像認証処理部２１２では、上記同様、特徴点抽出処理（ステップＳ１４０１）、認証画像データ生成処理（ステップＳ１４０２）、比較処理（ステップＳ１４０３）を行い、画像認証結果を算出する（ステップＳ１４０４）。

また、距離情報取得部２２１および距離認証処理部２２２では、上記同様、領域毎距離計測処理（ステップＳ１５０１）、認証距離データ生成処理（ステップＳ１５０２）、比較処理（ステップＳ１５０３）を行い、距離認証結果を算出する（ステップＳ１５０４）。

認証処理部２５１は、画像認証結果および距離認証結果を受け取り、両方とも認証成功であるか否かを判別する３次元認証を行う（ステップＳ１６０１）。そして、両方とも成功である場合（Ｓ１６０１；Ｙｅｓ）、３次元認証結果として、認証成功を出力し（ステップＳ１６０２）、それ以外の場合は、認証不成功を出力し（ステップＳ１６０３）、処理を終了する。

このように本変形例によれば、例えば、顔認証の場合、顔画像による２次元的な情報による認証と、距離情報による顔の凹凸情報といった別の次元の情報とを加えた、３次元情報を用いた認証において、両者ともに認証成功の場合のみ、認証成功とする。従って、３次元認証装置２００ａからの認証の成否の出力自体の精度を高めることができる。また、そのための新たなハードウェアは不要である。このため、本変形例によれば、簡易な構成で、精度の高い認証を行うことができる。

＜変形例５＞
さらに、上記実施形態では、認証の成否について、比較の結果、一致度が予め定めた閾値以上の登録データが存在するか否かで判別している。しかしながら、これに限定されない。

例えば、画像認証処理部２１２は、画像認証閾値以上の一致度の登録画像データが有る場合、そのうち、最も一致度が高い登録画像データの識別情報を、認証処理部２５１に出力する。

また、距離認証処理部２２２は、距離認証閾値以上の一致度の登録距離データが有る場合、すなわち、認証成功の場合、そのうち、最も一致度が高い登録距離データの識別情報を、認証処理部２５１に出力する。

認証処理部２５１は、画像認証処理部２１２から受け取った識別情報と、距離認証処理部２２２から受け取った識別情報とが一致した場合、認証成功と判断する。一方、たとえ、両者で認証が成功したとしても、識別情報が一致しない場合、認証不成功と判別する。

この場合の処理フローを、図３０に示す。画像認証処理部２１２および距離認証処理部２２２による比較処理（Ｓ１４０３、Ｓ１５０３）までは、上記実施形態と同様である。

その後、画像認証処理部２１２は、画像認証閾値以上の一致度を示す登録画像データがあるか否かを判別する（ステップＳ１７０１）。そして、画像認証閾値以上の一致度を示すデータが無い場合（Ｓ１７０１；Ｎｏ）、認証不成功とし、その旨出力し（ステップＳ１７０２）、処理を終了する。

一方、画像認証閾値以上の一致度を示すデータが有る場合（Ｓ１７０１；Ｙｅｓ）、画像認証処理部２１２は、その中で最も一致度の高い（最高一致度）登録画像データに対応づけて記憶されている識別情報（ＩＤ）を、画像ＩＤと特定し（ステップＳ１７０３）、認証処理部２５１に出力する。

同様に、距離認証処理部２２２は、距離認証閾値以上の一致度を示す登録距離データがあるか否かを判別する（ステップＳ１７０４）。そして、距離認証閾値以上の一致度を示すデータが無い場合（Ｓ１７０４；Ｎｏ）、認証不成功とし、その旨出力し（ステップＳ１７０２）、処理を終了する。

一方、距離認証閾値以上の一致度を示すデータが有る場合（Ｓ１７０４；Ｙｅｓ）、距離認証処理部２２２は、その中で最も一致度の高い（最高一致度）登録距離データに対応づけて記憶されている識別情報（ＩＤ）を、距離ＩＤと特定し（ステップＳ１７０５）、認証処理部２５１に出力する。

認証処理部２５１は、受け取った画像ＩＤと距離ＩＤとを比較し、両者が一致するか否かを判別する（ステップＳ１７０６）。そして、一致した場合、認証成功と判別し、その旨出力し（ステップＳ１７０７）、処理を終了する。一致しない場合は、ステップＳ１７０２へ移行する。

この変形例によれば、画像による認証と距離による認証それぞれにおいて、最も一致度の高い登録情報の識別情報を特定し、両者の一致不一致を判別する。したがって、より認証精度が高くなる。

なお、本変形例では、最も一致度の高い１つの識別情報を、画像認証処理部２１２および距離認証処理部２２２から、認証処理部２５１に出力するよう構成しているが、出力する識別情報は１つに限定されない。

例えば、画像認証処理部２１２および距離認証処理部２２２それぞれから、一致度の高い方からＮ個、Ｍ個（Ｎ、Ｍは２以上の整数）抽出してもよい。そして、認証処理部２５１では、受け取ったＮ個の識別情報と、Ｍ個の識別情報とを対比し、合致するものがあれば、認証成功と判別してもよい。

Ｎ、Ｍは、画像認証および距離認証の精度に応じて予めさだめておく。これにより、認証の許容度を高めることができる。

＜第二実施形態＞
本発明の第二実施形態を説明する。上記実施形態では、認証対象を、ユーザの顔を念頭においている。一方、本実施形態では、認証対象を、同じ生体でも、生体内部の、例えば、静脈等とする。以下、本実施形態を、指の静脈で認証を行う場合を例にあげて説明する。

本実施形態の３次元認証装置２００ｂを、図３１（ａ）に示す。本実施形態の３次元認証装置２００ａは、基本的に第一実施形態と同じ構成を有する。本実施形態の３次元認証装置２００ａは、さらに、間隔制御部２６１と、照射装置２６２を備える。

また、本実施形態では、画像センサ１０３と変調器１０２ｂとの間の距離を可変とする。前述の式（１３）で示すように、支持部材１１２ｂの長さに相当する画像センサ１０３と変調器１０２ｂとの間の距離を変更することにより、画角を変更する。そして、画像センサ１０３から近距離範囲の物体を撮像する際の、後処理によるフォーカス調整精度を向上させる。

図３１（ｂ）および図３１（ｃ）は、静脈認証を実施する場合の例を示す。通常の画像撮像時には、図３１（ｂ）に示す様に、画像センサ１０３と変調器１０２ｂとの間隔Ｄは、Ｄ１となるよう配置する。一方、静脈認証を実行する場合は、図３１（ｂ）に示す様に、両者の間隔をＤ２とする。なお、Ｄ１＞Ｄ２である。

間隔制御部２６１は、画像センサ１０３と変調器１０２ｂとの間隔を制御する。例えば、間隔は、ユーザからの指示により制御する。なお、間隔制御部２６１は、画像センサ１０３と変調器１０２ｂとの間に設けられる支持部材１１２ｂであってもよい。すなわち、この支持部材１１２ｂを、弾性体で形成し、ユーザが、認証時に変調器１０２ｂを押下することにより、間隔を変更してもよい。また、間隔制御部２６１は、変更後の間隔を検出し、撮像制御部２４３に出力するよう構成してもよい。

なお、本実施形態の撮像装置１０１は、ユーザが認証のために、例えば指等を載置したことを検出する検出センサ２６３を備えてもよい。検出センサ２６３は、変調器１０２ｂの上に設けられてもよいし、変調器１０２ｂと画像センサ１０３との間の、例えば、支持部材１１２ｂが備えていてもよい。

照射装置２６２は、静脈パターンを透過撮像するための照射装置である。認証対象の指を挟んで、変調器１０２ｂと対向する位置に、配置される。照射装置２６２は、例えば、近赤外線ＬＥＤ等により構成される。

３次元認証装置２００ｂは、静脈のような変調器１０２ｂに近接させて認証する対象と、顔のような離間して認証する対象との両方に用いてもよい。すなわち、３次元認証装置２００ｂは、顔認証モードと、静脈認証モードとの２つの認証モードを備えてもよい。この場合、画像センサ１０３と変調器１０２ｂとの間隔は、前述のように、指による変調器１０２ｂ部分の押下げで行うことでも良いし、モードに切り替え時に、間隔を機械的、あるいは電気的に変える様にしても良い。

なお、３次元認証装置２００ｂを、例えば、静脈による認証専用とする場合は、変調器１０２ｂと画像センサ１０３との間隔Ｄは、近距離範囲の物体に最適な間隔Ｄ２に固定であってもよい。この場合、間隔制御部２６１は、備えなくてもよい。

本実施形態の撮像制御部２４３は、検出センサ２６３が、変調器１０２ｂ上に載置されたユーザの指を検出すると、まず、照射装置２６２に照射させる。そして、画像処理部１２２に画像処理を行わせる。

画像処理部１２２は、図３２に示す様に、照射装置２６２による照射により得られる指の輪郭および破線で示す指の中の静脈に対応する領域６４１を切り出し、静脈画像を生成し、出力する。

また、距離計測部１２５は、フォーカス調整を実施し、距離情報を得る距離計測を行う。距離計測は、図３２に示すように、領域６４１を所定の網目状に細かく分割した各単位領域６４１ｕに対して実行する。そして、単位領域６４１ｕ毎の距離データを得る。

本実施形態の距離情報取得部２２１は、第一実施形態同様、各単位領域７４１ｕについて、基準とする単位領域の距離データとの差分を算出し、凹凸情報の認証距離データを生成する。

さらに、本実施形態の距離情報取得部２２１は、単位領域毎の距離データを解析することにより、静脈画像における交差領域の特性を特定する。具体的には、画像上の血管の重なりが、血管の分岐によるものか、独立した血管が３次元的に重なっているものかを判別する。そして、判別結果を、単位領域を特定する情報とともに出力する。

判別の原理を説明する。静脈画像が重なり合う様な単位領域、例えば６４１ａや６４１ｂでは、静脈が分岐している場合と立体的に重なり合って映し出されている場合とで、距離データが異なる。静脈が分岐している単位領域６４１ａでは、その前後左右の単位領域の静脈までの距離値と、略同じ結果が得られる。一方、静脈が立体的に重なり合っている単位領域６４１ｂでは、その前後左右の単位領域の静脈までの距離値と異なる結果が得られる。

距離情報取得部２２１は、このように、距離データの距離値を、前後左右の単位領域の距離値を用いて解析することにより、静脈画像の重なりが血管の分岐によるものか、立体的に重なって撮像されているものかの判別する３次元解析を行う。

なお、その他の第一実施形態と同名の構成は、同様の機能であるため、ここでは、説明を省略する。

本実施形態における登録画像データ登録処理、登録距離データ登録処理、顔認証処理は、基本的に第一実施形態と同様である。ただし、本実施形態では、顔決定処理を行わない。その代わり、撮像制御部２４３が、変調器１０２ｂ上に指が載置されたことを検出すると、処理を開始する。

このとき、画像処理部１２２は、処理開始後、所定の時間間隔で画像センサ１０３から出力される撮像データから画像を復元し、画像情報取得部２１１に出力する。そして、画像情報取得部２１１は、画像を受け取る毎に、当該画像を解析し、特徴点抽出処理を行い、認証画像データを生成する。

また、距離計測部１２５は、処理開始後、画像処理部１２２の処理と同じタイミングで得られる撮像データに基づいて、距離データを算出し、距離情報取得部２２１に出力する。そして、距離情報取得部２２１は、その距離データに基づき、認証距離データを生成する。

なお、その他の処理手順は、第一実施形態と同様であるため、ここでは、説明を省略する。

本実施形態の３次元認証装置２００ｂを、入退出管理に適用する例を説明するための説明図を、図３３（ａ）に示す。

図３３（ｂ）に示すように、画像センサ１０３と変調器１０２ｂとの距離を静脈認証用に設定した撮像装置１０１ｅを適用すれば、静脈パターンおよび静脈の３次元位置関係による認証により入退出ゲート９２０の開錠が可能となる。

以上説明したように、本実施形態の３次元認証装置２００ｂは、第一実施形態の構成に加え、画像センサ１０３と変調器１０２ｂとの間の間隔を変更する間隔制御部を備える。これにより、撮像装置１０１ｅの画角の変更を自在に行うことができる。

従って、本実施形態によれば、撮像可能な範囲が拡大し、それに伴い、認証対象を広げることができる。例えば、撮像装置１０１ｅと、ある程度の距離を置いて顔を撮影して行う顔認証だけでなく、近接して撮影する必要のある静脈認証にも対応できる。

また、本実施形態の３次元認証装置２００ｂでは、画像認証部で、静脈画像から認証に必要な静脈パターンを抽出し、予め登録してある静脈パターンとの一致度合を判定する。

一方、距離認証部では、静脈パターンの距離情報を取得し、静脈を立体的に捉える。すなわち、距離認証部では、距離計測部１２５で得られる静脈パターンの距離データから血管の３次元的な位置関係を把握することができる。

特に、上述の画像上の重なり部分は血管の分岐か重なりかを判別することが可能となる。なお、この特性を利用し、静脈パターン全体について３次元認証を実施することに替えて、上述の様な重なり部分に着目して特徴点として抽出し、３次元認証に用いてもよい。

なお、本実施形態では、指静脈の場合を例示しているが、静脈を撮像できれば掌等でも同様に実施できる。

また、本実施形態についても、第一実施形態の各種の変形例は適用可能である。

さらに、第一実施形態と第二実施形態とを組み合わせてもよい。

図３３（ｃ）は、３次元顔認証と３次元静脈認証と両方を実行可能な３次元認証装置２００ｃの一例を示す。３次元認証装置２００ｃのカバー部２０１ｃが開いている状態では撮像装置１０１ｅは顔認証を実行するための顔画像の取得を実行し、次にカバー部２０１ｃを閉じると静脈画像を取得して静脈認証を実行する。例えば、顔認証と静脈認証の双方を実施して、双方で認証成功の場合のみ、通行を許可する。これにより、セキュリティ強度を一層向上させることも可能となる。

＜第三実施形態＞
本発明の第三実施形態を説明する。本実施形態では、第一実施形態または第二実施形態の３次元認証装置２００ａ～２００ｃ（以下、３次元認証装置２００で代表する。）の機能の一部または全部を、スマートフォン等の携帯型の情報通信機器に搭載する。これにより、本実施形態では、３次元情報を取得可能なレンズレスカメラを用い、小型かつ薄型、高精度に認証可能で、かつ、携帯可能な３次元認証システム９００を実現する。

図３４（ａ）は、本実施形態の３次元認証システム９００のシステム概要を説明するための図である。本図に示すように、本実施形態では、３次元認証装置２００の機能およびハードウェアを、スマートフォン等の携帯型情報端末（以下、携帯端末と呼ぶ。）３００が備える。そして、携帯端末３００による認証結果を、入退出管理サーバ９１０に出力する。入退出管理サーバ９１０は、認証結果に応じて、入退出ゲート９２０の解錠を制御する。

なお、携帯端末３００は、無線通信機能と、情報処理機能と、撮像機能と、表示機能と、を有する情報処理装置であればよく、例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。

本実施形態の携帯端末３００は、既存の一般的な携帯端末３００である。その外観を図３４（ｂ）に、また、そのハードウェア構成を図３５に、それぞれ示す。本図に示すように、携帯端末３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、システムバス３０２と、記憶装置３１０と、通信装置３２０と、拡張Ｉ／Ｆ３２７と、操作器３３０と、ビデオプロセッサ３４０と、オーディオプロセッサ３５０と、センサ３６０と、照射装置３７０と、を備える。

ＣＰＵ３０１は、携帯端末３００全体を制御するマイクロプロセッサユニットである。システムバス３０２はＣＰＵ３０１と携帯端末３００内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。

記憶装置３１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１２と、ストレージ３１３とを備える。

ＲＯＭ３１１は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されたメモリである。ＲＯＭ３１１として、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。

ストレージ３１３は、携帯端末３００の動作プログラムや動作設定値、本実施形態の各機能を実現するために必要な各種のプログラムや各種のデータを記憶する。ストレージ３１３は、携帯端末３００に外部から電源が供給されていない状態であっても記憶している情報を保持する。このため、ストレージ３１３には、例えば、フラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のデバイスが用いられる。

ＲＡＭ３１２は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。

通信装置３２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信器３２１と、電話網通信器３２２と、有線通信器３２３と、近接無線通信器３２４と、無線通信器３２５と、を備える。

ＬＡＮ通信器３２１はＷｉ－Ｆｉ（登録商標）等による無線接続によりアクセスポイント（ＡＰ）装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行う。

電話網通信器３２２は移動体電話通信網の基地局との無線通信により、通話およびデータの送受信を行う。

有線通信器３２３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線接続手段により、携帯端末３００近傍の他の装置とデータの送受信を行う。

近接無線通信器３２４は、近接無線通信器を備える他の装置と無線通信によりデータの送受信を行う。近接無線通信器３２４は、例えば、近距離無線通信（ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ））のＩ／Ｆであり、数センチからおよそ１メートル程度の極短距離で、ＮＦＣチップを搭載した機器間の双方向通信を実現する。例えば、携帯端末３００に搭載される電子マネーなどの非接触ＩＣチップを利用したサービスに対応する。

無線通信器３２５は、無線通信器を備える他の装置と無線通信によりデータの送受信を行う。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、数ｍから数十ｍ程度の距離の情報機器間で、電波を使い簡易な情報のやりとりを実現する。

ＬＡＮ通信器３２１と、電話網通信器３２２と、有線通信器３２３と、近接無線通信器３２４と、無線通信器３２５は、それぞれ、符号回路や復号回路、アンテナ等を備える。また、通信装置３２０は、赤外線通信を実現する通信器や、その他の通信器を更に備えていても良い。

本実施形態では、携帯端末３００から入退出管理サーバ９１０には、例えば、ＬＡＮ通信器３２１、無線通信器３２５または有線通信器３２３により、認証結果が送信される。

拡張Ｉ／Ｆ３２７は、携帯端末３００の機能を拡張するためのインタフェース群である。本実施形態では、映像／音声Ｉ／Ｆ、操作機器Ｉ／Ｆ、メモリＩ／Ｆ等を備える。映像／音声Ｉ／Ｆは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。キーボード等の外部操作機器は、操作機器Ｉ／Ｆを介して接続される。メモリＩ／Ｆは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

操作器３３０は、携帯端末３００に対する操作指示の入力を行う。本実施形態では、ディスプレイ３４１に重ねて配置したタッチパネルおよびボタンスイッチを並べた操作キーを備える。なお、そのいずれか一方のみであっても良い。また、拡張Ｉ／Ｆ３２７に接続したキーボード等を用いて携帯端末３００の操作を行っても良い。また、有線通信又は無線通信により接続された別体の携帯情報端末機器を用いて携帯端末３００の操作を行っても良い。また、タッチパネル機能はディスプレイ３４１が備えていてもよい。

ビデオプロセッサ３４０は、ディスプレイ３４１と、画像信号プロセッサ３４２と、カメラ３４３と、を備える。

ディスプレイ３４１は、例えば液晶パネル等の表示デバイスであり、画像信号プロセッサ３４２で処理した画像データを表示し、携帯端末３００のユーザに提供する。本実施形態では、３次元認証装置２００の表示装置１０７ａとしても機能する。

画像信号プロセッサ３４２は図示を省略したビデオＲＡＭを備え、ビデオＲＡＭに入力された画像データに基づいてディスプレイ３４１が駆動される。また、画像信号プロセッサ３４２は、必要に応じてフォーマット変換、メニューやその他のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号の重畳処理等を行う。

カメラ３４３は、入射した光を電気信号に変換することにより、周囲や対象物を画像データとして取得する撮像装置である。本実施形態では、３次元認証装置２００の撮像装置１０１である。

オーディオプロセッサ３５０は、スピーカ３５１と、音声信号プロセッサ３５２と、マイク３５３と、を備える。スピーカ３５１は、音声信号プロセッサ３５２で処理した音声信号を携帯端末３００のユーザに提供する。マイク３５３は、ユーザの声などを音声データに変換して入力する。スピーカ３５１は、３次元認証装置２００の音声出力装置１０８としても機能する。

センサ３６０は、携帯端末３００の状態を検出するためのセンサ群である。本実施形態では、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器３６１と、ジャイロセンサ３６２と、地磁気センサ３６３と、加速度センサ３６４と、照度センサ３６５と、近接センサ３６６と、生体情報センサ３６７と、検出センサ３６８と、を備える。

検出センサ３６８は、第二実施形態の３次元認証装置２００ａが搭載された際、指が変調器１０２ｂ上に載置されたことを検出するセンサである。

尚、他のセンサ群により、携帯端末３００の位置、傾き、方角、動き、および周囲の明るさ、ユーザの生体情報等を検出する。また、携帯端末３００が、気圧センサ等、圧力センサ他のセンサを更に備えていても良い。なお、位置情報は、ＧＰＳ受信器３６１により取得する。ＧＰＳ電波が入りにくい場所等では、ＬＡＮ通信器３２１によりＷｉ－ＦｉのＡＰ装置の位置情報を用いて取得してもよいし、同様に電話網通信器３２２により基地局の位置情報および電話通信電波の伝搬遅延を用いた位置情報取得方法により取得してもよい。また、これらのセンサ群は、必ずしも全てを備えていなくてもよい。

照射装置３７０は、第二実施形態の３次元認証装置２００ａが搭載された際、変調器１０２ｂ上に載置された指を照射する装置である。

なお、図３５に示す携帯端末３００の構成例は、本実施形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。

また、撮像装置１０１ｅおよび認証制御装置２１０の各機能は、予め記憶装置３１０に記憶されたプログラムを、ＣＰＵ３０１がＲＡＭ３１２にロードして実行することにより実現される。また、登録情報記憶部２３１は、例えば、ストレージ３３上に構築される。

本実施形態の撮像および３次元認証の方法および動作は、上記各実施形態および変形例と同様である。

このように、本実施形態によれば、携帯端末３００が、上述の３次元認証装置２００を備える。このため、小型の端末で手軽に３次元認証処理を行うことが可能となる。よって、セキュリティ管理の必要な入退室管理、情報機器のデータ管理、ソフトウェア操作等へ適用して安全性の向上を図ることができる。

＜変形例６＞
なお、本実施形態の３次元認証システム９００では、第一実施形態または第二実施形態の３次元認証装置２００の全機能を携帯端末３００が備える場合を例にあげて説明したが、これに限定されない。入退出管理サーバ９１０が、一部の機能を備えていてもよい。

本実施形態の３次元認証システム９００は、例えば、撮像、画像処理（現像）、距離測定（距離計測処理）、フォーカス調整、顔認証（画像認証処理）、距離認証処理、および解錠指示といった処理（機能）を含む。

携帯端末３００および入退出管理サーバ９１０との間の、これらの機能の分担の一例を、図３６に示す。ここでは、各機能の分担例を、それぞれ、処理方式として示す。

処理方式１では、携帯端末３００側では、撮像処理だけを実施する。その他の処理を入退出管理サーバ９１０で実現する。

すなわち、携帯端末３００では、画像センサ１０３で撮像データを取得し、その撮像データを、通信により、入退出管理サーバ９１０へ送信する。

入退出管理サーバ９１０は、画像記憶部１２１、画像センサ１０３、距離計測部１２５および認証制御装置２１０の機能を備える。そして、画像処理、距離計測（フォーカス調整）、認証処理および解錠指示を実現する。

処理方式２では、撮像から距離測定（フォーカス調整）までの処理を携帯端末３００側で担い、後の処理を入退出管理サーバ９１０側に引き継がせる。

すなわち、携帯端末３００が、撮像装置１０１の機能を、入退出管理サーバ９１０が、認証制御装置２１０の機能と解錠指示機能とを備える。

処理方式３では、撮像および３次元認証を携帯端末３００側で実行し、入退出管理サーバ９１０で、顔認証と解錠指示とを行う。なお、認証については、逆であってもよい。すなわち、いずれか一方の認証を携帯端末３００側で行い、他方の認証を、入退出管理サーバ９１０側で行う。

処理方式４では、認証処理までの全てを携帯端末３００側で実施し、入退出管理サーバ９１０側では、携帯端末３００からの認証結果に基づいて入退出ゲート９２０の解錠制御を実行する。

以上の様に処理負荷やシステム構築のし易さ等から、携帯端末３００と入退出管理サーバ９１０で処理分担を、自在に変更することが可能であり、融通性の高いシステムを実現できる。

なお、いずれの方式を採用する場合であっても、認証処理を行う際に使用する登録データを格納する登録情報記憶部２３１は、認証処理を行う機能の側の装置に構築することが望ましい。

＜変形例７＞
さらに、携帯端末３００と入退出管理サーバ９１０との間のデータ通信は、暗号化してもよい。

図３７（ａ）に示すように、携帯端末３００の通信装置３２０は、送出するデータを暗号化するとともに、受信したデータ復号化する暗号復号化処理部３２９を備える。また、入退出管理サーバ９１０も同様に、送出するデータを暗号化するとともに、受信したデータ復号化する暗号復号化処理部４１１を備える。

これにより、認証に必要な情報やデータを盗聴されることなく携帯端末３００と入退出管理サーバ９１０との間で受け渡しが可能となる。

なお、暗号復号化処理部３２９、４１１は、それぞれの機器のＣＰＵが演算により実現してもよいし、専用ハードウェア等により実現されてもよい。

＜変形例８＞
なお、本実施形態の３次元認証装置２００は、例えば、図３７（ｂ）に示すように、携帯端末３００自体の使用者認証に用いてもよい。

この場合、登録画像データおよび登録距離データとして登録されるデータは、それぞれ、使用者本人のもののみである。従って、上記の顔認証処理の比較処理において、登録されている登録画像データとの一致度が画像認証閾値以上であれば、認証成功と判別する。また、距離データについても同様に、登録されている登録距離データとの一致度が、距離認証閾値以上であれば、認証成功と判別する。そして、携帯端末３００の制御部は、認証成功時に、当該携帯端末３００のロックを解除する。

本変形例においても、さらに、認証処理部２５１により、画像認証と距離認証との結果を用いて、最終的な認証の成否を決定してもよい。また、顔認証と静脈認証とを組み合わせて認証の成否を決定してもよい。

これにより、携帯端末３００による決済機能への対応等において、精度の高い使用者認証を行うことができる。

上述の各実施形態および各変形例では、変形例８を除き、入退室管理に３次元認証装置２００を用いる場合を例にあげて説明している。しかし、利用箇所はこれに限定されない。例えば、データ管理やインターネットバンキングなどセキュリティ強度を要するアプリケーションソフトウェア等でのパスワード処理に代えて、あるいは更に追加して、各実施形態および各変形例の３次元認証装置を用いることで一層のセキュリティ向上が図れる。

また、認証対象についても、顔、静脈に限らず、虹彩、手のひら、他３次元情報により精度が高まる生体認証等に用いることができる。

以上説明したように、各実施形態および各変形例によれば、光学的なレンズを不要とする撮像装置を用い、簡易な構成により３次元認証を実施することが出来、装置の小型化および利便性を向上する認証機能を提供できる。

本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１：撮像装置、１０１ａ：撮像装置、１０１ｂ：撮像装置、１０１ｃ：撮像装置、１０１ｄ：撮像装置、１０１ｅ：撮像装置、１０２：変調器、１０２ｂ：変調器、１０３：画像センサ、１０３ａ：画素、１０４：第１の格子パターン、１０４ａ：格子パターン、１０４ｂ:格子パターン、１０６：画像処理部、１０６ｂ：画像処理部、１０６ｃ：強度変調部、１０７：画像表示装置、１０７ａ：表示装置、１０７ｅ：距離情報表示装置、１０８：音声出力装置、１０９：操作装置、１１２ａ：格子基板、１１２ｂ：支持部材、１１３：格子センサ一体基板、１１７：ガイドパターン、１２１：画像記憶部、１２２：画像処理部、１２３：フォーカス設定部、１２４：フォーカス距離算出部、１２５：距離計測部、
２００：３次元認証装置、２００ａ：３次元認証装置、２００ｂ：３次元認証装置、２００ｃ：３次元認証装置、２０１ｃ：カバー部、２０３：指示受付部、２１０：認証制御装置、２１１：画像情報取得部、２１２：画像認証処理部、２２１：距離情報取得部、２２２：距離認証処理部、２３１：登録情報記憶部、２４１：指示受付部、２４３：撮像制御部、２５１：認証処理部、２６１：間隔制御部、２６２：照射装置、２６３：検出センサ、２９１：ＣＰＵ、２９２：メモリ、２９３：記憶装置、２９４：ユーザインタフェース、２９５：撮像データ取得部、
３００：携帯端末、３０１：ＣＰＵ、３０２：システムバス、３１０：記憶装置、３１１：ＲＯＭ、３１２：ＲＡＭ、３１３：ストレージ、３２０：通信装置、３２１：ＬＡＮ通信器、３２２：電話網通信器、３２３：有線通信器、３２４：近接無線通信器、３２５：無線通信器、３２７：拡張Ｉ／Ｆ、３２９：暗号復号化処理部、３３０：操作器、３４０：ビデオプロセッサ、３４１：ディスプレイ、３４２：画像信号プロセッサ、３４３：カメラ、３５０：オーディオプロセッサ、３５１：スピーカ、３５２：音声信号プロセッサ、３５３：マイク、３６０：センサ、３６１：ＧＰＳ受信器、３６２：ジャイロセンサ、３６３：地磁気センサ、３６４：加速度センサ、３６５：照度センサ、３６６：近接センサ、３６７：生体情報センサ、３６８：検出センサ、３７０：照射装置、
４００：被写体、４０２：投影像、４１１：暗号復号化処理部、４１２：投影像、
６１０：撮像範囲、６１１：領域、６１１ａ：領域、６２１：領域、６２１ａ：単位領域、６２１ｂ：単位領域、６２１ｕ：単位領域、６３１：所定領域、６３１ｄ：領域、６３１ｅ：領域、６３１ｕ：単位領域、６４１：領域、６４１ａ：単位領域、６４１ｂ：単位領域、６４１ｕ：単位領域、
７１１：距離情報マップ、７１１ａ：領域、７１１ｂ：領域、７１１ｃ：領域、７１１ｕ：単位領域、７２１：２次元マップ、７２１ａ：メモリ、７２１ｂ：メモリ、７２１ｕ：メモリ位置、７４１ｕ：単位領域、
９００：３次元認証システム、９１０：入退出管理サーバ、９２０：入退出ゲート

Claims (14)

1. 認証対象を被写体として撮像する撮像装置と、
   前記撮像装置が撮像した前記認証対象を認証する認証制御装置と、を備え、
   前記撮像装置は、
   第一パターンを備え、当該第一パターンにより光の強度を変調する変調器と、
   前記変調器を透過した光を撮像データに変換して出力する画像センサと、
   前記撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて前記被写体の像を復元する復元処理を行い、画像を取得する画像処理部と、
   予め定めた計測領域の、当該撮像装置から前記被写体までの距離を取得する距離計測部と、
   前記変調器と前記画像センサとの間の間隔を変更する間隔制御部と、を備え、
   前記距離計測部は、前記撮像データに対する前記復元処理を、フォーカス距離を変えながら繰り返し、前記計測領域内の最もコントラストの高い前記フォーカス距離を、前記距離とし、
   前記認証制御装置は、
   予め取得した認証対象の画像である登録画像データと、予め取得した認証対象の距離情報である登録距離データとを記憶する登録情報記憶部と、
   前記撮像装置で取得した前記認証対象の画像である認証画像データと、前記登録画像データとを照合し、照合結果を画像認証結果とする画像認証部と、
   前記撮像装置で取得した前記認証対象の距離である認証距離データと、前記登録距離データとを照合し、照合結果を距離認証結果とする距離認証部と、を備えること
   を特徴とする３次元認証装置。
2. 請求項１記載の３次元認証装置であって、
   前記認証制御装置は、
   前記画像認証結果と、前記距離認証結果とに基づき、前記認証対象の３次元認証結果を決定して出力する認証処理部をさらに備え、
   前記認証処理部は、
   前記画像認証結果と前記距離認証結果とがともに認証成功である場合、前記３次元認証結果を認証成功と決定すること
   を特徴とする３次元認証装置。
3. 請求項１記載の３次元認証装置であって、
   前記計測領域は、当該計測領域を分割した複数の単位領域を備え、
   前記距離計測部は、前記単位領域毎に前記距離を取得すること
   を特徴とする３次元認証装置。
4. 請求項２記載の３次元認証装置であって、
   前記認証処理部は、前記画像認証結果と前記距離認証結果とがともに認証成功である場合、さらに、前記認証画像データと前記認証距離データとに基づき、前記認証対象の動きの適否を判別し、判別した前記動きが適切である場合のみ、前記３次元認証結果を認証成功と決定すること
   を特徴とする３次元認証装置。
5. 請求項１記載の３次元認証装置であって、
   前記登録情報記憶部は、前記登録画像データおよび前記登録距離データを、それぞれ、複数記憶し、
   前記画像認証部は、前記認証画像データを、複数の前記登録画像データそれぞれと照合し、予め定めた画像認証閾値以上の一致度を得られた前記登録画像データが１以上存在する場合、前記画像認証結果を認証成功とし、
   前記距離認証部は、前記認証距離データを、複数の前記登録距離データそれぞれと照合し、予め定めた距離認証閾値以上の一致度を得られた前記登録距離データが１以上存在する場合、前記距離認証結果を認証成功とすること
   を特徴とする３次元認証装置。
6. 請求項１記載の３次元認証装置であって、
   前記画像認証結果と、前記距離認証結果とに基づき、前記認証対象の３次元認証結果を決定して出力する認証処理部をさらに備え、
   前記登録情報記憶部は、前記登録画像データおよび前記登録距離データを、それぞれ、複数記憶し、
   前記登録画像データは、それぞれ、当該登録画像データの認証対象の識別情報に対応づけて前記登録情報記憶部に記憶され、
   前記登録距離データは、それぞれ、当該登録距離データの認証対象の識別情報に対応づけて前記登録情報記憶部に記憶され、
   前記画像認証部は、前記認証画像データを、複数の前記登録画像データそれぞれと照合し、予め定めた画像認証閾値以上の前記登録画像データが有る場合、当該登録画像データの中の、最も高い一致度の登録画像データに対応づけて記憶される前記識別情報を画像認証結果とし、
   前記距離認証部は、前記認証距離データを、複数の前記登録距離データそれぞれと照合し、予め定めた距離認証閾値以上の前記登録距離データが有る場合、当該登録距離データの中の、最も高い一致度の登録距離データに対応づけて記憶される前記識別情報を距離認証結果とし、
   前記認証処理部は、前記画像認証結果と前記距離認証結果とが一致した場合、照合成功と決定すること
   を特徴とする３次元認証装置。
7. 請求項１記載の３次元認証装置であって、
   前記画像認証結果と、前記距離認証結果とに基づき、前記認証対象の３次元認証結果を決定して出力する認証処理部とをさらに備え、
   前記登録情報記憶部は、前記登録画像データおよび前記登録距離データを、それぞれ、複数記憶し、
   前記登録画像データは、それぞれ、当該登録画像データの認証対象の識別情報に対応づけて前記登録情報記憶部に記憶され、
   前記登録距離データは、それぞれ、当該登録距離データの認証対象の識別情報に対応づけて前記登録情報記憶部に記憶され、
   前記画像認証部は、前記認証画像データを、複数の前記登録画像データそれぞれと照合し、予め定めた画像認証閾値以上の前記登録画像データが有る場合、当該登録画像データに対応づけて記憶される前記識別情報の中から、一致度の高い順に予め定めた数の前記識別情報を画像認証結果とし、
   前記距離認証部は、前記認証距離データを、複数の前記登録距離データそれぞれと照合し、予め定めた距離認証閾値以上の前記登録距離データが有る場合、当該登録距離データに対応づけて記憶される前記識別情報の中から、一致度の高い順に予め定めた数の前記識別情報を距離認証結果とし、
   前記認証処理部は、前記画像認証結果と前記距離認証結果との中に一致する前記識別情報がある場合、照合成功と決定すること
   を特徴とする３次元認証装置。
8. 請求項１記載の３次元認証装置であって、
   前記画像処理部が取得した前記画像を表示する表示装置と、
   前記表示装置に予め定めたガイドパターンを表示する撮像制御部と、を備え、
   前記認証対象は、人物の顔であり、
   前記撮像制御部は、前記認証対象である前記顔が、予め定めたサイズで撮像されるよう前記ガイドパターンを表示すること
   を特徴とする３次元認証装置。
9. 請求項１記載の３次元認証装置であって、
   前記認証対象は、静脈を含み、
   前記間隔制御部は、前記認証対象が前記静脈である場合、その他の認証対象の撮像時より、前記間隔を狭くすること
   を特徴とする３次元認証装置。
10. 請求項１記載の３次元認証装置であって、
    前記撮像装置は、携帯型情報端末が備えること
    を特徴とする３次元認証装置。
11. 請求項１記載の３次元認証装置と、
    前記３次元認証装置による認証結果に基づいてセキュリティ管理を行う管理サーバと、を備えること
    を特徴とする３次元認証システム。
12. 請求項１１記載の３次元認証システムであって、
    前記管理サーバは、前記３次元認証装置による前記画像認証結果および前記距離認証結果が、ともに認証成功である場合、予め定めた入退出ゲートの解錠を指示する解錠信号を出力すること
    を特徴とする３次元認証システム。
13. 請求項１記載の３次元認証装置を備える携帯型情報端末。
14. 認証対象を被写体として撮像する撮像装置と、前記撮像装置が撮像した前記認証対象を認証する認証制御装置と、を備える３次元認証装置における３次元認証方法であって、
    第一パターンを備え、当該第一パターンにより光の強度を変調し、
    画像センサを備え、前記変調後の光を撮像データに変換し、
    前記第一パターンと前記画像センサとの間の間隔が変更可能とされており、
    前記撮像データに対し、当該撮像データと第二パターンを有するパターンデータとの相互相関演算に基づいて前記被写体の像を復元する復元処理を行い、画像を取得するとともに、当該復元処理を、フォーカス距離を変えながら繰り返し、予め定めた計測領域内で最もコントラストの高い前記フォーカス距離を、当該計測領域における、当該撮像装置から前記被写体までの距離として取得し、
    取得した前記認証対象の画像である認証画像データと、予め記憶された登録画像データとを照合し、照合結果を画像認証結果とし、
    取得した前記認証対象の距離である認証距離データと、予め記憶された登録距離データとを照合し、照合結果を距離認証結果とすること
    を特徴とする３次元認証方法。
    

Images