JP6838368B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

手のひら静脈認証は、近赤外線を用いて手のひらの静脈パターンをカメラにより撮影し、登録静脈パターンと照合することで個人を認証する、生体認証技術の一例である。手のひら静脈認証は、非接触で生体認証を行うことができる。

静脈パターンの登録時には、手のひらを案内部材により安定に支持した状態で、手のひらの静脈パターンを撮影することができる場合が多い。これに対し、認証時には、案内部材が設けられていない環境下で手のひらの静脈パターンを撮影する場合もある。このため、登録時と比較すると、認証時には、手のひらが丸まっていたり、過剰に開いている場合がある。

また、案内部材が設けられている環境下で認証を行う場合であっても、利用者が手のひらを毎回同じ姿勢で案内部材の上に載せるとは限らない。このような場合にも、登録時と比較すると、認証時には、手のひらが丸まっていたり、過剰に開いていることがある。

このように、登録時の手のひらの姿勢と、認証時の手のひらの姿勢とが異なると、認証誤りにより本人拒否が発生する場合がある。このため、認証時には、撮影した手のひらの３次元形状を正規化することが望ましい。

従来、認証時の手のひらの傾き又は回転を補正して手のひらの静脈パターンを正規化する方法が提案されている。しかし、手のひらの傾き又は回転を補正して手のひらの静脈パターンを正規化しても、登録時と比較して手のひらが丸まっていたり、過剰に開いている場合には、認証時に撮影した手のひらの３次元形状の歪みを高精度で補正して手のひらの静脈パターンを正規化することは難しい。また、登録時と比較して手のひらが丸まっていたり、過剰に開いている場合に対応するために、手のひらの丸まりや過剰な開きを補正して手のひらの静脈パターンを正規化するための専用のアルゴリズムを採用すると、アルゴリズムが複雑になる。このように、アルゴリズムが複雑になると、撮影した手のひらの丸まりや過剰な開きを含む３次元形状の歪みを高速で補正することは難しい。一方、アルゴリズムを簡略化して正規化処理の高速化を図ると、撮影した手のひらの丸まりや過剰な開きを含む３次元形状の歪みを高精度で補正して手のひらの静脈パターンを正規化することは難しい。

なお、近赤外線以外の、照明光又は自然光を用いて被写体を撮影する場合にも、被写体の姿勢によっては、撮影した被写体の３次元形状に歪みが生じる。したがって、このような場合にも、上記の如く手のひらの静脈パターンを撮影する場合と同様に、撮影した被写体の３次元形状の歪みを補正して被写体の画像を正規化することが望ましい。近赤外線以外の照明光を用いて被写体を撮影する例としては、例えば手のひらの掌紋パターン、手相パターン等を撮影する場合が挙げられる。

なお、３次元形状を２次曲面で近似する技術や、光を照射して撮影した被写体の画像の輝度分布から被写体の３次元形状を認識するＳＦＳ（Shape From Shading）技術も提案されている（例えば、特許文献１，２参照）。

特開２００７−２１３１９９号公報 特開２０１５−１７０３２２号公報

従来技術では、撮影した被写体の３次元形状の歪みを高精度で補正して被写体の画像を正規化することは難しい。

そこで、一つの側面では、撮影した被写体の３次元形状の歪みを高精度で補正して被写体の画像を正規化できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

１つの案によれば、被写体の画像の３次元形状のデータを２次曲面にフィッティングして前記３次元形状を前記２次曲面で近似する手段と、前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用する手段と、前記平面展開処理の前後の前記画像の対応点を算出する手段と、前記被写体の傾き及び回転のうち少なくとも一方を補正した、正規化された画像のデータを、算出した前記対応点を用いて生成する手段と、を備え、前記対応点を算出する手段は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に垂直な第１の法線ベクトル方向に延びて前記直線上の着目点を通る第１の仮想直線と前記２次曲面の２次曲線との交点とを用いて前記対応点を算出し、前記２次曲面の２次曲線上と前記展開平面の直線上にある対応点は、前記被写体の中心の座標に相当する前記展開平面の展開中心の座標から互いに対応する距離にある画像処理装置が提供される。

一態様によれば、撮影した被写体の３次元形状の歪みを高精度で補正して被写体の画像を正規化できる。

一実施例における画像処理装置のハードウェア構成の一例を示すブロック図である。 ３次元形状の補正処理の一例を説明するフローチャートである。 平面展開処理における断面平面の設定の一例を説明する図である。 平面展開する際の対応点の算出方法の一例を説明する図である。 平面展開する際の対応点の第１の算出方法を説明する図である。 平面展開する際の対応点の第２の算出方法を説明する図である。 実施例１の構成の一例を示すブロック図である。 一実施例における照合処理の一例を説明するフローチャートである。 正規化処理の一例を説明するフローチャートである。 対応点算出処理の一例を説明するフローチャートである。 平面展開する際の対応点算出処理を説明する図である。 着目点に対応する点の算出処理の一例を説明するフローチャートである。 着目点に対応する点の算出処理の他の例を説明するフローチャートである。 実施例２の構成の一例を示すブロック図である。 登録データ及び特徴データのうち、一方に平面展開処理が適用されている場合の一例を説明する図である。 登録データ及び特徴データの両方に平面展開処理が適用されている場合の一例を説明する図である。 特徴データに対する正規化処理の一例を説明するフローチャートである。 対応点算出処理の一例を説明するフローチャートである。 対応点算出処理の他の例を説明するフローチャートであ

開示の画像処理装置、画像処理方法及び画像処理プログラムでは、被写体の画像から取得した、前記被写体の３次元形状を２次曲面で近似し、画像のデータに、２次曲面を展開平面に展開する平面展開処理を適用し、平面展開処理の前後の対応点を算出し、算出した対応点から、正規化された画像のデータを生成する。対応点の算出は、被写体の基準点に対応する、２次曲面上の点に接する展開平面の直線上の点と、直線上の点を通る、直線に対する法線ベクトル方向の仮想直線と２次曲面の２次曲線との交点とに基づいて算出する。

以下に、開示の画像処理装置、画像処理方法及び画像処理プログラムの各実施例を図面と共に説明する。

図１は、一実施例における画像処理装置のハードウェア構成の一例を示すブロック図である。図１に示すコンピュータ１は、バス１８により互いに接続された、中央処理装置（ＣＰＵ：Central Processing Unit）１１、メモリ１２、入力装置１３、出力装置１４、補助記憶装置１５、媒体駆動装置１６、及びネットワーク接続装置１７を有する。後述する撮影装置は、バス１８に接続されても、通信ネットワークを介してネットワーク接続装置１７に接続されても良い。通信ネットワークは、有線ネットワークであっても、無線ネットワークであっても、有線と無線の組み合わせのネットワークであっても良い。

メモリ１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリで形成可能であり、画像処理、生体認証処理等に用いられるプログラム及びデータを記憶する。メモリ１２は、後述する記憶部を形成可能である。

ＣＰＵ１１は、例えば、メモリ１２に記憶されているプログラムを実行することにより、後述する図７に示す生体認証装置２−１の制御部２１、ＳＦＳ計算処理部２５、特徴抽出部２６、照合処理部２７、及び正規化処理部２８−１等として動作可能な、プロセッサの一例を形成可能である。ＣＰＵ１１は、例えば、メモリ１２に記憶されているプログラムを実行することにより、後述する図１４に示す生体認証装置２−２の制御部２１、ＳＦＳ計算処理部２５、特徴抽出部２６、照合処理部２７、及び正規化処理部２８−２等として動作可能な、プロセッサの一例を形成可能である。

入力装置１３は、例えば、キーボード、ポインティングデバイス等で形成可能であり、オペレータ又は利用者からの指示や情報の入力に用いられる。出力装置１４は、例えば、表示装置、プリンタ、スピーカ等で形成可能であり、オペレータ又は利用者への問い合わせ、指示、処理結果の出力等に用いられる。処理結果は、補正画像であっても良く、生体認証処理の認証結果であっても良い。

補助記憶装置１５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等で形成可能である。補助記憶装置１５は、ハードディスクドライブ又はフラッシュメモリであっても良い。コンピュータ１は、補助記憶装置１５にプログラム及びデータを格納しておき、それらをメモリ１２にロードして使用することができる。補助記憶装置１５は、後述する記憶部を形成可能である。

媒体駆動装置１６は、可搬型記録媒体１９を駆動し、可搬型記録媒体１９の記録内容にアクセスすることができる。可搬型記録媒体１９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等で形成可能である。可搬型記録媒体１９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であっても良い。オペレータ又は利用者は、この可搬型記録媒体１９にプログラム及びデータを格納しておき、メモリ１２にロードして使用することができる。可搬型記録媒体１９は、後述する記憶部を形成可能である。

画像処理又は生体認証処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２、補助記憶装置１５、又は可搬型記録媒体１９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースの一例である。コンピュータ１は、プログラム及びデータを外部の装置からネットワーク接続装置１７を介して受け取り、メモリ１２にロードして使用することができる。

コンピュータ１は、ネットワーク接続装置１７を介して、利用者端末から処理要求を受信し、画像処理又は生体認証処理を行って処理結果を利用者端末へ送信することもできる。

なお、コンピュータ１は、図１に示す全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、コンピュータ１が利用者端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置１３及び出力装置１４を省略しても良い。また、可搬型記録媒体１９又は通信ネットワークを利用しない場合は、媒体駆動装置１６又はネットワーク接続装置１７を省略しても良い。

コンピュータ１が例えばスマートフォンのような通話機能を有する携帯端末である場合、マイクロホン及びスピーカのような通話用の装置を含んでも良く、カメラのような撮像装置を含んでも良い。

一実施例では、カメラが撮影した被写体から取得した、被写体の３次元形状を平面に展開する際に、法線ベクトルを用いて後述する対応点を求める。被写体は、例えば利用者の手のひらである。手のひら静脈認証を行う場合には、近赤外線を用いて手のひらの静脈パターンをカメラにより撮影し、登録静脈パターンと照合することで個人を認証する。

以下の説明では、便宜上、カメラが撮影する被写体が、利用者の手のひらである場合を例に挙げる。

先ず、手のひらの３次元形状を補正する処理について説明する。図２は、３次元形状の補正処理の一例を説明するフローチャートである。図２に示す補正処理は、例えば図１に示すＣＰＵ１１により実行可能である。

図２に示すステップＳ１では、ＣＰＵ１１が、カメラが撮影した手のひらの３次元形状をＳＦＳ技術により取得し、手のひらの３次元形状のデータを２次曲面にフィッティングして、手のひらの３次元形状を２次曲面で近似する。ステップＳ２では、ＣＰＵ１１が、２次曲面にフィッティングした手のひらの３次元形状のデータを展開する、後述する図３に示す如き展開平面Dを計算する。ステップＳ３では、ＣＰＵ１１が、展開平面Dの展開中心Pcの座標を計算する。展開中心Pcの座標は、例えば手のひらの中心の座標に相当する。ステップＳ４では、ＣＰＵ１１が、展開中心Pcの座標からの距離Lが等しい、２次曲面の２次曲線上と展開平面Dの直線上にある対応点を求める。ステップＳ５では、ＣＰＵ１１が、対応点の情報から画像を構成する。

ステップＳ４では、ＣＰＵ１１が、展開処理の際に図３に示す如き所定の断面平面Ｒで切り取った平面上において、手のひらの曲面Tと展開平面Dとを対応付ける。ここで、手のひらの３次元形状を２次曲面で近似する場合、断面平面R上では、図４に示すように、手のひらが楕円（又は、双曲線、又は、放物線）として求まる。このため、対応点(x1,y1),(x2,y2)を計算するには、楕円の周長を計算するために、第二種不完全楕円積分を行わなければならず、演算が複雑になる。

そこで、上記３次元形状の補正処理において、対応点の計算を高速化することが望まれる。３次元形状の補正処理として、２次曲面（即ち、丸まった手のひら）を展開平面（即ち、真っ直ぐな手のひら）に展開するには、２次曲面の２次曲線上と、被写体（即ち、手のひら）の基準点に対応する２次曲面上の点と接する、展開平面の直線上にある対応点を求める必要がある。また、例えば組込み装置により生体認証を行う場合、パーソナルコンピュータ（ＰＣ：Personal Computer）よりも演算能力の低いＣＰＵで演算処理を行うので、演算処理の高速化が望まれる。

図４に示すように、手のひらの３次元形状を２次曲面で近似する場合、展開中心Pcからの距離が一定という条件を用いるため、２次曲面の２次曲線上の距離を計算しなければならない。具体的には、展開中心Pcからの距離が所定の長さＬとなる楕円上の点を、ニュートン法を用いて計算するので、演算処理が複雑となり、演算量が多いため、演算処理の高速化が難しい。

これに対し、一実施例では、少なくとも被写体の基準点に対応する２次曲面上の点と接する、展開平面の直線上の点と、当該直線上の点を通る法線ベクトル方向の仮想直線と２次曲面の２次曲線との交点を、対応点として求める。平面展開する際の対応点の第１及び第２の算出方法を、図５及び図６と共に説明する。

図５は、平面展開する際の対応点の第１の算出方法を説明する図である。第１の算出方法は、展開平面の直線の法線ベクトルを用いる。

一実施例では、被写体の基準点に対応する、２次曲面上の点に接する展開平面Dの直線を求め、当該直線上の点X1(x1,y1)に対応する２次曲面の２次曲線上の点X2(x2,y2)を、次のように求める。先ず、直線上の着目点X1(x1,y1)を通り、直線に垂直な法線ベクトルv1を求め、法線ベクトルv1方向の、図５中、点線で示す仮想直線を求める。このように求めた仮想直線と２次曲線との交点を、点X1(x1,y1)に対応する対応点X2(x2,y2)とする。なお、仮想直線と２次曲線との交点は、２次方程式から求めることができる。

以下、具体的な点X2(x2,y2)の計算方法を説明する。展開中心Pc(xc,yc)から着目点X1(x1,y1)へ向かうベクトルをn1とすると、ベクトルn1は（式１）から求まる。

着目点X1(x1,y1)を通り、着目点X1(x1,y1)における法線方向の仮想直線（図５中、点線で示す）は、（式２）で表すことができる。

展開対象となる２次曲線は、（式３）で表すことができる。（式３）中、ａ，ｂ，ｃ，ｄ，ｅ，ｆは、係数を表す。

次に、（式２）で表される仮想直線と、（式３）で表される曲線との交点を求める。２次曲線の式に、上記仮想直線をyについて解いた式を代入すると、（式４）が求まる。

xは、（式５）で表される２次方程式の解として求まる。

なお、２次方程式の解は、一般的には２つ存在するが、この例では、X1(x1,y1)に近い方の点を採用すれば良い。

図６は、平面展開する際の対応点の第２の算出方法を説明する図である。第２の算出方法は、展開平面の直線の法線ベクトルと２次曲面の２次曲線の法線ベクトルとを用いる。

上記第１の算出方法では、交点位置が展開中心Pc(xc,yc)よりも遠い位置にずれる傾向がある。この傾向は、展開平面の直線の法線ベクトルのみを用い、２次曲面の２次曲線の法線ベクトル（傾き）を便宜上無視しているために起こる。そこで、第２の算出方法では、展開平面の直線の法線ベクトルと２次曲面の２次曲線の法線ベクトルの平均法線ベクトルを用いて、対応点を算出する。具体的には、以下の処理を実行する。

先ず、上記第１の算出方法で求めた２次曲面の２次曲線上の点X2(x2,y2)を、仮の対応点とする。仮の対応点X2(x2,y2)における法線ベクトルv2を求め、法線ベクトルv1と法線ベクトルv2の平均法線ベクトルvを使って、最終的な対応点X2'(x2',y2')を求める。具体的には、点X1(x1,y1)を通り、平均法線ベクトルv方向の仮想直線を求め、このように求めた仮想直線と２次曲線との交点X2'(x2',y2')を、求める対応点X2'(x2',y2')とする。

なお、２次曲線S(x,y)=0における法線ベクトルｎ_ｘ，ｎ_ｙは、（式６）から求まる。

上記第１の算出方法は、上記第２の算出方法よりも簡易な方法である。一方、上記第２の算出方法は、上記第１の算出方法と比較すると多少演算量が増えるが、上記第１の算出方法より精度が高い。また、上記第２の算出方法は、繰り返し適用しても良い。

上記第１の算出方法又は上記第２の算出方法を用いて対応点の計算を高速化することで、手のひら静脈認証等の生体認証を行う場合の演算処理を高速化できる。

（実施例１）
次に、画像に対して平面展開処理を適用する実施例１を、図７と共に説明する。図７は、実施例１の構成の一例を示すブロック図である。実施例１では、手のひら静脈認証において、撮影した手のひらの画像に平面展開処理を適用する。

図７に示す生体認証装置２−１は、制御部２１、撮影装置２２、データベース部２３、記憶部２４、ＳＦＳ計算処理部２５、特徴抽出部２６、照合処理部２７、及び正規化処理部２８−１を有する。正規化処理部２８−１は、２次曲面計算部２８１、展開平面計算部２８２、対応点算出部２８３、回転処理部２８４、対応座標計算部２８５、及び画像構成部２８６を有する。

制御部２１、ＳＦＳ計算処理部２５、特徴抽出部２６、照合処理部２７、及び正規化処理部２８−１が行う処理は、例えば図１に示すＣＰＵ１等のプロセッサにより実行可能である。制御部２１、ＳＦＳ計算処理部２５、特徴抽出部２６、照合処理部２７、及び正規化処理部２８−１が行う処理は、２以上のプロセッサにより実行しても良い。例えば、制御部２１、ＳＦＳ計算処理部２５、特徴抽出部２６、及び照合処理部２７の処理を第１のプロセッサにより実行し、正規化処理部２８−１の処理を第１のプロセッサとは異なる第２のプロセッサにより実行しても良い。データベース部２３及び記憶部２４は、図１に示すメモリ１２、補助記憶装置１５、及び媒体駆動装置１６のうち、少なくとも１つにより形成可能であり、２つ以上の組み合わせによっても形成可能である。

制御部２１は、生体認証装置２−１全体の動作を制御する。撮影装置２２は、例えば被写体の画像を撮影するカメラにより形成可能である。撮影装置２２は、被写体に照明を当てる照明部２２−１と、撮像素子部２２−２とを含む周知の構成を有する。被写体が手のひら５００であり、生体認証装置２−１が手のひら静脈認証を行う場合には、撮影装置２２の照明部２２−１は、近赤外線による照明を手のひら５００に当てる。

データベース部２３は、生体認証装置２−１が用いるデータ等を記録する。具体的には、データベース部２３は、生体認証に用いる登録データ等を記録可能である。登録データは、登録テンプレートと呼ばれる場合もある。記憶部２４は、撮影装置２２が撮影した被写体の画像等を格納する画像バッファ等として利用可能である。

ＳＦＳ計算処理部２５は、撮影装置２２が撮影した被写体の画像（以下、「入力画像」とも言う）に対して周知のＳＦＳ技術を適用し、被写体の３次元形状データを取得する。ＳＦＳ計算処理部２５は、入力画像から、被写体の３次元形状データを取得する手段の一例である。特徴抽出部２６は、後述する正規化処理部２８−１により正規化された入力画像から、生体認証に使用する特徴データを抽出する。被写体が手のひらである場合、特徴データは、例えば手のひらの静脈、掌紋、手相等の認証特徴を表すデータである。照合処理部２７は、特徴抽出部２６が抽出した特徴データと、データベース部２３に記録されている登録データの一例である登録特徴データとを照合し、照合されたデータがどの程度似ているかを表す類似度を出力する。

正規化処理部２８−１において、２次曲面計算部２８１は、撮影装置２２が撮影した入力画像にＳＦＳ計算処理部２５による周知のＳＦＳ技術を適用して取得した、被写体の３次元形状データを２次曲面にフィッティングする。なお、このフィッティングを行う際に、データを適宜間引いても良い。２次曲面計算部２８１は、被写体の３次元形状を２次曲面で近似する手段の一例である。展開平面計算部２８２は、２次曲面を展開する対象となる展開平面を計算する。展開平面計算部２８２は、被写体の３次元形状を近似する２次曲面を平面に展開する平面展開処理を適用する手段の一例である。対応点算出部２８３は、上記の如く法線ベクトルを用いて、平面展開処理の前後の対応点を算出する手段の一例である。

回転処理部２８４は、３次元の曲面データを２次元の平面に落とし込む際の回転処理を行う手段の一例である。また、回転処理部２８４は、展開平面を最終平面に回転する際にも利用される。なお、最終平面については後述する。対応座標計算部２８５は、補正前と補正後の画像座標の対応を計算する。画像構成部２８６は、算出した画像座標の対応点から、正規化された入力画像を生成する手段の一例である。

〔座標系について〕
一実施例で想定している光学モデルについて説明する。３次元座標系(X,Y,Z)を仮定し、中心に撮影装置２２の照明部２２−１（又は、光源）及びレンズ中心が存在するものと仮定する。レンズの焦点距離をFとし、ピンホールカメラモデルを想定する。画像上の座標は、小文字のx,yで表す。ピンホールカメラモデルの場合、画像上の点(x,y)は、３次元座標(X,Y,Z)と（式７）の如き関係を有する。

〔照合処理〕
図８は、一実施例における照合処理の一例を説明するフローチャートである。図８に示す照合処理は、例えば図１に示すＣＰＵ１１により実行可能である。

図８に示すステップＳ１１では、ＣＰＵ１１が、撮影装置２２が撮影した入力画像に対し、ＳＦＳ計算処理部２５による周知のＳＦＳ技術に相当するＳＦＳ技術を適用して、被写体の３次元形状データを取得する。ステップＳ１２では、ＣＰＵ１１が、取得した被写体の３次元形状データに対し、正規化処理部２８−１による正規化処理に相当する正規化処理を施す。ステップＳ１３では、ＣＰＵ１１が、特徴抽出部２６による特徴抽出処理に相当する特徴抽出処理を行い、正規化された被写体の３次元形状データから、特徴データを抽出する。正規化処理では、撮影した被写体の３次元形状の歪みを補正し、２次元の平面に展開する。被写体が利用者の手のひらの場合、正規化処理では、この例では手のひら全体の傾き及び回転の両方を補正するが、少なくとも一方を補正しても良い。ステップＳ１４では、ＣＰＵ１１が、照合処理部２７による照合処理に相当する照合処理を行い、抽出した特徴データと、データベース部２３に記録されている登録特徴データとがどの程度似ているかを表す類似度を出力する。ステップＳ１５では、ＣＰＵ１１が、類似度等の照合結果を、図１に示す出力装置１４に出力し、照合処理は終了する。出力装置１４は、例えば類似度等の照合結果を表示しても良い。

〔正規化処理〕
図８に示すステップＳ１２の正規化処理は、一実施例では、平面展開処理を入力画像に適用する。一般に、画像変換処理では、変換後の座標(x',y')を着目点とし、変換前の座標(x,y)を求める処理を行う。これは、座標上の点は、整数であるために必要な処理である。つまり、変換前座標(x,y)を着目点とすると、対応する変換後座標(x',y')は実数座標になってしまい、画像を算出することができない。このため、一般的には、変換後の座標(x',y')を注目点とし、対応する変換前座標(x,y)を求める。座標(x,y)は、一般に実数座標となるが、線形補完やＢｉＣｕｂｉｃ補完等から該当座標の輝度値を算出できる。

このため、本実施例においても、平面展開処理後の画像の点(x',y')を注目点として処理を行う。 先ず、画像上の点(x',y')に対応する平面上の点X1を求める。続いて、点X1に対応する２次曲面上の点X2を上記の如き対応点算出処理により算出する。また、点X2に対応する画像上の座標(x,y)を求める。補正後画像の座標(x',y')に、入力画像の座標(x,y)の輝度値を設定することで、補正された画像を算出できる。

図９は、正規化処理の一例を説明するフローチャートである。図９に示す正規化処理は、例えば図１に示すＣＰＵ１１により実行可能である。本実施例では、平面展開処理を撮影装置２２が撮影した被写体の画像（即ち、入力画像）に適用する。

図９に示すステップＳ２１では、ＣＰＵ１１が、画像上の点(x',y')を処理対象に設定する。点(x',y')は、平面展開処理後の画像の座標データである。ステップＳ２２では、ＣＰＵ１１が、点(x',y')が対応する最終平面上の点Xfを求める。ステップＳ２３では、ＣＰＵ１１が、点Xfを回転させ、展開平面上の点X1を算出する。ステップＳ２４では、ＣＰＵ１１が、点X1に対応する２次曲面上の点X2を算出する。ステップＳ２５では、ＣＰＵ１１が、点X2に対応する画像上の点(x,y)を算出する。ステップＳ２６では、ＣＰＵ１１が、対応点の情報（(x',y')→(x,y)）から正規化画像を生成する。

〔最終平面の設定〕
平面展開処理の概要は上記の通りである。なお、実際には、被写体が手のひらの場合、手のひら全体の傾きを補正する処理が必要となる。手のひら全体の傾きを補正する処理は、２次曲面を平面展開した展開平面を、水平な平面である最終平面に回転させることに相当する。具体的には、展開平面の法線ベクトルが、垂直方向の単位ベクトル(0,0,1)に重なるように回転処理を行う。

〔対応点算出処理〕
次に、実施例１における対応点算出処理を、図１０と共に説明する。図１０は、対応点算出処理の一例を説明するフローチャートであり、図９に示すステップＳ２４の処理に対応する。

図１０に示すステップＳ３１では、ＣＰＵ１１が、撮影装置２２が撮影した被写体の３次元形状を、ＳＦＳ技術により取得し、被写体の３次元形状データを２次曲面（例えば、手のひらの曲面）Tにフィッティングして、被写体の３次元形状を２次曲面Tで近似する。例えば、断面平面Rを定義し、この断面平面R上の点を対象として処理を行うことで、３次元形状データを、２次曲面Tにフィッティングすることができる。２次曲面Tにフィッティングすることで、処理を簡略化して、法線ベクトル等を効率良く演算できる。ステップＳ３２では、ＣＰＵ１１が、２次曲面Tにフィッティングした被写体の３次元形状のデータを展開する展開平面Dを計算する。展開平面Dは、様々な設定方法により設定可能である。例えば、ＳＦＳ技術を適用して取得した３次元形状データに対して、平面近似を適用する方法等を利用することで、展開平面Dを設定することができる。ステップＳ３３では、ＣＰＵ１１が、展開平面の展開中心Pcの座標を設定する。展開中心Pcは、平面展開処理の中心となる座標であり、手のひらの中心座標に相当する。手のひらの中心座標は、手のひらの基準点の座標の一例である。展開中心Pcの座標は、様々な方法で設定可能である。例えば、２次曲面Tにフィッティングした手のひらと展開平面の接点を、展開中心Pcの座標とする方法で設定することができる。ステップＳ３４では、ＣＰＵ１１が、着目点X1に対応する２次曲面T上の点を算出する。直線の法線ベクトルを用いる、図５と共に説明した上記第１の算出方法により対応点を算出する場合、ステップＳ３４では、ＣＰＵ１１が、着目点X1に対応する２次曲面T上の点X2を算出する。他方、図６と共に説明した直線と２次曲線の法線ベクトルを用いる第２の算出方法により対応点を算出する場合、ステップＳ３４では、ＣＰＵ１１が、着目点X1に対応する２次曲面T上の点X2'を算出する。

図１１は、平面展開する際の対応点算出処理を説明する図である。図１１中、図３と同一部分には同一符号を付し、その説明は省略する。図１１に示すように、例えば断面平面Rの法線ベクトルとして、展開中心Pcと展開平面D上の着目点X1を結ぶベクトルと直交し、且つ、展開平面Dの法線ベクトルと直交するベクトルを設定することができる。更に、断面平面Rは展開中心Pcの座標を通る、という条件を設定することで、このようなベクトルは一意に求まる。

断面平面Rを設定することで対応点を求める処理は、２次元での処理となる。具体的には、２次曲線（２次曲面Tを断面平面Rへ投影した結果）と直線（展開平面Dを断面平面Rへ投影した結果）の対応点を求める処理となる。

図１２は、着目点に対応する点の算出処理の一例を説明するフローチャートであり、上記第１の算出方法を用いる場合の図１０に示すステップＳ３４の処理に対応する。図１２において、ステップＳ４１では、ＣＰＵ１１が、着目点X1を設定する。ステップＳ４２では、ＣＰＵ１１が、着目点X1を通り、着目点X1の法線ベクトルv1方向の直線L1を求める。ステップＳ４３では、直線L1と２次曲線との交点X2を求める。このようにして求めた交点X2が、着目点X1に対応する点となる。

図１３は、着目点に対応する点の算出処理の他の例を説明するフローチャートであり、上記第２の算出方法を用いる場合の図１０に示すステップＳ３４の処理に対応する。図１３において、ステップＳ４１〜Ｓ４３の処理は、図１２に示すステップＳ４１〜Ｓ４３の処理と同様である。ステップＳ５１では、ＣＰＵ１１が、点X2における２次曲線の法線ベクトルv2を求める。ステップＳ５２では、ＣＰＵ１１が、法線ベクトルv1と法線ベクトルv2の平均法線ベクトルvを求める。ステップＳ５３では、ＣＰＵ１１が、着目点X1を通り、平均法線ベクトルv方向の直線L1'を求める。ステップＳ５４では、ＣＰＵ１１が、直線L1'と２次曲線との交点X2'をを求める。このようにして求めた交点X2'が、着目点X1に対応する点となる。

この例では、各法線ベクトル（即ち、曲線及び直線）を夫々１回ずつ用いる。しかし、法線ベクトルによる対応点算出処理を、繰り返し行うようにしても良い。この場合、ステップＳ５１〜Ｓ５４の処理を繰り返し行えば良い。この場合、ステップＳ５４で求めた対応する点X2'を、次回にステップＳ５１の処理を行う際に点X2として用いれば良い。このような繰り返し処理は、所定の回数行っても良い。さらに、前回と今回で算出した点X2'の座標が略同じ値である場合（即ち、展開中心Pcの座標からの距離Lが閾値未満である場合）、繰り返し処理から抜けるようにしても良い。繰り返し処理を行うことにより、曲線と直線の法線ベクトルの平均法線ベクトルvが正しく求められ、被写体の３次元形状の歪みを高精度で補正でき、高精度な正規化が可能となる。

本実施例では、ＳＦＳ計算処理部２５及び正規化処理部２８−１（具体的には、２次曲面計算部２８１）が、被写体の画像から取得した、被写体の３次元形状を２次曲面で近似する手段の一例を形成する。また、正規化処理部２８−１（具体的には、展開平面計算部２８２）は、画像のデータに、２次曲面を展開平面Dに展開する平面展開処理を適用する手段の一例を形成する。さらに、正規化処理部２８−１（具体的には、対応点算出部２８３）は、平面展開処理の前後の対応点を算出する手段の一例を形成し、正規化処理部２８−１（具体的には、画像構成部２８６）は、算出した対応点から、正規化された画像のデータを生成する手段の一例を形成する。対応点を算出する手段は、被写体の基準点に対応する、２次曲面上の点に接する展開平面の直線上の点と、直線上の点を通る、直線に対する第１の法線ベクトル方向の第１の仮想直線と２次曲面の２次曲線との交点とに基づいて対応点を算出しても良い。対応点を算出する手段は、第１の法線ベクトルと、交点を通る、２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、直線上の点と、直線上の点を通る、平均法線ベクトル方向の第２の仮想直線と２次曲線との交点とに基づいて対応点を算出しても良い。なお、本実施例では、平面展開処理を適用する手段は、平面展開処理を画像に対して適用する。
（実施例２）
図１４は、実施例２の構成の一例を示すブロック図である。図１４中、図７と同一部分には同一符号を付し、その説明は省略する。図１４に示すように、正規化処理部２８−２は、図７に示す画像構成部２８６に代えて、特徴データ補正部２８７を有する。特徴データ補正部２８７は、算出した座標の対応点の情報から、補正後の特徴データを算出する。

上記実施例１では、撮影装置２２が撮影した被写体の画像（即ち、入力画像）に対して平面展開処理を適用している。一方、実施例２では、特徴抽出部２６により入力画像から抽出された、特徴データに対して平面展開処理を適用する。したがって、照合処理部２７は、正規化処理部２８−２の特徴データ補正部２８７により平面展開処理を施されて補正された特徴データと、データベース部２３に記録されている登録特徴データとを照合し、照合された特徴データがどの程度似ているかを表す類似度を出力する。

特徴データに対して平面展開処理を適用することで、演算量の低減効果が得られる。入力画像に平面展開処理を適用するためには、入力画像全体に平面展開処理を適用する必要がある。一方、特徴データ（例えば、手のひらの静脈上の特徴点）に対して平面展開処理を適用する場合、手のひらの静脈上の特徴点のみに平面展開処理を適用すれば良いため、演算量を低減することができ、演算処理に要する時間を短縮できる。

特徴データに対して平面展開処理を適用することで、互換性の向上効果も得られる。平面展開処理を適用していない登録特徴データと、平面展開処理を適用した特徴データとを照合すると、認証精度が悪化する場合がある。そこで、特徴抽出部２６による特徴データの抽出処理は、平面展開処理を適用していない入力画像に対して行い、補助データとして、平面展開処理に必要な２次曲面データ等の平面展開データを付加する構成としても良い。これにより、登録特徴データに対して平面展開データが登録されており、照合特徴データに対しても特徴データ補正部２８７により平面展開データが算出されている場合には、平面展開データを使って登録特徴データに平面展開処理を施した平面展開後の登録特徴データと、平面展開データを使って照合特徴データに平面展開処理を施した平面展開後の照合特徴データとを照合することができる。

図１５及び図１６は、特徴データに平面展開処理を適用する場合を説明する図である。図１５は、登録特徴データ及び特徴データのうち、一方に平面展開処理が適用されている場合の一例を説明する図である。また、図１６は、登録特徴データ及び特徴データの両方に平面展開処理が適用されている場合の一例を説明する図である。

図１５に示す例では、登録特徴データには平面展開処理が適用されていない。この場合、特徴データ補正部２８７により照合特徴データに対する平面展開データが算出されているか否かにかかわらず、図７に示す照合処理部２７は、正規化処理部２８−１により正規化された入力画像から特徴抽出部２６により抽出された照合特徴データと、データベース部２３に記録されている登録特徴データとを照合し、照合された特徴データがどの程度似ているかを表す類似度を出力すれば良い。

図１６に示す例では、登録特徴データ及び照合特徴データの両方に平面展開処理が適用されている。この場合、図１４に示す照合処理部２７は、特徴抽出部２６により抽出されて正規化処理部２８−２により正規化され、特徴データ補正部２８７により平面展開データを使って平面展開処理を施した平面展開後の照合特徴データと、データベース部２３に記録されている登録特徴データに平面展開データを使って平面展開処理を施した平面展開後の登録特徴データとを照合し、照合された特徴データがどの程度似ているかを表す類似度を出力すれば良い。データベース部２３に登録特徴データと平面展開データを記録することで、データベース部２３を平面展開処理を適用しない照合特徴データとの比較にも使用できる。

これにより、照合処理部２７は、登録特徴データに平面展開処理が適用されているか否かにかかわらず、高精度な類似度を出力することができる。つまり、平面展開処理が適用されている登録特徴データが記録されているデータベース部２３を有する生体認証装置２−２と、平面展開処理が適用されていない登録特徴データが記録されているデータベース部２３を有する生体認証装置２−１との互換性を維持したまま、平面展開処理による認証精度の向上効果が得られる。

なお、データベース部２３が記録する登録特徴データは、登録特徴データに平面展開データを使って平面展開処理を施した平面展開後の登録特徴データであっても良い。

〔特徴データに対する正規化処理〕
上記実施例１と上記実施例２とでは、座標変換の計算を行う順番が異なる。上記実施例２では、上記実施例１とは逆の順番で座標変換の計算を行う。具体的には、入力画像の特徴点の補正前の座標(x,y)を処理対象として、ループを実行する。

図１７は、特徴データに対する正規化処理の一例を説明するフローチャートである。図１７に示す正規化処理は、例えば図１に示すＣＰＵ１１により実行可能である。実施例２では、平面展開処理を撮影装置２２が撮影した被写体の画像（即ち、入力画像）から抽出した特徴データに適用する。

図１７に示すステップＳ６１では、ＣＰＵ１１が、特徴データの特徴点(x,y)を処理対象に設定する。ステップＳ６２では、ＣＰＵ１１が、特徴点(x,y)に対応する２次曲面上の点X2を算出する。ステップＳ６３では、ＣＰＵ１１が、点X2に対応する展開平面上の点X1を算出する。ステップＳ６４では、ＣＰＵ１１が、点X1を回転させ、最終平面上の点Xfを算出する。ステップＳ６５では、ＣＰＵ１１が、点Xfが対応する特徴点の座標(x',y')を求める。ステップＳ６６では、ＣＰＵ１１が、対応特徴点の情報（(x,y)→(x',y')）から正規化された特徴データを生成する。具体的には、ステップＳ６６では、ＣＰＵ１１が、特徴点(x,y)の座標を(x',y')に移動する。

このように、補正前の特徴点の座標(x,y)に対し、平面展開処理を適用し、補正後の座標(x',y')を求める。特徴データのうち、座標(x,y)に存在する特徴点を、座標(x',y')に移動させることで、補正後の特徴データを得ることができる。なお、一般に、座標(x',y')の値は実数になるが、実数値を整数に丸め込んでも良い。

〔対応点算出処理〕
次に、実施例２における対応点算出処理を、図１８と共に説明する。図１８は、対応点算出処理の一例を説明するフローチャートであり、図１７に示すステップＳ６３の処理に対応する。上記実施例２では、上記実施例１とは処理順序が逆になる。また、上記実施例２における直線の法線ベクトルは、全点で共通の値v1を持つため、上記実施例１と比較すると演算処理を簡略化できる。

図１８に示すステップＳ７１では、ＣＰＵ１１が、着目点X2を設定する。ステップＳ７２では、ＣＰＵ１１が、着目点X2の法線ベクトルv2と直線の法線ベクトルv1の平均法線ベクトルvを求める。ステップＳ７３では、ＣＰＵ１１が、着目点X2を通り、平均法線ベクトルv方向の直線L2を求める。ステップＳ７４では、ＣＰＵ１１が、直線L2と直線との交点X1を求める。このようにして求めた交点X1が、着目点X2に対応する点となる。

〔３次元ベクトルから直接算出する構成〕
上記実施例１及び上記実施例２では、対応点算出処理の際、断面平面Rを設定して３次元の問題を２次元に落とすが、対応点算出処理は、このような算出処理に限定されない。対応点算出処理は、３次元形状データに対して直接適用しても良い。つまり、３次元の法線ベクトルを求め、求めた３次元の法線ベクトルから対応点を求めても良い。

上記実施例２の図１８に示す対応点算出処理は、上記実施例１の図１３に示す対応点算出処理と比較すると簡略化されている。これは、上記実施例２の場合、X2→X1という対応を求めるが、平面（又は、直線）の法線ベクトルは、常に一定(=v1)であるためである。このような場合、断面平面Rを設定することなく、直接３次元法線ベクトルを用いて対応点を算出しても良い。

図１９は、対応点算出処理の他の例を説明するフローチャートであり、図１７に示すステップＳ６３の処理に対応する。図１９に示すステップＳ８１では、ＣＰＵ１１が、曲面上の着目点X2を設定する。ステップＳ８２では、ＣＰＵ１１が、着目点X2の法線ベクトルv2と展開平面の法線ベクトルv1の平均法線ベクトルvを求める。ステップＳ８３では、ＣＰＵ１１が、着目点X2を通り、平均法線ベクトルv方向の直線L2を求める。ステップＳ８４では、ＣＰＵ１１が、直線L2と直線との交点X1を求める。このようにして求めた交点X1が、着目点X2に対応する点となる。

本実施例では、ＳＦＳ計算処理部２５及び正規化処理部２８−２（具体的には、２次曲面計算部２８１）が、被写体の画像から取得した、被写体の３次元形状を２次曲面で近似する手段の一例を形成する。また、正規化処理部２８−２（具体的には、展開平面計算部２８２）は、画像のデータに、２次曲面を展開平面Dに展開する平面展開処理を適用する手段の一例を形成する。さらに、正規化処理部２８−２（具体的には、対応点算出部２８３）は、平面展開処理の前後の対応点を算出する手段の一例を形成し、正規化処理部２８−２（具体的には、特徴データ補正部２８７）は、算出した対応点から、正規化された画像のデータを生成する手段の一例を形成する。対応点を算出する手段は、被写体の基準点に対応する、２次曲面上の点に接する展開平面の直線上の点と、直線上の点を通る、直線に対する第１の法線ベクトル方向の第１の仮想直線と２次曲面の２次曲線との交点とに基づいて対応点を算出しても良い。対応点を算出する手段は、第１の法線ベクトルと、交点を通る、２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、直線上の点と、直線上の点を通る、平均法線ベクトル方向の第２の仮想直線と２次曲線との交点とに基づいて対応点を算出しても良い。なお、特徴抽出部２６は、画像から特徴データを抽出する手段の一例を形成し、本実施例では、平面展開処理を適用する手段は、平面展開処理を特徴データに対して適用する。

上記の各実施例では、手のひらの３次元形状を、ＳＦＳ技術等により取得後、２次曲面で近似して平面に展開する。このため、手のひらが丸まっていたり、過剰に開いていた場合に、手のひらの３次元形状を平面に展開することで、認証精度を向上できる。特に平面展開処理を高速化することにより、ＣＰＵの演算能力が比較的低くても、快適な認証処理を実現できる。具体的には、丸まった手のひらの３次元形状を２次元の平面に展開する際の対応点算出処理において、法線ベクトルを使って対応点を算出することで、処理を高速化することができる。

これにより、上記の各実施例では、手のひらの撮影時に、利用者が手のひらを丸めてかざしたり、手のひらを過剰に開いてかざしたりした場合でも、高速で平面に展開した画像を取得でき、その結果、認証精度が向上する。曲線上の長さを楕円積分で算出する場合、多くの計算コストを要してしまう。これに対し、上記の各実施例では、法線ベクトルとの交点から対応点を求める。直線と２次曲線の交点は、２次方程式から解析的に得ることができるため、高速演算が可能となる。例えば、手のひら静脈認証を入退室装置に適用する場合等には、組込み用途での高速化効果を発揮する。

上記の各実施例によれば、撮影した手のひらの丸まりや過剰な開きを含む、被写体の傾き又は回転の補正では補正しきれない被写体の３次元形状の歪みを高精度で補正して被写体の画像を正規化できる。また、このような、被写体の傾き又は回転の補正では補正しきれない３次元形状の歪みを、高速で補正して被写体の画像を正規化できる。したがって、上記の各実施例は、例えば手のひらを対象とする静脈認証、手相認証、掌紋認証等に好適である。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
被写体の画像から取得した、前記被写体の３次元形状を２次曲面で近似する手段と、
前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用する手段と、
前記平面展開処理の前後の対応点を算出する手段と、
算出した前記対応点から、正規化された画像のデータを生成する手段と、
を備え、
前記対応点を算出する手段は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に対する第１の法線ベクトル方向の第１の仮想直線と前記２次曲面の２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、画像処理装置。
（付記２）
前記前記対応点を算出する手段は、
前記対応点を算出する際に断面平面を設定し、
前記断面平面上に投影した前記２次曲線及び前記断面平面上に投影した前記直線の対応関係を算出する、
ことを特徴とする、付記１記載の画像処理装置。
（付記３）
前記対応点を算出する手段は、
前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、付記１又は２記載の画像処理装置。
（付記４）
前記平面展開処理を適用する手段は、前記平面展開処理を前記画像に対して適用することを特徴とする、付記１乃至３のいずれか１項記載の画像処理装置。
（付記５）
前記画像から特徴データを抽出する手段を更に備え、
前記平面展開処理を適用する手段は、前記平面展開処理を前記特徴データに対して適用することを特徴とする、付記１乃至３のいずれか１項記載の画像処理装置。
（付記６）
前記被写体の３次元形状を２次曲面で近似する手段は、ＳＦＳ（Shape From Shading）技術を用いて前記被写体の前記画像から前記被写体の前記３次元形状を取得する手段を有することを特徴とする、付記１乃至５のいずれか１項記載の画像処理装置。
（付記７）
照明部と撮像素子部を有する撮影装置を更に備え、
前記被写体の画像は、前記照明部からの光を照射され、前記撮像素子部により撮像された手のひらの画像であることを特徴とする、付記１乃至６のいずれか１項記載の画像処理装置。
（付記８）
被写体の画像から取得した、前記被写体の３次元形状を２次曲面で近似し、
前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用し、
前記平面展開処理の前後の対応点を算出し、
算出した前記対応点から、正規化された画像のデータを生成する、
処理をコンピュータが実行し、
前記対応点の算出は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に対する第１の法線ベクトル方向の第１の仮想直線と前記２次曲面の２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、画像処理方法。
（付記９）
前記前記対応点の算出は、
前記対応点を算出する際に断面平面を設定し、
前記断面平面上に投影した前記２次曲線及び前記断面平面上に投影した前記直線の対応関係を算出する、
ことを特徴とする、付記８記載の画像処理方法。
（付記１０）
前記対応点の算出は、
前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、付記８又は９記載の画像処理方法。
（付記１１）
前記平面展開処理の適用は、前記平面展開処理を前記画像に対して適用することを特徴とする、付記８乃至１０のいずれか１項記載の画像処理方法。
（付記１２）
前記画像から特徴データを抽出する、
処理を前記コンピュータが更に実行し、
前記平面展開処理の適用は、前記平面展開処理を前記特徴データに対して適用することを特徴とする、付記８乃至１０のいずれか１項記載の画像処理方法。
（付記１３）
前記被写体の前記３次元形状の前記２次曲面での近似は、ＳＦＳ（Shape From Shading）技術を用いて前記被写体の前記画像から前記被写体の前記３次元形状を取得することを特徴とする、付記８乃至１２のいずれか１項記載の画像処理方法。
（付記１４）
照明部と撮像素子部を有する撮影装置により前記被写体の画像を撮影し、
前記被写体の画像は、前記照明部からの光を照射され、前記撮像素子部により撮像された手のひらの画像であることを特徴とする、付記８乃至１３のいずれか１項記載の画像処理方法。
（付記１５）
コンピュータに、画像処理を実行させるプログラムであって、
被写体の画像から取得した、前記被写体の３次元形状を２次曲面で近似し、
前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用し、
前記平面展開処理の前後の対応点を算出し、
算出した前記対応点から、正規化された画像のデータを生成する、
処理を前記コンピュータに実行させ、
前記対応点の算出は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に対する第１の法線ベクトル方向の第１の仮想直線と前記２次曲面の２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、プログラム。
（付記１６）
前記前記対応点の算出は、
前記対応点を算出する際に断面平面を設定し、
前記断面平面上に投影した前記２次曲線及び前記断面平面上に投影した前記直線の対応関係を算出する、
ことを特徴とする、付記１５記載のプログラム。
（付記１７）
前記対応点の算出は、
前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、付記１５又は１６記載のプログラム。
（付記１８）
前記平面展開処理の適用は、前記平面展開処理を前記画像に対して適用することを特徴とする、付記１５乃至１７のいずれか１項記載のプログラム。
（付記１９）
前記画像から特徴データを抽出する、
処理を前記コンピュータに更に実行させ、
前記平面展開処理の適用は、前記平面展開処理を前記特徴データに対して適用することを特徴とする、付記１５乃至１７のいずれか１項記載の画像処理方法。
（付記２０）
前記被写体の画像は、撮影装置が撮像した手のひらの画像であることを特徴とする、付記１５乃至１９のいずれか１項記載のプログラム。

以上、開示の画像処理装置、画像処理方法及び画像処理プログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

１ コンピュータ
２−１，２−２ 生体認証装置
１１ ＣＰＵ
１２ メモリ
１３ 入力装置
１４ 出力装置
１５ 補助記憶装置
１６ 媒体駆動装置
１７ ネットワーク接続装置
１８ バス
１９ 可搬型記録媒体
２１ 制御部
２２ 撮影装置
２３ データベース部
２４ 記憶部
２５ ＳＦＳ計算処理部
２６ 特徴抽出部
２７ 照合処理部
２８−１，２８−２ 正規化処理部

Claims (10)

1. 被写体の画像の３次元形状のデータを２次曲面にフィッティングして前記３次元形状を前記２次曲面で近似する手段と、
   前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用する手段と、
   前記平面展開処理の前後の前記画像の対応点を算出する手段と、
   前記被写体の傾き及び回転のうち少なくとも一方を補正した、正規化された画像のデータを、算出した前記対応点を用いて生成する手段と、
   を備え、
   前記対応点を算出する手段は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に垂直な第１の法線ベクトル方向に延びて前記直線上の着目点を通る第１の仮想直線と前記２次曲面の２次曲線との交点とを用いて前記対応点を算出し、
   前記２次曲面の２次曲線上と前記展開平面の直線上にある対応点は、前記被写体の中心の座標に相当する前記展開平面の展開中心の座標から互いに対応する距離にあることを特徴とする画像処理装置。
2. 前記対応点を算出する手段は、
   前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
   前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、請求項１記載の画像処理装置。
3. 前記平面展開処理を適用する手段は、前記平面展開処理を前記画像に対して適用することを特徴とする、請求項１又は２記載の画像処理装置。
4. 前記画像から特徴データを抽出する手段を更に備え、
   前記平面展開処理を適用する手段は、前記平面展開処理を前記特徴データに対して適用することを特徴とする、請求項１又は２記載の画像処理装置。
5. 照明部と撮像素子部を有する撮影装置を更に備え、
   前記被写体の画像は、前記照明部からの光を照射され、前記撮像素子部により撮像された手のひらの画像であることを特徴とする、請求項１乃至４のいずれか１項記載の画像処理装置。
6. 前記２次曲面の２次曲線上と前記展開平面の直線上にある対応点は、前記展開平面の展開中心の座標から等しい距離にある点の近似であることを特徴とする、請求項１乃至５のいずれか１項記載の画像処理装置。
7. 被写体の画像の３次元形状のデータを２次曲面にフィッティングして前記３次元形状を前記２次曲面で近似し、
   前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用し、
   前記平面展開処理の前後の前記画像の対応点を算出し、
   前記被写体の傾き及び回転のうち少なくとも一方を補正した、正規化された画像のデータを、算出した前記対応点を用いて生成する、
   処理をコンピュータが実行し、
   前記対応点の算出は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に垂直な第１の法線ベクトル方向に延びて前記直線上の着目点を通る第１の仮想直線と前記２次曲面の２次曲線との交点とを用いて前記対応点を算出し、
   前記２次曲面の２次曲線上と前記展開平面の直線上にある対応点は、前記被写体の中心の座標に相当する前記展開平面の展開中心の座標から互いに対応する距離にあることを特徴とする、画像処理方法。
8. 前記対応点の算出は、
   前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
   前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、請求項７記載の画像処理方法。
9. コンピュータに、画像処理を実行させるプログラムであって、
   被写体の画像の３次元形状のデータを２次曲面にフィッティングして前記３次元形状を前記２次元曲面で近似し、
   前記画像のデータに、前記２次曲面を展開平面に展開する平面展開処理を適用し、
   前記平面展開処理の前後の前記画像の対応点を算出し、
   前記被写体の傾き及び回転のうち少なくとも一方を補正した、正規化された画像のデータを、算出した前記対応点を用いて生成する、
   処理を前記コンピュータに実行させ、
   前記対応点の算出は、前記被写体の基準点に対応する、前記２次曲面上の点に接する前記展開平面の直線上の点と、前記直線上の前記点を通る、前記直線に垂直な第１の法線ベクトル方向に延びて前記直線上の着目点を通る第１の仮想直線と前記２次曲面の２次曲線との交点とを用いて前記対応点を算出し、
   前記２次曲面の２次曲線上と前記展開平面の直線上にある対応点は、前記被写体の中心の座標に相当する前記展開平面の展開中心の座標から互いに対応する距離にあることを特徴とする、プログラム。
10. 前記対応点の算出は、
    前記第１の法線ベクトルと、前記交点を通る、前記２次曲線に対する第２の法線ベクトルとの平均法線ベクトルを求め、
    前記直線上の前記点と、前記直線上の前記点を通る、前記平均法線ベクトル方向の第２の仮想直線と前記２次曲線との交点とに基づいて前記対応点を算出することを特徴とする、請求項９記載のプログラム。

Images