JP4539683B2 - 生体特徴入力システム、画像合成装置、画像合成方法および、画像合成プログラム - Google Patents

Description

本発明は、生体特徴入力システム、画像合成装置、画像合成方法および、画像合成プログラムに関する。

特許文献１は、カメラが足上面と鏡体に写る足側面の鏡像をまとめて撮影する技術を開示する。しかし、本技術は足上面と鏡体に写る足側面の鏡像をつなぎ合わせた画像を合成するものではない。

特許文献２は、錠剤を左右に置かれたプリズムを用いて、正面と側面の画像を同時に撮影する技術を開示する。しかし、本技術は錠剤の正面と側面の画像をつなぎ合わせた画像を合成するものではない。

特許文献３は、半導体の側面が、上面とともに画像として取り込めるように四方に鏡をおく技術を開示する。しかし、本技術は半導体の上面と側面の画像をつなぎ合わせた画像を合成するものではない。

特開２００２−８１９１２号公報 特開平５−８７７４４号公報 特開２０００−１８９２７号公報

上述した特許文献１乃至３の技術は、撮像手段によって直接撮像された画像と鏡やプリズム等を用いて鏡像反転して撮像された画像をつなぎ合わせた画像を合成することはできなかった。本発明の目的は、上述の課題を解決するための生体特徴入力システム、画像合成装置、画像合成方法および、画像合成プログラムを提供することにある。

本発明の一例の画像合成装置は、互いに分離された第１画像と第２画像の両画像を同一面に含む第３画像を入力して、第１画像を鏡面反転して第２画像とつなぎ合わせをして第４画像を合成する。

本発明の一例の画像合成方法は、コンピュータが、互いに分離された第１画像と第２画像の両画像を同一面に含む第３画像を入力する入力行程と、第１画像を鏡面反転する反転行程と、反転した前記第１画像と第２画像とつなぎ合わせをして第４画像を合成する合成行程を有する。

本発明の一例の画像合成プログラムは、コンピュータに、互いに分離された第１画像と第２画像の両画像を同一面に含む第３画像を入力する入力処理と、第１画像を鏡面反転する反転処理と、反転した前記第１画像と第２画像とつなぎ合わせをして第３画像を合成する合成処理を実行させる。

本発明によれば、互いに分離された第１画像と第２画像の両画像を同一面に含む第３画像を入力して、第１画像を鏡面反転して第２画像とつなぎ合わせて第４画像を合成することができる。

次に、本発明を実施するための実施例について図面を参照して詳細に説明する。

図１は本実施例の生体特徴入力システム１５を示す。本実施例の生体特徴入力システム１５は、指１３の指紋や血管などの生体特徴によって個人を認証するためのシステムである。このシステムは、指１３の正面だけでなく側面も同時に一つの撮像システム１４内の撮像部２９で撮像することによって、指１３の生体特徴を３方向から測定する。これにより、指１３の回転などによる認証精度の悪化が防止できる。

生体特徴入力システム１５は、指１３の左右の側面に配置された鏡１１、１２と撮像システム１４とから構成される。図１の左側は、生体特徴入力システム１５を入力対象となる指１３の指先方向からみた図である。図１は、さらに鏡１１、１２および、指１３を指１３の横からみた図も示している。

なお、指１３の方向表記は以下の通りである。撮像システム１４に向いている側が正面、その反対側が背面である。正面および背面と概ね直交する側は側面である。側面の一方が右、他方が左である。また、指１３の指紋のある側は腹である。腹の反対側が裏である。腹および裏と概ね直交する面が横である。横の一方が右横、他方が左横である。図１では、指１３の腹が正面を向いている。図８では、指１３が回転して、腹は側面方向を向いている。図１において、正面は下方を向いているが、それに限定されない。

図１において、指１３の左右の側面に配置された鏡１１、１２（反射部とも呼ぶ）は、指１３の側面の画像を写して正面方向に反射する。鏡１１、１２は、反射された画像が指１３の正面の撮像システム１４によって撮像できるように配置されている。すなわち、鏡１１、１２は、両者の間の距離が指１３の正面側で広く、背面側で狭くなるような角度を持って配置されている。反射面は指側に設けられている。撮像システム１４は、鏡１１、１２に写っている指１３の側面部と正面部を同時に撮像する。なお、鏡１１、１２は、光を反射する他の物で代用してもよい。代用物には、金属板、プラスチック板含む。

図２は撮像システム１４の詳細な構成を示す。撮像レンズ２１は指１３の正面部分と鏡１１、１２に反射した指１３の側面部分を撮像デバイス２２に映し出す。ＡＤ変換部２４と周辺制御部２３は、撮像デバイス２２に映し出された指１３の画像を合成前画像データ３１に変換して画像合成部２５に送出する。画像合成部２５は、入力された合成前画像データ３１から正面画像３３と鏡１１、１２に反射して撮像された側面画像（右画像３２および左画像３４）を取り出す。そして、同部は、それらを連続するようにつなぎ合わせて、正面と側面の両者を含む合成後画像データ５１を画像処理部２６に出力する。画像処理部２６は、指１３の合成後画像データ５１から指紋や血管などの画像特徴を抽出し、画像特徴抽出データ２８を照合部２７に出力する。照合部２７は、画像特徴抽出データ２８とあらかじめ図示しないデータベースなどに登録された指紋や血管などの登録特徴データ２Ａとの照合を行う。この照合結果に基づいて個人が認証される。

なお、撮像レンズ２１、撮像デバイス２２、周辺制御部２３およびＡＤ変換部２４は、撮像部２９を構成する。また、撮像デバイス２２は、ＣＣＤやＣＭＯＳなどのイメージセンサで構成される。

周辺制御部２３、画像処理部２６および照合部２７は、プロセッサー、メモリーやプログラムなどで構成され、指紋や血管像の画像処理を最適に行い、測定データの登録や照合を行う。それらは、ハードウェアで専用の装置として構成されていてもよい。それらおよび、ＡＤ変換部２４は、当業者に知られており、また本発明とは直接関係しないので、詳細な構成は省略する。

図６は画像合成部２５の詳細な構成を示す。画像合成部２５は処理装置６１を備える。処理装置６１は、合成前画像データ３１の側面画像（右画像３２および左画像３４）の一方または両方を入力して鏡像反転し、正面画像３３とつなぎ合わせて、合成後画像データ５１を合成して出力する。処理装置６１は、後述するように他の処理を追加的に実行してもよい。処理装置６１はハードウェアで実現してもよいし、プロセッサーが記憶域に格納されている画像合成プログラム６２を読み込んで実行することで同等な機能を果たすように実現してもよい。

次に、本実施例の動作について図面を参照して説明する。

図２において、鏡１１、１２は、指１３の側面の画像を写して正面方向に反射する。撮像システム１４内の撮像部２９は、鏡１１、１２に写っている指１３の側面部と正面部を同時に撮像する。

図３は撮影された画像、すなわち合成前画像データ３１を示す。ここで、指１３の各部が合成前画像データ３１においてどのように現れるかを示すために指１３に、指１３の伸張方向に伸びる線ａ、線ｂ、線ｃおよび線ｄが図２に示すように描かれていると仮定する。線ａは正面画像３３のａ２および右画像３２のａ１の位置に撮像される。線ｂは正面画像３３のｂ２および左画像３４のｂ１の位置に撮像される。線ｃは右画像３２のｃ１の位置に撮像される。線ｄは左画像３４のｄ１の位置に撮像される。線ｃと線ｄは指１３の背面に位置するため、正面画像３３には撮像されない。

図７は画像合成部２５の処理フローを示す。画像合成部２５は、合成前画像データ３１を入力して、右画像３２、正面画像３３および左画像３４を取り出す（Ａ１）。これらの取り出しは、各画像間に存在する指１３以外の画像（図３の白抜き部分）の色彩や輝度に基づいて行う。なお、本実施例の生体特徴入力システム１５に於いては、鏡１１、１２の相互間隔、角度、および撮像部２９との相対位置は、各画像間に存在する指１３以外の画像（図３の白抜き部分）が存在するように調整される。

次に、画像合成部２５は、右画像３２および左画像３４を鏡像反転する（Ａ２）。図４はこの処理結果の合成中画像データ４１を示す。ここで、本来指１３の同一位置である、線ａ１と線ａ２が隣接する。線ｂ１と線ｂ２も隣接する。

その後、画像合成部２５は画像のつなぎ合わせを行う。同部は、まず、合成中画像データ４１から指紋の特徴点を抽出する（Ａ３）。
指紋を含む画像データから特徴点を抽出する技術は当業者に知られており、その詳細な説明は省略する。

次に、画像合成部２５は、特徴点が一致するように正面画像３３、右画像３２および左画像３４をつなぎ合わせる（Ａ４）。つまり、同部は、図４の線ａ１と線ａ２、および、線ｂ１と線ｂ２を重ね合わせる。具体的には、同部は、右画像３２および左画像３４を指１３の伸張方向と直交する方向（図４下部の矢印方向）に平行移動して正面画像３３と特徴点が一致する位置をパターンマッチングの手法で見いだす。そして、同部は、正面画像３３、右画像３２および左画像３４をつなぎ合わせる。

なお、特徴点の一致は完全である必要はない。一致は、照合に耐えうる範囲であればよい。例えば、特徴点の８０％程度が一致すればよい。図５は、上記の処理で画像合成部２５が出力する合成後画像データ５１を示す。

また、画像合成部２５は、指１３の画像以外の画像を合成するように実装することも可能である。例えば指１３の代わりにネジの撮像画像を入力して、ネジのパターンに基づいて、ネジの正面画像３３、右画像３２および左画像３４をつなぎ合わせるようにしてもよい。

図８は、照合時に指１３が斜めに回転して置かれた場合を示している。指１３の腹は鏡１１に反射して撮像部２９により得られる。横部分は直接撮像部２９によって得られる。

図９は、照合時に指１３が図８の場合とは逆方向に斜めに回転して置かれた場合を示している。指１３の腹部分は鏡１２に反射して撮像部２９により得られる。横部分は、直接撮像部２９によって得られる。

本実施例においては、鏡１１、１２と画像合成部２５を備えているため、以下に記載するような効果を奏する。第１の効果は、指紋を指１３の正面と両側面の３方から測定しているので、正面だけの方式より高精度な個人認証ができることである。第２の効果は指１３の指紋などの生体特徴を指１３の正面と両側面の３方から測定しているので、測定者が無意識に指１３を斜めに回転させても個人認証ができることである。

実施例１の生体特徴入力システム１５は、鏡１１と鏡１２の両者を備えていた。第２の実施例では、いずれか一方のみを備える。鏡１１または鏡１２の一方を備えなくてすむので、生体特徴入力システム１５を小型かつ安価に実現できる。本実施例は、指紋を指１３の正面と一方の側面の２方から測定しているので、正面だけの方式より高精度な個人認証ができる。さらに、本実施例は、指紋を指１３の正面と一方の側面の２方から測定しているので、測定者が無意識に指１３を斜めに回転させても個人認証ができる。

図１０は第３の実施例の生体特徴入力システム１５を示す。本実施例は、実施例１の鏡１１、１２の両者の上部に天井板９０を備える。本実施例はこの天井板９０を備えるため、画像合成部２５が、合成前画像データ３１から、右画像３２、正面画像３３および、左画像３４を分離して取り出すことが容易となる。各図面間（図３の空白部分）の色彩や輝度が、上述の各画像と相違するようにできるからである。なお、本実施例では、指１３は生体特徴入力システム１５の前部などから挿入する。

第４の実施例の基本的構成は実施例１の通りであるが、さらに正面照明９１および背面照明９２を備える。図１１はその構成を示す。

正面照明９１は、指１３の指先の正面部分（通常は腹部分）を照射して、指先の腹に存在する指紋の反射像を生じさせる。正面照明９１による指画像は反射光による像である。従って、その波長特性は可視光でも近赤外線でも良く、撮像デバイス２２の特性に合わせて選べる。しかし、汚れや外乱光を考慮すると赤色、または８５０−９６０ｎｍ程度の近赤外の波長特性が望ましい。すなわち、正面照明９１はＬＥＤなどの使用が望ましい。また正面レンズ９３などによって集光させ、指先の腹部分のみを照射することが望ましい。

背面照明９２は、指１３の第一関節と第二間接の間（いわゆる中節）を指１３の背側から照射し、この部分に多く存在する血管像を得る。また背面レンズ９４などが、集光して指１３の第一関節と第二間接の間のみを照射することが望ましい。背面照明９２の光は、指１３の内部を透過し、血管中の赤い血で吸収される波長が望ましい。光源は、赤色、ないし８５０−９６０ｎｍ程度の近赤外線領域に波長特性を持つＬＥＤなどが望ましい。

本実施例では、正面照明９１と背面照明９２を備えるため、指１３の生体特徴である指紋と血管を同時に撮像できる。このように、本実施例は、鏡１１、１２に加えて正面照明９１と背面照明９２を備えるので、一つの撮像部２９で指紋と血管の２つの生体特徴を正面と側面とから測定することができる。本実施例は、実施例１より高精度な生体認証が出来る。

第５の実施例は、実施例４において正面照明９１および背面照明９２の光を波長８５０−９６０ｎｍ程度の近赤外線とし、指１３と撮像部２９の間に可視領域の光をカットする赤外線透過フィルター９５を備える。図１２は本実施例の構成を示す。本実施例は、赤外線透過フィルター９５を使用して室内照明用の蛍光灯などの外乱光を防ぐことが出来る。

生体特徴入力システムの全体構成を示す図である。 撮像システムの構成を示す図である。 合成前画像データを示す図である。 合成中画像データを示す図である。 合成後画像データを示す図である。 画像合成部の構成を示す図である。 画像合成部の処理フローチャートである。 指の位置のバリエーションを示す図である。 指の位置のバリエーションを示す図である。 実施例３の生体特徴入力システムの構成を示す図である。 実施例４の生体特徴入力システムの構成を示す図である。 実施例５の生体特徴入力システムの構成を示す図である。

符号の説明

１１ 鏡
１２ 鏡
１３ 指
１４ 撮像システム
１５ 生体特徴入力システム
２１ 撮像レンズ
２２ 撮像デバイス
２３ 周辺制御部
２４ ＡＤ変換部
２５ 画像合成部
２６ 画像処理部
２７ 照合部
２８ 画像特徴抽出データ
２９ 撮像部
２Ａ 登録特徴データ
３１ 合成前画像データ
３２ 右画像
３３ 正面画像
３４ 左画像
４１ 合成中画像データ
５１ 合成後画像データ
６１ 処理装置
６２ 画像合成プログラム
９０ 天井板
９１ 正面照明
９２ 背面照明
９３ 正面レンズ
９４ 背面レンズ
９５ 赤外線透過フィルター

Claims (13)

1. 互いに分離された指の一方の側面画像を正面方向に反射させた第１画像と前記指の正面画像である第２画像を、正面方向から撮像した第３画像を入力する入力手段と、
   前記第１画像を鏡面反転する反転手段と、
   前記第２画像と、前記両画像から抽出した前記特徴点が登録特徴点データとの照合が可能な程度に一致するようにつなぎ合わせをして前記照合に用いる第４画像を合成する合成手段を有する画像合成装置。
2. 前記合成手段は、鏡面反転された前記側面の画像を前記指の伸張方向と直交する方向に平行移動して前記両画像の前記特徴点を一致させて前記つなぎ合わせをして前記第４画像を合成する請求項１に記載の画像合成装置。
3. 前記第３画像を撮像する撮像部と、
   背面方向近傍に開放空間が存在するように前記指の側面に非接触に配置されて、前記側面の画像を前記指の正面方向に反射して、正面に配置された前記撮像部が前記側面の画像を撮像可能にする反射部と、
   請求項１または２に記載の画像合成装置を備えた生体特徴入力システム。
4. 前記反射部は、前記指の伸張方向に伸びる反射板であって前記指の両側面に各々配置され、各々の前記反射部間の距離が前記指の背面側より正面側の方が大きな請求項３の生体特徴入力システム。
5. 前記指の正面方向に第１の光源を、前記指の背面方向に第２の光源を備えた請求項３または４に記載の生体特徴入力システム。
6. 前記第２の光源の光は前記指の第一関節と第二間接の間を前記指の裏方向からから照射する請求項５に記載の生体特徴入力システム。
7. 前記第１の光源および第２の光源の光の波長は８５０ｎｍ乃至９６０ｎｍであり、前記指と前記撮像部の間に赤外線透過フィルターを備える請求項５または６に記載の生体特徴入力システム。
8. コンピュータが、互いに分離された指の一方の側面画像を正面方向に反射させた第１画像と前記指の正面画像である第２画像を、正面方向から撮像した第３画像を入力する入力行程と
   前記コンピュータが、前記第１画像を鏡面反転する反転行程と、
   前記コンピュータが、反転した前記第１画像と前記第２画像とを、前記両画像から抽出した前記特徴点が登録特徴点データとの照合が可能な程度に一致するようにつなぎ合わせをして前記照合に用いる第４画像を合成する合成行程を有する画像合成方法。
9. 前記合成行程に於いて、前記コンピュータが、鏡面反転された前記側面の画像を前記指の伸張方向と直交する方向に平行移動して前記両画像の前記特徴点を一致させて前記つなぎ合わせをして前記第４画像を合成する請求項８に記載の画像合成方法。
10. 撮像部が、前記第３画像を撮像する撮像工程と、
    背面方向近傍に開放空間が存在するように前記指の側面に非接触に反射部を配置された反射部が、前記側面の画像を前記指の正面方向に反射して、正面に配置された前記撮像部が前記側面の画像を撮像可能にする反射工程、
    を有する請求項９の画像合成方法。
11. 前記反射部は、前記指の伸張方向に伸びる反射板であって前記指の両側面に各々配置され、各々の前記反射部間の距離が前記指の背面側より正面側の方が大きな請求項１０の画像合成方法。
12. コンピュータに、互いに分離された指の一方の側面画像を正面方向に反射させた第１画像と前記指の正面画像である第２画像を、正面方向から撮像した第３画像を入力する入力処理と、
    第１画像を鏡面反転する反転処理と、
    反転した前記第１画像と第２画像とを、前記両画像から抽出した前記特徴点が登録特徴点データとの照合が可能な程度に一致するようにつなぎ合わせをして前記照合に用いる第４画像を合成する合成処理を実行させる画像合成プログラム。
13. 前記合成処理に於いて、前記コンピュータに、鏡面反転された前記側面の画像を前記指の伸張方向と直交する方向に平行移動して前記両画像の前記特徴点を一致させて前記つなぎ合わせをして前記第４画像を合成させる請求項１２に記載の画像合成プログラム。

Images