JP5024153B2

JP5024153B2 - 生体撮像装置

Info

Publication number: JP5024153B2
Application number: JP2008084541A
Authority: JP
Inventors: 淳志梶原; 健二山本; 功市村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2012-09-12
Anticipated expiration: 2028-03-27
Also published as: JP2009238005A

Description

本発明は、撮像素子を用いた生体撮像装置に関する。

従来より、画像を表示するための表示素子および受光素子を内蔵する表示パネルと、この表示パネルに光を照射するための光源とを備えることにより、入力された画像データの表示と原稿画像等の読み取りとを可能にした表示装置が提案されている（例えば、特許文献１〜３および非特許文献１，２）。

特許第３００７００８号明細書特許第３１３８５９９号明細書特開２００６−３２３３１１号公報佐藤孝、外６名，「輝度２倍を実現する新規反射透過型ＬＣＤ」，シャープ技報，シャープ株式会社，平成１９年１１月，第９６号，ｐ．３６−３７加藤浩巳、外２名，「画像入力機能付き２．６インチＶＧＡ液晶パネル」，シャープ技報，シャープ株式会社，平成１９年１１月，第９６号，ｐ．４０−４１

ここで、上記したような表示装置において、表示装置上に置いた指から指紋パターンを取得し、それを用いて指紋認証を行うということが考えられる。

またそれとは別に、指や手のひらの静脈パターンを用いて認証を行う静脈認証の開発が行われている。指紋認証は、装置自体の小型化が可能で低価格であるという利点がある一方、装置認証部に指紋が残るためにそれを用いて容易に偽造される可能性があると共に、怪我（擦り傷・切り傷）や皮膚の乾燥があったり手が濡れていたりすると、認証が困難になるという欠点がある。一方、静脈認証は、生体内部の情報（静脈パターン）を抽出した認証であるため、偽造されにくく、また、怪我や皮膚の乾燥、濡れといった環境変化に強いという利点をもつ。すなわち、静脈は指の内部の構造物であるため、認証パターンの偽造が困難であり、指紋認証に比べてセキュリティレベルの高い認証を行うことができる。

ここで、静脈パターンといった生体内部の情報を取得するには、生体内部の散乱と侵入長、還元ヘモグロビン（静脈）の吸収との兼ね合いから、近赤外光(７００ｎｍ〜１２００ｎｍ程度の波長領域の光)を照明に用いる必要がある。ところが、上記特許文献１等では、装置面上に近接配置された撮像対象物に対して白色光（可視光）を照明していることから、生体内部の情報を取得するのは困難である。

また、特許文献１等では、このように撮像時に白色表示にする必要があるため、表示画像を保持しつつ認証を行うというのが困難であった。

さらに、静脈認証ではセキュリティレベルを上げるため、１００μｍ以下程度の比較的細い血管までの分解能が求められる。ところが、上記特許文献１等では、このような分解能についての考慮がなされていないため、実質的に静脈認証を行うのが困難であった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、画像表示機能による表示画像を保持しつつ、セキュリティレベルの高い生体認証を実現するための撮像データを得ることが可能な生体撮像装置を提供することにある。

本発明の生体撮像装置は、表示面内に配置され、画像データに基づく可視光領域の光と非可視光領域の光とを生体へ向けて照射する発光素子と、表示面内に配置され、生体からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイ部と、表示面内に配置され、マイクロレンズアレイ部において集光された光に基づいて非可視光領域の光による生体の撮像データを取得する受光素子と、表示面から可視光領域の光が表示光として照射されるように、画像データに基づいて発光素子を表示駆動する表示駆動手段と、表示面から照射されて生体から得られた非可視光領域の光を検出光として表示面上で受光するように、受光素子を受光駆動する受光駆動手段と、受光素子で得られた撮像データに基づいて少なくとも生体の静脈像を生成する画像処理部とを備えたものである。また、発光素子による照射動作の際には、マイクロレンズによる集光機能が発揮されない一方、受光素子による撮像動作の際には、マイクロレンズによる集光機能が発揮されるようになっている。

本発明の生体撮像装置では、表示面内の発光素子から生体へ向けて、画像データに基づく表示光としての可視光領域の光と、検出光としての非可視光領域の光とが照射され、この生体からの光が、表示面内のマイクロレンズアレイ部における各マイクロレンズによって集光される。そしてマイクロレンズアレイ部において集光された光に基づいて、非可視光領域の光による生体の撮像データが受光素子により取得され、この撮像データに基づき、少なくとも生体の静脈像が生成される。ここで、非可視光領域の光によって生体の撮像データが得られることにより、生体内部の情報の取得が容易となって静脈認証の実現も容易となると共に、撮像データの取得の際に、従来とは異なり、可視光領域の表示光が影響を受けなくなる。また、マイクロレンズアレイ部内の各マイクロレンズによって生体からの光が受光素子上に集光されることにより、従来と比べて撮像データにおける分解能が向上する。

本発明の生体撮像装置によれば、非可視光領域の光によって生体の撮像データを取得するようにしたので、静脈認証の実現が容易となると共に、撮像データの取得の際に、可視光領域の表示光が影響を受けなくなる。また、マイクロレンズアレイ部内の各マイクロレンズによって、生体からの光を受光素子上に集光させるようにしたので、従来と比べ、撮像データにおける分解能を向上させることができる。よって、画像表示機能による表示画像を保持しつつ、セキュリティレベルの高い生体認証を実現するための撮像データを得ることが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る生体認証装置（生体認証装置１）の機能ブロック構成を表したものである。この生体認証装置１は、撮像対象物である生体（例えば、後述する指先）を撮像してその生体の静脈を利用する静脈認証を行い、認証結果データＤoutを出力するものである。生体認証装置１は、表示部１００内に設けられた入出力パネル１０と、表示信号ドライバ２１と、表示側スキャナ２２と、ＩＲ（赤外）照射制御部２３と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、ＭＬＡ（マイクロレンズアレイ）駆動制御部３３と、画像処理部４１と、パターン保持部４２と、認証部４３と、制御部５とを備えている。

入出力パネル１０は、複数の画素１１が全面に渡ってマトリクス状に配置されたＬＣＤ（Liquid Crystal Display）を用いて構成され、後述する線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、液晶素子１１１と、受光素子１１２と、この受光素子１１２に対応して配置された液晶マイクロレンズ１１３とから構成されている。すなわち、液晶素子１１１、受光素子１１２および液晶マイクロレンズ１１３が、いずれも画素１１ごとに配置されている。このような構成により入出力パネル１０は、以下説明するように画像表示機能と撮像機能とを併有するようになっている。

液晶素子１１１は、画像データ（後述する画像データＤ０）に基づく可視光領域の光（表示光）と、非可視光領域の光、具体的には近赤外光（７００ｎｍ〜１２００ｎｍ程度の波長領域の光；検出光）とを、入出力パネル１０上の生体へ向けて照射する発光素子である。このようにして近赤外光を用いていることにより、生体に対する透過率と、生体内の還元ヘモグロビン（静脈）への吸収率との兼ね合いより、生体の静脈認証を行う場合において、光利用効率をより高めることができるようになっている。

液晶マイクロレンズ１１３は、生体からの光（可視光領域の光および近赤外光）を集光するためのマイクロレンズである。この液晶マイクロレンズ１１３は、画素１１のマトリクス配置に対応して表示部１００内で２次元アレイ状に配置され、後述するマイクロレンズアレイ（マイクロレンズアレイ６５）を構成している。また、液晶マイクロレンズ１１３は、印加電圧に応じて入射光線の屈折方向を変位可能なものであり、後述するＭＬＡ駆動制御部３３による印加電圧に応じて、入射光線の屈折方向を変位できるようになっている。

受光素子１１２は、各液晶マイクロレンズ１１３により集光された互いに異なる生体の部位からの光に基づいて、近赤外光による各部位の撮像データを取得するものであり、各液晶マイクロレンズ１１３の焦点面に配置されている。なお、この受光素子１１２は、例えば、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）などにより構成される。

表示信号ドライバ２１は、制御部５から供給される１水平ライン分の表示信号（画像データＤ０）に応じて、表示駆動対象の画素１１内の液晶素子１１１に対し、表示データを供給するものである。また、表示側スキャナ２２は、制御部５から供給される表示タイミング制御信号に応じて、表示駆動対象の画素１１内の液晶素子１１１を選択するものである。これら表示信号ドライバ２１および表示側スキャナ２２は、表示部１００から可視光領域の光が表示光として照射されて後述する線順次表示動作がなされるように、画像データ（画像データＤ０）に基づいて各液晶素子１１１を表示駆動するもようになっている。

ＩＲ照射制御部２３は、各液晶素子１１１から照射される近赤外光について、その照射領域、照射タイミングおよび照射強度のうちの少なくとも１つを制御するものである。

撮像信号選択スキャナ３１は、制御部５から供給される撮像タイミング制御信号に応じて、受光駆動対象の画素１１内の受光素子１１２を選択するものである。また、撮像信号レシーバ３２は、制御部５から供給される撮像ブロック制御信号に応じて、受光駆動対象の画素１１内の受光素子１１２から出力された１水平ライン分の撮像信号（生体の各部位に関する１水平ライン分の撮像データ）を取得するものである。これら撮像信号選択スキャナ３１および撮像信号レシーバ３２は、表示部１００から照射されて生体から得られた近赤外光を、検出光として表示部１００上で受光するように、各受光素子１１２を受光駆動する（後述する線順次受光動作を行う）ようになっている。

ＭＬＡ駆動制御部３３は、各液晶マイクロレンズ１１３に対して電圧を印加するための駆動を行うものであり、これにより各液晶マイクロレンズ１１３が入射光線の屈折方向を変位できるようになっている。

画像処理部４１は、制御部５からの制御に応じて、撮像信号レシーバ３２から供給される生体の各部位の撮像データＤ１に対して所定の画像処理を施すことにより、生体の単一の撮像パターン（画像処理データＤ２）を生成し、認証部４３へ出力するものである。また、この画像処理部４１による画像処理後の撮像データ等は、入出力パネル１における画像データ（表示信号）として、制御部５へ出力することができるようになっている。なお、この画像処理部４１、ならびに後述する認証部４３および制御部５は、例えばマイクロコンピュータなどにより構成される。

パターン保持部４２は、生体認証の際に用いる生体認証パターン（認証の際に撮像して得られた撮像パターンに対する比較パターンであり、予め生体を撮像して得られたもの）が保持される部分であり、不揮発性の記録素子（例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）など）により構成される。

認証部４３は、制御部５からの制御に応じて、画像処理部４４から出力される単一の撮像パターン（画像処理データＤ２）と、パターン保持部４２に保持されている生体認証パターンとを比較することにより、撮像対象である生体の認証（ここでは、静脈認証）を行うものである。なお、このような生体認証の結果は、認証結果データＤoutとして外部へ出力されるようになっている。また、この認証部４３による認証結果等は、制御部５へも出力することができるようになっている。

制御部５は、表示信号ドライバ２１、表示側スキャナ２２、ＩＲ照射制御部２３、撮像信号選択スキャナ３１、撮像信号レシーバ３２、ＭＬＡ駆動制御部３３、画像処理部４１および認証部４３の動作を制御するものである。具体的には、表示信号ドライバ２１および表示側スキャナ２２による表示駆動動作、ＩＲ照射制御部２３による近赤外光の照射制御動作、撮像信号選択スキャナ３１および撮像信号レシーバ３２による受光駆動動作（撮像駆動動作）、ＭＬＡ駆動制御部３３による後述するマイクロレンズアレイの駆動制御動作、画像処理部４１による画像処理動作、ならびに認証部４３による生体認証動作を、それぞれ適宜制御するようになっている。

次に、図２を参照して、入出力パネル１０の断面構成について詳細に説明する。図２は、入出力パネル１０の要部断面構成を、画素１１単位で表したものである。

この入出力パネル１０は、前述の液晶素子１１１および受光素子１１２と、前述の複数の液晶マイクロレンズ１１３を有するマイクロレンズアレイ６５と、偏光子６２３と、遮光部６６と、ＩＲ（赤外）透過フィルタ６７とを含んで構成されている。

液晶素子１１１は、バックライト６１と、液晶セル６３と、一対の偏光子６２１，６２２と、カラーフィルタ６４とを含んで構成されている。

バックライト６１は、可視光領域の光および近赤外光を液晶セル６３へ向けて発する光源である。このバックライト６１は、例えば、ＣＣＦＬ（Cold Cathode Fluorescent Lamp；冷陰極管）やＬＥＤ（Light Emitting Diode；発光ダイオード）などにより構成される。

液晶セル６３は、一対の透明基板（図示せず）と、これら一対の透明基板の間に配置された液晶層（図示せず）とを含んで構成されている。この液晶セル６３は、透明基板間の印加電圧に応じて、バックライト６１からの入射光を変調するようになっている。

偏光子６２１は、バックライト６１と液晶セル６３との間において、液晶セル６３に対応する領域に配置されている。また、偏光子６２２は、液晶セル６３と後述するマイクロレンズアレイ６５との間において、液晶セル６３に対応する領域に配置されている。具体的には、液晶セル６３と後述するカラーフィルタ６４との層間に配置されている。なお、図２において、これら偏光子６２１，６２２の横に示した矢印は、それぞれ、偏光子６２１，６２２の偏光軸（透過軸）を表しており、以下同様である。

カラーフィルタ６４は、液晶セル６４および偏光子６２２を透過したバックライトからの光のうち、自己の発光色に対応する波長領域の光（例えば、赤色光、緑色光または青色光）と、非可視光領域の光（例えば、近赤外光）とを選択的に透過させるものである。なお、受光素子１１２に対応する領域には、カラーフィルタ６４は配置されないようになっている。

マイクロレンズアレイ６５は、前述の複数の液晶マイクロレンズ１１３を２次元アレイ状に配列してなり、液晶素子１１１および受光素子１１２の上方に配置されている。ただし、本実施の形態では、各液晶マイクロレンズ１１３は、受光素子１１２に対応する領域にのみ配置されている。これら各液晶マイクロレンズ１１３は、撮像対象物である生体（ここでは、指先）７の撮像レンズとして機能しており、生体７からの光を受光素子１１２上に集光するようになっている。なお、図３等において、マイクロレンズアレイ６５の横に示した矢印は、各液晶マイクロレンズ１１３における液晶の配向方向を表しており、以下同様である。

偏光子６２３は、マイクロレンズアレイ６５上の各液晶マイクロレンズ１１３に対応する領域に配置されている。なお、図２において、この偏光子６２３の横に示した矢印は、偏光子６２３の偏光軸（透過軸）を表しており、以下同様である。

遮光部６６は、マイクロレンズアレイ６５における各液晶マイクロレンズ１１３と、受光素子１１２との間に配置されている。この遮光部６６は、近傍の他の画素からの入射光を遮断するためのものであり、これにより、そのような入射光が受光素子１１２へ入射するのが回避されるようになっている。

ＩＲ透過フィルタ６７は、遮光部６６と受光素子１１２との間に配置されている。このＩＲ透過フィルタ６７は、生体７からの光（可視光および非可視光）のうち、近赤外光を選択的に透過して受光素子１１２へと入射させるためのフィルタである。

ここで、液晶素子１１１が、本発明における「発光素子」の一具体例に対応する。また、偏光子６２１，６２２が本発明における「一対の第１偏光子」の一具体例に対応し、偏光子６２３が本発明における「第２偏光子」の一具体例に対応する。また、バックライト６１が本発明における「光源」の一具体例に対応し、ＩＲ透過フィルタ６７が本発明における「透過フィルタ」の一具体例に対応する。表示信号ドライバ２１および表示側スキャナ２２が本発明における「表示駆動手段」の一具体例に対応し、撮像信号選択スキャナ３１および撮像信号レシーバ３２が本発明における「受光駆動手段」の一具体例に対応する。また、ＩＲ照射制御部２３が本発明における「非可視光制御手段」の一具体例に対応し、ＭＬＡ駆動制御部３３が本発明における「マイクロレンズ駆動手段」の一具体例に対応する。

次に、図１〜図４を参照して、本実施の形態の生体認証装置１の動作（生体認証動作）について詳細に説明する。図３は、本実施の形態の生体認証動作（特に入出力パネル１０における作用）について説明するための要部断面図であり、認証対象の生体（指７）の静脈パターンを取得する場合の光路例を表したものである。また、図４（Ａ）〜（Ｃ）は、線順次による表示動作および受光動作について説明するための平面模式図である。なお、図３等において、白色光（可視光）Ｌｗおよび近赤外光ＬIR（非可視光）の光線内に示した矢印は、各光の偏光方向を表したものであり、以下同様である。

この生体認証装置１では、図３に示したように、入出力パネル１０上に、例えば指などの生体７が接触または近接していると、入出力パネル１０からの画像データＤ０に基づく表示光Ｌｗ（白色光）と近赤外光ＬIRとが、生体７へ向けて照射され、この生体７からの光（白色光Ｌｗおよび近赤外光ＬIR）が、入出力パネル１０へ向けて入射する。

この際、バックライト６１から出射された白色光Ｌｗおよび近赤外光ＬIRは、いずれもランダム偏光であるが、偏光子６２１を通過後、特定の直線偏光成分のみとなり、液晶セル６３内の液晶層へ入射する。この直線偏光の入射光は、液晶層の厚み方向に伝播しつつ、液晶のもつ屈折率異方性（複屈折）に応じて、その偏光状態が変化する。ここで、偏光子６２２を通過する直線偏光は、その偏光方向が各液晶マイクロレンズ１１３の配向方向と直交するため、マイクロレンズアレイ６５を通過する際に、その屈折力を受けない。これにより、表示光としての白色光Ｌｗは一種の平板を通過したのと同様となるため、画像表示の際の画質に影響を及ぼすことはない。

一方、白色光Ｌｗおよび近赤外光ＬIRは、生体７へ照射されると、それらの反射成分は、再びランダム偏光となる。また、偏光子６２３による偏光作用によって、各液晶マイクロレンズ１１３の配向方向と平行な偏光方向の直線偏光のみがマイクロレンズアレイ６５へ入射するため、各液晶マイクロレンズ１１３によって屈折力を受け、集光される。そして、静脈認証に寄与しない白色光Ｌｗによる画質劣化を回避するため、ＩＲ透過フィルタ６７によって近赤外光ＬIRが選択的に通過し、受光素子１１２上に到達する。

ここで、マイクロレンズアレイ６５内の各液晶マイクロレンズ１１３の焦点が、生体７の内部（静脈部分）および受光素子１１２上に合わせられていることにより、生体７の各部位の静脈の撮像データが得られる。

また、このような各画素１１における発光動作および受光動作は、例えば図４（Ａ）〜（Ｃ）中の矢印Ｐ１，Ｐ２で示したように、垂直ライン方向に沿って順次駆動する線順次動作（線順次表示動作および線順次受光動作）によってなされる。この際、図中の発光受光領域８で示したように、線順次表示動作に同期して線順次受光動作がなされる。このように、１水平ラインによる発光受光領域８が入出力パネル１０全体に渡って順次走査されることにより、生体７全体の静脈の撮像データが得られる。

次に、このようにして入出力パネル１０において得られた１水平ラインごとの撮像データは、撮像信号レシーバ３２へと出力され、撮像信号レシーバ３２から画像処理部４１へ、生体の各部位の撮像データＤ１が出力される。この各部位の静脈の撮像データＤ１は、画像処理部４１において画像処理がなされることにより、生体７の静脈の単一の撮像パターン（静脈パターン）である画像処理データＤ２が生成され、認証部４３へ入力される。

そして認証部４３では、入力された静脈パターン（画像処理データＤ２）と、パターン保持部４２に保持されている静脈認証用の認証パターンとが比較され、静脈認証がなされる。これにより、本実施の形態の生体認証処理が終了となる。

このようにして本実施の形態では、非可視光領域の近赤外光ＬIRによって生体７の撮像データが得られることにより、生体７内部の情報の取得が容易となり、静脈認証の実現も容易となる。また、撮像データの取得の際に、従来とは異なり、可視光領域の表示光（白色光Ｌｗ）が影響を受けなくなる。さらに、マイクロレンズアレイ６５内の各液晶マイクロレンズ１１３によって生体７からの光が受光素子１１２上に集光されることにより、従来と比べ、撮像データにおける分解能が向上する。

以上のように本実施の形態では、非可視光領域の近赤外光ＬIRによって生体７の撮像データを取得するようにしたので、生体７内部の情報の取得が容易となって静脈認証の実現も容易となると共に、撮像データの取得の際に、可視光領域の表示光（白色光Ｌｗ）が影響を受けなくなる。また、マイクロレンズアレイ６５内の各液晶マイクロレンズ１１３によって生体７からの光を受光素子１１２上に集光させるようにしたので、従来と比べ、撮像データにおける分解能を向上させることができる。よって、画像表示機能による表示画像を保持しつつ、セキュリティレベルの高い生体認証を実現することが可能となる。

また、液晶素子１１１による照射動作の際には、各液晶マイクロレンズ１１３による集光機能を発揮させないようにする一方、受光素子１１２による撮像動作の際には、各液晶マイクロレンズ１１３による集光機能を発揮させるように構成したので、上記のように撮像データの取得の際に、可視光領域の表示光（白色光Ｌｗ）が影響を受けなくすることができる。

また、受光素子１１２上に、近傍の他の画素からの入射光を遮断する遮光部６６を設けるようにしたので、撮像データの画質を向上させ、静脈認証の認証精度をより向上させることが可能となる。

また、受光素子１１２上に、非可視光領域の近赤外光ＬIRを透過するＩＲ透過フィルタ６７を設けるようにしたので、静脈認証に寄与しない白色光Ｌｗによる画質劣化を回避することができ、静脈認証の認証精度をより向上させることが可能となる。

さらに、非可視光として近赤外光ＬIRを用いるようにしたので、生体７への光の透過率を高めつつ、生体７の静脈での光の吸収率も高めることができる。よって、撮像対象である静脈をより明確に浮かび上がらせることができ、静脈認証の精度をさらに向上させることが可能となる。

以下、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

［変形例１］
図５は、変形例１に係る入出力パネル（入出力パネル１０Ａ）の要部断面構成を表したものである。上記実施の形態では、偏光子６２３がマイクロレンズアレイ６５上に配置されていたが、本変形例の入出力パネル１０Ａでは、各画素１１Ａにおいて、偏光子６２３が、受光素子１１２とマイクロレンズアレイ６５との間、具体的には遮光部６６とマイクロレンズアレイ６５との間において、各受光素子１１２に対応する領域に配置されている。

このような構成により本変形例においても、上記実施の形態と同様の作用により、同様の効果を得ることが可能となる。すなわち、画像表示機能による表示画像を保持しつつ、セキュリティレベルの高い生体認証を実現することが可能となる。

［変形例２，３］
図６は、変形例２に係る入出力パネル１０Ｂにおける平面構成を模式的に表したものであり、図７は、この入出力パネル１０Ｂの要部断面構成を表したものである。上記実施の形態および変形例１では、液晶マイクロレンズ１１３が画素ごとに配置されていたが、本変形例の入出力パネル１０Ｂでは、液晶マイクロレンズ１１３Ｂが、複数画素ごとに配置されている。具体的には、例えば図６では、液晶マイクロレンズ１１３Ｂが、４つの画素１１Ｂごとに配置されている。

また、図７に示したように、この変形例２においても上記変形例１と同様に、各画素１１Ｂにおいて、偏光子６２３が、受光素子１１２とマイクロレンズアレイ６５Ｂとの間、具体的には遮光部６６とマイクロレンズアレイ６５Ｂとの間において、各受光素子１１２に対応する領域に配置されている。

また、偏光子６２３が、受光素子１１２とマイクロレンズアレイ６５Ｂとの間に配置されているようにしたので、例えば図８に示した変形例３に係る入出力パネル（入出力パネル１０Ｃ）と比べ、変形例２に係る入出力パネル１０Ｂでは、生体７への照射光量および受光素子１１２での受光光量を増加させることが可能となる。具体的には、変形例３に係る入出力パネル１０Ｃでは、各画素１１Ｃにおいて、偏光子６２３がマイクロレンズアレイ６５Ｂ上に一様に配置されているため、液晶マイクロレンズ１１３Ｂが複数画素ごとに配置されている場合に、例えば図８中の照射光Ｌ０で示したように、光透過性が低くなってしまう（生体７への照射光である白色光Ｌｗおよび近赤外光ＬIRが、偏光子６２３をほとんど透過できなくなってしまう）。これに対し、変形例２に係る入出力パネル１０Ｂでは、上記のように偏光子６２３が受光素子１１２とマイクロレンズアレイ６５Ｂとの間に配置されているため、このような光透過性低下の問題が回避され、生体７への照射光量および受光素子１１２での受光光量を増加させることが可能となる。

［変形例４］
図９は、変形例４に係る入出力パネル（入出力パネル１０Ｄ）の要部断面構成を表したものである。この入出力パネル１０Ｄは、上記変形例３に係る入出力パネル１０Ｃにおいて、偏光子６２１〜６２３が波長依存性の偏光特性を有するようにしたものに対応する。すなわち、本変形例の入出力パネル１０Ｄでは、各画素１１Ｄにおいて、液晶素子１１１Ｄにおける偏光子６２１Ｄ，６２２Ｄおよびマイクロレンズアレイ６５Ｂ上の偏光子６２３Ｄが、例えば図１０に示したような波長依存性の偏光特性を有している。

具体的には、偏光子６２１Ｄ，６２２Ｄは、例えば図１０（Ａ）に示したように、表示光として用いる可視光（白色光Ｌｗ）に対して偏光作用を発揮すると共に、検出光として用いる近赤外光ＬIRに対して偏光作用を発揮しないような偏光特性となっている。一方、偏光子６２３Ｄは、例えば図１０（Ｂ）に示したように、表示光として用いる可視光（白色光Ｌｗ）に対して偏光作用を発揮しないと共に、検出光として用いる近赤外光ＬIRに対して偏光作用を発揮するような偏光特性となっている。

また、液晶素子１１１Ｄにおける偏光子６２１Ｄ，６２２Ｄおよびマイクロレンズアレイ６５Ｂ上の偏光子６２３Ｄが、いずれも波長依存性の偏光特性を有しているようにしたので、上記変形例２と同様に、上記変形例３における光透過性低下の問題を回避することができ、生体７への照射光量および受光素子１１２での受光光量を増加させることが可能となる。

［変形例５，６］
図１１および図１２は、変形例５に係る入出力パネル（入出力パネル１０Ｃ）の要部断面構成および動作を表したものであり、図１３および図１４は、変形例６に係る入出力パネル（入出力パネル１０Ｅ）の要部断面構成および動作を表したものである。上記実施の形態および変形例１〜４では、ある特定の偏光方向の入射光に対し、各液晶マイクロレンズ１１３が常に集光機能を発揮するように、すなわち入射光の偏光方向依存による集光機能の発現であったのに対し、これら変形例５，６では、各マイクロレンズに対するＭＬＡ駆動制御部３３からの電圧印加に応じて、集光機能のオン・オフを行うようになっている。なお、これら変形例５，６における入出力パネルの断面構成は、変形例３に係るものに対応している。

変形例５，６において、ＭＬＡ駆動制御部３３は、液晶素子１１１による照射動作の際には、各マイクロレンズによる集光機能を発揮させないようにする一方、受光素子１１２による撮像動作の際には、各マイクロレンズによる集光機能を発揮させるように、各マイクロレンズを駆動するようになっている。この際、上記実施の形態および変形例１〜４のように、液晶素子１１１による照射動作および受光素子１１２による撮像動作を完全に同時に行うことはできないが、例えば各液晶マイクロレンズ１１３Ｂにおける集光機能のオン・オフの切替を、数ミリ秒といった短時間に繰り返し行うことにより、あたかも表示画像を保持しつつ、撮像動作を行っているようにすることが可能となる。

具体的には、変形例５では、マイクロレンズアレイ部６５Ｂにおける各マイクロレンズが液晶マイクロレンズ１１３Ｂにより構成されており、各画素１１Ｃにおいて、例えば図１１に示したように、液晶素子１１１による照射動作の際には、各マイクロレンズ１１３Ｂによる集光機能を発揮させないようにする一方、例えば図１２に示したように、受光素子１１２による撮像動作の際には、各マイクロレンズ１１３Ｂによる集光機能を発揮させるように、各マイクロレンズ１１３Ｂが駆動される。

一方、変形例６では、マイクロレンズアレイ部６５Ｅにおける各マイクロレンズが液体マイクロレンズ１１３Ｅにより構成されており、各画素１１Ｅにおいて、例えば図１３に示したように、液晶素子１１１による照射動作の際には、各マイクロレンズ１１３Ｅによる集光機能を発揮させないようにする一方、例えば図１４に示したように、受光素子１１２による撮像動作の際には、各マイクロレンズ１１３Ｅによる集光機能を発揮させるように、各マイクロレンズ１１３Ｅが駆動される。

また、変形例６ではマイクロレンズが液体マイクロレンズ１１３Ｅにより構成されているため、各マイクロレンズが液晶マイクロレンズ１１３Ｂにより構成されている変形例５とは異なり、偏光子６２３が不要となる。これは、液体マイクロレンズ１１３Ｅ自身には集光作用の偏光依存性がないためであり、これにより変形例６に係る入出力パネル１０Ｅでは、変形例５に係る入出力パネル１０Ｃと比べ、部品点数を削減することが可能となる。

［変形例７］
図１５は、変形例７に係る入出力パネル（入出力パネル１０Ｆ）を備えた生体認証装置（生体認証装置１Ｆ）の機能ブロック構成を表したものであり、図１６は、この入出力パネル１０Ｆの要部断面構成を表したものである。上記実施の形態および変形例１〜６では、各マイクロレンズが液晶マイクロレンズまたは液体マイクロレンズにより構成されている場合について説明したが、本変形例の入出力パネル１０Ｆでは、各画素１１Ｆにおいて、各マイクロレンズが固体マイクロレンズ１１３Ｆ（焦点距離が固定のマイクロレンズ）により構成されている。

また、本変形例では、図１６に示したように、マイクロレンズアレイ６５Ｆにおける複数のマイクロレンズ１１３Ｆのうちの１つのマイクロレンズ１１３Ｆに対応する少なくとも１つ以上の画素１１Ｆにおいて、バックライト６１から照射される白色光Ｌｗおよび近赤外光ＬIRがマイクロレンズ１１３Ｆによって積分され、このマイクロレンズ１１３Ｆの焦点面に集光され、画像表示がなされる。したがって、あたかも焦点位置に仮想的な光源があることと同等となるため、観測者からは映像が浮き上がっているように見える。すなわち、立体的な画像表示を行うことが可能となる。

また、本変形例においても偏光子６２３が不要となるため、部品点数を削減することが可能となる

［変形例８］
図１７は、変形例８に係る入出力パネル（入出力パネル１０Ｇ）を備えた生体認証装置（生体認証装置１Ｇ）の機能ブロック構成を表したものであり、図１８は、この入出力パネル１０Ｇの要部断面構成を表したものである。上記実施の形態および変形例１〜７では、近赤外光ＬIRを照射する素子（液晶表示素子１１１等）が、表示部１００内において入出力パネル１０上（表示領域内）に配置されている場合について説明したが、本変形例の生体認証装置１Ｇでは、表示光（白色光Ｌｗ）を照射する液晶素子（液晶素子１１１Ｇ）が、表示部１００内において入出力パネル１０上（表示領域内）に配置されている一方、近赤外光ＬIRを照射する素子（近赤外光源６８１，６８２）が、表示部１００内において入出力パネル１０の外部（表示領域外）に配置されている。なお、液晶素子１１１Ｇにおけるバックライト６１Ｇは、白色光Ｌｗのみを照射する光源となっている。

なお、近赤外光源の設置位置および個数については、図１７および図１８に示したものには限られず、また、このような近赤外光源に加え、導光板等の光学部材を設けるようにしてもよい。

ここで、液晶素子１１１Ｇが本発明における「第１発光素子」の一具体例に対応し、近赤外光源６８１，６８２が本発明における「第２発光素子」の一具体例に対応する。

なお、例えば近赤外光源６８１，６８２と受光素子１１２とが近くに配置されている場合、指内部に結合せずに指表面で反射された光によって表皮のパターンが見え、それにより静脈パターンが寸断されることで、認証アルゴリズムおよび認証精度に影響を及ぼすおそれがある。したがって、事前の画像処理等により表皮パターンを除去できない場合には、例えば、ＩＲ照射制御部を設けて照射領域を制御することにより、受光素子１１２における表皮パターンの影響を回避することができるよう、ある一定距離離れた箇所の照射を行う領域分割照射を順次行うようにすればよい。

また、本変形例のように外部に近赤外光源を配置する場合には、この近赤外光源と受光素子１１２との間に隔壁を設けることにより、上記したような表皮パターンの影響を回避することが可能である。

また、本変形例では、図１８に示したように、近赤外光源６８１，６８２が生体７の下方に配置されている下方照明の方式について説明したが、本発明はこの照明の方式には限られず、例えば、近赤外光源が生体７の側方に配置されている側方照明の方式であってもよい。また、照明の方向に関しても、生体７が指先の場合には、指の幅（短手）方向に沿った照明には限らず、例えば指の長手方向に沿った照明や、それら短手方向および長手方向の両方向に沿った照明であってもよい。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、液晶セル６３への入射光の偏光方向は、上記実施の形態等で説明した場合には限られず、例えばそれらの場合と９０度回転したものであってもよい。そのように構成した場合であっても、それ以降の偏光方向は、上記実施の形態等で説明した検出原理が保持されるよう設定されればよい。

また、静脈認証に関しては指の静脈に限らず、手のひら静脈や、指および手のひらの両方を撮像して認証に用いるようにしてもよい。また、ＭＬＡ駆動制御部３３が、撮像動作の際に、各マイクロレンズに印加する電圧を多段階に変化させると共に、認証部４３が、その多段階の印加電圧に基づく複数の撮像データを用いることにより、静脈認証に加えて指紋認証を考慮した生体認証を行うようにしてもよい。そのように構成した場合、静脈認証および指紋認証の両者の認証結果を考慮して最終的な認証結果データＤoutを生成することにより、一方の認証結果だけから最終的な認証結果データを生成する場合と比べ、認証の精度を向上させることが可能となる。

また、上記実施の形態等では、受光素子１１２で得られた撮像データに対し、画像処理部４１において適宜画像処理を施してから認証を行うようにした場合について説明したが、例えば、場合によっては画像処理部４１を設けずに、受光素子１１２からの撮像データに基づいて、認証部４３が直接認証を行うようにしてもよい。そのように構成した場合、装置構成をより簡素化し、装置全体をより小型化することが可能となる。

また、生体７の内部を照明することにより少なくとも静脈の認証が可能なのであれば、認証に用いる非可視光領域の光としては、必ずしも近赤外光でなくてもよい。

また、本発明の生体認証装置における撮像光学系としては、認証用途のような近接撮像のものには限られず、例えば、マイクロレンズアレイおよび撮像素子によって撮像光学系が構成される「Compound Eye」という手法を適用するようにしてもよい。この「Compound Eye」という手法は、わずかに位置ずれした複数の画像を同時に撮像すると共に、個々の低解像度の画像を合成処理することにより、高解像度の単一画像を取得する手法であり、非常に薄い撮像光学系が実現可能なものである。この手法を本発明に適用した場合、例えば近赤外光の照明下においてこの動作原理を用いることにより、表示装置において、近接撮像に限らない撮像機能を付加することが可能となる。

さらに、上記実施の形態等では、可視光領域や非可視光領域の光を照射する発光素子の一例として、液晶素子を挙げて説明したが、他の発光素子、例えば有機または無機のＥＬ(Electro Luminescence)素子などの自発光素子を用いてもよい。

本発明の一実施の形態に係る生体認証装置の構成を表す機能ブロック図である。図１に示した入出力パネルの要部構成例を表す断面図である。図１に示した入出力パネルにおける作用を説明するための断面図である。線順次による表示動作および受光動作について説明するための平面模式図である。本発明の変形例１に係る入出力パネルの要部構成および作用について説明するための断面図である。本発明の変形例２に係る入出力パネルの画素構造例を表す平面模式図である。図６に示した入出力パネルの要部構成および作用について説明するための断面図である。本発明の変形例３に係る入出力パネルの要部構成および作用について説明するための断面図である。本発明の変形例４に係る入出力パネルの要部構成および作用について説明するための断面図である。図９に示した入出力パネルにおける偏光子の透過特性例を表す特性図である。本発明の変形例５に係る入出力パネルの要部構成および表示動作について説明するための断面図である。本発明の変形例５に係る入出力パネルの要部構成および受光動作について説明するための断面図である。本発明の変形例６に係る入出力パネルの要部構成および表示動作について説明するための断面図である。本発明の変形例６に係る入出力パネルの要部構成および受光動作について説明するための断面図である。本発明の変形例７に係る生体認証装置の構成を表す機能ブロック図である。図１５に示した入出力パネルの要部構成および作用について説明するための断面図である。本発明の変形例８に係る生体認証装置の構成を表す機能ブロック図である。図１７に示した入出力パネルの要部構成および作用について説明するための断面図である。

符号の説明

１，１Ｇ，１Ｇ…生体認証装置、１０，１０Ａ〜Ｇ…入出力パネル、１００…表示部、１１，１１Ａ〜１１Ｆ…画素、１１１，１１１Ｄ，１１１Ｇ…液晶素子、１１２…受光素子、１１３，１１３Ｂ…液晶マイクロレンズ、１１３Ｅ…液体マイクロレンズ、１１３Ｆ…固体マイクロレンズ、２１…表示信号ドライバ、２２…表示側スキャナ、２３…ＩＲ照射制御部、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、３３…ＭＬＡ駆動制御部、４１…画像処理部、４２…パターン保持部、４３…認証部、５…制御部、６１，６１Ｇ…バックライト、６２１〜６２３，６２１Ｄ〜６２３Ｄ…偏光子、６３…液晶セル、６４…カラーフィルタ、６５，６５Ｅ，６５Ｆ…マイクロレンズアレイ、６６…遮光部、６７…ＩＲ透過フィルタ、６８１、６８２…近赤外光源、７…生体（指）、８…発光受光領域、Ｄ０…画像データ、Ｄ１…撮像データ、Ｄ２…画像処理データ、Ｄout…認証結果データ、Ｌｗ…白色光（可視光）、ＬIR…近赤外光（非可視光）、Ｐ１，Ｐ２…線順次走査方向。

Claims

表示面内に配置され、画像データに基づく可視光領域の光と、非可視光領域の光とを生体へ向けて照射する発光素子と、
前記表示面内に配置され、前記生体からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイ部と、
前記表示面内に配置され、前記マイクロレンズアレイ部において集光された光に基づき、非可視光領域の光による前記生体の撮像データを取得する受光素子と、
前記表示面から可視光領域の光が表示光として照射されるように、前記画像データに基づいて前記発光素子を表示駆動する表示駆動手段と、
前記表示面から照射されて前記生体から得られた非可視光領域の光を検出光として前記表示面上で受光するように、前記受光素子を受光駆動する受光駆動手段と、
前記受光素子で得られた撮像データに基づき、少なくとも前記生体の静脈像を生成する画像処理部と
を備え、
前記発光素子による照射動作の際には、前記マイクロレンズによる集光機能が発揮されない一方、前記受光素子による撮像動作の際には、前記マイクロレンズによる集光機能が発揮される
生体撮像装置。
前記マイクロレンズが、印加電圧に応じて入射光線の屈折方向を変位可能なものであり、
前記マイクロレンズに電圧を印加するための駆動を行うマイクロレンズ駆動手段を備え、
前記マイクロレンズ駆動手段は、
前記照射動作の際には前記集光機能を発揮させないようにする一方、前記撮像動作の際には前記集光機能を発揮させるように、前記マイクロレンズを駆動する
請求項１に記載の生体撮像装置。
前記マイクロレンズ駆動手段は、前記撮像動作の際に、前記マイクロレンズに印加する電圧を多段階に変化させる
請求項２に記載の生体撮像装置。
前記画像処理部により生成された静脈像を用いて、少なくとも前記生体の静脈を利用する静脈認証を行う認証部を備え、
前記認証部は、多段階の印加電圧に基づく複数の撮像データを用いることにより、前記静脈認証に加え、前記生体の指紋を利用する指紋認証を考慮した生体認証を行う
請求項３に記載の生体撮像装置。
前記マイクロレンズが、液晶マイクロレンズまたは液体マイクロレンズである
請求項２ないし請求項４のいずれか１項に記載の生体撮像装置。
前記発光素子および前記受光素子が、前記表示面内で画素ごとに配置され、
前記照射動作の際には前記集光機能が発揮しない一方、前記撮像動作の際には前記集光機能が発揮するように、各画素が構成されている
請求項１に記載の生体撮像装置。
前記マイクロレンズが、前記表示面内で画素ごとに配置されている
請求項６に記載の生体撮像装置。
前記発光素子が、一対の第１偏光子を有する液晶素子を用いて構成され、
前記受光素子上に、第２偏光子が設けられている
請求項７に記載の生体撮像装置。
前記第２偏光子が、前記受光素子と前記マイクロレンズアレイとの間に配置されている
請求項８に記載の生体撮像装置。
前記マイクロレンズが、前記表示面内で複数画素ごとに配置されている
請求項６に記載の生体撮像装置。
前記発光素子が、一対の第１偏光子を有する液晶素子を用いて構成され、
前記受光素子と前記マイクロレンズアレイとの間に、第２偏光子が設けられている
請求項１０に記載の生体撮像装置。
前記発光素子が、一対の第１偏光子を有する液晶素子を用いて構成され、
前記受光素子上に、第２偏光子が設けられ、
前記一対の第１偏光子および前記第２偏光子が、波長依存性の偏光特性を有する
請求項１０に記載の生体撮像装置。
前記受光素子上に、近傍の他の画素からの入射光を遮断する遮光部が設けられている
請求項６に記載の生体撮像装置。
前記発光素子からの非可視光領域の光について、その照射領域、照射タイミングおよび照射強度のうちの少なくとも１つを制御する非可視光制御手段を備えた
請求項６に記載の生体撮像装置。
前記発光素子が、可視光領域の光を発する第１発光素子と、非可視光領域の光を発する第２発光素子とにより構成され、
前記第１発光素子および前記受光素子が、前記表示面内で画素ごとに配置され、
前記第２発光素子が、前記表示面内の表示領域外に配置されている
請求項１に記載の生体撮像装置。
前記第２発光素子が、近赤外光を発するものである
請求項１５に記載の生体撮像装置。
前記発光素子および前記受光素子がそれぞれ、前記表示面内でマトリクス状に配置され、
前記表示駆動手段は、線順次表示動作を行うように前記発光素子を表示駆動し、
前記受光駆動手段は、線順次受光動作を行うように前記受光素子を受光駆動する
請求項１に記載の生体撮像装置。
前記受光駆動手段は、前記発光素子の線順次表示動作に同期して線順次受光動作を行うように、前記受光素子を受光駆動する
請求項１７に記載の生体撮像装置。
前記非可視光領域の光が、近赤外光である
請求項１ないし請求項１８のいずれか１項に記載の生体撮像装置。
前記画像処理部により生成された静脈像を用いて、少なくとも前記生体の静脈を利用する静脈認証を行う認証部を備えた
請求項１ないし請求項１９のいずれか１項に記載の生体撮像装置。