JP4588015B2 - Biometric authentication device - Google Patents
Biometric authentication device Download PDFInfo
- Publication number
- JP4588015B2 JP4588015B2 JP2006347693A JP2006347693A JP4588015B2 JP 4588015 B2 JP4588015 B2 JP 4588015B2 JP 2006347693 A JP2006347693 A JP 2006347693A JP 2006347693 A JP2006347693 A JP 2006347693A JP 4588015 B2 JP4588015 B2 JP 4588015B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion coefficient
- subject
- conversion
- biometric authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、生体認証装置に関し、特に、指紋認証、静脈認証、さらには虹彩認証等を可能な生体認証装置に関するものである。 The present invention relates to a biometric authentication device, and more particularly to a biometric authentication device capable of fingerprint authentication, vein authentication, iris authentication, and the like.
従来より、個人を認証する方法として物理的な鍵やパスワードを用いる方法が知られているが、昨今、ピッキングやスキミングといった方法でその安全性が問題視されている。 そのため、近年、生体認証による個人を特定する方法の採用が急激に増大している。
生体認証が増大している理由は、指紋や静脈は生涯不変とされ、個人を認証するには適しており、また、鍵やパスワードと違い紛失や盗難、忘れたりするといったことの心配もないからである。
指紋を用いての認証方法としては、たとえば特許文献1に開示された方法など、多くの方法が提案されている。
Conventionally, a method using a physical key or a password is known as a method for authenticating an individual. Recently, however, safety is regarded as a problem by methods such as picking and skimming. For this reason, in recent years, the use of methods for identifying individuals by biometric authentication has been rapidly increasing.
The reason for the increase in biometric authentication is that fingerprints and veins remain unchanged throughout the life, and are suitable for authenticating individuals, and unlike keys and passwords, there is no worry of being lost, stolen or forgotten. It is.
As an authentication method using a fingerprint, many methods such as the method disclosed in
指紋のコピーやレプリカに対応する方法として、指紋の認証を行う際にその検体が生体であるか判断する方法が特許文献2等に開示されている。 As a method corresponding to a copy or replica of a fingerprint, a method for determining whether or not the specimen is a living body when performing fingerprint authentication is disclosed in Patent Document 2 and the like.
また、静脈等の血管パターンを用いて認証を行う方法を採用した装置として、たとえば曲率をもった取っ手状のデータ取得部を握らせることにより、複数の指の画像データを再現性よく取得できるようにした個人認証装置、あるいは、指を挿入するケースと、光源と、干渉フィルタ部と、干渉フィルタ部を透過した透過光を撮像する撮像部と、撮像データ用画像処理装置を備えた個人認証装置が提案されている。 In addition, as an apparatus that employs a method of performing authentication using a blood vessel pattern such as a vein, image data of a plurality of fingers can be acquired with good reproducibility by, for example, gripping a handle-like data acquisition unit having a curvature. Personal authentication device or personal authentication device comprising a case for inserting a finger, a light source, an interference filter unit, an imaging unit for imaging transmitted light that has passed through the interference filter unit, and an image processing device for imaging data Has been proposed.
さらに、指紋と静脈パターンの2つもしくは3つ以上の情報を用いて認証する個人認証装置、静脈パターンと指紋の認識部、オペレータ認識部等を備え、静脈パターンおよび指紋をIDとして要求可能な画像形成装置、指紋照合に加えて指先の血管パターンの照合を行って本人確認の精度を向上させる個人識別システム、あるいは、より少ないデータ量で迅速かつ高精度な個人識別を実現した個人識別装置等が提案されている。 Furthermore, an image that can be requested using a vein pattern and a fingerprint as an ID, including a personal authentication device that authenticates using two or more information of a fingerprint and a vein pattern, a vein pattern and fingerprint recognition unit, an operator recognition unit, etc. Forming devices, personal identification systems that improve the accuracy of identity verification by collating fingertip blood vessel patterns in addition to fingerprint collation, or personal identification devices that realize rapid and highly accurate personal identification with a smaller amount of data Proposed.
これらの各種装置における認証、識別にために、デジタルカメラ等の撮像装置のデジタル画像データが用いられる。 Digital image data of an imaging device such as a digital camera is used for authentication and identification in these various devices.
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
In response to the digitization of information, which has been rapidly developing in recent years, the response in the video field is also remarkable.
In particular, as symbolized by a digital camera, a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, which is a solid-state image sensor, is used in most cases instead of a conventional film.
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)等に用いられている。 As described above, an imaging lens device using a CCD or CMOS sensor as an imaging element is for taking an image of a subject optically by an optical system and extracting it as an electrical signal by the imaging element. In addition to a digital still camera, It is used for a video camera, a digital video unit, a personal computer, a mobile phone, a personal digital assistant (PDA) and the like.
図21は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
FIG. 21 is a diagram schematically illustrating a configuration and a light flux state of a general imaging lens device.
The
In the optical system, the
撮像レンズ装置1においては、図21に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図22(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
In the
22A to 22C show spot images on the light receiving surface of the
また、位相板(Wavefront Coding optical element)により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献3〜7参照)。
ところで、前記特許文献1に記載された指紋認証においては、指紋のコピー(複製)やコピーした指紋を生成した指のレプリカを用いることで第3者に容易に認証されてしまうという不利益があり、また、反面、指紋の汚れや傷があると認証され難いという不利益もある。
By the way, in the fingerprint authentication described in
また、静脈等の血管パターンも用いて認証を行う場合、指紋と異なり偽造されにくいが、検体の温度が変化した場合や大きな怪我などでは認証されないといった不利益がある。
この対応の一例として、上述したように、指紋と静脈パターンの2つもしくは3つ以上の情報を用いる認証方法が提案されているが、指紋と静脈等の血管パターンは同一面にないため、一つの撮像系を用いた場合には焦点移動が必要になるが、その詳細については何ら提案されていない。したがって、従来装置においては、いずれかの画像は焦点があっていないものとなり、精度の高い認証を実現することは困難である。
また、焦点を移動させることで焦点を合わせることは可能であるが、装置の大型化、コスト高を招き、さらには耐久性の観点からも問題となる。
In addition, when authentication is performed using a blood vessel pattern such as a vein, unlike a fingerprint, it is difficult to forge, but there is a disadvantage that authentication is not performed when the temperature of the specimen changes or a serious injury occurs.
As an example of this correspondence, as described above, an authentication method using two or more pieces of information of a fingerprint and a vein pattern has been proposed. However, since a blood vessel pattern such as a fingerprint and a vein is not on the same plane, When one imaging system is used, focus movement is required, but no details have been proposed. Therefore, in the conventional apparatus, one of the images is not in focus, and it is difficult to realize highly accurate authentication.
Further, it is possible to adjust the focus by moving the focus, but this leads to an increase in the size and cost of the apparatus, and also from the viewpoint of durability.
また、上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の(変化しない)PSFは実現できず、それを解決するには、レンズの光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな課題を抱えている。
Further, in the imaging devices proposed in the above-mentioned documents, all of them are based on the premise that the PSF (Point-Spread-Function) when the above-described phase plate is inserted into a normal optical system is constant. Yes, when the PSF changes, it is extremely difficult to realize an image having a deep depth of field by convolution using a subsequent kernel.
Therefore, even with a single focal point lens, a regular (non-changing) PSF cannot be realized with a normal optical system in which the spot image changes depending on the object distance. Due to the high accuracy of the design and the associated cost increase, there are significant challenges to adopt.
本発明の目的は、簡単な構成で、指紋と静脈等の血管パターンを容易に焦点を合わせることが可能で鮮明に撮像でき、偽造を防止でき、しかも高精度な認証を実現できる生体認証装置を提供することにある。 An object of the present invention is to provide a biometric authentication apparatus that can easily focus on a blood vessel pattern such as a fingerprint and a vein with a simple configuration, can capture a clear image, prevent forgery, and realize high-accuracy authentication. It is to provide.
上記目的を達成するため、本発明の観点は、同一被検体の異なる2つのパターンを読み取る撮像装置を備えた生体認証装置であって、前記撮像装置は、光学系および光波面変調素子と、前記光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、前記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、を備えている。 In order to achieve the above object, an aspect of the present invention is a biometric authentication device including an imaging device that reads two different patterns of the same subject, the imaging device including an optical system, a light wavefront modulation element, An image sensor that captures a subject dispersion image that has passed through the optical system and the light wavefront modulation element, and a conversion unit that generates an image signal having no dispersion from the dispersed image signal from the image sensor.
好適には、前記変換手段による画像信号に基づく認証結果の優先順位を状況に応じて切り換え可能である。 Preferably, the priority order of the authentication result based on the image signal by the converting means can be switched according to the situation.
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。 Preferably, the imaging device includes subject distance information generating means for generating information corresponding to a distance to the subject, and the converting means is based on the information generated by the subject distance information generating means. A non-dispersed image signal is generated from the dispersed image signal.
好適には、前記撮像装置は、被写体距離に応じて少なくとも前記光波面変調素子に起因する分散に対応した変換係数を少なくとも2以上予め記憶する変換係数記憶手段と、前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、前記変換手段は、前記係数選択手段で選択された変換係数によって、画像信号の変換を行う。 Preferably, the imaging apparatus generates at least two conversion coefficients corresponding to dispersion caused by the light wavefront modulation element according to the subject distance in advance and generated by the subject distance information generation unit. Coefficient conversion means for selecting a conversion coefficient according to the distance from the conversion coefficient storage means to the subject based on the converted information, and the conversion means uses the conversion coefficient selected by the coefficient selection means to generate an image. Perform signal conversion.
好適には、前記撮像装置は、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う。 Preferably, the imaging apparatus includes a conversion coefficient calculation unit that calculates a conversion coefficient based on information generated by the subject distance information generation unit, and the conversion unit converts the conversion coefficient obtained from the conversion coefficient calculation unit. The image signal is converted by the coefficient.
好適には、前記撮像装置は、前記光学系はズーム光学系を含み、前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する補正値記憶手段と、少なくとも前記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第2変換係数記憶手段と、前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、前記変換手段は、前記第2変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択された前記補正値とによって、画像信号の変換を行う。 Preferably, in the imaging apparatus, the optical system includes a zoom optical system, and at least the correction value storage unit that stores in advance at least one correction value corresponding to a zoom position or a zoom amount of the zoom optical system; Based on the information generated by the second conversion coefficient storage means that stores in advance the conversion coefficient corresponding to the dispersion caused by the light wavefront modulation element and the subject distance information generation means, the distance from the correction value storage means to the subject is determined. Correction value selecting means for selecting a corresponding correction value, wherein the conversion means is based on the conversion coefficient obtained from the second conversion coefficient storage means and the correction value selected from the correction value selection means. The image signal is converted.
好適には、前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネルサイズを含む。 Preferably, the correction value stored in the correction value storage means includes a kernel size of the subject dispersion image.
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。 Preferably, the imaging apparatus includes subject distance information generating means for generating information corresponding to a distance to the subject, and conversion coefficient calculating means for calculating a conversion coefficient based on the information generated by the subject distance information generating means. The conversion unit converts the image signal using the conversion coefficient obtained from the conversion coefficient calculation unit, and generates an image signal without dispersion.
好適には、前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変数として含む。 Preferably, the conversion coefficient calculation means includes a kernel size of the subject dispersion image as a variable.
好適には、記憶手段を有し、前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、前記変換手段は、前記記憶手段に格納された変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。 Preferably, the image processing apparatus includes a storage unit, and the conversion coefficient calculation unit stores the obtained conversion coefficient in the storage unit, and the conversion unit converts the image signal by the conversion coefficient stored in the storage unit. To generate an image signal without dispersion.
好適には、前記変換手段は、前記変換係数に基づいてコンボリューション演算を行う。 Preferably, the conversion means performs a convolution operation based on the conversion coefficient.
本発明によれば、簡単な構成で、指紋と静脈等の血管パターンを容易に焦点を合わせることが可能で鮮明に撮像でき、偽造を防止でき、しかも高精度な認証を実現できる。
また、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
According to the present invention, it is possible to easily focus a blood vessel pattern such as a fingerprint and a vein with a simple configuration, to capture a clear image, to prevent forgery, and to realize high-accuracy authentication.
In addition, there is an advantage that the lens can be designed without worrying about the object distance and the defocus range, and the image can be restored by calculation such as convolution with high accuracy.
Further, according to the present invention, the optical system can be simplified and the cost can be reduced.
以下、本発明の実施形態を添付図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明の実施形態に係る生体認証装置の構成例を模式的に示す図である。
また、図2は図1の生体認証装置における指紋認証動作を模式的に示す図であり、図3は図1の生体認証装置における静脈認証動作を模式的に示す図である。
FIG. 1 is a diagram schematically illustrating a configuration example of a biometric authentication apparatus according to an embodiment of the present invention.
2 is a diagram schematically showing a fingerprint authentication operation in the biometric authentication device of FIG. 1, and FIG. 3 is a diagram schematically showing a vein authentication operation in the biometric authentication device of FIG.
本生体認証装置100は、図1に示すように、被認証者の指である被検体OBJを図中下向き(指紋にある面を下向き)にして置くためのたとえばガラスやプラスチックにより形成される透明板110、指紋撮影用照明装置120、静脈撮影用照明装置130、および撮像装置140を、主構成要素として有している。
As shown in FIG. 1, the
生体認証装置100においては、図1および図2に示すように、被検体OBJの表面(手の指紋のある面)側に撮像装置140を配置し、同じ側に指紋撮影を補助する目的で照明装置120が配置されている。
また、図1および図3に示すように、被検体OBJの裏面(指の爪のある面)側には静脈撮影を補助する目的で照明装置130が配置されている。
照明装置としては、ここでは詳細に言及しないが、指紋撮影用照明装置120には可視光やより指紋を浮き立たせるのに適した波長の光源とし、静脈撮影用照明装置130には皮膚を透過しながらも血管を浮き立たせるのに適した光源、たとえば赤外線を用いることが望ましい。
In the
As shown in FIGS. 1 and 3, an illuminating device 130 is disposed on the back surface (the surface with the fingernail) of the subject OBJ for the purpose of assisting vein imaging.
Although not described in detail here as the illumination device, the illumination device 120 for fingerprint imaging uses a light source having a wavelength suitable for raising visible light or a fingerprint, and the illumination device for vein imaging 130 transmits the skin. However, it is desirable to use a light source suitable for raising the blood vessel, such as infrared rays.
撮像装置140は、後で詳述するように、光波面変調素子を有する被写界深度拡張光学系と画像処理部を有し、復元された画像を出力できるように構成されている。
撮像装置140には、画像データを一時的に保管する格納部、画像データを比較照合するためのデータ変換部、他に登録されているデータの保管部および比較照合を行う処理部、さらには比較照合の結果に応じて指示を出す指示部を含んで構成される。
なお、ここでは、装置が単独で示されている場合を例に説明をしているが、専用回線やインタネット等を利用してのネットワーク対応の構成も可能である。その場合は、登録データがネットワークのホストとなるサーバ等を有するシステム構成となる。
As will be described in detail later, the
The
Here, the case where the device is shown alone is described as an example, but a network-compatible configuration using a dedicated line, the Internet, or the like is also possible. In this case, the system configuration includes a server or the like whose registration data is a network host.
本実施形態のように、光波面変調素子を有する被写界深度拡張光学系および画像処理部を備えた撮像装置140を採用することにより、以下の特徴を持つことが可能である。
通常の光学系では、被写界深度を得るには絞りを小さくする、すなわち暗くすることが必要になる。
これに対して、後で詳述する本実施形態の「深度拡張光学系」においては、絞りを小さくする必要もなくなることから、通常の光学系と比べると必要光量が少なくてすむことになる。したがって、照明装置の光量を減らすことができる。
これはすなわち、照明装置のコストダウン、消費電力の軽減が可能になり、その結果、照明装置の耐久性向上を図ることができる。
一方、被検体を置く位置としては定点ではなくても、焦点の合った画像を得ることができることから、ある程度の範囲は決める必要はあるものの、装置に触れることなく認証が可能となる。
By adopting the
In a normal optical system, it is necessary to reduce the aperture, that is, to darken the depth of field.
On the other hand, in the “depth-expanding optical system” of this embodiment, which will be described in detail later, it is not necessary to reduce the aperture, so that the required amount of light is less than that of a normal optical system. Therefore, the light quantity of the lighting device can be reduced.
In other words, the cost of the lighting device can be reduced and the power consumption can be reduced. As a result, the durability of the lighting device can be improved.
On the other hand, since the focused image can be obtained even if the subject is not located at a fixed point, it is necessary to determine a certain range, but authentication can be performed without touching the apparatus.
また、本実施形態の生体認証装置100においては、複数の認証結果の優先順位を状況に応じて切り換え可能である。
認証照合の優先順位の切り換え方法として、たとえば撮影されたデータと登録されたデータを照合し、その照合結果を基に優先順位を切り換える方法を採用することが可能である。また、別の方法として、使用者(被験者)が認証を行う際に選択する方法も採用可能である。
本実施形態においては、たとえば指紋が怪我や汚れ等で認証精度が落ちるようなケースでは静脈認証を優先する。
逆に、被検体の温度が大きく変化している状態、たとえば冷えている状態で血流が悪くなっている場合や大きな怪我等で認証精度が落ちるような場合では、指紋認証を優先させる、といった方法を採用することが可能である。
なおここで、優先順位を切り換えるとは、各認証にあらかじめ重みを調整するようなことであって、一つの認証結果だけを採用するといったこととは異なる。
これにより、一つの認証より認証率を向上させることが可能で、複数の認証による認証率を低下させることなく精度の高い認証が可能となる。
Further, in the
As a method for switching the priority of authentication verification, it is possible to employ, for example, a method in which captured data and registered data are verified and the priority is switched based on the verification result. As another method, a method of selecting when the user (subject) performs authentication can be employed.
In this embodiment, for example, vein authentication is given priority in the case where the accuracy of authentication is lowered due to, for example, an injured or dirty fingerprint.
Conversely, when the temperature of the subject is changing greatly, for example, when the blood flow is worse when it is cold, or when the authentication accuracy drops due to a major injury, etc., priority is given to fingerprint authentication. It is possible to adopt a method.
Here, switching the priority order means adjusting the weight in advance for each authentication, and is different from adopting only one authentication result.
As a result, the authentication rate can be improved from one authentication, and high-accuracy authentication can be performed without lowering the authentication rate due to a plurality of authentications.
以下に、光波面変調素子を有する被写界深度拡張光学系および画像処理部を備えた撮像装置140について詳細に説明する。
Hereinafter, the
図4は、本実施形態に係る撮像装置を示すブロック構成図である。 FIG. 4 is a block configuration diagram illustrating the imaging apparatus according to the present embodiment.
本実施形態に係る撮像装置140は、ズーム光学系を有する撮像レンズ装置200と、画像処理装置300と、物体概略距離情報検出装置400と、を主構成要素として有している。なお、本実施形態においては、被検体OBJの位置が略定位置にあることから、物体概略距離情報検出装置400は、必ずしも設ける必要はない。
The
撮像レンズ装置200は、撮像対象物体(被写体)OBJの映像を光学的に取り込むズーム光学系210と、ズーム光学系210で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして画像処理装置300に出力するCCDやCMOSセンサからなる撮像素子220とを有する。図4においては、撮像素子220を一例としてCCDとして記載している。
The
図5は、本実施形態に係るズーム光学系210の光学系の構成例を模式的に示す図である。
FIG. 5 is a diagram schematically illustrating a configuration example of the optical system of the zoom
図5のズーム光学系210は、物体側OBJSに配置された物体側レンズ211と、撮像素子220に結像させるための結像レンズ212と、物体側レンズ211と結像レンズ212間に配置され、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる、たとえば3次元的曲面を有する位相板(Cubic Phase Plate)からなる光波面変調素子(波面形成用光学素子:Wavefront Coding Optical Element)群213を有する。また、物体側レンズ211と結像レンズ212間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
The zoom
In the present embodiment, the case where the phase plate is used has been described. However, the optical wavefront modulation element of the present invention may be any element that deforms the wavefront, and an optical element whose thickness changes. (For example, the above-described third-order phase plate), an optical element whose refractive index changes (for example, a gradient index wavefront modulation lens), an optical element whose thickness and refractive index change by coding on the lens surface (for example, wavefront modulation) A light wavefront modulation element such as a hybrid lens or a liquid crystal element (for example, a liquid crystal spatial phase modulation element) capable of modulating the phase distribution of light may be used.
図5のズーム光学系210は、デジタルカメラに用いられる3倍ズームに光学位相板213aを挿入した例である。
図で示された位相板213aは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム(WFCO:Wavefront Coding Optical system)といい、この処理を画像処理装置300において行う。
The zoom
The
In other words, the
Means for restoring the regularly dispersed image to a focused image by digital processing is called a wavefront aberration controlling optical system (WFCO), and this processing is performed in the
図6は、位相板を含まないズーム光学系210の無限側のスポット像を示す図である。
図7は、位相板を含まないズーム光学系210の至近側のスポット像を示す図である。図8は、位相板を含むズーム光学系210の無限側のスポット像を示す図である。図9は、位相板を含むズーム光学系210の至近側のスポット像を示す図である。
FIG. 6 is a diagram illustrating a spot image on the infinite side of the zoom
FIG. 7 is a diagram showing a spot image on the near side of the zoom
基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図6および図7に示されるように、その物体距離が至近側にある場合と無限側にある場合では、異なったスポット像を示す。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するH関数が異なる。
当然、図8および図9に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。
Basically, the spot image of the light passing through the optical lens system not including the phase plate is different depending on whether the object distance is on the close side or on the infinite side, as shown in FIGS. A spot image is shown.
As described above, in an optical system having spot images different in object distance, the H function described later is different.
Naturally, as shown in FIGS. 8 and 9, the spot image passing through the phase plate affected by the spot image also becomes a different spot image on the near side and the infinite side.
このような、物体位置で異なるスポット像を持つ光学系においては、従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点、コマ収差、球面収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
そこで、本実施形態においては、図4に示すように、撮像装置(カメラ)140が撮影状態に入った時点で、その被写体の物体距離の概略距離を物体概略距離情報検出装置400から読み出し、画像処理装置300に供給する。
In such an optical system having different spot images at the object position, the conventional apparatus cannot perform an appropriate convolution operation, and astigmatism, coma aberration, spherical aberration, etc. that cause this spot image shift. An optical design that eliminates each aberration is required. However, the optical design that eliminates these aberrations increases the difficulty of optical design, causing problems such as an increase in design man-hours, an increase in cost, and an increase in the size of the lens.
Therefore, in the present embodiment, as shown in FIG. 4, when the imaging device (camera) 140 enters the shooting state, the approximate distance of the object distance of the subject is read from the approximate object distance
画像処理装置300は、物体概略距離情報検出装置400から読み出した被写体の物体距離の概略距離情報に基づいて撮像素子220からの分散画像信号より分散のない画像信号を生成する。
物体概略距離情報検出装置400は、外部アクティブのようなAFセンサでも構わない。
The
The object approximate distance
なお、本実施形態において、分散とは、上述したように、位相板213aを挿入することにより、撮像素子220上ではピントのどこにも合わない画像を形成し、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
In the present embodiment, as described above, dispersion means that, by inserting the
図10は、撮像素子220からの分散画像信号より分散のない画像信号を生成するが画像処理装置300の構成例を示すブロック図である。
FIG. 10 is a block diagram illustrating a configuration example of the
画像処理装置300は、図10に示すように、コンボリューション装置301、カーネル・数値演算係数格納レジスタ302、および画像処理演算プロセッサ303を有する。
As illustrated in FIG. 10, the
この画像処理装置300においては、物体概略距離情報検出装置400から読み出した被写体の物体距離の概略距離に関する情報を得た画像処理演算プロセッサ303では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ302に格納し、その値を用いて演算するコンボリューション装置301にて適正な演算を行い、画像を復元する。
In this
ここで、WFCOの基本原理について説明する。
図11に示すように、被写体の画像fがWFCO光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表すことができる。
As shown in FIG. 11, when the subject image f enters the WFCO optical system H, a g image is generated.
This can be expressed by the following equation.
ここで、*はコンボリューションを表す。 Here, * represents convolution.
生成された、画像から被写体を求めるためには、次の処理を要する。
ここで、関数Hに関するカーネルサイズと演算係数について説明する。
個々の物体概略距離をAFPn、AFPn−1、・・・とし、個々のズームポジション(ズーム位置)をZpn、Zpn−1・・・とする。
そのH関数をHn、Hn−1、・・・・とする。
各々のスポットが異なるため、各々のH関数は、次のようになる。
The individual object approximate distances are AFPn, AFPn-1,..., And the individual zoom positions (zoom positions) are Zpn, Zpn-1,.
The H function is defined as Hn, Hn-1,.
Since each spot is different, each H function is as follows.
この行列の行数および/または列数の数の違いをカーネルサイズ、各々の数字を演算係数とする。 The difference in the number of rows and / or the number of columns of this matrix is the kernel size, and each number is the operation coefficient.
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置400により検出し、検出した距離に応じて異なる画像補正の処理を行うように構成されている。
As described above, in the case of an imaging device including a phase plate (Wavefront Coding optical element) as an optical wavefront modulation element, an image signal without proper aberrations by image processing within the predetermined focal length range However, if it is outside the predetermined focal length range, there is a limit to the correction of the image processing, so that only an object outside the above range has an image signal with aberration.
On the other hand, by performing image processing in which no aberration occurs within a predetermined narrow range, it is possible to bring out a blur to an image outside the predetermined narrow range.
In the present embodiment, the distance to the main subject is detected by the object approximate distance
前記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
The image processing is performed by convolution calculation. To achieve this, for example, one type of convolution calculation coefficient is stored in common, and a correction coefficient is stored in advance according to the focal length, The correction coefficient is used to correct the calculation coefficient, and an appropriate convolution calculation can be performed using the corrected calculation coefficient.
In addition to this configuration, the following configuration can be employed.
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。 The kernel size and the convolution calculation coefficient itself are stored in advance according to the focal length, the convolution calculation is performed using the stored kernel size and calculation coefficient, and the calculation coefficient according to the focal length is stored in advance as a function. In addition, it is possible to employ a configuration in which a calculation coefficient is obtained from this function based on the focal length and a convolution calculation is performed using the calculated calculation coefficient.
図10の構成に対応付けると次のような構成をとることができる。 Corresponding to the configuration of FIG. 10, the following configuration can be taken.
変換係数記憶手段としてのレジスタ302に被写体距離に応じて少なくとも位相板213aに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ303が、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された情報に基づき、レジスタ302から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置301が、係数選択手段としての画像処理演算プロセッサ303で選択された変換係数によって、画像信号の変換を行う。
At least two or more conversion coefficients corresponding to the aberration caused by the
Then, a
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ303が、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された情報に基づき変換係数を演算し、レジスタ302に格納する。
そして、変換手段としてのコンボリューション装置301が、変換係数演算手段としての画像処理演算プロセッサ303で得られレジスタ302に格納された変換係数によって、画像信号の変換を行う。
Alternatively, as described above, the image
Then, a
または、補正値記憶手段としてのレジスタ302にズーム光学系210のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズが含まれる。
第2変換係数記憶手段としても機能するレジスタ302に、位相板213aに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ303が、補正値記憶手段としてのレジスタ302から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置301が、第2変換係数記憶手段としてのレジスタ302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ303により選択された補正値とに基づいて画像信号の変換を行う。
Alternatively, at least one correction value corresponding to the zoom position or zoom amount of the zoom
A conversion coefficient corresponding to the aberration caused by the
Then, based on the distance information generated by the object approximate distance
The
次に、画像処理演算プロセッサ303が変換係数演算手段として機能する場合の具体的な処理について、図12のフローチャートに関連付けて説明する。
Next, specific processing when the image
物体概略距離情報検出装置400において、物体概略距離(AFP)が検出され、検出情報が画像処理演算プロセッサ303に供給される(ST1)。
画像処理演算プロセッサ303においては、物体概略距離AFPがnであるか否かの判定を行う(ST2)。
ステップST1において、物体概略距離AFPがnであると判定すると、AFP=nのカーネルサイズ、演算係数を求めてレジスタに格納する(ST3)。
In the approximate object distance
The image
If it is determined in step ST1 that the object approximate distance AFP is n, the kernel size and calculation coefficient of AFP = n are obtained and stored in the register (ST3).
ステップST2において、物体概略距離AFPがnでないと判定すると、物体概略距離AFPがn−1であるか否かの判定を行う(ST4)。
ステップST4において、物体概略距離AFPがn−1であると判定すると、AFP=n−1のカーネルサイズ、演算係数を求めてレジスタに格納する(ST5)。
以下、性能的に分割しなければならない物体概略距離AFPの数だけステップST2ST4の判断処理を行い、カーネルサイズ、演算係数をレジスタ格納する。
If it is determined in step ST2 that the approximate object distance AFP is not n, it is determined whether or not the approximate object distance AFP is n-1 (ST4).
If it is determined in step ST4 that the approximate object distance AFP is n-1, the kernel size and calculation coefficient of AFP = n-1 are obtained and stored in the register (ST5).
Thereafter, the determination process of step ST2ST4 is performed by the number of the object approximate distances AFP that must be divided in terms of performance, and the kernel size and calculation coefficient are stored in a register.
画像処理演算プロセッサ303においては、カーネル、数値演算係数格納レジスタ302に設定値が転送される(ST6)。
そして、撮像レンズ装置200で撮像され、コンボリューション装置301に入力された画像データに対して、レジスタ302に格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータS302が画像処理演算プロセッサ303に転送される。
In the image
Then, a convolution operation is performed on the image data captured by the
本実施形態においては、WFCOを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
In the present embodiment, WFCO is employed to obtain high-definition image quality, and the optical system can be simplified and the cost can be reduced.
Hereinafter, this feature will be described.
図13(A)〜(C)は、撮像レンズ装置200の撮像素子220の受光面でのスポット像を示している。
図13(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図13(B)が合焦点の場合(Best focus)、図13(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の場合の各スポット像を示している。
図13(A)〜(C)からもわかるように、本実施形態に係る撮像レンズ装置200においては、位相板213aを含む波面形成用光学素子213によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
13A to 13C show spot images on the light receiving surface of the
13A shows a case where the focal point is shifted by 0.2 mm (Defocus = 0.2 mm), FIG. 13B shows a case where the focal point is a focal point (Best focus), and FIG. 13C shows a case where the focal point is shifted by −0.2 mm. Each spot image in the case of the case (Defocus = −0.2 mm) is shown.
As can be seen from FIGS. 13A to 13C, in the
このように、本実施形態の撮像レンズ装置200において形成された1次画像FIMは、深度が非常に深い光束条件にしている。
As described above, the primary image FIM formed in the
図14(A),(B)は、本実施形態に係る撮像レンズ装置により形成される1次画像の変調伝達関数(MTF:Modulation Transfer Function)について説明するための図であって、図14(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図14(B)が空間周波数に対するMTF特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置300の補正処理に任せるため、図14(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
14A and 14B are diagrams for explaining a modulation transfer function (MTF: Modulation Transfer Function) of a primary image formed by the imaging lens device according to the present embodiment. FIG. 14A is a diagram showing a spot image on the light receiving surface of the imaging element of the imaging lens device, and FIG. 14B shows the MTF characteristics with respect to the spatial frequency.
In this embodiment, since the high-definition final image is left to the correction processing of the
画像処理装置300は、たとえばDSPにより構成され、上述したように、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する。
The
画像処理装置300のMTF補正処理は、たとえば図15の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図15中曲線Bで示す特性に近づく(達する)ような補正を行う。
図15中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
The MTF correction processing of the
A characteristic indicated by a curve B in FIG. 15 is a characteristic obtained when the wavefront is not deformed without using the wavefront forming optical element as in the present embodiment, for example.
It should be noted that all corrections in the present embodiment are based on spatial frequency parameters.
本実施形態においては、図15に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図15のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図16に示すようになる。
In this embodiment, as shown in FIG. 15, in order to achieve the MTF characteristic curve B to be finally realized with respect to the MTF characteristic curve A with respect to the spatial frequency obtained optically, each spatial frequency is changed to each spatial frequency. On the other hand, the original image (primary image) is corrected by applying strength such as edge enhancement.
For example, in the case of the MTF characteristic in FIG. 15, the curve of edge enhancement with respect to the spatial frequency is as shown in FIG.
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。 That is, a desired MTF characteristic curve B is virtually realized by performing correction by weakening edge enhancement on the low frequency side and high frequency side within a predetermined spatial frequency band and strengthening edge enhancement in the intermediate frequency region. To do.
このように、実施形態に係る撮像装置140は、1次画像を形成する光学系210を含む撮像レンズ装置200と、1次画像を高精細な最終画像に形成する画像処理装置300からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をCCDやCMOSセンサからなる撮像素子220の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置300を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像レンズ装置200による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置300で行う。
As described above, the
In the present embodiment, the primary image obtained by the
ここで、本実施形態における撮像レンズ装置200における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。
幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
Here, the imaging process in the
A spherical wave diverging from one of the object points becomes a convergent wave after passing through the imaging optical system. At that time, aberration occurs if the imaging optical system is not an ideal optical system. The wavefront is not a spherical surface but a complicated shape.
Wavefront optics lies between geometric optics and wave optics, which is convenient when dealing with wavefront phenomena.
When dealing with the wave optical MTF on the imaging plane, the wavefront information at the exit pupil position of the imaging optical system is important.
The MTF is calculated by Fourier transform of the wave optical intensity distribution at the imaging point. The wave optical intensity distribution is obtained by squaring the wave optical amplitude distribution, and the wave optical amplitude distribution is obtained from the Fourier transform of the pupil function in the exit pupil.
Further, since the pupil function is exactly from the wavefront information (wavefront aberration) at the exit pupil position itself, if the wavefront aberration can be strictly numerically calculated through the
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図13(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置300でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
Accordingly, if the wavefront information at the exit pupil position is modified by a predetermined method, the MTF value on the imaging plane can be arbitrarily changed.
In this embodiment, the wavefront shape is mainly changed by the wavefront forming optical element, but the target wavefront is formed by increasing or decreasing the phase (phase, optical path length along the light beam). .
Then, if the desired wavefront is formed, the exiting light flux from the exit pupil is made up of dense and sparse portions of the light, as can be seen from the geometric optical spot images shown in FIGS. It is formed.
The MTF in the luminous flux state shows a low value at a low spatial frequency and a characteristic that the resolving power is managed up to a high spatial frequency.
That is, if this MTF value is low (or such a spot image state in terms of geometrical optics), the phenomenon of aliasing will not occur.
That is, a low-pass filter is not necessary.
Then, the flare-like image that causes the MTF value to be lowered may be removed by the
次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。 Next, the response of the MTF of this embodiment and the conventional optical system will be considered.
図17は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図18は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図19は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
FIG. 17 is a diagram illustrating the MTF response when the object is at the focal position and when the object is out of the focal position in the case of the conventional optical system.
FIG. 18 is a diagram showing the MTF response when the object is at the focal position and when the object is out of the focal position in the optical system of the present embodiment having the light wavefront modulation element.
FIG. 19 is a diagram illustrating a response of the MTF after data restoration of the imaging apparatus according to the present embodiment.
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
As can be seen from the figure, in the case of an optical system having a light wavefront modulation element, even when the object deviates from the focal position, the change in the MTF response is smaller than the optical diameter in which the light wavefront modulation element is not inserted.
The response of the MTF is improved by processing the image formed by this optical system using a convolution filter.
以上説明したように、本実施形態によれば、光学系および位相板(光波面変調素子)を通過した被写体分散像を撮像する撮像レンズ装置200と、撮像素子200からの分散画像信号より分散のない画像信号を生成する画像処理装置300と、被写体までの距離に相当する情報を生成する物体概略距離情報検出装置400と、を備え、画像処理装置300は、物体概略距離情報検出装置400により生成される情報に基づいて分散画像信号より分散のない画像信号を生成することから、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、物体距離の概略距離を測定し、その物体距離に応じた適性となるカーネルサイズや上述した係数を対応させることにより、物体距離やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのWFCOに使用することが可能である。
As described above, according to the present embodiment, the
The
また、本実施形態においては、結像レンズ212による撮像素子220の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ装置200と、撮像レンズ装置200による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する画像処理装置300とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像レンズ装置200の光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
In the present embodiment, the
In addition, the configuration of the
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
By the way, when a CCD or CMOS sensor is used as an image sensor, there is a resolution limit determined by the pixel pitch, and if the resolution of the optical system exceeds the limit resolution, a phenomenon such as aliasing occurs, which adversely affects the final image. It is a well-known fact that
In order to improve image quality, it is desirable to increase the contrast as much as possible, but this requires a high-performance lens system.
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
However, as described above, aliasing occurs when a CCD or CMOS sensor is used as an image sensor.
Currently, in order to avoid the occurrence of aliasing, the imaging lens apparatus uses a low-pass filter made of a uniaxial crystal system to avoid the occurrence of aliasing.
The use of a low-pass filter in this way is correct in principle, but the low-pass filter itself is made of crystal, so it is expensive and difficult to manage. Moreover, there is a disadvantage that the use of the optical system makes the optical system more complicated.
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いることなく、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
As described above, in order to form a high-definition image, the optical system must be complicated in the conventional imaging lens apparatus in spite of the demand for higher-definition image due to the trend of the times. . If it is complicated, manufacturing becomes difficult, and if an expensive low-pass filter is used, the cost increases.
However, according to the present embodiment, the occurrence of aliasing can be avoided without using a low-pass filter, and high-definition image quality can be obtained.
なお、本実施形態において、光学系210の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
In the present embodiment, the example in which the wavefront forming optical element of the
また、光学系210を構成するレンズは、図5の例に限定されることはなく、本発明は、種々の態様が可能である。
In addition, the lenses constituting the
次に、本実施形態の生体認証装置の動作を、図20のフローチャートに関連付けて説明する。 Next, the operation of the biometric authentication device of this embodiment will be described in association with the flowchart of FIG.
制御系が認証開始信号を入力すると(ST101)、指紋撮影用照明装置120を点灯する(ST102)。
そして、撮像装置140により第1回目として、指紋の撮影を行う(ST103)。
撮像装置140においては、WFCOを含む画像処理装置300等における画像処理を行い(ST104)、撮影データを保管する(ST105)。
次に、指紋撮影用照明装置120を消灯し、静脈撮影用照明装置130を点灯する(ST106)。
そして、撮像装置140により第2回目として、静脈の撮影を行う(ST107)。
撮像装置140においては、WFCOを含む画像処理装置300等における画像処理を行い(ST108)、撮影データを保管する(ST109)。
そして、保管した指紋データおよび静脈データに基づく照合を行う(ST110)。
When the control system inputs an authentication start signal (ST101), the illumination device 120 for fingerprint photographing is turned on (ST102).
Then, as a first time, the
The
Next, the illumination device for fingerprint imaging 120 is turned off, and the illumination device for vein imaging 130 is turned on (ST106).
Then, as a second time, the
The
Then, collation based on the stored fingerprint data and vein data is performed (ST110).
以上のように、本実施形態の生体認証装置100は、被認証者の指である被検体OBJを図中下向き(指紋にある面を下向き)にして置くためのたとえばガラスやプラスチックにより形成される透明板110、指紋撮影用照明装置120、静脈撮影用照明装置130、および撮像装置140を、主構成要素として有し、撮像装置140は、光波面変調素子を有する被写界深度拡張光学系および画像処理部を備えていることから以下の効果を得ることができる。
As described above, the
すなわち、簡単な構成で、指紋と静脈等の血管パターンを容易に焦点を合わせることが可能で鮮明に撮像でき、偽造を防止でき、しかも高精度な認証を実現できる生体認証装置を実現することができる。
より具体的には、通常の光学系のように、被写界深度を得るには絞りを小さくする、すなわち暗くすることが不要となり、絞りを小さくする必要もなくなることから、通常の光学系と比べると必要光量が少なくてすむことになる。これにより、照明装置の光量を減らすことができる。
したがって、照明装置のコストダウン、消費電力の軽減が可能になり、その結果、照明装置の耐久性向上を図ることができる。
一方、被検体を置く位置としては定点ではなくても、焦点の合った画像を得ることができることから、ある程度の範囲は決める必要はあるものの、装置に触れることなく認証が可能となる。
また、本実施形態の生体認証装置100においては、複数の認証結果の優先順位を状況に応じて切り換え可能であり、一つの認証より認証率を向上させることが可能で、複数の認証による認証率を低下させることなく精度の高い認証が可能となる。
That is, it is possible to realize a biometric authentication apparatus that can easily focus on a blood vessel pattern such as a fingerprint and a vein with a simple configuration, can capture a clear image, prevent forgery, and realize high-accuracy authentication. it can.
More specifically, as in a normal optical system, in order to obtain the depth of field, it is not necessary to reduce the aperture, that is, to darken, and it is not necessary to reduce the aperture. Compared to this, the required amount of light is reduced. Thereby, the light quantity of an illuminating device can be reduced.
Therefore, the cost of the lighting device can be reduced and the power consumption can be reduced. As a result, the durability of the lighting device can be improved.
On the other hand, since the focused image can be obtained even if the subject is not located at a fixed point, it is necessary to determine a certain range, but authentication can be performed without touching the apparatus.
Further, in the
また、本実施形態では指紋と静脈パターンとを用いた認証について説明したが、他の虹彩と眼底といったような組み合わせであっても本発明が適用可能である。 In the present embodiment, authentication using a fingerprint and a vein pattern has been described. However, the present invention can also be applied to combinations such as other irises and fundus.
100…生体認証装置、110…透明基板、120…指紋撮影用照明装置、130…静
脈撮影用照明装置、140…撮像装置、200…撮像レンズ装置、211…物体側レンズ
、212…結像レンズ、213…波面形成用光学素子、213a…位相板、300…画像
処理装置、301…コンボリューション装置、302…カーネル、数値演算係数格納レジ
スタ、303…画像処理演算プロセッサ、400…物体概略距離情報検出装置。
DESCRIPTION OF
Claims (11)
前記撮像装置は、光学系および光波面変調素子と、
前記光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
前記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、
を備えた生体認証装置。 A biometric authentication device including an imaging device that reads two different patterns of the same subject,
The imaging device includes an optical system and a light wavefront modulation element,
An image sensor that captures a subject dispersion image that has passed through the optical system and the light wavefront modulator;
Conversion means for generating a non-dispersed image signal from a dispersed image signal from the image sensor;
A biometric authentication device.
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する
請求項1または2記載の生体認証装置。 The imaging device
Subject distance information generating means for generating information corresponding to the distance to the subject,
The biometric authentication device according to claim 1, wherein the conversion unit generates an image signal that is less dispersed than the dispersed image signal based on information generated by the subject distance information generation unit.
被写体距離に応じて少なくとも前記光波面変調素子に起因する分散に対応した変換係数を少なくとも2以上予め記憶する変換係数記憶手段と、
前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、
前記変換手段は、前記係数選択手段で選択された変換係数によって、画像信号の変換を行う
請求項3に記載の生体認証装置。 The imaging device
Conversion coefficient storage means for preliminarily storing at least two conversion coefficients corresponding to dispersion caused by the light wavefront modulation element according to the subject distance;
Coefficient selection means for selecting a conversion coefficient according to the distance from the conversion coefficient storage means to the subject based on the information generated by the subject distance information generation means,
The biometric authentication device according to claim 3, wherein the conversion unit converts an image signal using the conversion coefficient selected by the coefficient selection unit.
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う
請求項3に記載の生体認証装置。 The imaging device
Conversion coefficient calculation means for calculating a conversion coefficient based on the information generated by the subject distance information generation means,
The biometric authentication device according to claim 3, wherein the conversion unit converts an image signal using the conversion coefficient obtained from the conversion coefficient calculation unit.
前記光学系はズーム光学系を含み、
前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する補正値記憶手段と、
少なくとも前記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第2変換係数記憶手段と、
前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、
前記変換手段は、前記第2変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択された前記補正値とによって、画像信号の変換を行う
請求項1に記載の生体認証装置。 The imaging device
The optical system includes a zoom optical system,
Correction value storage means for storing in advance at least one correction value corresponding to the zoom position or zoom amount of the zoom optical system;
Second conversion coefficient storage means for storing in advance a conversion coefficient corresponding to dispersion caused by at least the light wavefront modulation element;
Correction value selection means for selecting a correction value according to the distance from the correction value storage means to the subject based on the information generated by the subject distance information generation means,
The biometric authentication device according to claim 1, wherein the conversion unit converts an image signal using the conversion coefficient obtained from the second conversion coefficient storage unit and the correction value selected from the correction value selection unit. .
請求項6に記載の生体認証装置。 The biometric authentication device according to claim 6, wherein the correction value stored in the correction value storage unit includes a kernel size of the subject dispersion image.
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項1または2記載の生体認証装置。 The imaging device
Subject distance information generating means for generating information corresponding to the distance to the subject;
Conversion coefficient calculation means for calculating a conversion coefficient based on the information generated by the subject distance information generation means,
The biometric authentication device according to claim 1, wherein the conversion unit converts the image signal using the conversion coefficient obtained from the conversion coefficient calculation unit and generates an image signal without dispersion.
請求項8に記載の生体認証装置。 The biometric authentication device according to claim 8, wherein the conversion coefficient calculation unit includes a kernel size of the subject dispersion image as a variable.
前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、
前記変換手段は、前記記憶手段に格納された変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項8または9に記載の生体認証装置。 Having storage means;
The conversion coefficient calculation means stores the obtained conversion coefficient in the storage means,
10. The biometric authentication device according to claim 8, wherein the conversion unit converts the image signal using a conversion coefficient stored in the storage unit to generate an image signal without dispersion. 11.
請求項8から10のいずれか一に記載の生体認証装置。 The biometric authentication device according to any one of claims 8 to 10, wherein the conversion means performs a convolution operation based on the conversion coefficient.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006347693A JP4588015B2 (en) | 2006-12-25 | 2006-12-25 | Biometric authentication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006347693A JP4588015B2 (en) | 2006-12-25 | 2006-12-25 | Biometric authentication device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005190436A Division JP3916639B2 (en) | 2005-06-29 | 2005-06-29 | Biometric authentication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007117758A JP2007117758A (en) | 2007-05-17 |
JP4588015B2 true JP4588015B2 (en) | 2010-11-24 |
Family
ID=38142188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006347693A Expired - Fee Related JP4588015B2 (en) | 2006-12-25 | 2006-12-25 | Biometric authentication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4588015B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5292821B2 (en) * | 2008-01-16 | 2013-09-18 | ソニー株式会社 | Vein image acquisition device and vein image acquisition method |
JP2011128238A (en) * | 2009-12-16 | 2011-06-30 | Fujitsu Ltd | Imaging apparatus and information terminal device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334646A (en) * | 1994-06-08 | 1995-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Fingerprint image pickup device |
JP2002513188A (en) * | 1998-04-24 | 2002-05-08 | ティーエスティー−タッチレス センサー テクノロジー アーゲー | A system for recognizing palm and finger line streaks without contact |
JP2003235794A (en) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | Electronic endoscopic system |
JP2004030680A (en) * | 2003-08-11 | 2004-01-29 | Hitachi Ltd | Finger authentication apparatus |
JP2004265269A (en) * | 2003-03-04 | 2004-09-24 | Hitachi Ltd | Personal identification device |
JP2004329825A (en) * | 2003-05-06 | 2004-11-25 | Sony Corp | Image processing method and image processor |
JP2005190024A (en) * | 2003-12-24 | 2005-07-14 | Sony Corp | Authentication information generating device and authentication information device |
JP2006523330A (en) * | 2003-03-31 | 2006-10-12 | シーディーエム オプティックス, インコーポレイテッド | System and method for minimizing the effects of aberrations in an imaging system |
-
2006
- 2006-12-25 JP JP2006347693A patent/JP4588015B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334646A (en) * | 1994-06-08 | 1995-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Fingerprint image pickup device |
JP2002513188A (en) * | 1998-04-24 | 2002-05-08 | ティーエスティー−タッチレス センサー テクノロジー アーゲー | A system for recognizing palm and finger line streaks without contact |
JP2003235794A (en) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | Electronic endoscopic system |
JP2004265269A (en) * | 2003-03-04 | 2004-09-24 | Hitachi Ltd | Personal identification device |
JP2006523330A (en) * | 2003-03-31 | 2006-10-12 | シーディーエム オプティックス, インコーポレイテッド | System and method for minimizing the effects of aberrations in an imaging system |
JP2004329825A (en) * | 2003-05-06 | 2004-11-25 | Sony Corp | Image processing method and image processor |
JP2004030680A (en) * | 2003-08-11 | 2004-01-29 | Hitachi Ltd | Finger authentication apparatus |
JP2005190024A (en) * | 2003-12-24 | 2005-07-14 | Sony Corp | Authentication information generating device and authentication information device |
Also Published As
Publication number | Publication date |
---|---|
JP2007117758A (en) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008113860A (en) | Biometric authentication apparatus | |
WO2007001025A1 (en) | Biometric recognition system | |
US8594388B2 (en) | Large depth-of-field imaging system and iris recogniton system | |
JP4306744B2 (en) | Biometric authentication device | |
JP4800713B2 (en) | Imaging optical system, imaging device using the same, and authentication device | |
KR101265377B1 (en) | - Task-based imaging system | |
JP4969206B2 (en) | Biometric authentication device | |
KR20070107655A (en) | Non-contact optical means and method for 3d fingerprint recognition | |
JP2016533523A (en) | Optimized imaging device for iris imaging | |
US10430644B2 (en) | Blended iris and facial biometric system | |
JP3916639B2 (en) | Biometric authentication device | |
JP4588015B2 (en) | Biometric authentication device | |
JP4024264B2 (en) | Biometric authentication device | |
JP3987081B2 (en) | Biometric authentication device | |
JP3916647B1 (en) | Biometric authentication device | |
JP2008109952A (en) | Biological authentication apparatus | |
JP2006094468A (en) | Imaging device and imaging method | |
JP4531070B2 (en) | Biometric authentication device | |
JP3877748B1 (en) | Biometric authentication device | |
JP2008113754A (en) | Biometric authentication apparatus | |
JP2006094469A (en) | Imaging device and imaging method | |
KR101794727B1 (en) | Method for verificaing iris | |
JP2008113703A (en) | Biometric authentication apparatus | |
KR101767941B1 (en) | Dual camera device for iris identification and normal photographing | |
JP5198052B2 (en) | Imaging apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100810 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100907 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |