JP4636306B2 - 識別装置及び識別方法並びに認証システム - Google Patents

識別装置及び識別方法並びに認証システム Download PDF

Info

Publication number
JP4636306B2
JP4636306B2 JP2004135605A JP2004135605A JP4636306B2 JP 4636306 B2 JP4636306 B2 JP 4636306B2 JP 2004135605 A JP2004135605 A JP 2004135605A JP 2004135605 A JP2004135605 A JP 2004135605A JP 4636306 B2 JP4636306 B2 JP 4636306B2
Authority
JP
Japan
Prior art keywords
imaging
blood vessel
luminance
type
luminance histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004135605A
Other languages
English (en)
Other versions
JP2005312748A (ja
Inventor
英雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004135605A priority Critical patent/JP4636306B2/ja
Publication of JP2005312748A publication Critical patent/JP2005312748A/ja
Application granted granted Critical
Publication of JP4636306B2 publication Critical patent/JP4636306B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、識別装置及び識別方法並びに認証システムに関し、例えば生体認証する場合に適用して好適なものである。
従来、生体認証で用いられる認証情報として、生体表面における指又は掌の指紋等の形成パターンが一般的に用いられているが、近年、生体内方における血管の形成パターン(以下、これを血管形成パターンと呼ぶ)も用いられ始めている。
この場合、血管内の脱酸素化ヘモグロビン(静脈血)又は酸素化ヘモグロビン(動脈血)に近赤外線帯域の光(近赤外光)が特異的に吸収されるといった性質を利用して血管を撮像し、この撮像結果から抽出した血管形成パターンと、予め登録された登録者の血管形成パターンとに基づいて登録者の有無を判断する認証装置が提案されている(例えば特許文献1参照。)。
特開2003−30632公報
ところでかかる認証装置においては、血管撮像時の位置がずれた場合に、登録者本人であるにもかかわらず第三者と特定してしまうといった事態が増加し、この結果、識別精度が低下するという問題があった。
本発明は以上の点を考慮してなされたもので、識別精度を向上し得る識別装置及び識別方法並びに認証システムを提案しようとするものである。
かかる課題を解決するため本発明は、識別装置であって、生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出手段と、類型検出手段により検出される類型に対応付けられる撮像条件を撮像手段に設定する設定手段と、設定手段により設定される撮像条件のもとで撮像手段が撮像した画像を、類型検出手段により検出される類型に対応付けられる階調数に変更する変更手段と、変更手段により変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出手段と、抽出手段により抽出されるパターンを用いて、生体を識別する識別手段とを有する。
また本発明は、識別方法であって、生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出ステップと、類型検出ステップで検出される類型に対応付けられる撮像条件を撮像手段に設定する設定ステップと、設定ステップで設定される撮像条件のもとで撮像手段が撮像した画像を、類型検出ステップで検出される類型に対応付けられる階調数に変更する変更ステップと、変更ステップで変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出ステップと、抽出ステップで抽出されるパターンを用いて、生体を識別する識別ステップとを有する。
さらに本発明は、生体を識別する識別装置と、生体の固有構造物を撮像する撮像装置とが含まれる認証システムにおける識別装置であって、生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出手段と、類型検出手段により検出される類型に対応付けられる撮像条件を撮像装置に設定する設定手段と、設定手段により設定される撮像条件のもとで撮像装置が撮像した画像を、類型検出手段により検出される類型に対応付けられる階調数に変更する変更手段と、変更手段により変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出手段と、抽出手段により抽出されるパターンを用いて、生体を識別する識別手段とを有する。
以上のように本発明によれば、輝度状態に基づいて生体を識別するようにしたことにより、撮像時の位置と生体の識別との依存関係を低減することができるため、当該撮像時の位置変化に起因する識別精度の低下を防止することができ、かくして識別精度を向上することができる。
以下図面について本発明の一実施の形態を詳述する。
(1)認証装置の全体構成
図1において、1は全体として認証システムの全体構成を示し、血管内の脱酸素化ヘモグロビン(静脈血)又は酸素化ヘモグロビン(動脈血)に近赤外帯域の光(近赤外光)が特異的に吸収されることを利用して生体の内方における血管を撮像する血管撮像装置2と、ノート型のパーソナルコンピュータ(以下、これをノートパソコンと呼ぶ)3とがケーブル4を介して接続されることにより構成される。
この認証システム1では、例えば家族や会社内の部署等の所定の集団に属する人(以下、これを構成員と呼ぶ)によってノートパソコン3が共用されており、当該ノートパソコン3は、血管撮像装置2において撮像された血管の画像(以下、これを血管画像呼ぶ)に基づいて構成員を識別し、この識別結果に応じて対応する構成員の個人情報にアクセスし得るようになされている。
(2)血管撮像装置の構成
(2−1)血管撮像装置の外観構成
血管撮像装置2は、略直方体形状でなり、図1及び図2に示すように、当該血管撮像装置2の上面には、撮像対象者の指FGをガイドする円弧状のガイド溝11が設けられ、このガイド溝11の中央部には、所定位置において撮像開口部12が設けられている。
そしてこの撮像開口部12には、ガイド溝11の形状に対応する蓋部13が設けられており、これによりこの血管撮像装置2は、撮像開口部12への異物の流入を防止することができるようになされている。
またガイド溝11には、撮像開口部12上にガイドされた指FGに対して近赤外光を照射する近赤外光光源14(14a及び14b)が設けられており、当該撮像開口部12下にはカメラ部15が設けられている。
これによりこの血管撮像装置2においては、近赤外光光源14から撮像開口部12上にガイドされた指FGの指腹に対して照射され、当該指FG内方の血管組織では内在するヘモグロビンに吸収されると共に血管組織以外の組織では散乱して当該指FG内方から得られる近赤外光を、蓋部13及び撮像開口部12を順次介してカメラ部15に入射することができるようになされている(以下、指FG内方から得られる近赤外光を血管射影光と呼ぶ)。
このカメラ部15は、撮像開口部12下の光路において、近赤外線帯域の波長(およそ700[nm]〜900[nm])に対応する光を透過するフィルタ(以下、これを近赤外光透過フィルタと呼ぶ)15a、レンズ15b及び固体撮像素子15cが順次配されてなり、当該撮像開口部12から入射される血管射影光を固体撮像素子15cに導光するようになされている。
この固体撮像素子15cは、格子状に配された複数の光電変換素子を有し、これら光電変換素子において血管射影光を光電変換する。そして固体撮像素子15cは、この光電変換結果として各光電変換素子それぞれにチャージされる電荷を、電荷読出パルス信号S1に従って読み出すと共に、電荷リセットパルス信号S2に従ってリセットするようになされており、当該読み出した電荷を血管画像信号S10として出力するようになされている。
このようにしてこの血管撮像装置2は、指FG内方における血管を撮像対象として撮像することができるようになされている。
(2−2)血管撮像装置の回路構成
一方、この血管撮像装置2においては、内部の回路構成として、図3に示すように、光源制御部21、クロック発生部22、電荷調整部23、A/D(Analog/Digital)変換部24及び例えばUSB(Universal Serial Bus)規格に準拠したUSBインターフェース25を有している。そしてUSBインターフェース25には、ケーブル4(図1)の一端が接続されている。
この光源制御部21においては、基準電圧源を有しており、初期設定された電圧値又はUSBインターフェース25を介して与えられる設定命令D2に応じて設定された電圧値となるように基準電圧源の電圧を昇圧又は減圧する。
この電圧値は、撮像時に生体に到来する雰囲気中の光(以下、これを通常光と呼ぶ)による近赤外光への影響を低減させるため、当該通常光よりも大きい強度の近赤外光が近赤外光光源部14から照射される値として選定されている。
そして光源制御部21は、かかる電圧値となるように昇圧又は減圧した電圧を光源駆動信号D2として近赤外光光源14(14a及び14b)に印加するようにして、当該近赤外光光源14を駆動する。
この結果、近赤外光光源14(14a及び14b)が点灯し、撮像開口部12上にガイドされた指FG(図1)には、通常光よりも大きい強度の近赤外光が照射されることとなる。
このようにして光源制御部21は、通常光よりも大きい強度の近赤外光が照射されるように近赤外光光源14(14a及び14b)を制御することができるようになされている。
クロック発生部22は、図4(A)に示すように、立ち下がり時点から次の立ち下がり時点までの単位期間PTとする所定のデューティー比の基準パルス信号PSを生成し、これを電荷量調整部23に送出する。
電荷量調整部23は、クロック発生部22から供給される基準パルス信号PSをそのまま電荷読出パルス信号S1として固体撮像素子15cに送出する。この場合、この固体撮像素子15cでは、単位期間PT(図4(A))において各光電変換素子にチャージされる電荷が、立ち下がり時点を読出開始時点として周期的に読み出される。
しかしこの場合、図5(A)に示すように、近赤外光光源14から照射される近赤外光の強度が通常光よりも大きいことに起因して、固体撮像素子15cでは単位期間PT(図5(A))の途中で各光電変換素子にチャージされる電荷が飽和するといった事態が起こることとなる。
そこでこの電荷量調整部23は、電子シャッタと呼ばれる露光時間制御処理を実行し、固体撮像素子15c(各光電変換素子)にチャージされる単位期間PT(図4(A))当たりの電荷量を制限するようになされている。
実際上、電荷量調整部23は、図4(B)に示すように、電荷読出パルス信号S1(基準パルス信号PS)に基づいて、初期設定されたリセット時点又はUSBインターフェース25を介して与えられる設定命令D3に応じて設定したリセット時点として例えば単位期間PTの中間時点を順次検出し、当該中間時点を固体撮像素子15c(各光電変換素子)にチャージされている電荷のリセット時点とする電荷リセットパルス信号S2を生成し、これを固体撮像素子15cに送出する。
この結果、固体撮像素子15cでは、図4(C)に示すように、単位期間PTにチャージされる電荷が、電荷リセットパルス信号S2のリセット時点から電荷読出パルス信号S1(基準パルス信号PS)の立ち下がり時点までの期間(以下、これを電荷蓄積期間と呼ぶ)ESTのみに制限されることとなる。
そして図5(B)に示すように、固体撮像素子15cでは、血管射影光と共に通常光が入射した場合であっても、当該血管射影光及び通常光に対する光電変換結果として各光電変換素子にチャージされる電荷量が相対的に減少することになるため、当該固体撮像素子15cにおける血管射影光に対する撮像感度は通常光による実質的な影響のない状態となる。
このようにして電荷量調整部23は、固体撮像素子15c(各光電変換素子)にチャージされる電荷量を制限することにより、通常光による実質的な影響のない状態となるように血管射影光に対する固体撮像素子15cでの撮像感度を調整することができるようになされている。
A/D変換部24は、かかる固体撮像素子15cから出力される血管画像信号S10に対してA/D変換処理を施し、この結果得られる血管画像のデータ(以下、これを血管画像データと呼ぶ)D1をUSBインターフェース25を介してケーブル4(図1)に送出する。
このようにこの血管撮像装置2は、通常光による実質的な影響のない血管画像データD1を外部に送出することができるようになされている。
(3)ノートパソコンの構成
(3−1)ノートパソコンの外観構成
ノートパソコン3は、図1に示したように、本体30と、当該本体30に対して開閉自在に取り付けられた表示部31とによって構成される。
この本体30の上面には、記号や数字等を入力するための複数の入力キー32a、マウスカーソルの移動に用いられるスティック式ポインティングデバイス32b及びクリックボタン32c、32d等からなる操作部32が設けられている。
また本体30の側面には、スライド式電源スイッチ33、例えばUSB(Universal Serial Bus)に準拠したUSB端子34及び外部電源コネクタ35等が設けられている。そしてこのUSB端子34には、血管撮像装置2から引き回されたケーブル4の他端が接続されており、これによりノートパソコン3は、血管撮像装置2と各種情報を授受し得るようになされている。
一方、表示部31には、操作部32に対向する面の中央に所定サイズの液晶ディスプレイ36が設けられており、これによりノートパソコン3は、自身の処理内容等を使用者に対して視覚的に伝達し得るようになされている。
(3−2)ノートパソコンの回路構成
一方、このノートパソコン3においては、回路構成として、図6に示すように、当該ノートパソコン3全体の制御を司るCPU(Central Processing Unit)40、ROM(Read Only Memory)41、RAM(Random Access Memory)42、HDD(Hard Disk Drive)43及び各種インターフェース44(44a〜44c)を有し、これら回路部40〜44はそれぞれバス45を介して相互に接続されている。
そしてこのROM41には基本ソフトウェアが記憶されており、HDD42には、処理プログラム及び構成員に対応する個人データ等の各種データが所定のファイル形式でそれぞれ記憶されている。
CPU40は、ROM41から基本ソフトウェアを読み出してRAM42にロードすると共に、操作部32から操作入力インターフェース44bを介して入力される各種操作命令に対応するファイルをHDD43から適宜読み出してRAM42にロードし、当該ロードした基本ソフトウェア及びファイルに従って各種処理を実行する。
この際、CPU40は、必要に応じて処理内容をグラフィックインターフェース44cを介して表示部31の液晶ディスプレイ36(図1)に表示するようになされている。
(3−3)血管登録機能
かかる構成に加えて、このノートパソコン3には、血管画像おける輝度状態と、当該血管画像における血管の形成パターン(以下、これを血管形成パターンと呼ぶ)とを登録する血管登録機能が搭載されている。
実際上、CPU40は、血管を登録するための所定の操作に応じた操作命令を操作入力インターフェース44bを介して受けた場合に、ガイド溝11(図2)に指FGをセットすべき旨を液晶ディスプレイ36(図1)を介して通知する。
そしてCPU40は、USBインターフェース44aを介して撮像命令を血管撮像装置2に送出するようにして、このときガイド溝11(図2)によって撮像開口部12(図2)上にガイドされた指FGの血管を撮像するように血管撮像装置2を制御する。
この状態においてCPU40は、血管撮像装置2での撮像結果としてUSBインターフェース44aを介して得られる血管画像データD1を受けると、血管登録モードに遷移して血管登録処理を実行する。
この場合、CPU40は、血管画像データD1に対して2値化処理を施し、この結果得られた2値血管画像における血管の例えば分岐点を血管形成パターンとして抽出し、これを登録データ(以下、これを登録血管形成パターンデータと呼ぶ)として生成する。
一方、CPU40は、血管画像データD1に基づく血管画像の輝度値を画素ごとに検出し、当該検出結果に基づいて輝度ヒストグラムを生成する。
そしてCPU40は、図7に示すように、この輝度ヒストグラムの波形(以下、これを輝度ヒストグラム波形と呼ぶ)における最大ピーク(以下、これを第1ピークと呼ぶ)P1と、最大ピークの次に大きいピーク(以下、これを第2ピークと呼ぶ)P2と、第1ピークP1及び第2ピークP2間の最低ボトム(以下、これを第1ボトムと呼ぶ)B1と、第1ボトムB1から高輝度方向への波形のうち最も傾きが変化する局点(以下、これを第2ボトムと呼ぶ)B2とにそれぞれ対応する輝度値C1〜C4及び画素数PE1〜PE4をそれぞれ検出すると共に、当該輝度ヒストグラム波形における内面積GAを検出する。
この後、CPU40は、これら輝度値C1〜C4、画素数PE1〜PE4及び内面積GAを、血管画像における輝度状態を表す登録データ(以下、これを登録輝度状態データと呼ぶ)として生成し、これを登録血管形成パターンデータと対応付けてHDD43に記憶することにより登録するようになされている。
このようにしてCPU40は、血管登録処理を実行することにより、このノートパソコン3を共用する構成員それぞれに対応する血管形成パターン及び輝度状態の情報を登録することができるようになされている。
(3−4)生体認証機能
また、このノートパソコン3には、血管画像に基づく輝度ヒストグラム及び血管形成パターンを用いて、このノートパソコン3を共用する構成員を識別する生体認証機能が搭載されている。
(3−4−1)輝度ヒストグラム波形と生体との関係
ここで、この輝度ヒストグラムの波形(以下、これを輝度ヒストグラム波形と呼ぶ)と、生体との関係について説明する。
輝度ヒストグラム波形においては、例えば図8(A)に示すように、生体の脂肪量(体脂肪量)が少ない場合には、生体内方での近赤外光の散乱量が少ないため、大部分の近赤外光が血管に内在するヘモグロビンに吸収される結果、最大ピークが出現することになる。
これに対して脂肪量が多い場合、図8(B)に示すように、生体内方での近赤外光の散乱量が増加するため、当該増加に応じてヘモグロビンを有しない組織に近赤外光が分散される結果、輝度ヒストグラム波形はブロードな状態となる。
この図7からも明らかなように、脂肪量に応じて、生体内方での近赤外光の散乱量や散乱経路等の相違が輝度ヒストグラム波形に反映されることが分かる。
ただし、骨が細く体脂肪の多い生体(図9(A))、骨が太く体脂肪の少ない生体(図9(B))又は小児(図9(C))の輝度ヒストグラム波形からも分かるように、実際には、例えば骨や筋の太さ、脂肪量、年齢、性別及び人種等の各種生体要素に応じて、生体内方での近赤外光の散乱量や散乱経路等の相違が輝度ヒストグラム波形に反映される。
このように各種生体要素に応じて輝度ヒストグラム波形が変化するが、これら生体要素のうち例えば年齢、性別、身長及び体重の生体要素に着目し、同一の撮像条件において複数の生体の撮像結果から得られる輝度ヒストグラム波形についての分析結果を統計してみると、輝度ヒストグラム波形は、数パターン乃至数十パターンに類型することができる。
なお、着目する生体要素の種類については多いほど望ましいが、少なくとも2以上であれば良く、また任意に選択することができる。この場合であっても、輝度ヒストグラム波形を数パターン乃至数十パターンに類型化できることが本出願人により確認されている。
このようにして類型化された輝度ヒストグラム波形は、撮像時の生体の生体要素を表す指標となり、従って、当該撮像時の生体(生体要素)に最適な撮像条件を決定するための基準として用いることができる。
(3−4−2)生体認証処理
この実施の形態の場合、HDD43には、所定の生体要素に応じて類型された複数の輝度ヒストグラム波形(以下、当該類型された個々の輝度ヒストグラム波形をそれぞれ類型輝度ヒストグラム波形と呼ぶ)の特徴を表すデータ(以下、これを類型輝度状態データと呼ぶ)に対応付けて、当該類型輝度ヒストグラム波形に最適な撮像条件のデータ(以下、これを撮像条件データと呼ぶ)がそれぞれ予め記憶されている。
これら類型輝度状態データは、図7に示すように、当該類型輝度ヒストグラム波形における第1ピークP1、第2ピークP2、第1ボトムB1、第2ボトムB2にそれぞれ対応する輝度値C1〜C4及び画素数PE1〜PE4と、輝度ヒストグラム波形における内面積GAを表す値でなっている。
また撮像条件データは、光源制御部21(図3)に設定する電圧値及び電荷調整部23(図3)に設定する単位期間PT(図4(A))当たりのリセット時点を表す値でなっている。
実際上、CPU40は、このノートパソコン3の起動時又は個人データにアクセスする所定の操作に応じた操作命令を受けた場合に、ガイド溝11(図2)に指FGをセットすべき旨を液晶ディスプレイ36(図1)を介して通知した後、このときガイド溝13(図2)によって撮像開口部12(図2)上にガイドされた指FGの血管を撮像する。
そしてCPU40は、この血管撮像装置2から得られる血管画像データD1を受けると生体認証モードに遷移し、当該血管画像データD1と、HDD43に予め記憶された類型輝度状態データ及び撮像条件データと、当該HDD43に登録された登録輝度状態データ及び登録血管形成パターンデータとに基づいて生体認証処理を実行する。
かかる生体認証処理の処理内容を機能的に分類すると、図10に示すように、血管画像データD1における輝度状態を検出する輝度状態検出部51と、当該検出した輝度状態と、類型輝度状態データ及び登録輝度状態データと照合する照合部52と、当該照合結果に基づいて血管を再撮像する血管再撮像部53と、当該撮像結果に基づいて構成員を特定する構成員特定部54とに分けることができる。以下、輝度状態検出部51、照合部52、血管再撮像部53及び構成員特定部54による処理内容をそれぞれ詳細に説明する。
(3−4−2−1)輝度状態検出処理
輝度状態検出部51は、上述の血管登録処理の場合と同様に、血管画像データD1に基づく血管画像の輝度ヒストグラムを生成し、当該輝度ヒストグラム波形における第1ピークP1、第2ピークP2、第1ボトムB1、第2ボトムB2にそれぞれ対応する輝度値C1〜C4及び画素数PE1〜PE4と、輝度ヒストグラム波形における内面積GAとをそれぞれ検出し、これら検出結果をデータ(以下、これを輝度状態検出データと呼ぶ)D11として照合部52に送出する。
このようにして輝度状態検出部51は、輝度ヒストグラム波形における特徴部分のみを輝度状態として検出することにより、その後の処理負荷を低減することができるようになされている。
(3−4−2−2)照合処理
照合部52は、輝度状態検出データD11を複数の類型輝度状態データと順次照合する第1の照合処理と、当該照合結果に応じて登録輝度状態データを複数の類型輝度状態データと順次照合する第2の照合処理とを実行する。
実際上、照合部52は、第1の照合処理を実行し、当該処理結果として輝度状態検出データD11と一致する登録輝度状態データを検出した場合、又は輝度状態検出データD11と近似する登録輝度状態データを検出した場合には、撮像対象者が構成員である又はその可能性があると認識し、これらの場合、第2の照合処理を実行する。
ここで、輝度状態検出データD11と一致する登録輝度状態データとは、互いのデータの輝度値C1〜C4、画素数PE1〜PE4及び内面積GAが一致することを意味し、また輝度状態検出データD11と近似する登録輝度状態データとは、互いのデータの輝度値C1〜C4、画素数PE1〜PE4及び内面積GAが所定の許容範囲内であることを意味する。
この許容範囲は、例えば互いのデータの輝度値C1〜C4、画素数PE1〜PE4及び内面積GAの差が所定の閾値以下とする、あるいは互いのデータの内面積GAの差が所定の閾値以下とする等、この他種々の規定を設定することができる。
なお、照合部52は、輝度状態検出データD11と近似する2以上の登録輝度状態データを検出した場合には、当該2以上の登録輝度状態データそれぞれについて第2の照合処理を実行するようになされている。
これに対して照合部52は、第1の照合処理結果として輝度状態検出データD11と一致及び近似する登録輝度状態データを検出できなかった場合には、撮像対象者が構成員ではないと認識し、この場合、個人データへのアクセスを許可しない旨を液晶ディスプレイ36に表示すると共に、その後の処理を停止する。
このようにして照合部52は、一般的に低処理負荷の輝度状態検出処理の結果を登録輝度状態データと照合する簡易な処理により構成員の有無を識別することができるようになされている。
これに加えて照合部52は、撮像時の位置に大きく依存することのない輝度状態を用いて照合するため、当該撮像時の位置変化に起因する識別精度の低下を防止することができるようになされている。
一方、照合部52は、第1の照合処理により検出した1又は2以上の登録輝度状態データそれぞれについて第2の照合処理を実行して、当該登録輝度状態データが複数の類型輝度状態データのいずれに属するかを検出するようになされており、当該検出した類型輝度状態データを照合結果データD12として血管再撮像部53に送出する。
ここで、登録輝度状態データが属する類型輝度状態データとは、互いのデータの輝度値C1〜C4、画素数PE1〜PE4及び内面積GAが総合的に最も近似する関係にあることを意味する。
この関係は、例えば互いのデータの輝度値C1〜C4、画素数PE1〜PE4及び内面積GAの差がそれぞれ最も近似する、あるいは互いのデータの内面積GAが最も近似する等、この他種々の規定を設定することができる。
なお、この第2の照合処理は、血管登録処理と併せて実行するにより登録輝度状態データをHDD43に登録する際に実行するようにしても良く、この場合、当該登録輝度状態データが属する類型輝度状態データを予め対応付けて登録できるといった利点がある。
このようにして照合部52は、撮像時の生体の生体要素を表す指標となる類型輝度状態データと照合することにより、撮像対象者である又はその可能性があると認識した構成員の生体要素を把握することができるようになされている。
(3−4−2−3)血管再撮像処理
血管再撮像部53は、照合結果データD12(類型輝度状態データ)に対応付けられた撮像条件データ(光源制御部21(図3)に対して設定する電圧値及び電荷調整部23(図3)に対して設定する単位期間PT(図4(A))当たりのリセット時点)を選択する。
そして血管再撮像部53は、このとき選択した電圧値を設定命令D2として光源制御部21(図3)に送出すると共に、リセット時点を設定命令D3として電荷調整部23(図3)に送出するようにして撮像対象者に適応的な撮像条件を血管撮像装置2に対して設定する。
この状態において血管再撮像部53は、撮像対象者の指FGの血管を再撮像し、この結果得られる血管画像データD1と、照合結果データD12(類型輝度状態データ)とを再撮像データD13として構成員特定部54に送出するようになされている。
このようにして血管再撮像部53は、構成員の生体要素に対応する撮像条件で再撮像することにより、当該構成員の血管をより高品位に撮像することができるようになされている。
(3−4−2−4)構成員特定処理
構成員特定部54は、再撮像データD13における血管画像データD1と、照合結果データD12(類型輝度状態データ)のうち、当該血管画像データD1における輝度ヒストグラム波形を生成し、当該輝度ヒストグラム波形に対してその振幅を変えずに引き伸ばす処理(以下、これをストレッチ処理と呼ぶ)を施すようにして血管画像データD1の階調数を引き上げるようになされている。
この際、構成員特定部54は、再撮像データD13における照合結果データD12(類型輝度状態データ)に応じて輝度ヒストグラム波形を引き伸ばす範囲(以下、これを引き伸ばし範囲と呼ぶ)を切り替えるようになされている。
具体的に構成員特定部54は、例えば図11に示すように、近赤外光の血管への吸収率が高い輝度波形パターンほど、この輝度波形パターンおける第1ピークP1の画素数PE1と、第2ピークP2の画素数PE2との差が大きいため、当該輝度波形パターンにおける画素数PE1及び画素数PE2の差が大きいほど引き伸ばし範囲を狭く設定する。
従って、構成員特定部54は、血管に対応する部分を強調して血管画像データD1の階調数を引き上げることができるため、当該構成員の血管をより高品位に表す血管画像データD1を生成することができるようになされている。
この状態において構成員特定部54は、かかる血管画像データD1に基づく血管画像から、血管登録処理の場合と同様にして血管形成パターンを抽出し、当該抽出した血管形成パターンを、HDD43に記憶された登録血管形成パターンと照合する。
そして構成員特定部54は、この照合結果として所定の閾値以下となる合致率が得られた場合には、このとき血管撮像装置2で撮像した撮像対象者が構成員ではないと判定し、このとき個人データへのアクセスを許可しない旨を液晶ディスプレイ36に表示すると共に、その後の処理を停止する。
これに対して構成員特定部54は、所定の閾値よりも高い合致率が得られた場合には、撮像対象者が構成員であると判定し、このとき当該構成員に対応する個人データのアクセスを許可する。
なお、この構成員特定部54では、上述の輝度状態を用いた照合処理により構成員であることが簡易的に保障されているため、当該照合処理を実行しない場合に比して、撮像時の位置ずれを想定した分だけ閾値を低く設定できる利点がある。
このようにして構成員特定部54は、構成員を特定することができるようになされている。
(3−4−3)生体認証処理手順
かかるCPU40による生体認証処理は、図12に示す生体認証処理手順RTに従って行われる。
すなわちCPU40は、血管撮像装置2から血管画像データD1を受けると、この生体認証処理手順RTをステップSP0において開始し、続くステップSP1に進んで、当該血管画像データD1における輝度状態(輝度値C1〜C4、画素数PE1〜PE4及び内面積GA(図7))を検出する。
そしてCPU40は、ステップSP2に進んで、この輝度状態を、登録輝度状態(登録輝度状態データの輝度値C1〜C4、画素数PE1〜PE4及び内面積GA)と照合し、続くステップSP3において、一致又は近似するか否かを判定する。
ここで肯定結果が得られた場合、このことは撮像対象者が構成員であるか又はその可能性が高いことを意味し、このときCPU40は、ステップSP4に進んで、当該一致又は近似した登録輝度状態が予め類型された類型輝度状態(類型輝度状態データの輝度値C1〜C4、画素数PE1〜PE4及び内面積GA)のいずれに属するかを検出し、続くステップSP5において、当該検出した類型輝度状態に対応する撮像条件で撮像対象者の血管を再撮像する。
そしてCPU40は、ステップSP6に進んで、この再撮像した結果得られた血管画像の階調数を、ステップSP5で検出した類型輝度状態に応じて引き上げた後、次のステップSP7において、当該引き上げた血管画像から血管形成パターンを抽出する。
続いてCPU40は、次のステップSP8において、血管形成パターンを登録血管形成パターンと照合し、この血管形成パターンと一致する登録血管形成パターンがあった場合に、続くステップSP9に進んでHDD43へのデータアクセスを許可し、続くステップSP10に進んでこの生体認証処理手順RTを終了する。
一方、ステップSP3において否定結果が得られた場合又はステップSP8において否定結果が得られた場合、いずれも撮像対象者が構成員ではないことを意味し、このときCPU40は、ステップSP11に進んで、撮像対象者に対してHDD43へのデータアクセスを禁止する旨を通知した後、次のステップSP10に進んでこの生体認証処理手順RTを終了する。
このようにしてCPU40は、生体認証処理を実行するようになされている。
(4)動作及び効果
以上の構成において、この認証システム1は、構成員の輝度ヒストグラム波形状態をデータ(登録輝度状態データ)としてHDD43に予め登録しておき、当該登録した輝度ヒストグラム波形状態と、血管撮像装置2での撮像結果として得られる血管画像(血管画像データD1)の輝度ヒストグラム波形状態とに基づいて構成員の有無を識別する。
従って、この認証システム1では、撮像位置に大きく依存することのない輝度ヒストグラムを用いて構成員の有無を識別できるため、当該撮像時の位置ずれに起因する誤判断を低減することができるのみならず、簡易な処理により構成員の有無を識別できる。
これに加えて、この認証システム1は、所定の生体要素に応じて類型された輝度ヒストグラム波形状態のデータ(類型輝度状態データ)と、当該類型された輝度ヒストグラム波形状態に最適な撮像条件のデータ(撮像条件データ)とを対応付けて予めHDD43に記憶する。
そして認証システム1においては、輝度ヒストグラム波形状態に基づいて簡易的に構成員であると識別した場合に、当該構成員の輝度ヒストグラム波形状態(登録輝度状態データ)が、類型された輝度ヒストグラム波形状態(類型輝度状態データ)のいずれに属するかを検出し、当該検出した輝度ヒストグラム波形状態(類型輝度状態データ)に対応付けられた撮像条件(撮像条件データ)を血管撮像装置2に対して設定する。この後、認証システム1は、設定した撮像条件で再撮像した結果得られる血管画像(血管画像データD1)から血管形成パターンを抽出し、この血管形成パターンを用いて構成員を識別する。
従って、この認証システム1では、補助的に構成員を識別した後に、当該識別した構成員の生体要素に応じた撮像条件で撮像された結果に基づいて構成員を再度識別することができるため、撮像時の不安定要素の多い血管撮像に起因する誤識別を大幅に低減することができる。
以上の構成によれば、輝度ヒストグラム波形状態に基づいて構成員の有無を識別するようにしたことにより、撮像時の位置ずれに起因する誤判断を低減することができるのみならず、簡易な処理により構成員の有無を識別できることができ、かくして識別精度を向上することができる。
(5)他の実施の形態
なお上述の実施の形態においては、撮像装置として、図1及び図2に示した構成の血管撮像装置2を適用するようにした場合について述べたが、本発明はこれに限らず、この構成以外の構成でなる種々の撮像装置を適用するようにしても良い。
例えば図1及び図2との対応部分に同一符号を付した図13に示す血管撮像装置100を適用することができる。この血管撮像装置100においては、撮像時に指FGに到来する通常光を遮蔽する点で血管撮像装置2と大きく異なっている。
この血管撮像装置100においては、指FGを透過することにより得られる近赤外光を対象とする点で、指FG内方を散乱することにより得られる近赤外光を対象とする血管撮像装置2とは本質的に異なる構成となっている。
具体的にこの血管撮像装置100では、ガイド溝11に代えて、血管撮像装置100の筺体で指FGを覆うように指挿入部101を設けた点が血管撮像装置2と大きく異なる点である。そしてこの血管撮像装置100は、近赤外光光源14(14a、14b及び14c)から発射される近赤外光の光路上に、当該近赤外光のうち特定の近赤外線帯域の光を透過する第1のフィルタ102、指挿入部101、当該指挿入部101に挿入された指を透過して得られる光のうち静脈血に吸収される近赤外線帯域とその付近との光を透過する第2のフィルタ103及び固体撮像素子104が順次配置される。
この血管撮像装置100を適用すれば、通常光よりも大きい強度の近赤外光を指に照射することなく、露光時間制御処理(電子シャッタ)を実行することなく血管を撮像することができるため、消費電力を抑えると共に処理負荷を低減することができる。これに加えて通常光に基づくノイズ成分による画像中の血管成分への影響を大幅に低下させることができる。
また上述の実施の形態においては、生体の固有構造物として、生体の内方における指FGの血管を適用するようにしたが、本発明はこれに限らず、例えば眼球部分、掌部分、腕部分、脹脛部分、足底部分又は生体全身等この他種々の部位の血管を適用するようにしても良く、また生体の表面における所定部位の指紋等を適用するようにしても良い。
さらに上述の実施の形態においては、撮像画像の輝度状態を検出する検出手段として、輝度ヒストグラム波形における第1ピークP1、第2ピークP2、第1ボトムB1、第2ボトムB2にそれぞれ対応する輝度値C1〜C4及び画素数PE1〜PE4と、輝度ヒストグラム波形における内面積GAを検出するようにした場合について述べたが、本発明はこれに限らず、これらの一部を省略又は変更するようにしても良く、新たに加えるようにしても良い。
さらに上述の実施の形態においては、記録手段に記憶された輝度状態に基づいて生体を識別する識別手段として、血管画像における輝度状態を表すデータ(登録輝度状態データ)に基づいて構成員の有無を識別し、当該識別した構成員の血管形成パターンのデータ(登録血管形成パターンデータ)を用いて再度識別するようにした場合について述べたが、本発明はこれに限らず、輝度状態だけで構成員を識別するようにしても良い。この場合、血管形成パターンを用いる場合に比して大幅に処理内容を簡略化することができる。
また、構成員として例えば父親、母親、長男及び長女によって構成される家族等、生体要素が大きく異なる構成員によって共用されている場合には、登録者の登録輝度状態を登録輝度状態データとしてHDD43に登録せずに、当該HDD43に予め記憶された類型輝度状態データに応じて構成員を識別するようにしても良い。この場合、構成員の生体要素が大きく異なるため、類型輝度状態データに応じて精度良く構成員を識別することができるのみならず、血管形成パターンを用いる場合に比して大幅に処理内容を簡略化することができる。
さらに上述の実施の形態においては、ノートパソコン3と、血管撮像装置2とを有線通信路(ケーブル4)を介して接続することにより通信システム1を構成するようにしたが、本発明はこれに限らず、所定の無線通信路を介して接続することにより構成するようにしても良く、ノートパソコン3に血管撮像装置2を搭載するようにしても良い。
この場合、生体を識別する識別装置としてノートパソコン3を適用するようにしたが、本発明はこれに限らず、家庭用電子機器又は携帯電話機等、この他種々の装置を適用することができる。
本発明は、生体を撮像する場合や、当該撮像機能を搭載する家庭用電子機器、パーソナルコンピュータ又は携帯電話機等の端末装置において認証する場合等に利用可能である。
本実施の形態による認証システムの全体構成を示す略線図である。 血管撮像装置の外観構成を示す略線図である。 血管撮像装置内部の回路構成を示すブロック図である。 電子シャッタの説明に供する略線図である。 光電変換によりチャージされる電荷量の説明に供する略線図である。 ノートパソコン内部の回路構成を示すブロック図である。 近赤外光の散乱パターンと、輝度ヒストグラム波形との関係を示す略線図である。 輝度ヒストグラム波形を示す略線図である。 輝度波形パターンとして記憶されるデータの説明に供する略線図である。 生体認証処理時の機能的構成を示すブロック図である。 ストレッチ処理の説明に供する略線図である。 生体認証処理手順を示すフローチャートである。 他の実施の形態による撮像装置の構成を示す略線図である。
符号の説明
1……認証システム、2、100……撮像装置、3……ノートパソコン、4……ケーブル、11……ガイド溝、12……撮像開口部、13……蓋部、14a、14b、14c……近赤外光光源、15……カメラ部、15c……固体撮像素子、21……光源駆動部、22……クロック発生部、23……電荷量調整部、24……A/D変換部、25、44a……USBインターフェース、30……本体、31……表示部、32……操作部、34……USB端子、40……CPU、41……ROM、42……RAM、43……HDD、101……指挿入口、102……第1のフィルタ、103……第2のフィルタ、104……遮蔽部、FG……指、RT……生体認証処理手順。

Claims (6)

  1. 生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出手段と、
    上記類型検出手段により検出される類型に対応付けられる撮像条件を撮像手段に設定する設定手段と、
    上記設定手段により設定される撮像条件のもとで上記撮像手段が撮像した画像を、上記類型検出手段により検出される類型に対応付けられる階調数に変更する変更手段と、
    上記変更手段により変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出手段と、
    上記抽出手段により抽出されるパターンを用いて、上記生体を識別する識別手段と
    を有する識別装置。
  2. 上記パラメータは、
    上記輝度ヒストグラム波形における内面積と、上記輝度ヒストグラム波形における最大のピークに対応する輝度値及び画素数とを含む
    請求項1に記載の識別装置。
  3. 生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出ステップと、
    上記類型検出ステップで検出される類型に対応付けられる撮像条件を撮像手段に設定する設定ステップと、
    上記設定ステップで設定される撮像条件のもとで上記撮像手段が撮像した画像を、上記類型検出ステップで検出される類型に対応付けられる階調数に変更する変更ステップと、
    上記変更ステップで変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出ステップと、
    上記抽出ステップで抽出されるパターンを用いて、上記生体を識別する識別ステップと
    を有する識別方法。
  4. 上記パラメータは、
    上記輝度ヒストグラム波形における内面積と、上記輝度ヒストグラム波形における最大のピークに対応する輝度値及び画素数とを含む
    請求項3に記載の識別方法。
  5. 生体を識別する識別装置と、上記生体の固有構造物を撮像する撮像装置とが含まれる認証システムであって、
    上記識別装置は、
    生体における内方の固有構造物を撮像対象として撮像される画像における輝度ヒストグラム波形の状態を示すパラメータに基づいて、該輝度ヒストグラム波形が、いずれの類型に属するかを検出する類型検出手段と、
    上記類型検出手段により検出される類型に対応付けられる撮像条件を上記撮像装置に設定する設定手段と、
    上記設定手段により設定される撮像条件のもとで上記撮像手段が撮像した画像を、上記類型検出手段により検出される類型に対応付けられる階調数に変更する変更手段と、
    上記変更手段により変更される画像から、該画像に含まれる固有構造物のパターンを抽出する抽出手段と、
    上記抽出手段により抽出されるパターンを用いて、上記生体を識別する識別手段と
    を有する認証システム。
  6. 上記パラメータは、
    上記輝度ヒストグラム波形における内面積と、上記輝度ヒストグラム波形における最大のピークに対応する輝度値及び画素数とを含む
    請求項5に記載の認証システム。
JP2004135605A 2004-04-30 2004-04-30 識別装置及び識別方法並びに認証システム Expired - Fee Related JP4636306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004135605A JP4636306B2 (ja) 2004-04-30 2004-04-30 識別装置及び識別方法並びに認証システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004135605A JP4636306B2 (ja) 2004-04-30 2004-04-30 識別装置及び識別方法並びに認証システム

Publications (2)

Publication Number Publication Date
JP2005312748A JP2005312748A (ja) 2005-11-10
JP4636306B2 true JP4636306B2 (ja) 2011-02-23

Family

ID=35440810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004135605A Expired - Fee Related JP4636306B2 (ja) 2004-04-30 2004-04-30 識別装置及び識別方法並びに認証システム

Country Status (1)

Country Link
JP (1) JP4636306B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4752703B2 (ja) * 2006-09-27 2011-08-17 ソニー株式会社 生体認証装置及びこれを備えた電子機器
JPWO2008123584A1 (ja) 2007-04-04 2010-07-15 ソニー株式会社 生体認証装置
JP4636340B2 (ja) 2007-07-10 2011-02-23 ソニー株式会社 生体撮像装置
JP4748257B2 (ja) 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
CN110110635A (zh) * 2019-04-28 2019-08-09 上海芯灵科技有限公司 非接触式指静脉识别装置及其识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61255480A (ja) * 1985-05-08 1986-11-13 Nec Corp 画像入力装置
JPH0464180A (ja) * 1990-07-04 1992-02-28 Toshiba Corp ディジタル画像表示装置
JPH09160589A (ja) * 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd 利用者照合装置
JPH10295674A (ja) * 1997-04-14 1998-11-10 Kanshu Sai 個人識別装置,個人識別方法,及び個人識別システム
JP2000348178A (ja) * 1999-06-09 2000-12-15 Toyota Central Res & Dev Lab Inc 指紋照合装置
JP2001307102A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd 生体情報を用いた個人認証システムおよび方法並びに同システム用登録装置,認証装置およびパターン情報入力媒体
JP2002133416A (ja) * 2000-10-20 2002-05-10 Fujitsu Ltd 指紋情報を用いた個人認証システム及び同システム用登録・認証方法並びに同システム用判定方法
JP2002526837A (ja) * 1998-09-30 2002-08-20 シーメンス アクチエンゲゼルシヤフト パターン認識のタスクを自動的にトリガする方法
JP2003296715A (ja) * 2002-03-29 2003-10-17 Hitachi Eng Co Ltd 指掌紋採取画像自動濃度調整方法及びそれを用いた指掌紋採取装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61255480A (ja) * 1985-05-08 1986-11-13 Nec Corp 画像入力装置
JPH0464180A (ja) * 1990-07-04 1992-02-28 Toshiba Corp ディジタル画像表示装置
JPH09160589A (ja) * 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd 利用者照合装置
JPH10295674A (ja) * 1997-04-14 1998-11-10 Kanshu Sai 個人識別装置,個人識別方法,及び個人識別システム
JP2002526837A (ja) * 1998-09-30 2002-08-20 シーメンス アクチエンゲゼルシヤフト パターン認識のタスクを自動的にトリガする方法
JP2000348178A (ja) * 1999-06-09 2000-12-15 Toyota Central Res & Dev Lab Inc 指紋照合装置
JP2001307102A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd 生体情報を用いた個人認証システムおよび方法並びに同システム用登録装置,認証装置およびパターン情報入力媒体
JP2002133416A (ja) * 2000-10-20 2002-05-10 Fujitsu Ltd 指紋情報を用いた個人認証システム及び同システム用登録・認証方法並びに同システム用判定方法
JP2003296715A (ja) * 2002-03-29 2003-10-17 Hitachi Eng Co Ltd 指掌紋採取画像自動濃度調整方法及びそれを用いた指掌紋採取装置

Also Published As

Publication number Publication date
JP2005312748A (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
WO2017187718A1 (ja) 撮像装置、認証処理装置、撮像方法、認証処理方法およびプログラム
JP4636140B2 (ja) 静脈撮像装置、静脈撮像方法および静脈認証装置
US8229179B2 (en) Finger vein authentication apparatus and finger vein authentication method
CN104346604B (zh) 血管图像获取装置以及终端
JP4407714B2 (ja) 生体認証装置及び生体認証方法
KR102237583B1 (ko) 빌리루빈 레벨의 추정
US8514240B2 (en) Authentication system, authentication program, and method of authentication
Kauba et al. Focussing the beam-a new laser illumination based data set providing insights to finger-vein recognition
JP5870922B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20100226545A1 (en) Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration
JP4752719B2 (ja) 画像処理装置、画像取得方法及びプログラム
JP2008287433A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
CN104077748A (zh) 图像校正设备、图像校正方法以及生物认证设备
JP2001184507A (ja) 個人認証装置
JP2009140019A (ja) 情報処理装置、情報処理方法およびプログラム
JP4636306B2 (ja) 識別装置及び識別方法並びに認証システム
JP2008287432A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP4656388B2 (ja) 認証装置、更新時期検出方法及びプログラム
KR101336834B1 (ko) Usb 홍채 인식기
JP2008287436A (ja) 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP5233152B2 (ja) 生体認証装置及び生体認証方法
US20190362062A1 (en) Biometric authentication apparatus and biometric authentication method
JP4600746B2 (ja) 認証装置、認証方法及びプログラム
JP5685272B2 (ja) 認証装置、認証プログラム、および認証方法
JP2007133656A (ja) 指紋照合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4636306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees