JP4815863B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4815863B2
JP4815863B2 JP2005132883A JP2005132883A JP4815863B2 JP 4815863 B2 JP4815863 B2 JP 4815863B2 JP 2005132883 A JP2005132883 A JP 2005132883A JP 2005132883 A JP2005132883 A JP 2005132883A JP 4815863 B2 JP4815863 B2 JP 4815863B2
Authority
JP
Japan
Prior art keywords
imaging
infrared light
blood vessel
unit
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005132883A
Other languages
English (en)
Other versions
JP2006305154A (ja
Inventor
英雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005132883A priority Critical patent/JP4815863B2/ja
Priority to US11/380,131 priority patent/US7692774B2/en
Publication of JP2006305154A publication Critical patent/JP2006305154A/ja
Priority to US12/607,752 priority patent/US7911596B2/en
Priority to US13/024,071 priority patent/US8115911B2/en
Application granted granted Critical
Publication of JP4815863B2 publication Critical patent/JP4815863B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1341Sensing with light passing through the finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Description

本発明は、撮像装置に関し、例えば生体内方に介在する血管を認証対象として撮像する場合に適用して好適なものである。
従来、バイオメトリクス認証の対象として血管がある。この血管を通る脱酸素化ヘモグロビン(静脈血)又は酸素化ヘモグロビン(動脈血)には近赤外線帯域の光(近赤外光)を特異的に吸収するといった性質があることが知られており、このような性質を利用して血管を撮像するようになされた撮像装置が提案されている(例えば特許文献1参照)。
この撮像装置は、当該筺体表面に設けられた近赤外光光源から、撮像開口部上の指に対して、その指に到来する可視光等の雰囲気中の通常光の強度よりも強い強度の近赤外光を照射する。そして撮像装置は、この指内方を経由してその指の指腹から得られた近赤外光(血管投影光)を、光学レンズ及び紫外光カットフィルタを順次介してCCD(Charge Coupled Device)の撮像面に導光する。
この状態において撮像装置は、CCDの撮像面に配された光電変換素子で近赤外光を光電変換することによりCCDにチャージされる単位時間あたりの電荷量を、当該近赤外光に対する撮像感度が鋭敏となるように調整するようになされている。
この撮像装置によれば、通常光に起因するノイズ成分を電気的に低減するため、当該通常光を遮断するための物理的な遮蔽部材を回避することができ、その分だけ小型化を実現することができる。
特願2004−135609(第1、3、10図)
ところでかかる構成の撮像装置においては、光軸上の近傍における筺体表面及び筺体内部に、対応する近赤外光及びCCDを積層するようにしてそれぞれ配置しているため、その分だけ厚みが増すという問題があった。
本発明は以上の点を考慮してなされたもので、薄型化し得る撮像装置を提案しようとするものである。
かかる課題を解決するため本発明は、撮像装置であって、表示手段における表示面の裏側に配され、生体内方の認証対象におけるヘモグロビンに吸収される性質をもつ波長の近赤外光を照射可能な光源と、表示手段を介して照射される近赤外光を一方の面から他方の面に透過し、当該他方の面から入射する近赤外光をずらして上記一方の面から出射する光伝送手段と、光伝送手段から出射される近赤外光を撮像する撮像手段と、表示手段における表示面に対向される生体部位が撮像される撮像手段の撮像画像から生体部位の輪郭を検出し、表示面における検出された生体部位の輪郭内に対応する領域に照射される近赤外光が遮断されるよう表示手段を制御する制御手段とを有する。
従って本発明では、光伝送手段における一方の面の下方に照射手段と撮像手段とを略同一面上に並べるようにして配置することができる。
本発明によれば、撮像光を照射する照射手段と、この照射手段から照射される撮像光を一方の面から他方の面に透過し、当該他方の面から入射する撮像光をずらして一方の面から出射する光伝送手段と、この光伝送手段から出射される撮像光を撮像する撮像手段とを設けるようにしたことにより、光伝送手段における一方の面の下方に照射手段と撮像手段とを略同一面上に並べるようにして配置することができ、かくして薄型化できる。
以下図面について本発明を適用した実施の形態を詳述する。
(1)第1の実施の形態
(1−1)第1の実施の形態による認証装置の全体構成
図1及びこの図1のA−A´の断面をとった図2において、1は全体として第1の実施の形態による認証装置を示し、略直方体形状の筺体2の前方となる側面2Aには撮像開始ボタン3A等の操作部3が設けられ、この筺体2の上面2Bには、側面2A側一端から中央までにわたって、所定幅でなる指形状のガイド溝4が形成されている。
このガイド溝4の先端近傍における底部には撮像開口部5が設けられており、この撮像開口部5には、筺体2内部側から撮像開口部5を塞ぐようにしてホログラムレンズ6が設けられている。これによりこの認証装置1では、撮像開口部5直下のホログラムレンズ6の表面にあてがうようにして指FGを載置すると共に、筺体2内部への異物の流入を回避することができるようになされている。
このホログラムレンズ6は、板状でなり、筺体2の上面2Bと略平行に配置されている。そしてこのホログラムレンズ6は、撮像開口部5下方となる一端側では、一方の面(以下、これを裏面と呼ぶ)M1から入射する光を他方の面(以下、これを表面と呼ぶ)M2に透過するようになされている。またこのホログラムレンズ6には、一端側における表面M2から他端側における裏面M1までにわたって反射経路が形成されており、当該一端側に入射する光を他端側にまでずらして出射するようになされている。
一方、このホログラムレンズ6の一端側における裏面M1下方には、照射部8が設けられ、この照射部8には、図2のB−B´の断面をとった図3に示すように、血管の撮像光として近赤外光を照射する複数の近赤外光光源7(7A〜7F)が所定の配列方向に配置されている。他方、このホログラムレンズ6の出射先には、当該ホログラムレンズ6から出射される光が撮像面に入射するように、マクロレンズ9及びCCD撮像素子10がそれぞれ配設されている。
従って、図4に示すように、近赤外光光源7(図3)から発射される近赤外光は、ホログラムレンズ6を透過してそのホログラムレンズ6の一端側における表面M2に載置された指FGの指腹からその内方の血管に照射され、当該指FG内方の血管を通るヘモグロビンに吸収されると共に血管以外の組織で散乱及び反射することによって指腹から血管を投影する近赤外光(以下、これを血管投影光と呼ぶ)として得られ、この血管投影光がホログラムレンズ6の一端側における表面M2に入射する。そしてこの血管投影光は、ホログラムレンズ6の反射経路を介して他端側から出射され、マクロレンズ9を介してCCD撮像素子10の撮像面に入射する。
CCD撮像素子10は、格子状に配された複数の光電変換素子を撮像面に有し、これら光電変換素子において血管投影光を光電変換する。そしてCCD撮像素子10は、この光電変換により各光電変換素子にそれぞれチャージされる電荷を血管画像信号として出力する。
そして認証装置1は、このようにして生体内方の血管の撮像することにより得られる血管撮像信号に基づいて、このとき撮像対象者が予め登録された登録者本人であるか否かを判定するようになされている。
かかる構成に加えてこの認証装置1では、載置面と鈍角をなす方向から近赤外光を照射するように近赤外光光源7の照射方向が選定されている。この場合、ホログラムレンズ6の表面M2に載置された指FGに対して、指腹側面にあたる斜め方向から近赤外光が照射されるため、指腹底面に垂直となる方向から近赤外光を照射する場合に比して、指表面で反射する近赤外光が低減することとなる。
従ってこの認証装置1では、ほぼ血管投影光だけがホログラムレンズ6及びマクロレンズ9を順次介してCCD撮像素子10の撮像面に入射されるため、当該CCD撮像素子10から出力される血管画像信号のうち、指表面で反射する近赤外光に起因するノイズ成分を未然に低減することができ、この結果、血管画像信号に基づく登録者本人の有無の判定精度を向上することができるようになされている。
このようにこの認証装置1は、指に内在する血管を認証対象とすることにより、当該指表面に有する指紋等を認証対象とする場合に比して、第三者による成りすましを一段と防止し得るようになされている。
(1−2)認証装置の回路構成
ここで、この認証装置1の回路構成を図5に示す。この認証装置1は、光源駆動部21及びCCD駆動部22からなる撮像感度調整処理部23と、血管抽出部24及び照合部25からなる認証処理部26とによって構成されており、撮像開始ボタン3A(図1)の押圧操作によりその撮像開始ボタン3Aから供給される血管撮像命令に応じて各種処理を実行するようになされている。
実際上、撮像感度調整処理部23の光源駆動部21は、この認証装置1に蓄積される電源電圧を予め設定された電圧値(以下、これを設定電圧値と呼ぶ)にまで昇圧し、当該昇圧した電源電圧を光源駆動信号S10として近赤外光光源7に送出するようにして、当該近赤外光光源7を駆動する。
この結果、この認証装置1では近赤外光光源7から近赤外光が発射され、ホログラムレンズ6の表面に載置された指FGに対して、指腹側面にあたる斜め方向から近赤外光が照射されることとなる。
この場合、光源駆動部21は、通常光よりも大きい強度となる設定電圧値にまで電源電圧を昇圧するようになされている。従って、このときホログラムレンズ6の表面に載置された指FGに到来する可視光等の雰囲気中の通常光による近赤外光への影響は低減することになる。
CCD駆動部22においては、例えば図6(A)に示すように、所定のデューティー比のパルス信号を生成し、これを電荷読出信号S11としてCCD撮像素子10に送出する。この場合、CCD撮像素子10では、立ち下がり時点から次の立ち下がり時点までの単位期間PTにおいて各光電変換素子にチャージされる電荷が、当該立ち下がり時点を読出開始時点として周期的に読み出される。
しかしこの場合、図7(A)に示すように、近赤外光光源7から発射される近赤外光の強度が通常光よりも大きいことに起因して、CCD撮像素子10では単位期間PT(図6(A))の途中で各光電変換素子にチャージされる電荷が飽和するといった事態が起こることとなる。
そこでこのCCD駆動部22は、CCD撮像素子10(各光電変換素子)にチャージされる単位期間PT(図6(A))当たりの電荷量を制限するようになされている。
すなわちCCD駆動部22は、図6(B)に示すように、CCD撮像素子10(各光電変換素子)にチャージされている電荷のリセット時点として、例えば単位期間PTの中間時点となるように、電荷読出信号S11に基づいて電荷リセット信号S12を生成する。
このリセット時点は、近赤外光光源7に送出する光源駆動信号の電圧値(即ち近赤外光の強度)に応じて各光電変換素子にチャージされる電荷の飽和期間が変化するため、単位期間PTのうちの当該電圧値に対応する時点に設定される。
そしてCCD駆動部22は、かかる電荷リセット信号S12を電荷読出信号S11と共にCCD撮像素子10に送出する。この結果、CCD撮像素子10では、図6(C)に示すように、単位期間PTにチャージされる電荷が、電荷リセット制御信号のリセット時点から電荷読出制御信号の立ち下がり時点までの期間ESTのみに制限されることとなる。
この場合、CCD撮像素子10では、図7(B)に示すように、血管射影光及び通常光に対する光電変換結果として各光電変換素子にチャージされる電荷量が相対的に減少することになるため、当該CCD撮像素子10における血管射影光に対する撮像感度が鋭敏となる。
このようにして撮像感度調整処理部23は、近赤外光に対する撮像感度が鋭敏となるように近赤外光光源7及びCCD撮像素子10を駆動することができるようになされている。
一方、認証処理部26の血管抽出部24は、CCD撮像素子10から出力される血管画像信号S1に対してA/D(Analog/Digital)変換処理を施し、得られた血管画像データに対してメディアンフィルタ処理を施すようにしてノイズ成分を除去する。
そして血管抽出部24は、ノイズ成分が除去された血管画像データに対して例えばラプラシアン処理を施すようにして、血管画像信号S1に基づく血管画像の血管輪郭を強調するようにして抽出し、このようにして血管輪郭が抽出された血管画像の血管画像データD1を照合部25に送出する。
照合部25は、上述の血管抽出部と同様の処理が施されることにより得られた登録者の血管画像を登録血管画像データとして保持する登録データベースを有しており、この登録データベースに登録された登録血管画像データと、血管抽出部から供給される血管画像データD1との相互相関を算出するようにして、これらデータに基づく血管画像の血管形成パターンを照合する。
そして照合部25は、この照合結果として、所定の閾値以下となる相互相関値が得られた場合には、このときの撮像対象者が登録データベースに登録された登録者本人ではないと判定する一方、当該閾値よりも高い相互相関値が得られた場合には撮像対象者が登録者本人であると判定し、この判定結果を認証判定データD2として外部に送出する。
このようにしてこの認証処理部26は、CCD撮像素子10から出力される血管画像信号S1に基づいて、本人の有無を判定することができるようになされている。
(1−3)動作及び効果
以上の構成において、この認証装置1は、近赤外光をホログラムレンズ6の表面M2に載置されたFGに照射し、当該指FGを経由してホログラムレンズ6の表面M2に入射する血管投影光を、そのホログラムレンズ6の反射経路を介してずらして裏面M1からCCD撮像素子10の撮像面に入射する(図4)。
従ってこの認証装置1では、近赤外光を照射する照射部8とCCD撮像素子10とを、積層せずに、ホログラムレンズ6における表面M2の下方における略同一面上に並べるようにして配置することができる。この場合、認証装置1(筺体2)内部におけるCCD撮像素子10の配置位置に応じてホログラムレンズ6の反射経路を形成できるので、認証装置1(筺体2)内部におけるCCD撮像素子10の配置自由度を向上できる。
またこの場合、ホログラムレンズ6の反射経路を複数の光学レンズによって形成する場合に比して、光路の煩雑化を回避すると共に部品点数を減らすことができ、また認証対象を拡大するようにして撮像面に伝送することもできる。
以上の構成によれば、近赤外光をホログラムレンズ6の表面M2に載置されたFGに照射し、当該指FGを経由してホログラムレンズ6の表面M2に入射する血管投影光を、そのホログラムレンズ6の反射経路を介してずらして裏面M1からCCD撮像素子10の撮像面に入射するようにしたことにより、ホログラムレンズ6における表面M2の下方における略同一面上に、近赤外光を照射する照射部8とCCD撮像素子10とを並べるようにして配置することができ、かくして薄型化できる。
(2)第2の実施の形態
(2−1)第2の実施の形態による携帯電話機の全体構成
図8及び図9において、50は全体として第2の実施の形態による携帯電話機を示し、略直方体形状でなる第1の筺体(以下、これを第1筐体と呼ぶ)51及び第2の筺体(以下、これを第2筺体と呼ぶ)52が、当該第2筺体52における短手方向の一端側に設けられた回転軸部53を介して略水平方向へ回転自在に連結されことにより構成される。
この第1筺体51には、その表面中央に、薄厚ガラス板でなる略長方形形状の表示窓54が形成されており、当該表示窓54の中央直下には透過型の液晶表示部55が設けられている。そしてこの表示窓54の長手方向における上側には、音声出力孔56が穿設されると共に、この音声出力孔56に対応させてその内部にスピーカが収納されている。
またこの表示窓54の長手方向における下側には、ジョグダイヤルと呼ばれる回転及び押圧自在の操作部(以下、これを回転押圧操作子と呼ぶ)56が設けられており、この回転押圧操作子57を回転操作することによって液晶表示部55に表示されるカーソルを選択対象に移動すると共に、押圧操作することによってカーソルで選択されている選択対象に決定し得るようになされている。
一方、第2筺体52には、表面中央に、電源キー、発呼キー及び文字入力キー等の各種操作キーからなる操作部58が設けられており、これら操作キーを押圧操作することによって、液晶表示部にメニュー画面を表示したり、各種文字入力等を行い得るようになされている。
そしてこの操作部58長手方向における下側には、集音孔59が穿設されると共に、この集音孔59に対応させてその内部にマイクロホンが収納されている。またこの第2筺体52の裏面中央には装脱着自在のバッテリパック60が設けられている。
そしてこの携帯電話機50においては、第1筺体51の裏面及び第2筺体52の表面を離した開状態において(図8)、第2筺体52を片手で把持しながら通話又は回転押圧操作子57と操作部58を操作し得るようになされており、第1筺体51の裏面及び第2筺体52の表面を重ねた閉状態において(図9)、操作部58を保護すると共に誤操作を防止し、かつ携帯電話機50全体の寸法を小型化して携帯性を向上し得るようになされている。
ここで、第1筺体51のC−C´(図8)の断面を、図2との対応部分に同一符号を付した図10に示す。この第1筺体51では、表示窓54の直下に、ホログラムレンズ6、液晶表示部55及びバックライト部61が順次積層するようにして配設されている。
このバックライト部61には、図8のD−D´の断面をとった図11に示すように、液晶表示部55と対向する表面に、当該液晶表示部55の照明光として可視光を照射する可視光光源62(62A〜62F)が所定の配列方向に配置されており、液晶表示部55に表示画面を表示するとき等に液晶表示部55を照明するようになされている。
またこのバックライト部61には、可視光光源62(62A〜62F)と同一面に、血管の撮像光として近赤外光を照射する近赤外光光源63(63A〜63F)が所定の配列方向に配設されている。
一方、ホログラムレンズ6は、上述の第1の実施の形態と同様の構造でなり、液晶表示部55の表示面SCに表示内容を表示することにより発する表示光、可視光光源62から発射される可視光、近赤外光光源63から発射される近赤外光を、その一端側における裏面M1から表面M2を介して透過すると共に、表示窓54から入射する近赤外光(血管投影光)を、その他端側における裏面M1の出射するようになされている。
従って、図12に示すように、近赤外光光源63(図11)から発射する近赤外光は、液晶表示部55及びホログラムレンズ6をそれぞれ透過して表示窓54に載置された指FG内方の血管に照射され、当該指FG内方を経由して血管投影光としてホログラムレンズ6の一端側における表面M2に入射することになる。そしてこの血管投影光は、図4で上述した場合と同様に、ホログラムレンズ6の他端側から出射され、マクロレンズ9を介してCCD撮像素子10の撮像面に入射することになる。
このようにこの携帯電話機においては、液晶表示部の表示面SCをあたかもカメラの撮像面として、当該表示面SC上の表示窓54に載置された指FG内方の血管を撮像することができるようになされている。
(2−2)携帯電話機の回路構成
次に、この携帯電話機の回路構成を、図5との対応部分に同一符号を付した図13に示す。この携帯電話機50には、この携帯電話機全体の制御を司るCPU(Central Processing Unit)、各種プログラムが格納されたROM(Read Only Memory)、当該CPUのワークメモリとしてのRAM(Random Access Memory)及びクロック発信器を含むマイクロコンピュータ構成でなる制御部70が設けられている。
この制御部70には、回転押圧操作子57又は操作部58が操作されたときに、その操作に応じて回転押圧操作子57又は操作部58から対応する操作入力信号SOが与えられる。
かくして制御部70は、この操作入力信号SOに基づいてユーザ操作の操作内容を認識すると共に、当該認識結果とROMに格納された各種制御プログラムとに基づいて対応する各種処理を実行すると共に、当該処理内容を液晶表示部55の表示面SCに適宜表示するようになされている。
そして制御部70は、処理内容を表示するときには光源駆動部71を制御するようになされており、このとき光源駆動部71は、バッテリパック60に蓄積される電源電圧を光源駆動信号S71として可視光光源62に送出するようにして、当該可視光光源62を駆動する。この結果、可視光光源62から液晶表示部55に可視光が照射され、当該液晶表示部55が照明される。
実際上、制御部70は、操作入力信号SOに基づいて通話対象の携帯電話機と通話開始操作されたことを認識した場合には、動作モードを通話モードに遷移して通信部72を制御する。
このとき通信部72は、集音孔59(図8)を介してマイクロホン73により集音され、当該マイクロホン73から供給される音声信号S73に対して変調処理及び増幅処理を順次施し、得られた送信信号STaをアンテナANTから基地局(図示せず)を介して通話対象の携帯電話機に送信する。
一方、通信部72は、通話対象の携帯電話機から基地局(図示せず)を介して送信される送信信号STbをアンテナANTを介して受信し、当該送信信号STbに対して増幅処理及び復調処理を順次施し、得られた音声信号S74に基づく音声をスピーカ74から音声出力孔56(図8)を介して出力するようになされている。
またこの制御部70は、操作入力信号SOに基づいて通信対象とその通信対象に送信する送信内容とが決定された状態で通信開始操作されたことを認識した場合には、動作モードを通信モードに遷移して通信部72を制御すると共に、当該送信内容に対応するデータとして、RAMで生成したデータ又はメモリ75に記憶された個人データ等の送信対象データD51を通信部72に送出する。
このとき通信部72は、送信対象データD51に対してD/A変換処理、変調処理及び増幅処理を順次施し、得られた送信信号STcをアンテナANTから基地局(図示せず)を介して通信対象に送信する。
一方、通信部72は、この通信対象から基地局(図示せず)を介して送信される送信信号STdをアンテナANTを介して受信し、当該送信信号STdに対して増幅処理、復調処理及びA/D変換処理を順次施し、得られた通信対象における送信対象データ(以下、これを通信対象送信データと呼ぶ)D52を制御部70に送出する。
この場合、制御部70は、通信対象送信データD52の内容に対する応答データを送信対象データD51として通信部72に送出する等、当該通信対象送信データD52の内容に応じて対応する処理を実行するようになされている。
(2−3)血管認証処理
かかる構成に加えて、この携帯電話機50では、上述の通信モードを実行する前に、このとき携帯電話機50を操作する操作者の血管を認証対象として認証するようになされている。
実際上、制御部70は、通信対象とその通信対象に送信する送信内容とが決定された状態で通信開始操作されたことを認識すると、動作モードを通信モードに遷移する前に血管撮像モードに遷移して、液晶表示部55上に指FGを載置すべき旨を通知する通知画面を液晶表示部55の表示面SCに表示し、当該通知画面を表示してから所定期間経過後に白色画面を表示面SCに表示すると共に撮像感度調整処理部23を制御する。
このとき撮像感度調整処理部23は、上述の第1の実施の形態の場合と同様にして、光源駆動信号S10を近赤外光光源61に送出すると共に、電荷読出信号S11及び電荷リセット信号S12をCCD撮像素子10に送出することにより、近赤外光に対する撮像感度が鋭敏となるように近赤外光光源61及びCCD撮像素子10を駆動する。
また制御部70は、この状態においてCCD撮像素子10から出力される血管画像信号S1を受けると、当該血管画像信号S1と、この携帯電話機50の正規ユーザの血管画像としてメモリ75に登録された登録血管画像データD75とを認証処理部26に送出すると共に、当該認証処理部26を制御する。
このとき認証処理部26は、血管画像信号S1に対して、上述の第1の実施の形態の場合と同様に、A/D変換処理、メディアンフィルタ処理及びラプラシアン処理を順次施すようにして血管画像データD1(図5)を生成し、この血管画像データD1と、メモリ75から供給される登録血管画像データD75とに基づいて登録者本人の有無を判定し、この判定結果を制御部70に通知する。
さらに制御部70は、この認証処理部26から判定結果が通知されると、この判定結果を液晶表示部55の表示面SCに表示すると共に、当該判定結果が登録者本人であった場合には、動作モードを血管撮像モードから通信モードに遷移するようになされている。
このようにしてこの携帯電話機は、通信対象との通信前にこのとき携帯電話機50を操作する操作者が登録者本人であるか否かを判定し、当該登録者本人であると判定した場合にだけその通信対象と通信することができるようになされている。
(2−4)表示制御処理
ここで、この携帯電話機50のバックライト部61(図11)に配置された近赤外光光源63(図11)は、特に照射方向が選定されていない点で、載置面に対して鈍角をなす方向から近赤外光を照射するように照射方向が選定された第1の実施の形態の近赤外光光源7とは相違している。
従って、図12に示したように、この近赤外光光源63から発射される近赤外光は、表示窓54に載置された指FGに対して、指腹底面に垂直となる方向からも近赤外光が照射されるため、指表面で反射する近赤外光が増量し、その分だけCCD撮像素子10から出力される血管画像信号S1(図13)にはノイズ成分が多くなってしまうことになる。
そこで、この携帯電話機50では、図14に示すように、近赤外光光源63から発射される近赤外光のうち、表示窓54に載置された指FGに対応する部分の近赤外光が遮断されるように液晶表示部55を制御するようになされている。
実際上、制御部70は、血管撮像モード時に、撮像感度調整処理部23を介して近赤外光に対する撮像感度が鋭敏となるように近赤外光光源61及びCCD撮像素子10を駆動した状態において、当該CCD撮像素子10から出力される血管画像信号S1に基づく血管画像における指の輪郭を検出する。
そして制御部70は、図15に示すように、この指の輪郭内の各画素を最も低い輝度レベルにそれぞれ変換すると共に、当該輪郭内の画素以外の各画素を最も高い輝度レベルにそれぞれ変換するようにして、このとき表示面SC上に載置した操作者における指FGを模った遮蔽画面(以下、これを指遮蔽画面と呼ぶ)IMのデータを生成し、当該指遮蔽画面データに基づく指遮蔽画面IMを液晶表示部55の表示面SCに表示する。
この結果、この認証装置の第1筺体51では、図14に示したように、近赤外光光源63から発射される近赤外光のうち、表示窓54に載置された指に対して垂直方向となる近赤外光が遮断され、当該指FGには、載置面と鈍角をなす方向(指腹側面にあたる斜め方向)から近赤外光が照射されることになり、この近赤外光は、図4で上述した場合と同様に、その指FG内方から血管投影光として、ホログラムレンズ6及びマクロレンズ9を順次介してCCD撮像素子10の撮像面に入射する。
従って、制御部70には、上述の第1の実施の形態の場合と同様に、指表面で反射する近赤外光に起因するノイズ成分が低減された血管画像信号S1がCCD撮像素子10から与えられることとなる。
この状態において制御部70は、この血管画像信号S1に基づいて、認証処理部26を制御して登録者本人の有無を判定し、この判定結果を液晶表示部55の表示面SCに表示すると共に、当該判定結果が登録者本人であった場合には、動作モードを血管撮像モードから通信モードに遷移するようになされている。
このようにして制御部70は、近赤外光光源63から発射される近赤外光のうち、表示窓54に載置された指FGに対応する部分の近赤外光を遮断することができるようになされている。
(2−5)動作及び効果
以上の構成において、この携帯電話機50は、液晶表示部55における裏面側のバックライト部61から照明光と、近赤外光とを照射し、当該液晶表示部55上に載置された指FGを経由してホログラムレンズ6の表面M2に入射する血管投影光だけを、そのホログラムレンズ6の反射経路を介してずらして裏面M1からCCD撮像素子10の撮像面に入射する。
従ってこの携帯電話機50では、上述の第1の実施の形態の効果に加えて、液晶表示部55の表示面SCをあたかも撮像面のようにして指FG内方の血管を撮像することができるため、近赤外光を照射する指FGの載置スペースを第1筺体51に別途確保することなく、当該指FGから得られる血管投影光を入射するための撮像開口を形成することなく、指FG内方の血管を撮像することができる。
またこの携帯電話機50は、CCD撮像素子10での撮像結果に基づいて、バックライト部61から液晶表示部55を介して照射される近赤外光のうち、認証対象に対して垂直方向となる近赤外光を遮断するように液晶表示部55を制御する(図14)。
従ってこの携帯電話機50では、近赤外光の照射方向をわざわざ限定することなく、指表面で反射する近赤外光を低減することができるため、当該近赤外光に起因するノイズ成分をCCD撮像素子10の撮像結果(血管画像信号S1)から除去することができ、また液晶表示部55を介して照射される近赤外光と、指FG内方を経由して得られる血管投影光との干渉を防止することもでき、この結果、認証精度を向上することができるようになされている。
この場合において、この携帯電話機50は、認証対象の血管を含む指FGを模った部分に対応する近赤外光を遮断するように液晶表示部55を制御する。従ってこの携帯電話機50では、撮像時における指FGのずれを視覚的にユーザに通知することができるため、当該指FGの位置決め精度を向上することができる。
以上の構成によれば、液晶表示部55における裏面側のバックライト部61から照明光と、近赤外光とを照射し、当該液晶表示部55上に載置された指FGを経由してホログラムレンズ6の表面M2に入射する血管投影光だけを、そのホログラムレンズ6の反射経路を介してずらして裏面M1からCCD撮像素子10の撮像面に入射することにより、上述の第1の実施の形態と同様に薄型化するのみならず、液晶表示部55の表示面SCをあたかも撮像面のようにして指FG内方の血管を撮像することができるため、近赤外光を照射する指FGの載置スペースを第1筺体51に別途確保することなく、当該指FGから得られる血管投影光を入射するための撮像開口を形成することなく、指FG内方の血管を撮像することができ、小型化できる。
(3)他の実施の形態
上述の実施の形態においては、撮像光を照射する照射手段として、生体内方の血管に対して波長依存性を有する近赤外光を撮像光として照射するようにした場合について述べたが、本発明はこれに限らず、例えば生体内方に有する血管以外の固有構造物に対して特異性のあるマーカを注入し、当該マーカに対して波長依存性を有する光を撮像光として照射するようにしても良い。
また認証対象としては、生体内方の固有構造物に限らず、例えば指紋等の生体表面の固有構造物を適用することもできる。この場合、特に、第2の実施の形態に適用すれば、液晶表示部55の照明光としての可視光を撮像光としても利用できるため、バックライト部61における光源の数及び種類を簡略化することができ、その分だけ小型化できる。
さらに撮像光を照射する生体部位としては、指に限らず、例えば掌や腕の一部等、この他種々の生体部位に照射することができる。この場合であっても、上述の実施の形態と同様の効果を得ることができる。
さらに撮像光を照射する対象としては、血管等の認証対象に限らず、印刷物の印刷表面等の複製対象に撮像光を照射することもできる。この場合であっても、上述の実施の形態と同様の効果を得ることができる。
また上述の実施の形態においては、撮像光を一方の面から他方の面に透過し、当該他方の面から入射する撮像光をずらして一方の面から出射する光伝送手段として、板状に形成されたホログラムレンズ6を適用するようにした場合について述べたが、本発明はこれに限らず、このホログラムレンズ6を湾曲状態に変形する、又はコの字状態に変形する等、当該板状のホログラムレンズ6をこの他種々の状態に変形するようにしても良い。このようにしても、上述の実施の形態と同様の効果を得ることができる。
またホログラムレンズ6の反射経路として、その一端側における表面M2から入射する光を他端側における裏面M1から出射する反射経路を適用したが、これに代えて、例えばホログラムレンズ6の中央における表面M2から入射する光を他端側における裏面M1から出射する反射経路等のように、入射する光をずらして出射する種々の反射経路を、筺体2(第1筺体51)の配置スペースやホログラムレンズの変形状態等に応じて選定することができる。
またホログラムレンズ6の入射特性として、生体内方の血管に対して波長依存性を有する近赤外光を選択的に入射するようにしたが、これとは異なる波長からなる光を入射するようにしても良い。このようにすれば、上述したように、指紋等の生体表面の固有構造物を認証対象とする場合に有効となる。
またホログラムレンズ6の入射特性として、血管を通る酸素化ヘモグロビン及び脱酸素化ヘモグロビンの双方に波長依存性を有するおよそ900〜1000[nm]の波長域(以下、これを酸素脱酸素化ヘモグロビン依存波長域と呼ぶ)だけの近赤外光を入射するようにしても良い。このようにすれば、脱酸素化及び酸素化双方のヘモグロビンが混在する指先の血管を忠実に反映した血管投影光を、ホログラムレンズ6を介してCCD撮像素子10の撮像面に入射することができるため、血管に基づく認証精度をより向上させることができる。
さらに上述の実施の形態においては、撮像光を撮像する撮像手段としてCCD撮像素子10を適用するようにした場合について述べたが、本発明はこれに限らず、例えばCMOS(Complementary Metal Oxide Semiconductor)等、この他種々のものを適用することができる。
さらに上述の実施の形態においては、表示内容を表示面に表示する表示手段として透過型の液晶表示部55を適用するようにした場合について述べたが、本発明はこれに限らず、一部に透過構造の画素を有する液晶表示部であれば、これを適用するようにしても良い。この場合であっても、上述の実施の形態と同様の効果を得ることができる。
さらに上述の実施の形態においては、撮像手段の撮像結果に基づいて、表示手段を介して照射される撮像光のうち、認証対象に対して垂直方向となる撮像光を遮断するように表示手段を制御する制御手段として、認証対象(血管)を含む生体(指)を模った部分に対応する指遮蔽画面IMを表示面SCに表示するようにした場合について述べたが、本発明はこれに限らず、当該生体(指)を包含する所定形状の遮蔽画面を表示面SCに表示するようにしても良い。
さらに上述の実施の形態においては、本発明による撮像装置として、第1の実施の形態では図1及び図2に示した認証装置1を適用すると共に、第2の実施の形態では図8〜図10に示した携帯電話機50を適用するようにした場合について述べたが、当該認証装置1及び携帯電話機50に限らず、例えばPDA(Personal Digital Assistants)、複製機(スキャナ)、パーソナルコンピュータ、ルータ、テレビジョン装置等、この他種々の家庭用電化製品及び商業用電化製品に幅広く適用することができる。この場合、適用する装置の筺体内に、図2で示した照射部8、ホログラムレンズ6、マクロレンズ9及びCCD撮像素子10の配置関係を保った状態でそれぞれを組み込めば、上述の実施の形態と同様の効果を得ることができる。
本発明は、認証対象や複製対象を撮像する場合等に利用可能である。
第1の実施の形態による認証装置の外観構成を示す略線図である。 認証装置の内部構成を示す略線図である。 近赤外光光源の配置状態を示す略線図である。 近赤外光の経路を示す略線図である。 認証装置の回路構成を示す機能ブロック図である。 CCD撮像素子の駆動制御の説明に供するタイミングチャートである。 撮像感度調整の前後の説明に供する略線図である。 第2の実施の形態による携帯電話機の外観構成(開状態)を示す略線図である。 第2の実施の形態による携帯電話機の外観構成(閉状態)を示す略線図である。 第1筺体の内部構成を示す略線図である。 近赤外光光源及び可視光光源の配置状態を示す略線図である。 近赤外光の照射の説明に供する略線図である。 携帯電話機の回路構成を示す機能ブロック図である。 近赤外光の遮断の説明に供する略線図である。 指遮蔽画面例を示す略線図である。
符号の説明
1……認証装置、2……筺体、3、58……操作部、4……ガイド溝、5……撮像開口部、6……ホログラムレンズ、7A〜7F……近赤外光光源、8……照射部、9……マクロレンズ、10……CCD撮像素子、21、71……光源駆動部、22……CCD駆動部、23……撮像感度調整処理部、24……血管抽出部、25……照合部、26……認証処理部、50……携帯電話機、51……第1筺体、52……第2筺体、54……表示窓、55……液晶表示部、57……回転押圧操作子、60……バッテリパック、61……バックライト部、62A〜62F……可視光光源、63A〜63F……近赤外光光源、70……制御部、72……通信部、73……マイクロホン、74……スピーカ、75……メモリ、S1……血管画像信号、S10、S71……光源駆動信号、S11……電荷読出信号、S12……電荷リセット信号、S73、S74……音声信号、D1……血管画像データ、D2……認証判定データ、D51……送信対象データ、D52……通信対象送信データ、D75……登録血管画像データ、SC……表示面、SO……操作入力信号、STa〜STd……送信信号、FG……指、ANT……アンテナ、M1……裏面、M2……表面、IM……指遮蔽画面。

Claims (3)

  1. 表示手段における表示面の裏側に配され、生体内方の認証対象におけるヘモグロビンに吸収される性質をもつ波長の近赤外光を照射可能な光源と、
    上記表示手段を介して照射される近赤外光を一方の面から他方の面に透過し、当該他方の面から入射する近赤外光をずらして上記一方の面から出射する光伝送手段と、
    上記光伝送手段から出射される近赤外光を撮像する撮像手段と、
    上記表示手段における表示面に対向される生体部位が撮像される上記撮像手段の撮像画像から生体部位の輪郭を検出し、上記表示面における検出された生体部位の輪郭内に対応する領域に照射される近赤外光が遮断されるよう上記表示手段を制御する制御手段と
    を有する撮像装置。
  2. 上記生体部位は、指のうち上記表示手段における表示面に対向される生体部位である
    請求項1に記載の撮像装置。
  3. 上記光源は、
    生体内方の認証対象におけるヘモグロビンに吸収される性質をもつ波長の近赤外光と、上記表示手段の照明光とを照射可能な光源であり、
    上記制御手段は、
    生体内方の認証対象におけるヘモグロビンに吸収される性質をもつ波長の近赤外光が上記光源から照射される場合、上記撮像手段の撮像結果に基づいて、上記表示手段を制御する
    請求項1又は請求項2に記載の撮像装置。
JP2005132883A 2005-04-28 2005-04-28 撮像装置 Expired - Fee Related JP4815863B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005132883A JP4815863B2 (ja) 2005-04-28 2005-04-28 撮像装置
US11/380,131 US7692774B2 (en) 2005-04-28 2006-04-25 Image pickup apparatus
US12/607,752 US7911596B2 (en) 2005-04-28 2009-10-28 Image pickup apparatus
US13/024,071 US8115911B2 (en) 2005-04-28 2011-02-09 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005132883A JP4815863B2 (ja) 2005-04-28 2005-04-28 撮像装置

Publications (2)

Publication Number Publication Date
JP2006305154A JP2006305154A (ja) 2006-11-09
JP4815863B2 true JP4815863B2 (ja) 2011-11-16

Family

ID=37235396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005132883A Expired - Fee Related JP4815863B2 (ja) 2005-04-28 2005-04-28 撮像装置

Country Status (2)

Country Link
US (3) US7692774B2 (ja)
JP (1) JP4815863B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4815863B2 (ja) * 2005-04-28 2011-11-16 ソニー株式会社 撮像装置
JP4562668B2 (ja) * 2006-02-20 2010-10-13 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 撮像装置及び生体認証装置
JP4247691B2 (ja) * 2006-05-17 2009-04-02 ソニー株式会社 登録装置、照合装置、登録方法、照合方法及びプログラム
US8280118B2 (en) 2006-11-21 2012-10-02 Hitachi, Ltd. Biometrics authentication device and portable terminal
JP4844481B2 (ja) * 2007-06-25 2011-12-28 株式会社日立製作所 撮像装置及びこれを搭載した装置
JP4823985B2 (ja) 2007-08-07 2011-11-24 株式会社日立製作所 生体認証装置及び情報端末
JP2009129365A (ja) * 2007-11-27 2009-06-11 Sony Corp 撮像装置およびその方法
US20090159786A1 (en) * 2007-12-19 2009-06-25 Sony Corporation Display apparatus and illumination apparatus
JP4665997B2 (ja) * 2008-05-12 2011-04-06 日本電気株式会社 生体パターン撮像装置、生体パターン撮像方法、生体パターン撮像プログラム
JP2010033347A (ja) * 2008-07-29 2010-02-12 Hitachi Maxell Ltd 表示機能を有する撮像装置及び移動体通信端末
KR101084894B1 (ko) * 2009-09-16 2011-11-17 삼성전기주식회사 전반사를 이용한 정맥 인증 장치
JP2012130584A (ja) * 2010-12-22 2012-07-12 Genial Light Co Ltd 生体内観察装置
JP5885386B2 (ja) * 2010-12-22 2016-03-15 ジーニアルライト株式会社 生体内観察装置
US8428450B2 (en) * 2011-06-28 2013-04-23 Lite-On Singapore Pte. Ltd. Integrated optical module
TWI450157B (zh) * 2011-10-05 2014-08-21 Lite On Singapore Pte Ltd 整合式光學模組及其手指掃描裝置
EP2833318B1 (en) * 2012-03-28 2018-12-26 Fujitsu Limited Biometric authentication device, biometric authentication method, and biometric authentication program
JP6339025B2 (ja) * 2013-01-23 2018-06-06 合同会社3Dragons 個人認証装置
US9773151B2 (en) 2014-02-06 2017-09-26 University Of Massachusetts System and methods for contactless biometrics-based identification
JP6450085B2 (ja) * 2014-04-14 2019-01-09 フェムトディプロイメンツ株式会社 健康状態検査装置
JP2019525290A (ja) * 2016-06-09 2019-09-05 インサイト システムズ 生物学的特性を感知するための統合された発光ディスプレイおよびセンサ
CN106529483B (zh) * 2016-11-16 2019-12-06 南昌洋深电子科技有限公司 高分辨率光声显微成像身份识别系统及其识别方法
US10741621B2 (en) * 2016-11-25 2020-08-11 Lg Display Co., Ltd. Display device with a fingerprint sensor

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5177802A (en) * 1990-03-07 1993-01-05 Sharp Kabushiki Kaisha Fingerprint input apparatus
JP2579375B2 (ja) * 1990-03-07 1997-02-05 シャープ株式会社 指紋入力装置
JPH06282637A (ja) * 1993-02-01 1994-10-07 Matsushita Electric Ind Co Ltd 導波路型画像伝送装置及び指紋検出装置
DE69407628T2 (de) * 1993-02-01 1998-08-27 Matsushita Electric Ind Co Ltd Wellenleiter-Bildübertragungsvorrichtung und Vorrichtung zur Identifikation von Fingerabdrücken
JP2000030034A (ja) * 1998-07-09 2000-01-28 Fuji Electric Co Ltd 指紋画像入力装置
JP3256185B2 (ja) 1998-10-30 2002-02-12 松下電器産業株式会社 ランレングス符号誤り訂正装置
JP4381517B2 (ja) * 1999-08-11 2009-12-09 セイコーインスツル株式会社 指紋読み取り装置及び方法
US6956608B1 (en) * 2000-08-11 2005-10-18 Identix Incorporated Fingerprint imaging device including an optical plate having microreflectors
JP2002312771A (ja) * 2001-04-16 2002-10-25 Omron Corp 指紋画像入力装置
JP2004310577A (ja) * 2003-04-09 2004-11-04 Matsushita Electric Ind Co Ltd 凹凸パターン検出装置および携帯機器
JP4556107B2 (ja) 2003-10-30 2010-10-06 ソニー株式会社 撮像装置及びその方法並びに通信端末装置
JP4815863B2 (ja) * 2005-04-28 2011-11-16 ソニー株式会社 撮像装置
JP2007034521A (ja) * 2005-07-25 2007-02-08 Sony Corp 認証装置及び認証方法

Also Published As

Publication number Publication date
US20110128361A1 (en) 2011-06-02
US7692774B2 (en) 2010-04-06
US20100045973A1 (en) 2010-02-25
US7911596B2 (en) 2011-03-22
US8115911B2 (en) 2012-02-14
US20060247534A1 (en) 2006-11-02
JP2006305154A (ja) 2006-11-09

Similar Documents

Publication Publication Date Title
JP4815863B2 (ja) 撮像装置
KR101106396B1 (ko) 촬상 장치 및 통신 단말 장치
US7881506B2 (en) Finger identification method and apparatus
TWI337033B (ja)
WO2020232680A1 (zh) 用于生物识别的方法、指纹识别装置和电子设备
JP4566930B2 (ja) 撮像装置
US7634116B2 (en) Information processing device
WO2009014194A1 (ja) 静脈認証装置、静脈認証用撮像装置及び静脈照射方法
JP2003016435A (ja) 個体認証装置及び方法
JP2010225179A (ja) 指認証装置
JP2005323892A (ja) 個人認証装置
JP4596241B2 (ja) 可搬型情報端末装置及び情報提供システム
JP2005353014A (ja) 撮像装置
JP2005312749A (ja) 撮像装置及び認証方法
JP5141726B2 (ja) 撮像装置
JP2010218259A (ja) 生体認証装置
JP4560709B2 (ja) 可搬型情報端末装置
CN220473969U (zh) 一种基于静脉识别的鼠标
JP2010277599A (ja) 撮像装置
JP5765450B2 (ja) 指認証装置
US20100259665A1 (en) Electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4815863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees