JP4438265B2 - 画像入力装置及びそれを内蔵した電子機器 - Google Patents

画像入力装置及びそれを内蔵した電子機器 Download PDF

Info

Publication number
JP4438265B2
JP4438265B2 JP2001302246A JP2001302246A JP4438265B2 JP 4438265 B2 JP4438265 B2 JP 4438265B2 JP 2001302246 A JP2001302246 A JP 2001302246A JP 2001302246 A JP2001302246 A JP 2001302246A JP 4438265 B2 JP4438265 B2 JP 4438265B2
Authority
JP
Japan
Prior art keywords
light
light receiving
opening
image input
optical means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001302246A
Other languages
English (en)
Other versions
JP2003108982A (ja
Inventor
一郎 藤枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001302246A priority Critical patent/JP4438265B2/ja
Priority to US10/252,407 priority patent/US7408135B2/en
Priority to CNB021444323A priority patent/CN1184588C/zh
Publication of JP2003108982A publication Critical patent/JP2003108982A/ja
Application granted granted Critical
Publication of JP4438265B2 publication Critical patent/JP4438265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10881Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices constructional details of hand-held scanners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0338Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image

Description

【0001】
【発明の属する技術分野】
本発明は、携帯電話、携帯情報端末及びノート型パーソナルコンピュータ等の電子機器に搭載するのに好適な画像入力装置及びこの画像入力装置を搭載した電子機器に関し、特に、風景及び人物等の外界の画像と、指紋及び印影等の画像の両方を入力することができる画像入力装置及びそれを内蔵した電子機器に関する。
【0002】
【従来の技術】
携帯電話、携帯情報端末及びノート型パーソナルコンピュータ等の電子機器の一部には、風景及び人物等の外界の画像を入力する画像入力装置が搭載されている。一方、これらの電子機器には、電子機器内に格納された情報の漏洩の防止及び電子商取引等における本人確認等を目的として、使用者の指紋を画像として入力して個人認証を行う装置が搭載されることが望まれている。
【0003】
従来から、風景及び人物等(以下、外界という)の遠景画像と指紋等(以下、指紋という)の近接画像との両方を同一の撮像素子を使用して入力できる電子機器が知られている。これは、外界用と指紋用の2つの独立した結像光学系を有し、光が入力される結像光学系を機械的に選択することにより、外界又は指紋からの光を撮像素子へ導くものである。特に機器の体積及び製造コストが比較的に重要になる携帯型の電子機器においては、同一の撮像素子を使用して風景、人物等の外界の撮像及び指紋による個人認証の両方を実現することは大きな意味を持つ。
【0004】
このような電子機器の例が特開2001−142606号公報に開示されている。図13(a)及び(b)は、この従来の電子機器を示す正面図及び断面図であり、外界を撮像する動作を示している。図14(a)及び(b)は、この従来の電子機器を示す正面図及び断面図であり、指紋を撮像する動作を示している。図13(a)及び(b)に示すように、この電子機器は携帯電話であり、筐体104に外界撮像レンズ系102、切替部105及び透明材料により形成された指置きプリズム106が設けられている。切替部105には反射鏡103が取り付けられており、切替部105は反射鏡103及び外界撮像レンズ系102を左右にスライドするものである。
【0005】
指置きプリズム106は筐体104の外部に面した指置き面106a及びこの指置き面106aの反対側に形成されたプリズム底面106bを有し、指置き面106aとプリズム底面106bとの間には反射面106c及びレンズ系固定面106dが形成されている。筐体104の内部には、CCD等の撮像素子101、指紋撮像レンズ系107及び液晶ディスプレイ等の表示器108が設けられ、表示器108はプリズム底面106bに対向するように配置され、指紋撮像レンズ系107はレンズ系固定面106dに固定されている。切替部105が一方の側に配置されているときは、外界からの光が外界撮像レンズ系102を通過して撮像素子101において結像される。このとき、切替部105により、反射鏡103は光の進路に入らないように配置される。また、切替部105が他方の側に配置されているときは、指置きプリズム106に入力された光が指紋撮像レンズ系107を通過して反射板103により反射されて撮像素子101において結像される。
【0006】
この電子機器による外界の撮像動作について説明する。図13(a)に示すように、切替部105を図示の右側にスライドさせると、図13(b)に示すように、外界からの光が外界撮像レンズ系102により集光され撮像素子101において結像される。このようにして、外界の画像が撮像素子101に入力される。その後、この入力された外界の画像を表示器108に表示すると、指置きプリズム106は透明材料で構成されているため、入力した画像を外部から見ることができる。
【0007】
次に、この電子機器による指紋の撮像動作について説明する。先ず、図14(a)に示すように、切替部105を図示の左側にスライドさせる。次に、図14(a)及び(b)に示すように、指置きプリズム106の指置き面106aに指を密着させる。この状態で表示器108を一様に発光させると、指置き面106aに密着させた指が照明される。指で散乱された光は、指置きプリズム106の反射面106cで反射されてレンズ系固定面106dを通過し、指紋撮像レンズ系107を通過し、反射鏡103により反射されて、撮像素子101にて結像される。このようにして撮像素子101により指紋画像を入力した後、この画像を表示器108に表示すると、指置きプリズム106は透明材料で構成されているため、入力した画像を外部から見ることができる。また、指紋入力時に表示器108が指の輪郭を示す図形及び「ここに指を置いてください」等のメッセージを表示することにより、指を予め決めた場所に置くことができるので、確実に指紋の特定の場所を撮像できる。
【0008】
以上に説明したように、特開2001−142606号公報に開示された従来の電子機器の構成は、外界用と指紋用の2つの結像光学系を備え、両者を通過する光を機械的に切り替えて撮像素子に導くことにより、外界と指紋の両方を同一の撮像素子を使用して入力する。
【0009】
一方、本発明者等は、過去にSOFI(Single Optical Fiber Imaging)と命名した光学系を開発し、文献「NEC技法 Vol.51、No.10 pp.90〜95(1998年)“ペン型スキャナの開発”」において開示した。このSOFI光学系は、原稿をなぞってコンピュータに入力するための手動のスキャナを実現することを目的として開発されたものである。このSOFI光学系においては、光源が設けられ、この光源の光が入射する位置にガラス基板が設けられ、このガラス基板における前記光源に対向する面の反対面上にイメージセンサが設けられ、このイメージセンサに対向するように光ファイバアレイが設けられている。イメージセンサには複数の画素と、光が透過するための窓が設けられている。光ファイバアレイにおいては、複数本の光ファイバが前記光源からの光が前記ガラス基板及び窓を通過して入射するように設けられている。
【0010】
このSOFI光学系においては、先ず、読み取ろうとする原稿を光ファイバアレイに当接させ、この状態で光源を発光させる。光源から出力された光は、ガラス基板、画素に設けた窓、光ファイバの順に透過して原稿を照明する。原稿からの反射光は、照明光が透過した光ファイバと同じ光ファイバに入射してイメージセンサに入力される。これにより、原稿の画像が入力される。このSOFI光学系は原稿読み取り用に開発されたものであるが、指紋用画像入力装置として使用することも考えられる。
【0011】
【発明が解決しようとする課題】
しかしながら、上述の従来の技術には、以下に示すような問題点がある。特開2001−142606号公報に開示された電子機器においては、第1に、撮像に必要な構成の体積が大きいため、電子機器が大型化するという問題点がある。即ち、前記従来の電子機器では、外界用と指紋用の2つの独立した結像光学系を設けているため、夫々の結像に必要な距離をレンズと撮像素子との間に独立に確保する必要がある。また、両者を切り替えるために、外界撮像レンズと反射鏡を左右にスライドするための空間が必要である。このように、特開2001−142606号公報に開示された電子機器には、体積が大きいという問題点がある。
【0012】
第2に、特開2001−142606号公報に開示された電子機器は、指置きプリズムを通して表示器を見るようになっているため、表示画像が奥まった場所にあって見難いという問題点がある。また、指紋画像を入力すると指の油脂が指置きプリズムに付着し、表示画像を劣化させる。このように、この従来の電子機器には、奥まり感及び残留指紋のために表示性能が劣化するという問題点がある。
【0013】
第3に、風景及び人物等の外界の画像を入力するときは、電子機器の向きに拘わらず多くの方向から外界画像を入力できることが望ましい。しかし、前記従来の電子機器では、外界用の結像光学系が電子機器の筐体に固定されているため、撮像できる方向は決まった1つの方向のみである。このように、従来の電子機器には、外界の画像を入力するときの角度の自由度が小さいという問題点がある。
【0014】
一方、前述のSOFI光学系を使用する画像入力装置においては、指紋画像を入力することはできるものの、外界の画像を入力することができないという問題点がある。
【0015】
本発明はかかる問題点に鑑みてなされたものであって、外界の画像及び指紋等の画像の双方を入力することができる画像入力装置及びこの画像入力装置が内蔵された電子機器において、小型で、表示性能の劣化が無く、外界の画像を入力するときの角度の自由度が大きい画像入力装置及び電子機器を提供することを目的とする。
【0016】
【課題を解決するための手段】
本発明に係る画像入力装置は、第1及び第2の開口部が設けられた第1の筐体と、前記第1及び第2の開口部の一方を選択して開く開閉手段と、前記第1の開口部が開いているときに前記第1の開口部を通過した光を結像する結像光学手段と、前記結像光学手段により結像された光を検知する規則的に配列された複数の受光素子と、前記受光素子と前記結像光学手段との間に設けられ前記結像光学手段から出射された光を透過させる透明基板と、前記透明基板を透過した光を前記受光素子に向けて反射する反射部と、前記第2の開口部が開いているときに前記第2の開口部を通過した光を前記受光素子に導く密着光学手段と、を有し、前記受光素子は前記透明基板の表面に形成され、前記密着光学手段は前記透明基板の表面側に設けられていることを特徴とする。
【0017】
本発明においては、外界の画像を入力する際には、開閉手段により第1の開口部を開き、外部からの光が結像光学手段に入射され、結像光学手段がこの光を受光素子の位置において結像する。これにより、受光素子は外界からの光を検知することができる。一方、指紋等を入力する際には、開閉手段により第2の開口部を開き、指紋等を密着光学手段の近傍に配置し、この指紋等からの光が密着光学手段により受光素子に導かれる。これにより、受光素子はこの指紋等からの光を検知することができる。これにより、1つの光学系により外界及び指紋等の2種類の画像を入力することができるため、装置の小型化を図ることができる。
【0018】
また、前記開閉手段が第3の開口部を備え内部に前記第1の筐体を収納して回転可能に支持する第2の筐体であり、前記第1の筐体を回転させて前記第1及び第2の開口部の一方の位置を前記第3の開口部の位置に整合させることにより、前記一方の開口部を開くことが好ましい。これにより、簡略な機構により前記開閉手段を実現できると共に、この画像入力装置を電子機器に内蔵させた場合に、第2の筐体に対して結像光学手段を任意の方向に向けることができるため、電子機器の向きに拘わらず多くの方向から外界画像を入力することができる。
【0019】
更に、前記開閉手段の前記第1の開口部又は前記第2の開口部を閉じる部分が光を吸収する材料により形成されていることが好ましい。これにより、閉じている開口部の内側において、光が反射することを防止でき、開いている開口部から入射した光に影響を与えることを防止できる。この結果、より精度よく画像を入力することができる。
【0020】
更にまた、前記密着光学手段が複数の光ファイバを有していてもよい。更にまた、前記反射部は、前記密着光学手段における前記結像光学手段側の端部に局部的に形成された金属膜であってもよい。
【0021】
更にまた、前記反射部に代えて、前記結像光学手段から出射された光を反射して前記受光素子に導くか又は透過させて前記密着光学手段に導くかを切り替える反射/透過切替手段を有していてもよく、この反射/透過切替手段は、相互に平行に配置された2枚の透明電極と、この2枚の透明電極間に配置されたカイラルネマチック液晶層と、を有していてもよい。これにより、外界を撮像するときは反射部の反射率を高め、指紋等を撮像するときは反射部の透過率を高めることができるため、いずれの場合においても光の利用効率が向上し、入力される画像の品質を高めることができる。
【0022】
更にまた、前記密着光学手段と前記受光素子との間に配置されたカラーフィルタを有することが好ましい。これにより、各受光素子により単一色の光のみを検知することができる。従って、複数色のカラーフィルタを設け、複数色の光を検知することにより、カラー画像を入力することができる。
【0023】
更にまた、前記複数の受光素子がその配置された領域ごとに複数の群に分類され、全ての群に属する受光素子に光を検知させるか、又は、一部の群に属する受光素子のみに光を検知させるかを選択できることが好ましい。これにより、結像光学手段と受光素子との間の距離を小さくし、画像入力装置のより一層の小型化を図った場合においても、外界の画像が入力される受光素子のみに光を検知させることができ、効率良く画像を入力することができる。
【0024】
更にまた、前記第1の筐体内に設けられた発光素子を有し、この発光素子から発せられた光が前記密着光学手段を通過して被写体に照射され、この被写体からの反射光が前記密着光学手段を通過して前記受光素子により検知されることができる。これにより、指紋等の被写体を精度よく撮像することができる。
【0025】
又は、前記第1の筐体の外面又は前記第2の筐体の外面に取り付けられた発光素子を有し、この発光素子から発せられた光が被写体に入射され、この被写体により反射又は散乱された光が前記密着光学手段を通過して前記受光素子により検知されてもよい。これにより、第1の筐体内に発光素子を設ける必要がなくなり、第1の筐体をより一層小型化することができる。
【0026】
本発明に係る電子機器は、前記画像入力装置を内蔵することを特徴とする。この電子機器は、携帯電話、携帯情報端末又はノート型パーソナルコンピュータであってもよい。
【0027】
また、この電子機器は、画像を表示すると共に光を発光する表示手段を有し、この表示手段から発せられた光が被写体に入射され、この被写体により反射又は散乱された光が前記密着光学手段を通過して前記受光素子により検知されるようにしてもよい。これにより、指紋等の被写体を照明するための専用の発光素子を設ける必要がないため、電子機器の小型化及び低コスト化を図ることができる。
【0028】
【発明の実施の形態】
以下、本発明の実施例の効果について添付の図面を参照して具体的に説明する。先ず、本発明の第1の実施例について説明する。図1(a)は本実施例に係る電子機器を示す斜視図、(b)は断面図であり、図2は図1(b)における画像入力装置を示す拡大断面図であり、図3(a)は本実施例に係る画像入力装置における受光素子及びその近傍を示す平面図であり、(b)はファイバ収集部材の端面を示す平面図であり、(c)は(a)と(b)とを重ねた図である。また、図4は本実施例に係る画像入力装置の2次元イメージセンサ及びファイバ収集部材を示す断面図であり、図5(a)及び(b)は本実施例の電子機器における指紋画像入力動作を示す正面図及び断面図である。
【0029】
図1(a)及び(b)に示すように、本実施例に係る電子機器は具体的には携帯電話1であり、この携帯電話1はその端部に画像入力装置5を搭載している。この画像入力装置5においては、筐体10及び筐体80が設けられている。本実施例においては、画像入力装置5の筐体80は携帯電話1の筐体を兼用している。携帯電話1には液晶ディスプレイ等の薄型の表示器90が設けられ、筐体80に固定されている。また、筐体80には開口部83が設けられている。
【0030】
筐体10は、側面に2ヶ所の開口部11及び12が設けられた円筒状の形状を有しており、筐体80により回転自在に支持されており、筐体10は筐体10の軸を中心として回転する。筐体10を回転させるための動力源としてモーター等を設けてもよいが、本実施例においては、図1(a)に示すように、筐体10の端部に設けた凹凸部10aを指でスライドして手動で回転させるものとする。これは、手動で回転させることにより、モーター等を設ける必要がないため、電子機器の実装体積及びコストの低減並びに低消費電力化の点で有利なためである。筐体10を回転させることにより、開口部11又は12の位置を開口部83の位置に整合させ、これにより、開口部11又は12を開くことができる。なお、開口部11を開くときは開口部12が筐体80により覆われることによって閉じ、開口部12を開くときは開口部11が筐体80により覆われることによって閉じる。筐体10の内部には後述する電子部品が含まれる。これら電子部品へ電源及び制御信号を供給するための配線(図示せず)により、筐体10の内部に設けられる電子部品と筐体80内に設けられる電子部品(図示せず)が相互に接続されている。
【0031】
図2に示すように、筐体10には2ヶ所の開口部11及び12が設けられており、開口部11には外界撮像レンズ系20が嵌め込まれており、開口部10cにはファイバ収集部材70が嵌め込まれている。筐体10の内部には発光素子82が固定され、2次元イメージセンサ30がファイバ収集部材70の端部に接着層59(図4参照)により接着されている。2次元イメージセンサ30は、透明基板31の片側の表面に複数の受光素子50をマトリクス状に規則正しく配列させて形成されている。ファイバ収集部材70は、多数の光ファイバを束ねて融着したものを光ファイバが延びる方向と直交する方向に切断して表面を研磨して構成したものであり、一方の端面に形成された画像を他方の端面に伝送する光学手段である。発光素子82には、白色光を発するチップ型発光ダイオード(LED)等の小型の光源を使用する。発光素子82は、筐体10の内側において外界撮像レンズ系20の近傍に固定されており、外部からの制御信号により点灯し、透明基板31の全面を照明する。また、筐体80の表面において筐体10に面する領域は光吸収面81となっている。また、図2においては、外界撮像レンズ系20が1つのレンズとして示されているが、外界撮像レンズ系20は複数のレンズを組み合わせて構成してもよい。
【0032】
以下、2次元イメージセンサ30及びファイバ収集部材70を含む光学系の構成について、詳しく説明する。図4に示すように、ファイバ収集部材70は2次元イメージセンサ30に接着層59を介して接着されている。2次元イメージセンサ30においては、透明基板31が設けられ、この透明基板31上の一部の領域に遮光層32が設けられ、透明基板31及び遮光層32上には層間絶縁膜33が設けられている。層間絶縁膜33上における遮光層32上に相当する領域には薄膜トランジスタ40が設けられ、層間絶縁膜33上における遮光層32上からずれた領域には受光素子50が設けられ、更に、ゲート配線63、データ配線64及びバイアス配線65が設けられている。また、薄膜トランジスタ40、受光素子50、ゲート配線63、データ配線64及びバイアス配線65を覆うように、平坦化膜56が設けられ、この平坦化膜56上にはカラーフィルタ57が設けられ、カラーフィルタ57上には保護層58が設けられている。これにより、2次元イメージセンサ30が形成されている。
【0033】
2次元イメージセンサ30における保護層58上には接着層59が設けられており、この接着層59を介してファイバ収集部材70が2次元イメージセンサ30に接着されている。
【0034】
以下、2次元イメージセンサ30の1つの受光素子50及びその近傍に注目する。図3(c)は受光素子50及びその周辺部を透明基板31側から観察した様子を示す。図3(a)及び(b)は、2次元イメージセンサ30の構成要素とファイバ収集部材70の構成要素とを夫々抽出して示したものである。
【0035】
図3(a)に示すように、受光素子50には複数の長方形の開口部54が形成されている。受光素子50には薄膜トランジスタ40が接続され、これらの能動素子は3種類の配線(ゲート配線63、データ配線64、バイアス配線65)により、外部の駆動回路(図示せず)に接続されている。2次元イメージセンサ30に透明基板31側から入射する光は、開口部54を透過する。また、この光は、透明基板31における受光素子50、薄膜トランジスタ40及び各配線のいずれも形成されていない領域を透過することもできる。
【0036】
一方、図3(b)に示すように、ファイバ収集部材70の端面は、光ファイバのコア部71と光ファイバのクラッド及びその周辺を覆うように形成された反射部72とから構成される。ファイバ収集部材70の端面におけるコア部71及び反射部72が占める面積比は夫々約50%である。反射部72は光ファイバのクラッド及びその周辺の領域に光吸収部材が融着され、その上にアルミニウム又は銀等の材料が被覆されて形成されており、約95%以上の高い反射率を有している。
【0037】
このような端面において高い反射率を持つファイバ収集部材は、例えば、ファイバ収集部材に自己アラインメントのリフトオフ工程を適用して形成することができる。即ち、ファイバ収集部材の一方の端面にフォトレジストを塗布し、その上にスパッタ法によりアルミニウムの薄膜を形成する。次に、ファイバ収集部材の他方の端面から光を入射して前記フォトレジストを露光すると、コア部71上に形成されたフォトレジストのみが変質する。次に、ウェットプロセスにより変質したフォトレジストと共にその上のアルミニウム層を除去し、前述の高い反射率を持つファイバ収集部材が形成される。
【0038】
図3(c)に示すように、受光素子50には複数のコア部71が重畳されている。このとき、受光素子50とコア部71の位置が多少ずれても大きな問題にはならない。即ち、2次元イメージセンサ30をファイバ収集部材70に接着するときに、両者の間で精密な位置決めは不要である。
【0039】
また、図4に示すように、本実施例においては、受光素子50には、水素化アモルファスシリコン(a−Si:H)等からなる光電変換層52を、クロム等からなる不透明電極51と、インジウム錫酸化物(ITO)等からなる透明電極53とにより挟んだ構成のフォトダイオードを使用する。前述のとおり、受光素子50には開口部54を設けている。一方、薄膜トランジスタ40として、本実施例においては多結晶シリコン(poly−Si)によりチャネル層42を形成するトップゲート型の構成を採用している。即ち、薄膜トランジスタ40においては、チャネル層42が設けられ、このチャネル層42の上方にゲート絶縁膜43を設け、その上にゲート配線63を配置し、更に、チャネル層42を形成する多結晶シリコンに高濃度の不純物元素を導入してソース・ドレイン層41を形成している。ソース・ドレイン層41はチャネル層42と同層であり、チャネル層42の両脇に配置されている。このようなトップゲート型のpoly−Si薄膜トランジスタは、液晶ディスプレイ及びイメージセンサ等の画素を駆動する素子として一般的に使用されている。
【0040】
また、チャネル層42に入射する光による誤動作を防止するために、前述の如く、薄膜トランジスタ40の下方には層間絶縁膜33を介して遮光層32が設けられている。薄膜トランジスタ40及び受光素子50は、ゲート配線63、データ配線64及びバイアス配線65により外部に接続される。このような素子の上面は平坦化膜56により平坦化され、その上にカラーフィルタ57、保護層58が形成される。このようにして形成された2次元イメージセンサ30は、接着層59を介してファイバ収集部材70に接着される。透明基板31としては、poly−Si薄膜トランジスタとa−Si:Hフォトダイオードの製造工程との親和性を考慮して、無アルカリガラスを使用する。
【0041】
具体的な数値例を挙げると、例えば、透明基板31の厚さは0.7mm、透明基板31上に形成される遮光膜32から平坦化膜56までの構成要素の厚さの合計は1乃至2μm、カラーフィルタ57の厚さは1乃至3.5μm、接着層59の厚さは約10μm、ファイバ収集部材70の厚さは0.5乃至1.0mmである。また、横方向、即ち、透明基板31の表面に平行な方向における各構成要素の大きさに関しては、受光素子50の配列ピッチは30μm、開口部54の幅は4μm、ファイバ収集部材70のコア部71の直径は10μmである。2次元イメージセンサ30の画素数は500×500であり、2次元イメージセンサ30の画素部及びファイバ収集部材70の1辺の長さは約15mmである。略円筒形の筐体10の直径は20mmであり、携帯電話及びノート型パーソナルコンピュータの厚さよりも若干小さめになる。
【0042】
次に、この画像入力装置を内蔵した電子機器の外界の撮像動作を説明する。図2に示すように、風景、人物等により反射された光は、外界撮像レンズ系20により2次元イメージセンサ30の受光素子50が形成された面に結像される。
【0043】
以下、この過程を詳しく説明する。図3及び図4に示すように、外界からの光は透明基板31の下方、即ち、外界撮像レンズ系20側から上方、即ち、ファイバ収集部材70側へ向けて透過し、光の一部が開口部54を透過してカラーフィルタ57に至る。また、光の他の一部は、薄膜トランジスタ40、受光素子50、配線63乃至65により占有されていない領域を透過してカラーフィルタ57に至る。カラーフィルタ57は、決まった波長範囲の光のみを透過させ、それ以外の光は吸収する。カラーフィルタ57を透過した光は、接着層59を経てファイバ収集部材70に至り、一部は反射部72(図3(b)参照)により反射され、残部はコア部71に入射する。反射部72により反射された光は、接着層59及びカラーフィルタ57等を再び透過した後に受光素子50によって検出される。このようにして、外界撮像レンズ系20に入射した光の一部は、2次元イメージセンサ30の受光素子50が形成された面に結像される。一方、コア部71の一端に入射した光は他端から出射し、筐体80に設けられた光吸収面81によって吸収される。光吸収面81により吸収される光及び2次元イメージセンサ30を透過しない光は、撮像には利用できないので損失となる。
【0044】
なお、図1及び図2においては、外界撮像レンズ系20の光軸が筐体80の正面に垂直になるように筐体10が配置されているが、前述の如く、筐体80に対して筐体10を回転させることにより、様々な方向の外界画像を入力することができる。
【0045】
次に、指紋の撮像動作について説明する。図5(a)及び(b)に示すように、筐体10を図1に示す位置から180°回転させ、筐体10の開口部12の位置を筐体80の開口部83の位置に整合させて、ファイバ収集部材70を外部に露出させる。指紋の撮像は、指をファイバ収集部材70の端面に密着させた状態で、発光素子82を点灯して行う。発光素子82からの光は、ほぼ一様に2次元イメージセンサ30を照明する。
【0046】
再び、図3(a)乃至(c)及び図4を参照して、このときの光の経路について説明する。発光素子82(図2参照)から発光され、透明基板31の下方から入射した光は、前述の外界撮像時と同様に、開口部54、カラーフィルタ57等を透過してファイバ収集部材70に到達する。この光の一部が反射部72により反射され、残部がコア部71に入射するのも外界撮像時と同様である。このとき、コア部71に入射した光は、ファイバ収集部材70の他端に密着した指を照明する。指で反射あるいは散乱された光は、同一のコア部71を照明光とは逆方向に伝送し、カラーフィルタ57等を透過して受光素子50によって検出される。この光の強度分布が指紋画像を反映している。一方、反射部72により反射された光の一部は受光素子50に至り、2次元イメージセンサ30の出力を生成するが、この光の強度分布は一定である。このように、2次元イメージセンサ30の出力は、指紋画像を反映した光の成分と、一定の強度分布を持つ光の成分との両方が重畳されている。従って、後の画像処理等により後者を除去すると、コントラストが高い鮮明な指紋画像が得られる。
【0047】
なお、こうして得られる指紋画像はカラー画像である。個人照合のアルゴリズムによってはモノクロの指紋画像で十分だが、例えば、押圧時の指の色変化を利用して、ファイバ収集部材に押圧された物体が本物の指か否かを識別する機能を持たせるためには、指紋画像はカラーであることが望ましい。
【0048】
また、前述の指紋の撮像過程において、指紋の入力をユーザーに促すメッセージ及び指の位置を示す図形を表示部90に表示させることにより、指の位置を精度良く決めることができる。
【0049】
以上説明したように、本実施例においては、画像入力装置5が外界撮像レンズ系20、透明基板31上に形成された2次元イメージセンサ30、ファイバ収集部材70を回転可能な筐体10に配置して構成されているので、従来のように外界用及び指紋用の2つの独立した結像光学系を備える必要が無い。また、外界と指紋の入力動作の切り替えは、この筐体を電子機器の筐体に対して回転することにより実現されるので、従来のような構成要素の位置を機械的に切り替えるための空間を電子機器の内部に確保する必要が無い。従って、本実施例の画像入力装置は、従来の画像入力装置と比較して体積が小さく、携帯型の電子機器への搭載に有利である。
【0050】
また、従来の技術においては、画像の奥まり感及び残留指紋による表示性能の劣化が懸念されたが、本実施例においては、画像入力機能を表示部から独立させることによりこの問題を解消している。
【0051】
更に、風景及び人物等の外界の画像を入力するときの方法に注目すると、従来の電子機器では、画像の入力方向は電子機器の向きで決まる一方向のみであるが、本発明の電子機器においては、画像入力部を電子機器の筐体に対して回転させることができるので、電子機器の向きに拘わらず多くの方向から外界画像を入力することができる。即ち、本発明の構成では外界の画像を入力するときの角度の自由度が大幅に改善されている。これにより、例えば携帯電話で相手の顔を見ながら会話をしたり、風景及び人物等の動画情報を相手に送りながら話をしたりするといった使い方が容易に実現できる。
【0052】
なお、本実施例においては、外界と指紋の両方を入力できる画像入力装置を携帯電話の筐体の端部に搭載する例を示したが、対象となる電子機器は携帯電話に限らず、例えば、ノート型パーソナルコンピュータ及び携帯情報端末でもよい。また、このような画像入力装置を組み込む場所についても電子機器の端部に限るものではない。例えば、折り畳み式の携帯電話及びノート型パーソナルコンピュータにおいて、表示部を内蔵する第1の筐体とキーボード及び押しボタンを内蔵する第2の筐体とをつなぎ合わせるヒンジ部の一部に組み込んでもよい。
【0053】
また、ファイバ収集部材に密着して撮像する画像は指紋に限るものではない。本実施例ではファイバ収集部材の端部の面積が15mm角に制限されているが、ファイバ収集部材の端部をより大きく形成すれば、紙等の平面状物体の表面に形成された画像ならば、指紋と同様にカラーで撮像することができる。コンピュータ等に入力する価値のある画像は指紋の他にも存在する。例えば、印鑑の印影を携帯電話で入力して照合することも可能である。
【0054】
更に、本発明の趣旨を損なうことなく、種々の構成要素の選択、置換が可能である。例えば、本実施例においては、2次元イメージセンサの受光素子として図4に示すa−Si:Hフォトダイオードを例に挙げたが、受光素子の構成はこの例に限られるものではない。例えば、光伝導型の受光素子を用いる構成でも、同様の機能を実現できる。
【0055】
以下、本実施例の変形例について説明する。図6は本変形例に係る2次元イメージセンサ及びファイバ収集部材を示す断面図である。図6に示すように、本変形例においては、前述の第1の実施例における光電変換型の受光素子50の代わりに、光伝導型の受光素子50bが設けられている。光伝導型の受光素子50bは、光電変換層52bの両脇に高濃度の不純物を含むソース・ドレイン層41及び53bを配置して構成される。また、透明基板31と層間絶縁膜33との間における受光素子50bの下方に相当する領域には、遮光層32bが設けられている。本変形例の電子機器における上記以外の構成は、前述の第1の実施例に係る電子機器の構成と同じである。光電変換層52b及びソース・ドレイン層53bは、夫々薄膜トランジスタ40のチャネル層42及びソース・ドレイン層41と同時に形成することができる。受光素子50bに電圧を印加するための配線であるバイアス配線65も、薄膜トランジスタ40の製造工程で同時に形成できる。
【0056】
本変形例に係る電子機器の動作は以下のとおりである。外界と指紋のどちらを撮像する場合でも、光は最終的にカラーフィルタ57を透過した後に光電変換層52bに入射する。光電変換層52bでは光によって生成した電子及び/又は正孔のためにその電気伝導度が上昇し、ソース・ドレイン層53bとソース・ドレイン層41との間に電流が流れる。この電流を積分して得られる電荷量は、光電変換によって直接生成された電荷量よりもはるかに大きい。これは、出力の電荷量が入射光によって生成される電荷量よりも決して大きくはならないフォトダイオードに比べて、外部の電子回路を簡略化できるという利点になる。但し、入射する光量と出力の電荷量の間の比例関係が保たれる入力範囲は、フォトダイオードに比べて狭い。
【0057】
このように、光伝導型の受光素子を使用しても、フォトダイオードを使用した構成と同様の機能を実現することができる。このとき、光伝導型の受光素子は、フォトダイオードに比べて入出力特性の線形性は劣るが、製造工程が簡便で外部の電子回路が簡略化できるという利点がある。
【0058】
なお、前述の第1の実施例及びその変形例においては、受光素子を駆動するための回路素子としてトップゲート型poly−Si薄膜トランジスタを使用したが、この代わりにスタガ型poly−Si薄膜トランジスタ又はa−Si薄膜トランジスタ等の種々の薄膜トランジスタ又はダイオード素子を使用することもできる。従って、このような構成も本発明に含まれる。
【0059】
また、前述の第1の実施例においては、図3に示すように、2次元イメージセンサの画素が受光素子と薄膜トランジスタとから構成される最も簡単な構成を示した。しかし、デジタルスチルカメラ等に応用されている“CMOSセンサ”では、画素の1つ1つに増幅回路を設ける“アクティブ型”の回路構成が一般的である。CMOSセンサは通常は結晶シリコン基板上に形成されるので、そのままでは基板の透明性を要求する本発明に適用できない。しかし、前述のa−Si、poy−Siの薄膜半導体プロセスを利用して同等の回路を透明基板上に形成することが可能である。従って、このようなアクティブ型のイメージセンサを使用する電子機器も本発明に含まれる。
【0060】
更に、本実施例では、発光素子として白色光を発するLEDを例にあげたが、個人照合のアルゴリズムによっては指紋画像がモノクロ画像でよい場合がある。この場合は発光素子が白色を発する必要は無く、例えば、波長が550nm付近にピークを持つ緑色のLEDを使用してもよい。
【0061】
また、本実施例においては、指に密着する光学手段としてファイバ収集部材を設ける例を挙げて説明したが、本発明の密着光学手段として以下に説明する構成物を使用してもファイバ収集部材を使用する場合と同様の効果を得ることができる。即ち、表面に反射材料により覆われた領域(反射領域)と覆われていない領域(透過領域)とを規則的に配列した透明基板を、図4に示すファイバ収集部材70の代わりに配置する。透明基板は例えばガラス基板であってもよい。このとき、反射材料により覆われた側の表面が接着層59を介して2次元イメージセンサ30に対向するように、前記透明基板を2次元イメージセンサ30の保護層58に張り合わせる。なお、前記反射領域の形状は、例えば、図3(b)に示す反射部72の形状と同じでもよい。又は、図3(b)に示すコア部71の形状と同一にしてもよく、正方形の反射領域及び透過領域をチェッカーボードのように交互に配列してもよい。このように、反射領域及び透過領域の配置パターンは種々のパターンとすることが可能である。また、前記透明基板の厚さは、指からの光が横方向へ広がって画像の分解能が劣化しないように、十分薄くする必要がある。通常、透明基板の厚さを受光素子の配列ピッチと同等又はそれ以下にすれば、このような分解能の劣化は大きな問題にはならない。例えば、分解能が500dpiのセンサでは、受光素子の配列ピッチは50μmとなるため、透明基板の厚さは50μm以下であることが好ましい。
【0062】
次に、本発明の第2の実施例について説明する。図7は本実施例における2次元イメージセンサを示す斜視図であり、図8はこの2次元イメージセンサの回路構成を示す回路図である。本発明においては、外界撮像レンズ系、透明基板上に形成した2次元イメージセンサ、ファイバ収集部材を回転可能な筐体に取り付けることにより、従来の画像入力装置と比較して大幅な小型化を達成している。前述の第1の実施例における数値例では、画素領域が15mm角、画素数が500×500個の2次元イメージセンサ30を使用して、回転可能な筐体10の直径を約2cmとすることができる。
【0063】
しかし、画像入力装置のより一層の小型化を制限する要因の一つは、外界撮像レンズ系の焦点距離である。即ち、図2に示す画像入力装置において、仮に焦点距離がより短い外界撮像レンズ系を使用すれば、外界撮像レンズ系と2次元イメージセンサ30との間の距離を短くすることができ、筐体10のより一層の小型化が達成される。しかしながら、外界の画像は2次元イメージセンサ30の中央付近の領域に結像されることになるので、入力画像の解像度が低くなる。また、周辺領域の画素には画像が結像されないので、これらの画素の出力は何の情報も持たない。それにも関わらず、中央付近の画素と同様に周辺領域の画素からも外部回路へ信号が出力される。これでは、2次元イメージセンサから画像信号を出力するのに要する時間が必要以上に長くなり、例えば動画を高速で出力する用途には不利である。そこで、本実施例においては、画像入力装置を以下に示す構成とすることにより、前記課題を解決して画像入力装置のより一層の小型化を無駄なく実現する。
【0064】
本実施例においては、前述の第1の実施例に係る電子機器(携帯電話1)において、外界撮像レンズ系20の代わりにより焦点距離が短い外界撮像レンズ系を使用し、2次元イメージセンサ30の代わりに2次元イメージセンサ30bを使用し、筐体10の代わりにより直径が小さい筐体を使用する。これに合わせて筐体80における筐体10の嵌合部の内径も小さくする。本実施例の電子機器における上記以外の構成は、前述の第1の実施例に係る電子機器の構成と同一である。
【0065】
図7に示すように、本実施例における2次元イメージセンサ30bにおいては、透明基板31が設けられ、この透明基板31上に、受光素子50(図4参照)と薄膜トランジスタ40(図4参照)とからなる画素をマトリクス状に複数個配列してなる画素群35が設けられ、透明基板31上における画素群35の側方にこれらの画素に必要な駆動信号を供給するための垂直駆動回路61a、61b、61c、及び前記画素からの出力信号を増幅して外部回路(図示せず)へ送るための水平駆動回路62a、62b、62cが設けられ、前記画素と前記駆動回路とを接続する配線、即ち、ゲート配線63、データ配線64、バイアス配線65が設けられている。図7において、前述の第1の実施例の構成要素と同じ機能を果たす構成要素については同じ符号を付しその詳細な説明を省略する。
【0066】
本実施例においては、前述の如く、垂直駆動回路及び水平駆動回路が夫々3つずつ設けられている。これらの駆動回路、即ち、垂直駆動回路61a、61b、61c、及び水平駆動回路62a、62b、62cによって、2次元イメージセンサ30bの画素群35は9の矩形領域35a〜35iに分割される。従って、複数の受光素子50は9の矩形領域35a〜35iのいずれかに属することになる。なお、9の矩形領域35a〜35iは3行3列のマトリクス状に配置され、矩形領域35aが中央に配置され、矩形領域35b〜35iが矩形領域35aの周囲に配置される。このとき、外界からの光が外界撮像用レンズ20によって中央の矩形領域35aにおいて結像されるように設計する。
【0067】
なお、図8においては、受光素子をPD、薄膜トランジスタをTpと表記している。Vbは受光素子PDに印加する電圧、IMG−OUTはイメージセンサの出力である。図8の回路図に示すように、これらの駆動回路には3つの独立したシフトレジスタ回路(図ではS/Rと表記する)が含まれる。夫々のシフトレジスタ回路は、STRT−V1等の制御信号が入力された瞬間より出力端子に端から順に矩形パルスを出力する。CLK−V、CLK−Hは夫々垂直駆動回路61a、61b、61c、及び水平駆動回路62a、62b、62cに供給される制御信号である。更に、水平駆動回路62a、62b、62cには受光素子PDからの出力電流を積分して増幅するための回路(AMPと表記)が含まれる。
【0068】
次に、図7及び図8を参照して本実施例に係る電子機器の動作について説明する。前述のように、外界の画像を入力するときには、外界撮像レンズ系からの光が中央の矩形領域35aに集められる。他の矩形領域の受光素子は画像情報を含まない。このとき、中央のシフトレジスタ回路のみに制御信号STRT−V2及びSTRT−H2を入力すると、垂直駆動回路61b及び水平駆動回路62bが動作して、矩形領域35aに属する画素からのみ信号が連続して出力される。他のシフトレジスタ回路には制御信号が入力されないので、他の矩形領域の受光素子は事実上存在しないのと同等である。従って、高速で無駄なく外界画像を出力することができる。
【0069】
指紋を撮像する場合には、指で反射あるいは散乱された光が2次元イメージセンサ30bの9に分割された画素領域(矩形領域35a〜35i)の全てに到達する。このとき、まず垂直駆動回路について説明すると、3つに分割されたシフトレジスタ回路の出力が時間的に重ならないように制御信号STRT−V1、STRT−V2、STRT−V3のタイミングを調整する。即ち、例えば、垂直駆動回路61aの最終段の出力が終了した後に、垂直駆動回路61bに制御信号STRT−V2を入力すればよい。このようにして、事実上1つのシフトレジスタ回路として動作させることができる。水平駆動回路についても同様にして制御信号のタイミングを調整することで、事実上1つの駆動回路として機能させることができる。従って、2次元イメージセンサ30bの全ての画素からの信号が出力されて、指紋画像が得られる。
【0070】
以上に説明したように、本実施例においては、2次元イメージセンサを分割することにより必要な領域の画素からのみ出力することができるので、外界撮像レンズ系と2次元イメージセンサとの間の距離を小さくしても無駄なく外界の画像を出力でき、画像入力装置とそれを内蔵する電子機器のより一層の小型化が実現される。
【0071】
なお、2次元イメージセンサの画素領域の分割数は9に限らない。例えば、外界撮像レンズ系として2つの異なるレンズ系を切り替える機構を設けることにより、通常の外界画像に加えて、例えばレンズに近い物体を入力するための“接写機能”を付加することができる。このとき、通常の外界画像、接写時の外界画像及び指紋画像の3種類の大きさの画像に対応する必要がある。これは駆動回路を5分割し、画素領域を25分割することにより実現できる。従って、このような構成の画像入力装置も本発明に含まれる。
【0072】
次に、本発明の第3の実施例について説明する。本発明の画像入力装置において、光の利用効率は画質を決定する重要な要因であり、この利用効率は可及的に高いことが望ましい。そこで、前述の第1の実施例において、図3(a)乃至(c)及び図4を参照して光の利用効率について説明する。透明基板31側から入射した光は、受光素子50の開口部54並びに受光素子50、薄膜トランジスタ40及び配線63乃至65間の隙間を透過する。このときの透過率をT1とする。次に、この光はカラーフィルタ57を透過する。このときの透過率をT2とする。T1×T2の透過率でファイバ収集部材70の端面に到達した光は、反射部72により反射されるかコア部71に入射する。前者の確率をT3とする。反射部72により反射された光がカラーフィルタ57を再び透過して受光素子50に至る確率をT4とする。以上より、光の利用効率は確率T1乃至T4の積、即ち、T1×T2×T3×T4になる。このうち、積T1×T4は0.25以上にはなり得ない。また、仮に、確率T3を0.5よりも大きく設定すると、指紋入力のときの光利用効率が低減する。このため、前述の第1の実施例において、光の利用効率を向上させることは困難である。
【0073】
そこで、第3の実施例として、前述の課題を解決して光利用効率を改善する構成を説明する。図9は本実施例に係る2次元イメージセンサを示す断面図である。なお、図9において、図4に示す第1の実施例の構成要素と同じ機能を果たす構成要素については同じ符号を付し、その説明を省略する。
【0074】
図9に示すように、本実施例の電子機器が図4に示す第1の実施例の電子機器と異なる点は、第1の実施例におけるファイバ収集部材70の替わりに、ファイバ収集部材70bが設けられている点である。ファイバ収集部材70bには、2次元イメージセンサ30側の端部に反射/透過切替手段75が設けられており、反射部72(図3(b)参照)が設けられていない。反射/透過切替手段75は、透明電極76、液晶層77及び透明電極78をこの順に積層して形成されている。このため、ファイバ収集部材70bの製造工程において、反射部72を形成する工程は不要となる一方で、透明電極76、液晶層77、透明電極78を順に積層して反射/透過切替手段75を形成する工程が必要になる。液晶層77には、例えばカイラルネマチック液晶が利用できる。これは、電圧が印加されない状態では螺旋状態を保っており、入射する光が散乱される。電圧が印加されると螺旋構造が引き伸ばされて、光が透過するようになる。透明電極76及び78は、ITO等の材料をファイバ収集部材70bの端部全面にスパッタして形成する。
【0075】
本実施例に係る電子機器において、外界を撮像する場合には、透明電極76と78との間に電圧を印加せず、反射/透過切替手段75を反射状態とする。これにより、前述の確率T3を0.5よりも大きくすることが可能となる。一方、指紋を撮像する場合には、透明電極76と78との間に電圧を印加して、反射/透過切替手段75を透過状態とする。このように、本実施例においては、反射/透過切替手段を2次元イメージセンサとファイバ収集部材の間に配置することにより、外界撮像時及び指紋撮像時の双方において、光の利用効率を高めることができる。
【0076】
なお、反射/透過切替手段75は、本実施例の構成及び材料に限られるものではない。例えば、ポリマーネットワークの中に粒状に分散された液晶(ポリマー分散液晶)を2個の透明電極により挟んだ構成としても本実施例と同等の効果が得られる。また、表面に透明電極を形成した厚さが50μm以下の透明基板と、表面に透明電極を形成した2次元イメージセンサとで、カイラルネマチック液晶又はポリマー分散液晶を挟んだ構成としてもよい。従って、このような構成の画像入力装置も本発明に含まれる。
【0077】
次に、本発明の第4の実施例について説明する。図10(a)は本実施例に係る電子機器を示す正面図であり、(b)はこの電子機器を示す断面図であり、図11(a)は本実施例における指紋撮像動作を示す正面図であり、(b)はこの指紋撮像動作を示す断面図である。
【0078】
前述の第1の実施例においては、指紋の撮像に必要な光は、筐体10の内部に配置されたチップ型LED等の発光素子82(図2参照)により供給される。しかし、本発明においては、指紋撮像用の発光素子の配置は、この例に限られるものではない。
【0079】
図10(a)及び(b)に示すように、本実施例の電子機器においては、前述の第1の実施例に係る電子機器と比較して、筐体10の内部には発光素子82が設けられておらず、筐体80bに発光素子82bが設けられている。筐体80bには、発光素子82bを収納するための孔80cが、筐体80bの外面における外界撮像レンズ系20と表示部90との間に設けられている。発光素子82bは孔80c内に設けられている。発光素子82bは、ファイバ収集部材70に指を密着させて置いたときに、指の一部に光が効率よく入射するように配置されている。本実施例の電子機器における上記以外の構成は前述の第1の実施例に係る電子機器の構成と同一である。
【0080】
次に、本実施例における指紋撮像方法について説明する。図11(a)及び(b)に示すように、先ず、ファイバ収集部材70に指を密着させる。次に、この状態で発光素子82bを発光させる。発光素子82bが発する光は、発光素子82bに近接する指の部位から指の内部に入射し、散乱、拡散を繰り返した後にその一部が指に密着したファイバ収集部材70に入射する。このような光の分布を2次元イメージセンサ30で検出することにより、指紋画像が得られる。本実施例における上記以外の指紋撮像方法及び外界撮像方法は前述の第1の実施例と同様である。本実施例においては、発光素子を筐体10に内蔵する必要が無いため、筐体10をより小型化できる。
【0081】
次に、本実施例の変形例について説明する。図12は本変形例に係る電子機器を示す断面図である。図12に示すように、本変形例においては、独立した発光素子を設けずに、表示部90cを発光させて指紋撮像用の光源として使用する。これにより、表示部90cから出力された光が、指の内部に入射し、反射、散乱を繰り返してこの光の一部がファイバ収集部材70に入射する。これにより、指紋画像を得ることができる。本変形例における上記以外の構成及び動作は、前述の第4の実施例と同じである。本変形例においては、指紋撮像のために専用の発光素子を設ける必要がないため、筐体10の小型化が図れると共に、電子機器のコストを低減することができる。
【0082】
【発明の効果】
以上詳述したように、本発明によれば、外界の画像及び指紋等の画像の双方を入力することができ、小型で、表示性能の劣化が無く、外界の画像を入力するときの角度の自由度が大きい画像入力装置及びこの画像入力装置が内蔵された電子機器を得ることができる。
【図面の簡単な説明】
【図1】(a)は本発明の第1の実施例に係る電子機器を示す斜視図、(b)は断面図である。
【図2】図1(b)における画像入力装置を示す拡大断面図である。
【図3】(a)は本実施例に係る画像入力装置における受光素子50及びその近傍を示す平面図であり、(b)はファイバ収集部材の端面を示す平面図であり、(c)は(a)と(b)とを重ねた図である。
【図4】本実施例に係る画像入力装置の2次元イメージセンサ及びファイバ収集部材を示す断面図である。
【図5】(a)及び(b)は本実施例の電子機器における指紋画像入力動作を示す正面図及び断面図である。
【図6】本実施例の変形例に係る2次元イメージセンサ及びファイバ収集部材を示す断面図である。
【図7】本発明の第2の実施例における2次元イメージセンサを示す斜視図である。
【図8】図7に示す2次元イメージセンサの回路構成を示す回路図である。
【図9】本発明の第3の実施例に係る2次元イメージセンサを示す断面図である。
【図10】(a)は本発明の第4の実施例に係る電子機器を示す正面図であり、(b)はこの電子機器を示す断面図である。
【図11】(a)は本実施例における指紋撮像動作を示す正面図であり、(b)はこの指紋撮像動作を示す断面図である。
【図12】本実施例の変形例に係る電子機器を示す断面図である。
【図13】(a)及び(b)は、従来の電子機器を示す正面図及び断面図であり、外界を撮像する動作を示している。
【図14】(a)及び(b)は、この従来の電子機器を示す正面図及び断面図であり、指紋を撮像する動作を示している。
【符号の説明】
1;携帯電話
5;画像入力装置
10;筐体
10a;凹凸部
11、12;開口部
20;外界撮像レンズ系
30;2次元イメージセンサ
31;透明基板
32、32b;遮光層
33;層間絶縁膜
35;画素群
35a〜35i;矩形領域
40;薄膜トランジスタ
41;ソース・ドレイン領域
42;チャネル領域
43;ゲート絶縁膜
44;層間絶縁膜
50、50b;受光素子
51;不透明電極
52、52b;光電変換層
53、53b;透明電極
54、54b;開口部
55;層間絶縁膜
56;平坦化膜
57;カラーフィルタ
58;保護層
59;接着層
61a、61b、61c;垂直駆動回路
62a、62b、62c;水平駆動回路
63;ゲート配線
64;データ配線
65;バイアス配線
70、70b;ファイバ収集部材
71;コア部
72;反射部
75;反射/透過切替手段
76;透明電極
77;液晶層
78;透明電極
80、80b;筐体
80c;孔
81;光吸収面
82、82b;発光素子
83;開口部
90、90c;表示部
101;撮像素子
102;外界撮像レンズ系
103;反射鏡
104;筐体
105;切替部
106;指置きプリズム
106a;指置き面
106b;プリズム底面
106c;反射面
106d;レンズ系固定面
107;指紋撮像レンズ系
108;表示器

Claims (15)

  1. 第1及び第2の開口部が設けられた第1の筐体と、前記第1及び第2の開口部の一方を選択して開く開閉手段と、前記第1の開口部が開いているときに前記第1の開口部を通過した光を結像する結像光学手段と、前記結像光学手段により結像された光を検知する規則的に配列された複数の受光素子と、前記受光素子と前記結像光学手段との間に設けられ前記結像光学手段から出射された光を透過させる透明基板と、前記透明基板を透過した光を前記受光素子に向けて反射する反射部と、前記第2の開口部が開いているときに前記第2の開口部を通過した光を前記受光素子に導く密着光学手段と、を有し、前記受光素子は前記透明基板の表面に形成され、前記密着光学手段は前記透明基板の表面側に設けられていることを特徴とする画像入力装置。
  2. 前記開閉手段が第3の開口部を備え内部に前記第1の筐体を収納して回転可能に支持する第2の筐体であり、前記第1の筐体を回転させて前記第1及び第2の開口部の一方の位置を前記第3の開口部の位置に整合させることにより、前記一方の開口部を開くことを特徴とする請求項1に記載の画像入力装置。
  3. 前記開閉手段の前記第1の開口部又は前記第2の開口部を閉じる部分が光を吸収する材料により形成されていることを特徴とする請求項1又は2に記載の画像入力装置。
  4. 前記結像光学手段が1又は2以上のレンズを有することを特徴とする請求項1乃至のいずれか1項に記載の画像入力装置。
  5. 前記密着光学手段が複数の光ファイバを有することを特徴とする請求項1乃至のいずれか1項に記載の画像入力装置。
  6. 前記反射部が前記密着光学手段における前記結像光学手段側の端部に局部的に形成された金属膜であることを特徴とする請求項に記載の画像入力装置。
  7. 前記反射部に代えて、前記結像光学手段から出射された光を反射して前記受光素子に導くか又は透過させて前記密着光学手段に導くかを切り替える反射/透過切替手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像入力装置。
  8. 前記反射/透過切替手段は、相互に平行に配置された2枚の透明電極と、この2枚の透明電極間に配置されたカイラルネマチック液晶層と、を有することを特徴とする請求項に記載の画像入力装置。
  9. 前記密着光学手段と前記受光素子との間に配置されたカラーフィルタを有することを特徴とする請求項1乃至のいずれか1項に記載の画像入力装置。
  10. 前記複数の受光素子がその配置された領域ごとに複数の群に分類され、全ての群に属する受光素子に光を検知させるか、又は、一部の群に属する受光素子のみに光を検知させるかを選択できることを特徴とする請求項1乃至のいずれか1項に記載の画像入力装置。
  11. 前記第1の筐体内に設けられた発光素子を有し、この発光素子から発せられた光が前記密着光学手段を通過して被写体に照射され、この被写体からの反射光が前記密着光学手段を通過して前記受光素子により検知されることを特徴とする請求項1乃至10のいずれか1項に記載の画像入力装置。
  12. 前記第1の筐体の外面又は前記第2の筐体の外面に取り付けられた発光素子を有し、この発光素子から発せられた光が被写体に入射され、この被写体により反射又は散乱された光が前記密着光学手段を通過して前記受光素子により検知されることを特徴とする請求項1乃至10のいずれか1項に記載の画像入力装置。
  13. 請求項1乃至12のいずれか1項に記載の画像入力装置を内蔵することを特徴とする電子機器。
  14. 携帯電話、携帯情報端末又はノート型パーソナルコンピュータであることを特徴とする請求項13に記載の電子機器。
  15. 画像を表示すると共に光を発光する表示手段を有し、この表示手段から発せられた光が被写体に入射され、この被写体により反射又は散乱された光が前記密着光学手段を通過して前記受光素子により検知されることを特徴とする請求項13又は14に記載の電子機器。
JP2001302246A 2001-09-28 2001-09-28 画像入力装置及びそれを内蔵した電子機器 Expired - Fee Related JP4438265B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001302246A JP4438265B2 (ja) 2001-09-28 2001-09-28 画像入力装置及びそれを内蔵した電子機器
US10/252,407 US7408135B2 (en) 2001-09-28 2002-09-24 Imaging device having dual opening with open/close unit and electronic equipment incorporated therein the same
CNB021444323A CN1184588C (zh) 2001-09-28 2002-09-27 成像器件及包含成像器件的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001302246A JP4438265B2 (ja) 2001-09-28 2001-09-28 画像入力装置及びそれを内蔵した電子機器

Publications (2)

Publication Number Publication Date
JP2003108982A JP2003108982A (ja) 2003-04-11
JP4438265B2 true JP4438265B2 (ja) 2010-03-24

Family

ID=19122515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001302246A Expired - Fee Related JP4438265B2 (ja) 2001-09-28 2001-09-28 画像入力装置及びそれを内蔵した電子機器

Country Status (3)

Country Link
US (1) US7408135B2 (ja)
JP (1) JP4438265B2 (ja)
CN (1) CN1184588C (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120429A (ja) * 2002-09-26 2004-04-15 National Institute Of Advanced Industrial & Technology ファイバアレイカメラ
JP3891572B2 (ja) * 2003-06-30 2007-03-14 キヤノン株式会社 指紋入力装置、個人認証システムおよび電子機器
KR100980913B1 (ko) 2003-10-13 2010-09-07 엘지전자 주식회사 휴대용 단말기의 카메라 장치
US8131026B2 (en) 2004-04-16 2012-03-06 Validity Sensors, Inc. Method and apparatus for fingerprint image reconstruction
US8447077B2 (en) 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US7751601B2 (en) 2004-10-04 2010-07-06 Validity Sensors, Inc. Fingerprint sensing assemblies and methods of making
FR2880157B1 (fr) * 2004-12-28 2007-04-06 Sagem Dispositif optique de capture biometrique avec affichage d'information a destination de l'utilisateur
JP4767723B2 (ja) * 2006-03-03 2011-09-07 富士通株式会社 指紋認証装置、指紋認証方法、指紋認証プログラム及び携帯端末装置
JP2008015939A (ja) * 2006-07-07 2008-01-24 Dds:Kk 非接触型指紋入力装置及び指紋照合装置
JP4780717B2 (ja) * 2006-11-24 2011-09-28 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末
CN101290465B (zh) * 2007-04-20 2010-06-02 鸿富锦精密工业(深圳)有限公司 具有指纹辨识功能的镜头模组及相应的便携式电子装置
US8276816B2 (en) 2007-12-14 2012-10-02 Validity Sensors, Inc. Smart card system with ergonomic fingerprint sensor and method of using
JP2009211332A (ja) * 2008-03-03 2009-09-17 Sony Corp 折畳式携帯機器用静脈認証装置および静脈認証方法
US8116540B2 (en) 2008-04-04 2012-02-14 Validity Sensors, Inc. Apparatus and method for reducing noise in fingerprint sensing circuits
EP2321764A4 (en) 2008-07-22 2012-10-10 Validity Sensors Inc SYSTEM, DEVICE AND METHOD FOR SECURING A DEVICE COMPONENT
US8391568B2 (en) 2008-11-10 2013-03-05 Validity Sensors, Inc. System and method for improved scanning of fingerprint edges
US8278946B2 (en) 2009-01-15 2012-10-02 Validity Sensors, Inc. Apparatus and method for detecting finger activity on a fingerprint sensor
US8600122B2 (en) 2009-01-15 2013-12-03 Validity Sensors, Inc. Apparatus and method for culling substantially redundant data in fingerprint sensing circuits
US8374407B2 (en) 2009-01-28 2013-02-12 Validity Sensors, Inc. Live finger detection
US9336428B2 (en) * 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US9666635B2 (en) 2010-02-19 2017-05-30 Synaptics Incorporated Fingerprint sensing circuit
US8716613B2 (en) 2010-03-02 2014-05-06 Synaptics Incoporated Apparatus and method for electrostatic discharge protection
US9001040B2 (en) 2010-06-02 2015-04-07 Synaptics Incorporated Integrated fingerprint sensor and navigation device
US8331096B2 (en) * 2010-08-20 2012-12-11 Validity Sensors, Inc. Fingerprint acquisition expansion card apparatus
US8594393B2 (en) 2011-01-26 2013-11-26 Validity Sensors System for and method of image reconstruction with dual line scanner using line counts
US8538097B2 (en) 2011-01-26 2013-09-17 Validity Sensors, Inc. User input utilizing dual line scanner apparatus and method
GB2489100A (en) 2011-03-16 2012-09-19 Validity Sensors Inc Wafer-level packaging for a fingerprint sensor
US20130026340A1 (en) * 2011-07-28 2013-01-31 Sanyo Electric Co., Ltd. Electronic device employing a button pad
TWI422926B (zh) * 2011-11-01 2014-01-11 Wistron Corp 可攜式電子裝置、平面顯示裝置及背光模組
US9195877B2 (en) 2011-12-23 2015-11-24 Synaptics Incorporated Methods and devices for capacitive image sensing
US9251329B2 (en) 2012-03-27 2016-02-02 Synaptics Incorporated Button depress wakeup and wakeup strategy
US9137438B2 (en) 2012-03-27 2015-09-15 Synaptics Incorporated Biometric object sensor and method
US9600709B2 (en) 2012-03-28 2017-03-21 Synaptics Incorporated Methods and systems for enrolling biometric data
US9665762B2 (en) 2013-01-11 2017-05-30 Synaptics Incorporated Tiered wakeup strategy
US9798372B2 (en) 2013-06-03 2017-10-24 Qualcomm Incorporated Devices and methods of sensing combined ultrasonic and infrared signal
CN103699885A (zh) * 2013-12-18 2014-04-02 格科微电子(上海)有限公司 光学指纹采集方法、光学指纹采集装置及便携式电子装置
CN103955679B (zh) * 2014-05-19 2017-12-15 上海天马微电子有限公司 彩膜基板、阵列基板和显示装置
TWI534717B (zh) * 2014-05-30 2016-05-21 正崴精密工業股份有限公司 指紋感測器
CN105304656B (zh) * 2014-06-23 2018-06-22 上海箩箕技术有限公司 光电传感器
CN104051366B (zh) * 2014-07-01 2017-06-20 苏州晶方半导体科技股份有限公司 指纹识别芯片封装结构和封装方法
USD776664S1 (en) * 2015-05-20 2017-01-17 Chaya Coleena Hendrick Smart card
US10614281B2 (en) 2015-09-15 2020-04-07 Shanghai Oxi Technology Co., Ltd Optical fingerprint imaging system and array sensor
US11419231B1 (en) 2016-09-22 2022-08-16 Apple Inc. Forming glass covers for electronic devices
US11565506B2 (en) 2016-09-23 2023-01-31 Apple Inc. Thermoformed cover glass for an electronic device
US11535551B2 (en) 2016-09-23 2022-12-27 Apple Inc. Thermoformed cover glass for an electronic device
US10800141B2 (en) 2016-09-23 2020-10-13 Apple Inc. Electronic device having a glass component with crack hindering internal stress regions
EP3570079A4 (en) * 2017-01-11 2020-02-12 Toppan Printing Co., Ltd. COLORING STRUCTURE, DISPLAY BODY, COLORING SHEET, MOLDED ELEMENT, AND METHOD FOR MANUFACTURING COLORING STRUCTURE
JP6980259B2 (ja) * 2017-09-25 2021-12-15 下西技研工業株式会社 ヒンジおよびヒンジのモニタリング方法
CN109074488B (zh) * 2018-07-04 2022-07-08 深圳市汇顶科技股份有限公司 指纹模组和电子设备
CN109145849A (zh) * 2018-08-30 2019-01-04 维沃移动通信有限公司 一种用于终端设备的指纹成像方法及装置
US11420900B2 (en) 2018-09-26 2022-08-23 Apple Inc. Localized control of bulk material properties
US11680010B2 (en) 2019-07-09 2023-06-20 Apple Inc. Evaluation of transparent components for electronic devices
CN112416056B (zh) * 2019-08-23 2023-04-11 英业达科技有限公司 具有旋转摄像结构的显示器
US11460892B2 (en) * 2020-03-28 2022-10-04 Apple Inc. Glass cover member for an electronic device enclosure
CN113453458B (zh) 2020-03-28 2023-01-31 苹果公司 用于电子设备壳体的玻璃覆盖构件
US11079797B1 (en) * 2020-05-14 2021-08-03 Apple Inc. Electronic devices with adjustable display windows
US11666273B2 (en) 2020-05-20 2023-06-06 Apple Inc. Electronic device enclosure including a glass ceramic region
CN116783152A (zh) 2020-12-23 2023-09-19 苹果公司 用于电子设备的透明部件的基于激光的切割

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5874993A (en) * 1995-04-21 1999-02-23 Eastman Kodak Company Solid state image sensor with selectable resolution
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone
JP3658227B2 (ja) * 1999-01-20 2005-06-08 シャープ株式会社 画像読取装置
JP2001142606A (ja) 1999-11-15 2001-05-25 Mitsubishi Electric Corp 携帯型電子機器
US20030016848A1 (en) * 2000-03-08 2003-01-23 Hideki Kitajima Image reader
US6898301B2 (en) * 2000-07-10 2005-05-24 Casio Computer Co., Ltd. Authentication system based on fingerprint and electronic device employed for the system

Also Published As

Publication number Publication date
JP2003108982A (ja) 2003-04-11
US20030062490A1 (en) 2003-04-03
CN1184588C (zh) 2005-01-12
CN1410940A (zh) 2003-04-16
US7408135B2 (en) 2008-08-05

Similar Documents

Publication Publication Date Title
JP4438265B2 (ja) 画像入力装置及びそれを内蔵した電子機器
JP4542430B2 (ja) 指紋認識素子を内装した一体型液晶表示装置、及びこれの製造方法
KR101495918B1 (ko) 디스플레이 장치
JP5771262B2 (ja) 表示装置
JP4253826B2 (ja) 画像読取装置
US8269748B2 (en) Display and electronic apparatus
KR101543353B1 (ko) 표시 장치
CN209765529U (zh) 指纹识别装置和电子设备
JP2009128686A (ja) 表示装置および電子機器
TW201128491A (en) Method for driving touch panel
JP2009139597A (ja) 表示装置
KR20020064290A (ko) 이미지 감지 디스플레이 디바이스
JP2006330578A (ja) 液晶表示装置
JP5796091B2 (ja) 情報表示装置
JPH10333605A (ja) 表示装置
CN110770747A (zh) 指纹识别装置和电子设备
JP2009063803A (ja) 表示装置
JP2023532612A (ja) テクスチャ認識装置及び対向基板
JP2975528B2 (ja) 表示一体型の液晶画像読取装置
CN114815364B (zh) 显示屏及显示屏的制作方法、终端
JP3259434B2 (ja) 画像入力装置及び画像入出力装置
JP5256705B2 (ja) 電気光学装置及び電子機器
WO2014068976A1 (ja) 撮像装置
JP2002116429A (ja) 位置検出機能つき液晶表示装置
JP2011081390A (ja) 表示装置および電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061211

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091228

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees