JPWO2019167425A1 - 電子デバイス - Google Patents

電子デバイス Download PDF

Info

Publication number
JPWO2019167425A1
JPWO2019167425A1 JP2020502833A JP2020502833A JPWO2019167425A1 JP WO2019167425 A1 JPWO2019167425 A1 JP WO2019167425A1 JP 2020502833 A JP2020502833 A JP 2020502833A JP 2020502833 A JP2020502833 A JP 2020502833A JP WO2019167425 A1 JPWO2019167425 A1 JP WO2019167425A1
Authority
JP
Japan
Prior art keywords
electronic device
light emitting
unit
transparent
transparent panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020502833A
Other languages
English (en)
Other versions
JP7173123B2 (ja
Inventor
直子 小林
直子 小林
鎌田　恭則
恭則 鎌田
茂井　博之
博之 茂井
天野　徹
徹 天野
太志 竹内
太志 竹内
俊夫 榎戸
俊夫 榎戸
裕亮 佐藤
裕亮 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019167425A1 publication Critical patent/JPWO2019167425A1/ja
Application granted granted Critical
Publication of JP7173123B2 publication Critical patent/JP7173123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0028—Light guide, e.g. taper
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/003—Lens or lenticular sheet or layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04112—Electrode mesh in capacitive digitiser: electrode for touch sensing is formed of a mesh of very fine, normally metallic, interconnected lines that are almost invisible to see. This provides a quite large but transparent electrode surface, without need for ITO or similar transparent conductive material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K2102/00—Constructional details relating to the organic devices covered by this subclass
    • H10K2102/301—Details of OLEDs
    • H10K2102/302—Details of OLEDs of OLED structures
    • H10K2102/3023—Direction of light emission
    • H10K2102/3031—Two-side emission, e.g. transparent OLEDs [TOLED]

Abstract

本開示の電子デバイスは、複数の透明発光素子が配置された透明パネル部と、透明パネル部の一部の領域の下に配置され、透明パネル部における一部の領域に接触または近接した物体を透明パネル部を介して撮像する撮像部とを備える。

Description

本開示は、撮像機能を有する電子デバイスに関する。
生体に固有な情報である生体情報を利用した個人認証を行う装置が開発されている（特許文献１参照）。生体認証を行う装置としては、例えば、指の表面を撮像することによって指紋認証を行う指紋センサデバイスがある。一方、近年では、例えばリストバンド型の小型の電子デバイスが開発されている。
特開２０１７−１９６３１９号公報
小型の電子デバイスでは、表示機能や撮像機能等、複数の機能を実装することへの要求があるが、表面積が限られているため、所望の機能を実装することが困難となる場合がある。また、指紋認証機能を実装する場合、小型の電子デバイスでは、指紋センサデバイスにとって最適な位置に指を導くことが困難となる場合がある。
複数の機能を小型で実現し得る電子デバイスを提供することが望ましい。
本開示の一実施の形態に係る電子デバイスは、複数の透明発光素子が配置された透明パネル部と、透明パネル部の一部の領域の下に配置され、透明パネル部における一部の領域に接触または近接した物体を透明パネル部を介して撮像する撮像部とを備えるものである。
本開示の一実施の形態に係る電子デバイスでは、透明パネル部の一部の領域の下に配置された撮像部によって、透明パネル部における一部の領域に接触または近接した物体が撮像される。
本開示の第１の実施の形態に係る電子デバイスの一構成例を概略的に示す外観図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の表示例を示す説明図である。 第１の実施の形態に係る電子デバイスの要部構造を示す構成図である。 第１の実施の形態に係る電子デバイスの要部構造を示す断面図である。 第１の実施の形態に係る電子デバイスにおける撮像部の詳細構成例を示す分解斜視図である。 第１の実施の形態に係る電子デバイスにおける撮像部のマイクロレンズによる撮像領域の一例を示す断面図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の構造と撮像部のマイクロレンズの配置位置と関係の一例を示す平面図である。 第１の実施の形態に係る電子デバイスにおける撮像部の撮像素子上に形成される物体像を模式的に示す平面図である。 第１の実施の形態に係る電子デバイスにおける撮像部による撮像画像と撮像画像に基づく合成処理後画像の一例を示す説明図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の構造と撮像部のマイクロレンズの配置位置との第１の変形例を示す平面図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の構造と撮像部のマイクロレンズの配置位置との関係の第２の変形例と、撮像時の透明パネル部の発光状態の一例を示す平面図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の構造と撮像部のマイクロレンズの配置位置との関係の第３の変形例と、撮像時の透明パネル部の発光状態の一例を示す平面図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部の配線構造の一例を示す平面図である。 第１の実施の形態に係る電子デバイスにおける透明パネル部における配線を用いたタッチセンサ機能の実装例を示す平面図である。 第１の実施の形態に係る電子デバイスの制御系の構成例を示すブロック図である。 第１の実施の形態に係る電子デバイスにおけるタッチ状態の判定閾値の概要を示す説明図である。 第１の実施の形態に係る電子デバイスにおけるタッチ状態の判定閾値を算出する処理の概要を示す流れ図である。 第１の実施の形態に係る電子デバイスにおけるタッチセンサ上でのユーザの操作の一例を示す説明図である。 第１の実施の形態に係る電子デバイスにおけるタッチセンサで検出される静電容量の値の時間変化の第１の例を示す特性図である。 第１の実施の形態に係る電子デバイスにおけるタッチセンサで検出される静電容量の値の時間変化の第２の例を示す特性図である。 第１の実施の形態に係る電子デバイスにおけるタッチセンサの動作間隔を補正する処理の概要を示す流れ図である。 第１の実施の形態に係る電子デバイスにおけるユーザの操作速度に関するデータベースの一例を示す説明図である。 第２の実施の形態に係る電子デバイスの要部構造を示す構成図である。 第２の実施の形態に係る電子デバイスの要部構造を示す断面図である。 第３の実施の形態に係る電子デバイスの要部構造を示す構成図である。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（図１〜図２２）
１．１ 電子デバイスの概要
１．２ タッチセンサのキャリブレーション
１．２．１ 電子デバイスの制御系の構成例
１．２．２ タッチ状態の判定閾値のキャリブレーション
１．２．３ タッチセンサの動作間隔のキャリブレーション
１．３ 効果
２．第２の実施の形態（図２３〜図２４）
３．第３の実施の形態（図２５）
４．その他の実施の形態
＜１．第１の実施の形態＞
［１．１ 電子デバイスの概要］
本開示の技術による電子デバイスは、各種の情報端末等に適用可能であるが、本実施の形態では、一例として、本開示の技術をリストバンド型の電子デバイスに適用した例を説明する。
（電子デバイス１の全体構成）
図１は、本開示の第１の実施の形態に係る電子デバイス１の一構成例を概略的に示している。
電子デバイス１は、リング状のリストバンド本体２と、リストバンド本体２の一部に設けられた透明パネル部１０および撮像部２０と、透明パネル部１０の上面に設けられたカバーガラス３とを備えている。カバーガラス３および透明パネル部１０のパネル部有効領域１１は、全体として透明であってもよい。
透明パネル部１０は、後述する図７に示すようにマトリクス状に配置された複数の透明発光素子１６と、複数の透明発光素子１６のそれぞれに接続された発光素子用の複数の配線と、複数の透明発光素子１６間を隔てる格子状の構造物７０とを有している。透明発光素子１６は、例えば透明有機ＥＬ（Electro Luminescence）素子（透明ＯＬＥＤ（Organic Light Emitting Diode））で構成されている。または、透明発光素子１６が量子ドット発光素子であってもよい。
透明パネル部１０は、複数の透明発光素子１６の発光によって、パネル部有効領域１１に画像を表示する表示パネルとしての機能を有している。また、透明パネル部１０は、例えば発光素子用の複数の配線間の静電容量の値に基づいて指等の物体によるタッチ状態を検出するタッチセンサとしての機能を有している。
撮像部２０は、透明パネル部１０の一部の領域の下に配置されている。撮像部２０は、透明パネル部１０における一部の領域に接触または近接した物体を透明パネル部１０を介して撮像する機能を有している。撮像部２０によって撮像する物体は、例えば生体の一部であってもよい。撮像部２０は、生体の一部を撮像することによって得られた生体の一部の撮像画像に基づいて、生体の一部の生体認証を行う生体認証デバイスの機能を有していてもよい。撮像部２０における生体認証デバイスとしての機能によって、例えば指紋センサを構成することができる。
図２は、電子デバイス１における透明パネル部１０の表示例を示している。
透明パネル部１０は、例えば図２に示したように各種の情報表示を行うパネル部有効領域１１を有している。各種の情報表示は、各種の図形や各種の文字情報であってもよい。透明パネル部１０は、例えば図２に示したように、撮像部２０を指紋センサとして利用する場合に「本人認証」を行うことを示すメッセージや、撮像部２０に相当する位置に指を載置することを促す情報表示等を表示する。
（電子デバイス１の要部構造）
図３および図４は、電子デバイス１の要部構造を示している。図３は、電子デバイス１を上側（撮像される物体側）から見た透明パネル部１０付近の構造を示している。図４は、図１、および図３におけるＡ−Ａ線部分の断面に相当する。図５は、撮像部２０の詳細構成例を示している。
透明パネル部１０は、図３および図４に示したように、パネル部有効領域１１と、パネル部外枠１２と、パネルドライバ１３とを有している。電子デバイス１は、透明パネル部１０に接続されたタッチ判定部１４および発光制御部１５、をさらに備えている。
パネル部有効領域１１内には、後述する図７に示すようにマトリクス状に配置された複数の透明発光素子１６が配置されている。
タッチ判定部１４は、透明パネル部１０をタッチセンサとして使用する場合において、タッチの状態を判定する。発光制御部１５は、パネルドライバ１３を介して複数の透明発光素子１６の発光制御を行う。
撮像部２０は、図３および図４に示したように、マイクロレンズアレイモジュール２１と、撮像部外枠２２と、撮像素子３０と、基板３１とを有している。マイクロレンズアレイモジュール２１は、上側から見て透明パネル部１０のパネル部有効領域１１内に配置されている。電子デバイス１は、撮像素子３０に接続された撮像処理部３２と、撮像処理部３２に接続された認証処理部３３とを、さらに備えている。
撮像素子３０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成されている。撮像素子３０は、基板３１上に配置されている。
撮像処理部３２は、撮像素子３０によって得られた撮像画像に対して所定の画像処理を行う。認証処理部３３は、撮像処理部３２による画像処理後の撮像画像に基づいて生体認証を行う。認証処理部３３は、例えば、撮像部２０を指紋センサとして使用した場合において、指紋認証の処理を行う。認証処理部３３は、指紋認証の処理として、例えば指紋パターンの認証を行う。指紋パターンの認証の際には、例えば指紋の特徴量として、マニューシャ（指紋の端点や分岐点）を用いてもよい。また、認証処理部３３は、生体認証として、指紋ではなく、汗腺または静脈等の特徴量の認証を行ってもよい。また、指紋、汗腺および静脈等の複数の特徴量のうち、２つ以上の特徴量を組み合わせた認証を行ってもよい。
マイクロレンズアレイモジュール２１は、図４および図５に示したように、撮像素子３０と透明パネル部１０のパネル部有効領域１１との間に配置されている。マイクロレンズアレイモジュール２１は、上側から順に、カバーガラス兼導光板６０と、マイクロレンズアレイ５０と、導光板４０とを有している。
マイクロレンズアレイ５０は、図５に示したように、マトリクス状に配置された複数のマイクロレンズ５１を有している。マイクロレンズアレイ５０は、複数のマイクロレンズ５１のそれぞれによって指等の物体からの物体光を撮像素子３０に向けて集光する。
カバーガラス兼導光板６０は、マイクロレンズアレイ５０の表面を保護する役割を持つ。また、カバーガラス兼導光板６０は、透明パネル部１０のパネル部有効領域１１を透過した物体光を、複数のマイクロレンズ５１のそれぞれに導く役割を持つ。カバーガラス兼導光板６０は、複数のマイクロレンズ５１のそれぞれに対応する位置に設けられた複数の導光路を有している。
導光板４０は、図４および図５に示したように、複数の導光路４１を有している。複数の導光路４１は、複数のマイクロレンズ５１のそれぞれに対応する位置に設けられ、複数のマイクロレンズ５１のそれぞれによって集光された光を撮像素子３０に導くようになっている。
図６は、撮像部２０のマイクロレンズ５１による撮像領域の一例を示している。図７は、透明パネル部１０の構造と撮像部２０のマイクロレンズ５１の配置位置との関係の一例を示している。図８は、撮像部２０の撮像素子３０上に形成される物体像３４を模式的に示している。図９は、撮像部２０による撮像画像３５と撮像画像３５に基づく合成処理後画像３６の一例を示している。
透明パネル部１０は、図７に示したように、マトリクス状に配置された複数の透明発光素子１６のそれぞれに接続された発光素子用の複数の配線と複数の透明発光素子１６間を隔てる格子状の構造物７０とを有している。撮像部２０において、複数のマイクロレンズ５１は、撮像画像に格子状の構造物７０が映り込まないよう、上側（物体側）から見て格子状の構造物７０に重ならないように配置されていることが望ましい。複数のマイクロレンズ５１は、配置ピッチｐ２が、複数の透明発光素子１６の配置ピッチｐ１と略同じとなるように配置されていてもよい。
撮像部２０の撮像素子３０上には、図８に示したように、複数のマイクロレンズ５１の配置ピッチｐ２に応じた複数の部分像が物体像３４として形成される。このため、図９に示したように、撮像画像３５としては、複数の部分画像が形成される。撮像処理部３２では、図９に示したように、撮像画像３５における複数の部分画像を合成処理して合成処理後画像３６を生成する。これにより、物体の全体画像を生成する。
撮像部２０は、撮像対象の物体（指９０）に対する、隣り合う複数のマイクロレンズ５１同士の撮像領域（光の取り込み範囲）が、図６に示したように、部分的に重なり合うように構成されていることが好ましい。これにより、撮像画像３５としては、周辺部が部分的に重複する複数の部分画像が形成されるので、図９に示したように合成処理する場合に、繋ぎ目の目立たないシームレスな全体画像を生成することができる。
図１０は、透明パネル部１０の構造と撮像部２０のマイクロレンズ５１の配置位置との第１の変形例を示している。
図７に示したように、複数のマイクロレンズ５１は、撮像画像に格子状の構造物７０が映り込まないよう、上側（物体側）から見て格子状の構造物７０に重ならないように配置されていることが望ましい。しかしながら、製造上の位置ずれ等により、図１０に示したように、上側（物体側）から見てマイクロレンズ５１が格子状の構造物７０に重なってしまい、撮像画像に格子状の構造物７０が映り込んでしまう場合があり得る。この場合、撮像処理部３２において、映り込んだ格子状の構造物７０の像を消去するような画像処理を行うことが望ましい。これにより、認証処理部３３における生体認証の精度を向上させることができる。ただし、映り込んだ格子状の構造物７０の像を消去するような画像処理を行うことなく、格子状の構造物７０の像が映り込んだままの撮像画像に基づいて生体認証の処理を行うようにしてもよい。この場合、例えば格子状の構造物７０の像が映り込んだままの撮像画像に対して、統計的な手法を用いた生体認証の処理を行うことによって、生体認証の精度を向上させることができる。この場合、統計的な生体認証の処理に用いるデータを、外部のサーバ等に格納されたデータベース等から取得してもよい。
（撮像時の照明について）
撮像部２０による撮像を行う際には、透明パネル部１０を部分的に発光させることで、撮像用の照明光として利用してもよい。物体側（上側）から見て、透明発光素子１６とマイクロレンズ５１とが、図７のように配置されている場合、透明パネル部１０は、撮像部２０による撮像を行う際に、撮像部２０に対応する一部の領域に配置された複数の透明発光素子１６のうち、物体側から見て、少なくとも撮像に用いられるマイクロレンズ１６が配置された位置とは異なる位置に配置された透明発光素子１６を照明用に発光させる。
図１１は、透明パネル部１０の構造と撮像部２０のマイクロレンズ５１の配置位置との関係の第２の変形例を示している。また、図１１は、撮像時の透明パネル部１１の発光状態の一例を示している。
複数のマイクロレンズ５１は、配置ピッチｐ２が、複数の透明発光素子１６の配置ピッチｐ１よりも大きくなるように配置されていてもよい。図１１では、複数のマイクロレンズ５１は、配置ピッチｐ２が、複数の透明発光素子１６の配置ピッチｐ１に対して２倍となるように配置されている。ただし、複数のマイクロレンズ５１の配置ピッチｐ２が、複数の透明発光素子１６の配置ピッチｐ１に対して２倍より大きい整数倍となるように配置されていてもよい。この場合、透明パネル部１０は、撮像部２０による撮像を行う際に、撮像部２０に対応する一部の領域に配置された複数の透明発光素子１６のうち、物体側から見て、少なくとも撮像に用いられるマイクロレンズ１６が配置された位置とは異なる位置に配置された透明発光素子１６を照明用に発光させるようにしてもよい。
図１２は、透明パネル部１０の構造と撮像部２０のマイクロレンズ５１の配置位置との関係の第３の変形例を示している。また、図１２は、撮像時の透明パネル部１１の発光状態の一例を示している。
透明パネル部１０には、物体側から見て、図１２に示したように、複数のマイクロレンズ１６が配置された領域よりも外側の領域に、照明用のセグメント構造の透明発光素子１７が配置されていてもよい。この場合、透明パネル部１０は、撮像部２０による撮像を行う際に、複数のマイクロレンズ１６のうち少なくとも撮像に用いられるマイクロレンズ１６とは異なる位置にある照明用のセグメント構造の透明発光素子１７を発光させるようにしてもよい。
（タッチセンサの構成例）
図１３は、透明パネル部１０の配線構造の一例を示している。図１４は、透明パネル部１０における配線を用いたタッチセンサ機能の実装例を示している。
図１３に示したように、透明パネル部１０は、発光素子用の複数の配線として、例えば、共通の駆動信号が供給される複数のコモンライン７１と、それぞれに個別の駆動信号が供給される複数のセグメントライン７２とを有している。
複数のコモンライン７１は、それぞれが第１の方向に延在すると共に第１の方向に交差する第２の方向に配列され、それぞれが第１の方向において複数の透明発光素子１６に接続されている。なお、図１３において、第１の方向は横方向（左右方向、Ｘ方向に平行な方向）、第２の方向は縦方向（上下方向、Ｙ方向に平行な方向）である。
複数のセグメントライン７２は、それぞれが第２の方向に延在すると共に第１の方向に配列され、それぞれが第２の方向において複数の透明発光素子１６に接続されている。複数のセグメントライン７２の一端または他端は、横方向に交互に右上側または右下側に延在するように引き出されている。
このような配線構造において、例えば、複数のセグメントライン７２を左右に略２分割し、略２分割した左側の複数のセグメントライン７２の一方の端部側に第１の電極部（ＰＡＤ１）を接続してもよい。また、略２分割した右側の複数のコモンライン７１の一方の端部側に第２の電極部（ＰＡＤ２）を接続してもよい。
また、例えば、例えば複数のコモンライン７１を上下に略２分割し、略２分割した上側の複数のコモンライン７１の一方の端部側に第３の電極部（ＰＡＤ３）を接続してもよい。また、略２分割した下側の複数のコモンライン７１の一方の端部側に第４の電極部（ＰＡＤ４）を接続してもよい。
これにより、図１４に示したように、横方向に２つ、縦方向に２つ、上下左右に合計４つ（４チャンネル）のセンサ領域を形成することができる。すなわち、第１の電極部（ＰＡＤ１）および第３の電極部（ＰＡＤ３）によるセンサ領域と、第１の電極部（ＰＡＤ１）および第４の電極部（ＰＡＤ４）によるセンサ領域と、第２の電極部（ＰＡＤ２）および第３の電極部（ＰＡＤ３）によるセンサ領域と、第２の電極部（ＰＡＤ２）および第４の電極部（ＰＡＤ４）によるセンサ領域とを形成することができる。
コモンライン７１は、本開示における「第１の配線」の一具体例に相当する。セグメントライン７２は、本開示における「第２の配線」の一具体例に相当する。タッチ判定部１４は、複数の第１の配線のうちの少なくとも１つの配線と複数の第２の配線のうちの少なくとも１つの配線との間の静電容量の値に基づいて、透明パネル部１０におけるタッチの状態を判定することができる。例えば、図１４の例では、第１の電極部（ＰＡＤ１）に対応する複数のセグメントライン７２と第３の電極部（ＰＡＤ３）に対応する複数のコモンライン７１との間の静電容量の値に基づいて、上下左右の４つのセンサ領域のうち、左上側のセンサ領域におけるタッチの状態を判定することができる。
なお、センサ領域の分割数は、４つに限らず、３つ以下、または５つ以上の分割数であってもよい。また、センサ領域を分割する方向は、２方向に限らず、１方向のみであってもよい。例えば、後述する図１８に示すように、横方向に４つ（４チャンネル）のセンサ領域を有する構造であってもよい。また、以上の説明では、複数のコモンライン７１、および複数のセグメントライン７２が、発光素子用の配線とタッチ検出用の配線とを兼ねる場合を例に説明したが、複数のコモンライン７１、および複数のセグメントライン７２を、発光素子用の配線とは別のタッチ検出用の配線として設けるようにしてもよい。この場合、単一の透明パネル部１０の内部に、発光素子用の複数の配線とタッチ検出用の複数の配線とを設けるようにしてもよいし、透明パネル部１０を発光素子用の複数の配線を有する発光用（表示用）のパネルと、タッチ検出用の複数の配線を有するタッチ検出用のパネルとを重ねた構造にしてもよい。
［１．２ タッチセンサのキャリブレーション］
次に、電子デバイス１におけるタッチセンサ（透明パネル部１０）のキャリブレーションについて説明する。透明パネル部１０をタッチセンサとして使用する場合において、良好なセンシングを行うために、タッチ状態の判定閾値のキャリブレーション（補正）、およびタッチセンサの動作間隔のキャリブレーションを行うことが望ましい。
［１．２．１ 電子デバイスの制御系の構成例］
図１５は、タッチセンサのキャリブレーションを行うための電子デバイス１の制御系の構成例を示している。
電子デバイス１は、タッチセンサとしての透明パネル部１０と、指紋センサとしての撮像部２０と、ＣＰＵ（Central Processing Unit）１１０と、記憶部１１３と、通信部１１４とを備えている。
ＣＰＵ１１０は、制御部１１１としての機能と、判定部１１２としての機能とを有している。ただし、制御部１１１の機能と判定部１１２の機能は、ＣＰＵ１１０が実行するプログラム（ソフトウェア）として実現してもよいし、透明パネル部１０および撮像部２０の少なくとも一方に内蔵された機能として実現してもよい。
また、ＣＰＵ１１０は、上述のタッチ判定部１４、および発光制御部１５（図３）の機能と、撮像処理部３２、および認証処理部３３の機能とを有していてもよい。判定部１１２は、タッチ判定部１４の機能を含んでいてもよい。
通信部１１４は、無線または有線のネットワークを介してサーバ１１５との間でのデータ通信を行う。
以下、図１５に示した制御系の構成を用いて、タッチ検出の制御パラメータを制御する方法を説明する。タッチ検出の制御パラメータとしては、例えば、タッチ状態の判定閾値やタッチセンサの動作間隔がある。以下では、制御パラメータの制御の一例として、タッチ状態の判定閾値のキャリブレーション、およびタッチセンサの動作間隔のキャリブレーションを実現するための方法を説明する。
［１．２．２ タッチ状態の判定閾値のキャリブレーション］
まず、撮像部２０の指紋センサとしての機能を利用して、タッチ状態の判定閾値のキャリブレーションを行う方法について説明する。
タッチセンサで観測される静電容量は、タッチしたときに触れている面積が大きいほど大きな値が観測される。またタッチセンサで観測される静電容量は、触れる人や環境により値が変化することがある。このような人によるバラつきや環境によるバラつきの影響を無くして精度よくタッチ状態を判定するためには、適切な補正（キャリブレーション）が必要となる。
図１６は、電子デバイス１におけるタッチ状態の判定閾値の概要を示している。図１６では、指紋センサとタッチセンサとを組み合わせることで、タッチ状態判定のための閾値を決定する方法を示している。図１６の上側は、タッチセンサで観測される静電容量（縦軸）と、指９０とタッチセンサのセンサ表面９１との距離（横軸）との関係を示している。図１６の下側は、指９０とタッチセンサのセンサ表面９１との距離に対応した指紋センサの撮影画像を示している。
図１６で示したように、指紋センサで撮影された指紋画像のサイズ（面積）とタッチセンサで観測された静電容量の値との関係から、タッチの有無（閾値Ａ）やタッチの強さ（閾値Ｂ）を判定する静電容量の値の閾値を決定することができる。
図１５に示した制御系の構成において、判定部１１２は、少なくとも１つの判定閾値に基づいて、タッチセンサにおけるタッチの状態を判定する。また、判定部１１２は、タッチの状態として、少なくとも、タッチの有無とタッチの強度とを判定する。
制御部１１１は、タッチセンサにおける静電容量の値と、撮像部２０によって撮像された物体の撮像画像（指紋センサで撮影された指紋画像）とに基づいて、少なくとも１つの判定閾値を算出する判定閾値演算部としての機能を有している。判定閾値演算部は、少なくとも１つの判定閾値として、少なくとも、タッチの有無の判定に用いられる第１の判定閾値（図１６の閾値Ａ）と、タッチの強度の判定に用いられる第２の判定閾値（図１６の閾値Ｂ）とを算出する。
なお、タッチ状態の判定閾値のキャリブレーションを行うための制御部１１１および判定部１１２の機能の一部または全部を、透明パネル部１０および撮像部２０の少なくとも一方に内蔵された機能として実現してもよい。
算出された判定閾値などのパラメータ情報は、記憶部１１３に格納してもよいし、通信部１１４によってサーバ１２０に格納してもよい。
図１７は、電子デバイス１におけるタッチ状態の判定閾値を算出する処理の概要を示している。
電子デバイス１では、タッチセンサで静電容量の値を取得し（ステップＳ１０１）、同時に指紋センサで指紋画像を撮影する（ステップＳ１０２）。
次に、電子デバイス１は、撮影画像のパターンを判定する（ステップＳ１０３）。これにより、撮影した指９０の画像サイズよりタッチの状態を推測する。例えば、電子デバイス１は、ステップＳ１０３において、「指紋画像無し」と判定した場合には、タッチしていない状態と判定する（ステップＳ１０４）。また、電子デバイス１は、ステップＳ１０３において、「指紋画像のサイズ小」と判定した場合には、軽いタッチの状態と判定する（ステップＳ１０５）。また、電子デバイス１は、ステップＳ１０３において、「指紋画像のサイズ大」と判定した場合には、強いタッチの状態と判定する（ステップＳ１０６）。
次に、電子デバイス１は、タッチ状態の判定閾値を決定するのに必要なデータが取得できたか否かを判定する（ステップＳ１０７）。電子デバイス１は、必要なデータが取得できていないと判定した場合（ステップＳ１０７；Ｎ）には、ステップＳ１０１の処理に戻る。
以上のようにして必要なデータを取得する処理を繰り返すことによって、必要なデータが取得できたと判定した場合（ステップＳ１０７；Ｙ）には、電子デバイス１は、次に、タッチセンサの静電容量の値とタッチの状態との関係性のデータに基づいて、タッチ状態の判定閾値を演算（ステップＳ１０８）し、処理を終了する。
以上のタッチ状態の判定閾値を決定する処理は、例えばユーザが指紋認証をする際の指９０をタッチセンサに近づける過程で指９０とタッチセンサの距離とタッチセンサの静電容量の値との関係を連続的に繰り返し取得することで実現できる。
［１．２．３ タッチセンサの動作間隔のキャリブレーション］
ここでは、撮像部２０の指紋センサとしての機能を利用して、タッチセンサの動作間隔のキャリブレーションを行う方法について説明する。
タッチセンサでの操作において、指９０の移動速度やタッチ時に触れる時間は、ユーザ毎にバラつきがある。特に速い操作に対してはタッチ検出の動作間隔が長いとデータの取りこぼしが発生し誤動作を招く。
まず、データの取りこぼし発生の様子を説明する。ここでは、タッチセンサのセンサｃｈ（チャンネル）が、ｃｈ１，ｃｈ２，ｃｈ３，ｃｈ４の４つあるものとして説明する。
図１８は、電子デバイス１におけるタッチセンサ上でのユーザの操作の一例を示している。図１９は、電子デバイス１におけるタッチセンサで検出される静電容量の値の時間変化の第１の例を示している。図２０は、電子デバイス１におけるタッチセンサで検出される静電容量の値の時間変化の第２の例を示している。
図１８のように、４ｃｈのタッチセンサ上で指９０を横にスライドさせたとする。このときタッチセンサで検出される静電容量の値の時間変化の一例を図１９、および図２０に示す。図１９は、タッチセンサの動作間隔が８ｍｓｅｃのときのグラフであり、指９０の移動と共に各ｃｈでの静電容量の値のピークが順次移動している様子が確認できる。
一方、図２０は、タッチセンサの動作間隔が３０ｍｓｅｃのときのグラフである。動作間隔が３０ｍｓｅｃの場合、センサチャンネルｃｈ３のピークが確認できなくなっている。これは、タッチセンサの動作間隔が長く時間解像度が低いため、指９０がセンサチャンネルｃｈ３を通過したときにデータを取りこぼしてしまったため発生する。
データの取りこぼしは、タッチセンサの動作間隔を短くすることで防げるが、消費電力が上がってしまう。そのためデータの取りこぼしが発生しないように操作速度に最適な動作間隔を設定することが望ましい。
そこで、指紋センサとタッチセンサとを組み合わせ、指紋センサでユーザを特定し、そのユーザの操作履歴（操作の速度の統計データ）に基づいて、最適なタッチセンサの動作間隔を求める方法を説明する。
図１５に示した制御系の構成において、制御部１１１は、認証処理部３３（図３）の認証結果に基づいて、タッチセンサにおけるタッチ検出の動作間隔を制御する。
制御部１１１は、認証処理部３３（図３）による生体認証の対象となる複数のユーザと、複数のユーザのそれぞれによるタッチセンサにおけるタッチの操作速度の統計量とを関連付けた操作速度に関するデータベースに基づいて、認証処理部３３によって認証されたユーザのタッチの操作速度の統計量を取得する。制御部１１１は、取得したタッチの操作速度の統計量に基づいて、認証されたユーザに最適化されたタッチ検出の動作間隔を算出する。
操作速度を含むユーザ毎のパラメータ情報や、操作速度に関するデータベースは記憶部１１３に格納されていてもよいし、通信部１１４によってサーバ１２０から取得してもよい。
なお、タッチセンサの動作間隔のキャリブレーションを行うための制御部１１１の機能の一部または全部を、透明パネル部１０および撮像部２０の少なくとも一方に内蔵された機能として実現してもよい。
図２１は、電子デバイス１におけるタッチセンサの動作間隔を補正する処理の概要を示している。
電子デバイス１は、まず、指紋認証を行い（ステップＳ２０１）、ユーザの指紋パターンを特定する（ステップＳ２０２）。次に、電子デバイス１は、特定した指紋パターンに対応する操作速度に関する統計量をデータベースから読み出して取得する（ステップＳ２０３，Ｓ２０４，Ｓ２０５）。なお、図２１では、説明上、指紋パターンをパターンＡ，Ｂ，Ｃの３つから選択する場合の動作例を示しているが、選択対象の指紋パターンの数は３つに限定されず、任意の数であってもよい。次に、電子デバイス１は、取得した統計量に基づいて、ユーザにとって最適なタッチセンサの動作間隔を演算する（ステップＳ２０６）。次に、電子デバイス１は、タッチセンサの動作間隔を演算した値に変更（ステップＳ２０７）して、処理を終了する。
図２２は、ユーザの操作履歴から作成した、電子デバイス１におけるユーザの操作速度に関する統計量のデータベースの一例を示している。図２２には、タッチセンサの動作間隔を演算するための操作速度のパラメータの一例として、指９０を横に移動させる速度を示すスライド速度と、指９０をタッチして離すまでの速度を示すタッチ速度とを挙げている。
なお、図２２には、指紋パターンがパターンＡ，Ｂ，Ｃの３つである場合の例を示しているが、データベースに登録される指紋パターンの数は３つに限定されず、任意の数であってよい。
［１．３ 効果］
以上のように、本実施の形態によれば、透明パネル部１０の一部の領域の下に、透明パネル部１０における一部の領域に接触または近接した物体（指９０）を透明パネル部１０を介して撮像する撮像部２０を配置するようにしたので、複数の機能を小型で実現し得る。例えば、透明パネル部１０によって、表示機能、およびタッチセンサ機能を実現すると共に、撮像部２０によって指紋認証のための撮像機能を実現し得る。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る電子デバイスについて説明する。なお、以下では、上記第１の実施の形態に係る電子デバイスの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
図２３および図２４は、本開示の第２の実施の形態に係る電子デバイス１Ａの要部構造を示している。図２３は、電子デバイス１Ａを上側（撮像される物体側）から見た透明パネル部１０付近の構造を示している。図２４は、図２３におけるＡ−Ａ線部分の断面に相当する。
上記第１の実施の形態では、撮像部２０による撮像を行う際に、透明パネル部１０を部分的に発光させて撮像用の照明光として利用する例（図１１、図１２参照）を挙げたが、図２３および図２４に示したように、撮像用の照明光源８０を別途設けるようにしてもよい。
照明光源８０は、例えばＬＥＤ（Light Emitting Diode）であってもよい。照明光源８０は、透明パネル部１０における一部の領域（撮像部２０に対応する領域）よりも外側に配置されている。照明光源８０は、例えば透明パネル部１０の上側のカバーガラス３の少なくとも１つの側面に配置してもよい。これにより、カバーガラス３によって照明光源８０からの光を撮像部２０に向けて導光するようにしてもよい。図２３および図２４の構成例では、カバーガラス３における対向する２つの側面に照明光源８０を配置している。これにより、撮像部２０による撮像を行う際に、照明光源８０によって照明光を発するようにしてもよい。また、照明光源８０と透明パネル部１０による部分的な発光とを併用するようにしてもよい。
その他の構成、動作および効果は、上記第１の実施の形態に係る電子デバイス１と略同様であってもよい。
＜３．第３の実施の形態＞
次に、本開示の第３の実施の形態に係る電子デバイスについて説明する。なお、以下では、上記第１または第２の実施の形態に係る電子デバイスの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
図２５は、第３の実施の形態に係る電子デバイス１Ｂの要部構造を示している。図２５は、電子デバイス１Ｂを上側（撮像される物体側）から見た透明パネル部１０付近の構造を示している。
透明パネル部１０のパネル部有効領域１１は全体として透明であるため、透明パネル部１０が非発光の状態では、パネル部有効領域１１の下側の構造が見える場合がある。このため、透明パネル部１０の下側に、図２５に示したように、意匠材１８を配置してもよい。意匠材１８は、例えば木目調や任意の模様であってもよい。これにより、デザイン性を向上させることができる。
意匠材１８は、撮像部２０による物体の撮像に影響を与えないよう、図２５に示したように、上側から見て透明パネル部１０における一部の領域（撮像部２０に対応する領域）とは異なる領域の下に配置されていることが望ましい。また、意匠材１８は、上側から見て、撮像部２０に対応する領域を除く、少なくともパネル部有効領域１１に対応する領域の下に配置されていることが望ましい。
その他の構成、動作および効果は、上記第１の実施の形態に係る電子デバイス１と略同様であってもよい。
＜４．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、透明パネル部の一部の領域の下に、透明パネル部における一部の領域に接触または近接した物体を透明パネル部を介して撮像する撮像部を配置するようにしたので、複数の機能を小型で実現し得る。例えば、透明パネル部によって、表示機能、およびタッチセンサ機能を実現すると共に、撮像部によって指紋認証のための撮像機能を実現し得る。
（１）
複数の透明発光素子が配置された透明パネル部と、
前記透明パネル部の一部の領域の下に配置され、前記透明パネル部における前記一部の領域に接触または近接した物体を前記透明パネル部を介して撮像する撮像部と
を備える
電子デバイス。
（２）
前記撮像部は、
撮像素子と、
複数のマイクロレンズが配置され、前記複数のマイクロレンズのそれぞれによって前記物体からの光を前記撮像素子に向けて集光するマイクロレンズアレイと
を有する
上記（１）に記載の電子デバイス。
（３）
前記撮像部は、
前記複数のマイクロレンズのそれぞれに対応する複数の導光路を含み、前記複数のマイクロレンズのそれぞれによって集光された光を前記複数の導光路のそれぞれによって前記撮像素子に導く導光板、をさらに有する
上記（２）に記載の電子デバイス。
（４）
前記透明パネル部は、前記複数の透明発光素子間を隔てる格子状の構造物を有し、
前記複数のマイクロレンズは、前記物体側から見て前記格子状の構造物に重ならないように配置されている
上記（２）または（３）に記載の電子デバイス。
（５）
前記複数のマイクロレンズは、配置ピッチが、前記複数の透明発光素子の配置ピッチと同一となるように配置され、
前記透明パネル部は、前記撮像部による撮像を行う際に、前記一部の領域に配置された前記複数の透明発光素子のうち、前記物体側から見て、少なくとも撮像に用いられるマイクロレンズが配置された位置とは異なる位置に配置された透明発光素子を発光させる
上記（２）ないし（４）のいずれか１つに記載の電子デバイス。
（６）
前記複数のマイクロレンズは、配置ピッチが、前記複数の透明発光素子の配置ピッチに対して２以上の整数倍となるように配置されている
上記（２）ないし（４）のいずれか１つに記載の電子デバイス。
（７）
前記透明パネル部は、前記撮像部による撮像を行う際に、前記複数の透明発光素子のうち、前記物体側から見て、前記複数のマイクロレンズが配置された領域よりも外側の領域に配置され、前記複数のマイクロレンズのうち少なくとも撮像に用いられるマイクロレンズとは異なる位置にある透明発光素子を発光させる
上記（２）ないし（４）のいずれか１つに記載の電子デバイス。
（８）
前記透明パネル部における前記一部の領域よりも外側に配置され、前記撮像部による撮像を行う際に照明光を発する照明光源、をさらに備えた
上記（１）ないし（４）のいずれか１つに記載の電子デバイス。
（９）
前記物体は、生体の一部であり、
前記撮像部によって撮像することによって得られた前記生体の一部の撮像画像に基づいて、前記生体の一部の生体認証を行う認証処理部、
をさらに備える
上記（１）ないし（８）のいずれか１つに記載の電子デバイス。
（１０）
前記生体の一部は指であり、
前記認証処理部は、前記生体認証として指紋認証を行う
上記（９）に記載の電子デバイス。
（１１）
前記透明パネル部は、
前記複数の透明発光素子のそれぞれに接続された発光素子用の複数の配線と、前記発光素子用の複数の配線とは別に設けられたタッチ検出用の複数の配線とのうち、少なくとも前記発光素子用の複数の配線を含み、
前記複数の透明発光素子の発光によって画像を表示する表示機能と、
前記発光素子用の複数の配線間の静電容量の値、または前記タッチ検出用の複数の配線間の静電容量の値に基づくタッチセンサ機能と
を有する
上記（１）ないし（１０）のいずれか１つに記載の電子デバイス。
（１２）
前記透明パネル部におけるタッチの状態を判定する判定部、をさらに備え、
前記透明パネル部は、
前記発光素子用の複数の配線、または前記タッチ検出用の複数の配線として、
それぞれが第１の方向に延在すると共に前記第１の方向に交差する第２の方向に配列され、それぞれが前記第１の方向において前記複数の透明発光素子に接続された複数の第１の配線と、
それぞれが前記第２の方向に延在すると共に前記第１の方向に配列され、それぞれが前記第２の方向において前記複数の透明発光素子に接続された複数の第２の配線と
を有し、
前記判定部は、
前記複数の第１の配線のうちの少なくとも１つの配線と前記複数の第２の配線のうちの少なくとも１つの配線との間の静電容量の値に基づいて、前記透明パネル部におけるタッチの状態を判定する
上記（１１）に記載の電子デバイス。
（１３）
前記判定部は、少なくとも１つの判定閾値に基づいて、前記透明パネル部におけるタッチの状態を判定する
上記（１２）に記載の電子デバイス。
（１４）
前記静電容量の値と、前記撮像部によって撮像された前記物体の撮像画像とに基づいて、前記少なくとも１つの判定閾値を算出する判定閾値演算部、をさらに備える
上記（１３）に記載の電子デバイス。
（１５）
前記判定部は、前記タッチの状態として、少なくとも、タッチの有無とタッチの強度とを判定し、
前記判定閾値演算部は、前記少なくとも１つの判定閾値として、少なくとも、前記タッチの有無の判定に用いられる第１の判定閾値と、前記タッチの強度の判定に用いられる第２の判定閾値とを算出する
上記（１４）に記載の電子デバイス。
（１６）
前記透明パネル部は、
前記複数の透明発光素子のそれぞれに接続された発光素子用の複数の配線と、前記発光素子用の複数の配線とは別に設けられたタッチ検出用の複数の配線とのうち、少なくとも前記発光素子用の複数の配線を含み、
前記複数の透明発光素子の発光によって画像を表示する表示機能と、
前記発光素子用の複数の配線間の静電容量の値、または前記タッチ検出用の複数の配線間の静電容量の値に基づくタッチセンサ機能と
を有し、
前記認証処理部の認証結果に基づいて、前記透明パネル部におけるタッチ検出の制御パラメータを制御する制御部、をさらに備える
上記（９）または（１０）に記載の電子デバイス。
（１７）
前記制御部は、前記認証処理部による生体認証の対象となる複数のユーザと、前記複数のユーザのそれぞれによる前記透明パネル部におけるタッチの操作速度の統計量とを関連付けた操作速度に関するデータベースに基づいて、前記認証処理部によって認証されたユーザのタッチの操作速度の統計量を取得し、取得した前記タッチの操作速度の統計量に基づいて、前記制御パラメータとして、前記認証されたユーザに最適化されたタッチ検出の動作間隔を算出する
上記（１６）に記載の電子デバイス。
（１８）
前記操作速度に関するデータベースを記憶する記憶部、をさらに備える
上記（１７）に記載の電子デバイス。
（１９）
前記透明パネル部における前記一部の領域とは異なる領域の下に配置された意匠材、をさらに備える
上記（１）ないし（１９）のいずれか１つに記載の電子デバイス。
（２０）
前記透明発光素子は、透明有機ＥＬ素子または量子ドット発光素子である
上記（１）ないし（１９）のいずれか１つに記載の電子デバイス。
本出願は、日本国特許庁において２０１８年２月２７日に出願された日本特許出願番号第２０１８−０３３７７６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 複数の透明発光素子が配置された透明パネル部と、
    前記透明パネル部の一部の領域の下に配置され、前記透明パネル部における前記一部の領域に接触または近接した物体を前記透明パネル部を介して撮像する撮像部と
    を備える
    電子デバイス。
  2. 前記撮像部は、
    撮像素子と、
    複数のマイクロレンズが配置され、前記複数のマイクロレンズのそれぞれによって前記物体からの光を前記撮像素子に向けて集光するマイクロレンズアレイと
    を有する
    請求項１に記載の電子デバイス。
  3. 前記撮像部は、
    前記複数のマイクロレンズのそれぞれに対応する複数の導光路を含み、前記複数のマイクロレンズのそれぞれによって集光された光を前記複数の導光路のそれぞれによって前記撮像素子に導く導光板、をさらに有する
    請求項２に記載の電子デバイス。
  4. 前記透明パネル部は、前記複数の透明発光素子間を隔てる格子状の構造物を有し、
    前記複数のマイクロレンズは、前記物体側から見て前記格子状の構造物に重ならないように配置されている
    請求項２に記載の電子デバイス。
  5. 前記複数のマイクロレンズは、配置ピッチが、前記複数の透明発光素子の配置ピッチと同一となるように配置され、
    前記透明パネル部は、前記撮像部による撮像を行う際に、前記一部の領域に配置された前記複数の透明発光素子のうち、前記物体側から見て、少なくとも撮像に用いられるマイクロレンズが配置された位置とは異なる位置に配置された透明発光素子を発光させる
    請求項２に記載の電子デバイス。
  6. 前記複数のマイクロレンズは、配置ピッチが、前記複数の透明発光素子の配置ピッチに対して２以上の整数倍となるように配置されている
    請求項２に記載の電子デバイス。
  7. 前記透明パネル部は、前記撮像部による撮像を行う際に、前記複数の透明発光素子のうち、前記物体側から見て、前記複数のマイクロレンズが配置された領域よりも外側の領域に配置され、前記複数のマイクロレンズのうち少なくとも撮像に用いられるマイクロレンズとは異なる位置にある透明発光素子を発光させる
    請求項２に記載の電子デバイス。
  8. 前記透明パネル部における前記一部の領域よりも外側に配置され、前記撮像部による撮像を行う際に照明光を発する照明光源、をさらに備えた
    請求項１に記載の電子デバイス。
  9. 前記物体は、生体の一部であり、
    前記撮像部によって撮像することによって得られた前記生体の一部の撮像画像に基づいて、前記生体の一部の生体認証を行う認証処理部、
    をさらに備える
    請求項１に記載の電子デバイス。
  10. 前記生体の一部は指であり、
    前記認証処理部は、前記生体認証として指紋認証を行う
    請求項９に記載の電子デバイス。
  11. 前記透明パネル部は、
    前記複数の透明発光素子のそれぞれに接続された発光素子用の複数の配線と、前記発光素子用の複数の配線とは別に設けられたタッチ検出用の複数の配線とのうち、少なくとも前記発光素子用の複数の配線を含み、
    前記複数の透明発光素子の発光によって画像を表示する表示機能と、
    前記発光素子用の複数の配線間の静電容量の値、または前記タッチ検出用の複数の配線間の静電容量の値に基づくタッチセンサ機能と
    を有する
    請求項１に記載の電子デバイス。
  12. 前記透明パネル部におけるタッチの状態を判定する判定部、をさらに備え、
    前記透明パネル部は、
    前記発光素子用の複数の配線、または前記タッチ検出用の複数の配線として、
    それぞれが第１の方向に延在すると共に前記第１の方向に交差する第２の方向に配列され、それぞれが前記第１の方向において前記複数の透明発光素子に接続された複数の第１の配線と、
    それぞれが前記第２の方向に延在すると共に前記第１の方向に配列され、それぞれが前記第２の方向において前記複数の透明発光素子に接続された複数の第２の配線と
    を有し、
    前記判定部は、
    前記複数の第１の配線のうちの少なくとも１つの配線と前記複数の第２の配線のうちの少なくとも１つの配線との間の静電容量の値に基づいて、前記透明パネル部におけるタッチの状態を判定する
    請求項１１に記載の電子デバイス。
  13. 前記判定部は、少なくとも１つの判定閾値に基づいて、前記透明パネル部におけるタッチの状態を判定する
    請求項１２に記載の電子デバイス。
  14. 前記静電容量の値と、前記撮像部によって撮像された前記物体の撮像画像とに基づいて、前記少なくとも１つの判定閾値を算出する判定閾値演算部、をさらに備える
    請求項１３に記載の電子デバイス。
  15. 前記判定部は、前記タッチの状態として、少なくとも、タッチの有無とタッチの強度とを判定し、
    前記判定閾値演算部は、前記少なくとも１つの判定閾値として、少なくとも、前記タッチの有無の判定に用いられる第１の判定閾値と、前記タッチの強度の判定に用いられる第２の判定閾値とを算出する
    請求項１４に記載の電子デバイス。
  16. 前記透明パネル部は、
    前記複数の透明発光素子のそれぞれに接続された発光素子用の複数の配線と、前記発光素子用の複数の配線とは別に設けられたタッチ検出用の複数の配線とのうち、少なくとも前記発光素子用の複数の配線を含み、
    前記複数の透明発光素子の発光によって画像を表示する表示機能と、
    前記発光素子用の複数の配線間の静電容量の値、または前記タッチ検出用の複数の配線間の静電容量の値に基づくタッチセンサ機能と
    を有し、
    前記認証処理部の認証結果に基づいて、前記透明パネル部におけるタッチ検出の制御パラメータを制御する制御部、をさらに備える
    請求項９に記載の電子デバイス。
  17. 前記制御部は、前記認証処理部による生体認証の対象となる複数のユーザと、前記複数のユーザのそれぞれによる前記透明パネル部におけるタッチの操作速度の統計量とを関連付けた操作速度に関するデータベースに基づいて、前記認証処理部によって認証されたユーザのタッチの操作速度の統計量を取得し、取得した前記タッチの操作速度の統計量に基づいて、前記制御パラメータとして、前記認証されたユーザに最適化されたタッチ検出の動作間隔を算出する
    請求項１６に記載の電子デバイス。
  18. 前記操作速度に関するデータベースを記憶する記憶部、をさらに備える
    請求項１７に記載の電子デバイス。
  19. 前記透明パネル部における前記一部の領域とは異なる領域の下に配置された意匠材、をさらに備える
    請求項１に記載の電子デバイス。
  20. 前記透明発光素子は、透明有機ＥＬ素子または量子ドット発光素子である
    請求項１に記載の電子デバイス。
JP2020502833A 2018-02-27 2018-12-28 電子デバイス Active JP7173123B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018033776 2018-02-27
JP2018033776 2018-02-27
PCT/JP2018/048529 WO2019167425A1 (ja) 2018-02-27 2018-12-28 電子デバイス

Publications (2)

Publication Number Publication Date
JPWO2019167425A1 true JPWO2019167425A1 (ja) 2021-03-18
JP7173123B2 JP7173123B2 (ja) 2022-11-16

Family

ID=67751439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502833A Active JP7173123B2 (ja) 2018-02-27 2018-12-28 電子デバイス

Country Status (6)

Country Link
US (1) US11443544B2 (ja)
EP (1) EP3761259A4 (ja)
JP (1) JP7173123B2 (ja)
KR (1) KR102532957B1 (ja)
CN (2) CN209982564U (ja)
WO (1) WO2019167425A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532957B1 (ko) * 2018-02-27 2023-05-16 소니그룹주식회사 전자 디바이스
KR20210061593A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 전자 장치의 지문 인식 방법
WO2021260989A1 (ja) * 2020-06-24 2021-12-30 日立チャネルソリューションズ株式会社 空中像表示入力装置及び空中像表示入力方法
TWI809386B (zh) * 2021-05-06 2023-07-21 金佶科技股份有限公司 取像裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325158A (ja) * 1993-05-13 1994-11-25 Nec Corp 指紋画像入力装置
JP2001257835A (ja) * 2000-03-10 2001-09-21 Sharp Corp イメージセンサ
JP2006091462A (ja) * 2004-09-24 2006-04-06 Semiconductor Energy Lab Co Ltd 表示装置
JP2012037575A (ja) * 2010-08-03 2012-02-23 Olympus Imaging Corp 電子撮像系
US20170153128A1 (en) * 2012-07-17 2017-06-01 Heptagon Micro Optics Pte. Ltd. Sensor module and method of manufacturing the same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748257B2 (ja) 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
KR20140067745A (ko) * 2012-11-27 2014-06-05 삼성전기주식회사 정전용량식 터치 패널
WO2014115682A1 (ja) 2013-01-23 2014-07-31 合同会社３Ｄｒａｇｏｎｓ 個人認証装置
US9412002B2 (en) * 2013-12-26 2016-08-09 Intel Corporation Wearable electronic device having a fingerprint identification display
JP6507670B2 (ja) * 2015-01-27 2019-05-08 セイコーエプソン株式会社 情報取得機器
JP2017009398A (ja) * 2015-06-20 2017-01-12 関根　弘一 光学式生体情報測定装置および生体情報測定方法
US9983753B2 (en) * 2015-10-01 2018-05-29 Bidirectional Display Inc. Optical-capacitive sensor panel device and method for manufacturing same
US10229316B2 (en) * 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
JP2017196319A (ja) * 2016-04-28 2017-11-02 ソニー株式会社 撮像装置、認証処理装置、撮像方法、認証処理方法およびプログラム
KR102535638B1 (ko) * 2016-05-30 2023-05-24 엘지디스플레이 주식회사 센서 스크린을 구비한 표시장치
CN109154869B (zh) 2016-06-07 2021-02-05 深圳市汇顶科技股份有限公司 用于屏上指纹感应的屏下光学传感器模块的光学准直器
KR102493607B1 (ko) * 2016-06-15 2023-02-01 삼성전자주식회사 지문 인식 기능을 지원하는 전자 장치 및 이의 운용 방법
US20180012069A1 (en) * 2016-07-06 2018-01-11 Samsung Electronics Co., Ltd. Fingerprint sensor, fingerprint sensor package, and fingerprint sensing system using light sources of display panel
KR102622021B1 (ko) * 2016-08-03 2024-01-08 삼성전자 주식회사 지문 센서를 갖는 전자 장치
JP6402319B2 (ja) 2016-09-01 2018-10-10 株式会社オリンピア 遊技機
KR102353770B1 (ko) * 2017-05-08 2022-01-20 삼성전자 주식회사 디스플레이에 통합된 압력 센서를 포함하는 전자장치
CN111095179A (zh) * 2017-08-25 2020-05-01 深圳云英谷科技有限公司 集成的显示和感测装置
JP6325158B1 (ja) 2017-09-29 2018-05-16 株式会社Ｅｐａｒｋ 市場情報収集装置、市場情報収集システム、市場情報収集装置の制御方法及び市場情報収集装置の制御プログラム
KR20190084550A (ko) * 2018-01-08 2019-07-17 한국전자통신연구원 광 지문 인식 센서
KR102532957B1 (ko) 2018-02-27 2023-05-16 소니그룹주식회사 전자 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325158A (ja) * 1993-05-13 1994-11-25 Nec Corp 指紋画像入力装置
JP2001257835A (ja) * 2000-03-10 2001-09-21 Sharp Corp イメージセンサ
JP2006091462A (ja) * 2004-09-24 2006-04-06 Semiconductor Energy Lab Co Ltd 表示装置
JP2012037575A (ja) * 2010-08-03 2012-02-23 Olympus Imaging Corp 電子撮像系
US20170153128A1 (en) * 2012-07-17 2017-06-01 Heptagon Micro Optics Pte. Ltd. Sensor module and method of manufacturing the same

Also Published As

Publication number Publication date
EP3761259A1 (en) 2021-01-06
US11443544B2 (en) 2022-09-13
CN209982564U (zh) 2020-01-21
CN110198392A (zh) 2019-09-03
US20210004554A1 (en) 2021-01-07
JP7173123B2 (ja) 2022-11-16
KR20200124663A (ko) 2020-11-03
EP3761259A4 (en) 2021-03-24
WO2019167425A1 (ja) 2019-09-06
KR102532957B1 (ko) 2023-05-16

Similar Documents

Publication Publication Date Title
JP7173123B2 (ja) 電子デバイス
US10248249B2 (en) Array substrate, display panel and display apparatus having the same, and driving method thereof
US10559632B2 (en) Display substrate, method for manufacturing the same and display apparatus
US9606672B2 (en) Methods and apparatuses for user authentication
CN109216421B (zh) 有机发光二极管面板和包括其的显示装置
CN109144311B (zh) 显示基板、指纹识别方法、触控显示装置
US8811682B2 (en) Fingerprint and finger vein image capturing and authentication apparatuses
US9946386B2 (en) Display panel for detecting biometric information and driving method thereof
US20190197284A1 (en) Ultrasonic transducers embedded in organic light emitting diode panel and display devices including the same
US11411057B2 (en) Electroluminescent device
WO2020118699A1 (zh) 指纹识别装置和电子设备
US20190095671A1 (en) Electronic device including sequential operation of light source subsets while acquiring biometric image data and related methods
JP2007072637A (ja) 弾力性素材を用いた入力装置
US11132527B2 (en) Photo-sensing detection apparatus, display apparatus, method of fingerprint detection, and method of operating display apparatus
CN107967876B (zh) 显示单元以及显示屏
JP2015158882A (ja) 情報表示装置
TWI771866B (zh) 穿透式顯示模組及其電子裝置
CN116400823A (zh) 电子装置
JP2011197756A (ja) 情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R151 Written notification of patent or utility model registration

Ref document number: 7173123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151