KR20190028429A - 생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서 - Google Patents

생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서 Download PDF

Info

Publication number
KR20190028429A
KR20190028429A KR1020197000734A KR20197000734A KR20190028429A KR 20190028429 A KR20190028429 A KR 20190028429A KR 1020197000734 A KR1020197000734 A KR 1020197000734A KR 20197000734 A KR20197000734 A KR 20197000734A KR 20190028429 A KR20190028429 A KR 20190028429A
Authority
KR
South Korea
Prior art keywords
light
body part
display
photodetector
light source
Prior art date
Application number
KR1020197000734A
Other languages
English (en)
Other versions
KR102202342B1 (ko
Inventor
제롬 찬드라 바트
리차드 이안 올슨
Original Assignee
인사이트 시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/600,480 external-priority patent/US10931859B2/en
Priority claimed from US15/618,043 external-priority patent/US10713458B2/en
Application filed by 인사이트 시스템즈 filed Critical 인사이트 시스템즈
Publication of KR20190028429A publication Critical patent/KR20190028429A/ko
Application granted granted Critical
Publication of KR102202342B1 publication Critical patent/KR102202342B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • G06K9/00013—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0036—2-D arrangement of prisms, protrusions, indentations or roughened surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0093—Means for protecting the light guide
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • G06K2009/00932—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Input (AREA)

Abstract

디스플레이 부분과 일체화된 생체 센서 장치로서, 손가락과 같은 신체 부위가 접촉하는 표면을 포함한다. LED 어레이와 같은 광원은 표면을 통해 광을 방출하고, 이는 신체 부위에 의해 반사되고 부분적으로 흡수된다. 광 검출기의 어레이는 신체 부위에 의해 반사된 광을 검출하고 광 반사의 이미지에 대응하는 신호를 생성하며, 이는 신체 부위에서의 광 흡수 패턴에 대응한다. 광 흡수 패턴은 지문, 혈관 패턴, 혈관 내에서의 혈액 이동, 이들의 조합 또는 다른 생체 특징과 연관될 수 있다. 프로세서는 광 검출기로부터의 신호를 수신하고 이 신호를 분석하여 신체 부위의 특성을 결정한다. 이 특성은 검출된 특성을 저장된 특성과 비교함으로써 바이오 센서 장치의 사용자를 인증하는데 사용될 수 있다.

Description

생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서
관련 출원에 대한 상호 참조
본 출원은, 2017년 5월 19일자로 출원된 미국 특허 출원 제15/600,480호의 일부 계속 출원으로, Jerome Chandra Bhat에 의해 2016년 6월 9일자로 출원된 미국 특허 가출원 제62/348,096호 및 Jerome Chandra Bhat 및 Richard Ian Olsen에 의해 2016년 5월 23일자로 출원된 미국 특허 가출원 제62/340,218호에 기초하고 그 우선권을 주장하고 있으며, 이는 본 양수인에게 양도되어 본 명세서에 참조로서 포함된다.
발명의 분야
본 발명은 혈류, 혈액 성분, 지문, 혈관 패턴, 얼굴 등과 같은 생물학적 특성의 검지에 관한 것이며, 특히 이러한 특성을 광 및 광 검출기를 이용해서 검지하는 것에 관한 것이다.
사람의 신체 부위(예컨대, 손가락)에 특정 파장의 광(예컨대, 적색 또는 IR)을 인가하고 신체 부위를 투과한 광을 측정하는 것이, 혈류(예컨대, 맥박), 혈액 내의 성분(예컨대, 헤모글로빈), 지방 및 기타 특성을 탐지하는 데 사용될 수 있다는 것이 알려져 있다. 일반적으로 광 흡수는 특정한 특성과 관련된다.
그러나, 이러한 시스템은 일반적으로 한가지 기능만을 수행하는 의료 기기로 한정된다. 또한, 광 흡수의 측정은 신체 부위를 통하는 것이므로, 이 장치는 구체적으로 손가락과 같은, 검사되는 특정 신체 부위를 둘러싸도록 만들어져야 한다.
다양한 기능에 사용될 수 있으며 의료 목적은 물론 사용자의 인증과 같이 비의료 목적으로도 사용될 수 있는 더 유연한 소형의 생물학적 센서가 요구되고 있다. 사용자 인증의 경우, 생물학적 센서는 기존 소비자 제품에 쉽게 통합될 수 있어야 한다.
미국 특허 제9,570,002호의 칼럼 31에는, IR LED 발광기를 광 검출기와 함께 풀 컬러 디스플레이 스크린의 매트릭스에 추가하는 것을 개시하고 있다. 이후, 다음 사용자는 스크린을 터치할 수 있으며 스크린을 터치하는 손끝의 능선으로부터 반사를 검출함으로써 사용자의 지문 이미지가 검출될 수 있다. 이 검출은 손끝의 표면에서만 이루어질 뿐, 혈관이나 혈류를 탐지하기 위해 손가락 깊은 곳에서 광 흡수를 측정하는 것은 아니다. 따라서, 장치가 인증에 사용되는 경우에, 시뮬레이션된/위조된 지문으로 장치를 속일 수 있다. 나아가, 디스플레이 스크린은 적색, 녹색 및 청색 LED가 밀집된 어레이로, IR LED 및 광 검출기를 해상도 손실없이 기존 LED 어레이에 추가하는 것은 어렵다. 또한, 일체형 디스플레이 픽셀과 검출 픽셀을 구비한 새로운 디스플레이 스크린을 개발하는 것은 매우 비용이 많이 들 것이다.
장치를 사용하는 사람의 생물학적 특성을 검출하는데 사용될 수 있는, 일체형 소형의 발광 디스플레이 및 센서 장치를 설명한다. 이 특성은 사람의 인증은 물론 의학/진단 목적으로 사용될 수 있다. 예를 들어, 장치를 스마트 폰이나 컴퓨터, 혹은 심지어 총기에 설치하여 사용자를 인증할 수도 있다.
일 실시예에서, LED 또는 필터링된 백색광과 같은 다중 파장 광원에 의해 형성된 고해상도 픽셀은, 피부에 적용될 때 손가락과 같은 신체 부위를 관통하는 광을 제공한다. 광 검출기의 어레이가 발광 디스플레이에 통합되어서 신체 부위에서 반사되는 광의 크기를 검출하고, 여기서 반사되어 오는 광의 크기는 신체 부위에 의한 광의 흡수의 영향을 받는다. 광 검출기의 어레이는 광 흡수의 고해상도 이미지를 생성할 수 있다. 픽셀(예를 들어, 발광 파장)은 특정 생물학적 특성을 타깃으로 하도록 제어될 수 있고, 지문 및 혈관 패턴과 같은 상세한 특성을 검출하기 위해 장치의 해상도는 높을 수 있다. 비디오 이미지가 캡쳐될 수도 있다. 혈관의 위치를 검출하기 위한 목적 등으로, 피부의 특정 깊이까지만 흡수를 검지하는 데 옵틱이 사용될 수도 있다. 장치 내의 프로세서는 광 검출기로부터의 신호를 분석하고 사용자의 인증과 같은 결과를 생성하도록 프로그래밍될 수 있다.
지문과 혈관 패턴 모두를 위조하는 것은 매우 어려울 것이므로, 이 장치는 단순한 지문 검출기에 비해서 인증에 대한 신뢰도가 훨씬 높다.
다른 실시예에서, LED 광(예를 들어, IR 광)은 투명한 광 가이드의 모서리에 연결되고, 이 광은, 광 가이드와 공기는 굴절율이 매우 상이하기 때문에, TIR에 의해서 광 가이드 내에서 가이드된다. 지문 검출을 위해서 유리와 같은 광 가이드 표면에 사용자의 손가락이 가압된다고 하면, 손가락과 유리의 굴절률이 상당히 매칭된다. 지문 돌출부(능선)이 유리 표면에 접촉하면 오목부(trough)에서는 에어 갭을 발생시킬 것이다. 따라서, 광은 돌출부의 패턴에서만 광 가이드로부터 손가락으로 인출된다. 따라서, 광 가이드는 투명할 수 있다. 고해상도 광 검출기 어레이가 광 가이드 뒤에 위치된다. 광 가이드의 상부 표면과 접촉하는 신체 부위(예를 들어, 손가락)에서 반사된 광은 광 가이드를 통해서 다시 전달되어 와서 광 검출기 어레이에 의해 검출된다. 선택적으로, 장치는 광 가이드 뒤의 디스플레이 픽셀을 통해서 디스플레이로서 동작할 수도 있다. 결과적인 검출된 이미지는 지문, 혈관 패턴 또는 생물학적 특성의 다른 조합에 의해 사용자를 인증하는데 사용될 수 있다. 일 실시예에서, 광 가이드는 또한 검출기 부분으로부터 측방향으로 이격된 디스플레이 스크린을 위한 디스플레이 유리이기 때문에, 검출기와 디스플레이는 일체화된다. 디스플레이 픽셀은 OLED와 같은 종래의 것일 수 있고, 검출기 광원만이 광 가이드로서 디스플레이 유리를 사용한다. 디스플레이 유리를 광 가이드와 디스플레이용 보호층(또는 디스플레이용 터치 스크린)의 이중 용도로 사용함으로써 시너지 및 일체화가 이루어지며, TIR은 지문/혈관 탐지를 위해 광을 균일하게 확산시킨다. 검출기의 광원은 디스플레이 유리의 임의의 모서리 부근에 광학적으로 결합될 수 있다.
검출기 어레이는 디스플레이 픽셀 전체에 걸쳐서 배치될 수도 있고 혹은 디스플레이 부분으로부터 측방향으로 이격될 수도 있다.
광은 지문 돌출부를 통해 손가락으로 거리를 두고 입력되고 손가락 내에 산란되며 일정 깊이 내의 혈관에 의해 흡수된다. 이로써, 지문과 혈관 패턴 사이의 위치 관계를 검출하기 위해 지문 패턴과 함께 사용될 수 있는 제 2 반사 패턴이 생성될 것이다. 지문 패턴은 콘트라스트가 강하고, 혈관 패턴은 지문 패턴 위에 효과적으로 중첩된다.
일 실시예에서, 광원 및 광 센서 부분은 예컨대 디스플레이 부분의 한 면을 따라서 디스플레이 픽셀로부터 측방향으로 이격되어서 디스플레이 부분의 어떠한 공간도 사용하지 않는다. 디스플레이 부분은 예컨대 얇은 유리 패널과 같은 광 통과 패널을 통해서 광을 방출해서 이미지를 생성한다. 유리 패널은 용량성 터치 센서를 포함할 수도 있다. 생체-검출기 부분용 광원은 예컨대 광 센서 부분의 옆과 같이 디스플레이 부분으로부터 측방향으로 이격되거나, 혹은 전술한 바와 같이 이 광원은 광 통과 패널의 모서리에 광학적으로 결합되고 광 통과 패널이 광원에 대한 도파관의 역할을 한다. 따라서, 검출은 디스플레이 영역으로부터 이격된 영역을 통해서 이루어진다. 광원은 IR 광을 방출할 수 있으며, 디스플레이 부분은 픽셀 어레이로부터 적색, 녹색 및 청색 광을 방출한다. 이러한 방식으로, 광원 및 검출기 부분은 디스플레이 부분에 영향을 미치지 않고, 디스플레이 부분과 검출기 부분이 동일한 광 통과 판을 사용한다. 따라서, 디스플레이 및 센서는 일체화되지만 측방향으로는 이격되어 있다.
이 장치는 또한 목표 파장을 흡수하는 특정 혈액 성분에 대한 센서 또는 펄스 센서로서 사용될 수 있다.
상이한 파장을 내는 상이한 LED는 개별적으로 활성화될 수 있고, 반사된 광은 광역 스펙트럼 광 검출기에 의해 검출되어서 신체 부위의 상이한 타입의 생물학적 특성을 결정할 수 있다.
혈관과 같이, 신체 부위의 특정 깊이에서만 생물학적 특징을 검출하기 위해 광을 집중시키는 데 옵틱이 사용될 수 있다.
가스 센서, 펄스 검출용 전극 등과 같은 추가 센서가 광 센서에 일체화될 수 있다.
이 장치는 소형이며 저가일 수 있어서, 인증을 위해 또는 사용자의 생물학적 특성 분석을 위해 휴대형 장치에서 사용될 수 있다.
이러한 장치의 다양한 다른 디자인 및 사용을 설명한다.
도 1은 선택된 영역에 선택된 파장의 광을 방출할 수 있는 고해상도 발광 디스플레이의 평면도로, 이 장치는 또한 다중 파장 픽셀 영역 각각 내에 광 검출기의 어레이를 포함해서, 발광 표면에 접촉하는 사람의 신체 부위로부터 광 흡수를 검지한다.
도 2는 지문, 혈류, 혈액 내의 헤모글로빈 또는 인증이나 의학 진단을 위한 다른 특성을 검출하기 위해 발광 표면 상에 배치된 사람의 손가락을 보여주는, 도 1의 장치의 단면도이다.
도 3은 혈액 내의 헤모글로빈 및 산소-헤모글로빈에 대한 광 파장 대 흡수의 상관 관계를 도시하며, 이는 사람의 혈액 내에서 이러한 성분의 농도를 결정하기 위해서 도 1 및 도 2의 장치의 프로세서에 의해 사용될 수 있다.
도 4는 생물학적 특성을 검출하기 위한 광원 및 광 센서를 포함하는 장치의 다른 실시예의 단면도로서, 이 광은 투명 또는 반투명 광 가이드의 모서리 부분으로 주입되고 광 가이드의 전면으로부터 방출되며, 광 다이오드 어레이가 광 가이드의 후방에 위치되어서 신체 부위에 의한 광 흡수 이미지를 검출한다.
도 5는 스마트 폰, 랩톱 컴퓨터 또는 다른 소비자 장치의 보호 외부 층과 같은 투명 층에 부착된 도 4의 장치를 도시한다.
도 6은 반사된 광의 검출과 함께, EKG 신호의 검출과 같은 사람의 신체 부위로부터의 전기 신호를 검지하기 위한 전극이 보강된 도 4의 장치를 나타낸다.
도 7은 사람으로부터 방출되는 가스를 검출하기 위한 민감 가스 검지 요소가 더 보강된 도 5의 장치를 도시한다.
도 8은 장치와 접촉하는 신체 부위(예를 들어, 손가락)의 온도를 측정하기 위한 비접촉 적외선 온도 센서가 더 보강된 도 6의 장치를 도시한다.
도 9는 본 발명의 다른 실시예를 도시하는 것으로, 높은 해상도, 높은 신호 대 잡음 비, 그리고 소형인 장치를 형성하기 위해 포커싱 렌즈가 광 센서 어레이에 부착되어 있다.
도 10은 광 검출기의 고해상도 어레이를 갖는 단일 집적 회로 칩의 정면도이다. 렌즈 어레이가 검출기 어레이 위에 배치되어서, 입사광을 포커싱하고 신호 대 잡음비를 높이도록 광 검출기로 들어오는 직접 광량을 감소시킨다. 광원은, 광 가이드와 접촉하는 신체 부위의 방향으로만 광을 방출하는 투명한 광 가이드와 같은, 많은 적절한 디자인을 가질 수 있다. 반사된 광은 광 가이드를 통해 다시 광 검출기로 전송된다.
도 11은, 도 10과 유사하지만, 광 검출기와 동일한 표면 상에 광원(예를 들어, LED 또는 레이저)을 통합하고 있다.
도 12는 다양한 장치로 수행될 수 있는 기능을 나타낸다.
도 13은 사용자의 생물학적 특성을 검출하기 위해 장치에 의해 수행되는 기본 단계의 예의 흐름도이다.
도 14는 일체형 센서 및 디스플레이의 다른 실시예의 평면도로, 센서 부분은 디스플레이 부분으로부터 측방향으로 이격되지만 디스플레이 부분과 동일한 커버 유리를 사용한다.
도 15는 도 14의 장치의 단면도로, 센서 부분 및 IR 발광기가 디스플레이 부분으로부터 측방향으로 이격되어서 디스플레이 부분에 영향을 미치지 않는 것을 나타내고 있다. 이해의 편의를 위해서, 센서 및 IR 발광기는 도 14의 보다 정확한 단면과는 대조적으로 도 15에서는 나란히 도시되어 있다.
도 16은 디스플레이 부분의 모서리에 따른 센서 부분의 세부 사항을 나타내는 일체형 디스플레이/센서의 단면도이다.
도 17은 일체형 디스플레이/센서의 단면도로, 도전성 트레이스가 검출기 요소의 바닥 부분에 전기적으로 연결되어 있는 것을 나타낸다.
도 18은 신체 부위에 의해 반사 및 흡수되는 광을 방출하는 도 15의 장치를 도시하며, 반사되는 광은 검출되어서 반사/흡수된 광의 검지된 이미지를 생성하여 사용자를 인증한다.
도 19는, 디스플레이 영역은 부분적으로 투명하고 센서가 디스플레이 영역을 통해서 신체 부위로부터의 광을 수신하는 다른 실시예를 도시한다.
도 20은 도 19의 실시예의 단면도로, 디스플레이 부분에는 투명 영역이 분산되어 있어서, 이를 통해서 신체 부위로부터 반사된 광이 디스플레이 부분 아래의 검출기 어레이에 의해 검지된다. 디스플레이 픽셀(예를 들어, 적색, 녹색 및 청색 서브 픽셀)은 검출기 어레이에 대한 광원을 제공할 수도 있고 혹은 광원은 IR 발광기와 같은 별개 광원일 수도 있다.
도 21은 다른 실시예의 단면도로, 상부 기판에는 적색, 녹색 및 청색 OLED 서브 픽셀이 형성되고, 바닥 기판에는 하나 이상의 광 다이오드가 박막 트랜지스터와 함께 형성되어서 신체 부위로부터 반사된 광을 검출하며, 박막 트랜지스터는 디스플레이 픽셀을 제어한다.
도 22는 또 다른 실시예의 단면도로, 광 가이드의 역할을 하는 디스플레이의 디스플레이 유리의 모서리에 예컨대, 하나 이상의 IR LED와 같은 IR 발광기가 연결되어 있으며, 디스플레이 유리는 유리와 접촉하는 신체 부위로부터의 반사될 광을 내보낸다. 이 광은 디스플레이 영역으로부터 측방향으로 이격된 영역에서만 검출될 수도 있고 혹은 디스플레이 영역 내에 분산된 광 검출기에 의해 검출될 수도 있다.
도 23은 또 다른 실시예의 단면도로, 액정 픽셀이 투명 기판(예컨대, 유리)에 광 다이오드와 함께 형성되고, 백라이트로부터의 광이 이 액정 픽셀을 통과해서 신체 부위로부터 반사되어 광 다이오드에 의해 검출된다.
여러 도면에서 동일하거나 유사한 요소는 동일한 숫자로 나타냈다.
특정 파장의 광을 방출하고, 이미지 캡쳐를 사용해서, 광 방출 윈도우와 접촉하는(혹은 근접한) 사람의 신체 부위에 의한 광의 흡수를 검출하는 다양한 타입의 생체-센서 장치를 설명한다. 다른 사용도 설명된다.
도 1은 캡쳐되는 신체 부위 반사 이미지에 적합한 크기를 가진 생체-센서 장치(10)의 평면도이다. 일 실시예에서, 장치(10)는 그 표면에 손가락이 닿는 것을 검출하기에 충분할 정도의 크기만 갖는다.
장치(10)는 마이크로-LED(12) 또는 VCSEL(vertical-cavity surface emitting laser)와 같은 다른 광원에 의해 형성된 픽셀 어레이(11)를 포함한다. 이러한 레이저는 발광 다이오드의 서브세트로 간주된다. LED(12)는, 의도하는 다양한 피크 파장을 방출하도록 서로 다른 종류의 것이 될 수도 있고, 혹은 LED(12)는 의도하는 다양한 파장을 방출하도록 서로 다른 형광체를 가진 동일한 종류(예컨대, UV LED)의 것일 수도 있다. 도시된 예에서, 단일 픽셀(11) 내의 LED(12)는 적색(R), 청색(B), 녹색(G) 및 IR-방출 LED를 포함한다. 서로 다른 파장은 서로 다른 정도만큼 피부에 침투한다. 짧은 파장(청색, 녹색)은 긴 파장(적색, 적외선)보다 피부에 적게 침투한다. 또 다른 실시예에서, 장치(10)는 손가락의 혈류를 검출하는 것과 같은 특정 기능만을 위한 것으로, LED(12)는 적색 또는 IR과 같이, 특정 기능을 위한 단일 협대역의 파장을 방출한다. 각각의 픽셀(11)은 또한 광대역 광 다이오드(14) 또는 다른 유형의 광 검출기를 포함한다. 상이한 파장을 방출하는 LED(12)는 개별적으로 활성화될 수 있으므로, 광 다이오드(14)의 출력은 활성화된 LED(12)에 의해 방출된 파장과 연관될 수 있다. 장치(10)의 해상도는 고해상도 디스플레이와 동일한 것일 수 있다.
픽셀 어레이 내의 임의의 하나의 피크 파장의 LED들이 선택적으로 순차적으로 조명되고 픽셀 어레이 내의 하나 이상의 검출기가 동시에 판독되어서 크로스-토크(cross-talk)를 제거할 수도 있으며, 이로써 디지털 처리에 의해 획득한 이미지의 해상도를 더 향상시킬 수 있다. 예를 들어, 이와 같이 순차적으로 조명함으로써 신체 부위 내의 흡수 피쳐(예를 들어, 혈관)의 위치를, 광을 산란하기만 할 뿐 흡수하지 않는 위치와 더 양호하게 구별할 수 있게 된다. 나아가, 조명되는 LED에 인접한 검출기(들)만 조명될 수 있어서, 샘플링되는 신체 부위 영역은 고도로 로컬화될 수 있다.
LED는 OLED일 수도 있고 무기 LED일 수도 있다.
다른 방안으로, 다양한 컬러 픽셀은 액정 디스플레이(LCD)에 의해 형성될 수 있다. 전형적인 LCD는 넓은 범위의 파장을 갖는 백색광 백라이트를 사용한다. 적색, 녹색, 청색 및 IR 필터와 같은 컬러 필터가 서브픽셀을 형성하면서 제어 가능한 액정층 뒤에 위치된다. 액정 층은 각 서브-픽셀 위치마다 광 셔터를 유효하게 갖고 있다. 광 셔터를 제어함으로써, 각 픽셀의 다른 색상이 제어된다. 광 다이오드(14)는 LCD 층의 상부 위의 혹은 LCD 층 아래의 투명한 적층 층에 형성될 수 있다.
어느 하나의 실시예에서, 광 다이오드(14) 및 발광 픽셀은 분석되는 사람의 신체 부위와 동일한 면에 있어서, 광 다이오드(14)는 사람의 피부에 의한 광의 흡수를 검출하는 것과 같이, 반사된 광의 이미지를 검출한다. 이것은 사람의 신체 부위를 통과하는 광의 양을 검지하는 알려진 장치와는 대조된다. 검출되는 신체 부위의 로컬화된 흡수가 기본적으로 상이한 광 다이오드(14)에 의해 수신되는 반사광 사이의 차이를 검출함으로써 결정되기 때문에, 반사되는 광의 이미지는 흡수되는 광의 이미지에 대응한다. 이러한 차이는, 흡수 패턴을 매핑하고 이를 저장된 흡수 패턴과 비교하는데 사용될 수 있다. 따라서, 반사광의 절대 크기는 샘플링되는 신체 부위, 임의의 주변광 및 LED로의 전류 등에 기초하여 변경될 수 있지만, 광 반사 강도의 차이는 여전히 신체 부위 내의 흡수 패턴에 대응할 것이다 .
조합 지문 검출기 및 혈관 위치 검출기용 픽셀 어레이(11)의 예는 2cm×2cm이고, 800 픽셀(11)을 포함하는 어레이일 수 있다. 해상도는 0.25mm 정도로 작을 수 있다. 이러한 어레이 크기는 2가지 상이한 테스트를 사용하여 사용자를 인증하도록 스마트 폰 또는 기타 휴대형 장치에 일체화될 수 있다.
LED 제어기(18)는 예를 들어 행 및 열 어드레싱을 사용하여 LED(12)의 활성화를 제어하고 광 다이오드(14)는 광 검출기 제어기(20)에 의해 제어된다. 프로세서(22)는 제어기(18, 20)의 전체 제어를 제공하고, 소망하는 기능에 따라서 추가 처리를 위해 다양한 광 다이오드(14)를 포함할 수 있다. 일 실시예에서, 프로세서(22)는 지문뿐만 아니라 손가락 내의 혈관의 위치, 맥박 및 혈액 내의 성분을 검출하도록 장치를 제어한다. 혈류를 분석하기 위해 비디오와 같이 여러 이미지를 얻을 수 있다. 프로세서(22)는 이 데이터를 메모리에 저장된 데이터와 비교해서 사용자를 인증하거나 의료 분석을 위해 데이터를 사용할 수 있다.
일 실시예에서, LED 제어기(18)는 LED의 조명을 래스터화하거나 혹은 다른 방식으로 공간적으로 시퀀싱하는 한편, 광 검출기 제어기(20)는 다수의 별개의 조명 상태에 대응하는 이미지들의 시퀀스를 캡쳐한다. 프로세서(22)는 데이터의 시퀀스를 처리하여, 산란된 광에 대한 캡쳐된 이미지를 보상할 수 있으며, 따라서 디바이스와 접촉하는 신체 부위 내의 피쳐를 흡수함으로써 형성된 결합 된 이미지의 해상도를 증가시킬 수 있다.
프로세서(22) 및 제어기(18/20)를 포함하는 전체 장치(10)는, 전력 리드 및 데이터 리드만을 필요로 하는 단일 모듈형 장치로서 형성될 수 있다.
픽셀 어레이의 상이한 섹션 혹은 픽셀(11) 중 임의의 픽셀은 광 다이오드(14)와 LED(12) 사이의 크로스-토크를 감소시키도록 개별적으로 활성화될 수 있다. 이상적으로, 신체 부위는 충돌 및 반사 광의 산란을 최소화하기 위해 디바이스(10)와 직접 접촉해서 가장 높은 해상도의 이미지를 획득한다. 해상도를 더 향상시키기 위해서 포커싱 옵틱 및 지향성 옵팁이 사용될 수 있다.
도 2는 도 1의 장치(10)의 개략 단면도로, 장치의 보호 유리 커버(24)와 직접 접촉하는 사람의 손가락(23)을 나타내고 있다. 손가락(23)의 혈관(25)도 도시되어 있다. 손가락(23)이 유리 커버(24)의 굴절율과는 유사하지만 공기보다는 훨씬 높은 굴절률(예를 들면, 1.5)을 갖기 때문에, 지문 능선(fingerprint ridge)(26)(유리와 직접 접촉함) 및 지문 계곡(27)(유리로부터 이격됨)은 그 영역에서 서로 다른 광 반사(28)를 야기할 것이다. 계곡 영역은 유리/공기 계면에서의 TIR로 인해 유리 표면으로부터 상대적으로 높은 비율의 광을 반사하는 반면, 능선 영역은 상대적으로 높은 비율의 광을 흡수할 것이다. 광 다이오드(14)의 해상도가 높기 때문에, 일부 광 다이오드(14)는 계곡(27) 아래에 위치될 것이고 다른 것들은 능선(26) 아래에 위치될 것이며, 이로써 지문의 이미지는 프로세서(22)(도 1)에 의해 검출 가능하고, 사용자의 인증을 위해 저장된 지문과 연관될 수도 있다.
유리 커버(24)는 무기 유리, 사파이어와 같은 결정질 물질, 유리 세라믹 또는 폴리머를 포함할 수 있다.
지문 검출기를 속이는 방식은 알려져 있다. 속이는 것으로부터 더 보호하기 위해서, 프로세서(22)는 또한 광 다이오드(14) 데이터를 처리해서 손가락의 혈관과 일치하는 저 파장(예를 들어 적색, IR) 흡수의 패턴을 결정한다. 광은 지문 능선을 통해서 일정 거리를 두고 손가락에 들어간다. 지문과 관련된 혈관의 형상 및 위치는 개인마다 고유하며 위조가 매우 어렵다. 이러한 데이터는 인증을 위해서 저장된 데이터와 연관된다. 예컨대, 사용자는 초기 기준 검출을 수행하고, 여기서 지문 패턴과 혈관 패턴이 검출되어 저장된다. 이후 인증시에, 새로운 검출이 기준 패턴과 일치되면 사용자는 인증된다. 의학적 분석을 위해 다른 혈액 데이터가 획득될 수도 있다. 도 2는 혈관(25)의 피부 깊이에서의 광 반사율(28)을 나타내며, 여기서 목표 깊이 내에서 혈관을 포함하고 있지 않은 손가락 영역에 비해서 혈관의 위치에서는 적색/IR의 흡수가 높다. 프로세서(22)에 의해서 검출된 혈관의 맵이 (지문 패턴과 함께 혹은 지문 패턴과 별도로) 만들어져서 저장된 기준 혈관 맵과 비교될 수 있다.
광 다이오드(14) 신호는 프로세서(22)에 의해 서로 차감될 수 있으며, 이로써 그 차이는 관심이 있는 파장의 흡수와 상호 연관될 수 있다. 고해상도 광 다이오드(14)에 의해 출력되는 신호의 차이(절대값은 아님)는 LED로부터 광 다이오드(14)에 의해 직접 수신되는 광의 통상 모드 제거(common-mode rejection)를 가능하게 해서, 신호 대 잡음비를 크게 증가시킨다.
일반적으로, 광 다이오드(14)의 어레이를 연장된 영역에 걸쳐 배치함으로써, 장치(10)가 유리 커버(24)와 접촉하거나 혹은 이에 근접하여, 적절한 콘트라스트의 항목을 위한 이미지 캡쳐 장치로서 동작할 수 있게 한다. 따라서, 손가락, 손바닥, 손목 또는 얼굴과 같은 신체 부위가 유리 커버(24)와 접촉하거나 이에 근접하고 있을 때, 장치(10)는 지문, 혈관 패턴과 같은 얕은 피하 생체-인증 데이터, 얼굴 및 기타 피부 색조 정보, 그리고 피부 상주 병원체의 존재와 같은 유익한 생체-인증 및 생체-메트릭 데이터를 캡쳐하는데 사용될 수 있다.
또한, 픽셀 어레이는 유리 커버(24)와 접촉하거나 이에 근접하고 있는 하나 이상의 손가락 또는 다른 신체 부위의 존재 및 움직임을 검출하기 위해 간단히 사용될 수 있고, 이로써 이 어레이는 다양한 제스처를 검지하는 데 사용될 수도 있고 혹은 전용 터치 검지 어레이, 기계식 버튼 또는 별도 제스처 서브시스템 없이도 터치 스크린 또는 간단한 "버튼"으로서 사용될 수도 있다.
나아가, 다양한 색의 LED(12)를 시퀀싱함으로써, 신체 부위의 분광(spectroscopy)이 수행되어 광학적으로 수집된 생체 인식 데이터를 구할 수 있다. 파장이 피부에 어느 정도 침투하는 경우, 피하의 생체 인식 데이터가 획득될 수 있다. 예를 들어, 적색과 녹색이 모두 혈류와 혈관을 검지하고 심장 박동수를 확인하는 데 사용할 수 있으며, 적절한 파장의 적색과 적외선의 조합을 사용해서 혈액 산소 공급을 확인할 수 있다.
각각의 파장은 서로 다른 정도로 피부에 침투한다. 짧은 파장(청색, 녹색)은 긴 파장(적색, 적외선)보다 피부에 적게 침투한다. 따라서, 픽셀 파장에 걸쳐서 스캐닝함으로써, 다양한 피부 깊이를 샘플링하는 이미지가 얻어질 수 있다. 이후, 다양한 이미지로부터의 데이터가 서로 차감되어서 추가적인 해상도를 산출할 수도 있다. 예를 들어, 표피 데이터를 포착하는 청색 이미지가 표피 데이터 및 피하 데이터 모두를 캡쳐하는 적색 이미지로부터 감산되어서 피하 데이터만을 나타낼 수도 있다.
파장 응답 범위를 확장하면 더 많은 정보가 수집될 수 있다. 더 높은 주파수 혹은 더 낮은 주파수에서 반응성이 있는 픽셀을 혼합하거나 추가함으로써, 병원체 검출, UV 노출, 수분 및 신체 화학 반응과 같은 추가 기능이 확인될 수도 있다. 일부 경우에, 혈액이나 피부의 형광 성분을 검출하기 위해 UV가 사용될 수도 있다.
나아가, 일련의 이미지(즉, 비디오)를 캡쳐함으로써, 혈관에 따른 혈액 맥박의 이동이 얻어질 수 있으며, 이는 심박수, 혈압이 유추될 수 있는 혈액 맥파 전달 속도, 심전도 출력, 박출량(stroke volume)과 같은 생체 데이터를 직접 또는 추론에 의해 더 제공한다. 이미지의 시퀀스는 또한, 혈류를 관찰하고, 실제로 검사되는 신체 부위가 생체 부분을 포함하고 있으며, 스푸프 자료 샘플(spoof material sample) 혹은 분리되거나 사망한 신체 부위를 사용하는 것과 같은, 생체 인식 이벤트를 속이는 시도는 포함하지 않는다는 것을 추론하는 데 사용될 수 있다. 마찬가지로, 광 검출기와 함께 다양한 색상을 생성하는 LED를 조합해서 사용하면, 예를 들어, 지문의 카피는 갖고 있지만 동시에 생리학적인 유효성을 나타내는, 인간 손가락에 도포되는 물질의 식별을 제공할 수 있다. 이 "비디오" 기능을 통해서, 컨포멀 재료로 지문 스푸핑하는 것을 방지할 수 있다.
연장된 이미지 시퀀스를 캡쳐하고 처리하는 경우, 비디오 캡쳐 동안에 피사체의 움직임을 보상할 필요가 있을 수 있다. 이 경우, 예를 들어, 청색, 녹색 또는 다른 적절한 광원으로 캡쳐된 표피 이미지의 움직임은, 비디오 캡쳐 동안에 피사체의 움직임을 추적하는데 사용될 수 있고, 예컨대 적색 혹은 적외선 광으로 캡쳐된 피하 이미지의 움직임을 보상하는데 사용될 수 있다.
손가락을 관통하는 광이 손가락의 구조에 기초해서 후방 산란 및 반사의 변화를 겪는 것을 감안할 때, 지문은 청색 광과 같이 손가락으로 가장 적게 관통되는 광으로부터 가장 잘 검출될 것이다. 그러나 지문은 광범위한 가시광선 및 근적외선 파장으로 판독될 수 있다.
긴 파장을 사용하면, 피하 이미지를 찍을 수 있다. 예를 들어, 피부에 2~3mm 이상 침투할 수 있는 조명 파장과 파워를 사용하면, 광은 모세 혈관과 정맥이 발견 될 수 있는 피하 영역으로 침투할 수 있다. 혈관이 지문 능선 및 계곡과 일치한다는 것을 고려하면, 혈관으로부터 수집되는 이미지는 지문 능선 및 계곡의 존재에 의해 영향을 받을 가능성이 크다. 따라서, 지문 능선 및 계곡의 존재는 인지에 사용되는 층의 특수성을 향상시키거나 혹은 혈관의 이미지로부터 제거될 수 있다. 지문을 제거하는 것이 바람직한 일 예에서서는, 전술한 바와 같이 짧은 파장의 광에 의해 캡쳐되는 지문의 이미지를 단지 차감하는 기술이 사용될 수 있다. 다른 방안으로, 이는 유사한 영향을 갖는 필터링 또는 다른 기술에 의한 것과 같은, 이미지 프로세싱을 통해 수행될 수도 있다. 예컨대, 시스템에 옵틱을 포함시키는 것과 같이(이후 도면 참조), 검출기의 초점이 기본적으로는 단독으로 혹은 크게 피하에 있도록 검출기 어레이를 설정함으로써, 지문의 영향은 최소화될 수 있다.
또한, 지문 이미지와 혈관 이미지를 모두 검출함으로써, 지문 이미지가 혈관 이미지에 대한 기준을 제공할 수 있기 때문에 장치 상의 손가락의 방향은 랜덤 방향이 가능하다. 따라서, 서로 상대적인 이미지는, 장치 상의 손가락의 위치와 무관하게 저장된 상대 이미지와 정확하게 비교될 수 있다.
이 생체 인증 방법의 아티팩트로서, 중요한 생리학적 정보가 동시에 추출될 수 있다. 상이한 조명들 하에서 캡쳐되는 혈관의 이미지를 연구함으로써, 혈액, 간질액 또는 조직의 화학 작용이 행해질 수 있는 검지 영역 바로 아래에서 조직의 분광 분석을 수행하는 것이 가능하다. 예를 들어, 헤모글로빈과 산소-헤모글로빈이 서로 소광 계수의 변화를 갖는 680nm와 850nm와 같은 2가지 파장(도 3)으로 이미지를 연구함으로써, 혈중 산소 포화도인 SpO2를 얻을 수 있다. 확장을 통해 적절한 조명 파장 하에서 캡쳐된 이미지를 연구함으로써, 혈당, 적혈구수, 백혈구수, 혈액 CO2, 혈당 및 기타 혈액과 간질액의 용질이 검출될 수 있다.
이러한 모든 구성에서, 주변 광의 영향을 고려해야 할 수 있다. 구체적으로, 손가락과 같은 얇은 신체 부위를 연구하는 경우, 주변 광이 손가락을 지나 검출기 어레이로 전파되어서 수신 신호 또는 이미지를 간섭할 수도 있다. 따라서 주변 광의 영향을 고려할 필요가 있다. 주변 광은 태양광과 같은 기본적으로 정상 상태의 광원 혹은 백열등이나 변조된 LED 조명과 같은 변조된 광원을 포함할 수 있다. 검출된 광학 신호 중 주변 광에 기인한 부분은, 어레이 광원을 '오프'한 상태에서 검출기 어레이를 먼저 샘플링함으로써 정량화될 수 있다. 이 신호가, 어레이 광원이 "온" 상태일 때 검출기 어레이가 캡쳐하는 신호로부터 차감됨으로써, 어레이 광원에 의한 조명과만 관련된 신호를 추론할 수 있다. 나아가, 모든 광 다이오드(14)가 동일한 양의 주변 광을 검출할 수 있기 때문에, 동상 모드(common-mode) 신호를 차감함으로써 주변 광을 상쇄시킨다.
이러한 서로 관련된 이중 샘플링 방법은, 광 검출기 구성과 각 픽셀의 다수의 광 검출기에 대한 옵션 모두에 의해서 더욱 향상될 수 있다. 이러한 "주변 광 제거"는 주변 광원의 변조보다 훨씬 높은 주파수에서 어레이 광원 및 어레이 검출기 샘플링 시간을 변조함으로써 촉진될 수 있다. 임의의 주변 광 변조의 주파수는 검출기 어레이 자체에 의해 더 검출될 수 있다.
위의 설명은 마이크로-LED 디스플레이를 사용하는 예를 설명하고 있지만 OLED 디스플레이 또는 액티브 매트릭스 LCD 디스플레이와 같은 적절한 해상도의 임의의 다른 디스플레이에 일체화된 확장된 검출기 어레이를 통해서도 기능적으로 동일한 양상(modality)을 달성할 수 있다. 구체적으로, 디스플레이가 비정질 실리콘, 다결정 실리콘 또는 유기 반도체와 같은 집적 반도체 소자를 포함하는 경우, 광 다이오드 어레이는 실질적으로 유사한 반도체 처리를 사용하여 디스플레이에 형성될 수 있으며, 따라서 추가 프로세싱 비용이 최소화되고 해상도를 더 높인다.
기능적으로 동등한 양상이 예를 들어 광학 모듈, 칩 온 글래스(커버 유리에 직접 부착된 칩) 또는 칩 온 디스플레이(디스플레이 유리에 직접 부착된 칩)에서 개별적으로 확장된 검출기 어레이로 달성될 수도 있다. 이러한 모듈, 칩 온 글래스 또는 칩 온 디스플레이는 디스플레이에 직접 일체화될 수도 있고 혹은 독립형 어레이를 포함할 수도 있으며; 자체의 조명원을 포함할 수도 있고 혹은 디스플레이로부터나 또는 임의의 다른 적절한 기존 픽셀화된, 균일한, 측면, 포인트 또는 다른 조명원과 같은 외부 광원을 이용하도록 배열될 수 있다.
확장된 검출기 어레이는 CMOS 이미지 센서와 같은 일체화된 센서 어레이를 포함할 수 있으며, 후술하는 도 4에 도시된 바와 같은 옵틱이 일체화될 수도 있다. 모듈 커버 유리 자체는 임의로 광학적으로 강화하는 층, 광학적으로 필터링하는 층 또는 광학적으로 차단하는 층, 반사 방지 코팅 등으로 완전히 또는 부분적으로 코팅될 수 있다.
이러한 모듈은 다수의 사람 인터페이스의 통합 지점 및 최종 애플리케이션에 대한 생리학적인 개선으로서 동작할 수 있다. 비한정 예로서, 소비자 장치 상의 광학 기능 온/오프 또는 다른 "버튼"과 같은 기능, 핀치, 줌, 스크롤, 조이스틱, 트랙볼, 서명과 같은 고급 기능을 위한 제스처 인식과 같은 피쳐가 알고리즘이나 소프트웨어를 통해 기존 작업에 추가될 수 있다.
추가적인 기계식 버튼 액션을 제공하기 위해서 일체형 센서 모듈 또는 독립형 센서 모듈에 압력 센서 또는 압력 검지 어레이가 보강될 수 있다. 적층된 용량 성 센서 어레이 층은 또한 일체화되어서, 이로부터 "터치" 이벤트의 발생 및 터치 이벤트 관련 힘이 결정될 수 있다. 터치 이벤트의 힘을 결정하는 것은 또한, 터치 이벤트의 크기가 최적의 생체 인증 또는 생체 메트릭 데이터에 최적화되지 않았다는 것을 소비자에게 피드백하는 데도 사용될 수 있다. 예를 들어, 모듈을 너무 세게 누르면 모세 혈관으로의 혈류가 제한되어 이로부터 수신되는 신호에 영향을 미칠 수 있다.
일체형 센서 모듈 또는 독립형 센서 모듈이, 에폭시, 실리콘, 아크릴 또는 저온 용융 유리(예를 들어 프릿 유리 또는 화합물 반도체 유리)와 같은 광학적으로 투명한 접착제를 통해, 디스플레이 또는 커버 유리에 직접 본딩될 수도 있다. 이 경우, 본딩은 모듈 커버 유리와 디스플레이 유리의 전체 인터페이스에 걸쳐서 연장되는 접착제를 포함할 수 있다. 다른 방안으로, 접착제는 인터페이스의 일부분(예를 들어, 모서리)에만 분산될 수 있고, 모듈 커버 유리 및 디스플레이 유리의 대부분은 단순히 접촉하거나 또는 근접할 수 있다.
도 4는 동일한 파장 혹은 상이한 파장을 방출하는 LED들과 같은 광원(30)이, 보호 커버 역할을 하는 광 가이드(32)의 외측 모서리 주위에만 위치되는 다른 실시예를 도시한다. 광은 광 가이드(32)에 LED를 매립하거나 다른 방법으로 광을 모서리에 연결시킴으로써 광 가이드(32)의 모서리 부분에 연결된다. 광은 TIR에 의해 광 가이드의 모든 영역으로 전달되고 광 가이드(32)의 상부 표면을 통해서만 나간다.
신체 부위가 광 가이드(32)와 직접 접촉하는 경우, 피부가 광 가이드와 유사한 굴절률을 갖기 때문에 신체 부위의 접촉 지점에서 광 가이드로부터 자연스럽게 광이 추출될 것이다. 검출되는 신체 부위가 광 가이드(32)로부터 이격되는 경우, 광 가이드(32)는, 광을 위쪽으로 향하게 하고 광을 믹스하는 몰딩된 마이크로-반사기(프리즘)와 같은 광 추출 피처를 가질 수 있다. 백라이트용 광 가이드에서 이러한 분산형 마이크로-반사기를 사용하는 것은 공지되어 있다. 따라서, 활성화된 LED로부터의 광은 광 가이드 표면과 접촉하거나 또는 이에 근접하는 신체 부위 내로 상방으로 실질적으로 균일하게 방출될 수 있다. 광 가이드(32)에 의해 하방으로 방출되는 광은 거의 혹은 전혀 없다. 광 가이드(32)의 대부분은 투명해서, 본체 부분으로부터 반사되는 광이 광 가이드(32)를 통과한다. 광 가이드를 사용하는 이러한 디자인은 IR LED 및 광 검출기를 디스플레이 픽셀 LED와 함께 디스플레이 스크린에 통합하는 것에 비해 상대적으로 저렴하다. 또한, 광 검출기 어레이의 해상도는 임의의 디스플레이 픽셀 어레이와는 독립된 것으로, 따라서 더 높은 해상도로 만들어 질 수 있다.
옵틱(34)은, 신체 부위를 향해서 특정 거리로부터만 반사된 광을 광 다이오드 어레이(38)로 포커싱하는 포커싱 마이크로 렌즈를 포함할 수 있다. 옵틱(34)은 신체 부위로부터의 입사광을, 광 가이드에 수직인 좁은 각으로만 한정해서 크로스-토크를 감소시키고 분석되는 신체 부위의 피처를 보다 잘 매핑할 수 있다. 광 다이오드 어레이(38)는 CMOS 이미지 센서, CCD 이미지 센서, 또는 임의의 다른 이미지 센서일 수 있다.
광 다이오드 어레이(38)에 직접 광이 충돌하는 것을 차단하기 위해서 차광벽(40)이 사용될 수도 있다. 이 모듈은 LED로부터 열을 감쇄시키기 위한 불투명 열 도전성 용기(42)를 포함할 수 있다. 도 1의 제어 전자 장치는 모듈에 부착될 수도 있고 분리될 수도 있다. 이 모듈은 인쇄 회로 기판에 납땜하기 위한 접촉 패드를 구비할 수 있다.
도 5는, 도 4의 모듈이, 스마트 폰 또는 다른 장치의 투명한 표면층과 같은 보호 투명 커버(44)와 부착되는 것을 나타낸다.
이하 상세하게 설명하는 바와 같이, 도 2의 IR 발광기는 디스플레이 픽셀 어레이에서 제거되고 디스플레이 유리에 모서리-연결될 수 있다. IR 광은 디스플레이 유리와 직접 접촉하는 피부 조직(예를 들어, 손가락)을 만날 때까지 TIR에 의해 디스플레이 유리 내에서 균일하게 확산된다. 접촉 지점에서, 광은 피부 조직에 의해 반사/흡수되고 디스플레이 픽셀 어레이 내에 분포된 광 다이오드(14)에 의해 검출될 것이다. 따라서, 신체 부위는 검출을 위해 임의의 방향으로 디스플레이 유리의 임의의 부분에 터치할 수 있다.
도 6에 도시된 바와 같이, 일체형 센서 모듈 또는 독립형 센서 모듈은, 광 가이드(32)를 지나서 또는 그 주위를 연장되거나 또는 모듈 외부에 위치되지만 모듈에 전기적으로 접속된 하나 이상의 전극(48, 50)을 더 포함할 수 있으며, 이로써 사용자는 전기적으로 모니터될 수 있다. 예를 들어, 이러한 전극(49, 50)은 사용자의 심전도(ECG 또는 EKG) 또는 생체 임피던스를 검출하는데 사용될 수 있다. ECG 신호는, ECG 신호의 형태에 의해서 결정되는, 심박수나, 임박한 의학적 상태 또는 실제 의학적 상태를 결정하기 위해 별도로 사용될 수 있다. 다른 방안으로, ECG는 혈압 및 기타 의학적으로 중요한 지표를 결정하기 위해 광학적으로 유도된 광용적맥파(PPG)와 함께 사용할 수 있다. 생체 임피던스는 수분, 지방 함량 또는 기타 생체 신호를 결정하는 데 사용될 수 있다. 근육 활동은 또한 전기적으로 모니터될 수 있다. 이러한 모든 모니터는 단일 모듈로 결합될 수 있다.
ECG 신호는 생체 인증 서명으로도 사용될 수 있다.
따라서 생체 인증은 지문, 혈관 영상 또는 ECG와 같은 단일 양상을 통해; 또는 여러 양상의 조합을 통해; 다중 인자 인증의 형태를 통해 수행될 수 있다. 모든 생체 인증 이벤트가 오긍정(false positive) 및 오부정(false negative)의 형태로 에러가 발생할 수 있으므로, 다중 인자 생체 인증을 사용하면 생체 인증의 정확성을 높일 수 있다. 예를 들어, 다중 인자 생체 인증 방식은 2개의 인자의 긍정 인증 및 제3 인자의 2개의 인자 및 거절된 인증을 포함하는 인증 이벤트를 확인하도록 구성될 수 있으며, 따라서 보안을 감소시키기는 하지만, 오부정으로 인해서 사용자가 시스템에 잠겨질(locked-out) 가능성을 감소시키는 반면, 적어도 2개의 인자가 인증될 것을 요청함으로써 오긍정 및 스푸핑에 대한 보안을 증가시킬 수 있다. 다른 방안으로, 서로 다른 양상이 서로 다른 인증 시간을 갖는 것을 고려하면, 다중 인자 인증 방식은 단일의 빠른 인증 인자에 기초해서 제 1의 빠른 낮은 보안 인증을 제공하고, 추가적인 더 느린 인증 요소를 수집해서 처리하는데 필요한 연장된 시간 동안에 증가된 보안 인증의 하나 이상의 후속 레벨을 제공하도록 구성될 수 있다.
도 7에 도시된 바와 같이, 모듈은 일체화된 가스 검지 요소(54)가 더 보강될 수 있다. 대신에 가스 검지 요소(54)는 별개의 인접 장치일 수도 있다. 적절한 전기 화학 검지 요소와 같은 높은 특이성, 높은 방향성의 가스 센서를 사용하는 것은, 개가 인간의 질병 냄새를 맡을 수 있는 것처럼, 현재 의학적 상태 혹은 임박한 의학적 상태를 검출하는 데 사용될 수 있다. 이러한 데이터는 별도로 사용될 수도 있고, 혹은 데이터가 해석될 수 있는 더 완벽한 정황을 제공하기 위해서 전술한 광학 데이터 및 전기 데이터와 함께 사용될 수도 있으며, 이로써 의학 진단 또는 일반 헬쓰/건강 진단을 (통계적으로) 더 정확하게 할 수 있다.
보완적인 가스 검지 요소(54)를 사용하는 것은 또한 생체 인증 어플리케이션에 사용될 수도 있다. 지문 스푸프 샘플은 목재, 접착제, 퍼티(putty), 아세테이트 시트 등과 같은 유기 물질에 지문 재생하는 것을 포함할 수 있다. 이러한 물질은 특히 형성 또는 경화 직후에 주로 휘발성 유기 화합물을 방출한다. 나아가, 인간은 모두 피부와 땀을 통해 VOC(volatile organic compound)을 방출한다. 따라서 접촉 지점에서의 가스 환경이 생체 인증 이벤트와 실질적으로 동시에 샘플링되는 접촉 지문이나 근접 지문 또는 기타 생체 인증 이벤트는, 스푸핑 소재 또는 직접 피부의 존재를 "냄새 맡을" 기회를 갖는다. 나아가, 가스 검지 요소에 충분한 해상력이 존재하는 경우에는, 어느 한 개인에 의해 방출되는 VOC(그 사람의 "냄새")의 특정한 비율이 충분히 구별될 수 있으므로, 다른 생물학적 식별 요소 또는 양식으로 사용될 수 있다. 이러한 검지 방식은, 실제 인간 손가락(23)의 존재를 검출하는 가스 검지 요소(54)와 함께 지문 및/또는 혈관 위치에 의한 광 흡수를 검지하는 광 다이오드 어레이(38)로, 도 7에 도시된다.
일체형 센서 모듈 또는 독립형 센서 모듈은 소형 라인 스캐너(단일 또는 좁은 픽셀 라인)로서 배열되고, 이에 대해서 손가락이 물리적으로 스캔 혹은 스와이프될 수 있다. 이는 센서 풋프린트는 감소시키면서도 손가락 또는 다른 신체 부위의 확장된 부분을 스캔할 수 있는 이점을 제공할 수 있다. 독립형 센서 모듈의 경우, 풋프린트가 감소됨으로써, 핸드폰, 시계 및 기타 웨어러블 같은 공간 제한형 플랫폼을 용이하게 설계할 수 있으며 모듈 비용을 절감할 수 있다. 손가락의 스와이핑 동작을 통해서, 소형 폼 팩터 센서가 신체 조직의 확장된 범위를 조사할 수 있게 된다. 신체 조직의 확장된 범위를 검지할 수 있다는 것은, 생체 메트릭 마커가 가장 강한 혹은 가장 명확하게 정의된 특정 조직 영역에서 특정 생체 인증 및 생체 메트릭 마커가 샘플링될 수 있다는 이점을 제공한다. 예를 들어, 전통적인 지문을 획득하려는 경우, 단부의 지골(phalange) 상의 조직이 표피 특성(능선과 계곡)이 풍부한 영역이기 때문에 이를 스캔하면 가장 유용한 정보를 얻을 수 있다. 다른 한편으로, 손가락 정맥 식별 데이터와 같은 고유한 피하 정보를 캡쳐하는 것은 정맥이 큰 중간 지골 상에서 가장 성공적일 수 있으며, 따라서 생체 인증 이벤트 동안에, 검출이 용이하고, 손가락이 센서 모듈에 접촉함으로써 손가락에 가해지는 압력의 충격을 덜 받는다. 따라서, 광학 생체 인증 라인 스캐너는, 손가락이 그 위에서 스캐닝될 때 단부 지골로부터는 지문 데이터를 최적으로 캡쳐하고 중간 지골로부터는 손가락 정맥 식별 데이터를 최적으로 캡쳐하도록 구성될 수 있다. 이 모듈 또한 모듈 상의 손가락의 통과를 검지하고, 센서가 지골 사이 관절 중 하나의 아래를 통과할 때, 조명 소스 또는 초점 길이를 변경하는 것과 같이, 손가락 스캔 동안 모듈의 동작을 변경할 수 있다.
라인 어레이 센서는 또한 편평한 커버 유리 혹은 곡선형 커버 유리의 위나 뒤에 형성될 수 있으며, 이 유리의 곡선은 손가락 또는 손목의 곡선과 거의 일치한다. 이후, 이 센서는 반지 또는 시계와 같은 웨어러블 장치에 통합될 수 있으며, 네트워크화된 경우에는, 사용자의 생체 인증을 제공하는 웨어러블 장치로서 사용될 수 있다. 이러한 장치는 일회용 생체 인증 이벤트를 수행할 수 있다. 이후에 센서 어레이를 지속적으로 또는 주기적으로 폴링(pole)하여 웨어러블 장치가 제거되지 않았으며 사용자가 아직 생존하고 있는지 확인할 수 있다. 이후에 웨어러블 장치는 임의의 후속 생체 인증 이벤트를 수행하지 않고도 사용자가 생체 인증을 유지하고 있음을 확인할 수 있다. 이후, 이 장치는 빠른 사용자 인증을 용이하게 하기 위해서, 예를 들어 전화기, 신용 카드 지불 시스템, ATM, 자동차, 문, 데이터 볼트(data vault) 등과 무선으로 네트워크화될 수 있다. 이러한 양상은 생체 인증 이벤트가, 다수의 심박이 캡쳐되어야 하는 ECG 신호의 분석을 포함하는 경우처럼, 장기 이벤트를 포함하는 경우에 특히 유용하다.
도 8에 도시된 바와 같이, 일체형 센서 모듈 또는 독립형 센서 모듈로부터의 신호는 일체화된 혹은 분리된 인접 접촉식 또는 비접촉식 온도 센서(58)로부터의 데이터로 더 보강될 수 있다. 낮은 청색(적색 또는 IR) 필터(60)가 센서(58)를 커버할 수 있다. 온도 데이터는 독립형 생체메트릭으로서 사용될 수도 있고 혹은 다른 생체 메트릭이 해석되는 추가 정황을 제공하는데 사용될 수 있다.
도 9는 제어 회로 및 광 다이오드가 센서 칩(62)에 일체화되고, 보다 정밀한 포커싱을 위해서 포커싱 옵틱(64)이 광 다이오드 어레이 상에 직접 형성되는, 실시예를 도시한다. 이 포커싱은, 광 가이드(32)와 접촉하는 신체 부위 내의 일정한 거리 내에 있을 수 있다. 모서리에 연결된 LED 광원(30)도 도시되어 있다. 결과적인 모듈은 매우 얇아서 다양한 응용 분야에 쉽게 포함된다.
도 10은, 도 9의 센서 칩(62) 및 옵틱의 일 실시예의 평면도이다. 배열된 광 다이오드(14)의 그룹에 플렌옵틱(plenoptic) 렌즈가 중첩되고, 각각의 광 다이오드(14)를 마이크로 렌즈(66)가 덮을 수 있다. 광 다이오드(14) 사이의 피치는 0.25mm 미만으로 소형인 콤팩트한 어레이를 형성할 수 있다. 이 방식에서, 각각의 플렌옵틱 렌즈(68) 하의 광 다이오드 어레이(14)(검출기 픽셀)는 0.25mm의 분해능을 갖는 하나의 매크로 픽셀을 생성한다. 각각의 광 다이오드(14) 상의 각각의 마이크로-렌즈(66)는 광 캡쳐를 향상시키고 방향성을 제공할 수 있다. 이 예에서 각 플렌옵틱 렌즈(68)는 약 16개의 광 다이오드(14) 상에 배치될 수 있다. 플렌옵틱 렌즈(68)는 다양한 깊이로 포커싱될 수 있고, 신체 부위로부터의 반사광에 관한 더 많은 정보를 수집하도록 방향이 결정될 수 있다. 다양한 렌즈는, 투명 시트를 몰딩하고 광 다이오드 어레이 상에 시트를 적층함으로써 형성될 수도 있고 혹은 광 다이오드 어레이 상에 직접 몰딩함으로써 형성될 수도 있다. 간략하게 하기 위해서 반구형 렌즈(68)가 도시되어 있지만, 이 렌즈는 포커싱에 적합한 임의의 형상일 수 있다. 임의의 광 가이드 유리의 뒷면에 칩이 부착될 수 있다. 다른 실시예에서, 옵틱은 간극을 두고 광 다이오드 어레이로부터 이격된다. 주변 광을 검출하기 위해서 플렌옵틱 렌즈(68)의 외부에 기준 광 다이오드(69)가 위치될 수 있다. 소형화 및 신호 대 잡음비 개선을 위해서, 검출된 신호를 처리하기 위한 시스템 로직(70)이 광 다이오드 어레이와 동일한 칩 상에 형성된다. 이 로직은 아날로그-디지털 변환기 및 디지털 처리 회로를 포함할 수 있다.
도 11은 LED 광원(72)이 보강된 도 10의 모듈을 도시한다. 전술한 바와 같이, 광원(72)은 광 다이오드 어레이 상에 광을 확산시키기 위해 상부의 광 가이드에 광을 주입할 수 있다. 신체 부위로부터 반사되는 광은 광 가이드를 통해 광 다이오드 어레이로 되도록아간다. 다른 실시예에서, 모듈이 작을 수 있기 때문에(예를 들어, 2×2cm 미만) 광 가이드가 필요하지 않고, LED 광원(72)으로부터의 광은 신체 부위 내에서 산란되어 광 다이오드 어레이로 반사된다.
LED 성능은 시간이 지남에 따라 저하되기 때문에, 광 다이오드(14)는 LED 광 출력을 베이스라인에 대해서 비교해서 피드백을 LED 활성화 회로에 제공하여 베이스라인 성능을 달성하는데 사용될 수 있다.
전술한 실시예가 광대역 검출기의 어레이가 협대역 방출기와 함께 수행하는 분광 분석을 포함하지만, 그 기능은, 광학 필터를 그 위에 또는 이들의 광학 경로에 구비하고 있는 검출기와 같은 파장 특정 검출기를 인광 변환(phosphor-converted) 백색 LED와 같은 광대역 이미터와 함께 사용해서 구현될 수도 있다.
도 12는 본 명세서에서 설명되는 모듈의 다양한 가능한 용례를 나타낸다.
도 13은 본 발명의 일 실시예에 따른, 다양한 모듈에 의해 수행되는 기본 단계를 나타내는 흐름도이다.
단계 80에서, 광 검출기 어레이에 대해 LED 디스플레이 패널, 광 가이드 패널 또는 다른 광원이 배치되어서 생체-센서를 형성한다.
단계 82에서, 생체-센서의 출력 윈도우는 분석을 위해 신체 부위에 의해 터치된다. 신체 부위가 출력 윈도우 위에 있는 시점을 검출해서 이미지 검출 프로세스를 시작하기 위해서, 장치에 터치 센서 또는 광 셰도우 센서가 포함될 수 있다.
단계 84에서, LED가 활성화되어서 신체 부위에 소망의 파장을 인가하고, 지문 검출, 혈관 검출, 맥박 등에 대해서 신체 부위에 의한 로컬화된 광 흡수를 검출한다. LED는 동시에 활성화될 수도 있고 또는 순차적으로 활성화될 수도 있다. LED가 순차적으로 활성화되면, 광 검출기는 선택적으로 판독되어, 활성화된 LED에 근접한 신체 부위 내의 위치와 광의 흡수를 보다 양호하게 연관시킬 수 있다. 순차 조명은 임의의 패턴으로 행해질 수 있다.
단계 86에서, 어레이에 걸쳐서 검출되는 광의 상대적 크기를 검출하기 위해서 열 및 행 등으로 광 검출기 어레이로부터의 신호가 스캐닝되어서, 신체 부위에 의한 광 흡수의 상세한 이미지를 효과적으로 획득한다.
LED가 순차적으로 활성화되는 경우, 이 방법은 각각의 활성화 이후에 단계 84로 돌아가서 부가적인 공간 흡수 데이터를 제공한다.
단계 88에서, 원시 데이터는 모듈의 프로세서에 의해 처리되어 사용자의 인증, 의료 분석 등과 같은 결과를 획득한다.
이하, 광 검출기 및 광원이 디스플레이 영역의 외부에 위치하여 디스플레이 부분 자체에 영향을 미치지 않는 실시예를 포함한 다양한 다른 실시예가 개시된다. 따라서, 디스플레이 부분은 일반적으로 종래의 것일 수 있다. 광 검출기는 디스플레이 스크린을 덮는 것과 동일한 유리로 덮여 있다. 바이오 센서 기능을 위해 방출된 광은 디스플레이의 모서리 부분 또는 디스플레이 부분과 이격된 광원으로부터 나온 것일 수 있다.
또한, 디스플레이 부분에 투명한 부분이 분산되어 있고, 이를 신체 부위에 의해 반사된 광이 통과해서 아래에 있는 광 검출기 어레이에 의해 검출되는 실시예가 설명된다.
도 14 내지 도 18은 일체형 디스플레이 및 광학 센서를 도시하며, 여기서 센서는 디스플레이 부분으로부터 측방향으로 이격되지만 동일한 디스플레이 유리 또는 커버 유리를 사용한다. 디스플레이 영역(90)은 적색, 녹색 및 청색 픽셀의 어레이를 포함하며 이는 어드레싱되어서 임의의 이미지를 디스플레이한다. 이 장치는 스마트폰 디스플레이일 수 있다. 디스플레이 영역(90)은 얇은 디스플레이 유리(92)(또는 다른 타입의 광 통과 패널)에 의해 덮여지며, 이는 터치 스크린 센서 층을 포함할 수 있다.
디스플레이 영역(90)의 활성 영역은 미학적 목적으로 흑색 잉크(94)로 둘러싸여 있다. 잉크는 일반적으로 검정색이지만 임의의 색상이 될 수 있다.
디스플레이 영역(90)에 센서 영역(96)이 인접하며, 이는 동일한 유리(92)를 사용한다. 흑색 잉크(94)가 IR에 불투명한 경우, 센서 영역(96)은 잉크로 덮혀 있지 않거나 또는 IR을 통과시키는 IR 잉크(98)로 덮여있다. IR 잉크(98)는 흑색으로 보일 수 있다.
도 16에 도시된 바와 같이, IR 잉크를 통과하는 광을 검출할 수 있도록 광 다이오드 다이와 같은 하나 이상의 광 검출기 소자(100)가 IR 잉크(98) 아래에 탑재된다. IR LED와 같은 IR 발광기(102)가 활성화되어서 센서 영역(96) 위의 유리(92)와 접촉하는 신체 부위에 광을 조사한다. 검출될 생물학적 특성에 따라서 센서 영역(96)에 적색과 같은 다른 파장 LED가 있을 수도 있다. 신체 부위가 손가락이라고 가정하면, IR 광 또는 적색 광은 손가락의 표면으로부터는 부분적으로 반사되고, 손가락 특히 지문의 돌출부가 유리(92)와 접촉하는 부분으로 들어간다. 전술한 바와 같이, 광의 일부는 혈액 및 혈관에 의해 흡수되거나 혹은 혈액 내의 특정 성분에 의해 흡수되며, 흡수의 패턴이 검출된다.
다른 실시예에서, 센서 영역(96)에 의해 방출된 광은 백색광일 수 있고, 검출기 소자(100)가 센서 영역(96)의 전방에 있는 신체 부위 또는 인쇄된 코드를 포함하는 임의의 물체로부터의 백색 광의 반사의 이미지를 검출한다.
검출기 소자(100) 및 IR 발광기(102)를 디스플레이 영역(90)으로부터 측방향으로 이격시킴으로써, 디스플레이 영역(90)은 센서 영역(96)에 의한 영향을 받지 않는다. 따라서, 디스플레이 영역(90)은 매우 높은 해상도의 픽셀 어레이를 가질 수 있다.
검출기의 광학 경로에 옵틱이 통합될 수 있다. 예를 들어, 옵틱은 검출기 다이 위에 몰딩되거나 탑재될 수 있다. 다른 방안으로, 옵틱은 디스플레이 유리(92) 또는 IR 잉크(98) 상에 몰딩될 수도 있고 혹은 탑재될 수도 있다. 옵틱은 또한 선택적으로 디스플레이 유리(92) 내로 에칭될 수도 있다. 유기 염료, 유전체 필터 또는 금속 유전체 필터와 같은 광학 필터가 또한 광 검출기 다이스나, 디스플레이 유리(92)나 또는 광 경로의 임의의 다른 적절한 소자 상에 직접 배치될 수 있다. 검출기는 픽셀 어레이 또는 초점 평면 어레이를 포함할 수 있다.
도 16은 검출기 소자(100)를 보다 상세히 도시한다. 반사된 광(104)은 IR 잉크(98)를 통과해서 검출기 소자(100)에 의해 검출되며, 검출기 소자(100)는 손가락과 같은 신체 부위에 의한 광의 반사/흡수의 고해상도 이미지를 생성하기 위한 단일 검출기 소자 또는 검출기 소자의 어레이일 수 있다.
다른 실시예에서, 표시 영역(90) 내의 LED는 광을 공급하며, 이 광은 신체 부위로부터 반사되고, 이는 검출기 소자(100)에 도달하는 신체 부위 내에서 광의 일부 산란이 있기 때문이다.
도 14 내지 도 18의 장치의 장점은 센서 영역(96)이, 스마트폰 디스플레이일 수 있는 디스플레이 영역(90)의 구성 또는 동작에 영향을 미치지 않는다는 것이다.
센서 영역(96)은 인증을 위해 사용자의 지문 및/또는 혈관 패턴을 검출하는데 사용될 수 있다.
도 16에 도시된 바와 같이, 검출기 소자(100)에 대한 전기적 상호 접속은 IR 잉크(98) 상에 증착된 도전성 트레이스(106, 108) 및 적절한 상호 접속부(110, 112)(예를 들어, 도전성 접착제, 땜납 등)를 통해 이루어질 수 있다. 이와 달리, 도전성 트레이스(106/108)는 유리(92) 상에 직접 증착될 수 있고, 패터닝된 IR 잉크(98)가 그 위에 증착될 수 있다. 도전성 트레이스(106/108)는 예를 들어 도전성 산화물, 도전성 유기 물질, 반도체, 금속 또는 이들의 혼합물을 포함할 수 있다. 상호 접속부(110/112)는 예를 들어 땜납, 금속, 도전성 페이스트, 도전성 필름 또는 이방 도전성 소자를 포함할 수 있다. 검출기 소자(100)는 독립형 광 수용기 또는 그 2차원 어레이 또는 선형 어레이를 포함할 수도 있고, 아날로그 전자 회로 및 선택적인 아날로그-디지털 변환기를 가진 광 다이오드와 같은 하나 이상의 광 수용기 소자, 디지털 제어 로직, 디지털-아날로그 회로 및 프로세싱 회로를 통합하는 소자를 포함할 수도 있다. 검출기 소자(100)는 CMOS 이미지 센서 또는 유사한 장치를 포함할 수 있다.
도 16에는 백 커버(113)도 도시된다.
도 17에 도시된 바와 같이, 검출기 소자(100)에 대한 전기적 접속은 예를 들어 가요성 PCB(플렉스 회로), PCB, 리본 커넥터, 배선 어셈블리 또는 검출기 소자(100)의 이면에 접속된 임의의 다른 적절한 소자에 의해서, 유리(92)에 독립적으로 이루어질 수 있다. 이 예에는 금속 트레이스(114)가 도시되어 있다. 검출기 소자(100)의 이면에 대한 전기적 접속은 또한 스프링 커넥터 또는 다른 유사한 상호 접속 방식을 통해 이루어질 수 있다. 이러한 방식에서, 검출기 소자(100)는 BSI(back-side illuminated) CMOS 이미지 센서에서 사용되는 것과 같은 기술을 포함할 수 있다.
유리(92)에는 LED 또는 VCSEL과 같은 하나 이상의 발광 장치도 탑재될 수 있다. 유사한 방식으로 발광 장치 및 검출기 소자(100)가 유리(92)에 탑재될 수 있다. 발광 장치의 광학 경로에는 옵틱이 통합될 수 있다. 예를 들어, 옵틱은 발광기에 몰딩될 수도 있고 탑재될 수도 있다. 다른 방안으로, 옵틱은 디스플레이 유리(92) 또는 IR 잉크(98) 상에 몰딩될 수도 있고 혹은 탑재될 수도 있다. 옵틱은 또한 선택적으로 디스플레이 유리(92) 내로 에칭될 수 있다. 유기 염료, 유전체 필터 또는 금속 유전체 필터와 같은 광학 필터가 또한 광 검출기 다이스나, 디스플레이 유리나 또는 광 경로의 임의의 다른 적절한 소자 상에 직접 배치될 수 있다. 이 경우, 광은 IR 잉크(98)를 통해 발광 장치로부터 방출되고 디스플레이 유리(92) 위에 있거나 또는 이에 접촉하는 부분 반사체(사용자의 얼굴, 손 또는 손가락과 같은)에 입사된다. 도 18에 도시된 바와 같이, IR 발광기(102)로부터 방출된 광(117)은 신체 부위(116)로부터 반사되어 와서(광선(118)), 검출기 소자(100)에 의해 검출된다. 다른 방안으로, 디스플레이 자체가 발광기로서 사용될 수 있고, 검출기 소자(100)는 디스플레이로부터의 반사광을 간단히 검출할 수 있다.
전술한 예는 IR 잉크(98) 뒤에 위치된 검출기 소자(100)를 포함하지만, 검출기 소자(100)는 잉크가 없을 때 유리(92) 상에 위치될 수도 있다.
방출된 광이 검지 방식의 일부여야 하는 위의 예에서, 발광기를 켜고 끄는 시점에서의 이중 상관 샘플링을 통해 반사되는 신호와 배경 조명을 구별하는 것을 도울 수 있다.
도 19 및 도 20은, 부분-투명 OLED 디스플레이와 같은 부분 투명 디스플레이(119)를 도시하며, 여기에는 이면 유리판(120) 상과 같은, 디스플레이(119)의 이면에 하나 이상의 광 검출기 소자(100)가 탑재되어 있다. 디스플레이(119)는 도 20에 도시된, 의도적으로 투명한 영역(121)의 어레이('투명한 화소')를 포함하며, 그 목적은 디스플레이(119)를 통한 광학 경로를 제공하여 부분적으로 투명하게 만드는 것이다. 이 예에서, 검출기 소자(100)는 부분-투명 디스플레이(119)의 후방에 탑재된 광 다이오드 또는 다른 광 검출기의 어레이일 수 있으며, 이는 검출기 어레이 내의 감광성 소자가 부분 투명 디스플레이(119)의 투명 영역(121) 바로 아래에 놓이는 방식으로, 부분적으로 투명한 디스플레이(119)의 픽셀 어레이에 선택적으로 정렬된다. 신체 일부(16)에서 반사되는 광은, 디스플레이 화소(124) 또는 전용 발광기(102)로부터 나온 것일 수 있다. 도 19에서, 광선(125)은 전용 발광기(102)에 의해 방출되는 것으로 도시되고, 도 20에서는 적색 픽셀(124)에 의해 방출된 광선(126)이 도시된다. 반사되는 광(127)은 검출기 소자(100)에 의해 검출되는 것으로 도시된다.
검출기 소자(100)의 광학 경로에 옵틱이 통합될 수 있다. 예를 들어, 옵틱은 검출기 다이에 몰딩될 수도 있고 혹은 검출기 다이에 탑재될 수도 있다. 다른 방안으로, 옵틱은 이면 유리판(120) 상에 몰딩될 수도 있고 혹은 탑재될 수도 있으며, 혹은 에칭되거나 여기에 패터닝될 수도 있다. 유기 염료, 유전체 필터 또는 금속 유전체 필터와 같은 광학 필터는 광 검출기 다이나, 디스플레이 유리나 또는 광 경로의 다른 적절한 요소에 직접 배치될 수도 있다. 검출기 소자(100)는 픽셀 어레이 또는 초점 평면 어레이를 포함할 수 있다.
광원으로서 임의의 디스플레이 소자가 사용될 수 있으며, 신체 부위로부터 반사되는 광은 검출기 소자(100)에 의해 검출될 수 있다. 각각의 디스플레이 화소 영역에는 투명 영역(121)에 인접해서 적색, 녹색 및 청색 LED(124)(RGB로 표시됨)가 도시되어 있다. 전형적으로 적색, 녹색 및 청색 어레이 픽셀을 포함하는 디스플레이 픽셀 어레이 자체는, 선택적으로 적외선 방출 픽셀, 자외선 방출 픽셀 또는 임의의 다른 적절한 파장의 방출 픽셀을 포함하도록 강화될 수 있다. 이러한 방식에서, 적외선, 자외선 또는 다른 적절한 파장 범위로 발광하는 OLED 물질이 사용될 수 있다. 마이크로-LED 디스플레이의 경우, 예를 들어 AlxInyGazP 및 AlxGayN 각각으로 형성된 적외선 LED 및 자외선 LED는 적색, 녹색 및 청색 LED 픽셀 어레이의 일부로서 통합될 수 있으며, 이들 동일한 물질 또는 다른 화합물 반도체 합금에 의해 다른 적절한 파장이 생성될 수 있다.
이와 달리, 하나 이상의 개별 광학 발광기(102)가 부분적으로 투명한 디스플레이(119) 뒤에 탑재될 수 있다. 이들 발광기(102)로부터의 광은 부분 투명한 디스플레이(119)를 통해 전송되고, 외부의 신체 부위(116)에서 반사되어 검출기 소자(100)에 의해 검출될 수 있다. 옵틱이 발광기(102)의 광학 경로에 통합될 수도 있다. 예를 들어, 광학은 발광기 다이 상에 몰딩될 수도 있고 탑재될 수도 있다. 다른 방안으로, 옵틱은 이면 유리판(120) 상에 몰딩될 수도 있고 혹은 탑재될 수도 있으며, 혹은 에칭되거나 여기에 패터닝될 수도 있다. 유기 염료, 유전체 필터 또는 금속 유전체 필터와 같은 광학 필터가 광 검출기 다이, 디스플레이 유리 또는 광 경로의 다른 적절한 소자에 직접 배치될 수도 있다.
이와 달리, 도 14의 설계와 유사하게, 디스플레이의 측면을 따라 별개의 발광기가 탑재될 수도 있다. 이들 별개의 발광기는 적외선 발광기, 자외선 발광기, 또는 예컨대, LED 또는 형광체로 변환된 LED와 같은 임의의 적절한 파장의 발광기를 포함할 수 있다. 이와 달리, 카메라 플래시, 표시기 LED, 다른 광통신 링크에 통합된 광원이나 또는 임의의 다른 광원과 같은, 최종 제품 내의 별개 발광기가 조명 소스로서 사용될 수 있으며, 이로써 근접한 신체로부터 반사된 신호가 검출될 수 있다. 나아가, 전술한 바와 같이, 광원은 디스플레이 유리에 에지 연결될 수 있고, 디스플레이 유리는 신체 부위와 디스플레이 유리의 접촉점에서 벗어날 때까지 내부적으로 TIR에 의해서 광을 확산시킨다.
도 21은 AMOLED 디스플레이와 같은 디스플레이(130) 내의 단일 픽셀을 나타내고 있으며, 이는 LPTS(low-temperature polycrystalline silicon), 비정질 실리콘(a-Si) 또는 결정질 실리콘에 형성된 박막 트랜지스터(TFT) 어레이(134)를 포함하는 반도체 백플레인(132)을 더 포함한다. 이러한 실시예에서, 하나 이상의 감광성 검출 소자(100)는 표면 유기 전계 발광층의 증착에 앞서 반도체 백플레인(132)에 형성된다. 검출기 소자(100)는 예를 들어 p-i-n 광 다이오드와 같은 광 다이오드를 포함할 수 있다. OLED 재료는 TFT 어레이(134) 위에 성장되거나 증착되어서 적색, 녹색 및 청색 서브 픽셀(135)을 형성한다. 적외선 서브 픽셀은 또한 어레이의 일부분으로 형성될 수 있다. 선택적으로 검출기 소자(100) 상에는 옵틱(136)이 형성되거나 배치될 수 있다. 이러한 옵틱은 예를 들어, 포토레지스트 리플로우 공정 또는 인쇄 공정에 의해 형성된 렌즈를 포함할 수 있다. 하나 이상의 검출기 소자(100)는 디스플레이에 직접 통합된 광 검출기 또는 검출기 어레이로서 사용될 수 있다. 광선(138)도 도시되어 있다.
유기 색소, 유전체 필터 또는 금속-유전체 필터와 같은 광학 필터가 검출기 소자(100) 위에 선택적으로 통합되어서 특정 파장에 대한 감도를 가진 픽셀을 생성할 수 있다. 예를 들어, 적색, 녹색, 청색, 시안, 마젠타, 옐로우, IR 및 UV 흡수 염료가 선택적으로 상이한 검출기 소자 위에 배치되어서, 색 감지 또는 분광이 가능한 다중 픽셀 검출기를 제공할 수 있다. OLED 재료 자체는 선택적으로 광 다이오드 상에 배치될 수 있으며, 적색, 녹색 및 청색 OLED 물질은 모두 상이한 흡수 스펙트럼을 가지며, 따라서 별개의 광학 필터로서 작용한다.
도 22는 통합된 디스플레이 및 검출기의 다른 실시예를 도시하고, 도 23은 도 22의 디스플레이/검출기의 단일 픽셀 영역을 도시한다.
풀 컬러 디스플레이(140)는 LPTS, 비정질 실리콘(a-Si) 또는 결정질 실리콘에 형성된 박막 트랜지스터(TFT) 어레이를 포함하는 TFT-LCD와 같은 백플레인(142)을 포함한다. 트랜지스터는 투명 유리 기판(146)(도 23) 상에 증착된 패터닝되고 도핑된 비정질 실리콘일 수 있으며, 패터닝된 도체는 ITO와 같이 투명할 수 있다. 유리 기판(146) 상에는 박막 트랜지스터의 어레이(147)가 LCD 층(148)과 함께 형성되고, 트랜지스터(144)는 종래의 열 및 행 디코더에 의해 턴온되어서 각 LCD 픽셀을 제어하는데, 그 중 하나가 도 23에 도시된다.
청색, 적색 및 녹색 필터와 같은 컬러 필터(150)가 LCD 층(148)의 위 또는 아래에 형성되어서 청색, 적색 및 녹색 서브 픽셀을 형성한다. 적외선 서브 픽셀은 또한 픽셀의 일부분으로 형성될 수 있다. 서브 픽셀을 보다 광학적으로 분리하기 위해 상부 디스플레이 유리(154) 상에 흑색 마스크(152)가 인쇄된다.
백플레인(142)의 디스플레이 부분은 종래의 것일 수 있다.
백색 백라이트(156)는 백플레인(142) 아래에 위치되고, LCD 서브 픽셀은 제어 가능한 셔터와 같이 동작하여 각 픽셀에 대해 선택된 양의 청색, 적색 및 녹색 광을 발광해서 광범위한 색 영역을 생성한다.
일반적으로 백플레인(142)을 형성하는데 포토리소그래피가 사용되며, 매우 높은 분해능이 얻어질 수 있다.
이 디스플레이를 검출기로 보강하기 위해, 비정질 실리콘 광 다이오드와 같은 하나 이상의 광 검출기 소자(158)도 포토 리소그래피에 의해 백플레인(142) 상에 증착되고 패터닝된다. 광 다이오드는, TFT 어레이에 형성되고 추가적인 마스킹 단계를 사용해서 형성된 실리콘 트랜지스터(147)의 변형일 수 있다. TFT 어레이 및 광 다이오드는 유리 기판(146) 상의 동일한 평면에 형성될 수 있다. 기판(146) 상의 적절한 도체가 광 다이오드를 검출기 회로에 접속시킨다. 광 다이오드는 디스플레이 영역 외부에 있을 수도 있고 디스플레이 영역 전체에 걸쳐 분포될 수도 있다. 광 검출기 소자(158)는 예를 들어 p-i-n 광 다이오드와 같은 광 다이오드를 포함할 수 있다.
도 22에 도시된 바와 같이, IR 발광기(159) 또는 다른 피크 파장 LED는 디스플레이 유리(154)의 모서리에 광학적으로 연결되며, 여기서 디스플레이 유리(154)는 IR 광(164)을 확산시켜서, IR 광(164)을 백플레인(142)으로부터 멀어지도록 광 검출기 소자(158) 상에서만 방출하는 도파관으로서 사용된다. 이 광은 전술한 바와 같이 신체 일부(116)가 디스플레이 유리(154)와 접촉하는 영역에서만 디스플레이 유리(154)로부터 추출된다. 신체 부위가 디스플레이 유리와 접촉할 필요가 없다면, 도파된 광을 추출하도록 디스플레이 유리(154)의 표면은 광 검출기 소자(158) 위에서 거칠게 될 수 있다. 디스플레이 유리는 픽셀의 디스플레이 부분 상에서 클리어할 수 있다.
IR 필터(162)는 또한 디스플레이 유리(154)의 하부 표면 상에 인쇄될 수 있고, RGB 컬러 필터(150)와 동일면일 수 있다.
도 23은 검출기용 광(168)을 제공하는 백라이트(156)를 도시한다. 그러나, 검출기용 광은 도 22에 도시된 바와 같이 디스플레이 유리(154)의 에지에 결합될 수 있다.
선택적으로 광 검출기 소자(158) 상에는 옵틱이 형성되거나 배치될 수 있다. 이러한 옵틱은 예를 들어, 포토레지스트 리플로우 공정 또는 인쇄 공정에 의해 형성된 렌즈를 포함할 수 있다. 이 하나 이상의 광 검출기 소자는 디스플레이에 직접 통합된 광 검출기 또는 검출기 어레이로서 사용될 수 있다. 이 예시에서, 백라이트가 광 검출기 소자를 직접 조명하는 것을 차단하도록, 성장 기판과 광 검출기 소자 사이에 차광층이 통합될 수 있다.
선택적으로, 유기 염료, 유전체 필터 또는 금속-유전체 필터와 같은 광학 필터가 검출기 픽셀에 통합되어서 특정 파장에 대한 감도를 가진 픽셀을 생성할 수도 있다. 예를 들어, 적색, 녹색, 청색, 시안, 마젠타, 옐로우, IR 및 UV 흡수 염료가 선택적으로 상이한 검출기 픽셀 위에 배치되어서, 색 감지 또는 분광이 가능한 다중 픽셀 검출기를 제공할 수 있다. 선택적으로, 표준 LCD 컬러 필터 재료 자체가 광 다이오드 상에 배치될 수도 있다.
일부 실시예에서, 검출기 픽셀이 LCD 소자 아래에 직접 배열되어서 LCD 메트릭스가 검출기 픽셀을 서텨하는데 사용될 수도 있으며, 이는 어레이에 의한 이미지의 캡쳐를 용이하게 한다.
도 22에서, 디스플레이 부분은 정상적으로 동작하여 임의의 이미지 또는 명령어를 디스플레이하고, 도 22의 적외선 LED(159)는 활성화되어서 디스플레이 유리(154)가 광 검출기 소자(158)의 영역에서 IR 광을 방출하게 한다. 방출된 광은 광 검출기 소자(158)에 근접한 디스플레이 유리(154) 상에 있는 또는 이와 접촉하는 신체 부위(116)에 의해서 반사되고 흡수되며, 광 검출기 소자(158)로부터의 신호는 검출기 회로에 의해 처리되어서 지문, 혈관, 얼굴 인식, 이들의 조합 등과 같은 신체 부위(116)의 특징을 식별한다. 광 검출기 소자(158)는 원하는 해상도에 따라 임의의 수의 픽셀을 포함할 수 있다. 따라서, 검출을 위한 모든 발광은 IR LED(159)와 같은 측방 발광원에 의해 발생되므로, IR 발광기에 의해 디스플레이 픽셀 영역이 점유되지 않는다.
유리(154)와 신체 조직의 굴절률이 유사하기 때문에 유리가 신체 조직과 접촉하는 지점에서 광이 조직 내로 전달된다. 이후 광은 감쇠되고 조직으로부터 검출기로 역산란되어서 검출기로부터 검출될 수 있다. 이 검출된 광으로부터 생체 인증 서명 또는 생체 측정 데이터가 확인될 수 있다.
IR 이외의 파장이 다른 생물학적 특성, 특히 얼굴 인식을 검출하는 데 사용될 수 있다.
일 실시예에서, 디스플레이 부분은 종래의 이미지를 디스플레이하기 위한 고해상도일 수 있고, 검출기 부분은 디스플레이 유리 아래의 검출 부분의 위치를 식별하기 위해 저해상도 가시광 픽셀을 포함할 수 있다. 예를 들어, 검출기 내의 발광 픽셀(예를 들어, RGB 또는 백색)은 검출기 영역의 윤곽을 제공하거나 사용자에 대한 간단한 명령어를 식별할 수 있다. 이러한 실시예에서, 디스플레이 부분의 픽셀은 검출 영역의 발광 픽셀과는 무관하게 작동한다. 검출기 영역 내의 발광 픽셀은 또한 검출될 신체 부위에 대한 조명 픽셀로서의 역할을 할 수 있다.
모든 실시예에서, 도 1의 검출 회로 및 제어 회로는 장치에 통합될 수 있다.
본 발명의 특정 실시예가 도시되고 기술되었지만, 당업자라면 본 발명의 범주를 벗어나는 일 없이 변경 및 수정이 이루어질 수 있다는 것을 이해할 수 있을 것이며, 따라서 첨부된 청구 범위는 본 발명의 진정한 사상 및 범주 내에 있는 이러한 모든 변경 및 수정을 포함하는 것이다.

Claims (29)

  1. 바이오 센서 장치로서,
    광 통과 패널을 가지며, 픽셀에 광을 방출해서 이미지를 생성하는 디스플레이 부분 - 상기 픽셀은 제 1 세트의 피크 파장을 가진 광을 생성함 - 과,
    상기 광 통과 패널의 일부를 통해서 광을 수광하도록 구성된 검출기 부분 - 상기 검출기 부분은 광을 방출하는 상기 디스플레이 부분의 상기 픽셀로부터 측방향으로 이격됨 - 과,
    상기 광 통과 패널을 통해 광을 방출해서 사람의 신체 부위에 의해 부분적으로 반사 및 흡수되게 하도록 구성된 광원 - 상기 광원은 상기 이미지를 생성하는데 사용되는 상기 디스플레이 부분 내의 상기 픽셀과는 상이함 - 과,
    상기 디스플레이 부분 내의 상기 픽셀로부터 측방향으로 이격되며 적어도 상기 신체 부위에 의해 반사된 광을 검출하도록 배치된, 상기 검출기 부분 내의 하나 이상의 광 검출기 - 상기 광 검출기는 상기 반사된 광에 대응하는 제 1 신호를 생성함 - 와,
    상기 하나 이상의 광 검출기에 연결되며, 상기 제 1 신호를 분석해서 상기 신체 부위의 특성을 결정하도록 구성된 검출 회로
    를 포함하는 장치.
  2. 제 1 항에 있어서,
    상기 픽셀은 적색, 녹색 및 청색 광을 생성하고,
    상기 광원은 적외선 광을 생성하는
    장치.
  3. 제 1 항에 있어서,
    상기 광원은 상기 광 통과 패널의 모서리에 인접하여 광학적으로 연결되고,
    상기 광 통과 패널은, 상기 광원으로부터의 광을 가이드해서 상기 광원으로부터의 광을 상기 광 통과 패널의 발광면을 통해서 방출하는 도파관의 역할을 하는
    장치.
  4. 제 3 항에 있어서,
    상기 광 통과 패널은, 실질적으로 상기 신체 부위가 상기 발광면과 직접 접촉하는 상기 광 통과 패널의 상기 발광면을 통해서만 상기 광이 방출되도록 구성되는
    장치.
  5. 제 1 항에 있어서,
    상기 광원은 상기 디스플레이 부분의 상기 픽셀로부터 측방향으로 이격되는
    장치.
  6. 제 1 항에 있어서,
    상기 광원은 하나 이상의 발광 다이오드를 포함하는
    장치.
  7. 제 1 항에 있어서,
    상기 광원은 상이한 피크 파장의 광을 방출하는 발광 다이오드를 포함하는
    장치.
  8. 제 1 항에 있어서,
    상기 광원은 혈관에 의해 흡수되는 파장의 광을 방출하는
    장치.
  9. 제 1 항에 있어서,
    상기 광원은 광 가이드를 포함하고,
    하나 이상의 발광 다이오드로부터의 광은 상기 광 가이드에 광학적으로 결합되며,
    상기 광 가이드는 그 표면을 통해 광을 방출하도록 구성되는
    장치.
  10. 제 9 항에 있어서,
    상기 광 통과 패널은 상기 광 가이드인
    장치.
  11. 제 9 항에 있어서,
    상기 하나 이상의 광 검출기는 상기 광 가이드 뒤에 위치되어서, 상기 신체 부위로부터 반사된 광이 상기 광 가이드를 통과하여 상기 하나 이상의 광 검출기에 의해 검출되게 하는
    장치.
  12. 제 1 항에 있어서,
    상기 신체 부위로부터 반사된 광의 각도 범위를 제한하도록, 상기 하나 이상의 광 검출기 위에 렌즈를 더 포함하는
    장치.
  13. 제 1 항에 있어서,
    상기 신체 부위로부터 반사된 광을 상기 신체 부위에 대해 일정한 거리로부터만 상기 하나 이상의 광 검출기 상으로 포커싱하도록, 상기 광 검출기 위에 렌즈를 더 포함하는
    장치.
  14. 제 1 항에 있어서,
    상기 장치에 통합된 비광학(non-optical) 센서
    를 더 포함하는 장치.
  15. 제 14 항에 있어서,
    상기 비광학 센서는 상기 신체 부위가 접촉하는 전극을 포함하는
    장치.
  16. 제 1 항에 있어서,
    상기 신체 부위는 손가락을 포함하고,
    상기 장치는 지문을 검출하도록 구성되는
    장치.
  17. 제 1 항에 있어서,
    상기 신체 부위는 손가락을 포함하고,
    상기 장치는 상기 손가락 내의 혈관을 검출하도록 구성되는
    장치.
  18. 제 1 항에 있어서,
    상기 신체 부위는 손가락을 포함하고,
    상기 장치는 상기 손가락의 지문과 혈관을 모두 검출하도록 구성되는
    장치.
  19. 제 1 항에 있어서,
    상기 장치에 통합된 프로세서를 더 포함하고,
    상기 프로세서는 상기 광원의 활성화 및 상기 하나 이상의 광 검출기에 의해 수광되는 상기 반사된 광의 검출을 제어하는
    장치.
  20. 제 1 항에 있어서,
    상기 광 검출기로부터의 데이터를 처리하고, 상기 데이터를 저장된 데이터와 비교하며, 상기 장치의 사용자의 인증을 표시하도록 구성된 프로세서
    를 더 포함하는 장치.
  21. 제 1 항에 있어서,
    프로세서를 더 포함하고,
    상기 광원은 복수의 발광 다이오드를 포함하며,
    상기 프로세서는 상기 발광 다이오드가 순차적으로 조명되게 제어하도록 구성되고,
    상기 하나 이상의 광 검출기로부터의 신호는 상기 프로세서에 의해 판독되어 처리되는
    장치.
  22. 제 1 항에 있어서,
    상기 신체 부위의 광 반사 이미지를 검출해서 상기 신체 부위의 광의 흡수 영역을 결정하도록 구성된 프로세서
    를 더 포함하는 장치.
  23. 제 1 항에 있어서,
    상기 하나 이상의 광 검출기로부터의 데이터를 처리하도록 구성된 프로세서를 더 포함하고,
    상기 프로세서는 제스처를 검출하기 위해 상기 신체 부위의 움직임을 검출하는
    장치.
  24. 바이오 센서 장치로서,
    광 통과 패널을 가지며, 픽셀에 광을 방출해서 이미지를 생성하는 디스플레이 부분 - 상기 픽셀은 제 1 세트의 피크 파장을 가진 광을 생성함 - 과,
    상기 광 통과 패널의 모서리에 인접하여 광학적으로 연결된 광원 - 상기 광 통과 패널은 상기 광원으로부터의 광을 가이드해서, 상기 광원으로부터의 광을 상기 광 통과 패널의 발광면을 통해서 방출하는 광 가이드의 역할을 하고, 상기 광원은 상기 이미지를 생성하는데 사용되는 상기 디스플레이 부분 내의 상기 픽셀과는 상이함 - 과,
    상기 광 통과 패널과 접촉하는 신체 부위에 의해 반사된 광을 검출하도록 배치된 하나 이상의 광 검출기 - 상기 광원으로부터의 광은 상기 신체 부위가 상기 광 통과 패널과 접촉하는 영역에서 상기 광 통과 패널로부터 추출되고, 상기 광 검출기는 상기 반사된 광에 대응하는 제 1 신호를 생성함 - 와,
    상기 하나 이상의 광 검출기에 연결되며, 상기 제 1 신호를 분석해서 상기 신체 부위의 특성을 결정하도록 구성된 검출 회로
    를 포함하는 장치.
  25. 제 24 항에 있어서,
    상기 하나 이상의 광 검출기는 상기 디스플레이 부분으로부터 측방향으로 이격되는
    장치.
  26. 제 24 항에 있어서,
    상기 하나 이상의 광 검출기는 상기 디스플레이 부분 내에 분포되는
    장치.
  27. 제 24 항에 있어서,
    상기 검출 회로는, 지문의 돌출부(crest)가 상기 광 통과 패널과 접촉하는 위치에서 지문을 검출하고, 상기 광 통과 패널로부터 광을 추출하는
    장치.
  28. 제 27 항에 있어서,
    상기 검출 회로는 또한 상기 손가락의 혈관 패턴을 검출하는
    장치.
  29. 제 28 항에 있어서,
    상기 검출 회로는 상기 손가락의 지문과 혈관의 조합된 패턴을 검출하는
    장치.
KR1020197000734A 2016-06-09 2017-06-09 생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서 KR102202342B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662348096P 2016-06-09 2016-06-09
US62/348,096 2016-06-09
US15/600,480 2017-05-19
US15/600,480 US10931859B2 (en) 2016-05-23 2017-05-19 Light emitter and sensors for detecting biologic characteristics
US15/618,043 US10713458B2 (en) 2016-05-23 2017-06-08 Integrated light emitting display and sensors for detecting biologic characteristics
US15/618,043 2017-06-08
PCT/US2017/036881 WO2017214582A1 (en) 2016-06-09 2017-06-09 Integrated light emitting display and sensors for detecting biologic characteristics

Publications (2)

Publication Number Publication Date
KR20190028429A true KR20190028429A (ko) 2019-03-18
KR102202342B1 KR102202342B1 (ko) 2021-01-12

Family

ID=60578220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000734A KR102202342B1 (ko) 2016-06-09 2017-06-09 생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서

Country Status (4)

Country Link
JP (1) JP2019525290A (ko)
KR (1) KR102202342B1 (ko)
CN (1) CN109475328A (ko)
WO (1) WO2017214582A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209557A1 (ko) * 2019-04-08 2020-10-15 하나마이크론(주) 이미지 센서 패키지, 모듈 및 그 제조 방법
KR20210028260A (ko) * 2018-07-26 2021-03-11 피에이. 코테 패밀리 홀딩 게엠베하 다기능 디스플레이
WO2021194019A1 (ko) * 2020-03-27 2021-09-30 엘지전자 주식회사 이미지 획득 장치
US11527096B2 (en) 2020-01-29 2022-12-13 Samsung Display Co., Ltd. Electronic device and method of measuring biometric information using the same
US12002284B2 (en) 2020-01-10 2024-06-04 Semiconductor Energy Laboratory Co., Ltd. Electronic device and program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018101532A1 (de) * 2018-01-24 2019-07-25 Iris-Gmbh Infrared & Intelligent Sensors Sensorsystem
EP3701420B1 (en) * 2018-05-07 2021-04-14 WaveTouch Limited Compact optical sensor for fingerprint detection
US11450138B2 (en) 2018-10-26 2022-09-20 Fingerprint Cards Anacatum Ip Ab Under display biometric imaging arrangement
CN109934137B (zh) * 2019-02-28 2021-01-08 维沃移动通信有限公司 一种光电指纹识别装置、终端及指纹识别方法
CN109907746A (zh) * 2019-04-22 2019-06-21 深圳仙苗科技有限公司 一种可采集紫外线与心电信号的健康手环及其使用方法
CN110197172B (zh) * 2019-06-10 2021-10-19 清华大学 一种基于光电血管容积信息进行身份认证的方法及装置
CN110928022B (zh) * 2019-11-26 2022-11-08 武汉华星光电技术有限公司 液晶盒和液晶显示屏
KR102317209B1 (ko) * 2019-12-12 2021-10-25 서울대학교산학협력단 지문 분리 장치 및 방법
CN111160253A (zh) * 2019-12-30 2020-05-15 业成科技（成都）有限公司 生物识别模组、可穿戴设备及移动终端
EP3892189B1 (en) * 2020-04-06 2023-06-07 Withings Wristwatch for measuring spo2
EP4136572A4 (en) * 2020-04-15 2023-10-11 Fingerprint Cards Anacatum IP AB SPOOFING DETECTION BASED ON SPECULAR AND DIFFUSE REFLECTIONS
KR20210129915A (ko) * 2020-04-21 2021-10-29 삼성전자주식회사 생체정보 측정모듈
CN111599846B (zh) * 2020-05-29 2023-02-07 京东方科技集团股份有限公司 显示面板及其制备方法、显示装置
KR20220000160A (ko) * 2020-06-25 2022-01-03 삼성전자주식회사 대상체의 성분 분석 장치 및 방법
WO2022000434A1 (en) * 2020-07-02 2022-01-06 Huawei Technologies Co., Ltd. Display apparatus and method of driving disaplay apparatus
FR3113429A1 (fr) * 2020-08-17 2022-02-18 Isorg Dispositif d'acquisition d'images
SE545864C2 (en) * 2020-09-21 2024-02-27 Pu Sensor Ab An optical sensor plate for measuring blood flow via the skin of a patient
CN114361264A (zh) * 2020-09-29 2022-04-15 华为技术有限公司 Ppg传感器和电子设备
CN112415002B (zh) * 2020-11-10 2023-03-14 之江实验室 一种基于图像传感器的多模态传感器件
US11532175B1 (en) 2021-05-25 2022-12-20 Qualcomm Incorporated Imaging an object on a display
CN113588575B (zh) * 2021-07-27 2024-02-27 湖南江丰现代实验室有限公司 一种生物安全柜生物检测仪
JPWO2023032863A1 (ko) * 2021-09-01 2023-03-09
CN116649009A (zh) * 2021-11-23 2023-08-25 京东方科技集团股份有限公司 显示基板及显示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008123584A1 (ja) * 2007-04-04 2008-10-16 Sony Corporation 生体認証装置
KR20100075731A (ko) * 2008-12-25 2010-07-05 소니 주식회사 표시 패널 및 모듈 및 전자 기기
JP2016038913A (ja) * 2014-08-07 2016-03-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 認証装置及び認証方法並びに記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200687B2 (ja) * 2002-05-13 2008-12-24 株式会社日立製作所 生体認証装置および該装置実現のためのプログラム
JP4410543B2 (ja) * 2003-12-09 2010-02-03 三菱電機株式会社 個人識別装置
US7605709B2 (en) * 2004-02-09 2009-10-20 Tolliver Charlie L System, apparatus and method for screening personnel
JP4815863B2 (ja) * 2005-04-28 2011-11-16 ソニー株式会社 撮像装置
US8280118B2 (en) * 2006-11-21 2012-10-02 Hitachi, Ltd. Biometrics authentication device and portable terminal
JP2008212311A (ja) * 2007-03-02 2008-09-18 Ricoh Co Ltd 生体認証装置
JP4844481B2 (ja) * 2007-06-25 2011-12-28 株式会社日立製作所 撮像装置及びこれを搭載した装置
JP5293950B2 (ja) * 2008-03-04 2013-09-18 株式会社リコー 個人認証装置及び電子機器
JP5229490B2 (ja) * 2009-03-17 2013-07-03 株式会社リコー 生体認証装置
JP5816682B2 (ja) * 2011-04-22 2015-11-18 株式会社日立製作所 血管画像撮影装置及び生体認証装置
JP6069822B2 (ja) * 2011-10-12 2017-02-01 セイコーエプソン株式会社 撮像方法、生体認証方法、撮像装置および生体認証装置
JP2012128868A (ja) * 2012-02-16 2012-07-05 Hitachi Ltd 特徴画像撮影装置、及び個人認証装置
CN202533965U (zh) * 2012-03-29 2012-11-14 北京方法科技发展有限公司 一种指纹采集装置
CN105980853B (zh) * 2013-10-11 2018-07-06 Hid环球公司 小型化光学生物测定感测
US9520510B2 (en) * 2013-12-03 2016-12-13 Samsung Display Co., Ltd. Embedded optical sensors using transverse Fabry-Perot resonator as detectors
JP5950121B2 (ja) * 2013-12-27 2016-07-13 日本電気株式会社 認証装置
JP6134662B2 (ja) * 2014-01-31 2017-05-24 株式会社 日立産業制御ソリューションズ 生体認証装置および生体認証方法
US9570002B2 (en) * 2014-06-17 2017-02-14 Apple Inc. Interactive display panel with IR diodes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008123584A1 (ja) * 2007-04-04 2008-10-16 Sony Corporation 生体認証装置
KR20100075731A (ko) * 2008-12-25 2010-07-05 소니 주식회사 표시 패널 및 모듈 및 전자 기기
JP2016038913A (ja) * 2014-08-07 2016-03-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 認証装置及び認証方法並びに記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028260A (ko) * 2018-07-26 2021-03-11 피에이. 코테 패밀리 홀딩 게엠베하 다기능 디스플레이
WO2020209557A1 (ko) * 2019-04-08 2020-10-15 하나마이크론(주) 이미지 센서 패키지, 모듈 및 그 제조 방법
US12002284B2 (en) 2020-01-10 2024-06-04 Semiconductor Energy Laboratory Co., Ltd. Electronic device and program
US11527096B2 (en) 2020-01-29 2022-12-13 Samsung Display Co., Ltd. Electronic device and method of measuring biometric information using the same
WO2021194019A1 (ko) * 2020-03-27 2021-09-30 엘지전자 주식회사 이미지 획득 장치
US11888292B2 (en) 2020-03-27 2024-01-30 Lg Electronics Inc. Image acquiring device

Also Published As

Publication number Publication date
KR102202342B1 (ko) 2021-01-12
JP2019525290A (ja) 2019-09-05
WO2017214582A1 (en) 2017-12-14
CN109475328A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
US11341764B2 (en) Integrated light emitting display, IR light source, and sensors for detecting biologic characteristics
KR102202342B1 (ko) 생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서
US10931859B2 (en) Light emitter and sensors for detecting biologic characteristics
US11017068B2 (en) Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
CN111316287B (zh) 用于屏上指纹感测的超薄屏下光学传感器中的透镜-针孔阵列设计
US10963671B2 (en) Multifunction fingerprint sensor having optical sensing capability
KR101924916B1 (ko) 온-스크린 지문 감지를 위한 언더-스크린 광학 센서 모듈
EP3465399B1 (en) Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing
US10410037B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
CN111448570B (zh) 利用集成到显示屏的光学检测器对显示屏上或接近显示屏的指纹或其他图案进行光学感测
CN108496180B (zh) 在显示器下面的光学指纹传感器
CN109478083B (zh) 具有力感测能力的光学指纹传感器
WO2020232680A1 (zh) 用于生物识别的方法、指纹识别装置和电子设备
US20090039241A1 (en) Biometric device and information terminal
US11380125B2 (en) Under-screen fingerprint reader
EP3440594A1 (en) Improving optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
CN105981039A (zh) 安全的人体指纹传感器
CN111788574B (zh) 具有集成有光电检测器的tft的oled显示屏
TW201723761A (zh) 電子裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant