KR102277453B1 - 터치 센서를 구비한 전자 장치 및 그 구동 방법 - Google Patents
터치 센서를 구비한 전자 장치 및 그 구동 방법 Download PDFInfo
- Publication number
- KR102277453B1 KR102277453B1 KR1020150017963A KR20150017963A KR102277453B1 KR 102277453 B1 KR102277453 B1 KR 102277453B1 KR 1020150017963 A KR1020150017963 A KR 1020150017963A KR 20150017963 A KR20150017963 A KR 20150017963A KR 102277453 B1 KR102277453 B1 KR 102277453B1
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- touch
- display
- sensor pattern
- recognition sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G06K9/00006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
- G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04112—Electrode mesh in capacitive digitiser: electrode for touch sensing is formed of a mesh of very fine, normally metallic, interconnected lines that are almost invisible to see. This provides a quite large but transparent electrode surface, without need for ITO or similar transparent conductive material
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
Abstract
본 발명의 다양한 실시예는 디스플레이; 상기 디스플레이 상의 터치 입력을 인식하기 위한 터치 인식 센서 패턴; 상기 디스플레이 상의 지문 입력을 인식하기 위한 지문 인식 센서 패턴; 및 상기 디스플레이와 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴과 기능적으로 연결되는 프로세서를 포함하며, 상기 프로세서는 지문 인식 모드 실행 여부를 판단하고, 판단된 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시킬 수 있다.
Description
본 발명의 다양한 실시예는 전자 장치에서 지문 인식(Fingerprint verification) 기술을 포함하는 터치 센서를 구비한 전자 장치 및 그 구동 방법에 관한 것이다.
스마트폰, 태블릿, 웨어러블 기기와 같은 전자 장치 사용이 일상화되면서, 이를 이용하여 보안성, 사용성 이슈에 대한 관심이 높아졌다. 사실 보안성과 사용성은 trade-off 관계여서 보안성을 높이면 사용성이 떨어지는 것이 일반적이다. 그러나 2D 지문 센서가 디스플레이와 함께 장착되면 보안성만 높았던 지문인식의 사용성을 획기적으로 개선시킬 수가 있다. TSP를 사용하는 일반 터치와 지문인식을 위한 터치의 사용자 경험이 유기적으로 연결되게 됨으로써 보안과 사용성을 동시에 취할 수 있게 된다.
이처럼 디스플레이에서 인식할 수 있는 2D 지문센서는 혁신적인 기술임에는 틀림이 없으나, 실제 구현에는 많은 기술적 과제가 산재하고 있다. 가장 큰 부분은 지문 인식률이고, 전류 소모가 크다는 것이다.
전자 장치에 탑재된 지문 센서는 스와이프 방식, 또는 터치 방식으로 지문의 모양을 인식하여 이미 생성된 지문 데이터와 비교하여 인증한다. 지문의 모양을 인식하기 위해서는 지문의 골형 부분(Valley)과, 산형 부분(Ridge)을 판단할 수 있어야 한다. 지문의 골형/산형 부분 구분은 다양한 방식이 사용되는데, 광학(Optical), 초음파(Ultrasonic), 정전 용량(Capacitance) 방식 등이 사용된다.
그 중, 정전 용량 방식이 스마트폰, 태블릿과 같은 전자 장치에서 많이 사용되고 있다. 정전 용량 방식에서 지문 인식을 위한 센서는 Tx, Rx로 구성되어 있고, 특히 Rx는 지문 인식을 위해 조밀한 간격으로 구성된다. 사용자가 Tx, Rx로 구성된 지문 센서에 손을 대면, Tx에서 Rx로 전하가 송신되게 되는데, 손가락과 Tx와의 거리에 따라 Rx에 수신된 캐패시턴스(Capacitance) 값이 차이가 나게 된다. 이 값의 크기는 거리에 반비례하므로, 이를 기반으로 지문의 산형 부분과 골형 부분 형상을 생성할 수 있다.
캐패시턴스(Capacitance)를 이용한 지문 센서는 Tx, Rx를 구성하는 방식에 따라 1D 또는 2D 지문센서로 정의될 수 있다. 1D 지문센서는 흔히 손가락을 훑는 모양, 즉 스와이프 방식으로 불리우며, 2D 지문 센서는 손가락을 누르는 형태, 즉 터치 방식으로 불린다.
이처럼 디스플레이에서 인식할 수 있는 2D 지문센서는 혁신적인 기술임에는 틀림이 없으나, 실제 구현에는 많은 기술적 과제가 산재하고 있다. 가장 큰 부분은 지문 인식률이고, 전류 소모가 크다는 것이다.
전자 장치에 탑재된 지문 센서는 스와이프 방식, 또는 터치 방식으로 지문의 모양을 인식하여 이미 생성된 지문 데이터와 비교하여 인증한다. 지문의 모양을 인식하기 위해서는 지문의 골형 부분(Valley)과, 산형 부분(Ridge)을 판단할 수 있어야 한다. 지문의 골형/산형 부분 구분은 다양한 방식이 사용되는데, 광학(Optical), 초음파(Ultrasonic), 정전 용량(Capacitance) 방식 등이 사용된다.
그 중, 정전 용량 방식이 스마트폰, 태블릿과 같은 전자 장치에서 많이 사용되고 있다. 정전 용량 방식에서 지문 인식을 위한 센서는 Tx, Rx로 구성되어 있고, 특히 Rx는 지문 인식을 위해 조밀한 간격으로 구성된다. 사용자가 Tx, Rx로 구성된 지문 센서에 손을 대면, Tx에서 Rx로 전하가 송신되게 되는데, 손가락과 Tx와의 거리에 따라 Rx에 수신된 캐패시턴스(Capacitance) 값이 차이가 나게 된다. 이 값의 크기는 거리에 반비례하므로, 이를 기반으로 지문의 산형 부분과 골형 부분 형상을 생성할 수 있다.
캐패시턴스(Capacitance)를 이용한 지문 센서는 Tx, Rx를 구성하는 방식에 따라 1D 또는 2D 지문센서로 정의될 수 있다. 1D 지문센서는 흔히 손가락을 훑는 모양, 즉 스와이프 방식으로 불리우며, 2D 지문 센서는 손가락을 누르는 형태, 즉 터치 방식으로 불린다.
지문 센서는 터치스크린과 수직으로 결합된 상태일 수도 있고, 나란히 구성된 상태일 수도 있다. 그래서 터치스크린을 동작시키면서, 동시에 지문 센서도 동작 및 인식을 수행할 수 있다.
그러나, 터치스크린의 입력 수단인 TSP(touch Screen Panel)와 결합된 지문센서의 경우, 다음과 같은 문제가 있을 수 있다.
1. 화면 크기 증가에 따른 비용 상승
지문 센서는 정전식 터치스크린과 달리 손가락의 지문의 모양을 정확히 스캔할 수 있어야 한다. 한 예로 지문 센서는 50 ㎛의 Tx, Rx 간격을 가질 수 있다. 공정상 상당히 조밀한 형태의 Tx, Rx 간격 구성이 필요하다.
스마트폰과 같은 전자 장치의 화면이 커지는 추세여서, 화면의 크기에 맞는 지문 센서를 구비할 경우, 자연적으로 화면의 크기에 따라 가격이 상승된다. 하지만, 태블릿과 같은 큰 화면이라고 하더라도, 지문센서의 Tx, Rx 간격은 스마트폰과 동일해야 한다.
2. 터치스크린의 터치와 지문 터치 간의 혼란
지문 센서를 전자 장치 화면의 최상하단, 최좌우측에 설치할 경우, 일반 터치 동작과 지문 인식 동작 간에 UX적 충돌이 생길 수 있다. 예를 들면, 상단 Notification Panel 영역, 하단의 버튼 입력 부분에 지문 입력을 허용할 경우, 터치 동작과 충돌이 생길 수 있다. 또한, 멀티-터치 동작 시에도 일반 터치 동작과 지문 터치 동작 간에 UX적으로 복잡해질 수 있다.
결국 터치 입력과 지문 입력은 UX적으로 서로 구분되도록(mutually exclusive)될 가능성이 높다. 이는 모든 상황에서의 지문 입력도 있을 수 있으나, 별도의 지문 입력 모드가 제공될 가능성이 높다. 따라서, 별도의 지문 입력 모드가 있다면 모든 화면상에 지문 입력을 가능하게 할 필요없이 부분적으로 지문 입력이 가능하게 할 수 있다.
3. 휘어진 화면에서는 지문 인식이 어려움
휘어진 화면에서는 지문인식이 균일하지 않아 터치 동작으로 지문 인식이 어려울 수 있다.
4. 지문 인식 시 소모되는 전류 소모가 클 수 있음
지문 인식 시, TSP와 지문 센서를 모두 동작시켜야 한다. 지문 센서가 화면 전체에 걸쳐 Tx, Rx로 구성이 되어 있다면, 일부 인식을 위해 어느 위치에 인식할지 모르므로 전체 Tx, Rx를 켜야 한다.
본 발명의 다양한 실시예는 TSP가 있는 스마트폰, 태블릿, 착용형 기기(웨어러블 장치)와 같은 휴대 전자 장치에 탑재된 지문 센서에 대한 새로운 구조를 제시하고, 지문 센서를 효과적으로 사용할 수 있는 센서 및 구동 방법을 제시한다.
TSP와 지문센서의 단순 물리적 조합을 넘어, 휴대 전자 장치에서 TSP 상의 지문인식 사용성을 극대화하는 센서 및 구동 방법을 제시한다.
구체적으로, 본 발명의 다양한 실시예들에 따른 추구하는 목적들은 다음과 같다.
1. 최적화된 크기의 지문 센서 사용
화면의 크기가 커짐에 따라, TSP는 자연적으로 커져야 한다. 이때 지문 센서도 커져야 할 수 있다. 그러나, 지문 센서의 입력 크기를 일정한 크기로 가져간다면 동일한 크기로 다양한 크기의 화면을 가진 장치에서 사용될 수 있다. 그리고 다양한 크기의 화면에 센서가 사용되더라도 사용성에 영향을 주지 않고 사용될 수 있다. 따라서, 센서 크기 균일화로 탑재되는 센서의 재료비 및 생산비를 절감시킬 수 있다.
2. 사용성 개선
지문 인증 시, 항시 일정한 위치에 자연스럽게 지문입력을 할 수 있도록 UX를 개선할 수 있다. 그래서 지문 입력을 위한 어플리케이션, 서비스, 웹브라우저에서 자연스러운 사용성을 가질 수 있다.
또한, 화면이 꺼진 상태(AP Sleep)에서 지문을 인식하는 방법을 제시하여 사용성을 개선시킨다.
*또한, 등록(Enrollment)된 손가락의 정보에 기반하여 왼손/오른손 및 특정손가락과 같은 사용자 컨텍스트(context) 인식이 가능하다. 이를 통해 사용자 의도 기반의 UX를 개선시킬 수 있다.
3. TSP 특성에 따른 인식 방법
평평한(flat) TSP뿐만 아니라, 일정한 곡률을 가지는 TSP, 휘어진 TSP 등 다양한 형태에서 지문 센서를 인식할 수 있다.
화면의 형태에 따라 지문 인식의 입력 방식을 터치 또는 스와이프로 변경하고, 화면에 형태에 맞게 입력할 수 있도록 사용자에게 입력 수단을 제공할 수 있다.
TSP와 지문 센서가 유사한 방식일 경우 상호 간섭이 생길 수 있다. TSP와 지문 센서 간의 상호 정보를 기반으로 TSP와 지문 센서가 함께 동작할 수 있도록 제어하여 상호 간 간섭으로 사용성이나 성능이 떨어지는 것을 보완할 수 있다.
4. 전류 소모 절감
휴대 전자 장치의 경우 조금이라도 전류 소모를 줄일 수 있는 방법이 매우 중요하다. 최소한의 크기의 지문 센서를 탑재하여, 지문인식 시 구동되는 Tx, Rx를 통한 전류 소모를 줄일 수 있다. Tx, Rx를 TSP 정보 기반으로 부분적으로만 구동시켜 전류 소모를 제어할 수 있다.
그러나, 터치스크린의 입력 수단인 TSP(touch Screen Panel)와 결합된 지문센서의 경우, 다음과 같은 문제가 있을 수 있다.
1. 화면 크기 증가에 따른 비용 상승
지문 센서는 정전식 터치스크린과 달리 손가락의 지문의 모양을 정확히 스캔할 수 있어야 한다. 한 예로 지문 센서는 50 ㎛의 Tx, Rx 간격을 가질 수 있다. 공정상 상당히 조밀한 형태의 Tx, Rx 간격 구성이 필요하다.
스마트폰과 같은 전자 장치의 화면이 커지는 추세여서, 화면의 크기에 맞는 지문 센서를 구비할 경우, 자연적으로 화면의 크기에 따라 가격이 상승된다. 하지만, 태블릿과 같은 큰 화면이라고 하더라도, 지문센서의 Tx, Rx 간격은 스마트폰과 동일해야 한다.
2. 터치스크린의 터치와 지문 터치 간의 혼란
지문 센서를 전자 장치 화면의 최상하단, 최좌우측에 설치할 경우, 일반 터치 동작과 지문 인식 동작 간에 UX적 충돌이 생길 수 있다. 예를 들면, 상단 Notification Panel 영역, 하단의 버튼 입력 부분에 지문 입력을 허용할 경우, 터치 동작과 충돌이 생길 수 있다. 또한, 멀티-터치 동작 시에도 일반 터치 동작과 지문 터치 동작 간에 UX적으로 복잡해질 수 있다.
결국 터치 입력과 지문 입력은 UX적으로 서로 구분되도록(mutually exclusive)될 가능성이 높다. 이는 모든 상황에서의 지문 입력도 있을 수 있으나, 별도의 지문 입력 모드가 제공될 가능성이 높다. 따라서, 별도의 지문 입력 모드가 있다면 모든 화면상에 지문 입력을 가능하게 할 필요없이 부분적으로 지문 입력이 가능하게 할 수 있다.
3. 휘어진 화면에서는 지문 인식이 어려움
휘어진 화면에서는 지문인식이 균일하지 않아 터치 동작으로 지문 인식이 어려울 수 있다.
4. 지문 인식 시 소모되는 전류 소모가 클 수 있음
지문 인식 시, TSP와 지문 센서를 모두 동작시켜야 한다. 지문 센서가 화면 전체에 걸쳐 Tx, Rx로 구성이 되어 있다면, 일부 인식을 위해 어느 위치에 인식할지 모르므로 전체 Tx, Rx를 켜야 한다.
본 발명의 다양한 실시예는 TSP가 있는 스마트폰, 태블릿, 착용형 기기(웨어러블 장치)와 같은 휴대 전자 장치에 탑재된 지문 센서에 대한 새로운 구조를 제시하고, 지문 센서를 효과적으로 사용할 수 있는 센서 및 구동 방법을 제시한다.
TSP와 지문센서의 단순 물리적 조합을 넘어, 휴대 전자 장치에서 TSP 상의 지문인식 사용성을 극대화하는 센서 및 구동 방법을 제시한다.
구체적으로, 본 발명의 다양한 실시예들에 따른 추구하는 목적들은 다음과 같다.
1. 최적화된 크기의 지문 센서 사용
화면의 크기가 커짐에 따라, TSP는 자연적으로 커져야 한다. 이때 지문 센서도 커져야 할 수 있다. 그러나, 지문 센서의 입력 크기를 일정한 크기로 가져간다면 동일한 크기로 다양한 크기의 화면을 가진 장치에서 사용될 수 있다. 그리고 다양한 크기의 화면에 센서가 사용되더라도 사용성에 영향을 주지 않고 사용될 수 있다. 따라서, 센서 크기 균일화로 탑재되는 센서의 재료비 및 생산비를 절감시킬 수 있다.
2. 사용성 개선
지문 인증 시, 항시 일정한 위치에 자연스럽게 지문입력을 할 수 있도록 UX를 개선할 수 있다. 그래서 지문 입력을 위한 어플리케이션, 서비스, 웹브라우저에서 자연스러운 사용성을 가질 수 있다.
또한, 화면이 꺼진 상태(AP Sleep)에서 지문을 인식하는 방법을 제시하여 사용성을 개선시킨다.
*또한, 등록(Enrollment)된 손가락의 정보에 기반하여 왼손/오른손 및 특정손가락과 같은 사용자 컨텍스트(context) 인식이 가능하다. 이를 통해 사용자 의도 기반의 UX를 개선시킬 수 있다.
3. TSP 특성에 따른 인식 방법
평평한(flat) TSP뿐만 아니라, 일정한 곡률을 가지는 TSP, 휘어진 TSP 등 다양한 형태에서 지문 센서를 인식할 수 있다.
화면의 형태에 따라 지문 인식의 입력 방식을 터치 또는 스와이프로 변경하고, 화면에 형태에 맞게 입력할 수 있도록 사용자에게 입력 수단을 제공할 수 있다.
TSP와 지문 센서가 유사한 방식일 경우 상호 간섭이 생길 수 있다. TSP와 지문 센서 간의 상호 정보를 기반으로 TSP와 지문 센서가 함께 동작할 수 있도록 제어하여 상호 간 간섭으로 사용성이나 성능이 떨어지는 것을 보완할 수 있다.
4. 전류 소모 절감
휴대 전자 장치의 경우 조금이라도 전류 소모를 줄일 수 있는 방법이 매우 중요하다. 최소한의 크기의 지문 센서를 탑재하여, 지문인식 시 구동되는 Tx, Rx를 통한 전류 소모를 줄일 수 있다. Tx, Rx를 TSP 정보 기반으로 부분적으로만 구동시켜 전류 소모를 제어할 수 있다.
본 발명의 다양한 실시예는 지문인식 기능을 가지는 전자 장치에 있어서, 디스플레이; 상기 디스플레이 상의 터치 입력을 인식하기 위한 터치 인식 센서 패턴; 상기 디스플레이 상의 지문 입력을 인식하기 위한 지문 인식 센서 패턴; 및 상기 디스플레이와 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴과 기능적으로 연결되는 프로세서를 포함하며, 상기 프로세서는 지문 인식 모드 실행 여부를 판단하고, 판단된 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시킬 수 있다.
본 발명의 다양한 실시예는 디스플레이와 터치 인식 센서 패턴과 지문 인식 센서 패턴을 포함하는 전자 장치 구동 방법에 있어서, 디스플레이 상에 입력을 수신하는 단계; 상기 입력에 기초하여 지문 인식 실행 여부를 판단하는 단계; 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시키는 단계를 포함할 수 있다.
본 발명의 다양한 실시예는 디스플레이와 터치 인식 센서 패턴과 지문 인식 센서 패턴을 포함하는 전자 장치 구동 방법에 있어서, 디스플레이 상에 입력을 수신하는 단계; 상기 입력에 기초하여 지문 인식 실행 여부를 판단하는 단계; 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시키는 단계를 포함할 수 있다.
본 발명의 다양한 실시예는 지문 인식을 하는데 있어서 지문인식에 영향을 줄 수 있는 요소를 기술적으로 극복하고, 최적화된 크기 및 Tx, Rx 제어로 전류 소모를 개선할 수 있다.
또한, 본 발명의 다양한 실시예는 지문 센서의 스와이프/터치 입력을 유기적으로 변경할 수 있게 함으로써, Flexible display나 지문 등록(Enrollment) 시, 상황에 따라 가장 효과적인 지문 type을 사용할 수 있게 한다.
또한, 본 발명의 다양한 실시예는 지문 센서의 스와이프/터치 입력을 유기적으로 변경할 수 있게 함으로써, Flexible display나 지문 등록(Enrollment) 시, 상황에 따라 가장 효과적인 지문 type을 사용할 수 있게 한다.
도 1은 다양한 실시예에 따른 전자 장치의 블록도이다
도 2a 내지 도 2j는 본 발명의 다양한 실시예들에 따른 터치 센서의 구성을 각각 나타내는 단면도들이다.
도 3은 본 발명의 다양한 실시예에 따른 TSP 및 FP가 프로세서에 연결되는 구조를 나타내는 블록도이다.
도 4는 다양한 실시예에 따른 2D 지문 센서의 지문 인식 구조를 나타내는 도면이다.
도 5는 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 TSP에 FP가 배치되는 예들을 나타내는 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 TSP에 FP가 배치된 전자 장치를 나타내는 사시도이다.
도 8은 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 9는 다양한 실시예에 따른 1D 터치 센서에서 스와이프 동작을 나타내는 도면이다.
도 10은 본 발명의 다양한 실시예에 따른 터치 센서의 지문 인식을 구동하는 동작을 나타내는 순서도이다.
도 11은 본 발명의 다양한 실시예에 따른 터치 센서의 지문 인식을 구동하기 위한 동작을 나타내는 순서도이다.
도 12는 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 13은 본 발명의 다양한 실시예에 따른 터치 센서를 나타내는 도면이다.
도 14는 본 발명의 다양한 실시예에 따른 2D 지문 센서의 전극 라인들을 나타내는 도면이다.
도 15는 본 발명의 다양한 실시예에 따른 1D 지문 센서의 전극 라인들을 나타내는 도면이다.
도 16은 본 발명의 다양한 실시예에 따른 1D 지문 센서의 입력 방향의 스위칭 동작을 나타내는 도면이다.
도 17은 본 발명의 다양한 실시예에 따른 휘어진 디스플레이 상에 지문 인식을 위한 인식 방향을 나타내는 예시도이다.
도 18은 다양한 실시예에 따른 전자 장치에서 지문 입력 모드를 표시한 예시를 나타내는 도면이다.
도 19는 다양한 실시예에 따른 전자 장치에서 터치 동작 후의 드래그를 통해 보안 모드로 연동하는 예시를 나타내는 도면이다.
도 20은 다양한 실시예에 따른 전자 장치에서 지문 입력 손가락 위치를 감지하여 지문입력창의 위치를 변경하는 예시를 나타내는 도면이다.
도 21은 다양한 실시예에 따른 전자 장치에서 지문 흔적을 남기지 않기 위해서 스와이프하는 동작의 예시를 나타내는 도면이다.
도 22는 다양한 실시예에 따른 전자 장치의 배치 상태에 따라서 지문 입력 위치를 변환하는 예시를 나타내는 도면이다.
도 23은 다양한 실시예에 따른 전자 장치에 손가락 접근에 따라서 지문 위치를 알려주는 예시를 나타내는 도면이다.
도 24는 다양한 실시예에 따른 전자 장치에서 지문 입력을 이용하여 스크린 언락을 실행하는 예시를 나타내는 도면이다.
도 25는 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 단축 입력을 통해서 전방 카메라를 실행하는 예시를 나타내는 도면이다.
도 26은 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 단축 입력을 통해서 후방 카메라를 실행하는 예시를 나타내는 도면이다.
도 27은 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 모션 입력을 통해서 음악 재생을 실행하는 예시를 나타내는 도면이다.
도 28은 다양한 실시예에 따른 전자 장치의 제2디스플레이에 FP가 배치되어 사용되는 예시를 나타내는 도면이다.
도 29는 다양한 실시예에 따른 전자 장치의 제2디스플레이에 복수 개의 FP가 배치되어 선택적으로 사용할 수 있는 예시를 나타내는 도면이다.
도 30은 다양한 실시예에 따른 전자 장치에서 제1디스플레이는 TSP로 구성하고, 제2디스플레이는 FP로 구성한 전자 장치를 나타내는 사시도이다.
도 31은 다양한 실시예에 따른 지문 인식을 활용하여 다른 인터페이싱 환경으로 연결되는 상태를 나타내는 예시도이다.
도 32는 다양한 실시예에 따른 홈 스크린에서 터치 동작과 지문 인식 동작을 연결하여 다른 인터페이싱 환경으로 연결되는 상태를 나타내는 예시도이다.
도 33은 다양한 실시예에 따른 멀티 터치로 지문 인식을 하는 예시를 나타내는 도면이다.
도 34는 다양한 실시예에 따른 웨어러블 장치에서 지문 인식을 하는 예시를 나타내는 도면이다.
도 2a 내지 도 2j는 본 발명의 다양한 실시예들에 따른 터치 센서의 구성을 각각 나타내는 단면도들이다.
도 3은 본 발명의 다양한 실시예에 따른 TSP 및 FP가 프로세서에 연결되는 구조를 나타내는 블록도이다.
도 4는 다양한 실시예에 따른 2D 지문 센서의 지문 인식 구조를 나타내는 도면이다.
도 5는 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 TSP에 FP가 배치되는 예들을 나타내는 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 TSP에 FP가 배치된 전자 장치를 나타내는 사시도이다.
도 8은 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 9는 다양한 실시예에 따른 1D 터치 센서에서 스와이프 동작을 나타내는 도면이다.
도 10은 본 발명의 다양한 실시예에 따른 터치 센서의 지문 인식을 구동하는 동작을 나타내는 순서도이다.
도 11은 본 발명의 다양한 실시예에 따른 터치 센서의 지문 인식을 구동하기 위한 동작을 나타내는 순서도이다.
도 12는 본 발명의 다양한 실시예에 따른 복합형 터치 센서를 나타내는 도면이다.
도 13은 본 발명의 다양한 실시예에 따른 터치 센서를 나타내는 도면이다.
도 14는 본 발명의 다양한 실시예에 따른 2D 지문 센서의 전극 라인들을 나타내는 도면이다.
도 15는 본 발명의 다양한 실시예에 따른 1D 지문 센서의 전극 라인들을 나타내는 도면이다.
도 16은 본 발명의 다양한 실시예에 따른 1D 지문 센서의 입력 방향의 스위칭 동작을 나타내는 도면이다.
도 17은 본 발명의 다양한 실시예에 따른 휘어진 디스플레이 상에 지문 인식을 위한 인식 방향을 나타내는 예시도이다.
도 18은 다양한 실시예에 따른 전자 장치에서 지문 입력 모드를 표시한 예시를 나타내는 도면이다.
도 19는 다양한 실시예에 따른 전자 장치에서 터치 동작 후의 드래그를 통해 보안 모드로 연동하는 예시를 나타내는 도면이다.
도 20은 다양한 실시예에 따른 전자 장치에서 지문 입력 손가락 위치를 감지하여 지문입력창의 위치를 변경하는 예시를 나타내는 도면이다.
도 21은 다양한 실시예에 따른 전자 장치에서 지문 흔적을 남기지 않기 위해서 스와이프하는 동작의 예시를 나타내는 도면이다.
도 22는 다양한 실시예에 따른 전자 장치의 배치 상태에 따라서 지문 입력 위치를 변환하는 예시를 나타내는 도면이다.
도 23은 다양한 실시예에 따른 전자 장치에 손가락 접근에 따라서 지문 위치를 알려주는 예시를 나타내는 도면이다.
도 24는 다양한 실시예에 따른 전자 장치에서 지문 입력을 이용하여 스크린 언락을 실행하는 예시를 나타내는 도면이다.
도 25는 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 단축 입력을 통해서 전방 카메라를 실행하는 예시를 나타내는 도면이다.
도 26은 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 단축 입력을 통해서 후방 카메라를 실행하는 예시를 나타내는 도면이다.
도 27은 다양한 실시예에 따른 전자 장치에서 지문 입력 후에 모션 입력을 통해서 음악 재생을 실행하는 예시를 나타내는 도면이다.
도 28은 다양한 실시예에 따른 전자 장치의 제2디스플레이에 FP가 배치되어 사용되는 예시를 나타내는 도면이다.
도 29는 다양한 실시예에 따른 전자 장치의 제2디스플레이에 복수 개의 FP가 배치되어 선택적으로 사용할 수 있는 예시를 나타내는 도면이다.
도 30은 다양한 실시예에 따른 전자 장치에서 제1디스플레이는 TSP로 구성하고, 제2디스플레이는 FP로 구성한 전자 장치를 나타내는 사시도이다.
도 31은 다양한 실시예에 따른 지문 인식을 활용하여 다른 인터페이싱 환경으로 연결되는 상태를 나타내는 예시도이다.
도 32는 다양한 실시예에 따른 홈 스크린에서 터치 동작과 지문 인식 동작을 연결하여 다른 인터페이싱 환경으로 연결되는 상태를 나타내는 예시도이다.
도 33은 다양한 실시예에 따른 멀티 터치로 지문 인식을 하는 예시를 나타내는 도면이다.
도 34는 다양한 실시예에 따른 웨어러블 장치에서 지문 인식을 하는 예시를 나타내는 도면이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다,”"포함한다," 또는 “포함할 수 있다” 등의 표현은 해당 특징(예:수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, “A 또는 B,”“A 또는/및 B 중 적어도 하나,”또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B,“ A 및 B 중 적어도 하나,”또는 “ A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시예에서 사용된 “제 1,”“제 2,”“첫째,”또는“둘째,”등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1사용자 기기와 제2사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나, "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예:제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)," "하는 능력을 가지는 (having the capacity to)," "하도록 설계된 (designed to)," "하도록 변경된 (adapted to)," "~하도록 만들어진 (made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성 (또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to) 것만 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치" 라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는"것을 의미할 수 있다. 예를 들면, 문구 A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(웨어러블 device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TVTM 또는 구글 TVTM, 게임 콘솔 (예:Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예:각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치 (internet of things)(예:전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예:수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예:인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에 따른 전자 장치(101)의 블록도(100)이다. 상기 전자 장치(101)는 하나 이상의 어플리케이션 프로세서(AP:application processor)(110), 통신 모듈(120), SIM(subscriber identification module) 카드(124), 메모리(130), 센서 모듈(140), 입력 장치(150), 디스플레이(160), 인터페이스(170), 오디오 모듈(180), 카메라 모듈(191), 전력 관리 모듈(195), 배터리(196), 인디케이터(197), 및 모터(198)를 포함할 수 있다.
상기 AP(110)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 상기 AP(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(110)는, 예를 들면, SoC (system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 AP(110)는 GPU (graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 상기 AP(110)는 다른 구성요소들(예:비휘발성 메모리) 중, 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장 (store)할 수 있다.
상기 통신 모듈(120)은, 예를 들면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127), NFC 모듈(128) 및 RF(radio frequency) 모듈(129)를 포함할 수 있다.
상기 셀룰러 모듈(121)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 가입자 식별 모듈(예:SIM 카드124)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 상기 AP(110)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 커뮤니케이션 프로세서(CP communication processor)를 포함할 수 있다.
상기 WIFI 모듈(123), 상기 BT 모듈(125), 상기 GPS 모듈(127) 또는 상기 NFC 모듈(128) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127) 또는 NFC 모듈(128) 중 적어도 일부(예:두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
상기 RF 모듈(129)는, 예를 들면, 통신 신호(예:RF 신호)를 송수신할 수 있다. 상기 RF 모듈(129)는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127) 또는 NFC 모듈(128) 중, 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
상기 SIM 카드(124)는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예:ICCID (integrated circuit card identifier)) 또는 가입자 정보(예:IMSI (international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(130)는, 예를 들면, 내장 메모리(132) 또는 외장 메모리(134)를 포함할 수 있다. 상기 내장 메모리(132)는, 예를 들면, 휘발성 메모리 (예:DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory) (예:OTPROM (one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예:NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다.
상기 외장 메모리(134)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리(134)는 다양한 인터페이스를 통하여 상기 전자 장치(201)과 기능적으로 및/또는 물리적으로 연결될 수 있다.
상기 센서 모듈(140)은, 예를 들면, 물리량을 계측하거나 전자 장치(101)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(140)은, 예를 들면, 제스처 센서(140A), 자이로 센서(140B), 기압 센서(140C), 마그네틱 센서(140D), 가속도 센서(140E), 그립 센서(140F), 근접 센서(140G), color 센서(140H)(예:RGB(red, green, blue) 센서), 생체 센서(140I), 온/습도 센서(140J), 조도 센서(140K), 또는 UV(ultra violet) 센서(140M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(140)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서 모듈(140)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는 AP(110)의 일부로서 또는 별도로, 센서 모듈(140)을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP(110)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
상기 입력 장치(150)는, 예를 들면, 터치 패널(터치 panel)(152), (디지털) 펜 센서(pen sensor)(154), 키(key)(156), 또는 초음파(ultrasonic) 입력 장치(158)를 포함할 수 있다. 상기 터치 패널(152)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 상기 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 상기 터치 패널(152)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(154)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 상기 키(156)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 상기 초음파 입력 장치(158)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(101)에서 마이크(188)로 음파를 감지하여 데이터를 확인할 수 있다.
상기 디스플레이(160)는 패널(162), 홀로그램 장치(164), 또는 프로젝터(166)을 포함할 수 있다. 상기 패널(162)은 예를 들면, 유연하게 (flexible), 투명하게 (transparent), 또는 착용할 수 있게(웨어러블) 구현될 수 있다. 상기 패널(162)은 상기 터치 패널(152)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(164)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(166)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(101)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이(160)은 상기 패널(162), 상기 홀로그램 장치(164), 또는 프로젝터(166)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(170)는, 예를 들면, HDMI(high-definition multimedia interface)(172), USB(universal serial bus)(174), 광 인터페이스(optical interface)(176), 또는 D-sub(D-subminiature)(178)를 포함할 수 있다. 상기 인터페이스(170)는 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(180)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(180)은, 예를 들면, 스피커(182), 리시버(184), 이어폰(186), 또는 마이크(188) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(191)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예:전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래쉬(flash)(예:LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈(195)은, 예를 들면, 상기 전자 장치(101)의 전력을 관리할 수 있다. 한 실시예에 따르면, 상기 전력 관리 모듈(195)은 PMIC (power management integrated circuit), 충전 IC (charger integrated circuit), 또는 배터리 또는 연료 게이지 (battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 상기 배터리 게이지는, 예를 들면, 상기 배터리(196)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 상기 배터리(196)는, 예를 들면, 충전식 전지 (rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(197)는 상기 전자 장치(101) 혹은 그 일부의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(198)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 상기 전자 장치(101)는 모바일 TV 지원을 위한 처리 장치(예:GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어 플로우 (media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
상기 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품 (component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 2a 내지 도 2j를 참조하여, 이하에서는 본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이에 실장되는 복수 개의 터치 입력부(터치 인식 센서)의 배치 구조에 대해서 설명하기로 한다. 언급된 터치 입력부는 복수 개의 터치 인식 센서를 포함하는데, 터치로 입력이 가능한 TSP와 FP를 포함할 수 있다. 다양한 실시예에 따른 TSP는 디스플레이 상의 터치 입력을 인식하기 위한 터치 인식 센서 패턴을 포함하고, FP는 디스플레이 상의 지문 입력을 인식하기 위한 지문 인식 센서 패턴을 포함할 수 있다.
도 2a를 참조하면, 전자 장치는 AMOLED, TFT-LCD와 같은 다양한 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP(touch sensitive panel)가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 지문 패널(Fingerprint Panel)(이하 FP라 지칭하기로 한다)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 TSP 상에 중첩되게 배치될 수 있다. 상기 TSP와 FP는 중첩이 될 수도 있고, 겹치지 않고 나란히 배치될 수도 있다. 아울러, 상기 FP 상에 윈도우(w)가 중첩되게 부착될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
방식에 따라 상기 TSP와 FP는 모두 정전 용량식으로 사용될 수 있는데, 이 경우 두 방식의 원리는 비슷할 수 있다. 그러나, 일반적인 상황에서 상기 TSP의 패턴의 간격은 수 mm일 수 있으나, 상기 TSP는 500dpi일 경우 50 ㎛로 각 패턴의 간격에 차이가 있을 수 있다. 이러한 패턴의 구성에 따라 TSP와 FP가 구분될 수 있다. 상기 TSP는 크게 감압식과 정전식으로 나뉠 수 있다. 감압식은 터치스크린을 누르는 압력으로 터치 입력을 감지하는 방식이고, 정전식은 손가락이 터치스크린에 닿을 때 정전용량(capacitance)의 변화량을 감지하여 터치 여부를 감지하는 방식이다. 둘 다 많이 사용되나, 정전식 방식이 최근 많이 사용되고 있다.
도 2b를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 디스플레이 아래에 중첩되게 배치될 수 있다. 또한, 상기 TSP 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다. 상기 FP는 TSP보다 전극 어레이 밀도가 크기 때문에, 상기 디스플레이(D)의 시인성을 고려하여, 상기 디스플레이(D) 아래에 배치될 수 있다.
도 2c를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP와 FP가 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다.
상기 TSP와 FP는 겹치지 않고 나란히 배치될 수도 있다. 상기 디스플레이 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다. 상기 FP 및 TSP는 상기 디스플레이(D)의 시인성을 고려하여, 상기 디스플레이(D) 아래에 배치될 수 있다.
도 2d를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP 및 FP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 TSP와 FP는 겹치지 않고 나란히 배치될 수도 있다. 상기 FP 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
도 2e를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 TSP 아래에 중첩되게 배치될 수 있다. 또한, 상기 디스플레이(D) 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
도 2f를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 곡면 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 곡면 디스플레이는 플렉시블(flexible) 디스플레이나, 커브드(curbed) 디스플레이 또는 벤더블(bendable) 디스플레이 중 어느 하나를 포함할 수 있다.
지문 입력을 위한 지문 센서는 곡면 Fingerprint Panel(이하 FP1)을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 TSP1 상에 중첩되게 배치될 수 있다. 상기 FP1 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w1)는 투명 창을 포함할 수 있다. 후술하겠지만, 디스플레이가 곡면 디스플레이이면, 스와이프 방식으로 지문인식을 수행할 수 있다.
도 2g를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 곡면 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 곡면 Fingerprint Panel을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 곡면 디스플레이 아래에 중첩되게 배치될 수 있다. 상기 TSP1 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2h를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 아래에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1와, 곡면 FP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다.
상기 TSP1와 FP1는 겹치지 않고 나란히 배치될 수 있다. 또한, 상기 디스플레이(D1) 상에 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2i를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1 및 곡면 FP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 TSP1와 FP1는 겹치지 않고 나란히 배치될 수 있다. 또한, 상기 곡면 TSP1 및 곡면 FP1 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2j를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP1)을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 TSP1 아래에 중첩되게 배치될 수 있다. 또한, 상기 곡면 디스플레이(D1) 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 3을 참조하면, 상기 TSP(30)는 일반적으로 Application Processor(AP)(33)와 연결되어 터치 정보를 제공할 수 있다. 터치 정보는 화면 해상도에 기반하여 x, y와 같은 좌표, 멀티 터치 정보(몇 개의 터치가 입력되는지 여부), 호버링(hovering) 여부(어느 위치, 어느 정도의 높이로 호버링 되는지 여부), 영역 터치 정보(터치 영역 넓이, 영역의 장축/단축 정보)를 제공할 수 있다.
상기 TSP(30)는 AP(33)외에도 추가적으로 구성된 Supplementary Processor(SP)(32)와 연결될 수 있다. 상기 SP(32)는 AP(33)와는 독립적인 프로세서로서, AP(33) 대비 상대적으로 성능은 떨어지나 저전력으로 구동될 수 있다. 그래서 항시 상기 TSP(30)나 FP(31)로부터 입력을 받을 수 있다. 그래서 상기 AP(33)가 슬립(sleep)인 상태에서도 상기 SP(32)는 저전력으로 구동되기 때문에 항시 awake상태로 지속될 수 있으며, 상기 AP(33)가 sleep인 상태, 즉 화면이 꺼진 상태에서도 TSP(30), FP(31)를 통해 사용자 입력이 있는지를 확인할 수 있다.
각 Panel(30,31)과 Processor(32,33)는 I2C, UART등 다양한 방식으로 연결될 수 있다. 만일 상기 TSP(30)가 SP(32)와 연결된 상태라면, 사용자는 AP(33)가 sleep인 상태에서도 터치입력을 할 수 있다. 예를 들어, 화면을 특정한 조건으로 터치한 상태가 감지되면 AP(33)가 깨어 화면이 켜질 수 있다.
그리고, 상기 FP(31)가 SP(32)와 연결이 되면, 상기 AP(33)가 슬립 상태에서도 지문인식을 할 수 있다. 예를 들어, 사용자가 손가락을 화면에 대고 있어서 특정 사용자임이 인식이 되면, 화면이 깨어 자동으로 사용자를 인증하여 Lock Screen이 Unlock될 수 있다. 이때, 상기 FP(31)와 TSP(30)가 SP(32)에 연결된 상태이고, 상기 AP(33)가 슬립인 상태에서, 상기 SP(32)를 통해 TSP(30)만 실행될 수 있다. 만일 상기 TSP(30)에서 터치 이벤트(event)가 발생하면, 상기 터치 이벤트가 생성된 포인트나 영역(area)를 결정하고, 해당 포인트나 영역과 매칭되는 FP(31)를 enable시킬 수 있다.
상기 FP(31)와 TSP(30)는 AP(33)와도 직접 연결되어서 지문 인식이나 터치 동작을 입력받을 수 있다.
이와 같이 상기 SP(32)와 FP(31), TSP(30) 간의 연결은 AP(33) 슬립 상태나 Screen Lock 상태에서 간편하게 AP(33)를 awake하거나, Screen Unlock 을 할 수 있어, 전자 장치를 사용 시 전류소모를 줄이고, 사용성을 향상시킬 수 있다.
정전용량은 Tx, Rx사이에 있는 유전체의 유전율에 따라 값이 달라지는 특성이 있는데, 이를 이용해 손가락 지문의 산(ridge) 및 골(valley)를 판단한다. 이 정보는 연속적인 형태로 구성된 후, 최종적으로 이미지 형태로 구성이 되어, 지문의 고유한 패턴을 구성한다.
지문센서는 인식하는 매체에 따라 정전용량 방식뿐만 아니라, Ultrasonic, Optical 등 다양한 방식이 사용될 수 있다. 그러나 기본 원리는 손가락의 지문의 Ridge(산형 부분)와 Valley(골형 부분)를 구분해서 인증 여부를 판단하는 것으로 동일하다.
지문센서는 Tx, Rx를 구현하는 방법에 따라 스와이프 타입(1D 타입)과 영역(Area) 타입(2D 타입)으로 구성될 수 있다. 스와이프 타입은 1D 형태의 직선으로 된 Rx에서 인식을 하며, 이를 스와이프할 때 생성되는 연속된 이미지들을 조합하여 지문의 형태를 구성한다. 반면, 영역 타입은 일정한 간격으로 구성된 Tx와 Rx에서 손가락을 입력면에 닿게 되면, 찍혀진 형태를 한번에 읽어들이고 이를 기반으로 지문 이미지를 생성시킨다.
도 4는 2D 지문 센서(40)의 원리를 보여주고 있다. 도 4를 참조하면, 손가락이 지문 센서(40)에 닿게 되면, Rx는 Tx와의 정전용량의 변화를 감지하고, 이는 수치화된다. 수치화된 값을 통해 지문의 산형 부분(400)과 골형 부분(410)을 알 수 있으며, 전체 값을 통해 여러 단계의 gray scale로 지문 모양을 알 수 있다.
상기 지문 센서(40)는 일반적인 다른 센서와 달리 사용자의 터치 입력을 받게 되므로, 패널(Panel)형태의 레이어(Layer)를 구성해야 한다. 이를 지문 인식 패널(Fingerprint Panel)(FP)이라 지칭할 수 있다. 예를 들어, 지문 인식 패널은 제1방향의 복수 개의 제1전극(패턴)과, 제2방향의 복수 개의 제2전극(패턴)을 가지는 지문 인식 센서 패턴을 포함할 수 있다.
상기 FP(40)는 지문 인식이 주요한 목적이지만, 터치스크린에 터치를 통해 입력을 받는 형태이다. 정전용량(Capacitance) 방식의 지문 센서는 TSP와 근본 원리가 크게 다르지 않기 때문에 지문 입력 이외에 Press, Release, Move 등의 터치 입력이 가능하다.
반면, FP와 TSP의 방식이 유사하기 때문에, 겹친 상태에서 동시 실행이 될 경우 Tx값이 커지게 되고, Tx, Rx 간의 거리가 균일해지지 않아, Panel 간에 영향 및 간섭을 주게 된다. 그래서 TSP와 FP가 동시에 실행되고 있을 경우 TSP, FP 모두 정확한 측정이 어려울 수 있다. 이를 해결하기 위해서는 TSP와 FP를 효과적으로 제어하는 것이 중요하다.
도 5는 TSP(50)와 FP(51)가 결합된 형태이다. 도 5를 참조하면, 상기 TSP(50)와 FP(51)는 다른 Layer를 구성하고 있고, 각각의 Tx, Rx 패턴이 겹쳐져 있다. 상기 TSP(50)의 경우, TSP(50) 상에 사람의 손가락으로 터치 입력을 하게 되면, 입력된 부분에 정전 용량값이 변한다. 이때 입력된 부분의 Tx, Rx의 위치를 통해 어느 위치에 터치입력이 있었는지를 계산하여 좌표 정보를 결정하게 된다. 상기 FP(51)도 마찬가지로 FP(51) 상에 손가락이 닿으면, 닿은 부분의 정전 용량의 차이가 생기게 되고, 측정된 값의 레벨링을 통해 지문 영상을 획득한다.
상기 TSP(50)와 FP(51)는 이처럼 원리는 비슷하나 세부적으로는 처리하는 방식이나 목적이 차이가 있다. 상기 TSP(50)는 손이 닿는 포인트를 결정하는 것이 주요 기능이고, 상기 FP(51)는 지문센서에서 지문의 모양을 생성하는 것이 주요 기능이기 때문이다.
상기 TSP(50)와 FP(51)는 정전 용량의 차이를 이용하는 것에서도 세부적으로 차이가 있다. 상기 TSP(50)는 Tx, Rx의 간격이 너무 조밀하면, Tx, Rx의 간섭이 생겨 오히려 정확한 위치를 결정하는데 부정적인 영향이 생길 수 있다. 즉, 터치는 너무 민감하여 값의 변화가 크면, 측정값이 변동이 커져서 안정적으로 포인트 좌표가 나오지 않게 되어, 터치 인식 자체가 부자연스럽게 느껴질 수 있으므로 어느 정도의 측정값 필터링이 필요하다. 따라서 상기 TSP(50)는 적정 수준의 Tx, Rx간격이 필요하다. (대략 수mm 수준)
반면, 상기 FP(51)의 지문센서는 손가락의 Ridge와 Valley의 모양을 측정해야 하므로 Tx, Rx간격이 촘촘해야 한다. 이 간격은 작을수록 좋은 것이 아니라 인간의 지문의 일반적인 패턴을 담을 수 있는 최소한의 수준이어야 한다. 이 간격은 전자 기기의 크기와 무관하다. 통상적으로는 50 ㎛ 정도의 Tx, Rx 간격을 가져야 안정적인 지문 이미지를 생성할 수 있다.
그래서, 도 5에서는 TSP(50)와 FP(51)가 서로 다른 간격의 Tx, Rx를 가지고 있다. 그러나, 상기 TSP(50)와 FP(51)가 도 5처럼 격자 무늬로만 배열되는 것은 아니다. 이는 하나의 예시이며 다양한 형태로 Tx, Rx가 배치될 수 있다. 그러나, 상기 TSP(50)와 FP(51)의 Tx, Rx간격은 각각의 특성상 차이가 있을 수밖에 없으며 이를 구조적으로 결합을 위한 방법이 필요하다.
도 6은 TSP와 FP가 물리적으로 배치될 수 있는 다양한 실시예를 보여준다. 도 6을 참조하면, 상기 TSP와 FP는 다양한 형태로 배치될 수 있다.
도 6의 (a)는 TSP와 FP가 중첩된 형태의 정면도, 평면도, 우측면도이다. 도 6의 (a)와 같은 형태의 구성은 FP(62)가 TSP(61)가 구동되는 부분 상에서 동작한다. 이 방식은 FP(62)를 임의의 위치에 설치할 수 있는 장점이 있으나, TSP(61)와 FP(62)를 동시에 동작할 경우, Tx가 동시에 동작되어 Rx로 인가되는 전하량이 영향을 받아서 정확한 측정이 되지 않아 지문이나 터치 인식에 오류가 생길 수 있다.
이처럼 TSP(61)와 FP(62)가 동시에 구동시킬 때에는 하나만 동작하게 하거나, 적어도 하나의 Tx만 동작하도록 할 수 있다. 예를 들어 TSP(61)에서 겹치는 영역의 Tx, Rx 사용을 중지시키고, FP(62)의 Tx, Rx만 사용하여 지문이 인식되도록 할 수 있다. 또는 TSP(61)의 Tx사용을 중지시키고, FP(62)의 Tx, Rx만 사용하여 지문이 인식되도록 할 수 있다. 이 경우는 TSP의 Rx를 사용할 수 있는데, FP의 Tx와 TSP의 Rx 간에 생성되는 전하량으로 터치 위치를 판단할 수 있다.
도 6의 (b)는 TSP(63)와 FP(64)를 중첩시키지 않고, 나란히 배치한 형태이다. 상기 FP(64)는 TSP(63) 하단에 배치시킬 수 있다. 이 배치들은 TSP(63)와 FP(64) 간에 간섭은 없을 수 있다. 그러나 터치 인식 시, 전체를 하나의 TSP(63)를 사용하지 못하고, 화면의 일부 구간은 FP(64)를 이용해 터치를 인식해야 한다. 이때, FP(74)의 일부 Tx, Rx를 이용하면, TSP(73)와 같은 터치 동작을 수행할 수 있다.
도 6의 (c)는 TSP(65)와 FP(66)를 중첩시키지 않고, 나란히 배치한 형태이다. 상기 FP(66)는 TSP(65) 우측에 배치시킬 수 있다. 이 배치들은 TSP(65)와 FP(66) 간에 간섭은 없을 수 있다. 그러나 터치 인식 시, 전체를 하나의 TSP(65)를 사용하지 못하고, 화면의 일부 구간은 FP(66)를 이용해 터치를 인식해야 한다. 이때, FP(76)의 일부 Tx, Rx를 이용하면, TSP(75)와 같은 터치 동작을 수행할 수 있다.
도 7을 참조하면, 제1디스플레이(710), 제2디스플레이(720)를 가지는 전자 장치(70)에서는 제1디스플레이(710)와 제2디스플레이(720)는 기본적으로 독립된 사용자 경험을 제공하므로 도 6의 (c)과 같이 FP를 구성할 수 있다. 제2디스플레이(720)를 도 6의 (c)와 같이 구성하면, 제1디스플레이(710)는 터치 위주의 기능을 수행하고, 제2디스플레이(720)를 통해서는 지문을 인식하게 할 수 있다. 따라서 디스플레이별 특화된 패널을 구동시키고, 그에 따라 사용자에게 특화된 UX를 제공할 수 있다. 하기에 설명되겠지만, 제1디스플레이(710)는 평탄한 평면 디스플레이이고, 제2디스플레이(720)는 곡면 디스플레이로 구성될 수 있다.
도 8을 참조하면, TSP와 FP는 Tx, Rx의 배치와 HW 제어 구조를 바꾸어 하나의 패널에 동시에 구현시킬 수 있다. 도 8은 TSP를 구성하는 Tx, Rx와 FP를 구성하는 Tx, Rx를 동일한 Panel을 구성하고, Hybrid 형태로 구동할 수 있다. Hybrid 형태로 구성하면 단일 Layer(각 패널이 겹쳐지지 않게 나란하게 배치됨)를 사용할 수 있어 기기의 두께를 줄일 수 있는 장점이 있다.
'TSP only' 사용할 때, FP의 Tx, Rx에는 전류를 보내지 않아 동작하지 않는다. 그래서 일반적인 TSP와 동일하게 사용할 수 있다.
그러나 'TSP+FP' 동시에 사용할 경우, TSP의 Tx, Rx 간격 사이에 일정한 간격으로 구성된 FP의 Tx, Rx와 합쳐지게 된다. 그렇게 되면 합쳐진 부분은 지문센서의 역할을 할 수 있다. 이러한 동작은 전자 장치에서 지문입력 모드를 실행했으냐 해제했으냐에 따라 H/W적으로 제어가 가능하다.
도 9를 참조하면, 지문 센서는 일반적으로 평평한 2D의 입력의 구조인데, 휘어진 디스플레이와 TSP를 가지는 구조에서는 일반적인 2D 형태의 구조의 FP를 적용하는 것이 어려울 수 있다. 이유는 Tx와 Rx의 간격이 틀어지게 되면 지문의 모양이 뒤틀리기 때문이다. 이를 해결하기 위해 휘어진 방향과 수직이 되는 하나의 line을 Rx로 설정시키고, 사용자에게 상기 Rx가 활성화된 위치에 수직이 되도록 스와이프를 하도록 유도할 수 있다. 이때, Tx는 균일한 간격으로 구성되어 있고, 여러 개의 나열된 Tx와 하나의 Rx 사이에는 정전용량이 생기고, 이를 감지하여 이미지를 생성시킬 수 있다. 이렇게 사용자가 스와이프를 하면 지문이 읽히고 연속된 이미지들이 저장이 되어 지문 이미지를 생성하게 되어 인증이 가능하게 된다. 상기 구조의 구동 방법은 하기에 설명하기로 한다.
한편, 전자 장치에서, FP를 통해 입력을 받고, 그에 따라 원하는 동작을 수행하기 위해서는 FP의 상태 정보가 정의되어야 한다. 상태 정보는 TSP를 통해 터치 입력을 받을 때, TSP 입력과 매칭되는 FP의 정보를 의미한다. 이 정보는 전자 장치를 운영하는 OS나 플랫폼에서 지문 관련 서비스나 기능을 제공할 때, 적절한 UI 등을 제공하기 위해 필요하다.
FP의 상태정보는 [표 1]과 같이 될 수 있다.
상태정보 중, FP의 동작 상태 정보는 TSP와 FP가 겹쳐져 있을 때, FP를 제어하여 동작 여부를 결정할 수 있다.
디스플레이 해상도에 매칭되는 지문 센서의 입력 가능 영역은 전자 장치의 지문 센서의 실제화면 크기와 해상도에 따라 값이 달라질 수 있다. 이 영역은 TSP의 터치 좌표 입력과도 매칭이 되어야 한다. 이 영역의 정보는 전자 장치 내의 운영 체제나 플랫폼에 제공되며, GUI를 구성하는 모듈에서 이 영역 정보를 사용하여 지문센서 관련 UI를 만들 수 있다.
지문 센서의 종류는 지문 센서가 1D 방식, 2D 방식과 같은 형태로 설정될 수 있다. 센서의 Dimension은 사용자에 의해 설정이 될 수도 있으나, 다른 상태 정보에 기반하여 결정될 수 있다. 예를 들어 디스플레이가 평평한(flat) 상태이면 2D 방식의 지문 센서를 사용할 수 있고, 한쪽으로 휘어졌을 경우 1D 방식의 지문 센서를 사용할 수 있다.
지문 센서의 종류(방식)에 따라 사용자도 역시 입력을 하는 방식이 달라져야 한다. 따라서, 지문 센서 종류에 기반하여 등록(enrollment)이나 입력을 요청하는 사용자 가이드도 달라질 수 있다.
Tx, Rx의 세부 정보는 지문센서의 Tx, Rx의 제어를 위해 필요한 정보이다. FP동작 상태정보가 Disable되면 Tx, Rx 전체의 상태 역시 비활성화 된다.
Tx, Rx 각각의 개수는 지문센서 구성된 Tx line, Rx line의 개수를 나타낸다.
Tx, Rx 각각의 간격 정보는 Tx, Rx가 구성된 간격을 나타내는 것으로, 상기 각각의 개수와 더불어 지문센서의 영역을 알 수 있게 한다. 이는 TSP와 겹쳐질 때 상대적인 위치 차이를 알 수 있는 요소이다. 간격 정보는 실제적인 거리로 나타낼 수도 있으나 dpi(dot per inch)로 나타낼 수도 있다.
Tx, Rx 동작 여부는 지문 센서가 N개의 Tx, M개의 Rx로 구성되어 있을 경우, Tx, Rx를 개별적으로 활성화를 할 수 있다. 그래서 지문 센서 전체에서 일부 영역만 인식이 가능하도록 Tx, Rx를 제어할 수 있다. 예를 들어 Tx[10]~Tx[15]까지 off를 시키면 해당 영역은 지문 센서가 동작을 하지 않게 된다. 이러한 설정은 사용자가 입력한 TSP의 위치에 따라 매칭이 되는 FP의 TRx를 설정할 수도 있고, 기설정된 사용자의 특성(왼손/오른손 또는 사용자 지정)에 따라 고정적으로 활성화될 위치가 정해질 수도 있다.
지문 센서의 1D-2D방식의 전환 시, 1D 방식의 인식을 위해 하나의 Rx만을 인식시키도록 하여 사용할 수 있다. 또는 Tx, Rx를 스위칭하여 다른 방향으로 센싱할 수 있도록 제어할 수 있다. 전자 장치에서는 센서의 활성화된 Tx, Rx의 정보를 이용하여, FP에서 어느 위치에서 센서가 인식이 가능한지를 알 수 있고, 이를 TSP 및 디스플레이와 연계할 수 있다. TSP와 연계되면, FP가 비활성화된 영역에만 TSP를 활성화할 수 있고, 디스플레이와 연계되면 활성화된 FP의 영역을 UI 형태로 구성하여 표시할 수 있다.
도 10을 참조하면, 전자 장치에서 사용자가 지문을 입력하기 위해서는 지문 센서가 입력 모드 상태가 되어야 한다(동작 1011). 지문 센서는 항시 활성화되어 있을 수도 있으나, 모바일 장치에서는 전류 소모를 위해 사용하지 않을 때는 센서를 off시키는 것이 일반적이다(동작 1012).
전자 장치에서 지문 센서의 활성화 제어가 필요한 이유는 지문센서가 탑재된 FP와 TSP가 겹쳐져 있는 상태일 경우 문제가 생길 수 있기 때문이다. 왜냐하면, TSP와 Tx와 FP의 Tx에서 동시에 전하가 발생하면, Rx에서 받아들이는 전하량이 변할 수 있기 때문이다. 지문 센서의 경우 Tx와 Rx사이에 생성된 정전용량으로 이미지를 생성하는데, 이 값이 영향을 받게 되면 자연스럽게 이미지 형상이 달라지게 되고, 지문인증을 할 수 없게 된다.
사용자가 지문 입력을 위한 어플리케이션이나 기능을 실행시켜서 지문 입력할 때에는 전자 장치의 FP를 활성화시켜야 한다(동작 1013). 이때, 상기 'FP의 상태정보'에 기반하여 지문 입력 가능한 영역을 정의하게 되고, 이 영역에는 지문 입력이 가능하도록 활성화된다. 그리고 상기 어플리케이션이나 기능에서는 사용자에게 지문 입력을 할 수 있는 UI를 표시할 수 있다. 이어서, 사용자는 지문입력을 하게 된다.(동작 1014)
그런데, FP가 활성화되어 있을 때, FP와 겹치는 영역의 TSP가 함께 동작을 하게 될 수 있다. 그렇게 되면 위에서 언급한 것과 같이 TSP의 Tx가 FP의 Rx에 영향을 주게 되어, 정확한 지문 모양 생성하는데 어려움이 있을 수 있다. 그렇기 때문에 FP가 활성화되었을 때에는 적어도 FP와 겹치는 부분의 TSP 동작을 제어해야 한다. 참고로, AP가 슬립(sleep)되어 디스플레이가 오프된 상태에서도 지문 인식이 가능할 수 있다.
도 11은 AP가 슬립인 상태에서 SP에 연결된 FP와 TSP를 사용하여 동작시키는 순서도이다. 도 11을 참조하면, 동작 1110에서, TSP에서 사용자의 터치를 감지할 수 있다.
동작 1120에서, 감지된 터치 위치를 기반으로 하여 FP를 활성화시키거나, FP에서 TSP의 터치 영역부근의 Tx, Rx line만 활성화시킬 수 있다.
동작 1130에서, 지문 입력 후에 지문 인증이 실행될 수 있다.
동작 1140에서, 지문 인증에 따라 스크린을 언락(Unlock)하거나, 카메라 실행 등 지정된 동작을 수행할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 TSP와 FP를 동시에 사용하는 예를 보여준다. 다양한 실시예에 따른 전자 장치는 프로세서가 지문 인식 모드 실행 여부를 판단하고, 판단된 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시킬 수 있다.
도 12를 참조하면, TSP만 사용시에는 FP의 Tx, Rx line을 disable시켜서, TSP를 사용할 수 있게 할 수 있다.
그러나, TSP와 지문센서를 동시에 사용할 시에는 TSP의 Tx line 중, FP와 겹치는 Tx line을 off시켜서, TSP와 FP가 상호 간섭이 생기지 않도록 제어할 수 있다.
도 12에서는 FP와 중첩되는 영역인 Tx line의 n1, n2, n3를 off시켜서 FP가 on되어 동작할 수 있게 한다. 이때 사전에 TSP에서 n1, n2, n3의 정보는 알 수 있어야 한다. n1, n2, n3값은 가변적일 수 있다.
도 13을 참조하면, TSP와 FP가 중첩되어 있지 않고, 나란히 배치된 상태라면, 상호 간에 간섭이 없어 독립적으로 각각의 Panel을 사용할 수 있다. 이때, FP는 TSP와 인식 수준을 맞춰주기 위해, 일부 Tx, Rx line을 활성화시켜서, TSP의 Tx, Rx line과 같이 사용할 수 있다.
지문 센서에서는 Navigation mode로 어느 위치에 터치를 했는지, 그리고 상하좌우와 같은 어떠한 터치 동작을 했는지를 감지할 수 있다. 그러나, TSP와는 구조 및 배열이 다르기 때문에 TSP와는 독립적으로 터치한 위치를 계산해야 한다. 그렇게 때문에 TSP와 FP를 하나의 큰 TSP와 같은 형태로 구동시키기 위해서는 TSP와 FP가 통합적으로 관리되어 일관된 터치 위치 및 동작인식을 수행할 수 있어야 한다.
그러나, 이를 위해서는 TSP와 FP의 구조가 일관성이 있어야 하고, 동시에 처리될 수 있어야 하며, 시스템적으로 복잡해질 수 있다. 따라서 단일 TSP로 동작할 때보다 비효율적이며 성능이 좋지 않을 수 있다. 그래서 이러한 방식은 Panel마다 독립적인 UX와 시나리오를 제공할 수 있는 Dual 디스플레이나 제1/제2디스플레이를 가지는 전자 장치에 적합할 수 있다.
한편, 도 14에 도시된 바와 같이, 터치 센서는 TSP와 FP가 단일 Panel로 합쳐진 복합형이 될 수 있다. 복합형 터치 센서는 TSP가 FP를 포함하고, TSP의 Tx, Rx line과 FP의 Tx, Rx line이 포개진 형태이다. FP의 TRx가 촘촘하므로, 일반적으로는 TSP의 Tx, Rx 배열에서 내부에 더 촘촘한 Tx, Rx를 가지는 형태이다.
복합형은 TSP만을 사용하는 상황이라면 FP의 Tx, Rx는 disable될 수 있다. 단, 지문센서 역할을 수행하면서 TSP의 Tx, Rx에 속하는 공통되는 line은 활성화 되어 있어야 한다. 만일 FP를 사용하는 상황이라면 지문센서의 Tx, Rx는 활성화되고, 역시 상기 공통되는 Tx, Rx line은 활성화된다. 그리고 사전에 정의된 지문 센서영역에 기반하여 복합형 내에서 지문센서 영역을 설정하고, 해당 영역의 Tx, Rx는 지문인식을 위해 사용된다. 나머지 영역은 TSP로 사용될 수 있다.
FP를 사용 시, 하나의 FP에서도 모든 영역을 활성화시키지 않고, 부분적으로 나누어 활성화시킬 수 있다. 이는 'FP의 상태정보 정의' 과정에서 사용자 설정으로 지정될 수 있다. 예를 들어, 오른손 잡이이면 화면의 오른쪽에 위치한 FP의 Tx, Rx를 활성화시킬 수 있고, 왼손 잡이이면 화면의 왼쪽에 위치한 FP의 Tx, Rx를 활성화시킬 수 있다. 이는 불필요한 Tx, Rx를 활성화시키지 않음으로써 전류 소모를 절감하는 효과가 있다.
지문을 입력받으면 인증 동작을 수행하게 된다. 인증은 사전에 등록된 지문의 이미지 정보와 새롭게 입력된 지문 이미지 정보를 비교한다. 이 때, 이미지의 매칭 여부를 특징점을 기준으로 판단할 수 있으며, 지문의 패턴을 기준으로 판단할 수 있다. 매칭값(score)이 기준 조건을 만족하게 되면 인증을 하게 되면 지문 인증 성공으로 판단하게 된다.
인증을 받게 되면, 실행을 했던 어플리케이션이나 서비스에 기지정된 시나리오에 맞게 동작이 수행된다.
도 15 내지 도 17을 참조하면, 지문센서는 Tx, Rx 제어 및 인식 방법에 따라 1D 혹은 2D 방식으로 지문인식을 할 수 있다. 1D 방식은 선으로 지문을 읽어들이는 방식이고, 2D 방식은 면적으로 지문을 읽어들이는 방식이다. 지문 정보는 2D 이상의 정보이므로 1D 방식은 스와이프 동작으로 손가락을 움직여 2D로 만들어준다.
따라서, 1D 방식은 '스와이프 타입'이라고도 하며, 2D 방식은 '터치 타입' 또는 'Area 타입'으로 부를 수 있다. 두 방식은 각각의 장단점이 있어 어느 방식이 우월하다라고 할 수는 없는데, 사용성은 터치 타입이 좀 더 좋을 수 있으나, 장치의 제약이 있고 실장 공간의 제약이 있다. 그리고 지문 등록(Enrollment) 관점에서는 스와이프 방식은 한 번에 인식할 수 있으나, 터치 방식은 여러 번 터치를 해야 할 수 있다. 상황에 따라 각각의 방식은 장단점을 가진다. 그렇기 때문에 2D 방식의 지문센서를 상황에 따라 1D 방식으로 사용할 수 있다면, 이는 큰 장점이 될 수 있다.
전자 장치에서는 사용자의 사용 상태 및 조건을 확인하여 1D 또는 2D 모드를 스위칭할 수 있다. 예를 들어, 디스플레이가 플렉시블하거나 휘어져 있을 경우, 터치로 지문인증 하기가 어려울 수 있다. 왜냐하면 입력부가 휘어져 있어 지문 입력이 왜곡될 수 있기 때문이다. 따라서 이와 같은 경우는 1D 모드로 변경하여 스와이프 할 수 있게 하면 정확한 지문을 입력받을 수 있다.
또는, 터치방식은 분명 사용성에 장점이 있으나, 디스플레이 표면에 지문의 흔적이 남을 수 있는 단점이 있다. 지문 정보는 지극히 개인적인 정보로서 유출 시 심각한 피해를 줄 수 있으므로 복제가 되지 않도록 해야 한다. 이러한 점에서 지문센서를 스와이프방식으로 변환시키면 지문 자국이 남는 것을 해소할 수 있다.
이와 같이 전자 장치에서 디스플레이의 휘어짐, 사용자 설정에 의해 지문센서 모드를 2D 모드를 1D 모드로 바꾸거나, 반대로 1D 모드를 2D 모드로 바꿀 수 있다.
2D 모드의 지문센서는 모든 Tx 라인과 Rx 라인을 이용하여 지문을 캡쳐할 수 있다.
다양한 실시예에서의 동작순서는 Rx1, Rx2가 enable되어, Rx1이 FI(Finger Information)으로 Rx2가 NI(Noise Information)으로되어, Tx1 ~ Tx N까지 순차적으로 켜지며, 다시 Rx2, Rx3이 Enable되어 Rx2가 FI, Rx3가 NI가 되어, Tx1~Tx N까지 순차적으로 켜진다.
도 15를 참조하면, 1D 모드는 총 M개의 Rx 중 한 쌍의 손가락 정보(Finger Information)(FI) 및 노이즈 정보(Noise information)(NI)만 enable한다. 그리고, 손가락 스와이프가 끝날 때까지 Tx는 지속적, 순차적으로 On-Off한다.
예를 들어, Tx1에서 Tx N까지 순차적으로 On-Off하면서, 다시 Tx1에서 Tx N까지 On-Off한다. 해당 원리는 터치 방식과 동일하다.
스와이프 방식으로 지문인식을 하는 1D type의 지문센서 사용 시, 기기의 방향이 달라질 때 지문입력도 달라져야 하는데, 이를 위해 지문 인식 시 스와이프하는 방향을 변경할 수도 있다.
도 16은 각각 Tx와 Rx 라인에 스위치를 추가하여 그림에서 세로 방향으로 스와이프 동작시, 기존 방식과 같이 하며, 가로 방향으로 스와이프 동작시, 기존의 각각 Tx 와 Rx 라인의 스위치를 Open한다. Tx 라인에는 Rx의 Differential Amp와 스위치를 Close하고, Rx 라인은 Tx Source와 스위치를 On하여 연결하여, Tx와 Rx를 변경한다. 즉, Tx와 Rx를 스위치로 역할을 바꾸게 하여 지문입력을 할 수 있다.
도 17은 휘어지는(Flexible) 디스플레이, 또는 휘어진(Curved) 디스플레이에서의 지문 센서 사용방법을 보여준다. 도 17을 참조하면, 지문 센서에서 사람의 지문을 인식할 때에는 지문의 모양이 왜곡되지 않고 생성될 수 있는 것이 중요하다. 그래서 Rx가 손가락과 접촉할 때 균일하게 값을 읽어 들이는 것이 중요하다. 디스플레이가 휘어지면, 화면에 닿는 손가락의 면적이 굴곡이 져서 지문의 모양이 왜곡될 수 있다. 정확성이 가장 중요한 지문센서에는 인식률을 떨어뜨리는 요소가 될 수 있다. 그래서 휘어질 때에는 직선이 되는 부분에 손이 닿을 수 있도록 해야 지문 인식이 가능해진다.
도 17에서는 휘어지는 디스플레이가 휘어지는 방향을 감지하여 이를 기반으로 하여 지문 센서의 인식 방향을 결정한다. X, Y축 패턴에서 어느 축으로 휘어졌는지를 알면, Tx, Rx를 연결하는 스위치를 통해 Tx와 Rx를 변경시킬 수 있다.
디스플레이가 X축으로 휘어진 경우, 2D 지문인식을 수행할 수 없으므로, Rx를 세로로 남기고 좌에서 우, 또는 우에서 좌 방향으로 스와이프하여 인식하도록 할 수 있다. 마찬가지로 디스플레이가 Y축으로 휘어진 경우, 상에서 하, 하에서 상 방향으로 스와이프하여 인식하도록 할 수 있다. 즉, 입력 패널이 휘어진 상태에서는 왜곡될 수 있는 Rx를 최소화하고, 사용자가 스와이프로 정확한 이미지가 생성될 수 있도록 제어할 수 있다.
도 18을 참조하면, 지문입력 GUI 배치는 FP의 물리적인 위치를 기반으로 표시될 수 있다. 지문입력 모듈에서는 기지정된 FP 영역 정보를 읽어와서 디스플레이 상에 지문 입력이 가능한 위치에 지문입력 UI를 표시한다. FP가 TSP의 가운데 중첩되어 위치한 경우, 지문입력을 유도할 수 있다. 이때 지문입력 영역은 FP가 가능한 영역이어야 한다.
FP가 구동될 시에는 겹치는 영역의 TSP는 제어될 수 있다. 예를 들어 FP가 구동될 때는 겹치는 영역의 TSP 동작을 off하여, 지문인식과 터치인식의 간섭오류를 억제할 수 있다.
반대로 지문인식이 완료된 후에는 즉시 TSP를 활성화하고, FP를 off시켜, 사용자가 느끼기에 지문입력과 터치입력이 자연스럽게 끊김없이 동작하도록 제어할 수 있다.
도 19를 참조하면, 터치 동작 중 드래그에 관해, FP 영역에서 지문인식을 완료하고 시작된 드래그는 FP중첩이 없는 TSP 영역의 드래그와 달리 보안동작으로 연계할 수 있다. 예를 들어 갤러리 어플리케이션의 경우, FP 중첩이 없는 드래그를 수행하면 다음(혹은 이전) 사진으로 넘어가고, FP영역에서 지문인식 후 시작된 드래그는 해당 사진을 잠금on/off를 하는 등의 보안동작으로 연계시킬 수 있다.
유사한 실시예로 Lock screen에서 일반영역으로 스와이프하면, 일반 모드로 진입하고, FP가 있는 영역을 스와이프하면 보안 모드로 진입하도록 할 수 있다.
도 20은 사용자가 자주 사용하는 손에 따라 지문 입력창의 위치를 바꿀 수 있는 예시이다. 먼저 지문입력 시, 한 손으로 잡았을 때 가장 편안한 자세로 지문 인식을 할 수 있는 위치에 지문 센서를 설계한다. 예를 들면 파지 후 손가락이 닿을 수 있는 가운데 부분에 FP를 설계할 수 있다. 이를 기반으로 주로 사용하는 손가락의 위치를 판단할 수 있다. 만일 사용자가 자주 지문입력을 하는 부분으로 결정할 수도 있고, 사용자 지정에 의해 왼쪽/오른쪽/가운데나 사용자가 지정한 위치에 지문 입력창이 표시되도록 할 수 있다. 또는 등록(Enrollment)된 손가락이 있는 손가락 정보를 이용하여 지문입력창의 위치를 결정할 수 있다.
사용자가 입력하는 손이 왼손인지 오른손인지를 알게 되면, 이 정보에 기반하여 카메라 촬영 버튼, 메뉴 구성, 전화/메시지 전송 버튼, 자주 사용하는 메뉴, 게임 컨트롤러 등을 자주 사용하는 손이 편하도록 UI를 구성할 수 있다.
지문입력창의 위치가 결정이 되면, 지문입력창을 구성하는 GUI에 해당하는 FP의 Tx, Rx line번호를 알 수 있다. 그러면 지문입력 모드에서 상기 영역에 해당하는 Tx, Rx line만을 활성화시키고, FP의 나머지 Tx, Rx는 비활성화시킬 수 있다.
도 21을 참조하면, 터치 방식의 지문인식은 스마트폰 표면에 지문이 Glass에 남아 복제되어 사용될 수 있다. 이를 방지하기 위해, 주요 지문 인식 시, 스와이프를 하여 지문이 Glass에 남지 않도록 유도할 수 있다.
지문 인증 후, 화면에 굵기가 점점 얇아지는 달팽이 모양으로 따라가도록 유도하고, 이를 사용자가 사용하게 하여 인증을 수행할 수 있다.
추가로 인증 후, 지문을 없애기 위한 문양 자체도 보안의 요소 중 하나로 한다. 예를 들어, 지문 인증을 하고 별표, 사각형, 삼각형 혹은 원을 사용자 임의대로 정하여 최종 인증에 사용한다. 해당 문양 인식은 TSP 터치로 감지한다.
휘어지는 디스플레이에서 평평하게 펴져 있을 경우, 터치-타입 지문 UX가 나타나며, 휘어지는 경우, 휘어지는 방향으로 스와이프할 수 있도록 UX로 나타날 수 있다.
휘어질 때 휘어지는 방향과 수직인 방향이 Rx가 되어야 하므로, 스마트폰이 가로/세로 모드임에 따라 Tx, Rx를 스위칭할 수 있다. 예를 들어 X축으로 휘어지면 위에서 아래, Y축으로 휘어지면 왼쪽에서 오른쪽으로 스와이프를 할 수 있도록 할 수 있다. 터치 방식은 터치가 약하면 한번에 인식이 되지 않을 수 있다. 그래서 스와이프 방식으로 지문 인식을 유도할 수 있다.
전자 장치의 방향에 따라 사용자에게 편한 스와이프 방향이 다를 수 있다. 그래서 전자 장치의 방향에 따라 스와이프 방향을 조절할 수 있는데, 이는 지문센서의 Tx와 Rx의 스위칭으로 가능하다.
도 22를 참조하면, 전자 장치가 세로 방향을 따라 배치되어 있을 때, 스와이프는 전자 장치의 위에서 아래 방향으로 수행하는데, 이때는 Rx가 가로로 있어야 한다. 반면, 전자 장치가 가로 방향을 따라 배치되어 있을 때, 스와이프를 전자 장치의 왼쪽에서 오른쪽 방향으로 수행하게 되는데, 이때는 Rx가 기기를 바로 세웠을 때 세로로 있어야 한다. 따라서 전자 장치의 방향에 따라 스와이프 방향을 다르게 할 수 있게 UI를 표시하고, 그에 따라 Tx, Rx의 방향을 스위칭할 수 있다.
도 23을 참조하면, 전자 장치의 디스플레이가 off 상태에서 사용자가 디스플레이쪽으로 손을 가져다 댄다. 전자 장치는 TSP가 SP를 사용하여 저전력으로 동작을 하고 있다. 이때 TSP가 사용자의 호버링을 통해 근접을 감지한다.
전자 장치가 근접이나 터치를 감지하게 되면, 지문 입력이 가능한 FP가 위치한 곳에 UI적으로 지문입력이 가능한 위치 표시를 해준다. 디스플레이에 표시를 위해서는 AP가 잠시 깨어나야 할 수 있다. 그래서 잠시 나타나서 깜빡이거나, 최소한의 전류 소모를 위해 낮은 화면 밝기나 회색 화면 등으로 표시할 수 있다. 그리고 SP에 연결된 FP를 활성화시키고, 사용자가 쉽게 지문인식이 가능하도록 한다. 지문이 인증되면 터치 스크린은 Unlock이 될 수 있다.
도 24를 참조하면, 사용자가 SP에 연결된 TSP가 사용자의 터치를 감지할 때, 터치가 FP가 있는 위치를 터치하고 있음을 알게 되면, 바로 FP를 구동시켜 지문을 인식시키고, 지정된 지문과 매칭이 될 경우 Unlock Screen을 할 수 있다.
도 25를 참조하면, UI적으로 표시된 FP에 지문 인식을 완료하고, 위/아래/좌/우 방향 중 원하는 방향으로 스와이프한다.
전자 장치의 각도(가로/세로)와 스와이프 방향에 따라 unlock과 동시에 미리 사용자가 지정된 앱이 실행된다. 예를 들면 도 25의 네 번째 그림과 같이, 세로 상태에서 미리 지정한 스와이프 방향에 따라 Selfie 카메라(전면 카메라)가 unlock과 동시에 실행이 될 수 있다.
도 26을 참조하면, 위와 동일한 인증 동작 후, 전자 장치를 가로 상태에서 스와이프할 경우, 도 27의 네 번째 그림과 같이 미리 지정된 후면 카메라가 실행이 될 수 있다.
도 27을 참조하면, FP 인증 단계 후, 스와이프 대신 미리 지정된 모션 동작(ex. 앞뒤로 2~3회 흔들기)을 취하면, 미리 지정된 음악 재생기가 unlock과 동시에 실행될 수 있다.
도 28을 참조하면, 전자 장치(2800)는 전면에 제1디스플레이(2810)와, 제2디스플레이(2820)를 포함할 수 있다. 상기 제1디스플레이(2810) 일측단을 따라서 제2디스플레이(2820)가 배치될 수 있다. 상기 제1디스플레이(2810)는 평탄형 디스플레이이고, 상기 제2디스플레이(2820)는 곡면 디스플레이가 예시되었다. 하지만, 상기 제1,2디스플레이(2810,2820)는 평탄형 또는 곡면 타입으로 구성될 수 있다. 상기 제2디스플레이(2820)는 곡률을 가지거나, 곡률을 가지지 않게 구성될 수 있다. 또한, 상기 제1디스플레이(2810)나 제2디스플레이(2820)는 경질 또는 연질의 디스플레이로 구성될 수 있다.
상기 곡면을 구비한 휘어진 제2디스플레이(2820)를 가진 전자 장치(2800)에서, 상기 제2디스플레이(2820)에 FP(2830)를 실장하여, 아래/위 방향으로 스와이프하여 지문이 인식되도록 하면, 상기 제1 및 제2디스플레이(2810,2820)를 Lock/Unlock의 기능이 동작하게 할 수 있다. 예를 들어, 놓여진 상태에서 위쪽으로 스와이프를 하면 Lock 상태로, 아래쪽으로 스와이프를 하면 Unlock 상태로 될 수 있다. 미도시된 AP가 sleep인 상태에서도 지문 센서는 SP와 연결되어 저전력으로도 지문을 인식하게 하여 스크린을 unlock할 수 있다.
상기 제2디스플레이(2820)가 배치된 영역에서, 상기 제2디스플레이(2820)의 적어도 일부분에 FP(2830)를 구성하여 전류소모 최소화시킬 수 있다.
상기 전자 장치를 한 손(오른손 잡이)으로 잡았을 때, 엄지 손가락을 스와이프하기 편하도록 FP를 위치시켜 사용성을 저해하지 않을 수 있고, 사용자에 따라 편한 위치만을 설정시킬 수 있다. 상기 FP(2830)의 Fingerprint Verifier 부분을 제2디스플레이(2820) 상에서 표시를 하여 사용자가 지문인식 부분을 알 수 있게 할 수 있다. Fingerprint Verifier는 사용자에 따라 다른 위치에 설정될 수 있다.
도 29를 참조하면, 다양한 실시예에 따른 전자 장치(2900)의 제2디스플레이(2940) 영역에, 복수 개의 FP(2910,2920,2930)를 배치하거나 사용할 수 있게 하여, 사용자 설정에 의해 사용자가 가장 편리한 부분에서 지문인식을 할 수 있도록 할 수 있다. 사용자가 사용하지 않는 FP는 전원을 차단하여 전류소모를 최소화할 수 있다.
도 30을 참조하면, 다양한 실시예에 따른 전자 장치(3010)는 평면의 제1디스플레이(310)에서는 TSP를, 곡률을 가지는 제2디스플레이(3020)에서는 FP를 사용하는 형태로 구성할 수 있다. 디스플레이 전체를 FP를 사용하는 경우에 비해 전류소모를 줄이고, 터치와 지문인식의 간섭을 최소화할 수 있다. 그리고 상기 제1디스플레이(3010), 제2디스플레이(3020) 간의 화면 분리에 따른 사용성 분리로 사용자들이 직관적으로 디스플레이에 맞는 입력을 할 수 있도록 가이드할 수 있다.
도 31을 참조하면, 다양한 실시예에 따른 전자 장치(3100)는 AP 슬립상태에서 제1디스플레이(3110)에 배치된 FP에 지문을 인식시키면서, 제2디스플레이(3120)에 다른 손가락으로 스와이프를 하면, 볼륨 up/down과 같은 부가적인 동작을 수행할 수 있다. 이는 FP를 통해 사용자 인증으로 부가적인 간편한 설정 및 제어를 할 수 있는 것으로서, Unlock이 후에 특정앱에 진행하지 않아도 간편하게 실행하도록 할 수 있고, 다른 사용자가 함부로 설정을 못하도록 할 수 있다.
도 32를 참조하면, 다양한 실시예에 따른 전자 장치(3200)는 제1디스플레이(3210)에서 TSP를 우측으로 제1스와이프하면서 연속적으로 제2디스플레이(3220)에 배치된 FP를 제2스와이프할 경우, secrete page로 진입하여 지문으로 인한 private 기능 강화시킬 수 있다. 이는 일반적인 Unlock하는 시나리오와 Private unlock하는 시나리오를 복합적으로 적용하여 간편한 사용성을 제공할 수 있다.
도 33을 참조하면, 디스플레이(3310)가 오프 상태인 전자 장치(3300)에 사용자가 손가락을 두 개 가져다 댄다. 두 개의 손가락을 동시에 FP 상에 올리면, 상기 FP의 근접한 Tx, Rx를 이용해 각각의 지문을 읽어 데이터를 받아올 수 있다.
인식된 지문이 등록된 사용자의 지문과의 일치 정도를 파악하여, 한 손가락의 일치율이 떨어지더라도, 다른 한 손가락의 일치율을 계산하여 본인 인증을 처리하므로써 보다 정확도를 높여줄 수 있다.
또한, 여러 손가락을 기기에 등록한 후, 잠들어 있는 전자 장치에 한 개 또는 여러 개의 손가락을 패널에 올려서 인증동작을 수행할 수 있다.
어떤 손가락인지 인지하여 해당 손가락에 연결된 동작(사업자 또는 사용자가 지정한 동작)이 바로 수행된다. 예로, 검지 손가락으로 인지되면, 후면 카메라가 실행될 수 있다. 또한, 엄지 손가락으로 인지되면, 음악이 재생될 수 있다.
도 34를 참조하면, 손목에 착용하는 유형의 웨어러블 장치(3410)에서의 지문 인식을 수행할 수 있다.
왼쪽 손목에 웨어러블 장치(3410)를 착용한다. 오른손 손가락 5개를 웨어러블 장치(3410)에 모두 등록한다. 오른손 손가락을 FP에 올리면 어떤 손가락인지 인지하여 사업자 또는 사용자가 지정한 동작이 바로 수행된다. 디스플레이가 휘어진 형태라면 휘어진 방향으로 스와이프하여 지문인식을 수행할 수 있다. 시계, 밴드형의 웨어러블 장치는 화면 크기가 스마트폰에 비해 화면 제약이 있어 Menu depth 이동이 어려울 수 있다. 이때, 장치의 화면에 지문을 인식시키면 Shortcut 기능으로서 원하는 기능이 수행하여 사용성을 개선시킬 수 있다.
웨어러블 장치(3410) 사용 시, 연결된 스마트폰(3400)이나 웨어러블 기기 자체적으로 지문입력을 요청받을 수 있다. 또한, 지문입력을 요청받을 시, 웨어러블 장치(3410)에서 지문입력 모드를 실행시킬 수 있다.
지문입력 모드에서는 TSP대신에 FP가 스위칭 동작하여 지문을 인식받을 수 있다. 지문입력 모드에서 손가락의 지문을 인식하여 어느 손가락인지 인지한다. 인식된 손가락에 따라 왼/오른손을 구분하고 UI의 방향을 결정 후, 화면을 깨울 수 있다. 지문입력모드 사용이 끝나면, 다시 일반 모드로 진입하고, FP는 비활성화되고 다시 TSP가 동작될 수 있다.
본 문서에서 사용된 용어 "모듈"은 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 (firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위 (unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛 (unit), 로직 (logic), 논리 블록 (logical block), 부품 (component), 또는 회로 (circuit) 등의 용어와 바꾸어 사용 (interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 개시에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 220가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(implement)(예:실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고, 본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 문서에서, "가진다," "가질 수 있다,”"포함한다," 또는 “포함할 수 있다” 등의 표현은 해당 특징(예:수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, “A 또는 B,”“A 또는/및 B 중 적어도 하나,”또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B,“ A 및 B 중 적어도 하나,”또는 “ A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시예에서 사용된 “제 1,”“제 2,”“첫째,”또는“둘째,”등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1사용자 기기와 제2사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나, "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예:제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)," "하는 능력을 가지는 (having the capacity to)," "하도록 설계된 (designed to)," "하도록 변경된 (adapted to)," "~하도록 만들어진 (made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성 (또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to) 것만 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치" 라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는"것을 의미할 수 있다. 예를 들면, 문구 A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(웨어러블 device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TVTM 또는 구글 TVTM, 게임 콘솔 (예:Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예:각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치 (internet of things)(예:전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예:수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예:인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에 따른 전자 장치(101)의 블록도(100)이다. 상기 전자 장치(101)는 하나 이상의 어플리케이션 프로세서(AP:application processor)(110), 통신 모듈(120), SIM(subscriber identification module) 카드(124), 메모리(130), 센서 모듈(140), 입력 장치(150), 디스플레이(160), 인터페이스(170), 오디오 모듈(180), 카메라 모듈(191), 전력 관리 모듈(195), 배터리(196), 인디케이터(197), 및 모터(198)를 포함할 수 있다.
상기 AP(110)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 상기 AP(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(110)는, 예를 들면, SoC (system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 AP(110)는 GPU (graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 상기 AP(110)는 다른 구성요소들(예:비휘발성 메모리) 중, 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장 (store)할 수 있다.
상기 통신 모듈(120)은, 예를 들면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127), NFC 모듈(128) 및 RF(radio frequency) 모듈(129)를 포함할 수 있다.
상기 셀룰러 모듈(121)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 가입자 식별 모듈(예:SIM 카드124)을 이용하여 통신 네트워크 내에서 전자 장치(101)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 상기 AP(110)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(121)은 커뮤니케이션 프로세서(CP communication processor)를 포함할 수 있다.
상기 WIFI 모듈(123), 상기 BT 모듈(125), 상기 GPS 모듈(127) 또는 상기 NFC 모듈(128) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127) 또는 NFC 모듈(128) 중 적어도 일부(예:두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
상기 RF 모듈(129)는, 예를 들면, 통신 신호(예:RF 신호)를 송수신할 수 있다. 상기 RF 모듈(129)는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(121), WIFI 모듈(123), BT 모듈(125), GPS 모듈(127) 또는 NFC 모듈(128) 중, 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
상기 SIM 카드(124)는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예:ICCID (integrated circuit card identifier)) 또는 가입자 정보(예:IMSI (international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(130)는, 예를 들면, 내장 메모리(132) 또는 외장 메모리(134)를 포함할 수 있다. 상기 내장 메모리(132)는, 예를 들면, 휘발성 메모리 (예:DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory) (예:OTPROM (one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예:NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다.
상기 외장 메모리(134)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리(134)는 다양한 인터페이스를 통하여 상기 전자 장치(201)과 기능적으로 및/또는 물리적으로 연결될 수 있다.
상기 센서 모듈(140)은, 예를 들면, 물리량을 계측하거나 전자 장치(101)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(140)은, 예를 들면, 제스처 센서(140A), 자이로 센서(140B), 기압 센서(140C), 마그네틱 센서(140D), 가속도 센서(140E), 그립 센서(140F), 근접 센서(140G), color 센서(140H)(예:RGB(red, green, blue) 센서), 생체 센서(140I), 온/습도 센서(140J), 조도 센서(140K), 또는 UV(ultra violet) 센서(140M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(140)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서 모듈(140)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는 AP(110)의 일부로서 또는 별도로, 센서 모듈(140)을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP(110)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
상기 입력 장치(150)는, 예를 들면, 터치 패널(터치 panel)(152), (디지털) 펜 센서(pen sensor)(154), 키(key)(156), 또는 초음파(ultrasonic) 입력 장치(158)를 포함할 수 있다. 상기 터치 패널(152)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 상기 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 상기 터치 패널(152)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(154)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 상기 키(156)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 상기 초음파 입력 장치(158)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(101)에서 마이크(188)로 음파를 감지하여 데이터를 확인할 수 있다.
상기 디스플레이(160)는 패널(162), 홀로그램 장치(164), 또는 프로젝터(166)을 포함할 수 있다. 상기 패널(162)은 예를 들면, 유연하게 (flexible), 투명하게 (transparent), 또는 착용할 수 있게(웨어러블) 구현될 수 있다. 상기 패널(162)은 상기 터치 패널(152)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(164)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(166)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(101)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이(160)은 상기 패널(162), 상기 홀로그램 장치(164), 또는 프로젝터(166)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(170)는, 예를 들면, HDMI(high-definition multimedia interface)(172), USB(universal serial bus)(174), 광 인터페이스(optical interface)(176), 또는 D-sub(D-subminiature)(178)를 포함할 수 있다. 상기 인터페이스(170)는 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(180)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(180)은, 예를 들면, 스피커(182), 리시버(184), 이어폰(186), 또는 마이크(188) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(191)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예:전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래쉬(flash)(예:LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈(195)은, 예를 들면, 상기 전자 장치(101)의 전력을 관리할 수 있다. 한 실시예에 따르면, 상기 전력 관리 모듈(195)은 PMIC (power management integrated circuit), 충전 IC (charger integrated circuit), 또는 배터리 또는 연료 게이지 (battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 상기 배터리 게이지는, 예를 들면, 상기 배터리(196)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 상기 배터리(196)는, 예를 들면, 충전식 전지 (rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(197)는 상기 전자 장치(101) 혹은 그 일부의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(198)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 상기 전자 장치(101)는 모바일 TV 지원을 위한 처리 장치(예:GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어 플로우 (media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
상기 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품 (component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 2a 내지 도 2j를 참조하여, 이하에서는 본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이에 실장되는 복수 개의 터치 입력부(터치 인식 센서)의 배치 구조에 대해서 설명하기로 한다. 언급된 터치 입력부는 복수 개의 터치 인식 센서를 포함하는데, 터치로 입력이 가능한 TSP와 FP를 포함할 수 있다. 다양한 실시예에 따른 TSP는 디스플레이 상의 터치 입력을 인식하기 위한 터치 인식 센서 패턴을 포함하고, FP는 디스플레이 상의 지문 입력을 인식하기 위한 지문 인식 센서 패턴을 포함할 수 있다.
도 2a를 참조하면, 전자 장치는 AMOLED, TFT-LCD와 같은 다양한 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP(touch sensitive panel)가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 지문 패널(Fingerprint Panel)(이하 FP라 지칭하기로 한다)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 TSP 상에 중첩되게 배치될 수 있다. 상기 TSP와 FP는 중첩이 될 수도 있고, 겹치지 않고 나란히 배치될 수도 있다. 아울러, 상기 FP 상에 윈도우(w)가 중첩되게 부착될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
방식에 따라 상기 TSP와 FP는 모두 정전 용량식으로 사용될 수 있는데, 이 경우 두 방식의 원리는 비슷할 수 있다. 그러나, 일반적인 상황에서 상기 TSP의 패턴의 간격은 수 mm일 수 있으나, 상기 TSP는 500dpi일 경우 50 ㎛로 각 패턴의 간격에 차이가 있을 수 있다. 이러한 패턴의 구성에 따라 TSP와 FP가 구분될 수 있다. 상기 TSP는 크게 감압식과 정전식으로 나뉠 수 있다. 감압식은 터치스크린을 누르는 압력으로 터치 입력을 감지하는 방식이고, 정전식은 손가락이 터치스크린에 닿을 때 정전용량(capacitance)의 변화량을 감지하여 터치 여부를 감지하는 방식이다. 둘 다 많이 사용되나, 정전식 방식이 최근 많이 사용되고 있다.
도 2b를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 디스플레이 아래에 중첩되게 배치될 수 있다. 또한, 상기 TSP 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다. 상기 FP는 TSP보다 전극 어레이 밀도가 크기 때문에, 상기 디스플레이(D)의 시인성을 고려하여, 상기 디스플레이(D) 아래에 배치될 수 있다.
도 2c를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP와 FP가 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다.
상기 TSP와 FP는 겹치지 않고 나란히 배치될 수도 있다. 상기 디스플레이 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다. 상기 FP 및 TSP는 상기 디스플레이(D)의 시인성을 고려하여, 상기 디스플레이(D) 아래에 배치될 수 있다.
도 2d를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 상에 터치 입력을 위한 터치 센서, 예컨데, TSP 및 FP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 TSP와 FP는 겹치지 않고 나란히 배치될 수도 있다. 상기 FP 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
도 2e를 참조하면, 다양한 실시예에 따른 전자 장치는 디스플레이(D) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP가 중첩되게 배치될 수 있다. 상기 TSP는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP는 패턴이 형성되어 구성될 수 있다. 상기 TSP 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP)을 구성할 수 있다. 상기 FP는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP는 상기 TSP 아래에 중첩되게 배치될 수 있다. 또한, 상기 디스플레이(D) 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w)는 투명 창을 포함할 수 있다.
도 2f를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 곡면 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 곡면 디스플레이는 플렉시블(flexible) 디스플레이나, 커브드(curbed) 디스플레이 또는 벤더블(bendable) 디스플레이 중 어느 하나를 포함할 수 있다.
지문 입력을 위한 지문 센서는 곡면 Fingerprint Panel(이하 FP1)을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 TSP1 상에 중첩되게 배치될 수 있다. 상기 FP1 상에 윈도우(w)가 중첩되게 배치될 수 있다. 상기 윈도우(w1)는 투명 창을 포함할 수 있다. 후술하겠지만, 디스플레이가 곡면 디스플레이이면, 스와이프 방식으로 지문인식을 수행할 수 있다.
도 2g를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 곡면 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 곡면 Fingerprint Panel을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 곡면 디스플레이 아래에 중첩되게 배치될 수 있다. 상기 TSP1 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2h를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 아래에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1와, 곡면 FP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다.
상기 TSP1와 FP1는 겹치지 않고 나란히 배치될 수 있다. 또한, 상기 디스플레이(D1) 상에 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2i를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 상에 터치 입력을 위한 터치 센서, 예컨데, 곡면 TSP1 및 곡면 FP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 TSP1와 FP1는 겹치지 않고 나란히 배치될 수 있다. 또한, 상기 곡면 TSP1 및 곡면 FP1 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 2j를 참조하면, 다양한 실시예에 따른 전자 장치는 곡면 디스플레이(D1) 아래에 터치 입력을 위한 터치 센서, 예컨데, TSP1가 중첩되게 배치될 수 있다. 상기 TSP1는 터치스크린 상의 사용자 입력을 받기 위한 패널이다. 상기 TSP1는 패턴이 형성되어 구성될 수 있다. 상기 TSP1 패턴은 Tx, Rx가 구성된 패턴을 말하며, 다양한 방식으로 구성될 수 있다.
지문 입력을 위한 지문 센서는 Fingerprint Panel(이하 FP1)을 구성할 수 있다. 상기 FP1는 Tx, Rx로 구성되는 패턴을 가질 수 있다. 상기 FP1는 상기 TSP1 아래에 중첩되게 배치될 수 있다. 또한, 상기 곡면 디스플레이(D1) 상에 곡면 윈도우(w1)가 중첩되게 배치될 수 있다. 상기 곡면 윈도우(w1)는 투명 창을 포함할 수 있다.
도 3을 참조하면, 상기 TSP(30)는 일반적으로 Application Processor(AP)(33)와 연결되어 터치 정보를 제공할 수 있다. 터치 정보는 화면 해상도에 기반하여 x, y와 같은 좌표, 멀티 터치 정보(몇 개의 터치가 입력되는지 여부), 호버링(hovering) 여부(어느 위치, 어느 정도의 높이로 호버링 되는지 여부), 영역 터치 정보(터치 영역 넓이, 영역의 장축/단축 정보)를 제공할 수 있다.
상기 TSP(30)는 AP(33)외에도 추가적으로 구성된 Supplementary Processor(SP)(32)와 연결될 수 있다. 상기 SP(32)는 AP(33)와는 독립적인 프로세서로서, AP(33) 대비 상대적으로 성능은 떨어지나 저전력으로 구동될 수 있다. 그래서 항시 상기 TSP(30)나 FP(31)로부터 입력을 받을 수 있다. 그래서 상기 AP(33)가 슬립(sleep)인 상태에서도 상기 SP(32)는 저전력으로 구동되기 때문에 항시 awake상태로 지속될 수 있으며, 상기 AP(33)가 sleep인 상태, 즉 화면이 꺼진 상태에서도 TSP(30), FP(31)를 통해 사용자 입력이 있는지를 확인할 수 있다.
각 Panel(30,31)과 Processor(32,33)는 I2C, UART등 다양한 방식으로 연결될 수 있다. 만일 상기 TSP(30)가 SP(32)와 연결된 상태라면, 사용자는 AP(33)가 sleep인 상태에서도 터치입력을 할 수 있다. 예를 들어, 화면을 특정한 조건으로 터치한 상태가 감지되면 AP(33)가 깨어 화면이 켜질 수 있다.
그리고, 상기 FP(31)가 SP(32)와 연결이 되면, 상기 AP(33)가 슬립 상태에서도 지문인식을 할 수 있다. 예를 들어, 사용자가 손가락을 화면에 대고 있어서 특정 사용자임이 인식이 되면, 화면이 깨어 자동으로 사용자를 인증하여 Lock Screen이 Unlock될 수 있다. 이때, 상기 FP(31)와 TSP(30)가 SP(32)에 연결된 상태이고, 상기 AP(33)가 슬립인 상태에서, 상기 SP(32)를 통해 TSP(30)만 실행될 수 있다. 만일 상기 TSP(30)에서 터치 이벤트(event)가 발생하면, 상기 터치 이벤트가 생성된 포인트나 영역(area)를 결정하고, 해당 포인트나 영역과 매칭되는 FP(31)를 enable시킬 수 있다.
상기 FP(31)와 TSP(30)는 AP(33)와도 직접 연결되어서 지문 인식이나 터치 동작을 입력받을 수 있다.
이와 같이 상기 SP(32)와 FP(31), TSP(30) 간의 연결은 AP(33) 슬립 상태나 Screen Lock 상태에서 간편하게 AP(33)를 awake하거나, Screen Unlock 을 할 수 있어, 전자 장치를 사용 시 전류소모를 줄이고, 사용성을 향상시킬 수 있다.
정전용량은 Tx, Rx사이에 있는 유전체의 유전율에 따라 값이 달라지는 특성이 있는데, 이를 이용해 손가락 지문의 산(ridge) 및 골(valley)를 판단한다. 이 정보는 연속적인 형태로 구성된 후, 최종적으로 이미지 형태로 구성이 되어, 지문의 고유한 패턴을 구성한다.
지문센서는 인식하는 매체에 따라 정전용량 방식뿐만 아니라, Ultrasonic, Optical 등 다양한 방식이 사용될 수 있다. 그러나 기본 원리는 손가락의 지문의 Ridge(산형 부분)와 Valley(골형 부분)를 구분해서 인증 여부를 판단하는 것으로 동일하다.
지문센서는 Tx, Rx를 구현하는 방법에 따라 스와이프 타입(1D 타입)과 영역(Area) 타입(2D 타입)으로 구성될 수 있다. 스와이프 타입은 1D 형태의 직선으로 된 Rx에서 인식을 하며, 이를 스와이프할 때 생성되는 연속된 이미지들을 조합하여 지문의 형태를 구성한다. 반면, 영역 타입은 일정한 간격으로 구성된 Tx와 Rx에서 손가락을 입력면에 닿게 되면, 찍혀진 형태를 한번에 읽어들이고 이를 기반으로 지문 이미지를 생성시킨다.
도 4는 2D 지문 센서(40)의 원리를 보여주고 있다. 도 4를 참조하면, 손가락이 지문 센서(40)에 닿게 되면, Rx는 Tx와의 정전용량의 변화를 감지하고, 이는 수치화된다. 수치화된 값을 통해 지문의 산형 부분(400)과 골형 부분(410)을 알 수 있으며, 전체 값을 통해 여러 단계의 gray scale로 지문 모양을 알 수 있다.
상기 지문 센서(40)는 일반적인 다른 센서와 달리 사용자의 터치 입력을 받게 되므로, 패널(Panel)형태의 레이어(Layer)를 구성해야 한다. 이를 지문 인식 패널(Fingerprint Panel)(FP)이라 지칭할 수 있다. 예를 들어, 지문 인식 패널은 제1방향의 복수 개의 제1전극(패턴)과, 제2방향의 복수 개의 제2전극(패턴)을 가지는 지문 인식 센서 패턴을 포함할 수 있다.
상기 FP(40)는 지문 인식이 주요한 목적이지만, 터치스크린에 터치를 통해 입력을 받는 형태이다. 정전용량(Capacitance) 방식의 지문 센서는 TSP와 근본 원리가 크게 다르지 않기 때문에 지문 입력 이외에 Press, Release, Move 등의 터치 입력이 가능하다.
반면, FP와 TSP의 방식이 유사하기 때문에, 겹친 상태에서 동시 실행이 될 경우 Tx값이 커지게 되고, Tx, Rx 간의 거리가 균일해지지 않아, Panel 간에 영향 및 간섭을 주게 된다. 그래서 TSP와 FP가 동시에 실행되고 있을 경우 TSP, FP 모두 정확한 측정이 어려울 수 있다. 이를 해결하기 위해서는 TSP와 FP를 효과적으로 제어하는 것이 중요하다.
도 5는 TSP(50)와 FP(51)가 결합된 형태이다. 도 5를 참조하면, 상기 TSP(50)와 FP(51)는 다른 Layer를 구성하고 있고, 각각의 Tx, Rx 패턴이 겹쳐져 있다. 상기 TSP(50)의 경우, TSP(50) 상에 사람의 손가락으로 터치 입력을 하게 되면, 입력된 부분에 정전 용량값이 변한다. 이때 입력된 부분의 Tx, Rx의 위치를 통해 어느 위치에 터치입력이 있었는지를 계산하여 좌표 정보를 결정하게 된다. 상기 FP(51)도 마찬가지로 FP(51) 상에 손가락이 닿으면, 닿은 부분의 정전 용량의 차이가 생기게 되고, 측정된 값의 레벨링을 통해 지문 영상을 획득한다.
상기 TSP(50)와 FP(51)는 이처럼 원리는 비슷하나 세부적으로는 처리하는 방식이나 목적이 차이가 있다. 상기 TSP(50)는 손이 닿는 포인트를 결정하는 것이 주요 기능이고, 상기 FP(51)는 지문센서에서 지문의 모양을 생성하는 것이 주요 기능이기 때문이다.
상기 TSP(50)와 FP(51)는 정전 용량의 차이를 이용하는 것에서도 세부적으로 차이가 있다. 상기 TSP(50)는 Tx, Rx의 간격이 너무 조밀하면, Tx, Rx의 간섭이 생겨 오히려 정확한 위치를 결정하는데 부정적인 영향이 생길 수 있다. 즉, 터치는 너무 민감하여 값의 변화가 크면, 측정값이 변동이 커져서 안정적으로 포인트 좌표가 나오지 않게 되어, 터치 인식 자체가 부자연스럽게 느껴질 수 있으므로 어느 정도의 측정값 필터링이 필요하다. 따라서 상기 TSP(50)는 적정 수준의 Tx, Rx간격이 필요하다. (대략 수mm 수준)
반면, 상기 FP(51)의 지문센서는 손가락의 Ridge와 Valley의 모양을 측정해야 하므로 Tx, Rx간격이 촘촘해야 한다. 이 간격은 작을수록 좋은 것이 아니라 인간의 지문의 일반적인 패턴을 담을 수 있는 최소한의 수준이어야 한다. 이 간격은 전자 기기의 크기와 무관하다. 통상적으로는 50 ㎛ 정도의 Tx, Rx 간격을 가져야 안정적인 지문 이미지를 생성할 수 있다.
그래서, 도 5에서는 TSP(50)와 FP(51)가 서로 다른 간격의 Tx, Rx를 가지고 있다. 그러나, 상기 TSP(50)와 FP(51)가 도 5처럼 격자 무늬로만 배열되는 것은 아니다. 이는 하나의 예시이며 다양한 형태로 Tx, Rx가 배치될 수 있다. 그러나, 상기 TSP(50)와 FP(51)의 Tx, Rx간격은 각각의 특성상 차이가 있을 수밖에 없으며 이를 구조적으로 결합을 위한 방법이 필요하다.
도 6은 TSP와 FP가 물리적으로 배치될 수 있는 다양한 실시예를 보여준다. 도 6을 참조하면, 상기 TSP와 FP는 다양한 형태로 배치될 수 있다.
도 6의 (a)는 TSP와 FP가 중첩된 형태의 정면도, 평면도, 우측면도이다. 도 6의 (a)와 같은 형태의 구성은 FP(62)가 TSP(61)가 구동되는 부분 상에서 동작한다. 이 방식은 FP(62)를 임의의 위치에 설치할 수 있는 장점이 있으나, TSP(61)와 FP(62)를 동시에 동작할 경우, Tx가 동시에 동작되어 Rx로 인가되는 전하량이 영향을 받아서 정확한 측정이 되지 않아 지문이나 터치 인식에 오류가 생길 수 있다.
이처럼 TSP(61)와 FP(62)가 동시에 구동시킬 때에는 하나만 동작하게 하거나, 적어도 하나의 Tx만 동작하도록 할 수 있다. 예를 들어 TSP(61)에서 겹치는 영역의 Tx, Rx 사용을 중지시키고, FP(62)의 Tx, Rx만 사용하여 지문이 인식되도록 할 수 있다. 또는 TSP(61)의 Tx사용을 중지시키고, FP(62)의 Tx, Rx만 사용하여 지문이 인식되도록 할 수 있다. 이 경우는 TSP의 Rx를 사용할 수 있는데, FP의 Tx와 TSP의 Rx 간에 생성되는 전하량으로 터치 위치를 판단할 수 있다.
도 6의 (b)는 TSP(63)와 FP(64)를 중첩시키지 않고, 나란히 배치한 형태이다. 상기 FP(64)는 TSP(63) 하단에 배치시킬 수 있다. 이 배치들은 TSP(63)와 FP(64) 간에 간섭은 없을 수 있다. 그러나 터치 인식 시, 전체를 하나의 TSP(63)를 사용하지 못하고, 화면의 일부 구간은 FP(64)를 이용해 터치를 인식해야 한다. 이때, FP(74)의 일부 Tx, Rx를 이용하면, TSP(73)와 같은 터치 동작을 수행할 수 있다.
도 6의 (c)는 TSP(65)와 FP(66)를 중첩시키지 않고, 나란히 배치한 형태이다. 상기 FP(66)는 TSP(65) 우측에 배치시킬 수 있다. 이 배치들은 TSP(65)와 FP(66) 간에 간섭은 없을 수 있다. 그러나 터치 인식 시, 전체를 하나의 TSP(65)를 사용하지 못하고, 화면의 일부 구간은 FP(66)를 이용해 터치를 인식해야 한다. 이때, FP(76)의 일부 Tx, Rx를 이용하면, TSP(75)와 같은 터치 동작을 수행할 수 있다.
도 7을 참조하면, 제1디스플레이(710), 제2디스플레이(720)를 가지는 전자 장치(70)에서는 제1디스플레이(710)와 제2디스플레이(720)는 기본적으로 독립된 사용자 경험을 제공하므로 도 6의 (c)과 같이 FP를 구성할 수 있다. 제2디스플레이(720)를 도 6의 (c)와 같이 구성하면, 제1디스플레이(710)는 터치 위주의 기능을 수행하고, 제2디스플레이(720)를 통해서는 지문을 인식하게 할 수 있다. 따라서 디스플레이별 특화된 패널을 구동시키고, 그에 따라 사용자에게 특화된 UX를 제공할 수 있다. 하기에 설명되겠지만, 제1디스플레이(710)는 평탄한 평면 디스플레이이고, 제2디스플레이(720)는 곡면 디스플레이로 구성될 수 있다.
도 8을 참조하면, TSP와 FP는 Tx, Rx의 배치와 HW 제어 구조를 바꾸어 하나의 패널에 동시에 구현시킬 수 있다. 도 8은 TSP를 구성하는 Tx, Rx와 FP를 구성하는 Tx, Rx를 동일한 Panel을 구성하고, Hybrid 형태로 구동할 수 있다. Hybrid 형태로 구성하면 단일 Layer(각 패널이 겹쳐지지 않게 나란하게 배치됨)를 사용할 수 있어 기기의 두께를 줄일 수 있는 장점이 있다.
'TSP only' 사용할 때, FP의 Tx, Rx에는 전류를 보내지 않아 동작하지 않는다. 그래서 일반적인 TSP와 동일하게 사용할 수 있다.
그러나 'TSP+FP' 동시에 사용할 경우, TSP의 Tx, Rx 간격 사이에 일정한 간격으로 구성된 FP의 Tx, Rx와 합쳐지게 된다. 그렇게 되면 합쳐진 부분은 지문센서의 역할을 할 수 있다. 이러한 동작은 전자 장치에서 지문입력 모드를 실행했으냐 해제했으냐에 따라 H/W적으로 제어가 가능하다.
도 9를 참조하면, 지문 센서는 일반적으로 평평한 2D의 입력의 구조인데, 휘어진 디스플레이와 TSP를 가지는 구조에서는 일반적인 2D 형태의 구조의 FP를 적용하는 것이 어려울 수 있다. 이유는 Tx와 Rx의 간격이 틀어지게 되면 지문의 모양이 뒤틀리기 때문이다. 이를 해결하기 위해 휘어진 방향과 수직이 되는 하나의 line을 Rx로 설정시키고, 사용자에게 상기 Rx가 활성화된 위치에 수직이 되도록 스와이프를 하도록 유도할 수 있다. 이때, Tx는 균일한 간격으로 구성되어 있고, 여러 개의 나열된 Tx와 하나의 Rx 사이에는 정전용량이 생기고, 이를 감지하여 이미지를 생성시킬 수 있다. 이렇게 사용자가 스와이프를 하면 지문이 읽히고 연속된 이미지들이 저장이 되어 지문 이미지를 생성하게 되어 인증이 가능하게 된다. 상기 구조의 구동 방법은 하기에 설명하기로 한다.
한편, 전자 장치에서, FP를 통해 입력을 받고, 그에 따라 원하는 동작을 수행하기 위해서는 FP의 상태 정보가 정의되어야 한다. 상태 정보는 TSP를 통해 터치 입력을 받을 때, TSP 입력과 매칭되는 FP의 정보를 의미한다. 이 정보는 전자 장치를 운영하는 OS나 플랫폼에서 지문 관련 서비스나 기능을 제공할 때, 적절한 UI 등을 제공하기 위해 필요하다.
FP의 상태정보는 [표 1]과 같이 될 수 있다.
| - FP의 동작 상태 정보 : Enable/Disable - 디스플레이 해상도에 매칭되는 지문센서의 입력 가능 영역 : (x, y, width, height) 예) (10, 10, 200, 400) 이면 Display에서 10, 10부터 너비 200, 높이 400의 영역은 지문센서 입력 영역임을 표시 - 지문센서의 종류 : 1D / 2D / - Tx, Rx의 세부 정보 . Tx, Rx 각각의 개수 . Tx, Rx 각각의 간격 정보 . Tx, Rx 동작(활성화) 여부 : Tx[N], Rx[M] 예) Tx[1] = 1, Tx[2] = 0이면 Tx[1]에는 전류가 인가되고, Tx[2]에는 전류가 인가되지 않음 |
상태정보 중, FP의 동작 상태 정보는 TSP와 FP가 겹쳐져 있을 때, FP를 제어하여 동작 여부를 결정할 수 있다.
디스플레이 해상도에 매칭되는 지문 센서의 입력 가능 영역은 전자 장치의 지문 센서의 실제화면 크기와 해상도에 따라 값이 달라질 수 있다. 이 영역은 TSP의 터치 좌표 입력과도 매칭이 되어야 한다. 이 영역의 정보는 전자 장치 내의 운영 체제나 플랫폼에 제공되며, GUI를 구성하는 모듈에서 이 영역 정보를 사용하여 지문센서 관련 UI를 만들 수 있다.
지문 센서의 종류는 지문 센서가 1D 방식, 2D 방식과 같은 형태로 설정될 수 있다. 센서의 Dimension은 사용자에 의해 설정이 될 수도 있으나, 다른 상태 정보에 기반하여 결정될 수 있다. 예를 들어 디스플레이가 평평한(flat) 상태이면 2D 방식의 지문 센서를 사용할 수 있고, 한쪽으로 휘어졌을 경우 1D 방식의 지문 센서를 사용할 수 있다.
지문 센서의 종류(방식)에 따라 사용자도 역시 입력을 하는 방식이 달라져야 한다. 따라서, 지문 센서 종류에 기반하여 등록(enrollment)이나 입력을 요청하는 사용자 가이드도 달라질 수 있다.
Tx, Rx의 세부 정보는 지문센서의 Tx, Rx의 제어를 위해 필요한 정보이다. FP동작 상태정보가 Disable되면 Tx, Rx 전체의 상태 역시 비활성화 된다.
Tx, Rx 각각의 개수는 지문센서 구성된 Tx line, Rx line의 개수를 나타낸다.
Tx, Rx 각각의 간격 정보는 Tx, Rx가 구성된 간격을 나타내는 것으로, 상기 각각의 개수와 더불어 지문센서의 영역을 알 수 있게 한다. 이는 TSP와 겹쳐질 때 상대적인 위치 차이를 알 수 있는 요소이다. 간격 정보는 실제적인 거리로 나타낼 수도 있으나 dpi(dot per inch)로 나타낼 수도 있다.
Tx, Rx 동작 여부는 지문 센서가 N개의 Tx, M개의 Rx로 구성되어 있을 경우, Tx, Rx를 개별적으로 활성화를 할 수 있다. 그래서 지문 센서 전체에서 일부 영역만 인식이 가능하도록 Tx, Rx를 제어할 수 있다. 예를 들어 Tx[10]~Tx[15]까지 off를 시키면 해당 영역은 지문 센서가 동작을 하지 않게 된다. 이러한 설정은 사용자가 입력한 TSP의 위치에 따라 매칭이 되는 FP의 TRx를 설정할 수도 있고, 기설정된 사용자의 특성(왼손/오른손 또는 사용자 지정)에 따라 고정적으로 활성화될 위치가 정해질 수도 있다.
지문 센서의 1D-2D방식의 전환 시, 1D 방식의 인식을 위해 하나의 Rx만을 인식시키도록 하여 사용할 수 있다. 또는 Tx, Rx를 스위칭하여 다른 방향으로 센싱할 수 있도록 제어할 수 있다. 전자 장치에서는 센서의 활성화된 Tx, Rx의 정보를 이용하여, FP에서 어느 위치에서 센서가 인식이 가능한지를 알 수 있고, 이를 TSP 및 디스플레이와 연계할 수 있다. TSP와 연계되면, FP가 비활성화된 영역에만 TSP를 활성화할 수 있고, 디스플레이와 연계되면 활성화된 FP의 영역을 UI 형태로 구성하여 표시할 수 있다.
도 10을 참조하면, 전자 장치에서 사용자가 지문을 입력하기 위해서는 지문 센서가 입력 모드 상태가 되어야 한다(동작 1011). 지문 센서는 항시 활성화되어 있을 수도 있으나, 모바일 장치에서는 전류 소모를 위해 사용하지 않을 때는 센서를 off시키는 것이 일반적이다(동작 1012).
전자 장치에서 지문 센서의 활성화 제어가 필요한 이유는 지문센서가 탑재된 FP와 TSP가 겹쳐져 있는 상태일 경우 문제가 생길 수 있기 때문이다. 왜냐하면, TSP와 Tx와 FP의 Tx에서 동시에 전하가 발생하면, Rx에서 받아들이는 전하량이 변할 수 있기 때문이다. 지문 센서의 경우 Tx와 Rx사이에 생성된 정전용량으로 이미지를 생성하는데, 이 값이 영향을 받게 되면 자연스럽게 이미지 형상이 달라지게 되고, 지문인증을 할 수 없게 된다.
사용자가 지문 입력을 위한 어플리케이션이나 기능을 실행시켜서 지문 입력할 때에는 전자 장치의 FP를 활성화시켜야 한다(동작 1013). 이때, 상기 'FP의 상태정보'에 기반하여 지문 입력 가능한 영역을 정의하게 되고, 이 영역에는 지문 입력이 가능하도록 활성화된다. 그리고 상기 어플리케이션이나 기능에서는 사용자에게 지문 입력을 할 수 있는 UI를 표시할 수 있다. 이어서, 사용자는 지문입력을 하게 된다.(동작 1014)
그런데, FP가 활성화되어 있을 때, FP와 겹치는 영역의 TSP가 함께 동작을 하게 될 수 있다. 그렇게 되면 위에서 언급한 것과 같이 TSP의 Tx가 FP의 Rx에 영향을 주게 되어, 정확한 지문 모양 생성하는데 어려움이 있을 수 있다. 그렇기 때문에 FP가 활성화되었을 때에는 적어도 FP와 겹치는 부분의 TSP 동작을 제어해야 한다. 참고로, AP가 슬립(sleep)되어 디스플레이가 오프된 상태에서도 지문 인식이 가능할 수 있다.
도 11은 AP가 슬립인 상태에서 SP에 연결된 FP와 TSP를 사용하여 동작시키는 순서도이다. 도 11을 참조하면, 동작 1110에서, TSP에서 사용자의 터치를 감지할 수 있다.
동작 1120에서, 감지된 터치 위치를 기반으로 하여 FP를 활성화시키거나, FP에서 TSP의 터치 영역부근의 Tx, Rx line만 활성화시킬 수 있다.
동작 1130에서, 지문 입력 후에 지문 인증이 실행될 수 있다.
동작 1140에서, 지문 인증에 따라 스크린을 언락(Unlock)하거나, 카메라 실행 등 지정된 동작을 수행할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 TSP와 FP를 동시에 사용하는 예를 보여준다. 다양한 실시예에 따른 전자 장치는 프로세서가 지문 인식 모드 실행 여부를 판단하고, 판단된 지문 인식 모드 실행 여부에 따라 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴을 선택적으로 활성화시킬 수 있다.
도 12를 참조하면, TSP만 사용시에는 FP의 Tx, Rx line을 disable시켜서, TSP를 사용할 수 있게 할 수 있다.
그러나, TSP와 지문센서를 동시에 사용할 시에는 TSP의 Tx line 중, FP와 겹치는 Tx line을 off시켜서, TSP와 FP가 상호 간섭이 생기지 않도록 제어할 수 있다.
도 12에서는 FP와 중첩되는 영역인 Tx line의 n1, n2, n3를 off시켜서 FP가 on되어 동작할 수 있게 한다. 이때 사전에 TSP에서 n1, n2, n3의 정보는 알 수 있어야 한다. n1, n2, n3값은 가변적일 수 있다.
도 13을 참조하면, TSP와 FP가 중첩되어 있지 않고, 나란히 배치된 상태라면, 상호 간에 간섭이 없어 독립적으로 각각의 Panel을 사용할 수 있다. 이때, FP는 TSP와 인식 수준을 맞춰주기 위해, 일부 Tx, Rx line을 활성화시켜서, TSP의 Tx, Rx line과 같이 사용할 수 있다.
지문 센서에서는 Navigation mode로 어느 위치에 터치를 했는지, 그리고 상하좌우와 같은 어떠한 터치 동작을 했는지를 감지할 수 있다. 그러나, TSP와는 구조 및 배열이 다르기 때문에 TSP와는 독립적으로 터치한 위치를 계산해야 한다. 그렇게 때문에 TSP와 FP를 하나의 큰 TSP와 같은 형태로 구동시키기 위해서는 TSP와 FP가 통합적으로 관리되어 일관된 터치 위치 및 동작인식을 수행할 수 있어야 한다.
그러나, 이를 위해서는 TSP와 FP의 구조가 일관성이 있어야 하고, 동시에 처리될 수 있어야 하며, 시스템적으로 복잡해질 수 있다. 따라서 단일 TSP로 동작할 때보다 비효율적이며 성능이 좋지 않을 수 있다. 그래서 이러한 방식은 Panel마다 독립적인 UX와 시나리오를 제공할 수 있는 Dual 디스플레이나 제1/제2디스플레이를 가지는 전자 장치에 적합할 수 있다.
한편, 도 14에 도시된 바와 같이, 터치 센서는 TSP와 FP가 단일 Panel로 합쳐진 복합형이 될 수 있다. 복합형 터치 센서는 TSP가 FP를 포함하고, TSP의 Tx, Rx line과 FP의 Tx, Rx line이 포개진 형태이다. FP의 TRx가 촘촘하므로, 일반적으로는 TSP의 Tx, Rx 배열에서 내부에 더 촘촘한 Tx, Rx를 가지는 형태이다.
복합형은 TSP만을 사용하는 상황이라면 FP의 Tx, Rx는 disable될 수 있다. 단, 지문센서 역할을 수행하면서 TSP의 Tx, Rx에 속하는 공통되는 line은 활성화 되어 있어야 한다. 만일 FP를 사용하는 상황이라면 지문센서의 Tx, Rx는 활성화되고, 역시 상기 공통되는 Tx, Rx line은 활성화된다. 그리고 사전에 정의된 지문 센서영역에 기반하여 복합형 내에서 지문센서 영역을 설정하고, 해당 영역의 Tx, Rx는 지문인식을 위해 사용된다. 나머지 영역은 TSP로 사용될 수 있다.
FP를 사용 시, 하나의 FP에서도 모든 영역을 활성화시키지 않고, 부분적으로 나누어 활성화시킬 수 있다. 이는 'FP의 상태정보 정의' 과정에서 사용자 설정으로 지정될 수 있다. 예를 들어, 오른손 잡이이면 화면의 오른쪽에 위치한 FP의 Tx, Rx를 활성화시킬 수 있고, 왼손 잡이이면 화면의 왼쪽에 위치한 FP의 Tx, Rx를 활성화시킬 수 있다. 이는 불필요한 Tx, Rx를 활성화시키지 않음으로써 전류 소모를 절감하는 효과가 있다.
지문을 입력받으면 인증 동작을 수행하게 된다. 인증은 사전에 등록된 지문의 이미지 정보와 새롭게 입력된 지문 이미지 정보를 비교한다. 이 때, 이미지의 매칭 여부를 특징점을 기준으로 판단할 수 있으며, 지문의 패턴을 기준으로 판단할 수 있다. 매칭값(score)이 기준 조건을 만족하게 되면 인증을 하게 되면 지문 인증 성공으로 판단하게 된다.
인증을 받게 되면, 실행을 했던 어플리케이션이나 서비스에 기지정된 시나리오에 맞게 동작이 수행된다.
도 15 내지 도 17을 참조하면, 지문센서는 Tx, Rx 제어 및 인식 방법에 따라 1D 혹은 2D 방식으로 지문인식을 할 수 있다. 1D 방식은 선으로 지문을 읽어들이는 방식이고, 2D 방식은 면적으로 지문을 읽어들이는 방식이다. 지문 정보는 2D 이상의 정보이므로 1D 방식은 스와이프 동작으로 손가락을 움직여 2D로 만들어준다.
따라서, 1D 방식은 '스와이프 타입'이라고도 하며, 2D 방식은 '터치 타입' 또는 'Area 타입'으로 부를 수 있다. 두 방식은 각각의 장단점이 있어 어느 방식이 우월하다라고 할 수는 없는데, 사용성은 터치 타입이 좀 더 좋을 수 있으나, 장치의 제약이 있고 실장 공간의 제약이 있다. 그리고 지문 등록(Enrollment) 관점에서는 스와이프 방식은 한 번에 인식할 수 있으나, 터치 방식은 여러 번 터치를 해야 할 수 있다. 상황에 따라 각각의 방식은 장단점을 가진다. 그렇기 때문에 2D 방식의 지문센서를 상황에 따라 1D 방식으로 사용할 수 있다면, 이는 큰 장점이 될 수 있다.
전자 장치에서는 사용자의 사용 상태 및 조건을 확인하여 1D 또는 2D 모드를 스위칭할 수 있다. 예를 들어, 디스플레이가 플렉시블하거나 휘어져 있을 경우, 터치로 지문인증 하기가 어려울 수 있다. 왜냐하면 입력부가 휘어져 있어 지문 입력이 왜곡될 수 있기 때문이다. 따라서 이와 같은 경우는 1D 모드로 변경하여 스와이프 할 수 있게 하면 정확한 지문을 입력받을 수 있다.
또는, 터치방식은 분명 사용성에 장점이 있으나, 디스플레이 표면에 지문의 흔적이 남을 수 있는 단점이 있다. 지문 정보는 지극히 개인적인 정보로서 유출 시 심각한 피해를 줄 수 있으므로 복제가 되지 않도록 해야 한다. 이러한 점에서 지문센서를 스와이프방식으로 변환시키면 지문 자국이 남는 것을 해소할 수 있다.
이와 같이 전자 장치에서 디스플레이의 휘어짐, 사용자 설정에 의해 지문센서 모드를 2D 모드를 1D 모드로 바꾸거나, 반대로 1D 모드를 2D 모드로 바꿀 수 있다.
2D 모드의 지문센서는 모든 Tx 라인과 Rx 라인을 이용하여 지문을 캡쳐할 수 있다.
다양한 실시예에서의 동작순서는 Rx1, Rx2가 enable되어, Rx1이 FI(Finger Information)으로 Rx2가 NI(Noise Information)으로되어, Tx1 ~ Tx N까지 순차적으로 켜지며, 다시 Rx2, Rx3이 Enable되어 Rx2가 FI, Rx3가 NI가 되어, Tx1~Tx N까지 순차적으로 켜진다.
도 15를 참조하면, 1D 모드는 총 M개의 Rx 중 한 쌍의 손가락 정보(Finger Information)(FI) 및 노이즈 정보(Noise information)(NI)만 enable한다. 그리고, 손가락 스와이프가 끝날 때까지 Tx는 지속적, 순차적으로 On-Off한다.
예를 들어, Tx1에서 Tx N까지 순차적으로 On-Off하면서, 다시 Tx1에서 Tx N까지 On-Off한다. 해당 원리는 터치 방식과 동일하다.
스와이프 방식으로 지문인식을 하는 1D type의 지문센서 사용 시, 기기의 방향이 달라질 때 지문입력도 달라져야 하는데, 이를 위해 지문 인식 시 스와이프하는 방향을 변경할 수도 있다.
도 16은 각각 Tx와 Rx 라인에 스위치를 추가하여 그림에서 세로 방향으로 스와이프 동작시, 기존 방식과 같이 하며, 가로 방향으로 스와이프 동작시, 기존의 각각 Tx 와 Rx 라인의 스위치를 Open한다. Tx 라인에는 Rx의 Differential Amp와 스위치를 Close하고, Rx 라인은 Tx Source와 스위치를 On하여 연결하여, Tx와 Rx를 변경한다. 즉, Tx와 Rx를 스위치로 역할을 바꾸게 하여 지문입력을 할 수 있다.
도 17은 휘어지는(Flexible) 디스플레이, 또는 휘어진(Curved) 디스플레이에서의 지문 센서 사용방법을 보여준다. 도 17을 참조하면, 지문 센서에서 사람의 지문을 인식할 때에는 지문의 모양이 왜곡되지 않고 생성될 수 있는 것이 중요하다. 그래서 Rx가 손가락과 접촉할 때 균일하게 값을 읽어 들이는 것이 중요하다. 디스플레이가 휘어지면, 화면에 닿는 손가락의 면적이 굴곡이 져서 지문의 모양이 왜곡될 수 있다. 정확성이 가장 중요한 지문센서에는 인식률을 떨어뜨리는 요소가 될 수 있다. 그래서 휘어질 때에는 직선이 되는 부분에 손이 닿을 수 있도록 해야 지문 인식이 가능해진다.
도 17에서는 휘어지는 디스플레이가 휘어지는 방향을 감지하여 이를 기반으로 하여 지문 센서의 인식 방향을 결정한다. X, Y축 패턴에서 어느 축으로 휘어졌는지를 알면, Tx, Rx를 연결하는 스위치를 통해 Tx와 Rx를 변경시킬 수 있다.
디스플레이가 X축으로 휘어진 경우, 2D 지문인식을 수행할 수 없으므로, Rx를 세로로 남기고 좌에서 우, 또는 우에서 좌 방향으로 스와이프하여 인식하도록 할 수 있다. 마찬가지로 디스플레이가 Y축으로 휘어진 경우, 상에서 하, 하에서 상 방향으로 스와이프하여 인식하도록 할 수 있다. 즉, 입력 패널이 휘어진 상태에서는 왜곡될 수 있는 Rx를 최소화하고, 사용자가 스와이프로 정확한 이미지가 생성될 수 있도록 제어할 수 있다.
도 18을 참조하면, 지문입력 GUI 배치는 FP의 물리적인 위치를 기반으로 표시될 수 있다. 지문입력 모듈에서는 기지정된 FP 영역 정보를 읽어와서 디스플레이 상에 지문 입력이 가능한 위치에 지문입력 UI를 표시한다. FP가 TSP의 가운데 중첩되어 위치한 경우, 지문입력을 유도할 수 있다. 이때 지문입력 영역은 FP가 가능한 영역이어야 한다.
FP가 구동될 시에는 겹치는 영역의 TSP는 제어될 수 있다. 예를 들어 FP가 구동될 때는 겹치는 영역의 TSP 동작을 off하여, 지문인식과 터치인식의 간섭오류를 억제할 수 있다.
반대로 지문인식이 완료된 후에는 즉시 TSP를 활성화하고, FP를 off시켜, 사용자가 느끼기에 지문입력과 터치입력이 자연스럽게 끊김없이 동작하도록 제어할 수 있다.
도 19를 참조하면, 터치 동작 중 드래그에 관해, FP 영역에서 지문인식을 완료하고 시작된 드래그는 FP중첩이 없는 TSP 영역의 드래그와 달리 보안동작으로 연계할 수 있다. 예를 들어 갤러리 어플리케이션의 경우, FP 중첩이 없는 드래그를 수행하면 다음(혹은 이전) 사진으로 넘어가고, FP영역에서 지문인식 후 시작된 드래그는 해당 사진을 잠금on/off를 하는 등의 보안동작으로 연계시킬 수 있다.
유사한 실시예로 Lock screen에서 일반영역으로 스와이프하면, 일반 모드로 진입하고, FP가 있는 영역을 스와이프하면 보안 모드로 진입하도록 할 수 있다.
도 20은 사용자가 자주 사용하는 손에 따라 지문 입력창의 위치를 바꿀 수 있는 예시이다. 먼저 지문입력 시, 한 손으로 잡았을 때 가장 편안한 자세로 지문 인식을 할 수 있는 위치에 지문 센서를 설계한다. 예를 들면 파지 후 손가락이 닿을 수 있는 가운데 부분에 FP를 설계할 수 있다. 이를 기반으로 주로 사용하는 손가락의 위치를 판단할 수 있다. 만일 사용자가 자주 지문입력을 하는 부분으로 결정할 수도 있고, 사용자 지정에 의해 왼쪽/오른쪽/가운데나 사용자가 지정한 위치에 지문 입력창이 표시되도록 할 수 있다. 또는 등록(Enrollment)된 손가락이 있는 손가락 정보를 이용하여 지문입력창의 위치를 결정할 수 있다.
사용자가 입력하는 손이 왼손인지 오른손인지를 알게 되면, 이 정보에 기반하여 카메라 촬영 버튼, 메뉴 구성, 전화/메시지 전송 버튼, 자주 사용하는 메뉴, 게임 컨트롤러 등을 자주 사용하는 손이 편하도록 UI를 구성할 수 있다.
지문입력창의 위치가 결정이 되면, 지문입력창을 구성하는 GUI에 해당하는 FP의 Tx, Rx line번호를 알 수 있다. 그러면 지문입력 모드에서 상기 영역에 해당하는 Tx, Rx line만을 활성화시키고, FP의 나머지 Tx, Rx는 비활성화시킬 수 있다.
도 21을 참조하면, 터치 방식의 지문인식은 스마트폰 표면에 지문이 Glass에 남아 복제되어 사용될 수 있다. 이를 방지하기 위해, 주요 지문 인식 시, 스와이프를 하여 지문이 Glass에 남지 않도록 유도할 수 있다.
지문 인증 후, 화면에 굵기가 점점 얇아지는 달팽이 모양으로 따라가도록 유도하고, 이를 사용자가 사용하게 하여 인증을 수행할 수 있다.
추가로 인증 후, 지문을 없애기 위한 문양 자체도 보안의 요소 중 하나로 한다. 예를 들어, 지문 인증을 하고 별표, 사각형, 삼각형 혹은 원을 사용자 임의대로 정하여 최종 인증에 사용한다. 해당 문양 인식은 TSP 터치로 감지한다.
휘어지는 디스플레이에서 평평하게 펴져 있을 경우, 터치-타입 지문 UX가 나타나며, 휘어지는 경우, 휘어지는 방향으로 스와이프할 수 있도록 UX로 나타날 수 있다.
휘어질 때 휘어지는 방향과 수직인 방향이 Rx가 되어야 하므로, 스마트폰이 가로/세로 모드임에 따라 Tx, Rx를 스위칭할 수 있다. 예를 들어 X축으로 휘어지면 위에서 아래, Y축으로 휘어지면 왼쪽에서 오른쪽으로 스와이프를 할 수 있도록 할 수 있다. 터치 방식은 터치가 약하면 한번에 인식이 되지 않을 수 있다. 그래서 스와이프 방식으로 지문 인식을 유도할 수 있다.
전자 장치의 방향에 따라 사용자에게 편한 스와이프 방향이 다를 수 있다. 그래서 전자 장치의 방향에 따라 스와이프 방향을 조절할 수 있는데, 이는 지문센서의 Tx와 Rx의 스위칭으로 가능하다.
도 22를 참조하면, 전자 장치가 세로 방향을 따라 배치되어 있을 때, 스와이프는 전자 장치의 위에서 아래 방향으로 수행하는데, 이때는 Rx가 가로로 있어야 한다. 반면, 전자 장치가 가로 방향을 따라 배치되어 있을 때, 스와이프를 전자 장치의 왼쪽에서 오른쪽 방향으로 수행하게 되는데, 이때는 Rx가 기기를 바로 세웠을 때 세로로 있어야 한다. 따라서 전자 장치의 방향에 따라 스와이프 방향을 다르게 할 수 있게 UI를 표시하고, 그에 따라 Tx, Rx의 방향을 스위칭할 수 있다.
도 23을 참조하면, 전자 장치의 디스플레이가 off 상태에서 사용자가 디스플레이쪽으로 손을 가져다 댄다. 전자 장치는 TSP가 SP를 사용하여 저전력으로 동작을 하고 있다. 이때 TSP가 사용자의 호버링을 통해 근접을 감지한다.
전자 장치가 근접이나 터치를 감지하게 되면, 지문 입력이 가능한 FP가 위치한 곳에 UI적으로 지문입력이 가능한 위치 표시를 해준다. 디스플레이에 표시를 위해서는 AP가 잠시 깨어나야 할 수 있다. 그래서 잠시 나타나서 깜빡이거나, 최소한의 전류 소모를 위해 낮은 화면 밝기나 회색 화면 등으로 표시할 수 있다. 그리고 SP에 연결된 FP를 활성화시키고, 사용자가 쉽게 지문인식이 가능하도록 한다. 지문이 인증되면 터치 스크린은 Unlock이 될 수 있다.
도 24를 참조하면, 사용자가 SP에 연결된 TSP가 사용자의 터치를 감지할 때, 터치가 FP가 있는 위치를 터치하고 있음을 알게 되면, 바로 FP를 구동시켜 지문을 인식시키고, 지정된 지문과 매칭이 될 경우 Unlock Screen을 할 수 있다.
도 25를 참조하면, UI적으로 표시된 FP에 지문 인식을 완료하고, 위/아래/좌/우 방향 중 원하는 방향으로 스와이프한다.
전자 장치의 각도(가로/세로)와 스와이프 방향에 따라 unlock과 동시에 미리 사용자가 지정된 앱이 실행된다. 예를 들면 도 25의 네 번째 그림과 같이, 세로 상태에서 미리 지정한 스와이프 방향에 따라 Selfie 카메라(전면 카메라)가 unlock과 동시에 실행이 될 수 있다.
도 26을 참조하면, 위와 동일한 인증 동작 후, 전자 장치를 가로 상태에서 스와이프할 경우, 도 27의 네 번째 그림과 같이 미리 지정된 후면 카메라가 실행이 될 수 있다.
도 27을 참조하면, FP 인증 단계 후, 스와이프 대신 미리 지정된 모션 동작(ex. 앞뒤로 2~3회 흔들기)을 취하면, 미리 지정된 음악 재생기가 unlock과 동시에 실행될 수 있다.
도 28을 참조하면, 전자 장치(2800)는 전면에 제1디스플레이(2810)와, 제2디스플레이(2820)를 포함할 수 있다. 상기 제1디스플레이(2810) 일측단을 따라서 제2디스플레이(2820)가 배치될 수 있다. 상기 제1디스플레이(2810)는 평탄형 디스플레이이고, 상기 제2디스플레이(2820)는 곡면 디스플레이가 예시되었다. 하지만, 상기 제1,2디스플레이(2810,2820)는 평탄형 또는 곡면 타입으로 구성될 수 있다. 상기 제2디스플레이(2820)는 곡률을 가지거나, 곡률을 가지지 않게 구성될 수 있다. 또한, 상기 제1디스플레이(2810)나 제2디스플레이(2820)는 경질 또는 연질의 디스플레이로 구성될 수 있다.
상기 곡면을 구비한 휘어진 제2디스플레이(2820)를 가진 전자 장치(2800)에서, 상기 제2디스플레이(2820)에 FP(2830)를 실장하여, 아래/위 방향으로 스와이프하여 지문이 인식되도록 하면, 상기 제1 및 제2디스플레이(2810,2820)를 Lock/Unlock의 기능이 동작하게 할 수 있다. 예를 들어, 놓여진 상태에서 위쪽으로 스와이프를 하면 Lock 상태로, 아래쪽으로 스와이프를 하면 Unlock 상태로 될 수 있다. 미도시된 AP가 sleep인 상태에서도 지문 센서는 SP와 연결되어 저전력으로도 지문을 인식하게 하여 스크린을 unlock할 수 있다.
상기 제2디스플레이(2820)가 배치된 영역에서, 상기 제2디스플레이(2820)의 적어도 일부분에 FP(2830)를 구성하여 전류소모 최소화시킬 수 있다.
상기 전자 장치를 한 손(오른손 잡이)으로 잡았을 때, 엄지 손가락을 스와이프하기 편하도록 FP를 위치시켜 사용성을 저해하지 않을 수 있고, 사용자에 따라 편한 위치만을 설정시킬 수 있다. 상기 FP(2830)의 Fingerprint Verifier 부분을 제2디스플레이(2820) 상에서 표시를 하여 사용자가 지문인식 부분을 알 수 있게 할 수 있다. Fingerprint Verifier는 사용자에 따라 다른 위치에 설정될 수 있다.
도 29를 참조하면, 다양한 실시예에 따른 전자 장치(2900)의 제2디스플레이(2940) 영역에, 복수 개의 FP(2910,2920,2930)를 배치하거나 사용할 수 있게 하여, 사용자 설정에 의해 사용자가 가장 편리한 부분에서 지문인식을 할 수 있도록 할 수 있다. 사용자가 사용하지 않는 FP는 전원을 차단하여 전류소모를 최소화할 수 있다.
도 30을 참조하면, 다양한 실시예에 따른 전자 장치(3010)는 평면의 제1디스플레이(310)에서는 TSP를, 곡률을 가지는 제2디스플레이(3020)에서는 FP를 사용하는 형태로 구성할 수 있다. 디스플레이 전체를 FP를 사용하는 경우에 비해 전류소모를 줄이고, 터치와 지문인식의 간섭을 최소화할 수 있다. 그리고 상기 제1디스플레이(3010), 제2디스플레이(3020) 간의 화면 분리에 따른 사용성 분리로 사용자들이 직관적으로 디스플레이에 맞는 입력을 할 수 있도록 가이드할 수 있다.
도 31을 참조하면, 다양한 실시예에 따른 전자 장치(3100)는 AP 슬립상태에서 제1디스플레이(3110)에 배치된 FP에 지문을 인식시키면서, 제2디스플레이(3120)에 다른 손가락으로 스와이프를 하면, 볼륨 up/down과 같은 부가적인 동작을 수행할 수 있다. 이는 FP를 통해 사용자 인증으로 부가적인 간편한 설정 및 제어를 할 수 있는 것으로서, Unlock이 후에 특정앱에 진행하지 않아도 간편하게 실행하도록 할 수 있고, 다른 사용자가 함부로 설정을 못하도록 할 수 있다.
도 32를 참조하면, 다양한 실시예에 따른 전자 장치(3200)는 제1디스플레이(3210)에서 TSP를 우측으로 제1스와이프하면서 연속적으로 제2디스플레이(3220)에 배치된 FP를 제2스와이프할 경우, secrete page로 진입하여 지문으로 인한 private 기능 강화시킬 수 있다. 이는 일반적인 Unlock하는 시나리오와 Private unlock하는 시나리오를 복합적으로 적용하여 간편한 사용성을 제공할 수 있다.
도 33을 참조하면, 디스플레이(3310)가 오프 상태인 전자 장치(3300)에 사용자가 손가락을 두 개 가져다 댄다. 두 개의 손가락을 동시에 FP 상에 올리면, 상기 FP의 근접한 Tx, Rx를 이용해 각각의 지문을 읽어 데이터를 받아올 수 있다.
인식된 지문이 등록된 사용자의 지문과의 일치 정도를 파악하여, 한 손가락의 일치율이 떨어지더라도, 다른 한 손가락의 일치율을 계산하여 본인 인증을 처리하므로써 보다 정확도를 높여줄 수 있다.
또한, 여러 손가락을 기기에 등록한 후, 잠들어 있는 전자 장치에 한 개 또는 여러 개의 손가락을 패널에 올려서 인증동작을 수행할 수 있다.
어떤 손가락인지 인지하여 해당 손가락에 연결된 동작(사업자 또는 사용자가 지정한 동작)이 바로 수행된다. 예로, 검지 손가락으로 인지되면, 후면 카메라가 실행될 수 있다. 또한, 엄지 손가락으로 인지되면, 음악이 재생될 수 있다.
도 34를 참조하면, 손목에 착용하는 유형의 웨어러블 장치(3410)에서의 지문 인식을 수행할 수 있다.
왼쪽 손목에 웨어러블 장치(3410)를 착용한다. 오른손 손가락 5개를 웨어러블 장치(3410)에 모두 등록한다. 오른손 손가락을 FP에 올리면 어떤 손가락인지 인지하여 사업자 또는 사용자가 지정한 동작이 바로 수행된다. 디스플레이가 휘어진 형태라면 휘어진 방향으로 스와이프하여 지문인식을 수행할 수 있다. 시계, 밴드형의 웨어러블 장치는 화면 크기가 스마트폰에 비해 화면 제약이 있어 Menu depth 이동이 어려울 수 있다. 이때, 장치의 화면에 지문을 인식시키면 Shortcut 기능으로서 원하는 기능이 수행하여 사용성을 개선시킬 수 있다.
웨어러블 장치(3410) 사용 시, 연결된 스마트폰(3400)이나 웨어러블 기기 자체적으로 지문입력을 요청받을 수 있다. 또한, 지문입력을 요청받을 시, 웨어러블 장치(3410)에서 지문입력 모드를 실행시킬 수 있다.
지문입력 모드에서는 TSP대신에 FP가 스위칭 동작하여 지문을 인식받을 수 있다. 지문입력 모드에서 손가락의 지문을 인식하여 어느 손가락인지 인지한다. 인식된 손가락에 따라 왼/오른손을 구분하고 UI의 방향을 결정 후, 화면을 깨울 수 있다. 지문입력모드 사용이 끝나면, 다시 일반 모드로 진입하고, FP는 비활성화되고 다시 TSP가 동작될 수 있다.
본 문서에서 사용된 용어 "모듈"은 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 (firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위 (unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛 (unit), 로직 (logic), 논리 블록 (logical block), 부품 (component), 또는 회로 (circuit) 등의 용어와 바꾸어 사용 (interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 개시에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 220가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(implement)(예:실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고, 본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (26)
- 지문인식 기능을 가지는 전자 장치에 있어서,
디스플레이;
상기 디스플레이 상의 터치 입력을 인식하기 위한 터치 인식 센서 패턴;
상기 디스플레이 상의 지문 입력을 인식하기 위한 지문 인식 센서 패턴; 및
상기 디스플레이와 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴과 기능적으로 연결되는 프로세서를 포함하며, 상기 프로세서는:
상기 터치 인식 센서 패턴을 활성화하고,
상기 디스플레이 상의 지문 입력을 위한 적어도 하나의 UI(user interface)를 상기 디스플레이에 표시하고,
상기 지문 인식 센서 패턴의 적어도 일 영역을 활성화하고,
상기 활성화된 지문 인식 센서 패턴의 일 영역에 대응하여 상기 터치 인식 센서 패턴의 일 영역을 비활성화하는, 전자 장치. - 제1항에 있어서, 상기 터치 인식 센서 패턴은 제1 방향의 복수의 제1 전극과 제2 방향의 복수의 제2 전극을 포함하고,
상기 지문 인식 센서 패턴은 상기 제1 방향의 복수의 제3 전극과 상기 제2 방향의 복수의 제4 전극을 포함하고,
상기 프로세서는 지문 인식 모드 실행시 상기 지문 인식 센서 패턴의 제3 전극 및 제4 전극을 활성화시키고, 상기 터치 인식 센서 패턴의 제1 전극 및 제2 전극을 비활성화시키는 것을 특징으로 하는 전자 장치. - 제1항에 있어서, 상기 프로세서는 지문 인식 모드 실행시 미리 설정된 조건에 기초하여, 터치 모드와 스와이프 모드를 선택적으로 실행하는 것을 특징으로 하는 전자 장치.
- 제2항에 있어서, 상기 프로세서는 지문 인식 모드 실행시 미리 설정된 조건에 기초하여, 터치 모드와 스와이프 모드를 선택적으로 실행하고,
상기 터치 모드 실행시 복수의 제3 전극 및 제4 전극을 동시에 활성화시키고, 상기 스와이프 모드 실행시 상기 복수의 제3 전극 및 제4 전극 중 어느 하나를 순차적으로 활성화시키는 것을 특징으로 하는 전자 장치. - 제3항에 있어서, 상기 프로세서는 상기 스와이프 모드 실행시, 상기 디스플레이 상에 스와이프 방식의 지문 입력을 유도하는 UI를 제공하는 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는 상기 디스플레이가 평탄형 디스플레이일 경우, 터치 모드로 지문을 인식하고, 상기 디스플레이가 곡면 타입 디스플레이일 경우, 스와이프 모드로 지문을 인식하도록 제어하는 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 지문 인식 센서 패턴의 전극 어레이 밀도가 터치 인식 센서 패턴의 전극 어레이 밀도보다 큰 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴이 상이한 레이어 상에 배치되는 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴이 동일한 레이어 상에 배치되는 것을 특징으로 하는 전자 장치.
- 제1항에 있어서, 상기 프로세서는 디스플레이 오프 상태에서 터치 입력 또는 근접 감지시 상기 디스플레이에 지문 인식 영역을 표시하는 전자 장치.
- 제10항에 있어서, 상기 디스플레이 오프 상태에서 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴에 저전력 구동 전원을 공급하는 보조 프로세서를 더 포함하는 전자 장치.
- 제11항에 있어서, 상기 보조 프로세서는 상기 지문 인식 영역에서 감지되는 입력이 등록된 지문이면 상기 프로세서를 활성화시키는 전자 장치.
- 제12항에 있어서, 상기 프로세서가 활성화되면 상기 지문 인식 센서 패턴을 비활성화시키고 상기 터치 인식 센서 패턴을 활성화시키는 전자 장치.
- 디스플레이와 터치 인식 센서 패턴과 지문 인식 센서 패턴을 포함하는 전자 장치 구동 방법에 있어서,
상기 터치 인식 센서 패턴을 활성화하는 단계;
상기 디스플레이 상의 지문 입력을 위한 적어도 하나의 UI(user interface)를 상기 디스플레이에 표시하는 단계;
상기 지문 인식 센서 패턴의 적어도 일 영역을 활성화하는 단계; 및
상기 활성화된 지문 인식 센서 패턴의 일 영역에 대응하여 상기 터치 인식 센서 패턴의 일 영역을 비활성화하는 단계를 포함하는 방법. - 제14항에 있어서, 상기 터치 인식 센서 패턴은 제1 방향의 복수의 제1 전극과 제2 방향의 복수의 제2 전극을 포함하고,
상기 지문 인식 센서 패턴은 상기 제1 방향의 복수의 제3 전극과 상기 제2 방향의 복수의 제4 전극을 포함하고,
지문 인식 모드 실행시 상기 지문 인식 센서 패턴의 제3 전극 및 제4 전극을 활성화시키고, 상기 터치 인식 센서 패턴의 제1 전극 및 제2 전극을 비활성화시키는 것을 특징으로 하는 방법. - 제14항에 있어서, 상기 지문 인식 모드 실행시 미리 설정된 조건에 기초하여, 터치 모드와 스와이프 모드를 선택적으로 실행하는 것을 특징으로 하는 방법.
- 제15항에 있어서, 상기 지문 인식 모드 실행시 미리 설정된 조건에 기초하여, 터치 모드와 스와이프 모드를 선택적으로 실행하고,
상기 터치 모드 실행시 복수의 제3 전극 및 제4 전극을 동시에 활성화시키고, 상기 스와이프 모드 실행시 상기 복수의 제3 전극 및 제4 전극 중 어느 하나를 순차적으로 활성화시키는 것을 특징으로 하는 방법. - 제16항에 있어서, 상기 스와이프 모드 실행시, 상기 디스플레이 상에 스와이프 방식의 지문 입력을 유도하는 UI를 제공하는 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 디스플레이가 평탄형 디스플레이일 경우, 터치 모드로 지문을 인식하고, 상기 디스플레이가 곡면 타입 디스플레이일 경우, 스와이프 모드로 지문을 인식하도록 제어하는 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 지문 인식 센서 패턴의 전극 어레이 밀도가 터치 인식 센서 패턴의 전극 어레이 밀도보다 큰 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴이 상이한 레이어 상에 배치되는 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 터치 인식 센서 패턴과 상기 지문 인식 센서 패턴이 동일한 레이어 상에 배치되는 것을 특징으로 하는 방법.
- 제14항에 있어서, 상기 디스플레이 오프 상태에서 터치 입력 또는 근접 감지시 상기 디스플레이에 지문 인식 영역을 표시하는 방법.
- 제23항에 있어서, 상기 전자 장치는,
상기 디스플레이와 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴과 기능적으로 연결되는 프로세서; 및
상기 디스플레이 오프 상태에서 상기 터치 인식 센서 패턴 및 상기 지문 인식 센서 패턴에 저전력 구동 전원을 공급하는 보조 프로세서를 더 포함하는 방법. - 제24항에 있어서, 상기 보조 프로세서는 상기 지문 인식 영역에서 감지되는 입력이 등록된 지문이면 상기 프로세서를 활성화시키는 것을 특징으로 하는 방법.
- 제25항에 있어서, 상기 프로세서가 활성화되면 상기 지문 인식 센서 패턴을 비활성화시키고 상기 터치 인식 센서 패턴을 활성화시키는 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150017963A KR102277453B1 (ko) | 2015-02-05 | 2015-02-05 | 터치 센서를 구비한 전자 장치 및 그 구동 방법 |
| EP16154278.2A EP3054399A1 (en) | 2015-02-05 | 2016-02-04 | Electronic device with touch sensor and driving method therefor |
| US15/016,652 US9805242B2 (en) | 2015-02-05 | 2016-02-05 | Electronic device with touch sensor and driving method therefor |
| CN201610082346.XA CN105867676B (zh) | 2015-02-05 | 2016-02-05 | 具有触摸传感器的电子装置和用于电子装置的驱动方法 |
| US15/712,857 US10740586B2 (en) | 2015-02-05 | 2017-09-22 | Electronic device with touch sensor and driving method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150017963A KR102277453B1 (ko) | 2015-02-05 | 2015-02-05 | 터치 센서를 구비한 전자 장치 및 그 구동 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160096390A KR20160096390A (ko) | 2016-08-16 |
| KR102277453B1 true KR102277453B1 (ko) | 2021-07-14 |
Family
ID=55299399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150017963A KR102277453B1 (ko) | 2015-02-05 | 2015-02-05 | 터치 센서를 구비한 전자 장치 및 그 구동 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US9805242B2 (ko) |
| EP (1) | EP3054399A1 (ko) |
| KR (1) | KR102277453B1 (ko) |
| CN (1) | CN105867676B (ko) |
Families Citing this family (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293287B (zh) * | 2015-06-10 | 2023-09-22 | 宸鸿科技(厦门)有限公司 | 具指纹辨识功能的触控装置 |
| CN106293443B (zh) * | 2015-06-19 | 2019-09-20 | 北京智谷睿拓技术服务有限公司 | 信息处理方法和设备 |
| CN106293191B (zh) * | 2015-06-19 | 2019-09-10 | 北京智谷睿拓技术服务有限公司 | 信息处理方法和设备 |
| CN106325723B (zh) * | 2015-06-19 | 2019-09-20 | 北京智谷睿拓技术服务有限公司 | 信息处理方法和设备 |
| CN104881238A (zh) * | 2015-06-25 | 2015-09-02 | 京东方科技集团股份有限公司 | 一种触控显示装置及其触控方法 |
| CN105389552A (zh) * | 2015-10-30 | 2016-03-09 | 京东方科技集团股份有限公司 | 一种指纹识别模组及其制备方法、显示装置 |
| US11537224B2 (en) * | 2015-11-03 | 2022-12-27 | Microsoft Technology Licensing, Llc. | Controller with biometric sensor pattern |
| TWI590100B (zh) * | 2016-03-25 | 2017-07-01 | 速博思股份有限公司 | 手持裝置的操作方法 |
| TWI647584B (zh) * | 2016-04-12 | 2019-01-11 | 速博思股份有限公司 | 手持裝置的操作權限啟用/停用方法 |
| US20170344777A1 (en) * | 2016-05-26 | 2017-11-30 | Motorola Mobility Llc | Systems and methods for directional sensing of objects on an electronic device |
| KR102526290B1 (ko) * | 2016-05-30 | 2023-04-28 | 엘지디스플레이 주식회사 | 센서 스크린을 구비한 표시장치와 그 구동방법 |
| CN106096359B (zh) * | 2016-05-30 | 2017-10-31 | 广东欧珀移动通信有限公司 | 一种解锁控制方法及移动终端 |
| US10346599B2 (en) * | 2016-05-31 | 2019-07-09 | Google Llc | Multi-function button for computing devices |
| KR20180034750A (ko) * | 2016-09-26 | 2018-04-05 | 삼성디스플레이 주식회사 | 표시장치 및 그의 구동방법 |
| CN107884968A (zh) * | 2016-09-30 | 2018-04-06 | 北京小米移动软件有限公司 | 阵列基板及其制作方法、显示面板、显示装置和电子设备 |
| KR102552312B1 (ko) * | 2016-10-11 | 2023-07-07 | 삼성전자 주식회사 | 복수의 지문 센싱 모드를 갖는 전자 장치 및 그 제어 방법 |
| KR102578253B1 (ko) * | 2016-10-21 | 2023-09-12 | 삼성전자 주식회사 | 전자 장치 및 전자 장치의 지문 정보 획득 방법 |
| US10877595B2 (en) * | 2016-10-24 | 2020-12-29 | Lg Display Co., Ltd. | Fingerprint sensor integrated type touch screen panel |
| KR102603597B1 (ko) * | 2016-10-24 | 2023-11-21 | 엘지디스플레이 주식회사 | 지문센서 일체형 터치 스크린 장치와 그 구동방법 |
| KR102635898B1 (ko) * | 2016-10-25 | 2024-02-15 | 엘지디스플레이 주식회사 | 지문센서 일체형 터치 스크린 장치 |
| KR102649729B1 (ko) * | 2016-11-02 | 2024-03-22 | 삼성디스플레이 주식회사 | 표시장치 |
| US10739901B2 (en) | 2016-11-04 | 2020-08-11 | Samsung Display Co., Ltd. | Touch sensor and display device including the same |
| KR102521333B1 (ko) * | 2016-11-09 | 2023-04-14 | 삼성전자주식회사 | 사용자 인증과 관련된 사용자 인터페이스 표시 방법 및 이를 구현한 전자 장치 |
| KR102616793B1 (ko) | 2016-11-15 | 2023-12-26 | 삼성전자 주식회사 | 전자 장치 및 전자 장치의 화면 제공 방법 |
| WO2018094639A1 (en) * | 2016-11-24 | 2018-05-31 | Boe Technology Group Co., Ltd. | Flexible touch panel, flexible display panel and flexible display apparatus, and fabricating method thereof |
| KR102614046B1 (ko) * | 2016-12-26 | 2023-12-15 | 삼성전자주식회사 | 생체 데이터를 획득하기 위한 방법 및 그 전자 장치 |
| CN106716431A (zh) * | 2016-12-26 | 2017-05-24 | 深圳市汇顶科技股份有限公司 | 一种指纹识别引导方法及装置 |
| WO2018124334A1 (ko) * | 2016-12-28 | 2018-07-05 | 엘지전자 주식회사 | 전자장치 |
| KR20180077394A (ko) | 2016-12-28 | 2018-07-09 | 삼성디스플레이 주식회사 | 터치 센서, 이를 포함하는 표시 장치, 및 터치 센서의 구동 방법 |
| WO2018124343A1 (ko) | 2016-12-29 | 2018-07-05 | 엘지전자 주식회사 | 전자장치 |
| KR20180079978A (ko) * | 2017-01-03 | 2018-07-11 | 삼성전자주식회사 | 터치 정확도 향상을 위한 터치 센서의 배치 방법 및 상기 방법을 이용한 전자 장치 |
| US10976860B2 (en) | 2017-01-18 | 2021-04-13 | Lg Electronics Inc. | Electronic device |
| KR102047774B1 (ko) * | 2017-01-24 | 2019-11-22 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 전자 기기 |
| KR20180089093A (ko) * | 2017-01-31 | 2018-08-08 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 지문 인식 방법 |
| CN209928438U (zh) * | 2017-02-02 | 2020-01-10 | Lg伊诺特有限公司 | 指纹传感器及包含该指纹传感器的显示屏 |
| KR20180092055A (ko) | 2017-02-08 | 2018-08-17 | 삼성전자주식회사 | 입력 감지를 위한 디스플레이 및 디스플레이를 포함하는 전자 장치 |
| JP6780537B2 (ja) * | 2017-02-22 | 2020-11-04 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
| KR102384014B1 (ko) * | 2017-03-14 | 2022-04-08 | 삼성전자주식회사 | 지문 검출 방법 및 이를 수행하는 전자 장치 |
| KR102264431B1 (ko) * | 2017-03-16 | 2021-06-15 | 삼성전자 주식회사 | 복수의 압전 소자를 구비하는 전자 장치 |
| KR102006560B1 (ko) * | 2017-03-27 | 2019-08-01 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 지문 동작의 프롬프팅 방법 및 전자 기기 |
| CN113282346A (zh) * | 2017-03-29 | 2021-08-20 | 上海耕岩智能科技有限公司 | 一种基于指纹识别控制应用程序的方法、装置和存储介质 |
| US10089514B1 (en) * | 2017-03-31 | 2018-10-02 | Synaptics Incorporated | Adaptive reference for differential capacitive measurements |
| FR3065306B1 (fr) * | 2017-04-12 | 2019-04-05 | Safran Identity and Security | Procede de detection de fraude |
| KR102331464B1 (ko) * | 2017-04-18 | 2021-11-29 | 삼성전자주식회사 | 디스플레이 영역에 형성된 생체 정보 센싱 영역을 이용한 생체 정보 획득 방법 및 이를 지원하는 전자 장치 |
| CN107102809B (zh) * | 2017-04-20 | 2022-09-13 | 维沃移动通信有限公司 | 一种指纹识别方法及移动终端 |
| CN107422970B (zh) | 2017-04-20 | 2019-05-17 | 维沃移动通信有限公司 | 一种解锁方法及移动终端 |
| CN107180599B (zh) | 2017-05-12 | 2019-08-09 | Oppo广东移动通信有限公司 | 显示屏幕、显示装置和移动终端 |
| KR102356812B1 (ko) * | 2017-05-19 | 2022-01-28 | 엘지전자 주식회사 | 지문 감지가 가능한 전자장치 |
| CN111149103A (zh) * | 2017-07-06 | 2020-05-12 | 华为技术有限公司 | 电子设备 |
| CN110192199B (zh) * | 2017-07-11 | 2021-10-01 | 荣耀终端有限公司 | 一种显示盖板组件及其组装方法、终端 |
| KR102517161B1 (ko) * | 2017-09-07 | 2023-04-03 | 엘지디스플레이 주식회사 | 표시장치, 표시장치를 포함한 모바일 정보 단말기와 지문 인식 방법 |
| US10867150B2 (en) * | 2017-09-12 | 2020-12-15 | Synaptics Incorporated | Fast finger settlement detection for fingerprint sensors |
| EP3457262B1 (en) * | 2017-09-15 | 2022-02-23 | LG Display Co., Ltd. | Fingerprint sensing display apparatus |
| KR102530926B1 (ko) | 2017-12-27 | 2023-05-09 | 엘지디스플레이 주식회사 | 지문 인식이 가능한 표시 장치 |
| SE1751355A1 (en) * | 2017-10-31 | 2019-05-01 | Fingerprint Cards Ab | Method of controlling an electronic device |
| CN108227994B (zh) * | 2018-01-03 | 2021-11-16 | 京东方科技集团股份有限公司 | 触控面板及其驱动方法、触控显示装置和指纹识别方法 |
| KR102426718B1 (ko) * | 2018-02-05 | 2022-08-01 | 삼성디스플레이 주식회사 | 표시장치 |
| CN111886570A (zh) * | 2018-02-15 | 2020-11-03 | 索尼公司 | 信息处理装置、信息处理方法、和可穿戴设备 |
| CN111699490B (zh) * | 2018-02-16 | 2023-11-24 | 指纹卡安娜卡敦知识产权有限公司 | 用于电子装置的认证方法 |
| CN108549498B (zh) * | 2018-03-19 | 2023-07-25 | 努比亚技术有限公司 | 基于指纹的操作控制方法、移动终端和计算机可读存储介质 |
| KR102507281B1 (ko) * | 2018-03-23 | 2023-03-08 | 삼성전자주식회사 | 지문 센서를 포함하는 전자 장치 및 그 동작 방법 |
| CN108536386A (zh) * | 2018-03-30 | 2018-09-14 | 联想(北京)有限公司 | 数据处理方法、设备以及系统 |
| KR102497457B1 (ko) * | 2018-04-12 | 2023-02-08 | 삼성전자주식회사 | 터치 센서 접합 구조를 포함하는 전자 장치 |
| CN110471550B (zh) * | 2018-05-09 | 2020-12-25 | 比亚迪股份有限公司 | 一种终端设备、触摸装置及其实现方法 |
| CN110555333B (zh) * | 2018-05-30 | 2023-06-23 | 北京小米移动软件有限公司 | 指纹识别方法、电子设备和存储介质 |
| KR102623375B1 (ko) * | 2018-06-08 | 2024-01-11 | 삼성디스플레이 주식회사 | 표시장치 및 이의 제조 방법 |
| TWI665590B (zh) * | 2018-06-27 | 2019-07-11 | 鴻海精密工業股份有限公司 | 觸控顯示面板和應用該觸控顯示面板的電子裝置 |
| CN110737882A (zh) * | 2018-07-19 | 2020-01-31 | 深圳富泰宏精密工业有限公司 | 电子设备及屏下指纹启用方法 |
| US11199872B2 (en) * | 2018-10-30 | 2021-12-14 | Innolux Corporation | Foldable display device with biometric sensors and method for driving the same |
| KR102589499B1 (ko) * | 2018-10-31 | 2023-10-13 | 엘지디스플레이 주식회사 | 플렉서블 디스플레이 장치 및 이를 포함하는 전자 기기 |
| KR20200060018A (ko) * | 2018-11-22 | 2020-05-29 | 삼성전자주식회사 | 지문과 관련된 정보를 획득하기 위한 전자 장치 및 방법 |
| KR102539064B1 (ko) * | 2018-12-12 | 2023-06-01 | 삼성전자주식회사 | 도전성 패턴이 실장된 지문인식 모듈을 포함하는 전자 장치 |
| CN110413335A (zh) * | 2019-06-18 | 2019-11-05 | 深圳中电长城信息安全系统有限公司 | 一种基于指纹的开机方法及装置 |
| CN110298313B (zh) * | 2019-06-28 | 2021-09-21 | Oppo广东移动通信有限公司 | 超声波指纹识别方法、装置、电子设备及存储介质 |
| KR20210008616A (ko) * | 2019-07-15 | 2021-01-25 | 엘지디스플레이 주식회사 | 대면적 지문센서가 구비된 표시장치 |
| CN110807991B (zh) * | 2019-11-08 | 2021-12-03 | 武汉华星光电半导体显示技术有限公司 | 盖板及显示装置 |
| SE2050174A1 (en) * | 2020-02-17 | 2021-08-18 | Fingerprint Cards Ab | Fingerprint sensing module |
| CN112051940A (zh) | 2020-08-31 | 2020-12-08 | 武汉华星光电半导体显示技术有限公司 | 触控屏及电子设备 |
| SE544317C2 (en) * | 2020-09-10 | 2022-04-05 | Fingerprint Cards Anacatum Ip Ab | Fingerprint sensor arrangement with different measurement circuitry configurations |
| US11538267B2 (en) * | 2020-09-10 | 2022-12-27 | Fingerprint Cards Anacatum Ip Ab | Fingerprint sensor with differently sized sensing structures |
| CN113030621B (zh) * | 2021-03-18 | 2023-10-31 | 江阴邦融微电子有限公司 | 具有防干扰功能的指纹传感器测试装置及测试方法 |
| WO2023285905A1 (ja) * | 2021-07-15 | 2023-01-19 | 株式会社半導体エネルギー研究所 | 半導体装置、電子機器、及び半導体装置の駆動方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101398170B1 (ko) | 2014-02-06 | 2014-05-20 | 엘지전자 주식회사 | 이동 단말기 |
| US20140359756A1 (en) * | 2013-05-28 | 2014-12-04 | Motorola Mobility Llc | Multi-layered sensing with multiple resolutions |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0593386A3 (en) * | 1992-10-16 | 1996-07-31 | Ibm | Method and apparatus for accessing touch screen desktop objects via fingerprint recognition |
| WO2005001611A2 (en) | 2003-05-30 | 2005-01-06 | Privaris, Inc. | A system and methods for assignation and use of media content subscription service privileges |
| KR101549557B1 (ko) * | 2009-03-10 | 2015-09-03 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어방법 |
| KR101549558B1 (ko) | 2009-03-18 | 2015-09-03 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어방법 |
| US9274553B2 (en) * | 2009-10-30 | 2016-03-01 | Synaptics Incorporated | Fingerprint sensor and integratable electronic display |
| US8421890B2 (en) | 2010-01-15 | 2013-04-16 | Picofield Technologies, Inc. | Electronic imager using an impedance sensor grid array and method of making |
| US20120090757A1 (en) * | 2010-10-18 | 2012-04-19 | Qualcomm Mems Technologies, Inc. | Fabrication of touch, handwriting and fingerprint sensor |
| US8564314B2 (en) * | 2010-11-02 | 2013-10-22 | Atmel Corporation | Capacitive touch sensor for identifying a fingerprint |
| TWI490789B (zh) * | 2011-05-03 | 2015-07-01 | Synaptics Inc | 指紋感測器及整合指紋感測器的電子顯示器 |
| KR20130057637A (ko) * | 2011-11-24 | 2013-06-03 | 삼성전기주식회사 | 접촉 감지 장치 |
| KR102071692B1 (ko) * | 2012-06-11 | 2020-01-31 | 삼성전자주식회사 | 모바일 디바이스 및 그 제어 방법 |
| US9361885B2 (en) * | 2013-03-12 | 2016-06-07 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
| WO2014146292A1 (en) * | 2013-03-22 | 2014-09-25 | Nokia Corporation | Selecting user interface view |
| KR102052971B1 (ko) * | 2013-05-14 | 2020-01-08 | 엘지전자 주식회사 | 지문 스캔너를 포함하는 포터블 디바이스 및 그 제어 방법 |
| US9158410B2 (en) * | 2013-05-16 | 2015-10-13 | International Business Machines Corporation | Utilizing a touch screen as a biometric device |
| CN103530609B (zh) * | 2013-10-11 | 2017-07-04 | 北京京东方光电科技有限公司 | 一种指纹识别元件、显示屏及显示装置 |
| US20150261330A1 (en) * | 2014-03-11 | 2015-09-17 | Lumi Stream Inc. | Method of using finger surface area change on touch-screen devices - simulating pressure |
| CN204066116U (zh) * | 2014-05-09 | 2014-12-31 | 敦泰科技有限公司 | 具有指纹感测功能的电子设备及其驱动电路 |
| US9853970B2 (en) * | 2014-06-09 | 2017-12-26 | Intel IP Corporation | Method, system and apparatus for secured wireless docking connection |
| KR20160061163A (ko) * | 2014-11-21 | 2016-05-31 | 삼성전자주식회사 | 지문 등록 및 인증 방법 및 이를 제공하는 전자 장치 |
| KR101859419B1 (ko) * | 2014-12-26 | 2018-05-23 | 엘지디스플레이 주식회사 | 터치 스크린 장치와 그의 구동방법 |
-
2015
- 2015-02-05 KR KR1020150017963A patent/KR102277453B1/ko active IP Right Grant
-
2016
- 2016-02-04 EP EP16154278.2A patent/EP3054399A1/en not_active Withdrawn
- 2016-02-05 US US15/016,652 patent/US9805242B2/en active Active
- 2016-02-05 CN CN201610082346.XA patent/CN105867676B/zh not_active Expired - Fee Related
-
2017
- 2017-09-22 US US15/712,857 patent/US10740586B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140359756A1 (en) * | 2013-05-28 | 2014-12-04 | Motorola Mobility Llc | Multi-layered sensing with multiple resolutions |
| KR101398170B1 (ko) | 2014-02-06 | 2014-05-20 | 엘지전자 주식회사 | 이동 단말기 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105867676B (zh) | 2020-09-01 |
| US9805242B2 (en) | 2017-10-31 |
| EP3054399A1 (en) | 2016-08-10 |
| CN105867676A (zh) | 2016-08-17 |
| US20170024597A1 (en) | 2017-01-26 |
| US10740586B2 (en) | 2020-08-11 |
| US20180012057A1 (en) | 2018-01-11 |
| KR20160096390A (ko) | 2016-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102277453B1 (ko) | 터치 센서를 구비한 전자 장치 및 그 구동 방법 | |
| KR102552312B1 (ko) | 복수의 지문 센싱 모드를 갖는 전자 장치 및 그 제어 방법 | |
| US10929632B2 (en) | Fingerprint information processing method and electronic device supporting the same | |
| US10528711B2 (en) | Method for processing fingerprint and electronic device therefor | |
| US10754938B2 (en) | Method for activating function using fingerprint and electronic device including touch display supporting the same | |
| KR102578253B1 (ko) | 전자 장치 및 전자 장치의 지문 정보 획득 방법 | |
| KR102177150B1 (ko) | 지문인식 장치 및 방법 | |
| US9823762B2 (en) | Method and apparatus for controlling electronic device using touch input | |
| EP3789862A1 (en) | Touch processing method and electronic device for supporting the same | |
| EP3526959B1 (en) | Method of acquiring biometric data and electronic device therefor | |
| US10254958B2 (en) | Electronic device and display method thereof | |
| KR102330999B1 (ko) | 전자 장치 및 이의 제어 방법 | |
| KR20180106527A (ko) | 생체 정보의 위조를 식별하기 위한 전자 장치 및 방법 | |
| EP3488372B1 (en) | Method for protecting personal information and electronic device thereof | |
| KR102388590B1 (ko) | 전자 장치 및 전자 장치의 입력 방법 | |
| US10528248B2 (en) | Method for providing user interface and electronic device therefor | |
| KR102601905B1 (ko) | 터치 패드 운용 방법 및 이를 지원하는 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |