KR102044088B1 - 초음파 터치 센서 기반 가상 버튼 - Google Patents

초음파 터치 센서 기반 가상 버튼 Download PDF

Info

Publication number
KR102044088B1
KR102044088B1 KR1020177037136A KR20177037136A KR102044088B1 KR 102044088 B1 KR102044088 B1 KR 102044088B1 KR 1020177037136 A KR1020177037136 A KR 1020177037136A KR 20177037136 A KR20177037136 A KR 20177037136A KR 102044088 B1 KR102044088 B1 KR 102044088B1
Authority
KR
South Korea
Prior art keywords
electronic device
processor
ultrasonic sensor
delete delete
image data
Prior art date
Application number
KR1020177037136A
Other languages
English (en)
Other versions
KR20180022692A (ko
Inventor
사우라브 쿠마르 반디오파드야이
엘리자 잉지 두
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180022692A publication Critical patent/KR20180022692A/ko
Application granted granted Critical
Publication of KR102044088B1 publication Critical patent/KR102044088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Power Sources (AREA)
  • Push-Button Switches (AREA)

Abstract

전자 디바이스를 포함하는 장치는 초음파 터치 센서 기반 가상 버튼으로 구성된다. 초음파 센서는 전자 디바이스의 외부 표면의 제 1 부분 뒤에 배치된다. 전자 디바이스 및 초음파 센서 중 하나 또는 그 양자 모두와 연관된 프로세서는 (i) 외부 표면의 제 1 부분과 접촉하는 표면 또는 물질의 이미지 데이터를 포착하도록 초음파 센서로부터 수신된 신호를 프로세싱하고; (ii) 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 제 1 결정하도록 구성된다.

Description

초음파 터치 센서 기반 가상 버튼{ULTRASONIC TOUCH SENSOR-BASED VIRTUAL BUTTON}
관련 출원들에 대한 상호참조
본 개시는 "ULTRASONIC FINGERPRINT SENSOR-BASED HOME BUTTON DESIGN" 의 명칭으로 2015년 6월 29일자로 출원된 미국 가특허출원 제62/186,238호, 및 "ULTRASONIC TOUCH SENSOR-BASED VIRTUAL BUTTON" 의 명칭으로 2016년 6월 27일자로 출원된 미국특허출원 제15/194,377호를 우선권 주장하고, 이들 출원들의 개시들은 본원에 전부 참조로 통합된다.
본 개시는 초음파 센서에 관한 것으로서, 더 상세하게는, 모바일 디바이스의 사용자 인터페이스 표면 뒤에 배치된 초음파 센서를 사용한 저 레이턴시 터치 인식을 위한 기법들에 관한 것이다.
스마트 폰들 및 태블릿들과 같은 현대 모바일 디바이스들은, 사용자로 하여금 어플리케이션을 론칭할 수 있게 하고 전화를 걸 수 있게 하고, 메시지를 타이핑할 수 있게 하는 등을 할 수 있게 하는 가시적인 아이콘들, 버튼들 또는 키들로서 디스플레이되는 임의의 수의 가상 버튼들, 즉, "소프트" 키들 또는 버튼들을 제시하도록 구성될 수 있는 터치 스크린들을 포함하는 사용자 인터페이스를 통합한다. 부가적으로, 그러한 디바이스들은 일반적으로, 제한된 수의 물리적, 감압식, 기계 작동식 버튼들을 포함한다.
본 교시들의 부재에 있어서, 가상 버튼들 및 물리적 버튼들은, 디바이스로 하여금 사용자에 의해 의도적으로 개시되는 핑거 또는 스타일러스의 터치들/누르기들과, 모바일 디바이스가 예를 들어 사용자의 포켓, 지갑 또는 백팩에 있을 때 발생할 수도 있는 우발적인 터치들 및 압력들 사이를 구별할 수 있게 하기 위한 제한된 능력을 갖거나 또는 그러한 능력을 갖지 않는다. 결과적으로, 그러한 디바이스들에 의한 널리 공지된 문제는 소위 "포켓 다이얼링" 의 발생이며, 여기서, 그러한 랜덤 터치들 및 압력들은 제 3 자의 우발적인 다이얼링을 야기한다. 유사하게, 그러한 랜덤 터치들 및 압력들은 모바일 디바이스의 의도치않은 활성화를 야기하고 불필요한 전력 소모를 초래할 수도 있다.
상기 언급된 문제들은, 터치스크린 ("커버 글래스") 영역을 최대화하기 위한 그리고 기계 작동식 버튼들에 대한 의존도를 감소하기 위한 소망의 결과로서 악화될 수도 있다.
본 개시의 시스템들, 방법들 및 디바이스들 각각은 수개의 혁신적 양태들을 가지며, 이들 양태들 중 어떠한 단일 양태도 본 명세서에 개시된 바람직한 속성들을 유일하게 책임지지 않는다.
본 개시에 기술된 주제의 하나의 혁신적 양태는 제 1 외부 표면을 포함한 전자 디바이스, 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서; 및 프로세서에 관련되며, 프로세서는 전자 디바이스 및 초음파 센서 중 하나 또는 그 양자 모두와 연관된다. 프로세서는 제 1 외부 표면의 제 1 부분과 접촉하는 오브젝트 또는 물질의 이미지 데이터를 포착하도록 초음파 센서로부터 수신된 신호를 프로세싱하고, 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 제 1 결정하도록 구성된다.
일부 예들에 있어서, 초음파 센서는, 전자 디바이스가 저전력 모드에 있든지 아니든지 신호를 프로세서에 출력할 수도 있다. 일부 예들에 있어서, 전자 디바이스가 저전력 모드에 있을 경우, 프로세서는, 제 1 결정이 초음파 센서로부터 수신된 신호가 제 1 부분 상의 의도된 제어 터치와 관련된다는 것일 때, 전자 디바이스를 저전력 모드로부터 통상 전력 모드로 스위칭하도록 구성될 수도 있다.
일부 예들에 있어서, 전자 디바이스는 초음파 센서 및 프로세서 중 하나 또는 그 양자 모두와 커플링된 주변 광 센서, 압력 센서, 주변 온도 센서, 및 모션 검출기 중 하나 이상을 포함할 수도 있다. 초음파 센서는, 오직 (i) 주변 광 센서가 주변 광 레벨에서의 변경을 등록하는 것; (ii) 압력 센서가 압력에서의 변경을 등록하는 것; (iii) 주변 온도 센서가 주변 온도에서의 변경을 등록하는 것; 및 (iv) 모션 검출기가 전자 디바이스의 모션을 등록하는 것 중 하나 이상 이후에만, 전자 디바이스가 저전력 모드에 있든지 아니든지 신호를 프로세서에 송신할 수도 있다.
일부 예들에 있어서, 제 1 외부 표면은 커버 글래스를 갖는 인터랙티브 디스플레이를 포함할 수도 있고, 적어도 하나의 표면의 제 1 부분은 가상 버튼의 위치에 대응한다. 일부 예들에 있어서, 가상 버튼은 커버 글래스 상에 위치될 수도 있다. 일부 예들에 있어서, 가상 버튼은 홈 버튼일 수도 있다.
일부 예들에 있어서, 제 1 외부 표면은 커버 글래스를 갖는 인터랙티브 디스플레이를 포함하는 제 2 외부 표면에 대향할 수도 있고, 제 1 외부 표면의 제 1 부분은 가상 버튼의 위치에 대응한다.
일부 예들에 있어서, 의도된 제어 터치는 제 1 외부 표면의 제 1 부분 상의 사용자의 핑거 또는 스타일러스의 의도적인 터치일 수도 있다.
일부 예들에 있어서, 프로세서는 30 msec 미만의 레이턴시 기간 내에서 제 1 결정을 할 수도 있다.
일부 예들에 있어서, 프로세서는 제 1 외부 표면의 제 1 부분 상의 의도된 제어 터치와, 무의식적인 접촉 및 랜덤한 접촉 중 하나 또는 그 양자 모두 사이를 적응적으로 구별하도록 구성될 수도 있다.
일부 예들에 있어서, 프로세서는, 적어도 -40℃ 내지 40℃ 의 주변 온도들의 범위에 걸쳐, 제 1 외부 표면의 제 1 부분 상의 의도된 제어 터치와, 무의식적인 접촉 및 랜덤한 접촉 중 하나 또는 그 양자 모두 사이를 적응적으로 구별하도록 구성될 수도 있다.
일부 예들에 있어서, 프로세서는 제 1 외부 표면과 적어도 0 um 내지 600 um 의 초음파 센서 사이를 거리들의 범위에 걸쳐 적응적으로 구별하도록 구성될 수도 있다.
일부 예들에 있어서, 프로세서는 서포트 벡터 머신 회귀, 현대 뉴럴 네트워크 알고리즘 및 딥 러닝 (deep learning) 기법 중 하나 이상을 실행함으로써 제 1 결정을 하도록 구성될 수도 있다.
일부 예들에 있어서, 프로세서는 트레이닝된 회귀 판정 트리 러닝 프로세스를 포함한 알고리즘을 프로세서로 실행하는 것을 포함하는 적응적 핑거 검출 프로세스를 실행함으로써 제 1 결정을 하도록 구성될 수도 있다. 일부 예들에 있어서, 판정 트리 러닝 프로세스는 리지 피처 추출 프로세스; 배향 정세화 프로세스; 배향 히스토그램 분석 프로세스; 배향 상관 및 변경 및 분석 프로세스; 입력의 구조적 유사도 분석 프로세스; 및 국부적 이진 패턴 분석 프로세스 중 하나 이상의 출력들에 대해 동작할 수도 있다.
일부 구현들에 따르면, 방법은, 제 1 외부 표면을 포함하는 전자 디바이스의 프로세서에서, 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서로부터의 신호를 수신하는 단계; 프로세서로: 제 1 외부 표면의 제 1 부분과 접촉하는 표면 또는 물질의 이미지 데이터를 포착하도록 초음파 센서로부터 수신된 신호를 프로세싱하는 단계; 및 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 제 1 결정하는 단계를 포함한다.
일부 예들에 있어서, 제 1 외부 표면의 제 1 부분은 가상 버튼의 위치에 대응할 수도 있으며, 그 방법은 제 1 결정에 기초하여 가상 버튼의 기능을 실행하거나 실행하는 것을 억제하는 단계를 더 포함할 수도 있다.
일부 구현들에 따르면, 비-일시적인 컴퓨터 판독가능 매체는 저장된 소프트웨어를 가지며, 소프트웨어는 전자 디바이스의 프로세서로 하여금 제 1 외부 표면의 제 1 부분과 접촉하는 표면 또는 물질의 이미지 데이터를 포착하도록 전자 디바이스의 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서로부터 수신된 신호를 프로세싱하게 하고; 그리고 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 제 1 결정하게 하기 위한 명령들을 포함한다.
일부 구현들에 따르면, 장치는 제 1 외부 표면을 포함한 전자 디바이스, 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서, 및 제 1 외부 표면의 제 1 부분과 접촉하는 표면 또는 물질의 이미지 데이터를 포착하도록 초음파 센서로부터 수신된 신호를 프로세싱하고; 그리고 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 제 1 결정하는 수단을 포함한다.
본 명세서에서 기술된 주제의 하나 이상의 구현들의 상세들이 본 개시 및 첨부 도면들에서 기재된다. 다른 피처들, 양태들, 및 이점들은 본 개시의 리뷰로부터 명백하게 될 것이다. 본 개시의 도면들 및 다른 다이어그램들의 상대적인 치수들은 스케일링하도록 묘화되지 않을 수도 있음을 유의한다. 본 개시에서 도시 및 기술되는 사이즈들, 두께들, 배열들, 재료들 등은 오직 예로서 행해질 뿐이고 한정하는 것으로서 해석되지 않아야 한다. 다양한 도면들에 있어서 유사한 참조 부호들 및 지정들은 유사한 엘리먼트들을 나타낸다.
도 1a 내지 도 1c 는 일부 구현들에 따른 전자 디바이스의 일 예를 도시한다.
도 2 는 일 구현에 따른, 홈 버튼과의 다른 상호작용들로부터 핑거 터치를 구별하기 위한 플로우 다이어그램의 일 예를 도시한다.
도 3 은 일 구현에 따른 핑거 (스타일러스) 검출 프로세스를 위한 프로세스 플로우의 일 예를 도시한다.
도 4 는 일 구현에 따른 리지 피처 추출 프로세스의 일 예를 도시한다.
도 5 는 일 구현에 따른 배향 정세화 프로세스의 일 예를 도시한다.
도 6 은 일 구현에 따른 배향 히스토그램 프로세스의 일 예를 도시한다.
도 7 은 일 구현에 따른 배향 상관 및 부호 변경 분석 프로세스의 일 예를 도시한다.
도 8 은 일 구현에 따른 구조적 유사도 결정 프로세스의 일 예를 도시한다.
도 9 는 일 구현에 따른 국부적 이진 패턴 분석 프로세스의 일 예를 도시한다.
도 10 은 일 구현에 따른, 포착된 이미지 데이터가 의도된 제어 터치에 관련되는지 여부를 결정하기 위한 방법의 일 예를 도시한다.
도 11 은 추가의 구현에 따른, 인터랙티브 디스플레이를 갖는 전자 디바이스의 블록 다이어그램의 일 예를 도시한다.
도 12 는 추가의 구현에 따른, 인터랙티브 디스플레이를 갖는 전자 디바이스의 일 예를 도시한다.
도 13a 내지 도 13c 는 가상 버튼의 추가의 예시적인 구현들을 포함한다.
본 명세서에서 기술된 주제의 하나 이상의 구현들의 상세들이, 본 문서에서의 설명 및 청구항들을 포함하는 본 개시 및 첨부 도면들에서 기재된다. 다른 피처들, 양태들, 및 이점들은 본 개시의 리뷰로부터 명백하게 될 것이다. 본 개시의 도면들 및 다른 다이어그램들의 상대적인 치수들은 스케일링하도록 묘화되지 않을 수도 있음을 유의한다. 본 개시에서 도시 및 기술되는 사이즈들, 두께들, 배열들, 재료들 등은 오직 예로서 행해질 뿐이고 한정하는 것으로서 해석되지 않아야 한다.
본 개시의 시스템들, 방법들 및 디바이스들 각각은 수개의 혁신적 양태들을 가지며, 이들 양태들 중 어떠한 단일 양태도 본 명세서에 개시된 바람직한 속성들을 유일하게 책임지지 않는다. 본 개시에 기술된 주제의 하나의 혁신적 양태는 전자 디바이스의 외부 표면 뒤에 배치된 초음파 센서를 갖는 전자 디바이스에서 구현될 수 있다. 전자 디바이스는 핑거 또는 스타일러스로부터의 의도적인 터치를 핑거 또는 스타일러스 이외의 오브젝트 또는 표면의 무의식적인 또는 랜덤한 압력으로부터 구별하도록 초음파 센서로부터의 신호들을 수신 및 분석하도록 구성된 프로세서를 포함할 수도 있다. 일부 구현들에 있어서, 프로세서는, 전자 디바이스가 파워-업되는지 ("어웨이크" 하는지 또는 "통상 전력 모드" 에 있는지) 또는 저전력 ("슬립") 모드에 있는지 여부와 무관하게 상기 언급된 방식으로 기능한다. 일부 구현들에 있어서, 초음파 센서는 "홈 버튼" 위치에 대응하는 외부 표면의 일부분에 근접할 수도 있다. 결과적으로, 중요한 홈 버튼 기능들은, 전자 디바이스가 의도적인 사용자 터치에 의해 슬립 모드에 있다하더라도, 지각불능 레이턴시로 개시될 수도 있으며, 포켓 다이얼링 에러들이 적어도 크게 제거될 수도 있다.
도 1a 내지 도 1c 는 일부 구현들에 따른 전자 디바이스의 일 예를 도시한다. 도 1a 는 일 구현에 따른, 인터랙티브 디스플레이를 갖는 전자 디바이스의 블록 다이어그램의 일 예를 도시한다. 전자 디바이스 (100) (예를 들어, 스마트 폰 또는 다른 개인용 전자 디바이스일 수도 있음) 는 프로세서 (104) 를 포함하고, 인터랙티브 디스플레이 (102) 를 포함하는 전면 외부 표면 (101) 을 갖는다. 인터랙티브 디스플레이 (102) 는, 전자 디바이스 (100) 의 전면 표면 (101) 의 상당한 부분을 점유하도록 구성된 터치스크린 디스플레이일 수도 있다. 일부 구현들에 있어서, 인터랙티브 디스플레이 (102) 는, 전면 표면 (101) 의 영역과 실질적으로 동연적인 영역을 가질 수도 있다. 인터랙티브 디스플레이 (102) 는 IMOD 디스플레이 또는 다른 타입의 디스플레이, 예컨대, 플라즈마, 전자발광 (EL), 유기 발광 다이오드 (OLED), 수퍼 트위스티드 누매틱 (STN) 또는 박막 트랜지스터 (TFT) 액정 디스플레이 (LCD), 또는 CRT 또는 다른 튜브 디바이스와 같은 비평판 디스플레이로서 구성될 수도 있다. 프로세서 (104) 는, 핑거, 핸드 또는 핸드헬드 오브젝트 (예를 들어, 스타일러스) 등과 같은 사용자의 부속물에 의한 터치들 또는 제스처들을 포함할 수도 있는 사용자 입력들에 적어도 부분적으로 응답하여, 인터랙티브 디스플레이 (102) 의 출력을 제어하도록 구성될 수도 있다.
도시된 구현에 있어서, 프로세서 (104) 는 초음파 센서 (106) 와 통신가능하게 커플링된다. 적합한 초음파 센서의 예는, "Ultrasonic Fingerprint Scanning Utilizing a Plane Wave" 의 명칭인 미국특허 제7,739,912호에 기술되며, 이는 본 발명의 양수인에게 양도된다. 초음파 센서 (106) 는 전자 디바이스 (100) 의 전면 표면 (101) 뒤에, 그리고 전자 디바이스 (100) 의 전면 표면 (101) 의 둘레 내에 배치된 위치 (110) (본 명세서에서 "버튼 위치" 로서 지칭됨) 에 근접하게 배치될 수도 있다. 도시된 구현에 있어서, 버튼 위치 (110) 는 인터랙티브 디스플레이 (102) 의 둘레 내에 배치된다. 인터랙티브 디스플레이 (102) 는, 버튼 위치 (110) 에서의 또는 그 내의 "소프트" 또는 가상 버튼을 포함하여, 다양한 위치들에서의 임의의 수의 터치 가능식 아이콘들 및/또는 가시적 이미지 컨텐츠를 디스플레이하도록 구성될 수도 있다. 다른 구현들에 있어서, 버튼 위치 (110) 는 인터랙티브 디스플레이 (102) 의 둘레 외부 (즉, "오프 글래스") 일 수도 있다. 그러한 구현들에 있어서, 위치 (110) 에 근접한 전자 디바이스 (100) 의 전면 표면은 투명하지 않을 수도 있다. 위치 (110) 에 근접하게, 전자 디바이스 (100) 의 전면 표면 재료는 예를 들어 글래스, 플라스틱 또는 알루미늄일 수도 있다. 초음파 센서 (106) 는 위치 (110) 에 가까운 전면 표면 (101) 상에 또는 전면 표면 (101) 에 근접하게 배치된 표면 또는 오브젝트의 이미지 특성들을 획득하도록 구성될 수도 있다. 상기 노트된 바와 같이, 초음파 센서는 전면 표면 (101) 뒤에 배치될 수도 있고, 전면 표면이 예를 들어 글래스이든지 또는 알루미늄이든지 약 600 μm 까지의 전면 표면 두께를 통해 이미지 특성들을 획득하도록 구성될 수도 있다. 표면 두께의 그러한 범위는 플라스틱, 커버 글래스, 알루미늄 또는 다른 금속으로 구성될 수 있는 다양한 두께, 또는 제조 프로세스 동안 리세스의 존재 또는 부재로 인한 및/또는 디바이스 사용 동안 나중에 추가층들, 예를 들어, 스크린 보호기들의 배치로 인한 가변 두께의 플래턴(platen)들의 배치로부터 기인할 수도 있다.
버튼 위치 (110) 가 인터랙티브 디스플레이 (102) 의 둘레 내부에 있든지 외부에 있든지 무관하게, 버튼 위치 (110) 는 전자 디바이스 (100) 의 사용자에 대한 터치 인터페이스 기능을 제공하도록 구성될 수도 있다. 일부 구현들에 있어서, 버튼 위치 (110) 는 전자 디바이스 (110) 의 홈 버튼을 기술할 수도 있다. 본 개시된 기법들에 따른 전자 디바이스 (100) 는, 예를 들어, 버튼 위치 (110) 상의 사용자의 핑거 또는 스타일러스의 의도적인 터치와, 사용자의 핑거 또는 스타일러스 이외의 오브젝트 또는 표면의 랜덤한 또는 무의식적인 압력 사이를 적응적으로 구별하도록 구성될 수도 있다.
도 1b 에 있어서, 전자 디바이스 (100) 는, 디스플레이가 조명되고 복수의 가상 버튼들 (120) 중 임의의 가상 버튼이 가시적이고 터치 작동가능할 수도 있는 동작 모드 ("통상 전력" 또는 "어웨이크" 모드) 에 있는 것으로서 도시된다. 가상 버튼들 (120) 중 하나 이상은 추가적인 초음파 센서들 (도시 안됨) 에 의해 터치 작동가능할 수도 있다. 대안적으로 또는 대안적으로, 가상 버튼들 (120) 의 일부 또는 그 모두는 저항성, 용량성, 및 투영된 용량성 터치 (PCT) 스크린들과 같은 다른 기법들에 의해 터치 작동가능할 수도 있다. 일부 구현들에 있어서, 가상 버튼들 (120) 의 일부 또는 그 모두는 미국특허 제9,041,690호 및 미국특허공개 제2015-0253931호에 개시된 바와 같은 광학 기법들을 사용하여 터치 작동가능할 수도 있으며, 이 특허들 각각은 본 발명의 양수인에게 양도되고 본 개시에 전부 통합된다.
도 1c 에 있어서, 전자 디바이스 (100) 는, 디스플레이가 조명되지 않고 가상 버튼들이 가시적이지 않은 저전력 모드 (예를 들어, 슬립 모드, 또는 유사한 절전 모드) 에 있는 것으로서 도시된다. 하지만, 일부 실시형태들에 있어서, 예를 들어, 버튼 위치 (110) 에 위치된 가상 버튼의 기능은, 전자 디바이스 (100) 가 저전력 모드에 있을 경우라도 제공될 수도 있다. 예를 들어, 대략 10-100 마이크로암페어의 전류 인출을 가질 수도 있는 초음파 센서 (106) 는 버튼 위치 (110) 와 연관된 이미지 데이터를 수집하고, 전자 디바이스 (100) 가 저전력 모드에 있든지 아니든지 대응하는 신호들을 프로세서에 출력하도록 구성될 수도 있다. 결과적으로, 프로세서 (104) 는 버튼 위치 (110) 에 근접한 사용자의 핑거 또는 스타일러스의 접촉 시에 즉시 전자 디바이스를 "웨이크"하도록 구성될 수도 있다. 본 개시된 기법들에 따르면, "웨이크하는" 프로세스는 거의 지각불능 레이턴시 (25-50 msec) 로 발생하여, 버튼 위치 (110) 에서 사용자에 의해 터치될 시에 전자 디바이스 (100) 는 사용을 위해 거의 즉각적으로 이용가능하다.
일부 구현들에 있어서, 프로세서 (104) 는 버튼 위치 (110) 와 접촉하는 표면 또는 물질의 이미지 데이터를 포착하기 위하여 초음파 센서 (106) 로부터 출력된 신호들을 프로세싱하도록 구성된다. 프로세서 (104) 는, 포착된 이미지 데이터가 버튼 위치 (110) 상의 의도된 제어 터치에 관련되는지 여부를 결정하도록 구성될 수도 있다. 예를 들어, 프로세서 (104) 는 이미지 데이터가 예를 들어 공기, 패브릭, 가죽 또는 랜덤한 오브젝트들에 대조적으로 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정할 수도 있다. 결정에 기초하여, 프로세서 (104) 는, 이미지 데이터가 의도된 제어 터치를 표시하도록 결정될 경우 전자 디바이스 (100) 를 "웨이크"할 수도 있다.
도 2 는 일 구현에 따른, 홈 버튼과의 다른 상호작용들로부터 핑거 터치를 구별하기 위한 플로우 다이어그램의 일 예를 도시한다. 도시된 방법 (200) 에 따르면, 초음파 센서로부터의 입력 신호가 블록 210 에서 수신된다. 예를 들어, 프로세서 (104) 는 초음파 센서 (106) 로부터 출력된 신호들을 수신할 수도 있다. 입력 신호는 버튼 위치 (110) 에 근접한 커버 글래스와의 핑거, 스타일러스 또는 다른 오브젝트의 물리적 접촉 또는 "터치" 로부터 기인할 수도 있다. 일부 구현들에 있어서, 프로세서 (104) 는 전자 디바이스 (100) 의 범용 프로세서일 수도 있거나 범용 프로세서를 포함할 수도 있거나, 또는 초음파 센서 (106) 와 연관된 및/또는 초음파 센서 (106) 와 병치된 특수 목적 프로세서일 수도 있다. 블록 220 에서, 입력 신호는 홈 버튼과 접촉하는 표면의 이미지를 포착하기 위하여 프로세싱을 경험할 수도 있다.
블록 230 에서, 하기에서 더 상세히 설명되는 바와 같이, 의도된 제어 터치의 적응적 검출을 위한 프로세스가 실행될 수도 있다. 적응적 검출 프로세스는 프로세서 (104) 에 의해 실행되는 알고리즘일 수도 있다. 그 알고리즘은 버튼 위치 (110) 와 접촉하는 표면의 포착된 이미지에 기초하여 동작할 수도 있다. 포착된 이미지는 이미지 데이터의 하나 이상의 프레임들을 포함할 수도 있다.
블록 240 에서, 포착된 이미지가 의도된 제어 터치와 연관되는지 여부에 관하여 결정이 행해질 수도 있다. 일부 구현들에 있어서, 하기에서 상세히 설명되는 바와 같이, 그 결정은, 포착된 이미지가 지문에 특유한 피처들을 포함하는지 여부에 기초할 수도 있다. 대안적으로 또는 부가적으로, 일부 구현들에 있어서, 포착된 이미지는 스타일러스의 공지된 표면 특성들과 비교될 수도 있다. 그러한 구현들에 있어서, 그 비교는 포착된 이미지가 스타일러스에 특유한 것으로서 인식되는지 여부에 관한 판정을 발생시킬 수도 있다.
블록 240 에서의 결정이 포착된 이미지가 의도된 제어 터치에 특유한 피처들을 포함한다는 것이면, 방법은 블록 250 으로 진행하고, 버튼 위치 (110) 와 연관된 가상 버튼의 기능을 실행할 수도 있다. 일부 구현들에 있어서, 가상 버튼은 전자 디바이스 (100) 의 홈 버튼일 수도 있으며, 블록 250 은 전자 디바이스를 슬립 모드로부터, 전자 디바이스 (100) 의 홈 스크린이 디스플레이되는 어웨이크 모드로 스위칭하는 것을 포함할 수도 있다. 대안적으로 또는 부가적으로, 가상 버튼은 전자 디바이스 (100) 의 다른 기능들과 관련될 수도 있으며, 블록 250 은 그 다른 기능들 (예를 들어, 전화를 거는 것, 웹 브라우저를 여는 것, 캘린더 또는 업무 리스트를 디스플레이하는 것 등) 중 하나 이상을 활성화하는 것을 포함할 수도 있다. 한편, 블록 240 에서의 결정이 포착된 이미지가 지문 또는 스타일러스에 특유하지 않다는 것이면, 방법은 가상 버튼의 어떠한 기능도 실행하지 않는 결정을 갖는 블록 260 으로 진행할 수도 있다.
도 3 은 일 구현에 따른 핑거 (스타일러스) 검출 프로세스를 위한 프로세스 플로우의 일 예를 도시한다. 도 2 의 블록 230 에 포함될 수도 있는 방법 300 은 프로세싱 단계들의 톱 레벨 시퀀스를 도시하며, 그 각각은 후속 도면들에서 더 상세히 도시된다. (도 2 의 블록 220 의 출력일 수도 있는) 초음파 이미지는 블록 310 에서의 프로세싱, 즉, 도 4 에 도시된 리지 피처 추출 프로세스를 경험할 수도 있다. 동시에, 초음파 이미지는 또한, 도 8 에 도시되는 입력의 구조적 유사도 (블록 350) 를 결정하고, 도 9 에 도시되는 국부적 이진 패턴들 (블록 360) 을 결정하기 위한 프로세싱을 경험할 수도 있다. 리지 피처 추출 프로세스 (310) 로부터의 출력들은 도 5 에 도시되는 배향 정세화 프로세스 (블록 320) 를 경험할 수도 있다. 배향 정세화 프로세스 (320) 로부터의 출력들은 도 6 에 도시되는 배향 히스토그램 프로세스 (블록 330) 에 의한 그리고 도 7 에 도시되는 배향 상관 및 부호 변경 프로세스 (블록 340) 에 의한 프로세싱을 병렬로 경험할 수도 있다. 프로세스 블록들 (330, 340, 350 및 360) 의 출력들은, 하기에서 더 상세히 설명되는 피처 분류 프로세스 (블록 370) 를 경험할 수도 있다.
도 4 는 일 구현에 따른 리지 피처 추출 프로세스의 일 예를 도시한다. 도시된 리지 피처 추출 프로세스는 예를 들어 도 3 의 블록 310 에 포함될 수도 있다. 일부 구현들에 따르면, 그래디언트 벡터들 (Gij) 은 포착된 초음파 이미지에서의 각각의 픽셀에서 편미분을 취함으로써 계산될 수도 있다. 포착된 초음파 이미지가 지문 (또는 공지된 표면 특성들을 갖는 스타일러스) 의 것이면, 그래디언트 벡터들은, 지문 리지라인 배향과 상관될 수도 있는 그레이 강도에서의 변동의 최고 공간 레이트를 식별할 것이다. 도 4 에 도시된 바와 같이, 포착된 초음파 이미지가 공기의 것이거나 또는 지문형 리지들에 의해 특성화되지 않는 표면의 것이면, 그래디언트 벡터들은, 지문을 대표하는 그래디언트 벡터들의 배향 패턴으로부터 구별가능한 배향 패턴 ("배향 맵") 을 가질 것이다. "코히어런스 (Coherence)" 는, 그 용어가 본 명세서에서 사용될 때, 국부적 배향의 분포에서의 평균 그래디언트의 세기를 계산하는 배향의 추정의 신뢰도와 관련된다. "배향" (θ) 은, 그 용어가 본 명세서에서 사용될 때, 도 4 의 식 Eq (1) 에 따른 그래디언트 벡터들 (Gxx, Gyy, 및 Gxy) 의 관점에서 정의된다. 최소 픽셀 강도 (Imin) 및 최대 픽셀 강도 (Imax) 는 도 4 의 식들 Eq(2) 및 Eq(3) 에 나타낸 바와 같이 그래디언트 벡터들 및 θ 의 관점에서 계산될 수도 있다. 코히어런스 및 신뢰도는 도 4 의 식들 Eq(4) 및 Eq(5) 에 나타낸 바와 같이 Imin 및 Imax 의 관점에서 계산될 수도 있다.
도 5 는 일 구현에 따른 배향 정세화 프로세스의 일 예를 도시한다. 도시된 배향 정세화 프로세스는 예를 들어 도 3 의 블록 320 에 포함될 수도 있다. 일부 구현들에 있어서, 도 4 에 도시된 프로세스에 의해 생성된 배향 맵 (상세 A) 은 배향 피처에서의 지배적인 배향 방향을 선택함으로써 추가로 정세화될 수도 있다. 예를 들어, 지배적인 배향은, 도시된 바와 같이, 히스토그램 데이터 (상세 B) 의 평가에 기초하여 그리고 정세화된 배향 맵 (상세 C) 을 생성하기 위해 히스토그램의 피크를 사용하여, 선택될 수도 있다. 비록 도시된 예에 있어서 배향 정세화 프로세스가 공간 도메인에서 실행되더라도, 배향 정세화 프로세스는 주파수 도메인에서 실행된다.
도 6 은 일 구현에 따른 배향 히스토그램 프로세스의 일 예를 도시한다. 도시된 배향 히스토그램 프로세스는 예를 들어 도 3 의 블록 330 에 포함될 수도 있다. 도 5 에 도시된 바와 같이 지배적인 배향 방향을 선택하였으면, 배향은 히스토그램 (상세 D) 의 빈에 할당될 수도 있다. 포착된 초음파 이미지가 공기의 것이거나 또는 지문형 리지들에 의해 특성화되지 않는 표면의 것이면, 대응하는 히스토그램 (상세 E) 은 상세 D 의 히스토그램에 대해 노이즈일 것이다.
도 7 은 일 구현에 따른 배향 상관 및 부호 변경 분석 프로세스의 일 예를 도시한다. 도시된 배향 상관 및 부호 변경 분석 프로세스는 예를 들어 도 3 의 블록 340 에 포함될 수도 있다. 도시된 예에 있어서, 지문 배향 맵 (701) 은 벡터들의 어레이, 즉, 7개의 로우들 및 17개의 컬럼들을 갖는 어레이로서 구성된다. 각각의 로우에 있어서 인접한 벡터들의 배향의 상대적 상관의 분석이, 로우들 (1, 3, 5 및 7) 에 대해 도시된 바와 같이, 수행될 수도 있다. 지문 배향 맵 (701) 에 대한 인접한 벡터들의 배향은 강한 상관을 가짐 (대부분의 벡터들이 이웃 벡터들과 유사한 기울기를 가짐) 이 관측될 수도 있다. 또한, 기울기 부호에서의 단일 변경이 각각의 로우에서 대략 16번째 또는 17번째 컬럼에서 발생함이 관측될 수도 있다. 명백히 이에 반하여, 공기 이미지 (702) 의 배향 맵은, 동일한 분석을 받을 때, 인접한 벡터들 사이에서의 훨씬 더 적은 상관을 그리고 기울기 부호에서의 훨씬 더 빈번한 변경들을 나타낸다.
도 3 을 다시 참조하면, 배향 히스토그램 프로세스 (330) 및 배향 상관 부호 변경 분석 프로세스 (340) 는 배향 정세화 프로세스 (320) 의 출력들에 대해 병렬로 수행될 수도 있음이 관측될 수도 있다. 더욱이, 이들 프로세스들은, 도시된 구현에 있어서, 초음파 이미지의 하나 이상의 국부적 피처들 (즉, 그 부분) 에 대해 수행된다.
도 8 은 일 구현에 따른 구조적 유사도 결정 프로세스의 일 예를 도시한다. 도시된 구조적 유사도 결정 프로세스는 예를 들어 도 3 의 블록 350 에 포함될 수도 있다. 도시된 예에 있어서, 히스토그램이 블록 810 에서 입력 초음파 이미지에 대해 산출되고, 블록 830 에 의해 출력된 히스토그램과 블록 820 에서 비교된다. 블록 830 에 의해 출력된 히스토그램은 업샘플링 및 다운 샘플링 이후의 입력 이미지에 기초하여 산출되며, 업샘플링 및 다운 샘플링은 이미지 상세들을 감소시킨다. 블록 820 에서 수행된 비교가 블록 810 에 의해 산출된 히스토그램과 블록 830 에 의해 산출된 히스토그램 사이의 상대적으로 높은 유사도를 나타낼 경우, 입력 이미지는 상대적으로 더 적은 구조적 상관을 갖는다고 추론될 수도 있다. 예를 들어, 이미지는 공기의 것이거나, 또는 더 랜덤한 표면 텍스처를 갖는 표면의 것일 가능성이 더 있다. 한편, 블록 820 에서 수행된 비교가 블록 810 에 의해 산출된 히스토그램과 블록 830 에 의해 산출된 히스토그램 사이의 상대적으로 적은 유사도를 나타낼 경우, 입력 이미지는 상대적으로 더 많은 구조적 상관을 갖는다고 추론될 수도 있다. 예를 들어, 이미지는 지문의 것이거나, 또는 잘 구조화된 텍스처를 갖는 다른 표면의 것일 가능성이 더 있다.
도 9 는 국부적 이진 패턴 분석 프로세스의 일 예를 도시한다. 도시된 국부적 이진 패턴 분석 프로세스는 예를 들어 도 3 의 블록 360 에 포함될 수도 있다. 도시된 구현에 있어서, 입력 초음파 이미지는 관련된 국부적 이진 패턴 (LBP) 이미지들을 형성하기 위하여 프로세싱될 수도 있다. 더 상세하게, 지문 이미지 (901) 가 프로세싱되어 LBP 이미지 (903) 를 형성한다. 유사하게, 공기 이미지 (902) 가 프로세싱되어 LBP 이미지 (904) 를 형성한다. LBP 이미지들 (903 및 904) 은 각각 지문 이미지 및 공기 이미지와 연관된 것으로서 원래 이미지들 (901 및 902) 보다 더 명확히 구별가능할 수도 있다.
도 3 을 다시 참조하면, 구조적 유사도 결정 프로세스 (350) 및 국부적 이진 패턴 분석 프로세스 (360) 는 초음파 이미지에 대해 병렬로 수행될 수도 있음이 관측될 수도 있다. 더욱이, 이들 프로세스들은, 도시된 구현에 있어서, 초음파 이미지의 전역적 피처들 (즉, 실질적으로 그 모두) 에 대해 수행된다.
도 3 을 여전히 참조하면, 블록들 (330, 340, 350 및 360) 의 출력들은 블록 370 에서의 판정 트리 러닝 프로세스를 받을 수도 있다. 일부 구현들에 있어서, 예를 들어, 회귀 트리 분석이 이들 출력들에 대해 수행될 수도 있다. 회귀 트리 분석 블록 (370) 의 출력은, 공기 또는 랜덤하게 텍스처링된 표면에 대조적으로 지문 또는 다른 구조적으로 텍스처링된 표면의 이미지들을 수신한 확률을 표시하는 수치적 스코어일 수도 있다. 예를 들어, 그 수치적 스코어는 제로와 1 사이의 수일 수도 있으며, 여기서, 1 은 이미지가 지문 또는 다른 구조적으로 텍스처링된 표면의 것이라는 고 신뢰도 식별을 나타내고, 제로는 이미지가 공기 또는 랜덤하게 텍스처링된 표면이라는 고 신뢰도를 나타낸다. 그러한 회귀 트리들은 입력 오브젝트의 발생의 확률측도 또는 입력 품질 스코어들을 생성 가능하다.
일부 구현들에 있어서, 도 3 에 도시된 프로세스 플로우는, 알고리즘이 다양한 환경 및 하드웨어 구성들 하에서 트레이닝되는 "트레이닝" 절차의 부분으로서 다수의 샘플들에 대해 실행될 수도 있다. 초음파 이미지의 품질 및 프레임별 변동은 초음파 센서의 하드웨어 특성들, 온도, 습도, 노이즈, 센서 범위 게이트 지연, 및 주파수 설정에서의 변동들 뿐 아니라 커버 글래스 특성들에 의해 영향을 받을 수도 있음이 인식될 것이다. 한번 또는 주기적으로 실행될 수도 있는 트레이닝 절차는, 다양한 양들의 먼지, 오물, 및 습기의 존재 그리고 적어도 -40℃ 내지 40℃ 의 범위에서의 온도 극치들에도 불구하고, 포착된 이미지들이 지문 또는 스타일러스에 특유한지 여부의 알고리즘의 결정의 정확도를 개선시킬 수도 있다. 트레이닝의 결과들은 예를 들어 해쉬 테이블 또는 회귀 트리로서 저장될 수도 있다.
본 발명자들은 본 개시에 따라 구성된 의도된 제어 터치 알고리즘의 적응적 검출이, 포착된 이미지들이 매우 낮은 레이턴시 (일부 구현들에 있어서 대략 10-15 msec) 로 지문 또는 스타일러스에 특유한지 여부의 매우 정확한 (예를 들어, 대략 95-98% 정확도) 결정을 행할 수도 있음을 발견하였다. 결과적으로, 가상 버튼의 기능들은 사용자의 핑거 또는 패턴 스타일러스의 터치 시에 저 레이턴시로 작동되고, 예를 들어, 가죽, 옷, 또는 공기와 같은 다른 오브젝트들 또는 재료들의 터치들에 의해 작동되지 않을 수도 있다.
일부 구현들에 있어서, 본 개시된 기법들은, 본 발명의 양수인에게 양도되고 본 개시에 전부 통합된 미국특허 공개번호 2016/007098호에 개시된 바와 같이 지문 인증 기법들 및/또는 생체 검출 기법들과 결합될 수도 있다.
도 10 은 일 구현에 따른, 포착된 이미지 데이터가 의도된 제어 터치에 관련되는지 여부를 결정하기 위한 방법의 일 예를 도시한다. 상기 설명된 바와 같이, 이미지 데이터는 전자 디바이스의 전면 표면의 제 1 부분 뒤에 배치된 초음파 센서에 의해 출력된 신호들로부터 프로세서에 의해 포착될 수도 있다. 도시된 구현에 있어서, 방법 (1000) 은 초음파 트랜스듀서로부터의 신호를 프로세서로 수신하기 위한 블록 1010 을 포함한다.
방법은, 블록 1020 에서, 전면 표면의 제 1 부분과 접촉하는 표면 또는 물질의 이미지 데이터를 포착하도록 초음파 센서로부터 수신된 신호를 프로세싱하는 것으로 진행한다.
방법은, 블록 1030 에서, 이미지 데이터가 지문 또는 패터닝된 스타일러스에 특유한지 여부를 결정함으로써, 포착된 이미지 데이터가 제 1 부분 상의 의도된 제어 터치와 관련되는지 여부를 결정하는 것에 의해 종료한다.
도 11 은 추가의 구현에 따른, 인터랙티브 디스플레이를 갖는 전자 디바이스의 블록 다이어그램의 일 예를 도시한다. 전자 디바이스 (1100) (예를 들어, 스마트 폰 또는 다른 개인용 전자 디바이스일 수도 있음) 는 프로세서 (1104) 를 포함하고, 인터랙티브 디스플레이 (1102) 를 포함하는 전면 표면 (1101) 을 갖는다. 프로세서 (104) 는, 핑거, 핸드 또는 핸드헬드 오브젝트 (예를 들어, 스타일러스) 등과 같은 사용자의 부속물에 의한 터치들 또는 제스처들을 포함할 수도 있는 사용자 입력들에 적어도 부분적으로 응답하여, 인터랙티브 디스플레이 (1102) 의 출력을 제어하도록 구성될 수도 있다.
도시된 구현에 있어서, 프로세서 (1104) 는 초음파 센서 (1106) 와 그리고 환경 센서 (1108) 에 통신가능하게 커플링된다. 환경 센서 (1108) 는, 예를 들어, 압력에서의 변경, 주변 광 또는 온도에서의 변경을 감지하거나 또는 전자 디바이스 (1100) 의 모션을 감지하도록 구성된 저전력 디바이스일 수도 있다. 그러한 구현에 있어서, 초음파 센서는, 오직 환경 센서 (1108) 가 압력에서의 변경, 주변 광 또는 온도에서의 변경을 등록하거나 또는 전자 디바이스의 모션을 검출한 이후에만, 전자 디바이스가 저전력 모드에 있든지 아니든지 신호들을 프로세서에 송신하도록 구성될 수도 있다.
도 12 는 추가의 구현에 따른, 인터랙티브 디스플레이를 갖는 전자 디바이스의 일 예를 도시한다. 전자 디바이스 (1200) (예를 들어, 스마트 폰 또는 다른 개인용 전자 디바이스일 수도 있음) 는 인터랙티브 디스플레이 (1202) 를 포함하는 전면 표면 (1201) 을 갖는다. 인터랙티브 디스플레이 (1102) 의 출력은, 핑거, 핸드 또는 핸드헬드 오브젝트 (예를 들어, 스타일러스) 등과 같은 사용자의 부속물에 의한 터치들 또는 제스처들을 포함할 수도 있는 사용자 입력들에 적어도 부분적으로 응답할 수도 있다.
상기 설명된 바와 같이, 초음파 센서는 전자 디바이스 (1200) 의 전면 표면 (1201) 뒤에, 그리고 전자 디바이스 (100) 의 전면 표면 (1201) 의 둘레 내에 배치된 위치 (1210) 에 근접하게 배치될 수도 있다. 대안적으로 또는 부가적으로, 초음파 센서는 전자 디바이스 (1200) 의 후면 표면 (1231) 뒤에 그리고 위치 (1230) 에 근접하게 배치될 수도 있다. 일부 구현들에 있어서, 후면 표면 (1231) 은 불투명 글래스, 플라스틱 또는 금속 표면일 수도 있다. 위치 (1230) 에 위치된 가상 버튼의 기능은, 전자 디바이스 (1200) 가 저전력 모드에 있을 경우라도 제공될 수도 있다. 예를 들어, 초음파 센서는 버튼 위치 (1230) 와 연관된 이미지 데이터를 수집하고, 전자 디바이스 (1200) 가 저전력 모드에 있든지 아니든지 대응하는 신호들을 프로세서에 출력하도록 구성될 수도 있다. 결과적으로, 프로세서는 버튼 위치 (1230) 에 근접한 사용자의 핑거 또는 스타일러스의 초기 접촉 시에 즉시 전자 디바이스를 "웨이크"하도록 구성될 수도 있다. 일부 구현들에 있어서, 프로세서는 버튼 위치 (1230) 에 근접한 사용자의 핑거 또는 스타일러스의 제 2 접촉 시에 카메라 (1240) 를 작동하도록 구성될 수도 있다.
본 개시된 기법들에 의해 고려된 초음파 센서는 외부 표면이 투명하든지 아니든지 그리고 외부 표면 두께들 및 재료들의 상당한 다양성을 위해 이미지 데이터를 수집하도록 동작가능하기 때문에, 상기 개시된 타입의 가상 버튼 기능은, 디바이스가 커버 글래스를 포함하든지 아니든지, 다양한 디바이스들을 위해 제공될 수도 있다. 도 13a 내지 도 13c 는 가상 버튼의 추가의 예시적인 구현들을 포함한다. 도시된 구현들 각각에 있어서, 하나 이상의 가상 버튼들 (1310) 이 전자 디바이스 상에 배치된다. 각각의 가상 버튼은 가상 버튼에 근접하게 배치된 개별 초음파 센서 (도시 안됨) 와 연관된다. 도 13a 에 도시된 예시적인 구현에 있어서, 가상 버튼 (1310) 은 스마트 워치의 커버 글래스 상에 배치되게 도시된다. 대안적으로 또는 부가적으로, 가상 버튼 (1310) 은, 예를 들어, 도 13b 에 도시된 바와 같이 불투명 손목밴드에 근접하게 커버 글래스에 배치될 수도 있다. 가상 버튼 기능은 또한, 다른 웨어러블 디바이스들 상에 제공될 수도 있으며, 예를 들어, 가상 버튼 (1310) 은 도 13c 에서 예를 들어 도시된 바와 같이 스마트 안경 상에 배치될 수도 있다. 더욱이, 개시된 기법들은, 예를 들어, 도 13d 에 도시된 바와 같은 스마트 흡입기를 포함하여 다른 디바이스들에 대해 가상 버튼 기능을 제공하도록 적응될 수도 있다.
또 추가적인 구현에 있어서, 상기 개시된 바와 같은 가상 버튼은, 사물 인터넷 (IOT) 디바이스, 예를 들어, 컴퓨터 마우스 (동작하고 있지 않을 경우에 저전력 모드로 감으로써 절전), 피트니스 밴드, 키오스크 및/또는 서모스탯, TV 와 같은 홈 장비, 또는 다른 엔터테인먼트 전자기기들 상에 위치될 수도 있다. 일 구현에 있어서, 하나 이상의 가상 버튼들이 차량 내부의 스티어링 휠 또는 하나 이상의 다른 표면들 상에 배치될 수도 있고, 이에 의해, 사용자가 가상 버튼을 터치하면, 가상 버튼으로부터의 입력들은 프로세서로 하여금 차량의 자율 모드 또는 반자율 모드 상으로 또는 그 역으로 운전하는 매뉴얼에 대한 선호도를 제공하게 할 수도 있다.
따라서, 극도로 낮은 레이턴시로, 모바일 디바이스의 커버 글래스 상의 핑거 또는 스타일러스로부터의 터치를, 핑거 또는 스타일러스 이외의 오브젝트 또는 표면의 커버 글래스 상의 무의식적인 압력으로부터 구별하기 위한 개선된 기법들. 다수의 대안적인 구성들 및 제조 기법들이 고려될 수도 있음이 인식될 것이다.
본 명세서에서 사용된 바와 같이, 아이템들의 리스트 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 커버하도록 의도된다.
본 명세서에 개시된 구현들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 회로들, 및 알고리즘 프로세스들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 대체가능성은 일반적으로 기능의 관점에서 설명되었으며, 상기 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들에서 예시되었다. 그러한 기능이 하드웨어에서 구현되는지 또는 소프트웨어에서 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다.
본 명세서에서 개시된 양태들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 및 회로들을 구현하는데 사용되는 하드웨어 및 데이터 프로세싱 장치는 범용 싱글- 또는 멀티-칩 프로세서, 디지털 신호 프로세서 (DSP), 어플리케이션 특정 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서 또는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다. 일부 구현들에 있어서, 특정 프로세스들 및 방법들은, 주어진 기능에 특정한 회로부에 의해 수행될 수도 있다.
하나 이상의 양태들에 있어서, 설명된 기능들은, 본 명세서에 개시된 구조들 및 이들의 그 구조적 균등물들을 포함하여, 하드웨어, 디지털 전자 회로부, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 본 명세서에서 설명된 주제의 구현들은 또한, 하나 이상의 컴퓨터 프로그램들로서, 즉, 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들 상에서 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다.
소프트웨어에서 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 비-일시적인 매체와 같은 컴퓨터 판독가능 매체 상에 저장 또는 전송될 수도 있다. 본 명세서에 개시된 방법 또는 알고리즘의 프로세스들은, 컴퓨터 판독가능 매체 상에 상주할 수도 있는 프로세서 실행가능 소프트웨어 모듈에서 구현될 수도 있다. 컴퓨터 판독가능 매체들은, 컴퓨터 프로그램을 일 장소로부터 다른 장소로 전송하도록 인에이블될 수 있는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자 모두를 포함한다. 저장 매체들은, 컴퓨터에 의해 액세스될 수도 있는 임의의 가용 매체들일 수도 있다. 한정이 아닌 예로서, 비-일시적인 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수도 있고 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명될 수 있다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 부가적으로, 방법 또는 알고리즘의 동작들은 코드들 및 명령들 중 하나 또는 그 임의의 조합 또는 그 세트로서 머신 판독가능 매체 및 컴퓨터 판독가능 매체 상에 상주할 수도 있으며, 이 매체들은 컴퓨터 프로그램 제품에 통합될 수도 있다.
본 개시에서 설명된 구현들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 수도 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시의 사상 또는 범위로부터 일탈함없이 다른 구현들에 적용될 수도 있다. 따라서, 청구항들은 본 명세서에 나타낸 구현들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 본 개시, 원리들 및 신규한 피처들과 부합하는 최광의 범위를 부여받아야 한다. 부가적으로, 당업자가 용이하게 인식할 바와 같이, 용어들 "상위" 및 "하위", "상부" 및 "저부", "전면" 및 "후면", "상부" 및 "위", "하부" 및 "아래" 가 종종 도면들을 설명하는 것의 용이를 위해 사용되고 적절히 배향된 페이지 상에서의 도면의 배향에 대응하는 상대적 포지션들을 표시하며 그리고 구현될 때 디바이스의 적절한 배향을 반영하지 않을 수도 있다.
별도의 구현들의 컨텍스트에 있어서 본 명세서에서 설명된 특정 피처들은 또한 단일 구현에서의 조합으로 구현될 수 있다. 반면, 단일 구현의 컨텍스트에 있어서 설명된 다양한 피처들은 또한, 다중의 구현들에서 별개로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 더욱이, 비록 피처들이 특정 조합들로 작용하는 것으로서 상기 설명되고 심지어 그와 같이 초기에 청구될 수도 있지만, 청구된 조합으로부터의 하나 이상의 피처들은 일부 경우들에 있어서 그 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위조합 또는 하위조합의 변동예로 유도될 수도 있다.
유사하게, 동작들이 도면들에 있어서 특정 순서로 도시되지만, 이는, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되어야 하거나 또는 도시된 모든 동작들이 수행되어야 할 것을 요구하는 것으로 이해되지 않아야 한다. 추가로, 도면들은 하나 이상의 예시적인 프로세스들을 플로우 다이어그램의 형태로 개략적으로 도시할 수도 있다. 하지만, 도시되지 않은 다른 동작들은 개략적으로 도시된 예시적인 프로세스들에 통합될 수 있다. 예를 들어, 하나 이상의 추가 동작들이 도시된 동작들 중 임의의 동작들 이전에, 그 이후에, 그와 동시에, 또는 그들 사이에서 수행될 수 있다. 특정 상황들에 있어서, 멀티태스킹 및 병렬 프로세싱이 유리할 수도 있다. 더욱이, 상기에서 설명된 구현들에 있어서의 다양한 시스템 컴포넌트들의 분리는 그러한 분리를 모든 구현들에서 요구하는 것으로서 이해되지 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다중의 소프트웨어 제품들로 패키징될 수 있음이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에 있어서, 청구항들에 기재된 액션들은 상이한 순서로 수행될 수 있고 바람직한 결과들을 여전히 달성할 수 있다.

Claims (30)

  1. 제 1 외부 표면 (101) 을 포함한 전자 디바이스 (100);
    상기 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서 (106); 및
    상기 제 1 외부 표면의 상기 제 1 부분과 접촉하는 물질 또는 오브젝트의 표면의 이미지 데이터를 포착하도록 상기 초음파 센서로부터 수신된 신호를 프로세싱하고 (1020); 그리고
    상기 표면의 포착된 상기 이미지 데이터가 지문을 포함하여 구조적으로 텍스처링된 표면에 특유하다고 결정할 시, 상기 이미지 데이터는 상기 제 1 부분과 상기 표면의 의도적인 접촉으로부터 기인한다고 제 1 결정하는
    수단을 포함하는, 장치.
  2. 제 1 항에 있어서,
    상기 전자 디바이스 및 상기 초음파 센서 중 하나 또는 양자 모두와 연관되는 프로세서 (104) 를 더 포함하고,
    상기 프로세서는 상기 수단을 구체화하도록 구성되는, 장치.
  3. 제 2 항에 있어서,
    상기 초음파 센서는, 상기 전자 디바이스가 저전력 모드에 있든지 아니든지 상기 신호를 상기 프로세서에 출력하도록 구성되거나; 또는
    상기 전자 디바이스가 상기 저전력 모드에 있을 경우, 상기 프로세서는, 상기 제 1 결정이 상기 초음파 센서로부터 수신된 상기 신호가 상기 제 1 부분과 상기 표면의 의도적인 접촉과 관련된다는 것일 때, 상기 전자 디바이스를 상기 저전력 모드로부터 통상 전력 모드로 스위칭하도록 구성되는, 장치.
  4. 제 2 항에 있어서,
    상기 전자 디바이스는 상기 초음파 센서 및 상기 프로세서 중 하나 또는 양자 모두와 커플링된 주변 광 센서, 압력 센서, 주변 온도 센서, 및 모션 검출기 중 하나 이상을 포함하고;
    상기 초음파 센서는, 오직 (i) 상기 주변 광 센서가 주변 광 레벨에서의 변경을 등록하는 것; (ii) 상기 압력 센서가 압력에서의 변경을 등록하는 것; (iii) 상기 주변 온도 센서가 주변 온도에서의 변경을 등록하는 것; 및 (iv) 상기 모션 검출기가 상기 전자 디바이스의 모션을 등록하는 것 중 하나 이상 이후에만, 상기 전자 디바이스가 저전력 모드에 있든지 아니든지 상기 신호를 상기 프로세서에 송신하도록 구성되는, 장치.
  5. 제 2 항에 있어서,
    상기 제 1 외부 표면은 커버 글래스를 갖는 인터랙티브 디스플레이를 포함하고, 적어도 하나의 표면의 제 1 부분은 가상 버튼의 위치에 대응하는, 장치.
  6. 제 5 항에 있어서,
    상기 가상 버튼은 상기 커버 글래스 상에 위치되거나; 또는 상기 가상 버튼은 홈 버튼인, 장치.
  7. 제 2 항에 있어서,
    상기 제 1 외부 표면은 커버 글래스를 갖는 인터랙티브 디스플레이를 포함하는 제 2 외부 표면에 대향하고, 상기 제 1 외부 표면의 상기 제 1 부분은 가상 버튼의 위치에 대응하는, 장치.
  8. 제 2 항에 있어서,
    상기 프로세서는 서포트 벡터 머신 회귀, 현대 뉴럴 네트워크 알고리즘 및 딥 러닝 (deep learning) 기법 중 하나 이상을 실행함으로써 상기 제 1 결정을 하도록 구성되는, 장치.
  9. 제 2 항에 있어서,
    상기 프로세서는 트레이닝된 회귀 판정 트리 러닝 프로세스를 포함한 알고리즘을 상기 프로세서로 실행하는 것을 포함하는 적응적 핑거 검출 프로세스를 실행함으로써 상기 제 1 결정을 하도록 구성되는, 장치.
  10. 제 9 항에 있어서,
    상기 판정 트리 러닝 프로세스는,
    리지 피처 추출 프로세스;
    배향 정세화 프로세스;
    배향 히스토그램 분석 프로세스;
    배향 상관 및 변경 및 분석 프로세스;
    입력의 구조적 유사도 분석 프로세스; 및
    국부적 이진 패턴 분석 프로세스
    중 하나 이상의 출력들에 대해 동작하도록 구성되는, 장치.
  11. 방법 (1000) 으로서,
    제 1 외부 표면 (101) 을 포함하는 전자 디바이스 (100) 의 프로세서에서, 상기 제 1 외부 표면의 제 1 부분 뒤에 배치된 초음파 센서 (106) 로부터의 신호를 수신하는 단계 (1010); 및
    상기 프로세서로:
    상기 제 1 외부 표면의 상기 제 1 부분과 접촉하는 물질 또는 오브젝트의 표면의 이미지 데이터를 포착하도록 상기 초음파 센서로부터 수신된 상기 신호를 프로세싱하는 단계 (1020); 및
    상기 표면의 포착된 상기 이미지 데이터가 지문을 포함하여 구조적으로 텍스처링된 표면에 특유하다고 결정할 시, 상기 이미지 데이터는 상기 제 1 부분과 상기 표면의 의도적인 접촉으로부터 기인한다고 제 1 결정하는 단계 (1030) 를 포함하는, 방법.
  12. 제 11 항에 있어서,
    상기 초음파 센서는, 상기 전자 디바이스가 저전력 모드에 있든지 아니든지 상기 신호를 상기 프로세서에 출력하고; 그리고
    상기 전자 디바이스가 상기 저전력 모드에 있을 경우, 상기 제 1 결정이 상기 초음파 센서로부터 수신된 상기 신호가 상기 제 1 부분과 상기 표면의 의도적인 접촉과 관련된다는 것일 때, 상기 전자 디바이스를 상기 저전력 모드로부터 통상 전력 모드로 스위칭하는 단계를 더 포함하는, 방법.
  13. 제 11 항에 있어서,
    상기 제 1 외부 표면의 상기 제 1 부분은 가상 버튼의 위치에 대응하며,
    상기 제 1 결정에 기초하여 상기 가상 버튼의 기능을 실행하거나 실행하는 것을 억제하는 단계를 더 포함하거나; 또는
    상기 제 1 결정하는 단계는 서포트 벡터 머신 회귀, 현대 뉴럴 네트워크 알고리즘 및 딥 러닝 기법 중 하나 이상을 실행하는 단계를 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 제 1 결정하는 단계는 트레이닝된 회귀 판정 트리 러닝 프로세스를 포함한 알고리즘을 실행하는 것을 포함하는 적응적 핑거 검출 프로세스를 실행하는 단계를 포함하고; 그리고
    상기 판정 트리 러닝 프로세스는,
    리지 피처 추출 프로세스;
    배향 정세화 프로세스;
    배향 히스토그램 분석 프로세스;
    배향 상관 및 변경 및 분석 프로세스;
    입력의 구조적 유사도 분석 프로세스; 및
    국부적 이진 패턴 분석 프로세스
    중 하나 이상의 출력들에 대해 동작하는, 방법.
  15. 소프트웨어가 저장된 비일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 소프트웨어는 전자 디바이스의 프로세서로 하여금 제 11 항 내지 제 14 항 중 어느 한 항에 기재된 방법을 실행하게 하기 위한 명령들을 포함하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020177037136A 2015-06-29 2016-06-28 초음파 터치 센서 기반 가상 버튼 KR102044088B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562186238P 2015-06-29 2015-06-29
US62/186,238 2015-06-29
US15/194,377 2016-06-27
US15/194,377 US10254881B2 (en) 2015-06-29 2016-06-27 Ultrasonic touch sensor-based virtual button
PCT/US2016/039882 WO2017004076A1 (en) 2015-06-29 2016-06-28 Ultrasonic touch sensor-based virtual button

Publications (2)

Publication Number Publication Date
KR20180022692A KR20180022692A (ko) 2018-03-06
KR102044088B1 true KR102044088B1 (ko) 2019-11-12

Family

ID=57602261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177037136A KR102044088B1 (ko) 2015-06-29 2016-06-28 초음파 터치 센서 기반 가상 버튼

Country Status (9)

Country Link
US (1) US10254881B2 (ko)
EP (1) EP3314494B1 (ko)
JP (1) JP2018530024A (ko)
KR (1) KR102044088B1 (ko)
CN (1) CN107743606B (ko)
BR (1) BR112017028228A2 (ko)
ES (1) ES2729245T3 (ko)
HU (1) HUE043621T2 (ko)
WO (1) WO2017004076A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387704B2 (en) * 2015-06-29 2019-08-20 Qualcomm Incorporated Method and apparatus for enabling the touchscreen display of a mobile device
US10037033B2 (en) * 2016-06-15 2018-07-31 Ford Global Technologies, Llc Vehicle exterior surface object detection
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
WO2019226680A1 (en) * 2018-05-21 2019-11-28 UltraSense Systems, Inc. Ultrasonic touch and force input detection
DE102018213949A1 (de) * 2018-08-17 2020-02-20 Volkswagen Aktiengesellschaft Verfahren zur Bedienung eines Gerätes, Vorrichtung zur Durchführung des Verfahrens, Fahrzeugtür sowie Computerprogramm
KR102668223B1 (ko) * 2018-09-04 2024-05-23 삼성전자주식회사 초음파 방식 인 디스플레이 지문 센서를 포함하는 전자 장치 및 그의 동작 방법
US10524461B1 (en) * 2018-09-25 2020-01-07 Jace W. Files Pest detector to identify a type of pest using machine learning
JP7183733B2 (ja) * 2018-11-27 2022-12-06 株式会社リコー ディスプレイ装置および制御方法
CN112445270B (zh) * 2019-08-16 2023-03-31 华为技术有限公司 终端的按键结构和终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362013A1 (en) 2013-06-10 2014-12-11 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for sensing touch

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834855B2 (en) * 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
WO2006042144A2 (en) 2004-10-07 2006-04-20 Ultra-Scan Corporation Ultrasonic fingerprint scanning utilizing a plane wave
JP2009048335A (ja) * 2007-08-16 2009-03-05 Lg Display Co Ltd 液晶表示装置
US8432169B2 (en) 2007-09-20 2013-04-30 Panasonic Corporation Proximity sensor
WO2009053956A2 (en) 2007-10-23 2009-04-30 Leonid Minutin Passive pointing/touching interface method
US8385885B2 (en) * 2008-10-17 2013-02-26 Sony Ericsson Mobile Communications Ab Method of unlocking a mobile electronic device
US8605960B2 (en) * 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
CN101794197B (zh) * 2010-04-06 2012-11-07 华为终端有限公司 触摸屏触发方法、触摸装置及手持设备
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9448651B2 (en) * 2012-01-09 2016-09-20 Google Inc. Intelligent touchscreen keyboard with finger differentiation
WO2013116835A1 (en) * 2012-02-02 2013-08-08 Ultra-Scan Corporation Ultrasonic touch sensor with a display monitor
CN103376932B (zh) * 2012-04-26 2017-08-18 富泰华工业（深圳）有限公司 防误操作系统及方法
WO2014018115A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing of inputs
US9007308B2 (en) * 2012-08-03 2015-04-14 Google Inc. Adaptive keyboard lighting
US9041690B2 (en) 2012-08-06 2015-05-26 Qualcomm Mems Technologies, Inc. Channel waveguide system for sensing touch and/or gesture
US9063564B2 (en) * 2012-10-30 2015-06-23 Google Technology Holdings LLC Method and apparatus for action indication selection
KR102022288B1 (ko) * 2012-11-26 2019-11-04 삼성전자 주식회사 터치 입력 방법 및 휴대 단말
US9544666B2 (en) 2013-02-11 2017-01-10 Zefr, Inc. Automated pre and post roll production
US20140359757A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated User authentication biometrics in mobile devices
US9727770B2 (en) 2013-07-22 2017-08-08 Apple Inc. Controllable signal processing in a biometric device
US9984270B2 (en) 2013-08-05 2018-05-29 Apple Inc. Fingerprint sensor in an electronic device
KR101542961B1 (ko) 2013-09-13 2015-08-07 현대자동차 주식회사 사용자 단말의 터치 검출 방법 및 시스템
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9633269B2 (en) 2014-09-05 2017-04-25 Qualcomm Incorporated Image-based liveness detection for ultrasonic fingerprints

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362013A1 (en) 2013-06-10 2014-12-11 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for sensing touch

Also Published As

Publication number Publication date
ES2729245T3 (es) 2019-10-31
HUE043621T2 (hu) 2019-08-28
CN107743606B (zh) 2021-05-25
JP2018530024A (ja) 2018-10-11
KR20180022692A (ko) 2018-03-06
WO2017004076A1 (en) 2017-01-05
US20160378244A1 (en) 2016-12-29
EP3314494B1 (en) 2019-04-03
BR112017028228A2 (pt) 2018-08-28
US10254881B2 (en) 2019-04-09
EP3314494A1 (en) 2018-05-02
CN107743606A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
KR102044088B1 (ko) 초음파 터치 센서 기반 가상 버튼
US10139898B2 (en) Distracted browsing modes
US9465982B2 (en) User identification by gesture recognition
Song et al. In-air gestures around unmodified mobile devices
US9207771B2 (en) Gesture based user interface
US9122917B2 (en) Recognizing gestures captured by video
US9423877B2 (en) Navigation approaches for multi-dimensional input
US9207852B1 (en) Input mechanisms for electronic devices
US20190064931A1 (en) Electronic device and method for controlling the electronic device
US10366281B2 (en) Gesture identification with natural images
US9582127B2 (en) Large feature biometrics using capacitive touchscreens
US20160179239A1 (en) Information processing apparatus, input method and program
KR20130140188A (ko) 적응가능 사용자 인터페이스
US9363444B2 (en) Background model update method for image process
US20170344104A1 (en) Object tracking for device input
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
US10521052B2 (en) 3D interactive system
US20180284941A1 (en) Information processing apparatus, information processing method, and program
US20230401886A1 (en) Touch sensing in non-capacitive touch modes
US10558270B2 (en) Method for determining non-contact gesture and device for the same
Chang et al. Presentation control system using gesture recognition and sensor
Mujibiya et al. Anywhere touchtyping: text input on arbitrary surface using depth sensing
US20230125410A1 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium
CN117687560A (zh) 车辆座舱的影音与灯光操控方法、装置、设备和存储介质
KR20140016483A (ko) 터치방식 휴대용 단말기 및 그 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant