KR101678549B1 - 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 - Google Patents

표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 Download PDF

Info

Publication number
KR101678549B1
KR101678549B1 KR1020100083609A KR20100083609A KR101678549B1 KR 101678549 B1 KR101678549 B1 KR 101678549B1 KR 1020100083609 A KR1020100083609 A KR 1020100083609A KR 20100083609 A KR20100083609 A KR 20100083609A KR 101678549 B1 KR101678549 B1 KR 101678549B1
Authority
KR
South Korea
Prior art keywords
surface acoustic
acoustic signal
user interface
signal
pattern
Prior art date
Application number
KR1020100083609A
Other languages
English (en)
Other versions
KR20110090739A (ko
Inventor
채승철
이선재
장경아
이호섭
최현진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100083609A priority Critical patent/KR101678549B1/ko
Priority to CN201180008099.4A priority patent/CN102741919B/zh
Priority to JP2012551100A priority patent/JP5789270B2/ja
Priority to EP11739990.7A priority patent/EP2532000B1/en
Priority to PCT/KR2011/000680 priority patent/WO2011096694A2/en
Priority to EP12182555.8A priority patent/EP2544077B1/en
Priority to US13/019,566 priority patent/US9857920B2/en
Publication of KR20110090739A publication Critical patent/KR20110090739A/ko
Application granted granted Critical
Publication of KR101678549B1 publication Critical patent/KR101678549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices

Abstract

표면 음향 신호를 이용한 유저 인터페이스의 제공에 관한 것이다.
일 측면에 있어서, 유저 인터페이스를 구비한 디바이스는 상기 디바이스의 외부에서 발생된 표면 음향 신호를 획득하는 센서 및 상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함한다.

Description

표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스{METHOD AND APPARATUS FOR PROVIDING USER INTERFACE USING SURFACE ACOUSTIC SIGNAL, AND DEVICE WITH THE USER INTERFACE}
기술 분야는 표면 음향 신호를 이용한 유저 인터페이스의 제공에 관한 것이다.
전자기기(electronic device)의 기능을 조작하기 위한 유저 인터페이스 제공 장치로는 주로 조작 키, 버튼, 마우스 또는 터치 스크린 등을 중심으로 개발되어왔다. 기존의 유저 인터페이스 제공 장치들은 버튼이나 스크린과 같은 전자 회로로 구성되므로, 전자 회로가 장착되지 않은 곳은 인터페이스로 사용할 수 없는 입력 범위의 한계가 분명히 존재한다. 그리고, 평면이 아닌 굴곡진 곳이나 가구 혹은 벽과 같은 일반 사물에 인터페이스 장치를 내장하기 위해서는, 외부의 충격이나 오염에 강인한 특성을 가져야 하나, 이러한 유저 인터페이스 장치를 구현하는 것은 매우 어렵다.
한편, 기존의 유저 인터페이스 제공 장치는 전자기기의 특정 영역에 고정되어 동작한다. 따라서, 전자기기의 인터페이스, 즉, 입력 영역이 옷이나 가방 내부 등 손에 닿지 않는 곳에 있게 되면, 조작이 불편하며, 모바일 장치 등과 같이 전자기기 자체의 공간이 한정적인 경우에는 충분한 입력공간을 확보할 수 없다.
따라서, 인터페이스의 입력공간의 제약을 극복하며, 기존의 인터페이스로 사용 가능한 장치들보다 비용이 저렴한 인터페이싱 기술이 필요하다.
일 측면에 있어서, 디바이스의 유저 인터페이스 제공 장치는, 상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 표면 음향 신호 획득부와, 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 패턴 인식부 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 사용자 입력 식별부를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 표면 음향 신호를 획득하는 단계와, 상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 단계와, 상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 단계 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계;
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 단계 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계와, 상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 진행 방향을 판단하는 단계 및 상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시키는 단계를 포함한다.
다른 일 측면에 있어서, 전자 장치는 상기 전자 장치 외부에서 발생된 표면 음향 신호를 획득하는 센서 및 상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 인식하도록 구성된(configured) 적어도 하나의 프로세서를 포함한다.
인터페이스 제공 장치 및 방법에 의하면, 디바이스의 인터페이스의 확장이 가능하다. 즉, 문자, 도형, 드래깅, 터치 이벤트 등의 사용자 입력을 위한 공간은 터치 스크린, 키패널 등의 특정 입력공간에 제한되지 않는다. 따라서, 사용자는 디바이스 주변의 임의의 공간에서 디바이스를 조작할 수 있다.
표면 음향 신호를 발생 시키는 매질이 변경되는 경우에도, 정확하게 사용자의 입력 신호를 식별할 수 있는 인터페이스가 제공된다.
또한, 표면 음향 신호를 발생시킨 도구를 정확하게 구별함으로써, 사용자에게 편의성을 제공할 수 있다.
디바이스를 직접 터치하지 않는 경우에도 사용자의 의도를 식별할 수 있기 때문에, 디바이스 및 디바이스의 부속품의 수명이 늘어난다.
일 측면에 따르면, 표면음향신호에서 발생되는 스펙트럼 정보를 분석함으로써 입력도구 또는 입력매질을 판별하고, 판별된 입력도구 또는 입력매질 별로 상이한 기능을 부여하여 사용할 수 있다. 이는, 입력도구와 입력매질에 따라 발생하는 주파수 스펙트럼을 상이한 특징을 갖기 때문이다.
또한 다른 일측면에 따르면, 두 개 이상의 센서로부터 획득되는 표면음향신호의 시간정보를 이용하여 사용자의 입력 신호를 보다 정확하게 식별 할 수 있다.
도 1은 표면 음향 신호를 이용한 인터페이스의 확장 예를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 유저 인터페이스 제공 장치를 나타낸 도면이다.
도 3은 도 1 및 도 2에서 표면 음향 신호 획득부(210)의 구성 예를 나타낸 도면이다.
도 4는 다른 실시 예에 따른 유저 인터페이스 제공 장치의 구성을 나타낸다.
도 5는 도4의 필터(423) 및 단순화부(425)에서 출력되는 신호의 예를 나타낸 도면이다.
도 6은 "최소 단위 의미"들에 대한 예를 나타낸다.
도 7은 입력 도구에 따른 표면 음향 신호의 주파수 특성을 예시한 도면이다.
도 8은 사용자의 입력 신호가 문자인 경우 사용자의 입력 신호를 식별하는 예를 설명하기 위한 도면이다.
도 9 및 도 10은 각각 직선에 대응하는 표면 음향 신호의 파형의 예를 나타낸다.
도 11은 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우 획득되는 표면음향신호의 일 예를 도시한 도면이다.
도 12는 디바이스의 케이스를 예시한 도면이다.
도 13은 일 실시 예에 따른 디바이스의 유저 인터페이스 제공 방법을 나타낸다.
도 14는 표면 음향 신호의 패턴을 분석하는 과정의 예를 나타낸다.
도 15는 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 16은 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 명세서에서, "디바이스"는 Potable Device, Electronic Device 등을 포괄하는 개념으로 사용된다. 또한, 유저 인터페이스 제공 장치는 디바이스에 포함되어 구성될 수 있다. 즉, 유저 인터페이스 제공 장치는 디바이스의 유저 인터페이스를 제공한다. 이때, 디바이스는 이동 단말, 태블릿 PC, 포터블 미디어 플레이어, 가전 제품 등, 사용자의 조작이 가능한 모든 디바이스를 포함한다.
도 1은 표면 음향 신호를 이용한 인터페이스의 확장 예를 설명하기 위한 도면이다.
도 1을 참조하면, 디바이스(120)는 특정 매질을 갖는 물체(110) 위에 놓여 있다. 이때, 물체(110)는 예를 들어, 테이블이나 책상일 수 있다. 물체(110)의 표면에서 사용자의 제스처(gesture)에 따라서 표면 음향 신호가 발생한다. 사용자의 제스처는 드래깅(dragging), 문자 입력 등의 다양한 터치 이벤트를 포함한다. 표면 음향 신호는 매질의 형태와 관계없이 전파되고, 공기, 유리, 금속, 나무 등의 모든 매질을 통해 전달되는 특성이 있다.
도 1의 예에서, 사용자의 제스처에 의해 발생된 표면 음향 신호는 디바이스(120)를 조작하기 위한 '사용자의 입력 신호'에 해당하고, 디바이스(120)는 사용자의 입력 신호에 대응하는 기능을 수행한다. 따라서, 디바이스(120)는 확장된 인터페이스를 통해 '사용자의 입력 신호'를 획득하는 기능 및 사용자의 입력 신호를 식별하는 기능을 구비한다. 사용자의 입력 신호를 식별함으로써, 디바이스(120)는 사용자의 의도를 정확하게 파악할 수 있다.
도 1의 예에서, 디바이스(120)은 표면 음향 신호를 획득하기 위한 센서 및 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 이때, 적어도 하나의 프로세서는 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성(configuring) 될 수 있다. 즉, 사용자의 제스처에 의해 발생된 표면 음향 신호는 디바이스(120)를 조작하기 위한 명령어, 문자의 입력, 기타 기능을 실행 시키기 위한 입력 신호로 사용될 수 있다.
도 2는 일 실시 예에 따른 유저 인터페이스 제공 장치를 나타낸 도면이다.
도 2에 도시된 디바이스의 유저 인터페이스 제공 장치(200)는 도 1의 디바이스(120)에 내장된 형태로 구성될 수 있다.
도 2를 참조하면, 유저 인터페이스 제공 장치(200)는 표면 음향 신호 획득부(210), 패턴 인식부(220) 및 사용자 입력 식별부(230)를 포함한다. 또한, 유저 인터페이스 제공 장치(200)는 패턴 모델 저장부(240)를 더 포함할 수 있다.
표면 음향 신호 획득부(210)는 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득한다. 이때, 디바이스 외부의 매질은 디바이스와 접촉되는 물체를 통해 사용자에게 제공되는 확장된 인터페이스에 해당한다. 또한, 디바이스 외부의 매질은 디바이스의 외장 케이스를 통해 상기 사용자에게 제공될 수 있다. 표면 음향 신호 획득부(210)는 적어도 하나의 음향 센서를 포함하여 구성될 수 있다.
패턴 인식부(220)는 표면 음향 신호의 특징을 분석하여 매질에 대응하는 표면 음향 신호의 패턴(pattern)을 인식한다. 패턴 인식부(220)는 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 특징 추출부(221) 및 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 표면 음향 신호의 패턴을 분석하는 패턴 분석부(223)를 포함할 수 있다. 또한, 패턴 인식부(220)는 잡음제거, 신호 증폭 및 신호의 단순화를 위한 표면 음향 신호 처리부(미 도시 함)를 더 포함할 수 있다. 상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함한다.
패턴 인식부(220)는 "표면 음향 신호의 특징 추출", "표면 음향 신호를 발생시킨 도구의 추정" 및 "표면 음향 신호가 전달되는 매질의 종류 추정"을 수행할 수 있다. 따라서, 패턴 인식부(220)는 입력도구 또는 입력 매질이 변경되는 경우에도, 표면 음향 신호의 패턴을 정확하게 인식할 수 있다.
사용자 입력 식별부(230)는 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다. 사용자 입력 식별부(230)는 표면 음향 신호의 패턴에 매칭되는 "최소 단위 의미"를 구분하고, 상기 "최소 단위 의미"에 기초하여 상기 사용자의 입력 신호를 식별할 수 있다. 또한, 사용자 입력 식별부(230)는 패턴 인식부(220)로부터 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별할 수 있다. 식별된 사용자의 입력 신호는 디바이스에 구비된 디스플레이 및 제어부로 제공될 수 있다. 사용자의 입력 신호가 문자인 경우, 사용자가 입력한 문자가 디스플레이 될 수 있다. 사용자의 입력 신호가 특정 기능의 실행에 해당하는 경우 제어부는 해당 기능을 실행시킬 수 있다.
패턴 모델 저장부(240)는 매질의 종류 및 입력 도구의 종류에 따라 구분된 표면 음향 신호의 패턴 모델을 저장한다. 즉, 패턴 모델 저장부(240)에는 다양한 매질들 각각의 표면 음향 신호의 패턴 모델 및 다양한 입력 도구들 각각의 특징 정보가 저장되어 있다.
이하, 유저 인터페이스 제공 장치(200)에 의해 수행되는 "표면 음향 신호의 특징 추출", "표면 음향 신호를 발생시킨 도구의 추정" 및 "표면 음향 신호가 전달되는 매질의 종류 추정"을 상세히 살펴 본다. 다음에, 유저 인터페이스 제공 장치(200)에 의해 수행되는 "사용자의 입력 신호 식별"을 상세히 살펴 본다.
<1. 표면 음향 신호의 특징 추출>
표면 음향 신호의 특징 추출은 표면음향신호의 패턴을 분석하는데 필요한 특징을 표면음향신호로부터 추출하는 것이다. 일 측면에 있어서, 표면 음향 신호의 특징 추출은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 표면 음향 신호의 특징 추출은 특징 추출부(221)에 의하여 수행된다고 가정한다.
표면 음향 신호의 특징은 특정 의미를 갖는 "최소 단위 의미"로 구분될 수 있다. 여기서, "최소 단위 의미"는 사용자의 입력 신호를 식별하는데 필요한 가장 기본적인 형태에 대한 정의이다. "최소 단위 의미"는 도 6에 도시된 바와 같이, 점, 원, 직선, 알파벳 등과 같이 최소한의 의미를 가지는 표면음향신호의 단위일 수 있다.
표면음향신호는 사용자가 손이나 펜 등의 물건을 사용하여 매질의 표면에 인위적으로 소리를 발생시키는 과정을 통해 획득될 수 있다. 표면 음향 신호의 특징을 추출하기 위하여, 문자와 같은 복잡한 모양의 소리를 분석하고, 표면음향신호에 대한 특징을 추출하여 표면음향신호를 최소의미단위로 분류하는 과정이 필요할 수 있다. 다양한 최소 의미 단위들 각각은 신호의 형태가 일정한 패턴을 가진다. 따라서, 특징 추출부(221)는 표면 음향 신호로부터 특징을 추출하고, 추출된 특징을 이용하여 최소 의미 단위를 분류할 수 있다.
일 측면에 있어서, 최소 의미 단위는 아래 5개의 과정을 통해 추출될 수 있다.
1. 획득된 표면 음향신호를 최소 의미 단위의 신호 S를 분리한다.
2. 최소 의미 단위의 신호 S를 N개의 프레임으로 분할한다.
3. N개의 프레임 각각의 특징 값 CN을 추출하고, CN을 저장한다.
4. 획득된 표면 음향신호 전체의 특징 값 CT를 추출하고, CT를 저장한다.
5. DB에 최소 의미 단위의 패턴 모델을 저장하는 경우, CN 및 CT를 이용한 기계적인 학습 모델 M을 생성하고, M을 DB에 저장한다.
상기 5개의 과정은 최소 의미 단위의 패턴 모델을 DB에 저장하는데 이용될 수도 있다. 즉, 최소 의미 단위의 패턴 모델은 매질의 종류 및 표면 음향 신호의 입력 도구 별로 구분되어 DB에 저장될 수 있다. 현재 입력되는 표면음향 신호로부터 추출된 특징을 DB에 저장된 '최소 의미 단위의 패턴 모델'과 비교함으로써 현재 입력되는 표면 음향 신호의 패턴이 인식될 수 있다.
상기 5개의 과정에서, "특징 값"이란 해당 신호의 시간-도메인(Time-Domain) 상의 특징들(features)을 시간적으로 정규화(Normalization)한 값일 수 있다. 또한, "특징 값"은 해당 신호의 주파수 도메인 상의 특징들일 수 있다. 시간 도메인 상의 특징들을 주파수 도메인 상의 특징들과 적절히 결합하고, 다양한 기계적인 학습(Machine Learning) 기법을 통해 '최소 의미 단위의 패턴 모델'을 생성할 수 있다. 이때, 시간 도메인 상의 특징은 진폭간의 표준 편차 및 기울기(wave slope), 진폭의 DR(Dynamic Range), 진폭의 분포, 제로 크로싱의 분포 및 변화량, 에너지 총량 및 에너지량 변화, 신호의 길이 등이 있다.
음향 신호는 신호 레벨의 강약이 존재하기 때문에 진폭의 변화가 존재한다. 샘플링 비율에 따라서, 표면 음향 신호로부터 이산적인 진폭 값들이 얻어 질 수 있다. 이산 적인 진폭 값들을 잇는 선분의 기울기를 구하면, 신호 레벨의 변화를 측정할 수 있다. 신호의 진폭의 변화는 매질 상에 입력되는 직선, 곡선, 꺽인 선 등의 식별을 위한 하나의 요소로 사용될 수 있다.
특징 추출부(221)는 해당 신호의 진폭의 분포를 통하여, 유사한 신호를 구분할 수 있다. 예를 들어, 동그라미에 대응하는 신호의 진폭의 분포는 일정한 값이 계속 유지되는 형태일 수 있다.
제로 크로싱의 분포는 신호의 부호가 변하는 지점이 몇 개인지를 의미한다. 즉, 하나의 프레임 내에서 신호의 레벨이 기준점인 0과 만나는 지점을 제로 크로싱으로 정의할 수 있다. 제로 크로싱의 분포는 해당 신호의 고주파 및 저주파의 비율을 나타낸다. 예를 들어, 시간의 길이가 N인 경우, 제로 크로싱 분포는 수학식 1과 같이 정의 될 수 있다.
[수학식 1]
Figure 112010055676767-pat00001
특징 추출부(221)는 제로 크로싱의 분포, 제로 크로싱의 분포의 변화량의 추이 등을 이용하여 해당 신호의 고유한 특징을 추출할 수 있다.
특징 추출부(221)는 해당 신호가 갖는 에너지의 총량을 해당 신호의 특징으로 이용할 수 있다. 시간의 길이가 N인 경우, 시간 N 동안 나타난 이산 신호 X(i)의 에너지의 총량은 수학식 2와 같이 구할 수 있다.
[수학식 2]
Figure 112010055676767-pat00002
또한, 특징 추출부(221)는 여러 개의 프레임들 각각의 에너지의 량을 해당 신호의 특징으로 이용할 수 있다.
특징 추출부(221)는 해당 신호의 길이를 이용하여 신호를 구별할 수도 있다. 신호의 길이의 단위는 시간을 사용할 수 있다. 예를 들어, 점과 원은 신호의 길이가 명확하게 차이가 난다. 즉, 특징 추출부(221)는 표면 음향 신호의 획득이 시작되는 시간과 표면 음향 신호의 획득이 종료되는 시간을 표면 음향 신호의 길이로 정할 수 있다.
신호의 시간-도메인(Time-Domain) 상의 특징들(features)은 기준 시간의 단위로 정규화되고, 정규화된 값은 DB에 저장될 수 있다. 신호의 시간-도메인(Time-Domain) 상의 특징들(features)을 정규화하여 DB에 저장하면, 저장되는 데이터의 크기를 줄일 수 있다. 예를 들어, 긴 직선과 짧은 직선은 먼저 직선에 해당하는 특징을 인식한 후, 다음에 길이 정보를 이용하여 상대적인 길이를 측정할 수 있다.
해당 신호의 주파수 도메인 상의 특징들은 푸리에 변환, 스펙트럼 분석 등을 통해 파악될 수 있다.
< 2. 표면 음향 신호가 전달되는 매질의 종류 추정>
매질의 종류 추정은 표면 음향 신호로부터 추출된 특징을 패턴 모델과 비교하는 과정이다. 사용자가 표면음향신호를 생성할 때 사용하는 입력 매질은 단일 매질(예를 들어, 유리)과 복합 매질(예를 들어, 책상)로 구분될 수 있다. 표면음향신호의 형태 변화는 센서의 종류뿐만 아니라, 매질의 면의 요철 정도에 따라 매우 클 수 있다. 매질의 종류 추정은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 표면 음향 신호의 특징 추출은 패턴 인식부(220)에 의하여 수행된다고 가정한다.
패턴 인식부(220)는 테스트 신호를 이용하여 상기 매질의 종류를 판단하고, 상기 매질의 종류를 고려하여 상기 표면 음향 신호의 패턴을 인식할 수 있다. 예를 들어, 매질의 종류는 다음 3개의 과정을 통해 추정될 수 있다.
1. 테스트 신호를 발생 시킨다.
2. 디바이스에 접촉된 매질을 통해 전파되는 표면 음향 신호를 획득한다.
3. 2에서 획득된 표면 음향 신호의 특징과 매칭되는 매질을 DB에서 찾는다.
테스트 신호는 디바이스에 내장된 스피커 또는 진동 발생 장치를 통해 발생될 수 있다. 이때, 테스트 신호는 짧은 주기를 갖는 일정한 신호 레벨의 음향 신호 또는 진동일 수 있다. 테스트 신호에 대응하는 표면 음향 신호는 디바이스에 내장된 마이크 및 압전 센서를 이용하여 획득될 수 있다.
패턴 인식부(220)는 2에서 획득된 표면 음향 신호의 주파수의 분포 범위, 진폭, 전달속도 등을 산출하고, 산출된 정보를 DB에 저장된 모델과 비교함으로써, 디바이스에 접촉된 매질의 종류를 추정할 수 있다. 한편, 패턴 인식부(220)는 2에서 획득된 표면 음향 신호의 특징과 매칭되는 모델이 없는 경우, 가장 근접한 모델을 디바이스에 접촉된 매질로 판단할 수 있다.
매질의 종류 추정을 주기적으로 수행하는 경우, 실질적으로 실시간에 가까운 매질의 변화 추정이 가능하다.
< 3. 표면 음향 신호를 발생시킨 도구의 추정>
표면 음향 신호를 발생시킨 도구의 추정은 사용자의 입력 도구를 추정하는 것이다. 이때, 입력 도구는 손가락, 펜, 스타일러스, 기타 도구 중 어느 하나일 수 있다. 즉, 사용자는 손가락이나 스타일러스 등의 다양한 입력도구를 통해 디바이스를 조작할 수 있다. 입력 도구의 추정은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 입력 도구의 추정은 패턴 인식부(220)에 의하여 수행된다고 가정한다.
패턴 인식부(220)는 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고, 상기 표면 음향 신호의 발생 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식할 수 있다.
신호의 주파수 특성은 다양한 방식을 통해 추출할 수 있다. 예를 들어, 주파수 특성은 해당 신호를 이산 푸리에 변환(DFT)함으로써 추출될 수 있다. 또한, 신호의 주파수 특성은 해당 신호의 'Total Power Spectrum', '서브밴드 파워', '중심 주파수', '대역폭', '스펙트럼 플럭스' 등을 이용하여 추출될 수 있다. 입력 도구별 주파수 특성은 기계적인 학습을 통해 DB에 저장될 수 있다.
입력 도구별 주파수-도메인 특성의 다양한 예들은 도 7을 통해 상세히 설명하기로 한다.
<4. 사용자의 입력 신호 식별>
사용자의 입력 신호 식별은 사용자의 의도 또는 사용자의 제스처를 구분하는 것이다. 사용자의 입력 신호는 단순한 드래깅, 문자 입력, 탭(tap, 매질을 가볍게 두드리는 것), 특정 터치 이벤트 등이 있다. 사용자의 입력 신호를 식별함으로써 디바이스는 다양한 기능을 수행할 수 있다.
예를 들어, 사용자가 디바이스에 접촉되어 있는 외부 매질의 표면을 왼쪽에서 오른쪽으로 드래깅하면, 디바이스의 특정 기능이 실행되도록 설정될 수도 있다. 이때, 드래깅의 방향은 표면 음향 신호의 진행 방향을 추정함으로써 식별될 수 있다. 표면 음향 신호의 진행 방향 추정은 하나의 음향 센서 또는 복수의 음향 센서를 통해 식별될 수 있다. 즉, 표면 음향 신호의 패턴은 표면 음향 신호의 진행 방향에 대한 정보를 포함할 수 있다. 사용자 입력 식별부(230)는 표면 음향 신호의 진행 방향에 대한 정보에 기초하여 상기 사용자의 입력 신호를 식별할 수 있다.
예를 들어, 사용자가 디바이스에 접촉되어 있는 외부 매질의 표면에서 문자를 입력하는 경우, 문자는 "최소 의미 단위"를 통해 식별될 수도 있다.
도 3은 도 1 및 도 2에서 표면 음향 신호 획득부(210)의 구성 예를 나타낸 도면이다.
도 3을 참조하면, 표면 음향 신호 획득부(210)는 도 3에 도시된 바와 같이 매질 접촉부(311) 및 음향 센서(313)를 포함하여 구성될 수 있다.
매질 접촉부(311)는 물체(110)에 접촉되어 표면 음향 신호를 수신한다. 매질 접촉부(311)는 물체(110)에 밀착될 수 있는 다양한 재질로 구성될 수 있다.
음향 센서(313)는 표면 음향 신호를 디지털 신호로 변환한다. 음향 센서(313)의 종류로는, 콘덴서형 마이크로폰, 일렉트로닉형 마이크로폰, 압전형 센서 및 초음파 센서가 있다. 콘덴서형 마이크로폰과 일렉트로닉형 마이크로폰은 소음센서로서, 공기와 같은 매질을 통해 전달되는 음향의 압력에 따른 정도를 전기적인 신호로 변환하는 센서이다. 압전형(piezo-electronic) 센서는 진동센서로서, 사람이나 물체 등에 의해 생기는 진동에서 얻어진 압력을 전기적인 신호로 변환하는 센서이다. 초음파(ultrasonic) 센서는 사람의 귀로는 들을 수 없는 초음파를 센싱하여 음향신호의 거리나 위치를 판별하는 센서이다.
도 4는 다른 실시 예에 따른 유저 인터페이스 제공 장치의 구성을 나타낸다.
도 4를 참조하면, 유저 인터페이스 제공 장치(400)는 표면 음향 신호 획득부(410), 음향신호 처리부(420), 특징 추출부(430), 데이터 베이스(DB: Database)(440), 패턴 판단부(450), 시간신호 산출부(460) 및 사용자 입력 식별부(470)를 포함할 수 있다.
표면 음향 신호 획득부(410)는 도 2의 표면 음향 신호 획득부(210)와 동일한 기능을 수행한다.
음향신호 처리부(420)는 표면음향신호의 잡음을 제거한 후, 잡음이 제거된 표면음향신호의 파형을 단순화할 수 있다. 음향신호 처리부(420)는 증폭기(421), 필터(423) 및 단순화부(425)를 포함할 수 있다. 증폭기(421)는 획득된 표면음향신호를 증폭한다. 필터(423)는 증폭된 표면음향신호를 특정 주파수 대역 별로 선별적으로 필터링하여 증폭된 표면음향신호에 추가된 잡음을 제거한다. 예를 들어, 필터(423)는 표면음향신호의 최대 주파수 크기(예를 들어, 3KHz) 이상의 신호는 잡음으로 간주하고 잡음을 제거할 수 있다. 단순화부(425)는 잡음이 제거된 표면음향신호를 실시간으로 보다 많이 처리되도록 하기 위해 단순화할 수 있다. 도 5의 (a)에 도시된 신호는 필터(423)로부터 출력되는 표면음향신호이며, (b)에 도시된 신호는 단순화된 표면음향신호의 일 예를 보여준다. 도 5에서 '진폭'은 신호의 강약 또는 높낮이를 나타내며, 't'는 시간이다. 단순화부(435)는 신호의 높낮이를 판단하여 신호를 단순화할 수 있다.
음향신호 처리부(420)는 단순화된 표면음향신호를 특징 추출부(430)로 출력하고, 표면 음향 신호 획득부(410)의 각 센서에서 획득되는 표면음향신호를 시간신호 산출부(460)로 출력할 수 있다.
특징 추출부(430)는 "1. 표면 음향 신호의 특징 추출"을 수행할 수 있다. 즉, 특징 추출부(430)는 도 2에 도시된 특징 추출부(221)와 동일한 기능을 수행할 수 있다.
데이터 베이스(DB: Database)(440) 표면 음향 신호의 패턴 인식 및 사용자의 입력 신호 식별에 필요한 모든 패턴 모델을 저장하고 있다. 예를 들어, "1. 표면 음향 신호의 특징 추출"에서 기술된, '최소 의미 단위의 패턴 모델' 및 '기계적인 학습 모델 M'은 DB(440)에 저장될 수 있다. 이때, DB(440)에 저장되는 패턴 모델은 입력 도구별로 구분되어 저장될 수 있다. 또한, DB(440)에 저장되는 패턴 모델은 매질의 종류별로 구분되어 저장될 수 있다. 따라서, 특징 추출부(430)는 입력 도구 추정-입력 매질 추정-특징 추출의 순서로 동작할 수 있다. 마찬가지로 특징 추출부(430)는 입력 매질 추정-입력 도구 추정-특징 추출의 순서로 동작할 수도 있다.
표 1은 데이터 베이스(DB: Database)(440)에 저장된 패턴 모델의 룩업테이블의 예를 나타낸다.
[표 1]
Figure 112010055676767-pat00003
표 2는 식별된 사용자의 입력 신호에 대응하는 디바이스의 해당 기능에 대한 룩업테이블의 예를 나타낸다.
[표 2]
Figure 112010055676767-pat00004
패턴 판단부(450)는 도 2의 패턴 분석부(223)와 유사한 기능을 수행할 수 있다. 또한, 패턴 판단부(450)는 "2. 표면 음향 신호가 전달되는 매질의 종류 추정" 및 "3. 표면 음향 신호를 발생시킨 도구의 추정"을 수행할 수 있다.
시간신호 산출부(460)는 표면 음향 신호 획득부(410)가 적어도 두 개 이상의 센서를 포함하는 경우, 표면음향신호가 각각의 센서에 도달하는 시간차를 산출할 수 있다. 시간신호 산출부(460)에서 산출되는 시간차는 표면음향신호의 진행 방향을 탐색하는데 사용될 수 있다.
사용자 입력 식별부(470)는 도 2의 사용자 입력 식별부(230)와 동일한 기능을 수행할 수 있다.
도 5는 도4의 필터(423) 및 단순화부(425)에서 출력되는 신호의 예를 나타낸 도면이다.
도 5의 (a)에 도시된 신호는 필터(423)로부터 출력되는 표면음향신호이며, (b)에 도시된 신호는 단순화된 표면음향신호의 일 예를 보여준다. 도 5에서 '진폭'은 신호의 강약 또는 높낮이를 나타내며, 't'는 시간이다. 단순화부(435)는 신호의 높낮이를 판단하여 신호를 단순화할 수 있다.
도 6은 "최소 단위 의미"들에 대한 예를 나타낸다.
도 6에 도시된 최소 단위 의미들은 표면 음향 신호의 패턴을 인식하거나, 사용자의 입력 신호를 식별하는데 사용될 수 있다. 예를 들어, 도 2의 패턴 인식부(220)는 표면 음향 신호로부터 최소 단위 의미를 구분하고, 사용자 입력 식별부(230)는 최소 단위 의미들을 조합하여 사용자의 입력 신호를 식별할 수 있다. 사용자가 매질 표면에 '
Figure 112010055676767-pat00005
'와 '
Figure 112010055676767-pat00006
'를 순서대로 입력한 경우, 사용자 입력 식별부(230)는 사용자의 입력 신호가 'M'임을 식별할 수 있다.
도 7은 입력 도구에 따른 표면 음향 신호의 주파수 특성을 예시한 도면이다.
입력 도구는 종류의 특성에 따라서 신호 파형의 크기, 에너지, 주파수 분포 등이 달라진다.
도 7에서 (a)는 사용자가 펜(pen)을 이용하여 매질의 표면에 동그라미를 그린 경우의 주파수 특성을 나타낸다. 도 7에서 (b)는 사용자가 손가락을 이용하여 매질의 표면에 동그라미를 그린 경우의 주파수 특성을 나타낸다. 도 7에서 (c)는 손가락을 이용하여 직선을 그린 경우의 주파수 특성이다. (d)는 펜을 이용하여 직선을 그린 경우의 주파수 특성이다. 도 7의 예에서, 매질은 고정되어 있다고 가정한다.
도 8은 사용자의 입력 신호가 문자인 경우 사용자의 입력 신호를 식별하는 예를 설명하기 위한 도면이다.
도 8을 참조하면, 'A'는 긴 직선 두 개(801, 803)가 입력된 후 긴 직선에 비해 상대적으로 짧은 직선 한 개(805)가 입력되는 순서로 표현되며, 'H'는 긴 직선(807), 짧은 직선(809), 긴 직선(811)의 순서로 입력된다. 이러한 최소의미단위(직선)가 입력되는 순서를 나타내는 패턴이 문자를 식별하는데 사용될 수 있다. 사용자가 'F'를 입력한 경우, 사용자 입력 식별부(230, 470)는 직선들(813, 815, 817)의 길이 및 순서를 조합하여 사용자의 입력 신호를 식별할 수 있다.
도 9 및 도 10은 각각 직선에 대응하는 표면 음향 신호의 파형의 예를 나타낸다.
도 9는 직선이 음향 센서의 가까운 곳에서 시작되어 먼 곳에서 종료된 경우이다. 즉, 도 9는 표면 음향 신호의 진행 방향이 음향 센서를 기준으로 멀어지는 경우이다. 본 명세서에서, '표면 음향 신호의 진행 방향'은 직선의 진행 방향과 동일한 의미로 사용하기로 한다.
도 10은 직선이 음향 센서의 먼 곳에서 시작되어 가까운 곳에서 종료된 경우이다. 즉, 도 10은 표면 음향 신호의 진행 방향이 음향 센서를 기준으로 가까워지는 경우이다.
도 9 및 도 10을 참조하면, 직선의 진행 방향에 따라서 표면 음향 신호의 파형은 서로 대칭적인 형태를 가질 수 있다. 따라서, 유저 인터페이스 제공 장치에 하나의 음향 센서가 구비된 경우, 파형의 상대적인 형태를 통해 표면 음향 신호의 진행 방향을 식별할 수 있다. 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우, 보다 정확하게 표면 음향 신호의 진행 방향을 추정할 수 있다.
도 11은 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우 획득되는 표면음향신호의 일 예를 도시한 도면이다.
도 11을 참조하면, a 위치에서 손가락으로 소리를 냈을 경우, 각 센서(1110, 1120, 1130, 1140)에 수신되는 표면 음향 신호의 도달 시점이 다르다. 각 센서(1110~1140)는 표면 음향 신호 획득부(410)에 구비되는 마이크로폰일 수 있다. 시간신호 산출부(460)는 복수의 센서(1110~1140)를 이용하여 표면음향신호의 위치를 추정할 수 있다. 시간신호 산출부(460)는 복수의 센서(1110~1140) 간의 도착지연시간을 계산하여 후보 위치 구간을 파악한 후, 후보 위치에 대해서만 위치탐색을 할 수 있다. 후보 위치 구간은 표면음향신호가 발생한 위치이다.
또는, 계산 량을 최소화하기 위하여, 시간신호 산출부(460)는 하단 오른쪽의 센서(1120)가 가장 먼저 표면음향신호를 센싱하였음을 사용자 입력 신호 식별부(470)에게 알려줄 수 있다. 도 11에서, 하단 오른쪽의 센서(1120)에 의해 검출된 표면음향신호의 피크(peak)가 가장 먼저 검출되었으므로, 시간신호 산출부(460)는 센서(1120)가 표면음향신호를 가장 먼저 획득한 것으로 판단할 수 있다.
사용자 입력 신호 식별부(470)는 순차적으로 판단되는 패턴 또는 최소의미단위를 조합하여 사용자 입력 신호를 식별할 수 있다. 또한, 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 산출된 시간차를 이용하여 표면 음향 신호의 진행 방향을 판단할 수 있다.
한편, 센서가 2개 구비되어 2채널이 형성된 경우, 사용자 입력 신호 식별부(470)는 표면음향신호가 우측 또는 좌측에서 발생하였는지를 판단할 수 있다. 예를 들어, 센서가 우측과 좌측에 구비된 경우, 우측 센서에서 획득된 표면음향신호의 진폭(즉, 소리의 크기)은 점점 작아지고, 좌측 센서에서 획득된 표면음향신호의 진폭은 점점 커지면, 사용자 입력 신호 식별부(470)는 사용자가 우측에서 좌측 방향으로 드래깅한 것으로 판단할 수 있다.
한편, 센서가 4개 구비되어 4채널이 형성된 경우, 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 산출된 시간신호를 이용하여 패턴(또는 최소의미단위)의 방향을 판단한다. 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 입력되는 시간차 정보를 이용하여 표면음향신호의 진행 방향과, 2차원 좌표를 판단할 수 있다. 예를 들어, 사용자 입력 신호 식별부(470)는 도 11의 센서(1110)의 위치를 기준 좌표 (0,0)으로 정하고, 표면음향신호의 발생 위치에 대한 2차원 좌표와 방향을 판별할 수 있다.
또는, 4채널의 경우, 사용자 입력 신호 식별부(470)는 가장 먼저 표면음향신호를 센싱한 센서의 위치를 이용하여 표면음향신호의 진행 방향을 판단할 수 있다. 예를 들어, 사용자 입력 신호 식별부(470)는 도 11의 센서(1120)의 위치를 동서남북으로 표시하여, 표면음향신호의 진행 방향을 판단할 수 있다.
도 12는 디바이스의 케이스를 예시한 도면이다. 케이스는 플라스틱, 금속, 종이 등의 재질로 만들어질 수 있다. 센서(s)와 유저 인터페이스 제공 장치(200, 400)는 케이스의 내부에 부착되며, 사용자는 케이스의 외부 표면에 터치 이벤트를 발생시킴으로써, 표면음향신호를 발생시킬 수 있다.
도 13은 일 실시 예에 따른 디바이스의 유저 인터페이스 제공 방법을 나타낸다.
도 13을 참조하면, 1310단계에서 유저 인터페이스 제공 장치는 표면 음향 신호를 획득한다.
1320 단계에서 유저 인터페이스 제공 장치는 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출한다. 즉, 유저 인터페이스 제공 장치는 "1. 표면 음향 신호의 특징 추출"을 수행한다. 이때, 상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함한다.
1330 단계에서 유저 인터페이스 제공 장치는 상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석한다. 1330 단계는 도 14의 구체적인 단계를 포함할 수 있다. 즉, 유저 인터페이스 제공 장치는 먼저 테스트 신호를 이용하여 상기 매질의 종류를 판단하고(1431), 상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고(1433), 상기 매질의 종류 및 상기 표면 음향 신호를 발생시킨 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식(1435)할 수 있다.
1340 단계에서 유저 인터페이스 제공 장치는 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다. 즉, 유저 인터페이스 제공 장치는 "4. 사용자의 입력 신호 식별"을 수행한다. 일 측면에 있어서, 1340단계는 상기 표면 음향 신호의 패턴에 매칭되는 최소 단위 의미를 구분하고, 상기 최소 단위 의미에 기초하여 상기 사용자의 입력 신호를 식별하는 과정을 포함할 수 있다. 또한, 다른 일 측면에 있어서, 1340 단계는 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는 과정을 포함할 수 있다.
도 15는 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 15를 참조하면, 1510 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시킨다. 여기서, '외부 입력 모드'는 예를 들어 도 1의 외부 물체(120)를 통해 디바이스(120)를 조작할 수 있는 모드를 의미한다. 디바이스는 외부 입력 모드가 실행되면 비활성 상태에 있는 음향 센서를 활성화 시킬 수도 있다. 외부 입력 모드의 실행은, 디바이스가 상기 디바이스의 외부 매질과 접촉되거나, 모드 전환에 대한 제어 신호에 의하여 트리거링될 수 있다.
1520 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 표면 음향 신호가 수신되는지를 판단한다.
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면, 1530 단계에서 유저 인터페이스 제공 장치는 상기 표면 음향 신호의 특징을 분석하여 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식한다.
1540 단계에서 유저 인터페이스 제공 장치는, 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다.
도 16은 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 16을 참조하면, 1610 단계에서 유저 인터페이스 제공 장치는, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시킨다. 한편, 1610 단계에서 유저 인터페이스 제공 장치는 테스트 신호를 발생시키고, 상기 디바이스의 외부 매질 상에서의 상기 테스트 신호의 특징을 분석하고, 상기 테스트 신호의 특징을 기 저장된 패턴 모델과 비교하여 상기 매질의 종류를 판단할 수 있다.
1620 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 표면 음향 신호가 수신되는지를 판단한다.
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면, 1630 단계에서 유저 인터페이스 제공 장치는 표면 음향 신호의 진행 방향을 판단한다. 예를 들어, 유저 인터페이스 제공 장치는 사용자의 드래깅 방향을 판단한다. 이때, 표면 음향 신호의 진행 방향은, '상기 표면 음향 신호의 파형의 모양', '제1 음향센서로 수신되는 제1 표면 음향 신호 및 제2 음향센서로 수신되는 제2 표면 음향 신호의 수신 시간차', '상기 제1 표면 음향 신호 및 상기 제2 표면 음향 신호의 크기 변화' 중 적어도 어느 하나에 의하여 판단될 수 있다.
1640 단계에서 유저 인터페이스 제공 장치는, 상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시킨다. 예를 들어, 디바이스의 설정에 따라서, 음악 또는 동영상을 재생하는 응용프로그램이 실행된 후, 특정 방향의 드래깅이 입력되면 음악 또는 동영상이 재생되는 것도 가능하다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 디바이스의 유저 인터페이스 제공 장치에 있어서,
    상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 표면 음향 신호 획득부;
    상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 패턴 인식부; 및
    상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 사용자 입력 식별부를 포함하고,
    상기 패턴 인식부는,
    테스트 신호를 이용하여 상기 매질의 종류를 판단하는
    유저 인터페이스 제공 장치.
  2. 제1항에 있어서,
    상기 디바이스 외부의 매질은 상기 디바이스와 접촉되는 물체를 통해 상기 사용자에게 제공되는,
    유저 인터페이스 제공 장치.
  3. 제2항에 있어서,
    상기 표면 음향 신호 획득부는,
    상기 물체에 접촉되어 상기 표면 음향 신호를 수신하는 매질 접촉부; 및
    상기 표면 음향 신호를 디지털 신호로 변환하는 음향 센서를 포함하는,
    유저 인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 디바이스 외부의 매질은 상기 디바이스의 외장 케이스를 통해 상기 사용자에게 제공되는,
    유저 인터페이스 제공 장치.
  5. 제1항에 있어서,
    상기 패턴 인식부는,
    상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 특징 추출부; 및
    상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 패턴 분석부를 포함하는,
    유저 인터페이스 제공 장치.
  6. 제5항에 있어서,
    상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함하는,
    유저 인터페이스 제공 장치.
  7. 제1항에 있어서,
    상기 패턴 인식부는,
    상기 매질의 종류를 고려하여 상기 표면 음향 신호의 패턴을 인식하는,
    유저 인터페이스 제공 장치.
  8. 제1항에 있어서,
    상기 패턴 인식부는,
    상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고, 상기 표면 음향 신호의 발생 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식하는,
    유저 인터페이스 제공 장치.
  9. 제1항에 있어서,
    상기 사용자 입력 식별부는,
    상기 표면 음향 신호의 패턴에 매칭되는 최소 단위 의미를 구분하고, 상기 최소 단위 의미에 기초하여 상기 사용자의 입력 신호를 식별하는,
    유저 인터페이스 제공 장치.
  10. 제1항에 있어서,
    상기 패턴 인식부로부터 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는,
    유저 인터페이스 제공 장치.
  11. 제1항에 있어서,
    상기 패턴은 상기 표면 음향 신호의 진행 방향에 대한 정보를 포함하고,
    상기 사용자 입력 식별부는 상기 표면 음향 신호의 진행 방향에 대한 정보에 기초하여 상기 사용자의 입력 신호를 식별하는,
    유저 인터페이스 제공 장치.
  12. 제1항에 있어서,
    매질의 종류 및 입력 도구의 종류에 따라 구분된 상기 표면 음향 신호의 패턴 모델을 저장하는 패턴 모델 저장부를 더 포함하는,
    유저 인터페이스 제공 장치.
  13. 제1항에 있어서,
    상기 사용자의 입력 신호는,
    상기 매질의 표면 상에서 입력되는 문자, 도형, 드래깅, 터치 이벤트 중 적어도 하나를 포함하는,
    유저 인터페이스 제공 장치.
  14. 디바이스의 유저 인터페이스 제공 방법에 있어서,
    상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 단계;
    상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 단계;
    상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 단계; 및
    상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함하고,
    상기 표면 음향 신호의 패턴을 분석하는 단계는,
    테스트 신호를 이용하여 상기 매질의 종류를 판단하는 단계
    를 포함하는
    유저 인터페이스 제공 방법.
  15. 제14항에 있어서,
    상기 표면 음향 신호의 패턴을 분석하는 단계는,
    상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하는 단계; 및
    상기 매질의 종류 및 상기 표면 음향 신호를 발생시킨 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식하는 단계를 더 포함하는,
    유저 인터페이스 제공 방법.
  16. 제14항에 있어서,
    상기 식별하는 단계는,
    복수의 패턴들을 순차적으로 수신하는 단계; 및
    상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는 단계를 포함하는,
    유저 인터페이스 제공 방법.
  17. 디바이스의 유저 인터페이스 제공 방법에 있어서,
    상기 디바이스 외부의 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계;
    상기 디바이스 외부의 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 단계; 및
    상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함하고,
    상기 표면 음향 신호의 패턴(pattern)을 인식하는 단계는,
    테스트 신호를 이용하여 상기 매질의 종류를 판단하는 단계
    를 포함하는
    유저 인터페이스 제공 방법.
  18. 제17항에 있어서,
    상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 진행 방향을 판단하는 단계; 및
    상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시키는 단계를 더 포함하는,
    유저 인터페이스 제공 방법.
  19. 제18항에 있어서,
    상기 표면 음향 신호의 진행 방향은,
    '상기 표면 음향 신호의 파형의 모양', '제1 음향센서로 수신되는 제1 표면 음향 신호 및 제2 음향센서로 수신되는 제2 표면 음향 신호의 수신 시간차', '상기 제1 표면 음향 신호 및 상기 제2 표면 음향 신호의 크기 변화' 중 적어도 어느 하나에 의하여 판단되는,
    유저 인터페이스 제공 방법.
  20. 유저 인터페이스를 구비한 디바이스에 있어서,
    상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 센서; 및
    상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    테스트 신호를 이용하여 상기 매질의 종류를 판단하는
    유저 인터페이스를 구비한 디바이스.
KR1020100083609A 2010-02-02 2010-08-27 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 KR101678549B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020100083609A KR101678549B1 (ko) 2010-02-02 2010-08-27 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
CN201180008099.4A CN102741919B (zh) 2010-02-02 2011-02-01 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置
JP2012551100A JP5789270B2 (ja) 2010-02-02 2011-02-01 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
EP11739990.7A EP2532000B1 (en) 2010-02-02 2011-02-01 Method and apparatus for providing user interface using acoustic signal, and device including user interface
PCT/KR2011/000680 WO2011096694A2 (en) 2010-02-02 2011-02-01 Method and apparatus for providing user interface using acoustic signal, and device including user interface
EP12182555.8A EP2544077B1 (en) 2010-02-02 2011-02-01 Method and apparatus for providing user interface using acoustic signal, and device including user interface
US13/019,566 US9857920B2 (en) 2010-02-02 2011-02-02 Method and apparatus for providing user interface using acoustic signal, and device including user interface

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100009545 2010-02-02
KR20100009545 2010-02-02
KR1020100083609A KR101678549B1 (ko) 2010-02-02 2010-08-27 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스

Publications (2)

Publication Number Publication Date
KR20110090739A KR20110090739A (ko) 2011-08-10
KR101678549B1 true KR101678549B1 (ko) 2016-11-23

Family

ID=44342706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083609A KR101678549B1 (ko) 2010-02-02 2010-08-27 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스

Country Status (6)

Country Link
US (1) US9857920B2 (ko)
EP (2) EP2532000B1 (ko)
JP (1) JP5789270B2 (ko)
KR (1) KR101678549B1 (ko)
CN (1) CN102741919B (ko)
WO (1) WO2011096694A2 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US9189109B2 (en) 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
WO2013059488A1 (en) 2011-10-18 2013-04-25 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
KR101803261B1 (ko) 2011-11-18 2017-11-30 센톤스 아이엔씨. 터치 입력 힘 검출
US11262253B2 (en) 2017-08-14 2022-03-01 Sentons Inc. Touch input detection using a piezoresistive sensor
US10235004B1 (en) 2011-11-18 2019-03-19 Sentons Inc. Touch input detector with an integrated antenna
EP2780782B1 (en) 2011-11-18 2020-05-13 Sentons Inc. Localized haptic feedback
WO2013136133A1 (en) 2012-03-15 2013-09-19 Nokia Corporation A tactile apparatus link
US9348468B2 (en) 2013-06-07 2016-05-24 Sentons Inc. Detecting multi-touch inputs
US9078066B2 (en) * 2012-07-18 2015-07-07 Sentons Inc. Touch input surface speaker
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR101371749B1 (ko) 2012-11-09 2014-03-07 현대자동차(주) 차량 제어 장치
US9430098B2 (en) * 2012-12-17 2016-08-30 Apple Inc. Frequency sensing and magnification of portable device output
US9134856B2 (en) 2013-01-08 2015-09-15 Sony Corporation Apparatus and method for controlling a user interface of a device based on vibratory signals
KR20140113119A (ko) * 2013-03-15 2014-09-24 엘지전자 주식회사 전자 기기 및 그 제어방법
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US10114486B2 (en) * 2013-09-19 2018-10-30 Change Healthcare Holdings, Llc Method and apparatus for providing touch input via a touch sensitive surface utilizing a support object
US9459715B1 (en) 2013-09-20 2016-10-04 Sentons Inc. Using spectral control in detecting touch input
KR101509947B1 (ko) * 2013-10-23 2015-04-07 현대자동차주식회사 리어 램프 점검 장치, 방법 및 시스템
US20150242036A1 (en) * 2014-02-21 2015-08-27 Amin Heidari System and method for detecting taps on a surface or on a device
JP6281745B2 (ja) * 2014-03-06 2018-02-21 カシオ計算機株式会社 摺動操作検出装置、電子機器及びプログラム
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US9864453B2 (en) * 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
KR20160045545A (ko) * 2014-10-17 2016-04-27 엘지전자 주식회사 냉장고
KR102306537B1 (ko) * 2014-12-04 2021-09-29 삼성전자주식회사 소리 신호를 처리하는 방법 및 디바이스.
CN105828265A (zh) * 2015-01-10 2016-08-03 深圳富泰宏精密工业有限公司 配件侦测系统及方法
JP6543055B2 (ja) * 2015-03-17 2019-07-10 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
WO2016148120A1 (ja) 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
JP6543054B2 (ja) * 2015-03-17 2019-07-10 株式会社メガチップス 情報受付装置、プログラムおよび情報入力方法
US10592817B2 (en) * 2015-07-13 2020-03-17 International Business Machines Corporation Parameter-dependent model-blending with multi-expert based machine learning and proxy sites
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
KR101892794B1 (ko) * 2015-08-25 2018-08-28 엘지전자 주식회사 냉장고
US10048811B2 (en) 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
KR101862564B1 (ko) 2016-01-05 2018-05-30 엘지전자 주식회사 냉장고
EP3308250A1 (en) * 2016-04-27 2018-04-18 Mogees Limited Method to recognize a gesture and corresponding device
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US20180239435A1 (en) * 2017-02-22 2018-08-23 International Business Machines Corporation Smart devices having recognition features
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
FR3066841B1 (fr) * 2017-05-29 2020-07-10 Hap2U Procede de commande d'un dispositif nomade
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
CN113220167B (zh) * 2021-05-19 2024-03-12 京东方科技集团股份有限公司 显示模组及超声波触控检测方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4718102A (en) * 1983-01-19 1988-01-05 Communication Intelligence Corporation Process and apparatus involving pattern recognition
US4772764A (en) * 1983-12-01 1988-09-20 Xecutek Corporation Soundwave position digitizer
US4654648A (en) * 1984-12-17 1987-03-31 Herrington Richard A Wireless cursor control system
DE68928987T2 (de) * 1989-10-02 1999-11-11 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit einer Berührungsanzeige und einem Digitalisiertablett, beide integriert in einer Eingabevorrichtung
JP2535626B2 (ja) * 1989-10-27 1996-09-18 キヤノン株式会社 座標入力装置
JP2592972B2 (ja) * 1989-12-25 1997-03-19 キヤノン株式会社 座標入力装置
US6366697B1 (en) * 1993-10-06 2002-04-02 Xerox Corporation Rotationally desensitized unistroke handwriting recognition
JP3230552B2 (ja) * 1993-12-03 2001-11-19 キヤノン株式会社 圧電センサ及びそれを使用した座標入力装置
JP3385094B2 (ja) 1994-05-23 2003-03-10 松下電器産業株式会社 携帯型情報端末
JP3007933B2 (ja) * 1994-12-15 2000-02-14 富士通株式会社 超音波座標入力装置
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
EP0827105A3 (de) * 1996-08-29 2000-10-25 Siemens Aktiengesellschaft Mit akustischen Oberflächenwellen arbeitende Identifizierungs- oder Sensoranordnung - OFW-Anordnung
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6313825B1 (en) * 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US20030132921A1 (en) * 1999-11-04 2003-07-17 Torunoglu Ilhami Hasan Portable sensory input device
DE60015383D1 (de) * 1999-12-08 2004-12-02 Ericsson Telefon Ab L M Tragbare Kommunikationsvorrichtung und Verfahren
US7157649B2 (en) * 1999-12-23 2007-01-02 New Transducers Limited Contact sensitive device
WO2001052372A1 (en) * 2000-01-12 2001-07-19 Xtera Communications, Inc. Raman amplifier with bi-directional pumping
US6703570B1 (en) * 2000-05-10 2004-03-09 International Business Machines Corporation Digital pen using ultrasonic tracking
EP1316055A4 (en) * 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
FR2811107B1 (fr) * 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
US20040047505A1 (en) * 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
ATE373262T1 (de) * 2002-02-06 2007-09-15 Soundtouch Ltd Berührungs-pad
US7643015B2 (en) * 2002-05-24 2010-01-05 Massachusetts Institute Of Technology Systems and methods for tracking impacts
FR2841022B1 (fr) * 2002-06-12 2004-08-27 Centre Nat Rech Scient Procede pour localiser un impact sur une surface et dispositif pour la mise en oeuvre de ce procede
US7256773B2 (en) * 2003-06-09 2007-08-14 Microsoft Corporation Detection of a dwell gesture by examining parameters associated with pen motion
JP2005018611A (ja) * 2003-06-27 2005-01-20 Yamatake Corp コマンド入力装置及びコマンド入力方法
US7176902B2 (en) * 2003-10-10 2007-02-13 3M Innovative Properties Company Wake-on-touch for vibration sensing touch input devices
US7852318B2 (en) * 2004-05-17 2010-12-14 Epos Development Ltd. Acoustic robust synchronization signaling for acoustic positioning system
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method
US7551779B2 (en) * 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
WO2006131022A1 (en) * 2005-06-07 2006-12-14 Intel Corporation Ultrasonic tracking
US7353709B2 (en) * 2005-07-06 2008-04-08 National Research Council Of Canada Method and system for determining material properties using ultrasonic attenuation
US7961903B2 (en) * 2006-01-25 2011-06-14 Microsoft Corporation Handwriting style data input via keys
JP2007336513A (ja) 2006-05-15 2007-12-27 Seiko Epson Corp 叩きコマンド処理システム、及び、携帯機器の操作システム、並びに、携帯機器
JP4680129B2 (ja) 2006-05-22 2011-05-11 富士通株式会社 携帯端末装置及びその操作方法
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8077163B2 (en) 2006-08-24 2011-12-13 Qualcomm Incorporated Mobile device with acoustically-driven text input and method thereof
EP2082314A2 (en) * 2006-10-18 2009-07-29 Koninklijke Philips Electronics N.V. Electronic system control using surface interaction
CN101308434B (zh) * 2007-05-15 2011-06-22 宏达国际电子股份有限公司 使用者界面的操作方法
CN101689355A (zh) * 2007-06-15 2010-03-31 路迪亚公司 大平板显示器中的交互性
ATE545083T1 (de) * 2007-12-21 2012-02-15 Tyco Electronics Services Gmbh Verfahren zur bestimmung der positionen mindestens zweier einschläge
US8625846B2 (en) * 2008-03-18 2014-01-07 Elliptic Laboratories As Object and movement detection
US8619055B2 (en) * 2008-04-14 2013-12-31 Microsoft Corporation Active matrix touch sensing
TWI374391B (en) * 2008-05-27 2012-10-11 Ind Tech Res Inst Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US8441790B2 (en) * 2009-08-17 2013-05-14 Apple Inc. Electronic device housing as acoustic input device
JP5613248B2 (ja) * 2009-10-09 2014-10-22 禾瑞亞科技股▲ふん▼有限公司Ｅｇａｌａｘ Ｅｍｐｉａ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ． デュアル差動感知装置及びその方法
KR101654008B1 (ko) * 2009-10-09 2016-09-09 삼성전자주식회사 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
US8624878B2 (en) * 2010-01-20 2014-01-07 Apple Inc. Piezo-based acoustic and capacitive detection
US8749531B2 (en) * 2010-03-31 2014-06-10 Blackberry Limited Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US9465985B2 (en) * 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition

Also Published As

Publication number Publication date
US9857920B2 (en) 2018-01-02
JP2013519132A (ja) 2013-05-23
KR20110090739A (ko) 2011-08-10
EP2532000B1 (en) 2017-04-26
WO2011096694A3 (en) 2011-11-10
CN102741919A (zh) 2012-10-17
WO2011096694A2 (en) 2011-08-11
US20110191680A1 (en) 2011-08-04
EP2544077B1 (en) 2018-05-16
EP2532000A4 (en) 2013-10-16
EP2544077A1 (en) 2013-01-09
CN102741919B (zh) 2014-12-10
JP5789270B2 (ja) 2015-10-07
EP2532000A2 (en) 2012-12-12

Similar Documents

Publication Publication Date Title
KR101678549B1 (ko) 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
CN102890557B (zh) 用于响应于麦克风输出的触摸手势检测的方法和系统
US10860132B2 (en) Identifying a contact type
KR101932210B1 (ko) 터치 신호에 의하여 이동 단말기의 조작을 실현하는 방법, 시스템 및 이동 단말기
CN106708254B (zh) 检测器
US11175698B2 (en) Methods and systems for processing touch inputs based on touch type and touch intensity
CN105426713B (zh) 用于基于触摸事件分析来区分触摸屏使用者的方法和装置
TWI482070B (zh) 偵測一持續接觸的方法及對應裝置
US9524063B2 (en) Detection of a number of touch contacts of a multi-touch input
CN109256146B (zh) 音频检测方法、装置及存储介质
US20120120014A1 (en) Method and device for locating at least one touch on a touch-sensitive surface of an object
KR101654008B1 (ko) 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
KR20090127544A (ko) 터치 센서와 가속도 센서를 이용한 사용자의 터치패턴 인식시스템
Hwang et al. PseudoButton: Enabling pressure-sensitive interaction by repurposing microphone on mobile device
KR101553484B1 (ko) 손동작 인식 장치 및 그 방법
CN107340864A (zh) 一种基于声波的虚拟输入方法
Pätzold et al. Audio-based roughness sensing and tactile feedback for haptic perception in telepresence
CN110321020B (zh) 一种压电传感器信号噪声去除方法及装置
TWI500024B (zh) Sound wave identification system and its method
JP2014099073A (ja) 電子機器、その制御方法及びプログラム
TWI472992B (zh) 運用於電子產品的聲學式觸控裝置及其觸控方法
TWI716029B (zh) 隨選聲音片段偵測方法
KR20130123207A (ko) 모바일 기기의 진동을 이용한 물체 판별 방법 및 장치
WO2013009264A1 (en) A method of estimating time difference of arrival
TR201905862A2 (tr) Bir dokunma tespit usulü.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant