KR20110090739A - 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 - Google Patents
표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 Download PDFInfo
- Publication number
- KR20110090739A KR20110090739A KR1020100083609A KR20100083609A KR20110090739A KR 20110090739 A KR20110090739 A KR 20110090739A KR 1020100083609 A KR1020100083609 A KR 1020100083609A KR 20100083609 A KR20100083609 A KR 20100083609A KR 20110090739 A KR20110090739 A KR 20110090739A
- Authority
- KR
- South Korea
- Prior art keywords
- surface acoustic
- acoustic signal
- signal
- user interface
- pattern
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003909 pattern recognition Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000003570 air Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
- G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- General Health & Medical Sciences (AREA)
- Position Input By Displaying (AREA)
Abstract
표면 음향 신호를 이용한 유저 인터페이스의 제공에 관한 것이다.
일 측면에 있어서, 유저 인터페이스를 구비한 디바이스는 상기 디바이스의 외부에서 발생된 표면 음향 신호를 획득하는 센서 및 상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함한다.
일 측면에 있어서, 유저 인터페이스를 구비한 디바이스는 상기 디바이스의 외부에서 발생된 표면 음향 신호를 획득하는 센서 및 상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함한다.
Description
기술 분야는 표면 음향 신호를 이용한 유저 인터페이스의 제공에 관한 것이다.
전자기기(electronic device)의 기능을 조작하기 위한 유저 인터페이스 제공 장치로는 주로 조작 키, 버튼, 마우스 또는 터치 스크린 등을 중심으로 개발되어왔다. 기존의 유저 인터페이스 제공 장치들은 버튼이나 스크린과 같은 전자 회로로 구성되므로, 전자 회로가 장착되지 않은 곳은 인터페이스로 사용할 수 없는 입력 범위의 한계가 분명히 존재한다. 그리고, 평면이 아닌 굴곡진 곳이나 가구 혹은 벽과 같은 일반 사물에 인터페이스 장치를 내장하기 위해서는, 외부의 충격이나 오염에 강인한 특성을 가져야 하나, 이러한 유저 인터페이스 장치를 구현하는 것은 매우 어렵다.
한편, 기존의 유저 인터페이스 제공 장치는 전자기기의 특정 영역에 고정되어 동작한다. 따라서, 전자기기의 인터페이스, 즉, 입력 영역이 옷이나 가방 내부 등 손에 닿지 않는 곳에 있게 되면, 조작이 불편하며, 모바일 장치 등과 같이 전자기기 자체의 공간이 한정적인 경우에는 충분한 입력공간을 확보할 수 없다.
따라서, 인터페이스의 입력공간의 제약을 극복하며, 기존의 인터페이스로 사용 가능한 장치들보다 비용이 저렴한 인터페이싱 기술이 필요하다.
일 측면에 있어서, 디바이스의 유저 인터페이스 제공 장치는, 상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 표면 음향 신호 획득부와, 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 패턴 인식부 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 사용자 입력 식별부를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 표면 음향 신호를 획득하는 단계와, 상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 단계와, 상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 단계 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계;
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 단계 및 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함한다.
다른 일 측면에 있어서, 디바이스의 유저 인터페이스 제공 방법은, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계와, 상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 진행 방향을 판단하는 단계 및 상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시키는 단계를 포함한다.
다른 일 측면에 있어서, 전자 장치는 상기 전자 장치 외부에서 발생된 표면 음향 신호를 획득하는 센서 및 상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 인식하도록 구성된(configured) 적어도 하나의 프로세서를 포함한다.
인터페이스 제공 장치 및 방법에 의하면, 디바이스의 인터페이스의 확장이 가능하다. 즉, 문자, 도형, 드래깅, 터치 이벤트 등의 사용자 입력을 위한 공간은 터치 스크린, 키패널 등의 특정 입력공간에 제한되지 않는다. 따라서, 사용자는 디바이스 주변의 임의의 공간에서 디바이스를 조작할 수 있다.
표면 음향 신호를 발생 시키는 매질이 변경되는 경우에도, 정확하게 사용자의 입력 신호를 식별할 수 있는 인터페이스가 제공된다.
또한, 표면 음향 신호를 발생시킨 도구를 정확하게 구별함으로써, 사용자에게 편의성을 제공할 수 있다.
디바이스를 직접 터치하지 않는 경우에도 사용자의 의도를 식별할 수 있기 때문에, 디바이스 및 디바이스의 부속품의 수명이 늘어난다.
일 측면에 따르면, 표면음향신호에서 발생되는 스펙트럼 정보를 분석함으로써 입력도구 또는 입력매질을 판별하고, 판별된 입력도구 또는 입력매질 별로 상이한 기능을 부여하여 사용할 수 있다. 이는, 입력도구와 입력매질에 따라 발생하는 주파수 스펙트럼을 상이한 특징을 갖기 때문이다.
또한 다른 일측면에 따르면, 두 개 이상의 센서로부터 획득되는 표면음향신호의 시간정보를 이용하여 사용자의 입력 신호를 보다 정확하게 식별 할 수 있다.
도 1은 표면 음향 신호를 이용한 인터페이스의 확장 예를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 유저 인터페이스 제공 장치를 나타낸 도면이다.
도 3은 도 1 및 도 2에서 표면 음향 신호 획득부(210)의 구성 예를 나타낸 도면이다.
도 4는 다른 실시 예에 따른 유저 인터페이스 제공 장치의 구성을 나타낸다.
도 5는 도4의 필터(423) 및 단순화부(425)에서 출력되는 신호의 예를 나타낸 도면이다.
도 6은 "최소 단위 의미"들에 대한 예를 나타낸다.
도 7은 입력 도구에 따른 표면 음향 신호의 주파수 특성을 예시한 도면이다.
도 8은 사용자의 입력 신호가 문자인 경우 사용자의 입력 신호를 식별하는 예를 설명하기 위한 도면이다.
도 9 및 도 10은 각각 직선에 대응하는 표면 음향 신호의 파형의 예를 나타낸다.
도 11은 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우 획득되는 표면음향신호의 일 예를 도시한 도면이다.
도 12는 디바이스의 케이스를 예시한 도면이다.
도 13은 일 실시 예에 따른 디바이스의 유저 인터페이스 제공 방법을 나타낸다.
도 14는 표면 음향 신호의 패턴을 분석하는 과정의 예를 나타낸다.
도 15는 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 16은 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 2는 일 실시 예에 따른 유저 인터페이스 제공 장치를 나타낸 도면이다.
도 3은 도 1 및 도 2에서 표면 음향 신호 획득부(210)의 구성 예를 나타낸 도면이다.
도 4는 다른 실시 예에 따른 유저 인터페이스 제공 장치의 구성을 나타낸다.
도 5는 도4의 필터(423) 및 단순화부(425)에서 출력되는 신호의 예를 나타낸 도면이다.
도 6은 "최소 단위 의미"들에 대한 예를 나타낸다.
도 7은 입력 도구에 따른 표면 음향 신호의 주파수 특성을 예시한 도면이다.
도 8은 사용자의 입력 신호가 문자인 경우 사용자의 입력 신호를 식별하는 예를 설명하기 위한 도면이다.
도 9 및 도 10은 각각 직선에 대응하는 표면 음향 신호의 파형의 예를 나타낸다.
도 11은 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우 획득되는 표면음향신호의 일 예를 도시한 도면이다.
도 12는 디바이스의 케이스를 예시한 도면이다.
도 13은 일 실시 예에 따른 디바이스의 유저 인터페이스 제공 방법을 나타낸다.
도 14는 표면 음향 신호의 패턴을 분석하는 과정의 예를 나타낸다.
도 15는 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 16은 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 명세서에서, "디바이스"는 Potable Device, Electronic Device 등을 포괄하는 개념으로 사용된다. 또한, 유저 인터페이스 제공 장치는 디바이스에 포함되어 구성될 수 있다. 즉, 유저 인터페이스 제공 장치는 디바이스의 유저 인터페이스를 제공한다. 이때, 디바이스는 이동 단말, 태블릿 PC, 포터블 미디어 플레이어, 가전 제품 등, 사용자의 조작이 가능한 모든 디바이스를 포함한다.
도 1은 표면 음향 신호를 이용한 인터페이스의 확장 예를 설명하기 위한 도면이다.
도 1을 참조하면, 디바이스(120)는 특정 매질을 갖는 물체(110) 위에 놓여 있다. 이때, 물체(110)는 예를 들어, 테이블이나 책상일 수 있다. 물체(110)의 표면에서 사용자의 제스처(gesture)에 따라서 표면 음향 신호가 발생한다. 사용자의 제스처는 드래깅(dragging), 문자 입력 등의 다양한 터치 이벤트를 포함한다. 표면 음향 신호는 매질의 형태와 관계없이 전파되고, 공기, 유리, 금속, 나무 등의 모든 매질을 통해 전달되는 특성이 있다.
도 1의 예에서, 사용자의 제스처에 의해 발생된 표면 음향 신호는 디바이스(120)를 조작하기 위한 '사용자의 입력 신호'에 해당하고, 디바이스(120)는 사용자의 입력 신호에 대응하는 기능을 수행한다. 따라서, 디바이스(120)는 확장된 인터페이스를 통해 '사용자의 입력 신호'를 획득하는 기능 및 사용자의 입력 신호를 식별하는 기능을 구비한다. 사용자의 입력 신호를 식별함으로써, 디바이스(120)는 사용자의 의도를 정확하게 파악할 수 있다.
도 1의 예에서, 디바이스(120)은 표면 음향 신호를 획득하기 위한 센서 및 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 이때, 적어도 하나의 프로세서는 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성(configuring) 될 수 있다. 즉, 사용자의 제스처에 의해 발생된 표면 음향 신호는 디바이스(120)를 조작하기 위한 명령어, 문자의 입력, 기타 기능을 실행 시키기 위한 입력 신호로 사용될 수 있다.
도 2는 일 실시 예에 따른 유저 인터페이스 제공 장치를 나타낸 도면이다.
도 2에 도시된 디바이스의 유저 인터페이스 제공 장치(200)는 도 1의 디바이스(120)에 내장된 형태로 구성될 수 있다.
도 2를 참조하면, 유저 인터페이스 제공 장치(200)는 표면 음향 신호 획득부(210), 패턴 인식부(220) 및 사용자 입력 식별부(230)를 포함한다. 또한, 유저 인터페이스 제공 장치(200)는 패턴 모델 저장부(240)를 더 포함할 수 있다.
표면 음향 신호 획득부(210)는 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득한다. 이때, 디바이스 외부의 매질은 디바이스와 접촉되는 물체를 통해 사용자에게 제공되는 확장된 인터페이스에 해당한다. 또한, 디바이스 외부의 매질은 디바이스의 외장 케이스를 통해 상기 사용자에게 제공될 수 있다. 표면 음향 신호 획득부(210)는 적어도 하나의 음향 센서를 포함하여 구성될 수 있다.
패턴 인식부(220)는 표면 음향 신호의 특징을 분석하여 매질에 대응하는 표면 음향 신호의 패턴(pattern)을 인식한다. 패턴 인식부(220)는 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 특징 추출부(221) 및 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 표면 음향 신호의 패턴을 분석하는 패턴 분석부(223)를 포함할 수 있다. 또한, 패턴 인식부(220)는 잡음제거, 신호 증폭 및 신호의 단순화를 위한 표면 음향 신호 처리부(미 도시 함)를 더 포함할 수 있다. 상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함한다.
패턴 인식부(220)는 "표면 음향 신호의 특징 추출", "표면 음향 신호를 발생시킨 도구의 추정" 및 "표면 음향 신호가 전달되는 매질의 종류 추정"을 수행할 수 있다. 따라서, 패턴 인식부(220)는 입력도구 또는 입력 매질이 변경되는 경우에도, 표면 음향 신호의 패턴을 정확하게 인식할 수 있다.
사용자 입력 식별부(230)는 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다. 사용자 입력 식별부(230)는 표면 음향 신호의 패턴에 매칭되는 "최소 단위 의미"를 구분하고, 상기 "최소 단위 의미"에 기초하여 상기 사용자의 입력 신호를 식별할 수 있다. 또한, 사용자 입력 식별부(230)는 패턴 인식부(220)로부터 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별할 수 있다. 식별된 사용자의 입력 신호는 디바이스에 구비된 디스플레이 및 제어부로 제공될 수 있다. 사용자의 입력 신호가 문자인 경우, 사용자가 입력한 문자가 디스플레이 될 수 있다. 사용자의 입력 신호가 특정 기능의 실행에 해당하는 경우 제어부는 해당 기능을 실행시킬 수 있다.
패턴 모델 저장부(240)는 매질의 종류 및 입력 도구의 종류에 따라 구분된 표면 음향 신호의 패턴 모델을 저장한다. 즉, 패턴 모델 저장부(240)에는 다양한 매질들 각각의 표면 음향 신호의 패턴 모델 및 다양한 입력 도구들 각각의 특징 정보가 저장되어 있다.
이하, 유저 인터페이스 제공 장치(200)에 의해 수행되는 "표면 음향 신호의 특징 추출", "표면 음향 신호를 발생시킨 도구의 추정" 및 "표면 음향 신호가 전달되는 매질의 종류 추정"을 상세히 살펴 본다. 다음에, 유저 인터페이스 제공 장치(200)에 의해 수행되는 "사용자의 입력 신호 식별"을 상세히 살펴 본다.
<1. 표면 음향 신호의 특징 추출>
표면 음향 신호의 특징 추출은 표면음향신호의 패턴을 분석하는데 필요한 특징을 표면음향신호로부터 추출하는 것이다. 일 측면에 있어서, 표면 음향 신호의 특징 추출은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 표면 음향 신호의 특징 추출은 특징 추출부(221)에 의하여 수행된다고 가정한다.
표면 음향 신호의 특징은 특정 의미를 갖는 "최소 단위 의미"로 구분될 수 있다. 여기서, "최소 단위 의미"는 사용자의 입력 신호를 식별하는데 필요한 가장 기본적인 형태에 대한 정의이다. "최소 단위 의미"는 도 6에 도시된 바와 같이, 점, 원, 직선, 알파벳 등과 같이 최소한의 의미를 가지는 표면음향신호의 단위일 수 있다.
표면음향신호는 사용자가 손이나 펜 등의 물건을 사용하여 매질의 표면에 인위적으로 소리를 발생시키는 과정을 통해 획득될 수 있다. 표면 음향 신호의 특징을 추출하기 위하여, 문자와 같은 복잡한 모양의 소리를 분석하고, 표면음향신호에 대한 특징을 추출하여 표면음향신호를 최소의미단위로 분류하는 과정이 필요할 수 있다. 다양한 최소 의미 단위들 각각은 신호의 형태가 일정한 패턴을 가진다. 따라서, 특징 추출부(221)는 표면 음향 신호로부터 특징을 추출하고, 추출된 특징을 이용하여 최소 의미 단위를 분류할 수 있다.
일 측면에 있어서, 최소 의미 단위는 아래 5개의 과정을 통해 추출될 수 있다.
1. 획득된 표면 음향신호를 최소 의미 단위의 신호 S를 분리한다.
2. 최소 의미 단위의 신호 S를 N개의 프레임으로 분할한다.
3. N개의 프레임 각각의 특징 값 CN을 추출하고, CN을 저장한다.
4. 획득된 표면 음향신호 전체의 특징 값 CT를 추출하고, CT를 저장한다.
5. DB에 최소 의미 단위의 패턴 모델을 저장하는 경우, CN 및 CT를 이용한 기계적인 학습 모델 M을 생성하고, M을 DB에 저장한다.
상기 5개의 과정은 최소 의미 단위의 패턴 모델을 DB에 저장하는데 이용될 수도 있다. 즉, 최소 의미 단위의 패턴 모델은 매질의 종류 및 표면 음향 신호의 입력 도구 별로 구분되어 DB에 저장될 수 있다. 현재 입력되는 표면음향 신호로부터 추출된 특징을 DB에 저장된 '최소 의미 단위의 패턴 모델'과 비교함으로써 현재 입력되는 표면 음향 신호의 패턴이 인식될 수 있다.
상기 5개의 과정에서, "특징 값"이란 해당 신호의 시간-도메인(Time-Domain) 상의 특징들(features)을 시간적으로 정규화(Normalization)한 값일 수 있다. 또한, "특징 값"은 해당 신호의 주파수 도메인 상의 특징들일 수 있다. 시간 도메인 상의 특징들을 주파수 도메인 상의 특징들과 적절히 결합하고, 다양한 기계적인 학습(Machine Learning) 기법을 통해 '최소 의미 단위의 패턴 모델'을 생성할 수 있다. 이때, 시간 도메인 상의 특징은 진폭간의 표준 편차 및 기울기(wave slope), 진폭의 DR(Dynamic Range), 진폭의 분포, 제로 크로싱의 분포 및 변화량, 에너지 총량 및 에너지량 변화, 신호의 길이 등이 있다.
음향 신호는 신호 레벨의 강약이 존재하기 때문에 진폭의 변화가 존재한다. 샘플링 비율에 따라서, 표면 음향 신호로부터 이산적인 진폭 값들이 얻어 질 수 있다. 이산 적인 진폭 값들을 잇는 선분의 기울기를 구하면, 신호 레벨의 변화를 측정할 수 있다. 신호의 진폭의 변화는 매질 상에 입력되는 직선, 곡선, 꺽인 선 등의 식별을 위한 하나의 요소로 사용될 수 있다.
특징 추출부(221)는 해당 신호의 진폭의 분포를 통하여, 유사한 신호를 구분할 수 있다. 예를 들어, 동그라미에 대응하는 신호의 진폭의 분포는 일정한 값이 계속 유지되는 형태일 수 있다.
제로 크로싱의 분포는 신호의 부호가 변하는 지점이 몇 개인지를 의미한다. 즉, 하나의 프레임 내에서 신호의 레벨이 기준점인 0과 만나는 지점을 제로 크로싱으로 정의할 수 있다. 제로 크로싱의 분포는 해당 신호의 고주파 및 저주파의 비율을 나타낸다. 예를 들어, 시간의 길이가 N인 경우, 제로 크로싱 분포는 수학식 1과 같이 정의 될 수 있다.
[수학식 1]
특징 추출부(221)는 제로 크로싱의 분포, 제로 크로싱의 분포의 변화량의 추이 등을 이용하여 해당 신호의 고유한 특징을 추출할 수 있다.
특징 추출부(221)는 해당 신호가 갖는 에너지의 총량을 해당 신호의 특징으로 이용할 수 있다. 시간의 길이가 N인 경우, 시간 N 동안 나타난 이산 신호 X(i)의 에너지의 총량은 수학식 2와 같이 구할 수 있다.
[수학식 2]
또한, 특징 추출부(221)는 여러 개의 프레임들 각각의 에너지의 량을 해당 신호의 특징으로 이용할 수 있다.
특징 추출부(221)는 해당 신호의 길이를 이용하여 신호를 구별할 수도 있다. 신호의 길이의 단위는 시간을 사용할 수 있다. 예를 들어, 점과 원은 신호의 길이가 명확하게 차이가 난다. 즉, 특징 추출부(221)는 표면 음향 신호의 획득이 시작되는 시간과 표면 음향 신호의 획득이 종료되는 시간을 표면 음향 신호의 길이로 정할 수 있다.
신호의 시간-도메인(Time-Domain) 상의 특징들(features)은 기준 시간의 단위로 정규화되고, 정규화된 값은 DB에 저장될 수 있다. 신호의 시간-도메인(Time-Domain) 상의 특징들(features)을 정규화하여 DB에 저장하면, 저장되는 데이터의 크기를 줄일 수 있다. 예를 들어, 긴 직선과 짧은 직선은 먼저 직선에 해당하는 특징을 인식한 후, 다음에 길이 정보를 이용하여 상대적인 길이를 측정할 수 있다.
해당 신호의 주파수 도메인 상의 특징들은 푸리에 변환, 스펙트럼 분석 등을 통해 파악될 수 있다.
< 2. 표면 음향 신호가 전달되는 매질의 종류 추정>
매질의 종류 추정은 표면 음향 신호로부터 추출된 특징을 패턴 모델과 비교하는 과정이다. 사용자가 표면음향신호를 생성할 때 사용하는 입력 매질은 단일 매질(예를 들어, 유리)과 복합 매질(예를 들어, 책상)로 구분될 수 있다. 표면음향신호의 형태 변화는 센서의 종류뿐만 아니라, 매질의 면의 요철 정도에 따라 매우 클 수 있다. 매질의 종류 추정은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 표면 음향 신호의 특징 추출은 패턴 인식부(220)에 의하여 수행된다고 가정한다.
패턴 인식부(220)는 테스트 신호를 이용하여 상기 매질의 종류를 판단하고, 상기 매질의 종류를 고려하여 상기 표면 음향 신호의 패턴을 인식할 수 있다. 예를 들어, 매질의 종류는 다음 3개의 과정을 통해 추정될 수 있다.
1. 테스트 신호를 발생 시킨다.
2. 디바이스에 접촉된 매질을 통해 전파되는 표면 음향 신호를 획득한다.
3. 2에서 획득된 표면 음향 신호의 특징과 매칭되는 매질을 DB에서 찾는다.
테스트 신호는 디바이스에 내장된 스피커 또는 진동 발생 장치를 통해 발생될 수 있다. 이때, 테스트 신호는 짧은 주기를 갖는 일정한 신호 레벨의 음향 신호 또는 진동일 수 있다. 테스트 신호에 대응하는 표면 음향 신호는 디바이스에 내장된 마이크 및 압전 센서를 이용하여 획득될 수 있다.
패턴 인식부(220)는 2에서 획득된 표면 음향 신호의 주파수의 분포 범위, 진폭, 전달속도 등을 산출하고, 산출된 정보를 DB에 저장된 모델과 비교함으로써, 디바이스에 접촉된 매질의 종류를 추정할 수 있다. 한편, 패턴 인식부(220)는 2에서 획득된 표면 음향 신호의 특징과 매칭되는 모델이 없는 경우, 가장 근접한 모델을 디바이스에 접촉된 매질로 판단할 수 있다.
매질의 종류 추정을 주기적으로 수행하는 경우, 실질적으로 실시간에 가까운 매질의 변화 추정이 가능하다.
< 3. 표면 음향 신호를 발생시킨 도구의 추정>
표면 음향 신호를 발생시킨 도구의 추정은 사용자의 입력 도구를 추정하는 것이다. 이때, 입력 도구는 손가락, 펜, 스타일러스, 기타 도구 중 어느 하나일 수 있다. 즉, 사용자는 손가락이나 스타일러스 등의 다양한 입력도구를 통해 디바이스를 조작할 수 있다. 입력 도구의 추정은 DSP(Digital Signal Processor)와 같은 하드웨어 장치, 또는 소프트웨어, 또는 하드웨어 장치에 맞게 프로그램밍된 수단에 의하여 수행될 수 있다. 다만, 설명의 편의상, 입력 도구의 추정은 패턴 인식부(220)에 의하여 수행된다고 가정한다.
패턴 인식부(220)는 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고, 상기 표면 음향 신호의 발생 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식할 수 있다.
신호의 주파수 특성은 다양한 방식을 통해 추출할 수 있다. 예를 들어, 주파수 특성은 해당 신호를 이산 푸리에 변환(DFT)함으로써 추출될 수 있다. 또한, 신호의 주파수 특성은 해당 신호의 'Total Power Spectrum', '서브밴드 파워', '중심 주파수', '대역폭', '스펙트럼 플럭스' 등을 이용하여 추출될 수 있다. 입력 도구별 주파수 특성은 기계적인 학습을 통해 DB에 저장될 수 있다.
입력 도구별 주파수-도메인 특성의 다양한 예들은 도 7을 통해 상세히 설명하기로 한다.
<4. 사용자의 입력 신호 식별>
사용자의 입력 신호 식별은 사용자의 의도 또는 사용자의 제스처를 구분하는 것이다. 사용자의 입력 신호는 단순한 드래깅, 문자 입력, 탭(tap, 매질을 가볍게 두드리는 것), 특정 터치 이벤트 등이 있다. 사용자의 입력 신호를 식별함으로써 디바이스는 다양한 기능을 수행할 수 있다.
예를 들어, 사용자가 디바이스에 접촉되어 있는 외부 매질의 표면을 왼쪽에서 오른쪽으로 드래깅하면, 디바이스의 특정 기능이 실행되도록 설정될 수도 있다. 이때, 드래깅의 방향은 표면 음향 신호의 진행 방향을 추정함으로써 식별될 수 있다. 표면 음향 신호의 진행 방향 추정은 하나의 음향 센서 또는 복수의 음향 센서를 통해 식별될 수 있다. 즉, 표면 음향 신호의 패턴은 표면 음향 신호의 진행 방향에 대한 정보를 포함할 수 있다. 사용자 입력 식별부(230)는 표면 음향 신호의 진행 방향에 대한 정보에 기초하여 상기 사용자의 입력 신호를 식별할 수 있다.
예를 들어, 사용자가 디바이스에 접촉되어 있는 외부 매질의 표면에서 문자를 입력하는 경우, 문자는 "최소 의미 단위"를 통해 식별될 수도 있다.
도 3은 도 1 및 도 2에서 표면 음향 신호 획득부(210)의 구성 예를 나타낸 도면이다.
도 3을 참조하면, 표면 음향 신호 획득부(210)는 도 3에 도시된 바와 같이 매질 접촉부(311) 및 음향 센서(313)를 포함하여 구성될 수 있다.
매질 접촉부(311)는 물체(110)에 접촉되어 표면 음향 신호를 수신한다. 매질 접촉부(311)는 물체(110)에 밀착될 수 있는 다양한 재질로 구성될 수 있다.
음향 센서(313)는 표면 음향 신호를 디지털 신호로 변환한다. 음향 센서(313)의 종류로는, 콘덴서형 마이크로폰, 일렉트로닉형 마이크로폰, 압전형 센서 및 초음파 센서가 있다. 콘덴서형 마이크로폰과 일렉트로닉형 마이크로폰은 소음센서로서, 공기와 같은 매질을 통해 전달되는 음향의 압력에 따른 정도를 전기적인 신호로 변환하는 센서이다. 압전형(piezo-electronic) 센서는 진동센서로서, 사람이나 물체 등에 의해 생기는 진동에서 얻어진 압력을 전기적인 신호로 변환하는 센서이다. 초음파(ultrasonic) 센서는 사람의 귀로는 들을 수 없는 초음파를 센싱하여 음향신호의 거리나 위치를 판별하는 센서이다.
도 4는 다른 실시 예에 따른 유저 인터페이스 제공 장치의 구성을 나타낸다.
도 4를 참조하면, 유저 인터페이스 제공 장치(400)는 표면 음향 신호 획득부(410), 음향신호 처리부(420), 특징 추출부(430), 데이터 베이스(DB: Database)(440), 패턴 판단부(450), 시간신호 산출부(460) 및 사용자 입력 식별부(470)를 포함할 수 있다.
표면 음향 신호 획득부(410)는 도 2의 표면 음향 신호 획득부(210)와 동일한 기능을 수행한다.
음향신호 처리부(420)는 표면음향신호의 잡음을 제거한 후, 잡음이 제거된 표면음향신호의 파형을 단순화할 수 있다. 음향신호 처리부(420)는 증폭기(421), 필터(423) 및 단순화부(425)를 포함할 수 있다. 증폭기(421)는 획득된 표면음향신호를 증폭한다. 필터(423)는 증폭된 표면음향신호를 특정 주파수 대역 별로 선별적으로 필터링하여 증폭된 표면음향신호에 추가된 잡음을 제거한다. 예를 들어, 필터(423)는 표면음향신호의 최대 주파수 크기(예를 들어, 3KHz) 이상의 신호는 잡음으로 간주하고 잡음을 제거할 수 있다. 단순화부(425)는 잡음이 제거된 표면음향신호를 실시간으로 보다 많이 처리되도록 하기 위해 단순화할 수 있다. 도 5의 (a)에 도시된 신호는 필터(423)로부터 출력되는 표면음향신호이며, (b)에 도시된 신호는 단순화된 표면음향신호의 일 예를 보여준다. 도 5에서 '진폭'은 신호의 강약 또는 높낮이를 나타내며, 't'는 시간이다. 단순화부(435)는 신호의 높낮이를 판단하여 신호를 단순화할 수 있다.
음향신호 처리부(420)는 단순화된 표면음향신호를 특징 추출부(430)로 출력하고, 표면 음향 신호 획득부(410)의 각 센서에서 획득되는 표면음향신호를 시간신호 산출부(460)로 출력할 수 있다.
특징 추출부(430)는 "1. 표면 음향 신호의 특징 추출"을 수행할 수 있다. 즉, 특징 추출부(430)는 도 2에 도시된 특징 추출부(221)와 동일한 기능을 수행할 수 있다.
데이터 베이스(DB: Database)(440) 표면 음향 신호의 패턴 인식 및 사용자의 입력 신호 식별에 필요한 모든 패턴 모델을 저장하고 있다. 예를 들어, "1. 표면 음향 신호의 특징 추출"에서 기술된, '최소 의미 단위의 패턴 모델' 및 '기계적인 학습 모델 M'은 DB(440)에 저장될 수 있다. 이때, DB(440)에 저장되는 패턴 모델은 입력 도구별로 구분되어 저장될 수 있다. 또한, DB(440)에 저장되는 패턴 모델은 매질의 종류별로 구분되어 저장될 수 있다. 따라서, 특징 추출부(430)는 입력 도구 추정-입력 매질 추정-특징 추출의 순서로 동작할 수 있다. 마찬가지로 특징 추출부(430)는 입력 매질 추정-입력 도구 추정-특징 추출의 순서로 동작할 수도 있다.
표 1은 데이터 베이스(DB: Database)(440)에 저장된 패턴 모델의 룩업테이블의 예를 나타낸다.
[표 1]
표 2는 식별된 사용자의 입력 신호에 대응하는 디바이스의 해당 기능에 대한 룩업테이블의 예를 나타낸다.
[표 2]
패턴 판단부(450)는 도 2의 패턴 분석부(223)와 유사한 기능을 수행할 수 있다. 또한, 패턴 판단부(450)는 "2. 표면 음향 신호가 전달되는 매질의 종류 추정" 및 "3. 표면 음향 신호를 발생시킨 도구의 추정"을 수행할 수 있다.
시간신호 산출부(460)는 표면 음향 신호 획득부(410)가 적어도 두 개 이상의 센서를 포함하는 경우, 표면음향신호가 각각의 센서에 도달하는 시간차를 산출할 수 있다. 시간신호 산출부(460)에서 산출되는 시간차는 표면음향신호의 진행 방향을 탐색하는데 사용될 수 있다.
사용자 입력 식별부(470)는 도 2의 사용자 입력 식별부(230)와 동일한 기능을 수행할 수 있다.
도 5는 도4의 필터(423) 및 단순화부(425)에서 출력되는 신호의 예를 나타낸 도면이다.
도 5의 (a)에 도시된 신호는 필터(423)로부터 출력되는 표면음향신호이며, (b)에 도시된 신호는 단순화된 표면음향신호의 일 예를 보여준다. 도 5에서 '진폭'은 신호의 강약 또는 높낮이를 나타내며, 't'는 시간이다. 단순화부(435)는 신호의 높낮이를 판단하여 신호를 단순화할 수 있다.
도 6은 "최소 단위 의미"들에 대한 예를 나타낸다.
도 6에 도시된 최소 단위 의미들은 표면 음향 신호의 패턴을 인식하거나, 사용자의 입력 신호를 식별하는데 사용될 수 있다. 예를 들어, 도 2의 패턴 인식부(220)는 표면 음향 신호로부터 최소 단위 의미를 구분하고, 사용자 입력 식별부(230)는 최소 단위 의미들을 조합하여 사용자의 입력 신호를 식별할 수 있다. 사용자가 매질 표면에 ''와 ''를 순서대로 입력한 경우, 사용자 입력 식별부(230)는 사용자의 입력 신호가 'M'임을 식별할 수 있다.
도 7은 입력 도구에 따른 표면 음향 신호의 주파수 특성을 예시한 도면이다.
입력 도구는 종류의 특성에 따라서 신호 파형의 크기, 에너지, 주파수 분포 등이 달라진다.
도 7에서 (a)는 사용자가 펜(pen)을 이용하여 매질의 표면에 동그라미를 그린 경우의 주파수 특성을 나타낸다. 도 7에서 (b)는 사용자가 손가락을 이용하여 매질의 표면에 동그라미를 그린 경우의 주파수 특성을 나타낸다. 도 7에서 (c)는 손가락을 이용하여 직선을 그린 경우의 주파수 특성이다. (d)는 펜을 이용하여 직선을 그린 경우의 주파수 특성이다. 도 7의 예에서, 매질은 고정되어 있다고 가정한다.
도 8은 사용자의 입력 신호가 문자인 경우 사용자의 입력 신호를 식별하는 예를 설명하기 위한 도면이다.
도 8을 참조하면, 'A'는 긴 직선 두 개(801, 803)가 입력된 후 긴 직선에 비해 상대적으로 짧은 직선 한 개(805)가 입력되는 순서로 표현되며, 'H'는 긴 직선(807), 짧은 직선(809), 긴 직선(811)의 순서로 입력된다. 이러한 최소의미단위(직선)가 입력되는 순서를 나타내는 패턴이 문자를 식별하는데 사용될 수 있다. 사용자가 'F'를 입력한 경우, 사용자 입력 식별부(230, 470)는 직선들(813, 815, 817)의 길이 및 순서를 조합하여 사용자의 입력 신호를 식별할 수 있다.
도 9 및 도 10은 각각 직선에 대응하는 표면 음향 신호의 파형의 예를 나타낸다.
도 9는 직선이 음향 센서의 가까운 곳에서 시작되어 먼 곳에서 종료된 경우이다. 즉, 도 9는 표면 음향 신호의 진행 방향이 음향 센서를 기준으로 멀어지는 경우이다. 본 명세서에서, '표면 음향 신호의 진행 방향'은 직선의 진행 방향과 동일한 의미로 사용하기로 한다.
도 10은 직선이 음향 센서의 먼 곳에서 시작되어 가까운 곳에서 종료된 경우이다. 즉, 도 10은 표면 음향 신호의 진행 방향이 음향 센서를 기준으로 가까워지는 경우이다.
도 9 및 도 10을 참조하면, 직선의 진행 방향에 따라서 표면 음향 신호의 파형은 서로 대칭적인 형태를 가질 수 있다. 따라서, 유저 인터페이스 제공 장치에 하나의 음향 센서가 구비된 경우, 파형의 상대적인 형태를 통해 표면 음향 신호의 진행 방향을 식별할 수 있다. 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우, 보다 정확하게 표면 음향 신호의 진행 방향을 추정할 수 있다.
도 11은 유저 인터페이스 제공 장치에 2개 이상의 음향 센서가 구비된 경우 획득되는 표면음향신호의 일 예를 도시한 도면이다.
도 11을 참조하면, a 위치에서 손가락으로 소리를 냈을 경우, 각 센서(1110, 1120, 1130, 1140)에 수신되는 표면 음향 신호의 도달 시점이 다르다. 각 센서(1110~1140)는 표면 음향 신호 획득부(410)에 구비되는 마이크로폰일 수 있다. 시간신호 산출부(460)는 복수의 센서(1110~1140)를 이용하여 표면음향신호의 위치를 추정할 수 있다. 시간신호 산출부(460)는 복수의 센서(1110~1140) 간의 도착지연시간을 계산하여 후보 위치 구간을 파악한 후, 후보 위치에 대해서만 위치탐색을 할 수 있다. 후보 위치 구간은 표면음향신호가 발생한 위치이다.
또는, 계산 량을 최소화하기 위하여, 시간신호 산출부(460)는 하단 오른쪽의 센서(1120)가 가장 먼저 표면음향신호를 센싱하였음을 사용자 입력 신호 식별부(470)에게 알려줄 수 있다. 도 11에서, 하단 오른쪽의 센서(1120)에 의해 검출된 표면음향신호의 피크(peak)가 가장 먼저 검출되었으므로, 시간신호 산출부(460)는 센서(1120)가 표면음향신호를 가장 먼저 획득한 것으로 판단할 수 있다.
사용자 입력 신호 식별부(470)는 순차적으로 판단되는 패턴 또는 최소의미단위를 조합하여 사용자 입력 신호를 식별할 수 있다. 또한, 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 산출된 시간차를 이용하여 표면 음향 신호의 진행 방향을 판단할 수 있다.
한편, 센서가 2개 구비되어 2채널이 형성된 경우, 사용자 입력 신호 식별부(470)는 표면음향신호가 우측 또는 좌측에서 발생하였는지를 판단할 수 있다. 예를 들어, 센서가 우측과 좌측에 구비된 경우, 우측 센서에서 획득된 표면음향신호의 진폭(즉, 소리의 크기)은 점점 작아지고, 좌측 센서에서 획득된 표면음향신호의 진폭은 점점 커지면, 사용자 입력 신호 식별부(470)는 사용자가 우측에서 좌측 방향으로 드래깅한 것으로 판단할 수 있다.
한편, 센서가 4개 구비되어 4채널이 형성된 경우, 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 산출된 시간신호를 이용하여 패턴(또는 최소의미단위)의 방향을 판단한다. 사용자 입력 신호 식별부(470)는 시간신호 산출부(460)에서 입력되는 시간차 정보를 이용하여 표면음향신호의 진행 방향과, 2차원 좌표를 판단할 수 있다. 예를 들어, 사용자 입력 신호 식별부(470)는 도 11의 센서(1110)의 위치를 기준 좌표 (0,0)으로 정하고, 표면음향신호의 발생 위치에 대한 2차원 좌표와 방향을 판별할 수 있다.
또는, 4채널의 경우, 사용자 입력 신호 식별부(470)는 가장 먼저 표면음향신호를 센싱한 센서의 위치를 이용하여 표면음향신호의 진행 방향을 판단할 수 있다. 예를 들어, 사용자 입력 신호 식별부(470)는 도 11의 센서(1120)의 위치를 동서남북으로 표시하여, 표면음향신호의 진행 방향을 판단할 수 있다.
도 12는 디바이스의 케이스를 예시한 도면이다. 케이스는 플라스틱, 금속, 종이 등의 재질로 만들어질 수 있다. 센서(s)와 유저 인터페이스 제공 장치(200, 400)는 케이스의 내부에 부착되며, 사용자는 케이스의 외부 표면에 터치 이벤트를 발생시킴으로써, 표면음향신호를 발생시킬 수 있다.
도 13은 일 실시 예에 따른 디바이스의 유저 인터페이스 제공 방법을 나타낸다.
도 13을 참조하면, 1310단계에서 유저 인터페이스 제공 장치는 표면 음향 신호를 획득한다.
1320 단계에서 유저 인터페이스 제공 장치는 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출한다. 즉, 유저 인터페이스 제공 장치는 "1. 표면 음향 신호의 특징 추출"을 수행한다. 이때, 상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함한다.
1330 단계에서 유저 인터페이스 제공 장치는 상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석한다. 1330 단계는 도 14의 구체적인 단계를 포함할 수 있다. 즉, 유저 인터페이스 제공 장치는 먼저 테스트 신호를 이용하여 상기 매질의 종류를 판단하고(1431), 상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고(1433), 상기 매질의 종류 및 상기 표면 음향 신호를 발생시킨 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식(1435)할 수 있다.
1340 단계에서 유저 인터페이스 제공 장치는 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다. 즉, 유저 인터페이스 제공 장치는 "4. 사용자의 입력 신호 식별"을 수행한다. 일 측면에 있어서, 1340단계는 상기 표면 음향 신호의 패턴에 매칭되는 최소 단위 의미를 구분하고, 상기 최소 단위 의미에 기초하여 상기 사용자의 입력 신호를 식별하는 과정을 포함할 수 있다. 또한, 다른 일 측면에 있어서, 1340 단계는 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는 과정을 포함할 수 있다.
도 15는 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 15를 참조하면, 1510 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시킨다. 여기서, '외부 입력 모드'는 예를 들어 도 1의 외부 물체(120)를 통해 디바이스(120)를 조작할 수 있는 모드를 의미한다. 디바이스는 외부 입력 모드가 실행되면 비활성 상태에 있는 음향 센서를 활성화 시킬 수도 있다. 외부 입력 모드의 실행은, 디바이스가 상기 디바이스의 외부 매질과 접촉되거나, 모드 전환에 대한 제어 신호에 의하여 트리거링될 수 있다.
1520 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 표면 음향 신호가 수신되는지를 판단한다.
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면, 1530 단계에서 유저 인터페이스 제공 장치는 상기 표면 음향 신호의 특징을 분석하여 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식한다.
1540 단계에서 유저 인터페이스 제공 장치는, 상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별한다.
도 16은 다른 일 실시 예에 따른 유저 인터페이스 제공 방법을 나타낸다.
도 16을 참조하면, 1610 단계에서 유저 인터페이스 제공 장치는, 상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시킨다. 한편, 1610 단계에서 유저 인터페이스 제공 장치는 테스트 신호를 발생시키고, 상기 디바이스의 외부 매질 상에서의 상기 테스트 신호의 특징을 분석하고, 상기 테스트 신호의 특징을 기 저장된 패턴 모델과 비교하여 상기 매질의 종류를 판단할 수 있다.
1620 단계에서 유저 인터페이스 제공 장치는, 디바이스의 외부 매질로부터 표면 음향 신호가 수신되는지를 판단한다.
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면, 1630 단계에서 유저 인터페이스 제공 장치는 표면 음향 신호의 진행 방향을 판단한다. 예를 들어, 유저 인터페이스 제공 장치는 사용자의 드래깅 방향을 판단한다. 이때, 표면 음향 신호의 진행 방향은, '상기 표면 음향 신호의 파형의 모양', '제1 음향센서로 수신되는 제1 표면 음향 신호 및 제2 음향센서로 수신되는 제2 표면 음향 신호의 수신 시간차', '상기 제1 표면 음향 신호 및 상기 제2 표면 음향 신호의 크기 변화' 중 적어도 어느 하나에 의하여 판단될 수 있다.
1640 단계에서 유저 인터페이스 제공 장치는, 상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시킨다. 예를 들어, 디바이스의 설정에 따라서, 음악 또는 동영상을 재생하는 응용프로그램이 실행된 후, 특정 방향의 드래깅이 입력되면 음악 또는 동영상이 재생되는 것도 가능하다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (20)
- 디바이스의 유저 인터페이스 제공 장치에 있어서,
상기 디바이스 외부의 매질(medium)에서 발생된 표면 음향 신호를 획득하는 표면 음향 신호 획득부;
상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 패턴 인식부; 및
상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 사용자 입력 식별부를 포함하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 디바이스 외부의 매질은 상기 디바이스와 접촉되는 물체를 통해 상기 사용자에게 제공되는,
유저 인터페이스 제공 장치. - 제2항에 있어서,
상기 표면 음향 신호 획득부는,
상기 물체에 접촉되어 상기 표면 음향 신호를 수신하는 매질 접촉부; 및
상기 표면 음향 신호를 디지털 신호로 변환하는 음향 센서를 포함하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 디바이스 외부의 매질은 상기 디바이스의 외장 케이스를 통해 상기 사용자에게 제공되는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 패턴 인식부는,
상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 특징 추출부; 및
상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 패턴 분석부를 포함하는,
유저 인터페이스 제공 장치. - 제5항에 있어서,
상기 시간-도메인 상의 특징은 상기 표면 음향 신호의 진폭, 제로 크로싱의 분포, 에너지의 크기, 길이, 형태 중 적어도 어느 하나를 포함하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 패턴 인식부는,
테스트 신호를 이용하여 상기 매질의 종류를 판단하고, 상기 매질의 종류를 고려하여 상기 표면 음향 신호의 패턴을 인식하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 패턴 인식부는,
상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하고, 상기 표면 음향 신호의 발생 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 사용자 입력 식별부는,
상기 표면 음향 신호의 패턴에 매칭되는 최소 단위 의미를 구분하고, 상기 최소 단위 의미에 기초하여 상기 사용자의 입력 신호를 식별하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 패턴 인식부로부터 복수의 패턴들을 순차적으로 수신하고, 상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 패턴은 상기 표면 음향 신호의 진행 방향에 대한 정보를 포함하고,
상기 사용자 입력 식별부는 상기 표면 음향 신호의 진행 방향에 대한 정보에 기초하여 상기 사용자의 입력 신호를 식별하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
매질의 종류 및 입력 도구의 종류에 따라 구분된 상기 표면 음향 신호의 패턴 모델을 저장하는 패턴 모델 저장부를 더 포함하는,
유저 인터페이스 제공 장치. - 제1항에 있어서,
상기 사용자의 입력 신호는,
상기 매질의 표면 상에서 입력되는 문자, 도형, 드래깅, 터치 이벤트 중 적어도 하나를 포함하는,
유저 인터페이스 제공 장치. - 디바이스의 유저 인터페이스 제공 방법에 있어서,
표면 음향 신호를 획득하는 단계;
상기 표면 음향 신호의 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 추출하는 단계;
상기 시간-도메인 상의 특징 또는, 주파수-도메인 상의 특징 중 적어도 하나의 특징을 기초로 상기 표면 음향 신호의 패턴을 분석하는 단계; 및
상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함하는,
유저 인터페이스 제공 방법. - 제14항에 있어서,
상기 표면 음향 신호의 패턴을 분석하는 단계는,
테스트 신호를 이용하여 상기 매질의 종류를 판단하는 단계;
상기 표면 음향 신호의 주파수-도메인 특성을 기초로 상기 표면 음향 신호를 발생시킨 도구를 추정하는 단계; 및
상기 매질의 종류 및 상기 표면 음향 신호를 발생시킨 도구를 고려하여 상기 표면 음향 신호의 패턴을 인식하는 단계를 포함하는,
유저 인터페이스 제공 방법. - 제14항에 있어서,
상기 식별하는 단계는,
복수의 패턴들을 순차적으로 수신하는 단계; 및
상기 복수의 패턴들 각각에 대응하는 최소 단위 의미들을 조합하여 상기 사용자의 입력 신호를 식별하는 단계를 포함하는,
유저 인터페이스 제공 방법. - 디바이스의 유저 인터페이스 제공 방법에 있어서,
상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계;
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 특징을 분석하여 상기 매질에 대응하는 상기 표면 음향 신호의 패턴(pattern)을 인식하는 단계; 및
상기 표면 음향 신호의 패턴에 기초하여 사용자의 입력 신호를 식별하는 단계를 포함하는,
유저 인터페이스 제공 방법. - 디바이스의 유저 인터페이스 제공 방법에 있어서,
상기 디바이스의 외부 매질로부터 사용자의 입력 신호를 수신하는 외부 입력 모드를 실행시키는 단계;
상기 디바이스의 외부 매질로부터 표면 음향 신호가 수신되면 상기 표면 음향 신호의 진행 방향을 판단하는 단계; 및
상기 표면 음향 신호의 진행 방향에 대응하는 상기 디바이스의 기능을 실행시키는 단계를 포함하는,
유저 인터페이스 제공 방법. - 제18항에 있어서,
상기 표면 음향 신호의 진행 방향은,
'상기 표면 음향 신호의 파형의 모양', '제1 음향센서로 수신되는 제1 표면 음향 신호 및 제2 음향센서로 수신되는 제2 표면 음향 신호의 수신 시간차', '상기 제1 표면 음향 신호 및 상기 제2 표면 음향 신호의 크기 변화' 중 적어도 어느 하나에 의하여 판단되는,
유저 인터페이스 제공 방법. - 유저 인터페이스를 구비한 디바이스에 있어서,
상기 디바이스의 외부에서 발생된 표면 음향 신호를 획득하는 센서; 및
상기 표면 음향 신호의 특징을 분석하여 상기 표면 음향 신호의 패턴을 구분하고, 상기 표면 음향 신호의 패턴에 기초하여 상기 표면 음향 신호에 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서를 포함하는,
유저 인터페이스를 구비한 디바이스.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100083609A KR101678549B1 (ko) | 2010-02-02 | 2010-08-27 | 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 |
CN201180008099.4A CN102741919B (zh) | 2010-02-02 | 2011-02-01 | 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置 |
JP2012551100A JP5789270B2 (ja) | 2010-02-02 | 2011-02-01 | 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス |
EP11739990.7A EP2532000B1 (en) | 2010-02-02 | 2011-02-01 | Method and apparatus for providing user interface using acoustic signal, and device including user interface |
EP12182555.8A EP2544077B1 (en) | 2010-02-02 | 2011-02-01 | Method and apparatus for providing user interface using acoustic signal, and device including user interface |
PCT/KR2011/000680 WO2011096694A2 (en) | 2010-02-02 | 2011-02-01 | Method and apparatus for providing user interface using acoustic signal, and device including user interface |
US13/019,566 US9857920B2 (en) | 2010-02-02 | 2011-02-02 | Method and apparatus for providing user interface using acoustic signal, and device including user interface |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20100009545 | 2010-02-02 | ||
KR1020100009545 | 2010-02-02 | ||
KR1020100083609A KR101678549B1 (ko) | 2010-02-02 | 2010-08-27 | 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110090739A true KR20110090739A (ko) | 2011-08-10 |
KR101678549B1 KR101678549B1 (ko) | 2016-11-23 |
Family
ID=44342706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100083609A KR101678549B1 (ko) | 2010-02-02 | 2010-08-27 | 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9857920B2 (ko) |
EP (2) | EP2532000B1 (ko) |
JP (1) | JP5789270B2 (ko) |
KR (1) | KR101678549B1 (ko) |
CN (1) | CN102741919B (ko) |
WO (1) | WO2011096694A2 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8855855B2 (en) | 2012-11-09 | 2014-10-07 | Hyundai Motor Company | Vehicle control apparatus |
KR20160067625A (ko) * | 2014-12-04 | 2016-06-14 | 삼성전자주식회사 | 소리 신호를 처리하는 방법 및 디바이스. |
WO2017034332A1 (ko) * | 2015-08-25 | 2017-03-02 | 엘지전자 주식회사 | 냉장고 |
US11589687B2 (en) | 2016-01-05 | 2023-02-28 | Lg Electronics Inc. | Refrigerator having panel assembly covering opening of outer plate of door |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10198097B2 (en) | 2011-04-26 | 2019-02-05 | Sentons Inc. | Detecting touch input force |
US9189109B2 (en) | 2012-07-18 | 2015-11-17 | Sentons Inc. | Detection of type of object used to provide a touch contact input |
US9477350B2 (en) | 2011-04-26 | 2016-10-25 | Sentons Inc. | Method and apparatus for active ultrasonic touch devices |
US9639213B2 (en) | 2011-04-26 | 2017-05-02 | Sentons Inc. | Using multiple signals to detect touch input |
US11327599B2 (en) | 2011-04-26 | 2022-05-10 | Sentons Inc. | Identifying a contact type |
KR102027601B1 (ko) | 2011-10-18 | 2019-10-01 | 카네기 멜론 유니버시티 | 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치 |
KR101803261B1 (ko) | 2011-11-18 | 2017-11-30 | 센톤스 아이엔씨. | 터치 입력 힘 검출 |
US10235004B1 (en) | 2011-11-18 | 2019-03-19 | Sentons Inc. | Touch input detector with an integrated antenna |
KR101852549B1 (ko) | 2011-11-18 | 2018-04-27 | 센톤스 아이엔씨. | 국소형 햅틱 피드백 |
WO2013136133A1 (en) | 2012-03-15 | 2013-09-19 | Nokia Corporation | A tactile apparatus link |
US9348468B2 (en) | 2013-06-07 | 2016-05-24 | Sentons Inc. | Detecting multi-touch inputs |
US9078066B2 (en) | 2012-07-18 | 2015-07-07 | Sentons Inc. | Touch input surface speaker |
US9281727B1 (en) * | 2012-11-01 | 2016-03-08 | Amazon Technologies, Inc. | User device-based control of system functionality |
KR102011495B1 (ko) * | 2012-11-09 | 2019-08-16 | 삼성전자 주식회사 | 사용자의 심리 상태 판단 장치 및 방법 |
US9430098B2 (en) * | 2012-12-17 | 2016-08-30 | Apple Inc. | Frequency sensing and magnification of portable device output |
US9134856B2 (en) * | 2013-01-08 | 2015-09-15 | Sony Corporation | Apparatus and method for controlling a user interface of a device based on vibratory signals |
KR20140113119A (ko) * | 2013-03-15 | 2014-09-24 | 엘지전자 주식회사 | 전자 기기 및 그 제어방법 |
KR20140114766A (ko) | 2013-03-19 | 2014-09-29 | 퀵소 코 | 터치 입력을 감지하기 위한 방법 및 장치 |
US9612689B2 (en) | 2015-02-02 | 2017-04-04 | Qeexo, Co. | Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer |
US9013452B2 (en) | 2013-03-25 | 2015-04-21 | Qeexo, Co. | Method and system for activating different interactive functions using different types of finger contacts |
KR101500130B1 (ko) * | 2013-09-02 | 2015-03-06 | 현대자동차주식회사 | 스티어링 휠에 설치된 차량용 제어장치 |
US10114486B2 (en) * | 2013-09-19 | 2018-10-30 | Change Healthcare Holdings, Llc | Method and apparatus for providing touch input via a touch sensitive surface utilizing a support object |
US9459715B1 (en) | 2013-09-20 | 2016-10-04 | Sentons Inc. | Using spectral control in detecting touch input |
KR101509947B1 (ko) | 2013-10-23 | 2015-04-07 | 현대자동차주식회사 | 리어 램프 점검 장치, 방법 및 시스템 |
US20150242036A1 (en) * | 2014-02-21 | 2015-08-27 | Amin Heidari | System and method for detecting taps on a surface or on a device |
JP6281745B2 (ja) * | 2014-03-06 | 2018-02-21 | カシオ計算機株式会社 | 摺動操作検出装置、電子機器及びプログラム |
US9329715B2 (en) | 2014-09-11 | 2016-05-03 | Qeexo, Co. | Method and apparatus for differentiating touch screen users based on touch event analysis |
US11619983B2 (en) | 2014-09-15 | 2023-04-04 | Qeexo, Co. | Method and apparatus for resolving touch screen ambiguities |
US9864453B2 (en) | 2014-09-22 | 2018-01-09 | Qeexo, Co. | Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification |
US10606417B2 (en) | 2014-09-24 | 2020-03-31 | Qeexo, Co. | Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns |
US10282024B2 (en) | 2014-09-25 | 2019-05-07 | Qeexo, Co. | Classifying contacts or associations with a touch sensitive device |
KR20160045545A (ko) * | 2014-10-17 | 2016-04-27 | 엘지전자 주식회사 | 냉장고 |
CN105828265A (zh) * | 2015-01-10 | 2016-08-03 | 深圳富泰宏精密工业有限公司 | 配件侦测系统及方法 |
WO2016148120A1 (ja) * | 2015-03-17 | 2016-09-22 | 株式会社メガチップス | 情報受付システム、記録媒体および情報入力方法 |
JP6543055B2 (ja) * | 2015-03-17 | 2019-07-10 | 株式会社メガチップス | 情報受付システム、プログラムおよび情報入力方法 |
JP6543054B2 (ja) * | 2015-03-17 | 2019-07-10 | 株式会社メガチップス | 情報受付装置、プログラムおよび情報入力方法 |
US10592817B2 (en) * | 2015-07-13 | 2020-03-17 | International Business Machines Corporation | Parameter-dependent model-blending with multi-expert based machine learning and proxy sites |
US10642404B2 (en) | 2015-08-24 | 2020-05-05 | Qeexo, Co. | Touch sensitive device with multi-sensor stream synchronized data |
US10048811B2 (en) | 2015-09-18 | 2018-08-14 | Sentons Inc. | Detecting touch input provided by signal transmitting stylus |
CN109416607A (zh) * | 2016-04-27 | 2019-03-01 | 莫吉斯有限公司 | 用于识别手势的方法及相应设备 |
US10908741B2 (en) | 2016-11-10 | 2021-02-02 | Sentons Inc. | Touch input detection along device sidewall |
US10296144B2 (en) | 2016-12-12 | 2019-05-21 | Sentons Inc. | Touch input detection with shared receivers |
US10126877B1 (en) | 2017-02-01 | 2018-11-13 | Sentons Inc. | Update of reference data for touch input detection |
US20180239435A1 (en) * | 2017-02-22 | 2018-08-23 | International Business Machines Corporation | Smart devices having recognition features |
US10585522B2 (en) | 2017-02-27 | 2020-03-10 | Sentons Inc. | Detection of non-touch inputs using a signature |
FR3066841B1 (fr) | 2017-05-29 | 2020-07-10 | Hap2U | Procede de commande d'un dispositif nomade |
US11580829B2 (en) | 2017-08-14 | 2023-02-14 | Sentons Inc. | Dynamic feedback for haptics |
US11009411B2 (en) | 2017-08-14 | 2021-05-18 | Sentons Inc. | Increasing sensitivity of a sensor using an encoded signal |
US11009989B2 (en) | 2018-08-21 | 2021-05-18 | Qeexo, Co. | Recognizing and rejecting unintentional touch events associated with a touch sensitive device |
US10942603B2 (en) | 2019-05-06 | 2021-03-09 | Qeexo, Co. | Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device |
US11231815B2 (en) | 2019-06-28 | 2022-01-25 | Qeexo, Co. | Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing |
US11592423B2 (en) | 2020-01-29 | 2023-02-28 | Qeexo, Co. | Adaptive ultrasonic sensing techniques and systems to mitigate interference |
CN113220167B (zh) * | 2021-05-19 | 2024-03-12 | 京东方科技集团股份有限公司 | 显示模组及超声波触控检测方法 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4718102A (en) * | 1983-01-19 | 1988-01-05 | Communication Intelligence Corporation | Process and apparatus involving pattern recognition |
US4772764A (en) * | 1983-12-01 | 1988-09-20 | Xecutek Corporation | Soundwave position digitizer |
US4654648A (en) * | 1984-12-17 | 1987-03-31 | Herrington Richard A | Wireless cursor control system |
EP0421025B1 (en) * | 1989-10-02 | 1999-05-06 | Koninklijke Philips Electronics N.V. | Data processing system with a touch screen and a digitizing tablet, both integrated in an input device |
JP2535626B2 (ja) * | 1989-10-27 | 1996-09-18 | キヤノン株式会社 | 座標入力装置 |
JP2592972B2 (ja) * | 1989-12-25 | 1997-03-19 | キヤノン株式会社 | 座標入力装置 |
US6366697B1 (en) * | 1993-10-06 | 2002-04-02 | Xerox Corporation | Rotationally desensitized unistroke handwriting recognition |
JP3230552B2 (ja) * | 1993-12-03 | 2001-11-19 | キヤノン株式会社 | 圧電センサ及びそれを使用した座標入力装置 |
JP3385094B2 (ja) | 1994-05-23 | 2003-03-10 | 松下電器産業株式会社 | 携帯型情報端末 |
JP3007933B2 (ja) * | 1994-12-15 | 2000-02-14 | 富士通株式会社 | 超音波座標入力装置 |
US5591945A (en) * | 1995-04-19 | 1997-01-07 | Elo Touchsystems, Inc. | Acoustic touch position sensor using higher order horizontally polarized shear wave propagation |
EP0827105A3 (de) * | 1996-08-29 | 2000-10-25 | Siemens Aktiengesellschaft | Mit akustischen Oberflächenwellen arbeitende Identifizierungs- oder Sensoranordnung - OFW-Anordnung |
US6631025B2 (en) * | 2000-01-12 | 2003-10-07 | Xtera Communications, Inc. | Low-noise distributed Raman amplifier using bi-directional pumping using multiple Raman orders |
US6429846B2 (en) * | 1998-06-23 | 2002-08-06 | Immersion Corporation | Haptic feedback for touchpads and other touch controls |
US6313825B1 (en) * | 1998-12-28 | 2001-11-06 | Gateway, Inc. | Virtual input device |
US20030132921A1 (en) * | 1999-11-04 | 2003-07-17 | Torunoglu Ilhami Hasan | Portable sensory input device |
US7050177B2 (en) * | 2002-05-22 | 2006-05-23 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
AU1912001A (en) * | 1999-12-08 | 2001-06-18 | Telefonaktiebolaget Lm Ericsson (Publ) | A portable communication device and method |
US7157649B2 (en) * | 1999-12-23 | 2007-01-02 | New Transducers Limited | Contact sensitive device |
US6703570B1 (en) * | 2000-05-10 | 2004-03-09 | International Business Machines Corporation | Digital pen using ultrasonic tracking |
AU6262501A (en) * | 2000-05-29 | 2001-12-11 | Vkb Inc. | Virtual data entry device and method for input of alphanumeric and other data |
FR2811107B1 (fr) * | 2000-06-29 | 2002-10-18 | Jean Pierre Nikolovski | Plaque acoustique interactive de precision |
US20040047505A1 (en) * | 2001-12-26 | 2004-03-11 | Firooz Ghassabian | Stylus computer |
EP2267582B1 (en) * | 2002-02-06 | 2012-05-09 | Soundtouch Limited | Touch pad |
US7643015B2 (en) * | 2002-05-24 | 2010-01-05 | Massachusetts Institute Of Technology | Systems and methods for tracking impacts |
FR2841022B1 (fr) * | 2002-06-12 | 2004-08-27 | Centre Nat Rech Scient | Procede pour localiser un impact sur une surface et dispositif pour la mise en oeuvre de ce procede |
US7256773B2 (en) * | 2003-06-09 | 2007-08-14 | Microsoft Corporation | Detection of a dwell gesture by examining parameters associated with pen motion |
JP2005018611A (ja) * | 2003-06-27 | 2005-01-20 | Yamatake Corp | コマンド入力装置及びコマンド入力方法 |
US7176902B2 (en) * | 2003-10-10 | 2007-02-13 | 3M Innovative Properties Company | Wake-on-touch for vibration sensing touch input devices |
WO2005111653A2 (en) * | 2004-05-17 | 2005-11-24 | Epos Technologies Limited | Acoustic robust synchronization signaling for acoustic positioning system |
US20060192763A1 (en) * | 2005-02-25 | 2006-08-31 | Ziemkowski Theodore B | Sound-based virtual keyboard, device and method |
US7551779B2 (en) * | 2005-03-17 | 2009-06-23 | Microsoft Corporation | Word or character boundary-based scratch-out gesture recognition |
US8614695B2 (en) * | 2005-06-07 | 2013-12-24 | Intel Corporation | Ultrasonic tracking |
US7353709B2 (en) * | 2005-07-06 | 2008-04-08 | National Research Council Of Canada | Method and system for determining material properties using ultrasonic attenuation |
US7961903B2 (en) * | 2006-01-25 | 2011-06-14 | Microsoft Corporation | Handwriting style data input via keys |
JP2007336513A (ja) | 2006-05-15 | 2007-12-27 | Seiko Epson Corp | 叩きコマンド処理システム、及び、携帯機器の操作システム、並びに、携帯機器 |
JP4680129B2 (ja) | 2006-05-22 | 2011-05-11 | 富士通株式会社 | 携帯端末装置及びその操作方法 |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US8077163B2 (en) | 2006-08-24 | 2011-12-13 | Qualcomm Incorporated | Mobile device with acoustically-driven text input and method thereof |
WO2008047294A2 (en) * | 2006-10-18 | 2008-04-24 | Koninklijke Philips Electronics N.V. | Electronic system control using surface interaction |
CN101308434B (zh) * | 2007-05-15 | 2011-06-22 | 宏达国际电子股份有限公司 | 使用者界面的操作方法 |
EP2156433A4 (en) * | 2007-06-15 | 2012-04-04 | Luidia Inc | INTERACTIVITY IN A LARGE FLAT SCREEN DISPLAY |
EP2073106B1 (en) * | 2007-12-21 | 2012-02-08 | Tyco Electronics Services GmbH | Method for determining the locations of at least two impacts |
CA2718680C (en) * | 2008-03-18 | 2016-12-06 | Elliptic Laboratories As | Object and movement detection |
US8619055B2 (en) * | 2008-04-14 | 2013-12-31 | Microsoft Corporation | Active matrix touch sensing |
TWI374391B (en) * | 2008-05-27 | 2012-10-11 | Ind Tech Res Inst | Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system |
US8441790B2 (en) * | 2009-08-17 | 2013-05-14 | Apple Inc. | Electronic device housing as acoustic input device |
US8643613B2 (en) * | 2009-10-09 | 2014-02-04 | Egalax—Empia Technology Inc. | Method and device for dual-differential sensing |
KR101654008B1 (ko) * | 2009-10-09 | 2016-09-09 | 삼성전자주식회사 | 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 |
US8624878B2 (en) * | 2010-01-20 | 2014-01-07 | Apple Inc. | Piezo-based acoustic and capacitive detection |
US8749531B2 (en) * | 2010-03-31 | 2014-06-10 | Blackberry Limited | Method for receiving input on an electronic device and outputting characters based on sound stroke patterns |
US9465985B2 (en) * | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
-
2010
- 2010-08-27 KR KR1020100083609A patent/KR101678549B1/ko active IP Right Grant
-
2011
- 2011-02-01 WO PCT/KR2011/000680 patent/WO2011096694A2/en active Application Filing
- 2011-02-01 EP EP11739990.7A patent/EP2532000B1/en active Active
- 2011-02-01 EP EP12182555.8A patent/EP2544077B1/en active Active
- 2011-02-01 JP JP2012551100A patent/JP5789270B2/ja active Active
- 2011-02-01 CN CN201180008099.4A patent/CN102741919B/zh active Active
- 2011-02-02 US US13/019,566 patent/US9857920B2/en active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8855855B2 (en) | 2012-11-09 | 2014-10-07 | Hyundai Motor Company | Vehicle control apparatus |
KR20160067625A (ko) * | 2014-12-04 | 2016-06-14 | 삼성전자주식회사 | 소리 신호를 처리하는 방법 및 디바이스. |
WO2017034332A1 (ko) * | 2015-08-25 | 2017-03-02 | 엘지전자 주식회사 | 냉장고 |
KR20170024363A (ko) * | 2015-08-25 | 2017-03-07 | 엘지전자 주식회사 | 냉장고 |
US10443925B2 (en) | 2015-08-25 | 2019-10-15 | Lg Electronics Inc. | Refrigerator |
US10578352B2 (en) | 2015-08-25 | 2020-03-03 | Lg Electronics Inc. | Refrigerator |
US10808991B2 (en) | 2015-08-25 | 2020-10-20 | Lg Electronics Inc. | Refrigerator |
US11300350B2 (en) | 2015-08-25 | 2022-04-12 | Lg Electronics Inc. | Refrigerator |
US11589687B2 (en) | 2016-01-05 | 2023-02-28 | Lg Electronics Inc. | Refrigerator having panel assembly covering opening of outer plate of door |
US11717095B2 (en) | 2016-01-05 | 2023-08-08 | Lg Electronics Inc. | Refrigerator having panel assembly covering opening of outer plate of door |
US11779135B2 (en) | 2016-01-05 | 2023-10-10 | Lg Electronics Inc. | Refrigerator having panel assembly covering opening of outer plate of door |
Also Published As
Publication number | Publication date |
---|---|
CN102741919B (zh) | 2014-12-10 |
EP2532000B1 (en) | 2017-04-26 |
WO2011096694A2 (en) | 2011-08-11 |
EP2544077A1 (en) | 2013-01-09 |
JP5789270B2 (ja) | 2015-10-07 |
US20110191680A1 (en) | 2011-08-04 |
US9857920B2 (en) | 2018-01-02 |
EP2532000A4 (en) | 2013-10-16 |
WO2011096694A3 (en) | 2011-11-10 |
CN102741919A (zh) | 2012-10-17 |
KR101678549B1 (ko) | 2016-11-23 |
EP2544077B1 (en) | 2018-05-16 |
EP2532000A2 (en) | 2012-12-12 |
JP2013519132A (ja) | 2013-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101678549B1 (ko) | 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 | |
CN102890557B (zh) | 用于响应于麦克风输出的触摸手势检测的方法和系统 | |
US11175698B2 (en) | Methods and systems for processing touch inputs based on touch type and touch intensity | |
US10860132B2 (en) | Identifying a contact type | |
CN106708254B (zh) | 检测器 | |
US9524063B2 (en) | Detection of a number of touch contacts of a multi-touch input | |
CN109256146B (zh) | 音频检测方法、装置及存储介质 | |
KR101654008B1 (ko) | 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 | |
US20120120014A1 (en) | Method and device for locating at least one touch on a touch-sensitive surface of an object | |
KR20090127544A (ko) | 터치 센서와 가속도 센서를 이용한 사용자의 터치패턴 인식시스템 | |
Hwang et al. | PseudoButton: Enabling pressure-sensitive interaction by repurposing microphone on mobile device | |
CN110162193A (zh) | 一种触碰定位装置及方法 | |
CN103344703A (zh) | 一种检测终端设备放置位置所属介质材料的方法 | |
WO2019185015A1 (zh) | 一种压电传感器信号噪声去除方法 | |
Iravantchi et al. | SAWSense: Using surface acoustic waves for surface-bound event recognition | |
TWI500024B (zh) | Sound wave identification system and its method | |
JP2014099073A (ja) | 電子機器、その制御方法及びプログラム | |
TWI472992B (zh) | 運用於電子產品的聲學式觸控裝置及其觸控方法 | |
TWI716029B (zh) | 隨選聲音片段偵測方法 | |
US20240143164A1 (en) | Leveraging Surface Acoustic Wave For Detecting Gestures | |
KR101614844B1 (ko) | 사물 터치 감지 시스템 및 사물 터치 감지 방법 | |
Chowdhury et al. | Extended touch mobile user interfaces through sensor fusion | |
WO2013009264A1 (en) | A method of estimating time difference of arrival | |
TR201905862A2 (tr) | Bir dokunma tespit usulü. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |