KR20110038794A - 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 - Google Patents

음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 Download PDF

Info

Publication number
KR20110038794A
KR20110038794A KR1020090095958A KR20090095958A KR20110038794A KR 20110038794 A KR20110038794 A KR 20110038794A KR 1020090095958 A KR1020090095958 A KR 1020090095958A KR 20090095958 A KR20090095958 A KR 20090095958A KR 20110038794 A KR20110038794 A KR 20110038794A
Authority
KR
South Korea
Prior art keywords
sound signal
signal
mobile device
acoustic
signal processing
Prior art date
Application number
KR1020090095958A
Other languages
English (en)
Other versions
KR101654008B1 (ko
Inventor
이호섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090095958A priority Critical patent/KR101654008B1/ko
Priority to US12/829,646 priority patent/US8928630B2/en
Publication of KR20110038794A publication Critical patent/KR20110038794A/ko
Application granted granted Critical
Publication of KR101654008B1 publication Critical patent/KR101654008B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

음향신호 처리를 이용한 모바일 기기가 제공된다. 모바일 기기는 뒷면을 통해 감지된 음향신호를 이용하여 터치가 입력된 위치를 계산하고, 계산된 위치로부터 문자를 인식함으로써, 인식된 문자에 해당하는 기능을 용이하게 수행할 수 있다. 특히, 모바일 기기는 음향신호를 세그먼트로 구분하고, 구분된 세그먼트별로 위치 계산 알고리즘을 적용하여 터치가 입력된 위치에 대한 연속적인 좌표값을 구할 수 있도록 한다. 또한, 모바일 기기는 접촉되어 있는 객체를 통해 감지된 음향신호를 이용하여 터치가 입력된 위치를 계산하고, 계산된 위치를 형상으로 인식함으로써, 인식된 형상을 화면에 표시할 수 있다.
음향신호, 위치, 터치스크린, 모바일 기기, 세그먼트, 문자, 형상, 기능

Description

음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법{MOBILE DEVICE USING ACOUSTIC SIGNAL PROCESSING AND ACOUSTIC SIGNAL PROCESSING METHOD PERFORMED BY THE MOBILE DEVICE}
아래의 실시예들은 모바일 기기에서 음향신호를 처리하기 위한 기술에 관한 것이다.
모바일 기기에서 사용하는 사용자 인터페이스(UI) 기술이 다양해지고, 모바일 기기의 성능이 향성됨에 따라, 사용자들은 더 편리하고 자연스러운 방식의 UI를 사용하여 모바일 기기를 제어하고 싶어한다. 이러한 점에서 터치기술은 기존 키패드를 대체하여 사용자에게 재미와 편리함을 동시에 제공하고 있다.
하지만, 터치기술은 모바일 기기의 터치스크린(Touch Screen) 자체를 터치해야만 입력으로 인식하기 때문에 여러가지 문제점이 있다. 예를 들어, 잦은 입력으로 인해 모바일 기기 외형에 변화를 줄 수도 있고, 무리한 힘을 준 경우에는 터치스크린에 손상을 입힐 수 있다. 또한, 모바일 기기의 특성상 소형화해야 하기 때문에, 사용자 입력을 위한 터치스크린의 크기에 제약이 따른다. 또한, 사용자는 입력을 위해 반드시 모바일 기기를 파지(把持)하고 주시해야 하므로, 장기간 사용 시, 신체적 피로가 누적될 수 있다.
한편, 모바일 기기는 음향센서를 사용한 UI 기술을 통해 사용자에게 새로운 방식의 UI를 제공할 수 있다.
도 1은 종래의 모바일 인터페이스 기술을 나태낸 도면이다.
도 1을 참고하면, APR(Acoustic Pulse Recognition, 110) 기술은 표면에 음향센서를 부착한 상태에서, 표면의 특정부분을 터치할 때 나는 고유한 소리를 저장한 후, 이후, 사용자가 해당 부분을 터치할 때 나는 소리와 저장된 소리를 비교함으로써, 터치 위치를 파악할 수 있다. 그러나, APR(110) 기술은 문자나 그림과 같은 복잡한 터치형태는 인식이 불가능하고, 단순이 터치한 위치만을 파악할 수 있다. 또한, 표면에 부착한 음향센서가 많지 않을 경우, 파악할 수 있는 터치 위치의 수가 적다는 문제점이 있다. 또한 터치가능범위가 해당 기기 표면 내로 한정된다는 단점도 있다.
또는, SAW(Surface Acoustic Wave, 120) 기술은 표면에 음파를 발사하는 트랜스미터(Transmitter), 일정한 간격으로 음파를 반사시키는 리플렉터(Reflector) 및 리시버(Receiver)를 부착한 상태에서, 손가락, 터치팬 같은 물체가 음파의 진행 경로를 방해하게 될 때, 그 지점을 계산하여 터치 위치를 파악할 수 있다. 그러나, 이러한 SAW(120) 기술도 문자나 그림과 같은 복잡한 터치형태는 인식이 불가능하고, 단순이 터치한 위치만을 파악할 수 있다는 문제점이 있다. 또한 터치가능범위가 해당 기기 표면 내로 한정된다는 단점도 있다.
본 발명의 일실시예에 따른 음향신호 처리를 이용한 모바일 기기는 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하는 감지부, 상기 감지된 음향신호를 신호 처리하는 음향신호 처리부, 상기 신호 처리한 음향신호를 이용하여 상기 터치가 입력된 위치를 계산하는 음향신호 위치 결정부, 및 상기 계산된 위치로부터 문자를 인식하는 문자 인식부를 포함한다.
이때, 상기 감지부는 상기 음향신호를 감지하기 위한, 소음센서, 진동센서, 또는 초음파센서 중 적어도 하나를 포함할 수 있다.
이때, 상기 음향신호 처리부는 상기 감지된 음향신호를 증폭 또는 필터링할 수 있다. 또한, 상기 음향신호 처리부는 상기 감지된 음향신호를 표본화, 양자화 또는 부호화 중 어느 하나를 수행하여 디지털 음향신호로 변환할 수 있다.
이때, 상기 음향신호 위치 결정부는 상기 감지부에 상기 음향신호가 도달하는 시간에 기초하여, 위치 계산 알고리즘인 쌍곡선 위치결정법을 이용하여 상기 위치를 계산할 수 있다. 더욱 상세하게, 상기 음향신호 위치 결정부는 상기 음향신호를 세그먼트로 구분하고, 구분된 세그먼트별로 상기 위치 계산 알고리즘을 적용하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출할 수 있다.
이때, 상기 감지부는 복수의 음향센서쌍을 포함하고, 상기 음향신호 위치 결정부는 상기 음향신호가 상기 복수의 음향센서쌍에 도달하는 시간차를 측정하고, 상기 측정된 시간차를 이용하여 상기 위치의 좌표값을 산출할 수 있다.
이때, 상기 문자 인식부는 상기 계산된 위치의 연속적인 좌표값을 입력으로 문자로서 인식할 수 있다.
이때, 음향신호 처리를 이용한 모바일 기기는 사용자로부터 상기 인식된 문자와 연동하여 수행할 기능을 설정받는 사용자 설정부, 및 상기 사용자 설정부를 참고하여 상기 인식된 문자에 해당하는 기능을 수행하는 기능 실행부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 음향신호 처리를 이용한 모바일 기기는 모바일 기기와 접촉된 객체에 대한 터치 이벤트의 발생에 따른 음향신호를 감지하는 감지부, 상기 감지된 음향신호를 신호 처리하는 음향신호 처리부, 상기 신호 처리한 음향신호를 이용하여 상기 터치 이벤트가 발생한 위치를 계산하는 음향신호 위치 결정부, 및 상기 계산된 위치를 연속적인 형상으로 인식하는 형상 인식부를 포함한다.
본 발명의 일실시예에 따른 음향 신호 처리 방법은 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하는 단계, 상기 감지된 음향신호를 신호 처리하는 단계, 상기 신호 처리된 음향신호를 이용하여 상기 터치한 위치를 계산하는 단계, 및 상기 계산된 위치를 이용하여 기능을 수행하는 단계를 포함한다.
본 발명의 실시예들에 따르면, 모바일 기기 이면을 통해 감지된 음향신호를 이용하여 터치가 입력된 위치를 문자로서 인식함으로써, 인식된 문자에 해당하는 기능을 용이하게 수행할 수 있다.
또한, 본 발명의 실시예들에 따르면, 음향신호가 복수의 음향센서쌍에 도달하는 시간차를 측정하고, 측정된 시간차를 이용하여 모바일 기기에 입력된 터치 위치의 좌표값을 산출할 수 있다.
또한, 본 발명의 실시예들에 따르면, 모바일 기기에 접촉되어 있는 객체를 통해 감지된 음향신호를 형상으로 인식하고, 인식된 형상을 화면에 표시함으로써, 다양한 입력방식을 제공할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의　실시예들을 상세하게 설명한다.　 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.　 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 음향신호 처리를 이용한 모바일 기기를 나타낸 블록도이다.
도 2를 참조하면, 음향신호 처리를 이용한 모바일 기기(200)는 감지부(210), 음향신호 처리부(220), 음향신호 위치 결정부(230), 문자 인식부(240), 기능 실행부(250), 사용자 설정부(260), 저장부(270), 형상 인식부(280), 디스플레이부(290), 및 진동부(291)를 포함할 수 있다.
감지부(210)는 모바일 기기(200) 이면에 입력되는 터치를 음향신호로서 감지한다. 이때, 감지부(210)는 상기 음향신호를 감지하기 위한, 소음센서, 진동센서, 또는 초음파센서 중 적어도 하나를 포함할 수 있다. 소음센서, 진동센서 및 초음파센서는 모두 음향신호를 감지하는 음향센서로서, 음향신호를 감지하는 방법 이 각각 상이하다.
이러한, 감지부(210)는 모바일 기기(200) 뒷면에 부착되어, 모바일 기기(200) 내부 또는 외부에서 발생한 아날로그 음향신호를 감지하고, 감지된 음향신호를 음향신호 처리부(220)로 전달할 수 있다. 예컨대, 모바일 기기(200)는 감지부(210)로서 4개의 음향센서를 각 모서리에 포함할 수 있다.
음향신호 처리부(220)는 상기 감지된 음향신호를 신호 처리한다. 이러한, 음향신호 처리부(DSP: Digital Signal Processing, 220)는 상기 감지된 음향신호가 약한 경우, 증폭(Amplification)하여 음향신호를 크게 만들 수 있다. 또는, 음향신호 처리부(220)는 상기 음향신호로부터 잡음을 제거하거나, 특정 주파수 대역별로 음향신호를 선별적으로 수신하는 필터링(Filtering)을 수행할 수도 있다. 또는, 음향신호 처리부(220)는 상기 감지된 음향신호를 표본화(Sampling), 양자화(Quantization) 또는 부호화(Encoding) 중 어느 하나를 수행하여 아날로그 음향신호에서 디지털 음향신호로 변환할 수 있다.
음향신호 위치 결정부(230)는 감지부(210)에 상기 음향신호가 도달하는 시간에 기초하여, 위치 계산 알고리즘인 쌍곡선 위치결정법(Multilateration)을 이용하여 상기 위치를 계산한다. 예컨대, 음향신호 위치 결정부(230)는 상기 신호 처리된 음향신호를 세그먼트(Segment)로 구분하고, 구분된 세그먼트별로 상기 위치 계산 알고리즘을 적용하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출할 수 있다.
실시예로, 감지부(210)가 복수의 음향센서쌍을 포함하는 경우, 음향신호 위 치 결정부(230)는 상기 음향신호가 상기 복수의 음향센서쌍에 도달하는 시간차를 측정하고, 상기 측정된 시간차를 이용하여 상기 위치의 좌표값을 산출할 수 있다.
문자 인식부(240)는 상기 계산된 위치로부터 문자를 인식한다. 이때, 문자 인식부(240)는 상기 계산된 위치의 연속적인 좌표값을 입력으로 문자로서 인식할 수 있다.
이후, 기능 실행부(250)는 상기 인식된 문자에 해당하는 기능을 수행한다. 다만, 사용자는 상기 문자와 연동하여 수행할 기능을 미리 설정할 수 있다. 이에, 사용자 설정부(260)는 사용자로부터 상기 문자와 연동하여 수행할 기능을 설정받는다. 저장부(270)는 상기 설정된 기능에 상응하는 문자를 저장한다. 이에 따라, 기능 실행부(250)는 저장부(270)를 참고하여 상기 인식된 문자에 해당하는 기능을 수행할 수 있다.
도 3은 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하여, 문자로 인식하는 일례를 도시한 도면이다.
도 3을 참조하여, 모바일 기기(200)는 감지부(210)로서 4개의 음향센서를 각 모서리에 포함할 수 있다. 4개의 각 음향센서는 좌표값이 각각 (x1,y1), (x2,y2), (x3,y3), 및 (x4,y4)이고, 상기 터치가 발생한 위치의 좌표값은 (x, y)일 수 있다. 음향신호 위치 결정부(230)는 각 음향센서에 음향신호가 도달하는 시간차에 기초하여 쌍곡선 위치결정법을 통해 상기 위치를 계산할 수 있다.
예컨대, 문자 인식부(240)는 상기 계산된 위치로부터 문자 "V"를 인식한 경 우, 기능 실행부(250)는 상기 인식된 문자 "V"에 해당하는 기능으로 MP 3를 재생할 수 있다. 또는, 문자 인식부(240)는 상기 계산된 위치로부터 문자 "X"를 인식한 경우, 기능 실행부(250)는 상기 인식된 문자 "X"에 해당하는 기능으로 모바일 기기(200)의 전원을 끌 수 있다.
도 4는 모바일 기기에서 음향신호를 이용하여, 터치가 입력된 위치를 계산하는 일례를 도시한 도면이다.
도 4를 참조하여, 음향신호 위치 결정부(230)는 다음과 같은 두 개의 수학식을 이용하여 상기 터치가 발생한 위치의 좌표값을 산출할 수 있다.
Figure 112009061881399-PAT00001
Figure 112009061881399-PAT00002
여기서, 좌표값 (x1,y1), (x2,y2), (x3,y3), 및 (x4,y4)은 모바일 기기(200)에 포함된 4개 음향센서(①,②,③,④)의 좌표값이고, (x, y)는 터치가 발생한 위치의 좌표값이며, v는 모바일 기기(200) 이면에서 소리가 전파되는 속도이다.
음향신호 위치 결정부(230)는 수학식 1로부터 터치가 발생한 위치로부터 음향센서 ①과 음향센서 ③에 음향신호가 도달하는 시간차(
Figure 112009061881399-PAT00003
)를 측정하고, 수학식 2로부터 터치가 발생한 위치로부터 음향센서 ②와 음향센서 ④에 음향신호가 도달하는 시간차(
Figure 112009061881399-PAT00004
)를 측정할 수 있다. 음향신호 위치 결정부(230)는 상기 측정된 시간차를 이용하여 상기 위치의 좌표값을 산출할 수 있다.
실시예로, 음향신호 위치 결정부(230)는 상기 음향신호를 세그먼트(segment 1, segment 2, ... segment n)로 구분하고, 구분된 각 세그먼트에서의 음향신호가 도달하는 시간차를 적용하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출할 수 있다. 예컨대, 음향신호 위치 결정부(230)는 segment 1의 좌표값(x1,y1), segment 2의 좌표값(x2,y2), ... segment n의 좌표값(xn,yn)을 구하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출할 수 있다.
도 5는 모바일 기기와 접촉된 객체를 통해 발생된 터치 이벤트에 따른 음향신호를 감지하여, 형상으로 인식하는 일례를 도시한 도면이다.
도 5를 참조하여, 감지부(210)는 모바일 기기(200)와 접촉된 객체(500)에 대한 터치 이벤트의 발생에 따른 음향신호를 감지한다. 즉, 감지부(210)는 모바일 기기(200)가 놓여진 나무 책상이나, 책, 철판 등의 재질이 각각 다른 객체(500)에서 발생한 터치 이벤트를 음향신호로서 감지할 수 있다. 예컨대, 사용자는 모바일 기기(200)가 테이블에 접촉된 상태에서, 테이블(500)을 터치할 수 있다. 감지 부(210)는 테이블(500)을 터치하는 것을 터치 이벤트가 발생한 것으로 해석할 수 있다.
상기 음향신호가 감지되면, 진동부(291)는 진동신호를 발생한다. 예컨대, 진동부(291)는 모바일 기기(200) 중앙에 배치될 수 있다.
이에 따라, 음향신호 처리부(220)는 감지부(210)와 진동부(291)간의 '거리'와 상기 진동신호가 감지부(210)에 의해 감지되는 '시간'에 기초하여 객체(500)로부터 상기 음향신호가 전달되는 전달속도를 측정한다.
예컨대, 고체를 통해 전달되는 음향신호의 전달속도는 객체(500)의 종류 및 상태에 따라 상이하다. 따라서, 사용자가 모바일 기기(200)가 아닌, 모바일 기기(200)에 접촉된 객체(500)에서 음향신호를 발생시키는 경우, 음향신호를 전달하는 객체(500)에 따른 현재 전달속도를 측정해야 한다. 그러나, 도 3과 같이, 모바일 기기(200) 이면을 통해 직접 음향신호를 발생시키는 경우, 객체가 모바일 기기(200)의 외부재질로 고정되므로, 음향신호 위치 결정부(230)는 미리 저장된 전달속도를 사용할 수 있다.
즉, 음향신호 처리부(220)는 감지부(210)와 진동부(291)간의 '거리(D)' 및 상기 진동신호가 감지부(210)에 의해 감지되는 '시간(T)'를 구할 수 있으므로, 객체(500)로부터 상기 음향신호가 전달되는 전달속도(V)를 측정할 수 있다(거리(D) = 속도(V) × 시간(T)).
이에 따라, 음향신호 위치 결정부(230)는 상기 신호 처리된 음향신호와 상기 측정된 전달속도에 기초하여 위치 계산 알고리즘인 쌍곡선 위치결정법을 통해 상기 터치 이벤트가 발생한 위치를 계산할 수 있다.
형상 인식부(280)는 상기 계산된 위치를 연속적인 형상으로 인식한다. 사용자는 연속적인 좌표값을 갖는 선으로 그림이나 이미지 등의 형상을 표현할 수 있으며, 형상 인식부(280)는 상기 계산된 위치가 연속적인 좌표값을 갖는 경우 형상으로 인식할 수 있다.
디스플레이부(290)는 상기 인식된 형상을 대칭적으로 화면 상에 표시한다. 도시한 바와 같이, 디스플레이부(290)는 상기 인식된 형상 "U"를 화면 상에 표시할 수 있다.
도 6은 본 발명의 일실시예에 따른 모바일 기기에서의 음향 신호 처리 방법을 나타낸 동작 흐름도이다.
음향 신호 처리 방법은 모바일 기기(200) 이면에 입력되는 터치를 음향신호로서 감지한다(610). 예컨대, 모바일 기기(200)는 뒷면 모서리에 4개의 음향센서를 부착하여, 모바일 기기(200) 내부 또는 외부에서 발생한 음향신호를 감지할 수 있다. 이때, 모바일 기기(200)는 접촉되어 있는 객체에서 발생한 터치 이벤트에 대해서도 음향신호를 감지할 수 있다.
음향 신호 처리 방법은 상기 감지된 음향신호를 신호 처리한다(620). 예컨대, 음향 신호 처리 방법은 상기 감지된 음향신호를 증폭하거나, 상기 음향신호로부터 잡음을 제거하거나, 상기 음향신호를 아날로그에서 디지털 음향신호로 변환할 수 있다.
음향 신호 처리 방법은 상기 신호 처리된 음향신호를 이용하여 상기 터치한 위치를 계산한다(630). 예컨대, 음향 신호 처리 방법은 소음센서, 진동센서, 또는 초음파센서 중 어느 하나의 음향센서에 상기 음향신호가 도달하는 시간에 기초하여 위치 계산 알고리즘인 쌍곡선 위치결정법을 이용하여 상기 위치를 계산할 수 있다.
음향 신호 처리 방법은 실시예에 따라, 단계 641 또는 651를 수행할 수 있다.
먼저, 단계 641에서, 음향 신호 처리 방법은 상기 계산된 위치의 좌표값에 대한 연속적인 입력을 문자로서 인식한다. 이후, 음향 신호 처리 방법은 상기 인식된 문자에 해당하는 기능을 수행한다(642). 이때, 음향 신호 처리 방법은 사용자로부터 상기 문자와 연동하여 수행할 기능을 미리 설정받아, 저장부(270)에 저장하고, 저장부(270)를 참조하여 기능을 수행할 수 있다.
또는, 단계 651에서, 음향 신호 처리 방법은 상기 계산된 위치를 연속적인 형상으로 인식한다. 이후, 음향 신호 처리 방법은 상기 인식된 형상을 대칭적으로 화면에 표시한다(652).
도 6에 도시된 음향 신호 처리 방법은 도 2 내지 도 5를 통해 설명된 내용이 그대로 적용될 수 있다. 따라서, 여기서는 상기 음향 신호 처리 방법에 대한 상세한 설명을 생략한다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 종래의 모바일 인터페이스 기술을 나태낸 도면이다.
도 2는 본 발명의 일실시예에 따른 음향신호 처리를 이용한 모바일 기기를 나타낸 블록도이다.
도 3은 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하여, 문자로 인식하는 일례를 도시한 도면이다.
도 4는 모바일 기기에서 음향신호를 이용하여, 터치가 입력된 위치를 계산하는 일례를 도시한 도면이다.
도 5는 모바일 기기와 접촉된 객체를 통해 발생된 터치 이벤트에 따른 음향신호를 감지하여, 형상으로 인식하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 모바일 기기에서의 음향 신호 처리 방법을 나타낸 동작 흐름도이다.

Claims (23)

  1. 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하는 감지부;
    상기 감지된 음향신호를 신호 처리하는 음향신호 처리부;
    상기 신호 처리한 음향신호를 이용하여 상기 터치가 입력된 위치를 계산하는 음향신호 위치 결정부; 및
    상기 계산된 위치로부터 문자를 인식하는 문자 인식부
    를 포함하는 음향신호 처리를 이용한 모바일 기기.
  2. 제1항에 있어서,
    상기 감지부는,
    상기 음향신호를 감지하기 위한, 소음센서, 진동센서, 또는 초음파센서 중 적어도 하나를 포함하는, 음향신호 처리를 이용한 모바일 기기.
  3. 제1항에 있어서,
    상기 음향신호 처리부는,
    상기 감지된 음향신호를 증폭 또는 필터링하는, 음향신호 처리를 이용한 모바일 기기.
  4. 제1항에 있어서,
    상기 음향신호 처리부는,
    상기 감지된 음향신호를 표본화, 양자화 또는 부호화 중 어느 하나를 수행하여 디지털 음향신호로 변환하는, 음향신호 처리를 이용한 모바일 기기.
  5. 제1항에 있어서,
    상기 음향신호 위치 결정부는,
    상기 감지부에 상기 음향신호가 도달하는 시간에 기초하여, 위치 계산 알고리즘인 쌍곡선 위치결정법을 이용하여 상기 위치를 계산하는, 음향신호 처리를 이용한 모바일 기기.
  6. 제5항에 있어서,
    상기 음향신호 위치 결정부는,
    상기 신호 처리된 음향신호를 세그먼트로 구분하고, 구분된 세그먼트별로 상기 위치 계산 알고리즘을 적용하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출하는, 음향신호 처리를 이용한 모바일 기기.
  7. 제1항에 있어서,
    상기 감지부는,
    복수의 음향센서쌍을 포함하고,
    상기 음향신호 위치 결정부는,
    상기 음향신호가 상기 복수의 음향센서쌍에 도달하는 시간차를 측정하고, 상기 측정된 시간차를 이용하여 상기 위치의 좌표값을 산출하는, 음향신호 처리를 이용한 모바일 기기.
  8. 제7항에 있어서,
    상기 음향신호 위치 결정부는,
    수학식 1
    Figure 112009061881399-PAT00005
    수학식 2
    Figure 112009061881399-PAT00006
    를 이용하여 상기 터치가 발생한 위치의 좌표값을 산출하고,
    상기 x, y는 상기 터치가 발생한 위치의 좌표값이고,
    상기 (x1,y1), (x2,y2), (x3,y3), (x4,y4)는 상기 복수의 음향센서쌍의 좌표값인, 음향신호 처리를 이용한 모바일 기기.
  9. 제1항에 있어서,
    상기 문자 인식부는,
    상기 계산된 위치의 연속적인 좌표값을 입력으로 문자로서 인식하는, 음향신호 처리를 이용한 모바일 기기.
  10. 제1항에 있어서,
    사용자로부터 상기 인식된 문자와 연동하여 수행할 기능을 설정받는 사용자 설정부; 및
    상기 사용자 설정부를 참고하여 상기 인식된 문자에 해당하는 기능을 수행하는 기능 실행부
    를 더 포함하는, 음향신호 처리를 이용한 모바일 기기.
  11. 모바일 기기와 접촉된 객체에 대한 터치 이벤트의 발생에 따른 음향신호를 감지하는 감지부;
    상기 감지된 음향신호를 신호 처리하는 음향신호 처리부;
    상기 신호 처리한 음향신호를 이용하여 상기 터치 이벤트가 발생한 위치를 계산하는 음향신호 위치 결정부; 및
    상기 계산된 위치를 연속적인 형상으로 인식하는 형상 인식부
    를 포함하는 음향신호 처리를 이용한 모바일 기기.
  12. 제11항에 있어서,
    상기 음향신호가 감지되면, 진동신호를 발생하는 진동부
    를 더 포함하고,
    상기 음향신호 처리부는,
    상기 감지부와 상기 진동부간의 거리와 상기 진동신호가 상기 감지부에 의해 감지되는 시간에 기초하여 상기 객체로부터 상기 음향신호가 전달되는 전달속도를 측정하는, 음향신호 처리를 이용한 모바일 기기.
  13. 제12항에 있어서,
    상기 음향신호 위치 결정부는,
    상기 신호 처리된 음향신호와 상기 측정된 전달속도에 기초하여 위치 계산 알고리즘인 쌍곡선 위치결정법을 통해 상기 위치를 계산하는, 음향신호 처리를 이용한 모바일 기기.
  14. 제11항에 있어서,
    상기 인식된 형상을 대칭적으로 화면 상에 표시하는 디스플레이부
    를 더 포함하는, 음향신호 처리를 이용한 모바일 기기.
  15. 모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하는 단계;
    상기 감지된 음향신호를 신호 처리하는 단계;
    상기 신호 처리된 음향신호를 이용하여 상기 터치한 위치를 계산하는 단계; 및
    상기 계산된 위치를 이용하여 기능을 수행하는 단계
    를 포함하는 음향 신호 처리 방법.
  16. 제15항에 있어서,
    모바일 기기 이면에 입력되는 터치를 음향신호로서 감지하는 단계는,
    모바일 기기와 접촉된 객체를 터치함에 따라 발생하는 음향신호를 감지하는 단계
    를 포함하는 음향 신호 처리 방법.
  17. 제15항에 있어서,
    상기 감지된 음향신호를 신호 처리하는 단계는,
    상기 감지된 음향신호를 증폭 또는 필터링하는 단계; 또는
    상기 감지된 음향신호를 표본화, 양자화 또는 부호화 중 어느 하나를 수행하여 디지털 음향신호로 변환하는 단계
    를 포함하는 음향 신호 처리 방법.
  18. 제15항에 있어서,
    상기 터치한 위치를 계산하는 단계는,
    상기 신호 처리된 음향신호를 세그먼트로 구분하는 단계; 및
    상기 구분된 세그먼트별로 위치 계산 알고리즘을 적용하여 상기 터치가 입력된 위치에 대한 연속적인 좌표값을 산출하는 단계
    를 포함하는 음향 신호 처리 방법.
  19. 제15항에 있어서,
    상기 터치한 위치를 계산하는 단계는,
    소음센서, 진동센서, 또는 초음파센서 중 어느 하나의 음향센서에 상기 음향신호가 도달하는 시간에 기초하여 위치 계산 알고리즘인, 쌍곡선 위치결정법을 이용하여 상기 위치를 계산하는 단계
    를 포함하는 음향 신호 처리 방법.
  20. 제15항에 있어서,
    상기 터치한 위치를 계산하는 단계는,
    상기 음향신호가 음향신호를 감지하는 복수의 음향센서쌍에 도달하는 시간차를 측정하는 단계; 및
    상기 측정된 시간차를 수학식 1 및 수학식 2에 적용시켜 상기 위치의 좌표값을 산출하는 단계
    를 포함하고,
    수학식 1
    Figure 112009061881399-PAT00007
    수학식 2
    Figure 112009061881399-PAT00008
    이고,
    상기 x, y는 상기 터치가 발생한 위치의 좌표값이고,
    상기 (x1,y1), (x2,y2), (x3,y3), (x4,y4)는 상기 복수의 음향센서쌍의 좌표값인, 음향 신호 처리 방법.
  21. 제15항에 있어서,
    인식되는 문자와 연동하여 수행할 기능을 저장부에 저장하는 단계
    를 더 포함하고,
    상기 계산된 위치를 이용하여 기능을 수행하는 단계는,
    상기 계산된 위치의 좌표값에 대한 연속적인 입력을 문자로서 인식하는 단계; 및
    상기 저장부를 참고하여 상기 인식된 문자에 해당하는 기능을 수행하는 단계
    를 포함하는 음향 신호 처리 방법.
  22. 제15항에 있어서,
    상기 계산된 위치를 연속적인 형상으로 인식하는 단계; 및
    상기 인식된 형상을 대칭적으로 화면에 표시하는 단계
    를 더 포함하는, 음향 신호 처리 방법.
  23. 제15항 내지 제22항 중 어느 한 항의 방법을 수행하기 위한 방법이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020090095958A 2009-10-09 2009-10-09 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 KR101654008B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090095958A KR101654008B1 (ko) 2009-10-09 2009-10-09 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
US12/829,646 US8928630B2 (en) 2009-10-09 2010-07-02 Mobile device and method for processing an acoustic signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090095958A KR101654008B1 (ko) 2009-10-09 2009-10-09 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법

Publications (2)

Publication Number Publication Date
KR20110038794A true KR20110038794A (ko) 2011-04-15
KR101654008B1 KR101654008B1 (ko) 2016-09-09

Family

ID=43854472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090095958A KR101654008B1 (ko) 2009-10-09 2009-10-09 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법

Country Status (2)

Country Link
US (1) US8928630B2 (ko)
KR (1) KR101654008B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448647B2 (en) 2013-04-12 2016-09-20 Samsung Display Co., Ltd. Mobile device and method for operating the same

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678549B1 (ko) * 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
CN102467297A (zh) * 2010-11-11 2012-05-23 富泰华工业（深圳）有限公司 具文本输入功能的电子装置及方法
CN102301322B (zh) * 2011-07-04 2013-08-28 华为终端有限公司 一种实现虚拟手写输入的方法及电子装置
WO2013140130A1 (en) 2012-03-21 2013-09-26 Elliptic Laboratories As Signal processing for acoustic user input
US8995228B2 (en) 2012-10-22 2015-03-31 Symbol Technologies, Inc. Ultrasonic locationing using only time difference of arrival measurements
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
CN104636002B (zh) * 2013-11-14 2019-04-05 中兴通讯股份有限公司 一种触摸屏及终端
WO2016049551A1 (en) * 2014-09-26 2016-03-31 Zte Corporation Method for transmission of the quantized value in wireless communication
FR3066841B1 (fr) 2017-05-29 2020-07-10 Hap2U Procede de commande d'un dispositif nomade
US11392290B2 (en) * 2020-06-26 2022-07-19 Intel Corporation Touch control surfaces for electronic user devices and related methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271835B1 (en) * 1998-09-03 2001-08-07 Nortel Networks Limited Touch-screen input device
US20020075240A1 (en) * 2000-05-29 2002-06-20 Vkb Inc Virtual data entry device and method for input of alphanumeric and other data
US20060152499A1 (en) * 2005-01-10 2006-07-13 Roberts Jerry B Iterative method for determining touch location
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654648A (en) * 1984-12-17 1987-03-31 Herrington Richard A Wireless cursor control system
US5070325A (en) * 1988-03-18 1991-12-03 Canon Kabushiki Kaisha Coordinate input apparatus
US6069594A (en) * 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
US5365516A (en) * 1991-08-16 1994-11-15 Pinpoint Communications, Inc. Communication system and method for determining the location of a transponder unit
JP3385094B2 (ja) 1994-05-23 2003-03-10 松下電器産業株式会社 携帯型情報端末
JP4618840B2 (ja) * 2000-02-21 2011-01-26 株式会社沖データ 座標入力装置
JP4243007B2 (ja) * 2000-06-09 2009-03-25 矢崎総業株式会社 表示機能付多機能スイッチ装置
JP4229576B2 (ja) 2000-06-13 2009-02-25 シャープ株式会社 携帯通信端末装置
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
AU2003244407A1 (en) * 2002-02-06 2003-09-02 Soundtouch Limited Touch pad
JP4146188B2 (ja) * 2002-08-15 2008-09-03 富士通株式会社 超音波型座標入力装置
JP2004280412A (ja) 2003-03-14 2004-10-07 Sanyo Electric Co Ltd 携帯情報端末装置
JP2004287949A (ja) 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 携帯情報端末装置
US7411584B2 (en) * 2003-12-31 2008-08-12 3M Innovative Properties Company Touch sensitive device employing bending wave vibration sensing and excitation transducers
US20070070046A1 (en) * 2005-09-21 2007-03-29 Leonid Sheynblat Sensor-based touchscreen assembly, handheld portable electronic device having assembly, and method of determining touch location on a display panel
US8077163B2 (en) 2006-08-24 2011-12-13 Qualcomm Incorporated Mobile device with acoustically-driven text input and method thereof
JP2009080745A (ja) 2007-09-27 2009-04-16 Nec Saitama Ltd 電子機器、情報入力方法及び情報入力制御プログラム、手書き入力ペン、及び携帯端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271835B1 (en) * 1998-09-03 2001-08-07 Nortel Networks Limited Touch-screen input device
US20020075240A1 (en) * 2000-05-29 2002-06-20 Vkb Inc Virtual data entry device and method for input of alphanumeric and other data
US20060152499A1 (en) * 2005-01-10 2006-07-13 Roberts Jerry B Iterative method for determining touch location
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448647B2 (en) 2013-04-12 2016-09-20 Samsung Display Co., Ltd. Mobile device and method for operating the same

Also Published As

Publication number Publication date
KR101654008B1 (ko) 2016-09-09
US20110084940A1 (en) 2011-04-14
US8928630B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
KR20110038794A (ko) 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
US10877581B2 (en) Detecting touch input force
US10048811B2 (en) Detecting touch input provided by signal transmitting stylus
JP5789270B2 (ja) 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
US10642366B2 (en) Proximity sensor-based interactions
US8519982B2 (en) Active acoustic touch location for electronic devices
US20120081337A1 (en) Active Acoustic Multi-Touch and Swipe Detection for Electronic Devices
US10162443B2 (en) Virtual keyboard interaction using touch input force
US20120120014A1 (en) Method and device for locating at least one touch on a touch-sensitive surface of an object
US11907464B2 (en) Identifying a contact type
US8982104B1 (en) Touch typing emulator for a flat surface
CN105487725A (zh) 电子设备及其控制方法
KR101340028B1 (ko) 사용자 단말의 터치 검출 방법, 장치 및 이를 이용한 사용자 단말
KR101272158B1 (ko) 휴대용 기기 및 이를 이용한 문자 입력 방법
KR20150056814A (ko) 물체의 터치-감지 표면에서 미리 결정된 경로 형태로 기능의 작동을 검출하는 시스템 및 방법
KR101614844B1 (ko) 사물 터치 감지 시스템 및 사물 터치 감지 방법
KR20150115508A (ko) 감성터치 입력장치 및 이를 이용한 감성터치정보 생성방법

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4