KR101253451B1 - 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법 - Google Patents

음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR101253451B1
KR101253451B1 KR1020120021498A KR20120021498A KR101253451B1 KR 101253451 B1 KR101253451 B1 KR 101253451B1 KR 1020120021498 A KR1020120021498 A KR 1020120021498A KR 20120021498 A KR20120021498 A KR 20120021498A KR 101253451 B1 KR101253451 B1 KR 101253451B1
Authority
KR
South Korea
Prior art keywords
sound source
distance
mobile device
sound
microphone
Prior art date
Application number
KR1020120021498A
Other languages
English (en)
Inventor
최인호
김기철
김지연
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020120021498A priority Critical patent/KR101253451B1/ko
Priority to US13/681,736 priority patent/US20130222230A1/en
Application granted granted Critical
Publication of KR101253451B1 publication Critical patent/KR101253451B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Abstract

본 발명은 모바일 디바이스 및 그 방법에 관한 것으로서, 해결하고자 하는 기술적 과제는 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부 환경 변화를 인식함으로써, 이를 이용하여 터치리스 방식으로 모바일 디바이스의 입력 작업을 수행하는 데 있다.
이를 위해 본 발명은 음원의 소리를 센싱하는 듀얼 마이크로폰; 상기 센싱된 소리를 이용하여 상기 음원까지의 거리를 연산하는 거리 연산부; 상기 음원에 의한 충격량을 센싱하는 자이로스코프 센서; 상기 센싱된 충격량을 이용하여 상기 음원의 방향을 연산하는 방향 연산부; 및, 상기 연산된 거리 및 방향을 이용하여 상기 음원의 위치를 연산하는 음원 위치 연산부를 포함하는 모바일 디바이스 및 그 제어 방법을 제공한다.

Description

음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법{MOBILE DEVICE CAPABLE OF POSITION DETECTING OF SOUND SOURCE AND CONTROL METHOD THEREOF}
본 발명은 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법에 관한 것이다.
일반적으로 모바일 디바이스(mobile device)에서 터치 스크린(touch screen), 터치 패널(touch panel) 또는 태블릿 피씨(tablet PC)를 이용하지 않고 입력하는 방식의 하나로서 기준 신호와 초음파 신호 사이의 시간차를 이용하는 방식이 알려져 있다. 즉, 기준 신호와 초음파 신호를 발생하는 신호 발생 장치가 입력 펜 등에 설치됨으로써, 입력 펜의 절대적인 위치가 측정되는 방식이 알려져 있다. 여기서, 상기 기준 신호는 예를 들면, 적외선 신호 또는 라디오 주파수 신호일 수 있다.
그러나, 이러한 방식에 따른 입력 방식 또는 위치 측정 방식은 모바일 디바이스에 별도로 적외선, 라디오 주파수 및 초음파를 수신할 수 있는 각종 수신 센서를 설치하여야 하는 문제점이 있다.
일례로, 초음파 수신 센서를 설치하는 방식으로 위치 측정을 수행하고자 하는 경우, 모바일 디바이스에 복수의 초음파 수신 센서를 설치하고, 위치 측정이 종료된 경우에 설치된 초음파 수신 센서를 다시 제거하는 방식이나, 모바일 디바이스의 제조 시에 초음파 수신 센서를 직접 설치하는 방식이 있다.
그러나 전자의 경우 별도의 초음파 수신 센서 또는 초음파 수신 센서가 설치된 프레임 등을 휴대하여야 하는 불편함이 존재하고, 후자의 경우에는 고도로 소형화 추세에 있는 모바일 디바이스의 내부에 일부의 사용자가 이용하는 위치 측정 및 입력을 위한 다수의 초음파 수신 센서를 설치하는 것은 현실적으로 어렵다.
전술한 문제를 해결하기 위해 본 발명은 모바일 디바이스에 구비된 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부의 음원 위치를 인식할 수 있는 모바일 디바이스 및 그 제어 방법을 제공한다.
또한, 본 발명은 모바일 디바이스에 구비된 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부의 음원 위치를 인식함으로써 새로운 터치리스 입력 방식을 제공하고자 한다.
본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스는 음원의 소리를 센싱하는 듀얼 마이크로폰; 상기 센싱된 소리를 이용하여 상기 음원까지의 거리를 연산하는 거리 연산부; 상기 음원에 의한 충격량을 센싱하는 자이로스코프 센서; 상기 센싱된 충격량을 이용하여 상기 음원의 방향을 연산하는 방향 연산부; 및, 상기 연산된 거리 및 방향을 이용하여 상기 음원의 위치를 연산하는 음원 위치 연산부를 포함한다.
상기 듀얼 마이크로폰은 상호간 이격된 제1마이크로폰 및 제2마이크로폰을 포함할 수 있다. 상기 거리 연산부는 상기 음원으로부터 상기 제1,2마이크로폰으로부터 입력되는 소리의 시간차를 이용해 상기 음원까지의 거리를 연산할 수 있다.
본 발명은 상기 듀얼 마이크로폰에 입력된 소리를 PCM(pulse code modulation) 디지털 데이터로 변환하여 상기 거리 연산부에 입력하는 데이터 변환부를 더 포함할 수 있다.
본 발명은 상기 자이로스코프 센서에 입력된 충격량을 각속도 디지털 데이터로 변환하여 상기 방향 연산부에 입력하는 데이터 변환부를 더 포함할 수 있다.
본 발명은 상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 자이로스코프 센서가 충격량을 센싱할 경우에만, 상기 음원까지의 거리 데이터 및 상기 음원의 방향 데이터를 상기 음원 위치 연산부에 입력하는 검증부를 더 포함할 수 있다.
본 발명은 상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 모바일 디바이스가 상기 음원의 방향을 지시하여 방향 데이터를 제공하는 경우, 상기 음원까지의 거리 데이터 및 상기 음원의 방향 데이터를 상기 음원 위치 연산부에 입력하는 검증부를 더 포함할 수 있다.
상기 거리 연산부는 상기 음원까지의 거리를 2차 방정식의 해인 포물선 형태로 얻고, 상기 방향 연산부는 상기 음원의 방향을 1차 방정식의 해인 직선 형태로 얻으며, 상기 음원 위치 연산부는 상기 포물선 및 상기 직선에 의한 교차점을 상기 음원의 위치로 결정할 수 있다.
본 발명은 상기 음원 위치에 따라 미리 정해진 이벤트가 실행되도록 상기 음원 위치 연산부에 의한 음원 위치 데이터가 전송되는 이벤트 구동부를 더 포함할 수 있다.
상기 이벤트 구동부는 통신을 위한 위치 추적, 패턴 언락(pattern unlock), 홀드(hold) 해제, 통화 수신, 통화 거절, 브라우저 제스처(browser), 게임 또는 거리 측정 중 어느 하나가 가능하도록 할 수 있다.
본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법은 듀얼 마이크로폰을 이용하여 음원의 소리를 센싱하는 단계; 상기 센싱된 소리를 이용하여 상기 음원까지의 거리를 연산하는 단계; 자이로스코프 센서를 이용하여 상기 음원에 의한 충격량을 센싱하는 단계; 상기 센싱된 충격량을 이용하여 상기 음원의 방향을 연산하는 단계; 및, 상기 연산된 거리 및 방향을 이용하여 상기 음원의 위치를 연산하는 단계를 포함한다.
상기 듀얼 마이크로폰은 상호간 이격된 제1마이크로폰 및 제2마이크로폰을 포함할 수 있다. 상기 거리를 연산하는 단계는 상기 음원으로부터 상기 제1,2마이크로폰으로 입력되는 소리의 시간차를 이용해 상기 음원까지의 거리를 연산할 수 있다.
본 발명은 상기 듀얼 마이크로폰에 입력된 소리를 PCM(pulse code modulation) 디지털 데이터로 변환하는 단계를 더 포함할 수 있다.
본 발명은 상기 자이로스코프 센서에 입력된 충격량을 각속도 디지털 데이터로 변환하는 단계를 더 포함할 수 있다.
본 발명은 상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 자이로스코프 센서가 충격량을 센싱하였는지 검증하는 단계를 더 포함할 수 있다.
본 발명은 상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 모바일 디바이스가 상기 음원의 방향을 지시하여 방향 데이터를 제공하였는지 검증하는 단계를 더 포함할 수 있다.
상기 거리 연산에 의해 상기 음원까지의 거리를 2차 방정식의 해인 포물선 형태로 얻고, 상기 방향 연산에 의해 상기 음원의 방향을 1차 방정식의 해인 직선 형태로 얻으며, 상기 음원 위치 연산은 상기 포물선 및 상기 직선에 의한 교차점을 상기 음원의 위치로 결정할 수 있다.
상기 음원 위치에 따라 미리 정해진 이벤트가 실행될 수 있다.
상기 이벤트는 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정 이벤트중 어느 하나일 수 있다.
본 발명의 일 실시예는 모바일 디바이스에 구비된 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부의 음원 위치를 인식할 수 있다.
또한, 본 발명의 일 실시예는 모바일 디바이스에 구비된 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부의 음원 위치를 인식함으로써, 터치리스 방식으로 모바일 디바이스에 입력 작업을 수행할 수 있다. 예를 들면, 본 발명의 일 실시예는 모바일 디바이스 주변의 음원 위치를 정확하게 감지함으로써, 이를 이용하여 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정과 같은 다양한 이벤트를 모바일 디바이스의 직접적인 터치없이 터치리스 방식으로 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 구성을 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법을 도시한 순서도이다.
도 3a는 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측의 좌상단을 터치한 상태를 도시한 것이고, 도 3b는 듀얼 마이크로폰에 입력되는 신호 크기를 도시한 그래프이다.
도 4a는 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측의 좌측 및 우측을 터치한 상태를 도시한 것이고, 도 4b 및 도 4c는 듀얼 마이크로폰에 입력되는 신호의 시간차를 도시한 그래프이다.
도 5a는 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측의 좌상단을 터치한 상태를 도시한 것이고, 도 5b는 모바일 디바이스의 변위를 도시한 것이며, 도 5c는 자이로스코프 센서에 입력되는 신호 크기를 도시한 그래프이다.
도 6a는 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측 주변을 순차적으로 터치한 상태를 도시한 것이고, 도 6b는 듀얼 마이크로폰에 입력되는 신호 크기를 도시한 그래프이며, 도 6c는 자이로스코프 센서에 입력되는 신호 크기를 도시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측의 좌상단을 터치했을 경우 듀얼 마이크로폰에 입력되는 데이터의 예상 범위 및 자이로스코프 센서에 입력되는 데이터의 예상 범위를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 방향 센서의 좌표 설명을 위한 도면이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 위치 추정 방법을 도시한 것이다.
도 10a 내지 도 10e는 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 위치 추정 방법을 도시한 것이다.
도 11a 내지 도 11c는 본 발명의 일 실시예에 따른 패턴 언락 방법을 도시한 것이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 홀드 해제 방법을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 통화 수신/거절 방법을 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 브라우저 제스처를 도시한 것이다.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 두더지 게임 방법을 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 거리 측정 방법을 도시한 것이다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른 점자 입력 방법을 도시한 것이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스(100)는 듀얼 마이크로폰(110), 제1데이터 변환부(120), 거리 연산부(130), 자이로스코프 센서(140), 제2데이터 변환부(150), 방향 연산부(160), 검증부(170) 및 음원 위치 연산부(180)를 포함한다. 더불어 본 발명은 이벤트 구동부(190)를 더 포함할 수 있으나, 이로서 본 발명을 한정하는 것은 아니다.
여기서, 모바일 디바이스란 화상 통화, 음성 통화 및 인터넷 검색 등이 가능한 디바이스를 의미하며, 일반적으로 터치 스크린을 갖는 표시 화면 또는 소형 자판을 포함한다. 이러한 모바일 디바이스는 통화뿐만 아니라 각종 기능이 강화된 스마트 폰, UMPC(Ultra Mobile Personal Computer), PDA(Personal Digital Assistants) 및 그 등가물 중에서 선택된 어느 하나일 수 있으나, 본 발명에서 이를 한정하는 것은 아니다. 더불어, 모바일 디바이스(100)는 실질적으로 상술한 구성 요소 이외에도 더 많은 구성 요소를 포함하고 있으나, 여기서는 본 발명에 관계된 일부 구성 요소에 대해서만 설명하기로 한다.
듀얼 마이크로폰(110)은 모바일 디바이스의 상부와 하부, 또는 좌측과 우측에 각각 설치된 제1마이크로폰(111) 및 제2마이크로폰(112)을 포함할 수 있다. 본 발명의 일 실시예에서는 편의상 모바일 디바이스의 상부와 하부에 듀얼 마이크로폰(110)이 설치된 것을 예로 하여 설명한다. 이러한 제1마이크로폰(111) 및 제2마이크로폰(112)은 상호간 일정 거리 이격되어 있으며, 소리가 발생되는 근원지(이하, 음원)로부터 발생하는 소리를 센싱하여 제1데이터 변환부(120)에 전송하는 역할을 한다. 더불어, 상기 듀얼 마이크로폰(110)의 샘플 레이트(sample rate)가 높을 수록 상기 음원까지의 거리값은 더욱 정확하게 센싱된다. 이는 아래에서 다시 설명한다.
한편, 이러한 제1,2마이크로폰(111,112)은 특정 파형(주파수)의 시간차로부터 일정 거리 차를 갖는 지점을 계산할 수 있도록 하고, 이러한 거리 차를 이용하여 모바일 디바이스로부터 음원까지의 거리를 계산할 수 있도록 한다. 즉, 제1,2마이크로폰(111,112)은 상호간 일정 거리 이격되어 있으므로, 특정 영역에 위치된 음원으로부터 소리가 입력될 때 그 입력되는 소리에 시간차가 발생한다. 다르게 설명하면, 제1마이크로폰(111)이 제2마이크로폰(112)보다 음원에 상대적으로 더 가깝게 위치되어 있다면, 제1마이크로폰(111)이 음원으로부터 발생하는 소리를 먼저 센싱하고, 이어서 상기 제2마이크로폰(112)이 센싱한다. 따라서, 이러한 현상을 이용하여 모바일 디바이스로부터 음원까지의 거리를 계산할 수 있게 된다.
제1데이터 변환부(120)는 듀얼 마이크로폰(110)이 센싱한 아날로그 데이터를 PCM 디지털 데이터로 변환하고, 이를 거리 연산부(130)에 출력하는 역할을 한다. 여기서, 제1,2마이크로폰(111,112)으로부터 얻은 데이터는 상술한 바와 같이 상호간 시간차를 갖는 데이터이다.
거리 연산부(130)는 먼저 상기 PCM 디지털 데이터로부터 동일한 파형(동일한 신호) 구간 간의 시간 차이 값을 도출하고, 이어서 상기 시간 차이 값과 상기 소리의 속도값을 이용하여 제1,2마이크로폰(111,112)과 음원 사이의 거리 차이값을 도출하는 역할을 한다. 실질적으로, 이러한 거리 차이값은 2차 방정식(거리의 차가 동일한 점들의 집합)의 해 형태로 얻어짐으로써, 상기 거리 차이값은 대략 포물선 형태로 얻어진다. 좀더 상세한 제1,2마이크로폰(111,112)과 음원 사이의 거리를 도출하는 방법에 대해서는 후술하기로 한다. 더불어, 이러한 거리 차이값은 검증부(170)에 전달된다.
자이로스코프 센서(140)는 모바일 디바이스에 설치되어 있으며, 이는 음원으로부터 발생된 충격량 또는 진동을 센싱하여 제2데이터 변환부(150)에 전송하는 역할을 한다. 외부 음원으로부터 발생된 충격에 의해 실질적으로 모바일 디바이스의 위치가 변화되는데, 이때 자이로스코프 센서(140)는 상기 모바일 디바이스의 각속도 및 변위를 센싱하고, 이를 제2데이터 변환부(150)에 전송한다. 자이로스코프 센서(140)는 상,하,좌,우의 방향 판단뿐만 아니라 기울기의 대,소 비교 판단도 가능하며, 또한 360도 3차원에 대한 측정도 가능하다.
제2데이터 변환부(150)는 자이로스코프 센서(140)로부터 얻은 각각의 축(X,Y,Z)에 대한 각속도를 디지털 데이터로 변환하고, 이를 방향 연산부(160)에 출력한다. 물론, 경우에 따라 제2데이터 변환부(150)는 어느 한 축(X축, Y축 또는 Z축)에 대한 각속도 디지털 데이터만 취하여 연산에 이용할 수도 있다.
방향 연산부(160)는 상기 각속도 데이터로부터 2차원(X,Y) 평면에서 벡터값을 연산하는 역할을 한다. 주지된 바와 같이, 벡터는 크기와 방향을 가지고 있는 물리량이다. 따라서, 방향 연산부(160)에 의한 벡터값은 크기 및 X축으로부터의 각도(방향)를 이용한 1차 방정식의 해 형태로 얻어지고, 이에 따라 상기 방향값은 대략 직선 형태로 얻어진다. 방향값을 도출하는 상세한 방법은 후술하기로 한다. 더불어, 이러한 방향값은 상기 검증부(170)에 전달된다.
검증부(170)는 상기 듀얼 마이크로폰(110) 및 상기 자이로스코프 센서(140)로부터 얻은 데이터가 각각 유효한지 아닌지를 검증한다. 예를 들어, 듀얼 마이크로폰(110)의 센싱값이 없고, 자이로스코프 센서(140)의 센싱값만 있거나, 또는 자이로스코프 센서(140)의 센싱값이 없고, 듀얼 마이크로폰(110)의 센싱값만 있거나, 상기 두개의 입력이 모두 없는 경우에는 음원 위치 연산부(180)가 동작하지 않도록 한다. 즉, 검증부(170)는 듀얼 마이크로폰(110)의 센싱값이 있고, 자이로스코프 센서(140)의 센싱값이 있는 경우에만, 음원 위치 연산부(180)가 동작하도록 한다.
음원 위치 연산부(180)는 거리 연산부(130) 및 방향 연산부(160)로부터 각각 디지털 데이터를 입력받고, 이러한 디지털 데이터를 이용하여 모바일 디바이스의 외부에 위치한 음원의 위치를 정확하게 계산한다. 즉, 듀얼 마이크로폰(110)을 이용하여 얻은 2차 방정식의 해인 포물선과, 자이로스코프 센서(140)를 이용하여 얻은 1차 방정식의 해인 직선을 이용하여, 음원의 위치를 계산한다. 다르게 설명하면, 음원 위치 연산부(180)는 상기 포물선과 상기 직선이 교차하는 지점을 음원의 위치로 결정한다.
한편, 이벤트 구동부(190)는 모바일 디바이스 외측 주변의 가상화된 좌표를 정량화하여 몇개의 블럭으로 구분하고, 특정 블록의 범위 내에 음원이 있는 것으로 판단될 경우, 해당 블럭에 미리 설정되어 있는 이벤트가 실행되도록 한다. 즉, 본 발명의 일 실시예는 모바일 디바이스의 직접적인 터치없이, 모바일 디바이스에 입력 작업을 할 수 있는 터치리스 입력 방식을 제공한다. 예를 들어, 이벤트 구동부(190)는 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정 이벤트중 어느 하나가 실행되게 할 수 있으나, 본 발명에서 이를 한정하는 것은 아니다. 즉, 여기에 개시된 이벤트 외에도 당업자가 본 발명을 읽어본 후에는 다양한 이벤트가 설계될 수 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 의한 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법은 소리 센싱 단계(S100), 소리 데이터 변환 단계(S110), 소리 신호의 시간차 및 거리차 연산 단계(S120), 충격량 센싱 단계(S200), 각속도 데이터 변환 단계(S210), 크기와 방향을 갖는 벡터 연산 단계(S220), 연산값 검증 단계(S300), 검증 통과 여부 판단 단계(S310) 및 음원 위치 추적 연산 단계(S320)를 포함한다. 여기서, 본 발명은 이벤트 구동 단계(S330)를 더 포함할 수 있으나, 이로서 본 발명이 한정되는 것은 아니다.
소리 센싱 단계(S100)에서는, 모바일 디바이스에 설치된 듀얼 마이크로폰(110)을 이용하여 음원, 충격 또는 진동 포인트로부터 발생되는 소리를 센싱한다. 즉, 모바일 디바이스의 상부 및 하부 설치된 제1마이크로폰(111) 및 제2마이크로폰(112)을 이용하여 외부의 음원으로부터 발생되는 소리를 센싱한다.
소리 데이터 변환 단계(S110)에서는, 모바일 디바이스에 설치된 제1데이터 변환부(120)를 이용하여 상기 아날로그 소리 데이터를 PCM 디지털 데이터로 변환한다.
소리 신호의 시간차 및 거리차 연산 단계(S120)에서는, 모바일 디바이스에 설치된 거리 연산부(130)를 이용하여 상기 외부 음원으로부터의 소리 신호에 대한 시간차 및 거리차를 계산한다. 즉, 거리 연산부(130)가 외부 음원의 위치를 2차 방정식의 해인 포물선 형태로 계산하거나, 또는 하기할 음원 위치 연산부(180)가 이러한 계산을 할 수 있도록 관련된 데이터를 전송한다.
충격량 센싱 단계(S200)에서는, 모바일 디바이스에 설치된 자이로스코프 센서(140)를 이용하여 음원으로부터 발생되는 충격량(진동)을 센싱한다. 즉, 자이로스코프 센서(140)를 이용하여 외부 음원의 충격량에 의한 모바일 디바이스의 각속도 및 변위를 센싱한다.
각속도 데이터 변환 단계(S210)에서는, 모바일 디바이스에 설치된 제2데이터 변환부(150)를 이용하여 상기 자이로스코프 센서(140)로부터 얻은 값을 모바일 디바이스의 각속도 디지털 데이터로 변환한다.
크기와 방향을 갖는 벡터 연산 단계(S220)에서는, 모바일 디바이스에 설치된 방향 연산부(160)를 이용하여 상기 각속도 값으로부터 2차원 평면상의 벡터값을 계산한다. 즉, 방향 연산부(160)는 외부 음원의 위치를 1차 방정식의 해인 직선 형태로 계산하거나, 또는 하기할 음원 위치 연산부(180)가 이러한 계산을 할 수 있도록 관련된 데이터를 전송한다.
연산값 검증 단계(S300)에서는, 모바일 디바이스의 검증부(170)에서 상기 거리 차이 값과, 상기 벡터값이 모두 존재하는지 검증한다.
검증 통과 여부 판단 단계(S310)에서는, 모바일 디바이스의 검증부(170)를 통하여 상기 거리 차이 값과 상기 방향 벡터값이 연산에 사용될 수 있을 정도로 충분히 큰 값인지를 판단한다. 여기서, 상기 거리 차이 값과 벡터값이 미리 정해진 기준값보다 작은 경우에는 연산이 수행되지 않는다.
음원 위치 추적 연산 단계(S320)에서는, 모바일 디바이스에 설치된 음원 위치 연산부(180)를 이용하여 모바일 디바이스로부터 실제 음원이 어디에 위치되어 있는지 계산한다. 즉, 상술한 바와 같이 듀얼 마이크로폰(110)을 통하여 구해진 2차 방정식의 해인 포물선과, 자이로스코프 센서(140)를 통하여 구해진 1차 방정식의 해인 직선을 이용하여, 포물선과 직선이 교차하는 지점을 음원의 위치로 계산한다.
이벤트 구동 단계(S330)에서는, 모바일 디바이스에 설치된 이벤트 구동부(190)를 이용하여 미리 정해진 이벤트가 구동되도록 한다. 즉, 모바일 디바이스의 외측 주변의 특정 블럭의 범위에 충격이 가해졌을 경우, 해당 블럭에 미리 설정된 특정 이벤트가 구동되도록 한다. 상술한 바와 같이 이벤트는 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정 이벤트중 어느 하나일 수 있으며, 이로서 본 발명이 한정되지 않는다.
이러한 구성 및 제어 방법에 따른 모바일 디바이스에 있어서, 실제로 모바일 디바이스의 외부 음원에 대한 위치를 도출하는 방법을 상세히 설명하면 다음과 같다.
도 3a에 도시된 바와 같이, 듀얼 마이크로폰 즉, 제1마이크로폰(111)과 제2마이크로폰(112)은 모바일 디바이스의 상부와 하부에 각각 설치될 수 있다. 더불어, 이러한 모바일 디바이스는 탁자 위에 수평하게 위치된 것으로 가정할 수 있다.
이 상태에서, 예를 들어 모바일 디바이스 외측의 좌상단을 터치하면, 도 3b에서와 같은 데이터를 얻을 수 있다. 여기서, X축은 시간이고 Y축은 음원, 충격 또는 진동의 세기이다.
도 3b에 도시된 바와 같이, 상부에 설치된 제1마이크로폰에 입력된 소리의 세기는 하부에 설치된 제2마이크로폰에 입력된 소리의 세기보다 크다. 따라서, 음원은 상부에 설치된 제1마이크로폰에 더 가깝게 위치됨을 알 수 있다.
도 4a에 도시된 바와 같이, 듀얼 마이크로폰 즉, 제1마이크로폰(111)과 제2마이크로폰(112)이 모바일 디바이스의 좌측과 우측에 각각 설치될 수 있다. 이는 실질적으로 도 3a에 도시된 모바일 디바이스를 대략 90도 회전시킨 것과 같다. 더불어, 이러한 모바일 디바이스는 탁자 위에 수평하게 위치된 것으로 가정할 수 있다. 이 상태에서, 예를 들어 모바일 디바이스 외측의 좌측(L) 및 우측(R)을 순차적으로 터치하게 되면, 도 4b 및 도 4c에서와 같은 데이터를 얻을 수 있다. 여기서, X축은 시간이고 Y축은 음원, 충격 또는 진동의 세기이다.
먼저 좌측을 터치한 경우, 도 4b에 도시된 바와 같이, 좌측의 제1마이크로폰이 소리를 먼저 센싱하고, 일정 시간 후에 우측의 제2마이크로폰이 소리를 센싱한다.
또한, 우측을 터치한 경우, 도 4c에 도시된 바와 같이, 우측의 제2마이크로폰이 소리를 먼저 센싱하고, 일정 시간 후에 좌측의 제2마이크로폰이 소리를 센싱한다.
한편, 이러한 시간 지연에 따른 음원으로부터의 제1마이크로폰과 제2마이크로폰 사이의 거리 차를 아래와 같이 계산할 수 있다.
1) 공기중의 소리의 전파 속도: V(t) = 331.5 + (0.61*t)m/s
여기서, t는 섭씨 온도이다.
2) 지연 시간 = 샘플 갯수 * (1/샘플 레이트)
3) 음원으로부터 제1,2마이크로폰의 거리 차 = 소리의 전파 속도 * 지연 시간
여기서, 온도는 25℃, 지연 시간은 0.0003854sec이고, 이에 따라 음원으로으로부터의 거리차는 대략 13.36cm로 계산되었다.
더불어, 샘플 레이트에 따른 거리 차 분해능력은 아래의 표 1과 같다. (15℃ 기준, 340.64m/s)
샘플 레이트(Hz) 거리차 분해 능력(cm)
11025 3.09
22050 1.54
44100 0.77
48000 0.71
64000 0.53
88200 0.39
따라서, 본 발명에 따라 계산된 음원의 위치에 대한 오차 범위는 최대 3.09cm 정도일 수 있고, 샘플 레이트가 높아질 수록 실측 거리와의 오차가 작아짐을 알 수 있다. 따라서, 음원 위치에 대한 오차를 줄이기 위해서는 모바일 디바이스의 다른 기능에 문제가 없는 수준에서 제1,2마이크로폰의 센싱 샘플 레이트가 높게 설정됨이 바람직하다. 더욱이, 이와 같이 샘플 레이트가 높게 설정될수록 더욱 정교한 터치리스 입력이 가능해진다. 다르게 설명하면, 샘플 레이트가 높을수록 모바일 디바이스 외측 주변의 가상화된 좌표를 더욱 정교하게 또는 세밀하게 설정할 수 있다. 따라서, 모바일 디바이스 외측 주변에 더욱 많은 가상의 블록을 설정할 수 있고, 이에 따라 더욱 정교한 터치리스 입력이 가능해진다.
도 5a에 도시된 바와 같이 모바일 디바이스의 외측 좌상단을 터치하면, 도 5b에서와 같이 모바일 디바이스가 탁자(지면) 위에서 상,하 방향으로 진동하게 된다. 즉, 모바일 디바이스가 충격을 받게 된다. 이와 같이 하여, 도 5c에서와 같은 데이터를 얻을 수 있다. 여기서, X축은 시간이고 Y축은 음원, 진동 또는 충격의 세기이다. 더불어, 이러한 데이터는 X축 자이로스코프 센서로부터 얻은 값이다.
도 5c에 도시된 바와 같이, 좌상단을 터치하였기 때문에 충격량은 음(-)의 첫번째 피크가 양(+)의 두번째 피크보다 크게 나타나고, 이에 따라 음원의 위치가 좌측임을 알 수 있다. 물론, 도시하지는 않았으나, 우상단을 터치하였을 경우 충격량은 양(+)의 첫번째 피크가 음(-)의 두번째 피크보다 크게 나타나고, 이에 따라 음원의 위치가 우측임을 알 수 있다.
도 6a에 도시된 바와 같이, 듀얼 마이크로폰 즉, 제1마이크로폰과 제2마이크로폰이 모바일 디바이스의 상부와 하부에 각각 설치될 수 있다. 더불어, 이러한 모바일 디바이스는 탁자 위에 수평하게 위치된 것으로 가정할 수 있다.
도 6a에 도시된 바와 같이, 모바일 디바이스를 중심으로 주변의 A, B, C, D 및 E 영역에 충격을 가하게 되면, 도 6b에서와 같이 상부의 제1마이크로폰과 하부의 제2마이크로폰이 이를 센싱하게 된다. 여기서, X 축은 시간이고, Y축은 음원 또는 충격의 세기이다.
도 6b에 도시된 바와 같이, A 영역 또는 E 영역에 충격을 가한 경우, 상부의 제1마이크로폰이 상대적으로 더 빨리 소리를 센싱하게 되고, B 영역 및 D 영역에 충격을 가한 경우, 상부의 제1마이크로폰 및 하부의 제2마이크로폰이 거의 동일한 시간에 소리를 센싱하게 되며, C 영역에 충격을 가한 경우, 하부의 제2마이크로폰이 상대적으로 더 빨리 소리를 센싱하게 된다. 따라서, 상기와 같이 소리의 센싱에 시간차가 발생됨으로써, 이를 이용하여 음원의 위치를 계산할 수 있게 된다.
더불어, A 영역 또는 E 영역에 충격을 가한 경우, 상부의 제1마이크로폰이 상대적으로 더 큰 소리를 센싱하게 되고, B 영역 및 D 영역에 충격을 가한 경우, 상부의 제1마이크로폰 및 하부의 제2마이크로폰이 거의 동일한 크기의 소리를 센싱하게 되며, C 영역에 충격을 가한 경우, 하부의 제2마이크로폰이 상대적으로 더 큰 소리를 센싱하게 된다. 따라서, 상기와 같이 소리의 센싱에 크기 차이가 발생됨으로써, 이를 이용하여 대략적인 음원의 위치를 계산할 수도 있다.
한편, 도 6c에 도시된 바와 같이, 자이로스코프 센서의 X축(제1,2마이크로폰을 기준으로 한 축)을 기준으로 충격의 세기를 보면, B 영역 또는 D 영역에 충격이 가해졌을 경우 자이로스코프 센서가 상대적으로 큰 충격량을 센싱하게 된다.
아래의 표 2는 자이로스코프 센서의 X축(제1,2마이크로폰을 기준으로 한 축) 값을 기재한 것이다.
A B C D E
1 0.3 0.3 0.3 0.3 0.3
2 0 -40.8 0.1 50.4 0
3 0.2 10.5 0.2 -12.4 0.1
4 -0.1 0 0 0.1 0
도 7은 본 발명의 일 실시예에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스의 제어 방법 중 모바일 디바이스 외측의 좌상단을 터치했을 경우 듀얼 마이크로폰에 입력되는 데이터의 예상 범위 및 자이로스코프 센서에 입력되는 데이터의 예상 범위를 도시한 것이다.
여기서, 듀얼 마이크로폰을 이루는 제1,2마이크로폰은 각각 모바일 디바이스의 상측 및 하측에 설치되어 있으나, 모바일 디바이스의 방향에 따라 좌측 및 우측에 위치한 것과 같은 상태이며, 모바일 디바이스는 탁자 위에 수평하게 올려져 있는 상태로 가정한다.
모바일 디바이스 외측의 좌상단을 터치했을 경우, 듀얼 마이크로폰에 의한 음원의 예상 거리는 2차 방정식의 해인 포물선의 형태로 얻어진다. 즉, 제1마이크로폰과 제2마이크로폰을 연결하는 가상의 직선에 직각인 법선을 중심으로 좌측 및 우측에 각각 2차 방정식의 해인 2개의 포물선이 얻어진다.
좌측과 우측에 각각 얻어진 포물선중 거리차 값의 부호에 의하여 일측의 포물선을 제거할 수 있다. 일례로, P점(음원, 진동 또는 충격 위치)에서 제1마이크로폰까지의 거리차 값이 5이고, P점에서 제2마이크로폰까지의 거리차 값이 10이면, 아래와 같은 수학식의 유도가 가능하다.
P점에서 제1마이크로폰과 제2마이크로폰까지 거리차 = P점에서 제1마이크로폰까지의 거리차 - P점에서 제2마이크로폰까지의 거리차
즉, 5-10 = -5가 연산되고, 연산 결과값이 음수이므로 Y축을 기준으로 양측의 포물선중 오른쪽의 포물선을 제거할 수 있다.
한편, 자이로스코프 센서에 의해 음원의 예상 방향은 1차원 방정식의 해인 크기를 갖는 직선 화살표의 형태로 얻어진다.
이와 같이 하여, 2차 방정식의 포물선과 1차 방정식의 직선이 만나는 지점을 계산함으로써, P점의 위치와 거리를 정확하게 계산할 수 있게 된다. 즉, 음원의 위치와 거리가 정확하게 계산된다.
따라서, 본 발명은 모바일 디바이스에 미리 설치되어 있는 듀얼 마이크로폰과 자이로스코프 센서를 이용하여 외부 음원 위치를 인식함으로써, 터치리스 방식으로 모바일 디바이스에 입력 작업을 수행할 수 있게 된다. 일례로, 아래에 설명될 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정과 같은 다양한 이벤트를 모바일 디바이스의 직접적인 터치없이 터치리스 방식으로 수행할 수 있게 된다.
이하에서는, 상기와 같은 음원의 정확한 위치 및 거리 감지를 이용한 다양한 이벤트 동작을 설명한다. 여기에 설명된 이벤트 동작은 본 발명의 이해를 위한 일례일 뿐이며, 이러한 이벤트 동작으로 본 발명이 한정되는 것은 아니다. 즉, 본 발명의 명세서를 읽어본 당업자라면, 여기에 개시된 것 이외의 다양한 이벤트 동작을 구현할 수 있을 것이다.
도 8은 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 방향 센서의 좌표 설명을 위한 도면이다.
기본적으로 모바일 디바이스에 구비된 방향 센서는 각 축(X,Y,Z)의 좌표에 대해서 각각에 해당하는 값을 받아와서 처리할 수 있다. 즉, 모바일 디바이스는 방향 센서를 이용하여 각도를 측정할 수 있다. 좀더 구체적으로 설명하면, 모바일 디바이스의 화면이 하늘을 향한 상태로 탁자 위에 수평으로 놓여있는　상태를 기준으로　각 축을 중심으로　회전시킨다고 가정하면 아래와 같은 값을 얻을 수 있다.
values[0] : Z 축을 중심으로 회전 (0 <= 방위각(azimuth) < 360)
0 = 북쪽, 90 = 동쪽, 180 = 남쪽, 270 = 서쪽
values[1] : X축을 중심으로 회전 (-180 <= 피치(pitch) <= 180)　
Z축이 Y축 방향으로 향하면 0보다 큰 값
화면이　하늘을 향하고　탁자 위에 수평으로 놓여 있는　　상태 0,
화면이 아래를 향하면　-180　또는 180, 똑바로 세우면　-90,　거꾸로 세우면 +90
values[2] : Y축을 중심으로 회전 (-90 <= 롤(roll) <= 90)　
Z축이 X축 방향으로 향하면 0보다 큰 값
즉, 자이로스코프 센서의 경우 현재 기준점으로부터 움직인 각도만큼의 각속도를 통하여 상대적인 각도의 변화량을 파악하는 반면, 방향 센서의 경우 방위를 파악할 수 있다. 다르게 설명하면, 자이로스코프 센서를 통해서는 상대적인 위치를 파악할 수 있고, 방향 센서는 나침반과 같이 절대적인 위치를 파악할 수 있다. 더불어, 이러한 방향 센서는 모바일 디바이스에 하드웨어적으로 별도 탑재되거나, 또는 방향 센서의 설치없이 자이로스코프 센서 또는 가속도 센서에 다른 기준이 될 수 있는 센서(예를 들면, 지자기 센서)로부터 얻은 데이터를 상호 조합하여 방향 센서로부터 얻은 값 대신 사용할 수 있다.
이와 같이, 방향 센서 또는 지자기 센서 등으로부터 얻은 방향 데이터가 필요한 이유는 예를 들어, 모바일 디바이스를 손에 들고 방향 지시를 하는 경우, 자이로스코프 센서만으로는 정확한 방향 지시가 어렵기 때문이다. 즉, 모바일 디바이스를 손에 들고 방향 지시를 하는 경우 자이로스코프 센서 외에 다른 센서로부터 얻은 데이터를 이용하게 되면, 더욱 정확한 방향 지시가 가능하기 때문이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 위치 추정 방법을 도시한 것이다.
상술한 방향 센서 및 본 발명을 함께 응용하면 2차원 공간상이 아닌 3차원 공간상에서도 다른 모바일 디바이스와 통신을 하기 위한 모바일 디바이스들의 위치를 추정할 수 있다.
사용자는 공간상에서 상대 모바일 디바이스의 위치를 가리키고 상대 모바일 디바이스에서는 소리를 발생하여 사용자의 위치를 추정할 수 있다. 즉, 아래와 같은 순서에 의해 본 발명이 모바일 디바이스간 통신을 위해 응용될 수 있다.
(1) 상대 모바일 디바이스(B,C,D)에서 신호음을 출력한다.
(2) 사용자는 자신의 모바일 디바이스(A)가 상대 모바일 디바이스를 향하도록 기울인다.
(3) 방향 센서를 통하여 자신의 모바일 디바이스(A)의 방향을 판단한다.
즉, 상대 모바일 디바이스와 자신의 모바일 디바이스가 수평 상태로 놓여 2차원 공간상에 있다고 판단하여 거리를 계산한다.
(4) 상대 모바일 디바이스의 거리와 각도를 통해 높이를 계산한다.
(5) 화면에 표시된 특정 모바일 디바이스를 선택할 경우 상대 모바일 디바이스와 통신이 이루어진다.
도 10a 내지 도 10e는 본 발명의 일 실시예에 따른 모바일 디바이스간 통신을 위한 위치 추정 방법을 도시한 것이다.
먼저, 사용자 모바일 디바이스(A)가 상대 모바일 디바이스(D)의 소리를 인식했다고 가정하면, 도 10a에 도시된 바와 같은 예측 범위가 도출된다.
이어서, 소리에 대한 예측 범위가 도출된 후, 사용자 모바일 디바이스(A)는 상대 모바일 디바이스(B,C)를 가리키는 동작을 할 수 있다.
한편, 이러한 동작후 도 10b에 도시된 바와 같이 사용자가 화면 터치를 통해 방향을 직접 가리키거나, 또는 도 10c에 도시된 바와 같이 화면상에 기준 화살표를 보여주고 사용자 모바일 디바이스가 가리키게 할 수 있다.
우선, 도 10b의 경우에는 사용자 모바일 디바이스의 이동이 없으므로 해당 방향과 포물선 간의 예측 범위를 통해 위치를 계산할 수 있다.
또한, 도 10c의 경우에는 사용자 모바일 디바이스의 방향 센서를 통해 구한 이동 각도를 통해 위치를 계산한다.
이와 같이 하여, 도 10d에 도시된 바와 같이, 사용자 모바일 디바이스의 화면에 기준 좌표계를 형성하고, 사용자 모바일 디바이스의 방향이 변할 때마다 상대 모바일 디바이스의 위치를 실시간으로 계산하여 화면에 표시함으로서, 사용자에게 각 상대 모바일 디바이스의 위치를 인지할 수 있게 해준다.
또한, 이와 같이 하여, 도 10e에 도시된 바와 같이, 파일을 전송하고자 하는 상대 모바일 디바이스의 위치를 표시해주고 전송시킬 모바일 디바이스를 선택하여 파일을 전송할 수 있다. 여기서, 파일 전송 방법은 이미 당업자에게 알려져 있는 기존의 통신 방법을 사용할 수 있으므로, 파일 전송 방법 자체에 대한 설명은 생략한다.
도 11a 내지 도 11c는 본 발명의 일 실시예에 따른 패턴 언락 방법을 도시한 것이다.
일반적으로 모바일 디바이스는 도 11a에 도시된 바와 같이, 화면에 표시된 패턴을 이용하여 모바일 디바이스의 잠금을 해제하고 있다.
본 발명을 응용하여 패턴 언락을 터치 대신 모바일 디바이스의 주위를 두드려 수행할 수도 있다. 예를 들어, 패턴은 도 11a에 도시된 바와 같이 9개의 점들로 구성되어 있는데, 첫번째 점부터 4개 이상의 점들을 연결하여 패턴 언락을 할 수 있게 되어 있다.
본 발명의 응용에 의해, 패턴 언락시 모바일 디바이스의 주위 한 곳을 두드리면 그 위치를 패턴의 시작으로 인식하고, 그 기준점으로부터 다음 두드림의 위치를 구분하여 패턴 언락에 적용시킬 수 있다.
즉, 도 11b 및 도 11c에 도시된 바와 같이 모바일 디바이스 주위를 4 ~ 9개로 분할하고, 그 분할된 영역을 두드림으로써 새로운 패턴을 추가할 수 있다. 도 11b는 모바일 디바이스를 중심으로 8분할한 블럭의 상태를 도시한 것이고, 도 11c는 모바일 디바이스의 외측에 9분할한 블럭의 상태를 도시한 것이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 홀드 해제 방법을 도시한 것이다.
도 12a 및 도 12b에 도시된 바와 같이, 모바일 디바이스의 홀드 화면을 직접 접촉하여 해당 아이콘을 손으로 밀거나 당기는 방식 대신, 홀드 화면의 아이콘에 대응하는 방향의 지점을 두드려 홀드 화면을 해제할 수 있다. 사용자의 손이 모바일 디바이스의 화면(터치 패널)에 접촉하여 홀드 화면을 해제할 수 없는 상황에서 원하는 방향을 두드리기만 하면 소리와 충격의 데이터를 분석하여 방향을 판단할 수 있고 방향에 대응하는 아이콘의 기능을 수행하게 해준다.
도 12a의 홀드 화면은 왼쪽 방향을 두드려서 홀드 화면을 해제하여 홈 화면에 진입한 예이며, 도 12b의 홀드 화면은 1시 방향을 두드려서 그 방향에 해당하는 통화 아이콘의 기능을 수행하여 통화 화면에 진입한 예를 보여준다.
도 13은 본 발명의 일 실시예에 따른 통화 수신/거절 방법을 도시한 것이다.
도 13에 도시된 바와 같이, 모바일 디바이스를 중심으로 이벤트 블럭을 4개로 나누고, 전화 수신 시 화면의 직접적인 터치 대신 모바일 디바이스 주위를 두드려 이벤트를 실행한다. 예를 들어, 12시 방향을 두드리면 무음 모드 이벤트가 실행되고, 5시 방향을 두드리면 종료 이벤트가 실행되며, 6시 방향을 두드리면 수신 거절하는 동시에 설정된 거절 메시지를 보내며, 7시 방향을 두드리면 전화 수신 이벤트가 실행된다.
도 14는 본 발명의 일 실시예에 따른 브라우저 제스처를 도시한 것이다.
도 14에 도시된 바와 같이, 본 발명은 모바일 디바이스를 중심으로 이벤트 블럭을 8개로 나누고 기본 탑재된 브라우저에서 화면 터치 대신 모바일 디바이스 주위를 두드려 이벤트를 실행한다.
예를 들어, 9시 방향을 두드리면 탭 이동(왼쪽 한칸 이동) 이벤트가, 11시 방향을 두드리면 북마크 이동 이벤트가, 12시 방향을 한번 두드리면 위로 스코롤(한칸, 스코롤 중이면 정지) 이벤트가, 두번 두드리면 위로 스크롤(계속) 이벤트가, 1시 방향을 두드리면 북마크 추가 이벤트가, 3시 방향을 두드리면 탭 이동(오론쪽 한칸) 이벤트가, 5시 방향을 두드리면 다음 페이지 이벤트가, 6시 방향을 한번 두드리면 아래로 스크롤(한칸, 스크롤 중이면 정지) 이벤트가, 두번 두드리면 아래로 스크롤(계속) 이벤트가, 5시 방향을 두드리면 이전 페이지 이벤트가 실행된다. 물론, 이러한 두드림 블럭별 이벤트는 일례일 뿐이며, 이로서 본 발명이 한정하는 것은 아니다.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 두더지 게임 방법을 도시한 것이다.
본 발명은 상술한 바와 같이 모바일 디바이스와 충격 지점의 위치 및 거리 정보의 획득이 가능하다. 따라서 본 발명은 일례로 두더지 게임이 가능하다.
이를 위해 먼저 충격 인지가 필요하므로, 그 충격을 가한 위치와 모바일 디바이스 상의 가상 두더지 게임 화면 간의 맵핑(mapping)을 수행한다.
이는 상술한 바와 같이 자이로스코프 센서를 통한 충격 인지 및 대략적인 방향의 감지 이후 듀얼 마이크로폰을 통해 좀더 정교한 충격 위치를 감지함으로써 가능하다.
이때 도 15a에서와 같이 사용자에게 실제 충격을 가할 모바일 디바이스 주위와 게임 화면 내의 상대적인 거리 개념을 인식시키기 위한 초기 작업을 통해 두더지 게임 화면에 대한 상대적 거리 개념을 확립할 필요가 있다.
도 15a에 도시된 바와 같이 게임 사용자가 실제 모바일 디바이스 주변과 게임 화면간의 거리 개념을 확립한 이후, 도 15b에와 같이 두더지 게임이 가능하게 된다. 예를 들면, 모바일 디바이스로부터 이격된 6시 방향을 두드리면 게임 화면상에서는 하부 중앙의 두더지를 잡는 것과 같은 이벤트가 실행되고, 모바일 디바이스로부터 근접한 영역을 두드리면 게임 화면상에서는 중앙의 두더지를 잡는 것과 같은 이벤트가 실행된다. 또한, 모바일 디바이스로부터 이격된 3시 방향을 두드리면 게임 화면상에서는 가장 좌측 중앙의 두더지를 잡는 것과 같은 이벤트가 실행되고, 모바일 디바이스로부터 이격된 11시 방향을 두드리면 게임 화면상에서는 가장 좌측 상단의 두더지를 잡는 것과 같은 이벤트가 실행된다.
도 16은 본 발명의 일 실시예에 따른 거리 측정 방법을 도시한 것이다.
도 16에 도시된 바와 같이, 본 발명은 모바일 디바이스와 충격 지점의 위치및 거리 정보의 획득이 가능하다는 점에 착안하여, 거리 측정 이벤트의 실행도 가능하다. 즉, 본 발명은 모바일 디바이스와 충격 지점 사이의 거리(길이) 측정이 가능하다. 다르게 설명하면, 본 발명은 모바일 디바이스에 실 생활에 필요한 거리(길이) 측정 기능의 어플리케이션 탑재가 가능하다.
모바일 디바이스와 특정 충격 지점 사이의 거리를 측정하여 수치화 및 데이터화하여 모바일 디바이스의 화면에 표시함으로써, 실생활 중에 거리 측정이 가능해 진다.
이때, 특별한 도구의 필요 없이 상술한 바와 같이 모바일 디바이스에 내장된 듀얼 마이크로폰 및 자이로스코프 센서를 이용하여 충격량 인가 지점의 거리 측정이 가능해 지고, 이를 이용한 어플리케이션의 활용이 가능해 진다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른 점자 입력 방법을 도시한 것이다.
본 발명은 모바일 디바이스 주변의 충격 지점의 위치 및 거리 정보의 획득이 가능하다는 점을 응용하여, 시각 장애인에 의한 모바일 디바이스 점자 입력이 가능하다. 풀 터치폰으로 디자인 된 최근의 모바일 디바이스는 물리적인 키보드가 없어 시각 장애인이 문자를 입력하는데 어려움이 있다.본 발명은 시각 장애인이 기존에 알고 있는 점자를 토대로 모바일 디바이스에 문자를 입력하는 방법을 제안한다.
점자는 도 17a에 도시된 바와 같이, 6개 점의 조합으로 이루어져 있다. 이와 같은 점자의 특성을 토대로 도 17b에 도시된 바와 같이, 모바일 디바이스의 위치 인식 범위를 0~7까지 나눈 뒤 시각 장애인이 점자 배열과 같이 모바일 디바이스 주변부를 두드림으로써 점자를 입력할 수 있다. 일례로, 1~6은 점자 배열을 인식하는데 이용되고, 0은 점자 하나의 입력이 끝났음을 알리는데 사용될 수 있다.
이상에서 설명한 것은 본 발명에 따른 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100; 음원의 위치를 감지할 수 있는 모바일 디바이스
110; 듀얼 마이크로폰 111; 제1마이크로폰
112; 제2마이크로폰 120; 제1데이터 변환부
130; 거리 연산부 140; 자이로스코프 센서
150; 제2데이터 변환부 160; 방향 연산부
170; 검증부 180; 음원 위치 연산부
190; 이벤트 구동부

Claims (20)

  1. 음원의 소리를 센싱하는 듀얼 마이크로폰;
    상기 센싱된 소리를 이용하여 상기 음원까지의 거리를 연산하는 거리 연산부;
    상기 음원에 의한 충격량을 센싱하는 자이로스코프 센서;
    상기 센싱된 충격량을 이용하여 상기 음원의 방향을 연산하는 방향 연산부; 및
    상기 연산된 거리 및 방향을 이용하여 상기 음원의 위치를 연산하는 음원 위치 연산부를 포함함을 특징으로 하는 모바일 디바이스.
  2. 제 1 항에 있어서,
    상기 듀얼 마이크로폰은 상호간 이격된 제1마이크로폰 및 제2마이크로폰을 포함함을 특징으로 하는 모바일 디바이스.
  3. 제 2 항에 있어서,
    상기 거리 연산부는 상기 음원으로부터 상기 제1,2마이크로폰으로 입력되는 소리의 시간차를 이용해 상기 음원까지의 거리를 연산하는 것을 특징으로 하는 모바일 디바이스.
  4. 제 1 항에 있어서,
    상기 듀얼 마이크로폰에 입력된 소리를 PCM(pulse code modulation) 디지털 데이터로 변환하여 상기 거리 연산부에 입력하는 데이터 변환부를 더 포함함을 특징으로 하는 모바일 디바이스.
  5. 제 2 항에 있어서,
    상기 자이로스코프 센서에 입력된 충격량을 각속도 디지털 데이터로 변환하여 상기 방향 연산부에 입력하는 데이터 변환부를 더 포함함을 특징으로 하는 모바일 디바이스.
  6. 제 2 항에 있어서,
    상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 자이로스코프 센서가 충격량을 센싱할 경우에만, 상기 음원까지의 거리 데이터 및 상기 음원의 방향 데이터를 상기 음원 위치 연산부에 입력하는 검증부를 더 포함함을 특징으로 하는 모바일 디바이스.
  7. 제 1 항에 있어서,
    상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 모바일 디바이스가 상기 음원의 방향을 지시하여 방향 데이터를 제공하는 경우, 상기 음원까지의 거리 데이터 및 상기 음원의 방향 데이터를 상기 음원 위치 연산부에 입력하는 검증부를 더 포함함을 특징으로 하는 모바일 디바이스.
  8. 제 2 항에 있어서,
    상기 거리 연산부는 상기 음원까지의 거리를 2차 방정식의 해인 포물선 형태로 얻고,
    상기 방향 연산부는 상기 음원의 방향을 1차 방정식의 해인 직선 형태로 얻으며,
    상기 음원 위치 연산부는 상기 포물선 및 상기 직선에 의한 교차점을 상기 음원의 위치로 결정함을 특징으로 하는 모바일 디바이스.
  9. 제 1 항에 있어서,
    상기 음원 위치에 따라 미리 정해진 이벤트가 실행되도록 상기 음원 위치 연산부에 의한 음원 위치 데이터가 전송되는 이벤트 구동부를 더 포함함을 특징으로 하는 모바일 디바이스.
  10. 제 9 항에 있어서,
    상기 이벤트 구동부는 통신을 위한 위치 추적, 패턴 언락(pattern unlock), 홀드(hold) 해제, 통화 수신, 통화 거절, 브라우저 제스처(browser), 게임 또는 거리 측정 중 어느 하나가 가능하도록 함을 특징으로 하는 모바일 디바이스.
  11. 듀얼 마이크로폰을 이용하여 음원의 소리를 센싱하는 단계;
    상기 센싱된 소리를 이용하여 상기 음원까지의 거리를 연산하는 단계; 자이로스코프 센서를 이용하여 상기 음원에 의한 충격량을 센싱하는 단계;
    상기 센싱된 충격량을 이용하여 상기 음원의 방향을 연산하는 단계; 및
    상기 연산된 거리 및 방향을 이용하여 상기 음원의 위치를 연산하는 단계를 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  12. 제 11 항에 있어서,
    상기 듀얼 마이크로폰은 상호간 이격된 제1마이크로폰 및 제2마이크로폰을 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  13. 제 11 항에 있어서,
    상기 거리를 연산하는 단계는 상기 음원으로부터 상기 제1,2마이크로폰으로 입력되는 소리의 시간차를 이용해 상기 음원까지의 거리를 연산하는 것을 특징으로 하는 모바일 디바이스의 제어 방법.
  14. 제 11 항에 있어서,
    상기 듀얼 마이크로폰에 입력된 소리를 PCM(pulse code modulation) 디지털 데이터로 변환하는 단계를 더 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  15. 제 12 항에 있어서,
    상기 자이로스코프 센서에 입력된 충격량을 각속도 디지털 데이터로 변환하는 단계를 더 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  16. 제 12 항에 있어서,
    상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 자이로스코프 센서가 충격량을 센싱하였는지 검증하는 단계를 더 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  17. 제 11 항에 있어서,
    상기 듀얼 마이크로폰이 소리를 센싱하고, 상기 모바일 디바이스가 상기 음원의 방향을 지시하여 방향 데이터를 제공하였는지 검증하는 단계를 더 포함함을 특징으로 하는 모바일 디바이스의 제어 방법.
  18. 제 12 항에 있어서,
    상기 거리 연산에 의해 상기 음원까지의 거리를 2차 방정식의 해인 포물선 형태로 얻고,
    상기 방향 연산에 의해 상기 음원의 방향을 1차 방정식의 해인 직선 형태로 얻으며,
    상기 음원 위치 연산은 상기 포물선 및 상기 직선에 의한 교차점을 상기 음원의 위치로 결정함을 특징으로 하는 모바일 디바이스의 제어 방법.
  19. 제 11 항에 있어서,
    상기 음원 위치에 따라 미리 정해진 이벤트가 실행됨을 특징으로 하는 모바일 디바이스의 제어 방법.
  20. 제 19 항에 있어서,
    상기 이벤트는 통신을 위한 위치 추적, 패턴 언락, 홀드 해제, 통화 수신, 통화 거절, 브라우저 제스처, 게임 또는 거리 측정 이벤트중 어느 하나인 것을 특징으로 하는 모바일 디바이스의 제어 방법.
KR1020120021498A 2012-02-29 2012-02-29 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법 KR101253451B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120021498A KR101253451B1 (ko) 2012-02-29 2012-02-29 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법
US13/681,736 US20130222230A1 (en) 2012-02-29 2012-11-20 Mobile device and method for recognizing external input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021498A KR101253451B1 (ko) 2012-02-29 2012-02-29 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR101253451B1 true KR101253451B1 (ko) 2013-04-11

Family

ID=48442891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021498A KR101253451B1 (ko) 2012-02-29 2012-02-29 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법

Country Status (2)

Country Link
US (1) US20130222230A1 (ko)
KR (1) KR101253451B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101458312B1 (ko) * 2013-06-20 2014-11-04 한국과학기술원 소리를 이용한 터치 압력 센싱 방법, 그리고 이를 이용하는 사용자 단말 및 터치 압력 센싱 시스템
KR20180107813A (ko) * 2017-03-22 2018-10-04 주식회사 트리니티랩 휴대 단말기가 자이로 센서를 이용하여 외부 오디오 신호를 식별하는 방법 및 그 휴대 단말기
US10349171B2 (en) 2015-06-09 2019-07-09 Samsung Electronics Co., Ltd. Electronic device, peripheral devices and control method therefor
US11668782B2 (en) 2019-01-08 2023-06-06 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
WO2023106575A1 (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507561B2 (en) * 2013-03-15 2016-11-29 Verizon Patent And Licensing Inc. Method and apparatus for facilitating use of touchscreen devices
US10141929B2 (en) 2013-08-13 2018-11-27 Samsung Electronics Company, Ltd. Processing electromagnetic interference signal using machine learning
US10101869B2 (en) 2013-08-13 2018-10-16 Samsung Electronics Company, Ltd. Identifying device associated with touch event
US10073578B2 (en) 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
IN2013CH06149A (ko) * 2013-12-30 2015-07-03 Samsung Electronics Co Ltd
TWI522639B (zh) * 2014-01-14 2016-02-21 宏碁股份有限公司 位置辨識裝置、位置辨識系統以及位置辨識方法
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
CN105469819A (zh) * 2014-08-20 2016-04-06 中兴通讯股份有限公司 麦克选择方法及装置
KR20160026317A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
CN105812506A (zh) * 2014-12-27 2016-07-27 深圳富泰宏精密工业有限公司 操作方式控制系统与方法
KR20160144817A (ko) * 2015-06-09 2016-12-19 삼성전자주식회사 디스플레이 장치, 포인팅 장치, 포인팅 시스템 및 그 제어 방법
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
KR102549689B1 (ko) * 2015-12-24 2023-06-30 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
KR101740402B1 (ko) * 2016-01-29 2017-05-26 주식회사 인포소닉 음파 신호를 이용한 모바일 어플리케이션 구동 방법 및 이를 구현하기 위한 모바일 어플리케이션 구동 시스템
CN106020597A (zh) * 2016-05-12 2016-10-12 北京金山安全软件有限公司 一种展示信息的方法、装置及电子设备
CN107437420A (zh) * 2016-05-27 2017-12-05 富泰华工业（深圳）有限公司 语音信息的接收方法、系统及装置
FR3066841B1 (fr) * 2017-05-29 2020-07-10 Hap2U Procede de commande d'un dispositif nomade
CN110459239A (zh) * 2019-03-19 2019-11-15 深圳壹秘科技有限公司 基于声音数据的角色分析方法、装置和计算机可读存储介质
CN116419118A (zh) * 2021-12-31 2023-07-11 华为技术有限公司 一种输入检测装置、系统及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006220642A (ja) * 2005-01-12 2006-08-24 Matsushita Electric Works Ltd 位置検出システム
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
JP2009063582A (ja) * 2008-09-22 2009-03-26 Data Tec:Kk センサユニット
JP2010025802A (ja) * 2008-07-22 2010-02-04 National Institute Of Advanced Industrial & Technology 音源探査装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654648A (en) * 1984-12-17 1987-03-31 Herrington Richard A Wireless cursor control system
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US6690618B2 (en) * 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
DE102007016408A1 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
US9639187B2 (en) * 2008-09-22 2017-05-02 Apple Inc. Using vibration to determine the motion of an input device
EP2341414A1 (en) * 2009-12-31 2011-07-06 Sony Computer Entertainment Europe Limited Portable electronic device and method of controlling a portable electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006220642A (ja) * 2005-01-12 2006-08-24 Matsushita Electric Works Ltd 位置検出システム
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
JP2010025802A (ja) * 2008-07-22 2010-02-04 National Institute Of Advanced Industrial & Technology 音源探査装置
JP2009063582A (ja) * 2008-09-22 2009-03-26 Data Tec:Kk センサユニット

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101458312B1 (ko) * 2013-06-20 2014-11-04 한국과학기술원 소리를 이용한 터치 압력 센싱 방법, 그리고 이를 이용하는 사용자 단말 및 터치 압력 센싱 시스템
US10349171B2 (en) 2015-06-09 2019-07-09 Samsung Electronics Co., Ltd. Electronic device, peripheral devices and control method therefor
KR20180107813A (ko) * 2017-03-22 2018-10-04 주식회사 트리니티랩 휴대 단말기가 자이로 센서를 이용하여 외부 오디오 신호를 식별하는 방법 및 그 휴대 단말기
KR101946518B1 (ko) 2017-03-22 2019-04-30 주식회사 트리니티랩 휴대 단말기가 자이로 센서를 이용하여 외부 오디오 신호를 식별하는 방법 및 그 휴대 단말기
US11668782B2 (en) 2019-01-08 2023-06-06 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
WO2023106575A1 (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법

Also Published As

Publication number Publication date
US20130222230A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
KR101253451B1 (ko) 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법
CN105824431B (zh) 信息输入装置与方法
US11216084B2 (en) Method for remote-controlling target apparatus using mobile communication terminal and remote control system thereof
US9870057B1 (en) Gesture detection using an array of short-range communication devices
EP1728142B1 (en) Distinguishing tilt and translation motion components in handheld devices
EP3062208B1 (en) Electronic device and control method thereof
CN100590454C (zh) 用于确保勘测员与勘测应用之间的交互的方法和设备
KR20020059829A (ko) 공간 위치를 결정하는 신호 처리
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
KR100501721B1 (ko) 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
CN105487689A (zh) 一种指环鼠标及利用指环鼠标操控移动终端的方法
EP2752831A1 (en) Input device, display device and method of controlling thereof
US20140125636A1 (en) Electronic pen data input system and electronic pen data input method using the same
US11822731B2 (en) Gesture detection using external sensors
CN110940339A (zh) 一种导航方法及电子设备
US20220365166A1 (en) Method, device and system for determining relative angle between intelligent devices
KR101191264B1 (ko) 정밀위치확인기능이 구비된 이동통신단말기시스템 및 그제어방법
EP2645204B1 (en) Accessory cover for an electronic device and system
CN102722236A (zh) 手持式电子装置的输入装置及其输入方法
KR100866917B1 (ko) 입력장치 및 이를 이용한 이동 단말
Shen et al. Dita: Enabling gesture-based human-device interaction using mobile phone
US20140125635A1 (en) Electronic pen, and electronic pen data input system and method using the same
EP2680552A1 (en) Transmitting of data depention on motion
KR20160101598A (ko) 수지타법입력장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee