KR101630067B1 - 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 - Google Patents
복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 Download PDFInfo
- Publication number
- KR101630067B1 KR101630067B1 KR1020140133491A KR20140133491A KR101630067B1 KR 101630067 B1 KR101630067 B1 KR 101630067B1 KR 1020140133491 A KR1020140133491 A KR 1020140133491A KR 20140133491 A KR20140133491 A KR 20140133491A KR 101630067 B1 KR101630067 B1 KR 101630067B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- mobile device
- signal
- audio data
- gesture
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Telephone Function (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 일 실시예에 따르면, 복수의 모바일 기기를 활용하여 사용자의 위치를 자동으로 인식하고 사용자의 위치에 따라 자동으로 오디오 데이터를 근접 모바일 기기로 전송하거나 모바일 기기는 사용자의 제스처를 인식하여 오디오 데이터의 컨트롤을 용이하게 할 수 있다. 또한 사용자와 근접한 리모트 컨트롤러를 이용하여 오디오 데이터를 컨트롤할 수 있다.
Description
본 발명은 복수의 모바일 기기들로 무선 네트워크를 형성하고 사용자의 위치와 제스처에 따라 오디오 데이터를 컨트롤 하는 방법 및 장치에 관한 것이다.
5.1 서라운드 다채널을 지원하는 오디오 시스템(예컨대, 홈씨어터 등)은 스피커의 위치가 고정된 고가의 장비로, 장비를 구성하는 다수의 스피커는 스테레오 및 후방(rear) 스피커 및 우퍼 스피커로 구성되며, 때로는 거실 외에 다른 장소에도 배치할 수 있다. 핸드폰이나 무선 스피커 등의 모바일 오디오 기기도 다채널 오디오 시스템과 동일 공간 내에 위치하지만 각각 기기들은 무선 네트워크를 통해 연결되어 있지 않다. 현재에는 Bluetooth나 WiFi 무선 네트워크 연결을 이용하여 각 스피커들과 중앙 컨트롤러의 무선 연결 가능하지만, 각 스피커에서 재생되는 오디오 채널은 고정되어 있으므로, 스피커의 이동시에는 새로운 중앙 컨트롤러의 설정이 필요하다.
다양한 오디오 기기들을 선택적으로 이용하여 사용자의 근접한 기기에서 자동으로 오디오 데이터가 재생되는 기능 및 사용자가 이동한 경우에도 오디오 시스템이 이를 파악하여 근접한 모바일 기기로 오디오 데이터를 전송하고, 이를 사용자의 재스쳐로 쉽게 재생할 수 있는 기능은 종래에는 제시되지 않았다.
다양한 오디오 기기들을 선택적으로 이용하여 사용자의 근접한 기기에서 자동으로 오디오 데이터가 재생되는 기능 및 사용자가 이동한 경우에도 오디오 시스템이 이를 파악하여 근접한 모바일 기기로 오디오 데이터를 전송하고, 이를 사용자의 재스쳐로 쉽게 재생할 수 있는 기능은 종래에는 제시되지 않았다.
최근의 스마트 모바일 기기는 고사양 기능을 탑재하고 있으며, 기본적으로 약 20,000 Hz 까지 사운드 재생이 가능한 라우드 스피커(Loud Speaker) 사양을 지원하고 있으며, 고사양 마이크와 모바일 기기의 움직임을 파악할 수 있는 자이로(Gyro) 센서를 탑재하고 있다. 또한 데이터 통신을 위해 WiFi 또는 Bluetooth 등을 이용하여 모바일 기기간에 오디오 데이터의 전송과 수신이 용이해졌다. 따라서 본 발명의 일 실시예로서, 현재의 오디오 재생 시스템이 지원할 수 없는, 스마트 모바일 기기를 이용한 데이터 통신과 컨트롤 기능을 제안하고자 한다.
본 발명의 일 실시예로서 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 장치 및 방법들이 개시된다.
모바일 기기는 음성 통화 등을 지원하는 장거리 무선 통신(Long Distance Wireless Communication) 모듈과 주변 기기와 네트워크을 형성하는 단거리 무선 통신 (Short Distance Wireless Communication) 모듈로 구성된 트랜시버 (Transceiver)를 포함 할 수 있다.
본 발명의 일 실시예에 따라 주변의 모바일 기기의 위치를 계산하기 위해 주변의 모바일 기기로 거리계산 신호를 전송하거나 사용자의 위치나 제스처를 인식하기 위해 사용자에게 비가청 음성 주파수의 전송에 사용되거나 오디오를 재생하는 스피커(예컨대, Loud Speaker)와 주변의 모바일 기기가 전송한 비가청 음성 주파수의 수신과 사용자의 위치나 제스처를 인식하기 위해 반사된 신호를 수신하기 위한 마이크(Microphone)를 포함 할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 모바일 기기의 위치 변경을 감지할 수 있는 가속도 센서(acceleromete), 자이로 센서(gyroscope), 이미지 센서나 사용자의 이동 방향을 파악 할 수 있는 지자기 센서(magnetometer)를 포함하는 센서 (Sensor) 모듈을 포함 할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 오디오 데이타를 저장 할 수 있는 메모리 모듈과 상기 모듈들을 제어 할 수 있는 CPU를 포함 할 수 있다.
본 발명의 일 실시예로서, 복수개의 모바일 기기들은 Bluetooth, WiFi 등의 단거리 무선 통신 모듈을 활용하여 상호간의 무선 네트워크을 형성하고, 모바일 기기에서 거리 측정을 위한 신호를 발생시키고, 이러한 신호에 대한 반사된 신호를 수신하여, 신호의 전송시간과 수신시간의 시간차 및 주파수의 변화 특성을 이용하여 거리를 계산하고 삼각 측량법 등을 활용하여 각각의 모바일 기기의 위치를 계산할 수 있다.
오디오 채널 데이터를 컨트롤 하는 경우, 모바일 기기 중 적어도 하나의 기기는 사용자의 이동 유무를 자동으로 판단하여 모바일 기기의 재생 여부를 판단하거나, 사용자의 제스쳐를 인식하여, 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 등의 다양한 컨트롤이 가능할 수 있다.
이때, 제스처 인식 및 사용자 이동 유무 및 위치를 판단하는 방법은 기기의 스피커에서 발생된 비가청 음성 주파수에 대하여 사용자의 제스쳐 등에 따라 반사되는 신호를 마이크 등 신호감지부를 통하여 수신하여 도플러 효과에 따른 주파수 변화 등의 정보를 이용하거나 지자기 센서를 활용하거나 사용자에 근접하여 위치한 액세서리에서 송신 되는 신호를 수신하여 자동으로 인식 및 판단하는 방법을 포함할 수 있다.
오디오 데이터를 복수의 모바일 기기에 전송하는 경우, 오디오 데이터의 재생 시간을 동기화하는 정보가 함께 포함될 수 있다.
오디오 데이터의 재생 중 적어도 하나의 모바일 기기의 움직임이 자이로 (Gyro) 센서, 이미지 센서 등을 포함하는 센서 (Sensor) 모듈에 의해 감지된 경우, 변경된 모바일 기기의 위치를 재계산하고 사용자 컨트롤이 없어도 음량이나 재생 시간 동기화를 위한 신호의 변경 등을 위한 오디오 채널 데이터의 컨트롤을 결정하거나, 변경된 위치가 특정값 이상 이거나 트랜시버에서 수신호(Incoming Call)가 검출되는 등의 이유로 재생이 중지 되는 경우에는, 적어도 하나의 모바일 기기(예컨대, 마스터 기기)는 오디오 재생이 중지된 기기를 파악 하여 오디오 데이터 컨트롤에 반영 할 수 있다.
사용자의 제스쳐를 인식하여 오디오 데이터의 컨트롤을 결정하는 경우에 있어, 모바일 기기는 컨트롤 신호를 마스터 기기에 신호를 전송할 수 있다. 이때 정의된 주파수를 고유 부호 형태로 다양한 목적의 메시지를 무선 네트워크 통신을 이용하지 않고 전송할 수 있다. 또한 이러한 주파수 이용 방법은 스마트 와치(시계)와 같은 사용자와 근접한 기기로부터 오디오 모바일 기기에 오디오 데이터 컨트롤을 위한 신호를 전송하는 경우에도 적용할 수 있다.
모바일 기기는 음성 통화 등을 지원하는 장거리 무선 통신(Long Distance Wireless Communication) 모듈과 주변 기기와 네트워크을 형성하는 단거리 무선 통신 (Short Distance Wireless Communication) 모듈로 구성된 트랜시버 (Transceiver)를 포함 할 수 있다.
본 발명의 일 실시예에 따라 주변의 모바일 기기의 위치를 계산하기 위해 주변의 모바일 기기로 거리계산 신호를 전송하거나 사용자의 위치나 제스처를 인식하기 위해 사용자에게 비가청 음성 주파수의 전송에 사용되거나 오디오를 재생하는 스피커(예컨대, Loud Speaker)와 주변의 모바일 기기가 전송한 비가청 음성 주파수의 수신과 사용자의 위치나 제스처를 인식하기 위해 반사된 신호를 수신하기 위한 마이크(Microphone)를 포함 할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 모바일 기기의 위치 변경을 감지할 수 있는 가속도 센서(acceleromete), 자이로 센서(gyroscope), 이미지 센서나 사용자의 이동 방향을 파악 할 수 있는 지자기 센서(magnetometer)를 포함하는 센서 (Sensor) 모듈을 포함 할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 오디오 데이타를 저장 할 수 있는 메모리 모듈과 상기 모듈들을 제어 할 수 있는 CPU를 포함 할 수 있다.
본 발명의 일 실시예로서, 복수개의 모바일 기기들은 Bluetooth, WiFi 등의 단거리 무선 통신 모듈을 활용하여 상호간의 무선 네트워크을 형성하고, 모바일 기기에서 거리 측정을 위한 신호를 발생시키고, 이러한 신호에 대한 반사된 신호를 수신하여, 신호의 전송시간과 수신시간의 시간차 및 주파수의 변화 특성을 이용하여 거리를 계산하고 삼각 측량법 등을 활용하여 각각의 모바일 기기의 위치를 계산할 수 있다.
오디오 채널 데이터를 컨트롤 하는 경우, 모바일 기기 중 적어도 하나의 기기는 사용자의 이동 유무를 자동으로 판단하여 모바일 기기의 재생 여부를 판단하거나, 사용자의 제스쳐를 인식하여, 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 등의 다양한 컨트롤이 가능할 수 있다.
이때, 제스처 인식 및 사용자 이동 유무 및 위치를 판단하는 방법은 기기의 스피커에서 발생된 비가청 음성 주파수에 대하여 사용자의 제스쳐 등에 따라 반사되는 신호를 마이크 등 신호감지부를 통하여 수신하여 도플러 효과에 따른 주파수 변화 등의 정보를 이용하거나 지자기 센서를 활용하거나 사용자에 근접하여 위치한 액세서리에서 송신 되는 신호를 수신하여 자동으로 인식 및 판단하는 방법을 포함할 수 있다.
오디오 데이터를 복수의 모바일 기기에 전송하는 경우, 오디오 데이터의 재생 시간을 동기화하는 정보가 함께 포함될 수 있다.
오디오 데이터의 재생 중 적어도 하나의 모바일 기기의 움직임이 자이로 (Gyro) 센서, 이미지 센서 등을 포함하는 센서 (Sensor) 모듈에 의해 감지된 경우, 변경된 모바일 기기의 위치를 재계산하고 사용자 컨트롤이 없어도 음량이나 재생 시간 동기화를 위한 신호의 변경 등을 위한 오디오 채널 데이터의 컨트롤을 결정하거나, 변경된 위치가 특정값 이상 이거나 트랜시버에서 수신호(Incoming Call)가 검출되는 등의 이유로 재생이 중지 되는 경우에는, 적어도 하나의 모바일 기기(예컨대, 마스터 기기)는 오디오 재생이 중지된 기기를 파악 하여 오디오 데이터 컨트롤에 반영 할 수 있다.
사용자의 제스쳐를 인식하여 오디오 데이터의 컨트롤을 결정하는 경우에 있어, 모바일 기기는 컨트롤 신호를 마스터 기기에 신호를 전송할 수 있다. 이때 정의된 주파수를 고유 부호 형태로 다양한 목적의 메시지를 무선 네트워크 통신을 이용하지 않고 전송할 수 있다. 또한 이러한 주파수 이용 방법은 스마트 와치(시계)와 같은 사용자와 근접한 기기로부터 오디오 모바일 기기에 오디오 데이터 컨트롤을 위한 신호를 전송하는 경우에도 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 액세서리 기기의 블록도이다.
도 3a는 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치파악 정보에 기초하여 오디오 데이터를 컨트롤하는 방법을 나타낸 순서도이다.
도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
도 4은 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치 파악 정보에 기초하여 마스터 기기와 모바일 기기간의 신호 전송 및 수신에 따른 오디오 데이터를 전송 방법 을 나타낸 순서도이다.
도 5은 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 마스터 기기, 모바일 기기, 액세서리 기기간의 신호 전송 및 수신에 따른 오디오 데이터 컨트롤 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따른 액세서리 기기의 블록도이다.
도 3a는 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치파악 정보에 기초하여 오디오 데이터를 컨트롤하는 방법을 나타낸 순서도이다.
도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
도 4은 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치 파악 정보에 기초하여 마스터 기기와 모바일 기기간의 신호 전송 및 수신에 따른 오디오 데이터를 전송 방법 을 나타낸 순서도이다.
도 5은 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 마스터 기기, 모바일 기기, 액세서리 기기간의 신호 전송 및 수신에 따른 오디오 데이터 컨트롤 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기(1000)의 블록도이다.
도 1에서는, 복수의 모바일 기기들를 이용한 다채널 오디오 할당 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법에 사용가능한 모바일 기기(1000)의 블럭도가 개시된다. 모바일 기기(1000)는 음성 통화 등을 지원하는 장거리 무선 통신(Long Distance Wireless Communication) 모듈(1110)과 주변 기기와 네트워크를 형성하는 단거리 무선 통신 (Short Distance Wireless Communication) 모듈(1120) 중 적어도 하나를 포함하는 트랜시버 (Transceiver)를(1100) 포함할 수 있다.
모바일 기기(1000)는 자신의 적어도 하나의 주변의 모바일 기기의 상대적인 위치를 계산하기 위해 주변의 모바일 기기에서 반송된 거리 계산을 위한 신호로서 비가청 음성 주파수 신호를 수신하거나 사용자의 위치나 제스처를 인식하기 위한 신호로서 사용자에 의해 반사된 비가청 음성 주파수 신호를 수신하거나 사운드를 수신하는 마이크(Microphone)(1200)와 오디오 데이터를 이용하여 사운드를 재생(또는 출력)하거나 모바일 기기의 위치 계산을 위해 네트워크에 포함된 모바일 기기에게 비가청 음성 주파수 신호를 이용하여 거리 계산 신호를 전송하거나 사용자의 위치나 제스처를 인식하기 위한 신호로써 사용자에게 비가청 음성 주파수 신호 등을 전송하기 위한 스피커(예컨대, Loud Speaker 등)(1300)를 포함할 수 있다.
또한, 모바일 기기(1000)는 모바일 기기(1000)의 위치 변경 여부를 감지할 수 있는 자이로(Gyro) 센서, 관성 센서, 이미지 센서와 사용자의 위치나 제스처를 인식하기 위한 지자기(magnetic) 센서 등이 포함될 수 있는 센서(Sensor) 모듈(1400)을 포함할 수 있다.
사용자의 위치와 제스처 인식은 비가청 주파수가 사용자의 위치 이동이나 제스처에 따라 반사되는 도플러 효과 에 의한 주파수 변화를 감지 하여 수행 할 수 있다.
또한, 모바일 기기(1000)는 오디오 데이터를 저장할 수 있는 메모리 모듈(1500)과 전술한 모듈들을 제어할 수 있는 중앙처리유닛(CPU)(1600)을 포함할 수 있다. 이러한 메모리 모듈(1500)은 비휘발성 메모리 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 데이터를 컨트롤하는 모바일 기기는 오디오 데이터를 저장하는 메모리, 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오를 출력하거나 모바일 기기나 사용자의 위치 파악이나 사용자의 제스처를 인식하기 위한 비가청 음성 주파수를 출력하기 위한 스피커, 사운드를 수신하거나 모바일 기기나 사용자의 위치 파악이나 사용자의 제스처를 인식하기 위한 비가청 음성 주파수를 수신하기 위한 마이크 및 중앙처리유닛(CPU) 및 모바일 기기의 위치 변경을 감지할 수 있는 자이로 (Gyro) 센서, 이미지 센서나 사용자의 위치를 파악 할수 있는 지자기(magnetic) 센서를 포함하는 센서 (Sensor) 모듈을 포함할 수 있다.
중앙처리유닛(CPU)는 복수의 모바일 기기들과의 네트워크 형성을 제어하고, 복수의 모바일 기기들로부터 거리 계산을 위한 신호를 수신하거나 사용자 위치 파악 정보에 기초한 신호를 수신하고, 상기 수신된 신호에 기초하여 계산된 각각의 모바일 기기간의 거리 정보를 이용하여 상기 복수의 모바일 기기들의 위치를 계산하거나, 사용자 위치 파악 정보에 기초한 신호를 이용하여 사용자 위치를 파악 하고, 상기 계산된 사용자나 모바일 기기의 위치에 기초하여 상기 복수의 모바일 기기들 중 적어도 하나의 오디오 데이터를 컨트롤 할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 데이터를 컨트롤하는 모바일 기기의 CPU는 복수의 모바일 기기간의 무선 네트워크 형성을 제어할 수 있다. 형성된 네트워크 내의 모바일 기기들중 제 1 모바일 기기의 CPU는 사용자 위치 파악을 위해 사용하는 비가청 음성 주파수의 기기간 간섭을 방지 하기 위해 서로 다른 주파수를 할당할 수 있고, 사용자의 위치를 파악한 기기에 오디오 데이터 전송 여부를 결정할 수 있다.
형성된 네트워크 내의 모바일 기기들중 제 2 모바일 기기의 CPU는 마이크나 무선 네트워트으로 수신한 사용자 위치 파악을 위한 정보에 기초하여 사용자의 위치를 파악하고 이에 기초한 신호를 제 1 모바일 기기로 전송 할 수 있다.
형성된 네트워크 내의 모바일 기기들 중 적어도 하나의 모바일 기기의 COU는 사용자의 제스처를 인식하고, 인식된 제스처에 따라 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 등의 오디오 데이터 컨트롤을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 모바일 기기는 모바일 기기의 움직임을 감지하기 위한 자이로 센서 또는 모바일 기기의 사용자의 이동 여부를 파악하기 위한 지자기 센서를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 모바일 기기는 사용자에 근접한 액세서리로부터 사용자 위치 정보 나 제스처 정보를 수신할 수 있다.
다시 말해서, 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 모바일 기기는, 상기 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오 데이터를 저장하는 메모리, 스피커, 사운드를 수신하기 위한 마이크 및 중앙처리유닛(CPU)을 포함하고, CPU는 모바일 기기와 사용자의 위치 파악 정보에 기초하여, 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하거나, 상기 타 모바일 기기의 위치 파악 정보에 기초한 신호를 수신하여 오디오 데이터의 전송 명령을 결정하거나, 사용자의 제스처를 인식하여 오디오 데이터를 컨트롤할 수 있다. CPU에 의하여 모바일 기기와 사용자의 위치 파악 정보에 기초한 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하는 방식은 WiFi, ad-hoc, Mesh Network 등의 방식이 이용될 수 있다. 또한 이러한 신호는 비가청 주파수를 이용하여 전송될 수 있다.
또한, 본 발명의 다른 실시예에 따른 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 모바일 기기는, 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오 데이터를 저장하는 메모리, 스피커, 사운드를 수신하기 위한 마이크 및 로직회로를 포함하고, 로직회로는 모바일 기기와 사용자의 위치 파악 정보에 기초하여, 상기 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하거나, 상기 복수의 모바일 기기들 중, 적어도 하나의 타 모바일 기기로부터 오디오 데이터를 수신하거나, 상기 사용자의 제스처를 인식하여 오디오 데이터를 컨트롤할 수 있다. 로직회로에 의하여 모바일 기기와 사용자의 위치 파악 정보에 기초한 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하는 방식은 WiFi, ad-hoc, Mesh Network 등의 방식이 이용될 수 있다. 또한 이러한 신호는 비가청 주파수를 이용하여 전송될 수 있다.
사용자의 위치 파악 정보는 스피커로부터 재생된 신호를 이용하여 계산될 수 있다. 또한, 본 발명의 일 실시예에 따른 모바일 기기는 사용자 위치 파악 정보 획득을 위한 가속도 센서(accelerometer), 회전 각 가속도 센서(gyroscope), 이미지 센서, 사용자의 이동 방향을 파악하기 위한 지자기 센서(magnetometer)를 더 포함할 수 있다. 또한, 사용자의 위치 파악 정보를 기초로 신호를 전송하는 경우, 트랜시버와 스피커를 이용하여 신호가 전송될 수 있다.
도 2는 본 발명의 일 실시예에 따른 액세서리(2000)의 블록도이다.
도 2에서는, 복수의 모바일 기기를 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법에 사용 가능한 모바일 기기와 연동 가능한 액세서리 기기(2000)의 블럭도가 개시된다. 액세서리 기기(2000)는 액세서리로 지칭될 수 있다. 액세서리 기기(2000)는 모바일 기기에게 사용자 제스처로 인식된 정보를 송신 할 수 있는 트랜시버(2100)을 포함 할 수 있고, 사용자의 제스처를 인식할 수 있는 자이로 센서등을 포함하는 센서 모듈 (2400)을 포함 할 수 있고, 액세서리의 위치 정보나 제스처 정보를 모바일 기기에 비가청 음성 주파수로 전달 할 수 있는 스피커(2500)와 이들 모듈들을 제어하는 로직 회로(2200)를 포함 할 수 있다. 또한, 액세서리(2000)에는 위치 정보나 제스쳐 정보 등이 저장되는 비휘발성 메모리(2300)가 포함될 수 있다.
본 발명의 일 실시예에 따른 액세서리는 사용자 위치 정보나 제스처 정보를 모바일 기기로 전송시 비가청 음성 주파수를 활용하여 마이크로 전송할 수 있고, 전송 신호는 제스처 별로 구분되는 고유 주파수나 소리로 전달할 수 있는 모스 부호 등의 형태로도 전송 될 수 있다.
본 발명의 일 실시예에 따른 액세서리는 스마트 와치 등의 웨어러블 디바이스 일 수 있다. 또한 이러한 액세서리는 리모트 컨트롤러 기기로 지칭될 수 있다. 액세서리는 적어도 하나의 모바일 디바이스에 의하여 형성된 네트워크 상으로 연결이 될 수도 있고 안 될 수 도 있다. 또한, 액세서리는 마스터 기기와 무관하게 제조단계에서 미리 주파수가 설정되어 할당되어 있을 수 있다. 예를 들어, 무선 네트워크 기능이 없어 마스터 기기가 주파수를 할당하지 못할 수도 있다.
본 발명의 일 실시예에 따른 트랜시버나 마이크는 사용자에 근접한 액세서리로부터 사용자의 위치파악 정보에 기초한 신호를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기는, 사용자의 제스쳐를 인식하는 센서 및 인식된 센서 정보에 기초하여 사용자의 제스쳐가 구별되도록 신호를 생성하는 스피커를 포함할 수 있다. 리모트 컨트롤러 기기는 모바일 기기의 오디오 데이터를 컨트롤할 수 있다.
본 발명의 다른 실시예에 따른 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기는, 모바일 기기 또는 모바일 기기가 속한 그룹과 무선 네트워크를 형성하는 트랜시버, 사용자의 제스쳐를 인식하는 센서 및 인식된 센서 정보에 기초하여 사용자의 제스쳐가 구별되도록 신호를 생성하는 스피커를 포함할 수 있다. 리모트 컨트롤러 기기는 모바일 기기의 오디오 데이터를 컨트롤할 수 있다. 스피커는 센서 정보에 기초하여, 사용자의 제스쳐에 따라 서로 다른 주파수를 생성할 수 있다. 또한, 스피커는 센서 정보에 기초하여, 사용자의 제스쳐에 따라 서로 구분되는 고유 부호 신호를 생성할 수 있다. 무선 네트워크를 통해 신호 전송에 사용될 주파수 정보는 트랜시버를 통해 수신될 수 있다.
도 3a는 본 발명의 일 실시예에 따라 사용자의 위치나 제스처 인식에 의해 복수개의 모바일 기기들의 오디오 데이터를 컨트롤하는 방법을 나타낸 순서도이다. 본 발명의 일 실시예에 따른 오디오 데이터 컨트롤 방법은 복수의 모바일 기기들 간에 무선 네트워크를 형성하는 단계(S1000), 복수의 모바일 기기들 중 마스터 기기가 오디오를 재생할 모바일 기기(예컨대,1PS)에 오디오 데이터 송신하는 단계(S2000), 모바일 기기(1PS)에서 사용자의 위치 및 제스쳐를 인식하여 오디오 작동을 컨트롤하는 단계(S3000), 사용자와 모바일 기기(1PS) 사이의 거리가 일정 범위 이상인지 여부를 판단하는 단계(S4000) 및 사용자와 가장 가까운 거리에 위치한 모바일 기기(예컨대,2PS)를 결정하고, 이러한 모바일 기기(2PS)에 오디오 데이터를 전송하는 단계(S5000)를 포함할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 무선 기기로 지칭될 수 있다. 복수의 모바일 기기들 중 마스터 기기는 오디오를 재생할 모바일 기기(예컨대,1PS)로 오디오 데이터를 송신할 수 있고, 모바일 기기(1PS)에서는 사용자의 위치 및 제스쳐를 인식하여 오디오 작동을 컨트롤할 수 있다. 또한, 사용자와 모바일 기기(1PS) 사이의 거리가 임계값(Threshold) 이상인지 여부 판단을 통하여 사용자와 가장 가까운 거리에 위치한 모바일 기기(예컨대,2PS)를 결정하고, 결정된 모바일 기기(2PS)로 오디오 데이터를 전송할 수 있다.
도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
본 발명의 일 실시예를 구체적으로 설명하면 다음과 같다. 시스템은 WiFi 등을 이용하여 무선 네트워크를 이용하고, 각 모바일 기기는 무선 네트워크에 연결되어 있으며, 각 모바일 기기간에 거리 계산은 비가청 주파수 신호를 사용할 수 있다.
마스터 기기는 형성된 무선 네트워크에 액세스 포인터(access point)로서의 역할을 수행할 수 있다. 마스터 기기는 자신을 포함하여 각각의 슬레이브 기기가 사용할 비가청 주파수를 할당할 수 있다. 이후 마스터 기기는 비가청 주파수 신호나 WiFi 무선 신호를 이용하여 각 모바일 기기에 비가청 주파수 신호 전송을 요청할 수 있다. 마스터 기기는 슬레이브 기기들이 전송한 비가청 주파수를 수신하여 최단거리, 최장거리에 위치한 기기를 결정하여 서브마스터 기기로 결정할 수 있다. 마스터 기기는 각 모바일 기기들의 위치 계산에 소요되는 계산량을 최소화하기 위해 서브 마스터 기기가 저장한 정보의 전송을 요청할 수 있다.
전송 정보에는 서브마스터 기기의 전송시간정보와 타 슬레이브 기기로부터 수신한 신호의 수신시간 정보가 포함될 수 있다. 마스터 기기는 수신한 정보를 기초로 모든 모바일 기기의 상대적 위치를 계산할 수 있다. 마스터 기기는 계산된 상대 위치를 기초로 오디오 채널을 각 모바일 기기에 할당하고 할당된 채널을 통하여 오디오 데이터를 전송할 수 있다. 이 때 각 모바일 기기의 비가청 주파수를 사용하여 통신하는 경우, 다음과 같은 기술적 장점이 있을 수 있다.
- 모바일 기기간에 무선 네트워크 사용이 줄어들으므로, 모바일 기기의 베터리 소모를 줄일 수 있다.
- 모바일 기기간에 서로 다른 비가청 주파수를 할당하여 사용 가능하므로, 모바일 기기간 신호 간섭 현상을 감소시킬 수 있다.
또한, 모바일 기기간의 거리 계산을 위해 서로 다른 주파수를 할당하여 사용하는 경우, 아래와 같은 이점이 있을 수 있다.
- WiFi/Bluetooth 통신과 다르게 모바일 기기간에 동시에 신호 전송과 수신이 가능할 수 있다.
- WiFi/Bluetooth 통신과 다르게 액세스 포인트(AP) 없이 모바일 기기간 직접 통신이 가능할 수 있다.
- 하나의 모바일 기기에 할당된 주파수로 송수신하는 경우, 모바일 기기는 자신에게 할당된 신호에만 반응하면 되므로 기기간에 통신 구성이 간단해질 수 있다. 다만, 기기간 할당된 주파수 정보가 모바일 기기에게 사전에 전달되어 있어야 한다.
- 할당된 비가청 주파수로 고유 부호 등을 작성하여 양방향 통신을 위한 다양한 메시지를 구성할 수 있다. 예를 들면, 고유 부호로서 모스 부호 (Morse-code)를 비가청 주파수로 생성하고 전송할 수 있다.
전술한 내용은 도 3b 내지 도 3e를 참조하여 이하에서 자세히 설명한다. 도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
도 3b는 마스터 기기(M)와 전방-좌(FL), 전방-우(FR), 후방-좌(RL), 후방-우(RR), 새로 네트워크에 연결될 기기(N)로 구성되어 있다. 이때 WiFi 무선 통신으로 각 모바일 기기의 거리를 측정하는 경우, 각 기기간의 직접 통신 지원되지 않으므로, RL-FL, RL-FR, RL-RR 의 거리 측정이 불가능하다. 그러나 비가청 주파수를 이용하여 거리계산을 하는 경우 도 3b와 같이 RL 또는 FR에서 비가청 주파수 신호를 브로드캐스팅(broadcasting)하는 경우, 주위의 모든 모바일 기기는 신호를 수신하여 신호 수신 시간을 저장할 수 있다. 또한 모바일 기기간에 비가청 주파수가 할당된 경우, 수신된 신호의 주파수로 어떤 모바일 기기가 신호를 전송하였는지 알 수 있다. 따라서 모든 슬레이브 기기들 (FL, FR, RL, RR)이 거리계산을 위한 신호를 서로 전송하고 타 기기들로부터 수신한 신호를 저장한 후, 관련 정보를 마스터 기기로 전송하면 마스터 기기는 각 모바일 기기의 상대적 위치를 계산할 수 있다. 또한 계산량을 최소하기 위해 최단, 최단거리에 위치한 모바일 기기를 결정하고 해당 기기의 정보(RL, FR)만을 이용하여 모바일 기기의 위치를 계산할 수 있다. 결론적으로 마스터 기기는 계산된 복수의 모바일 기기의 위치 정보에 기초하여 각 기기에 오디오 채널을 할당하고 할당된 채널에 맞는 오디오 데이터를 전송할 수 있다. 이때 도 3b의 새로운 모바일 기기(N)가 네트워크에 연결된 경우에도 쉽게 채널을 할당할 수 있고, 채널을 할당 받았던 기기가 이동한 경우에도 해당 기기에 탑재된 가속도 센서 정보를 마스터 기기가 수신하여, 기기 이동 여부를 결정하고 다채널 오디오를 재할당할 수 있다.
본 발명의 일 실시예로 비가청 주파수를 이용하여 사용자의 제스쳐를 인식하는 방법에 대하여는 도 3c 등을 참조하여 다음과 같이 설명될 수 있다.
도 3c은 본 발명의 일 실시예에 따라 사용자 제스처 인식에 사용되는 비가청 음성 주파수의 반사파의 파형도 이다.
비가청 주파수를 활용한 제스처 인식은 도플러 효과를 활용할 수 있다. 도플러 효과는 사용자가 음원 즉 마이크에 가까이 오거나 멀어질 때의 주파수의 변화가 생기는 효과이다. 또한 주파수의 변화량은 주파수와 움직이는 물체의 속도에 비례한다.
도 3c과 같이 사용자의 움직임이 없는 경우, 도 3c의 (a)에서와 같이 하나의 피크로 반사파의 파형이 감지 되며, 사용자가 멀어질때는 도 3c의 (b)에서와 같이 반사파의 파형에 피크보다 저주파 대역으로 이동되며, 사용자가 가까질 질때는 도 3c의 (C)에서와 같이 반사파의 파형에 피크보다 저주파 대역으로 이동된다. 따라서 반사파의 파형을 분석 정보를 기초로 하여 사용자의 제스처를 인식 할 수 있다.
비가청 주파수를 사용한 제스처 인식의 경우 적외선 카메라를 사용하는 방식 에 비해 구조가 간단하며, 계산량도 줄어 들 수 있고 핸드폰 등에 이미 내장된 마이크와 스피커를 사용하여 구현 가능하므로 본 발명을 위한 별도의 구성이 필요치 않으며, 기존 무선 스피커의 경우에도 마이크만 추가로 탑재한다면 적용이 가능해 진다.
본 발명의 일 실시예로 사용자의 위치 파악을 위한 방법에 대한 설명은 아래와 같다.
도 3d의 예시는 마스터 기기(M), 전방-좌 스피커(FL), 전방-우 스피커(FR), 후방-우 스피커(RR), A-사용자의 제 1 위치 (U-A-1), A-사용자의 제 2 위치 (U-A-2), B-사용자의 제 1 위치(U-B-1), B-사용자의 제 2 위치(U-B-2)로 구성된다. 또한 각 모바일 기들은 WiFi 등의 무선 네트워크을 이용하여 연결되어 있고, 마스터 기기는 서로 다른 주파수를 각 기기에 할당하였다. 이 때 A-사용자가 U-A-1 에 위치한 경우에는 A-사용자는 모바일 기기 FL에서 가장 가까운 거리에 위치하므로, FL, RR 에서 비가청 주파수를 전송하고, 각 기기가 반사된 신호를 수신하여, 사용자의 유무를 판단할 수 있다. 사용자 위치 파악 정보 기초하여, FL, RR 기기는 관련 정보를 마스터 기기에 전송하고 마스터 기기는 사용자와 가장 가까운 기기를 결정하고, 결과를 해당 기기에 전송할 수 있다.
또 다른 일 실시예로 A-사용자가 위치 U-A-1에서 U-A-2로 이동하는 경우, 가장 가까운 모바일 기기는 RR 로 변경하게 된다. 동시에 B-사용자가 U-B-1에서 U-B-2 로 이동 하는 경우, B-사용자로부터 가장 가까운 기기는 RR에 해당된다. 이 때에 어떠한 사용자가 기기 사용 레벨에 따라 모바일 기기 RR의 사용 여부가 결정되게 된다. 가령 A-사용자가 기기 사용 레벨이 높은 경우, A-사용자가 FL 기기로 오디오를 듣다가 U-B-1에서 U-B-2 로 하는 경우, RR 기기에서는 A-사용자가 듣고 있던 음악이 재생되도록 이를 마스터 기기가 오디오 데이터를 컨트롤한다. 따라서 B-사용자는 RR 기기에 근접하더라도 오디오 데이터를 컨트롤 할 수 없게 된다.
도 3e의 경우에는 사용자가 액세서리 기기를 휴대하고 있는 경우이다. 액세서리 기기에는 무선 네트워크를 위한 트랜시버, 스피커, 마이크를 탑재하고 있다. 사용자가 휴대한 액세서리 기기는 네트워크에 연결되어 주파수를 할당받거나 다른 모바일 기기들에게 할당된 주파수 정보를 마스터 기기로부터 수신할 수도 있다.
도 3d와 실시예와 차이점은 사용자가 각 모바일 기기에 근접한 경우, 사용자가 휴대한 액세서리 기기는 해당 모바일 기기의 주파수로 모바일 기기(FL, FR)에게 신호를 전송한다는 점이다. 모바일 기기는(FL, FR) 이 이 신호를 수신하여 A-사용자와 B-사용자의 위치 파악 정보를 생성할 수 있다. 또한 A-사용자와 B-사용자가 동시에 RR 기기에 접근하는 경우에 사용자 액세서리 별 기기 사용 레벨이 높은 경우에 따라 RR 기기 오디오 데이터 컨트롤 권한을 가질 수 있다. 이러한 경우, 두 사용자의 액세서리 기기를 구별하기 위해 마스터 기기나, 모바일 기기 RR은 두 사용자의 액세서리 기기에 아이디 정보 전송을 요청할 수 있다. 이러한 경우, 각 액세서리 기기에 할당된 주파수를 이용하여 응답할 수도 있다.
도 4은 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치 파악 정보에 기초하여 마스터 기기와 모바일 기기간의 신호 전송 및 수신에 따른 오디오 데이터를 전송 방법 을 나타낸 순서도이다.
본 발명의 일 실시예에 따라 Bluetooth, Wi-Fi 등의 단거리 무선 통신 모듈(1120)을 활용하여 복수의 모바일 기기들은 상호간의 무선 네트워크를 형성할 수 있다(A100). 이 경우 마스터 기기는 복수의 모바일 기기간에 네트워크를 형성하는 AP 역할을 수행하여, 모바일 기기의 네트워크 연결을 결정하고, 마스터 기기와 모바일 기기 사이 내지 모바일 기기 사이에 데이터 송수신을 결정할 수 있다. 본 발명에서 마스터 기기는 AP 이면서 동시에 복수의 모바일 기기의 위치 파악 정보에 기초한 신호를 취합하여 복수의 모바일 기기의 컨트롤을 수행할 수 있다.
복수의 모바일 기기들 중 어느 하나의 모바일 기기에서 네트워크에 포함된 다른 모바일 기기가 사용할 주파수를 할당할 수 있다(A200). 각 모바일 기기들은 할당된 주파수를 전송하여 사용자로부터 반사된 신호를 수신하여 사용자 위치 파악 정보를 생성할 수 있다. 이러한 주파수 할당은 모바일 기기별로 동일 주파수를 사용하는 경우 발생할 수 있는 신호간의 간섭을 방지 하기 위한 목적이다. 각각의 모바일 기기는 스피커를 이용하여 할당된 주파수를 이용하여 신호를 전송하고 사용자나 사용자의 제스처에 의해 반사된 주파수의 변화를 파악하여 사용자의 위치 파악 정보를 생성할 수 있다(A300). 이러한 사용자의 위치 파악 정보 생성을 위해서 사용자와 근접해 위치한 액세사리에서 송신된 비가청 음성 주파수를 수신하여 파악 할 수도 있고, 지자기 센서를 활용해서 파악 할 수도 있다. 사용자의 모바일 기기로부터 일정 거리에 위치하는지 여부를 모니터링할 수 있다(A400). 모바일 기기는 사용자의 위치 파악 정보에 기초한 신호를 마스터 기기에 전송할 수 있다(A500). 마스터 기기는 수신된 신호를 기초로 오디오 데이터를 수신할 모바일 기기를 결정할 수 있다. 마스터 기기는 전송된 신호를 기초로 신호를 전송한 모바일 기기에 형성된 무선 네트워크를 통하여 오디오 데이터를 전송할 수 있다(A600). 도 4의 단계 A600은 오디오 데이터를 마스터 기기가 저장하고 있는 경우이다. 오디오 데이터가 다른 모바일 기기에 저장된 경우에는, 오디오 데이터 전송 요청을 해당 모바일 기기에 요청할 수 있다.
오디오 데이터를 전송하는 방법은 다양한 모드를 가질 수 있다. 예를 들면, 마스터 기기에서 전달 할 수 있고, 마스터 기기가 오디오 데이터를 가지고 있는 모바일 기기에 데이터 전달을 요청할 수도 있고, 재생 중이던 모바일 기기 (1PS)에 전달을 요청할 할 수도 있다.
재생할 오디오를 결정하는 방법도 다양한 모드를 가질 수 있다. 예를 들면 각각의 모바일 기기에서 사용자의 위치를 파악하고 사용자에 가까운 모바일 기기에서 오디오 데이터를 재생하고 사용자의 이동에 따라 이동 방향에 근접한 모바일 기기에서 이어서 재생 할 수 있다. 이와 같이 이어서 재생하는 경우 오디오 데이터를 이어서 재생할 모바일 기기로 전달 할 때 재생 중인 모바일 기기가 전달 할 수도 있고 마스터 기기에서 전달 할 수도 있고 해당 오디오 데이터를 가지고 있는 다른 모바일 기기가 전달 할 수도 있다.
다른 예로는 모바일 기기별로 지정된 다른곡을 재생하고 사용자의 위치에 따라 재생 및 일시 정지를 자동으로 컨트롤 하고 사용자가 되돌아 오는 경우 해당곡을 이어서 재생 할 수도 있다. 이때에는 사용자 ID를 파악할 수 있는 기능이 함께 필요할 수도 있다.모바일 기기는 할당된 주파수를 이용하여 스피커를 통해 신호를 전송하고 사용자의 제스처에 따라 반사된 주파수를 이용하여 사용자의 제스처를 인식할 수 있다(A700). 이? 사용자의 제스처 인식은 액세서리 사용시 액세서리 내의 가속도 및 자이로 센서 등으로 인식 가능하고, 액세서리에서 인식된 제스처는 비가청 음성 주파수를 사용하여 제스처별 고유의 주파수로 전송되거나 모스 부호의 형태로 모바일 기기로 전송될 수도 있다. 또한, 사용자와 일정 거리 안에 있는 다수의 모바일 기기가 동시에 오디오 재생 될 수 있도록 오디오 데이터를 전송할 수도 있다. 모바일 기기는 사용자의 제스처의 인식 결과를 마스터 기기에 전송할 수 있다. (A800)
다시 말해서, 본 발명의 일 실시예에 따른 복수의 모바일 기기들간의 오디오 데이터 컨트롤 방법은, 상기 복수의 모바일 기기들간에 무선 네트워크를 형성하는 단계, 복수의 모바일 기기들 중 제 2 모바일 기기에 의하여 사용자의 위치 파악되는 단계, 제 2 모바일 기기가 파악한 사용자 위치 파악 정보에 기초하여 네트워크에 포함된 적어도 하나의 타 모바일 기기가 수신 가능하도록 제 2 모바일 기기에 의하여 신호가 전송되는 단계 및 복수의 모바일 기기들 중 제 1 모바일 기기에 의하여 제 2 모바일 기기로부터 수신한 신호에 기초하여 오디오 데이터를 전송 여부를 결정하는 단계를 포함할 수 있다. 또한, 예를 들면, 제 1 모바일 기기는 음원을 가지고 있는 기기(예컨대, 제 3 모바일 기기)에게 명령어를 전달함으로써 오디오 데이터가 제 3 데이터로부터 제 2 모바일 기기 등으로 전송되게 할 수 있다. 이러한 경우, 네트워크를 통해 또는 특정 주파수로 명령어가 전달될 수 있다. 예를 들면, 모스 부호 등을 통하여 명령어가 전달될 수 있다.
복수의 모바일 기기들은 사용자의 제스쳐를 인식하여 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 중 어느 하나를 수행할 수 있다. 다시 말해서, 제 2 모바일 기기가 파악한 사용자 위치 파악 정보에 기초하여 네트워크에 포함된 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하고, 이때 제 2 모바일 기기에 의하여 전송되는 신호는 브로드 캐스팅되는 신호일 수 있다.
제 2 모바일 기기는 사용자와의 거리가 일정 거리 안에 있는 경우에 위치 파악 정보에 기초한 신호를 상기 제 1 모바일 기기로 전송하고 사용자가 제 2 모바일 기기로 부터 일정 거리 이상 멀어지는 경우에 상기 위치 파악 정보에 기초한 신호를 제 1 모바일 기기에 전송할 수 있다.
제 1 모바일 기기가 오디오 데이터의 전송 여부를 결정하는데 있어서, 사용자와 일정 거리안에 있는 적어도 하나 이상의 모바일 기기에 오디오 데이터를 전송하도록 결정할 수 있다.
모바일 기기는 비가청 주파수를 전송하고 사용자의 움직임에 의해 반사된 비가청 주파수 수신하여 사용자의 제스쳐를 인식할 수 있다.
모바일 기기가 사용자 위치 파악 정보를 생성하는데 있어, 각각의 모바일 기기는 서로 구별되는 주파수의 신호를 전송하며, 적어도 하나의 모바일 기기의 신호 전송 주파수는 제 1 모바일 기기에 의해 결정될 수 있다.
사용자에 근접한 액세서리 기기로부터 전송된 신호를 이용하여 사용자의 위치나 사용자 제스쳐를 인식할 수도 있다. 이 경우 사용자의 제스쳐에 따라 구별되는 고유 주파수나 고유 부호 신호(예컨대, 소리로 전달할 수 있는 모스 부호)를 전송할 수 있다.
사용자가 특정 액세서리 등을 착용하고 있는 경우 사용자의 위치를 파악할 때 사용자에게 부착된 기기로부터 전송된 신호를 이용하여 사용자의 위치가 파악되도록 본 발명의 일 실시예에서와 같이 구현될 수도 있다. 또한 모바일 기기에서 사용자의 위치 파악을 위해 신호 전송방식이 아닌, 주위의 지자기의 변화에 의해서 사용자 유무를 파악할 수 있다. 이 때는 각 모바일 기기가 지자기(magnetic) 센서를 포함하고 있어야 한다.
사용자가 특정 액세서리 등을 착용하고 있는 경우 사용자의 제스쳐를 인식하는데 있어서, 사용자의 액세서리로부터 해당 모바일 기기로 전송되는 신호의 주파수가 제스처별로 서로 상이하게 하여 해당 모바일 기기의 오디오 작동을 컨트롤 할 수 도 있다. 이 때에는 액세서리에 탑재된 자이로(gyro) 센서 등을 이용하여 사용자의 제스쳐에 따른 기기의 움직임 정도를 파악하여, 제스쳐 인식의 결과에 따라 전송하는 주파수를 달리 할 수 있다. 이러한 경우, 모바일 기기는 액세서리 기기가 전송한 신호를 수신하여, 수신된 신호의 주파수에 기초하여 사용자의 제스쳐를 파악할 수도 있다. 이러한 경우, 기 형성된 무선 네트워크의 이용없이 제스쳐 신호를 특정 비가청 범위의 신호로 변경하여 전송 가능하므로 모발기기의 베터리 소모를 줄일 수 있다. 또한 액세서리 기기에서 제스쳐 신호를 전송시, 제스쳐에 따른 전송 주파수의 변경 없이 전송 신호가 구별될 수 있도록 전송할 수도 있다. 예를 들자면 재생(P), 앞으로 재생(F), 뒤로 재생(B), 정지 신호(S)를 각 컨트롤 신호에 해당하는 영문 알파벳을 모스(Morse) 부호를 이용하여 신호를 생성하면 액세서리 기기와 근접한 모발 기기가 해당 신호를 마이크를 통해 인식할 수 있다.도 4의 A100은 복수의 모바일 기기들 간에 무선 네트워크를 형성하는 단계이다. 무선 네트워크의 형성의 주요한 용도 중 하나는 사용자와 근접한 모바일 기기에 오디오 데이터를 전송하는데 있다. 이 때 WiFi 무선 네트워크 통신를 이용하는 경우에는 하나의 모바일 기기가 마스터 기기가 될 수 있다. WiFi/Bluetooth 의 무선 네트워크 통신은 각 노드간의 통신이 반드시 마스터 기기를 거쳐서 데이터 전송이 가능하므로 각 네트워크 노드 사이에 직접 데이터 전송이 필요한 경우에는 Ad-hoc 네트워크나 Mesh 네트워크 형태의 통신 방법이 적용될 수 있다. 그러나 모바일 기기간에 데이터 전송이 아닌 기기 사이의 요청 및 응답을 위한 메시지 전송을 위해서는 네트워크에 포함된 모바일 기기 간에 정의된 주파수를 이용하여 고유 부호 전송 구현이 가능하다. 일 실시예로 A200에서 마스터 기기는 무선 네트워크에 포함된 모바일 기기들이 사용할 주파수를 할당하는 것이다. 예를 들어, 마스터 기기기는 각 모바일 기기에 비가청 주파수에 해당되는 20000Hz, 21000Hz, 25000Hz 를 할당하고 각 모바일 기기는 할당된 주파수로 요청 신호를 전송하고, 할당된 주파수로 응답을 수신할 수 있으며, 각 요청 및 응답 신호는 모스 부호(Morse code) 등을 사용하여 다양하게 구성될 수 있다. 또한, 변형된 방법으로 전송시에만 할당된 주파수를 사용할 수도 있다. 따라서 마스터 기기는 네트워크에 연결된 모바일 기기의 수를 고려하여 적절한 주파수를 모바일 기기에 할당할 수 있다.
도 4의 A300, A400, A500은 사용자와 근접한 모바일 기기가 동작하는 것을 나타낸다. A300에서는 모바일 기기에 할당된 주파수 이용하여 신호를 전송하여, 반사된 신호의 주파수 변화 정도로 사용자의 이동 여부를 파악하고, 반사되는 신호의 특징으로 모바일 기기와 사용자의 거리를 파악하는 단계이다. 또한 A700에서와 같이 사용자가 모바일 기기와 일정거리에 위치하는 경우(A400)에 사용자의 제스쳐를 인식하여 오디오 데이터의 컨트롤이 필요하므로, A500에서 모바일 기기는 사용자의 위치파악 정보에 기초하여 신호를 마스터 기기에 전송하고, 마스터 기기는 모바일 기기로부터 수신한 신호를 기초로 오디오 데이터를 수신할 모바일 기기를 결정할 수 있다(A600).
도 4의 A800에서는 모바일 기기가 사용자의 제스쳐 인식결과를 마스터 기기에 전송할 수 있다. 전송 방법은 모바일 기기간에 형성된 무선 네트워크를 이용하거나 각 모바일 기기간에 할당된 주파수를 이용하여 신호를 전송할 수 있다. 주파수를 이용하여 오디오 데이터 컨트롤 신호를 전송하는 경우, 고유 부호 신호로 전송할 수도 있다. 또한 할당된 주파수를 이용하는 방법에 있어서도 전송과 수신에 있어서, 동일한 주파수를 사용할 수도 있고, 전송시에만 할당된 주파수를 사용하거나, 목적에 따라 사용하는 주파수를 달리 할 수도 있다. 도 5은 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 마스터 기기, 모바일 기기, 액세서리 기기간의 신호 전송 및 수신에 따른 오디오 데이터 컨트롤 방법을 나타낸 순서도이다.
도 4에서와 같이 복수의 모바일 기기들은 모바일 기기들 간 무선 네트워크를 형성할 수 있다(C100). 도 5의 C200에서 마스터 기기는 무선 네트워크에 포함된 모바일 기기가 사용할 수 있는 주파수를 할당할 수 있다. 따라서 모든 기기들 사이에서 신호간섭을 최소화하면서, 기기간의 요청(request) 및 응답(acknowledgement)을 쉽게 파악할 수 있다. 이 때 액세서리 기기가 무선 네트워크에 연결된 경우에는 마스터 기기는 액세서리 기기에도 주파수를 할당할 수 있다. 또한 액세서리 기기는 마스터 기기로부터 다른 모바일 기기에 할당된 주파수 정보를 수신하여, 액세서리 기기가 모바일 기기에 신호 전송시, 해당 모바일 기기에 할당된 주파수로 신호를 전송하여, 특정 모바일 기기만 동작하도록 할 수 있다. 액세서리 기기의 일례로, 사용자와 근접한 스마트 와치 및 리모트 컨트롤러가 이에 해당된다.
도 5의 C300은 사용자와 근접한 액세서리 기기가 모바일 기기로 신호를 전송하는 단계를 나타낸다. 신호 전송을 위한 방법으로는 무선 네트워크를 이용하거나, 무선 네트워크에 연결된 경우 마스터 기기로부터 할당받은 주파수를 이용하거나, 마스터 기기로부터 주파수 할당과 무관하게, 모바일 기기들이 액세서리 기기만의 고유 주파수를 이용할 수 있다. C400에서는 사용자와 인접한 액세서리 기기의 신호를 모바일 기기가 수신하는 단계이다. 신호를 수신한 모바일 기기는 사용자의 위치 파악 정보에 기초하여 신호를 마스터 기기에 전송한다(C500). 이 때 마스터 기기는 액세서리 기기와 최단거리에 있는 모바일 기기를 결정하고, C600에서와 같이 오디오 데이터를 마스터 기기가 저장하고 있는 경우, 무선 네트워크를 이용하여 최단거리에 위치한 모바일 기기로 오디오 데이터를 전송할 수 있다. 또한 오디오 데이터가 무선 네트워크에 연결된 다른 모바일 기기에 저장되어 있는 경우, 마스터 기기는 오디오 데이터 전송을 요청할 수 있으며, 요청 방법은 주파수 신호를 이용하거나 무선 네트워크를 이용하여 오디오 데이터를 저장하고 있는 모바일 기기가 해당 요청을 수신할 수 있도록 한다. 최종적으로 오디오 데이터는 사용자와 최단거리에 위치한 모바일 기기로 무선 네트워크를 이용하여 전송되고, 사용자는 오디오 데이터를 컨트롤 할 수 있다.
도 5의 C700에서는 액세서리 기기를 이용하여 사용자 제스쳐 정보가 모바일 기기에 전송되는 경우이다. 액세서리 기기에 탑재된 자이로(gyro) 센서를 이용하여 사용자의 제스쳐를 인식하고, 해당 신호를 모바일 기기에 전송한다. 이때 전송되는 신호는 액세서리 기기의 주파수나 모바일 기기의 주파수를 이용하여 고유 부호 신호 형태로 전송될 수 있다. 일 실시예로 비가청 주파수 신호를 모스 부호(Morse code) 형태로 사용자 제스쳐 인식에 기초한 오디오 컨트롤 명령을 전송할 수 있다. 도 5의 C800은 모바일 기기가 액세서리 기기로부터 수신한 신호에 기초하여 오디오 데이터 컨트롤을 수행하는 단계를 나타낸다. 모바일 기기는 액세서리 기기로부터 수신된 신호에 기초하여 오디오 데이터를 컨트롤 할 수 있는데, 이러한 오디오 데이터의 컨트롤은 오디오의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 기기 또는 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기(1000)의 블록도이다.
도 1에서는, 복수의 모바일 기기들를 이용한 다채널 오디오 할당 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법에 사용가능한 모바일 기기(1000)의 블럭도가 개시된다. 모바일 기기(1000)는 음성 통화 등을 지원하는 장거리 무선 통신(Long Distance Wireless Communication) 모듈(1110)과 주변 기기와 네트워크를 형성하는 단거리 무선 통신 (Short Distance Wireless Communication) 모듈(1120) 중 적어도 하나를 포함하는 트랜시버 (Transceiver)를(1100) 포함할 수 있다.
모바일 기기(1000)는 자신의 적어도 하나의 주변의 모바일 기기의 상대적인 위치를 계산하기 위해 주변의 모바일 기기에서 반송된 거리 계산을 위한 신호로서 비가청 음성 주파수 신호를 수신하거나 사용자의 위치나 제스처를 인식하기 위한 신호로서 사용자에 의해 반사된 비가청 음성 주파수 신호를 수신하거나 사운드를 수신하는 마이크(Microphone)(1200)와 오디오 데이터를 이용하여 사운드를 재생(또는 출력)하거나 모바일 기기의 위치 계산을 위해 네트워크에 포함된 모바일 기기에게 비가청 음성 주파수 신호를 이용하여 거리 계산 신호를 전송하거나 사용자의 위치나 제스처를 인식하기 위한 신호로써 사용자에게 비가청 음성 주파수 신호 등을 전송하기 위한 스피커(예컨대, Loud Speaker 등)(1300)를 포함할 수 있다.
또한, 모바일 기기(1000)는 모바일 기기(1000)의 위치 변경 여부를 감지할 수 있는 자이로(Gyro) 센서, 관성 센서, 이미지 센서와 사용자의 위치나 제스처를 인식하기 위한 지자기(magnetic) 센서 등이 포함될 수 있는 센서(Sensor) 모듈(1400)을 포함할 수 있다.
사용자의 위치와 제스처 인식은 비가청 주파수가 사용자의 위치 이동이나 제스처에 따라 반사되는 도플러 효과 에 의한 주파수 변화를 감지 하여 수행 할 수 있다.
또한, 모바일 기기(1000)는 오디오 데이터를 저장할 수 있는 메모리 모듈(1500)과 전술한 모듈들을 제어할 수 있는 중앙처리유닛(CPU)(1600)을 포함할 수 있다. 이러한 메모리 모듈(1500)은 비휘발성 메모리 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 데이터를 컨트롤하는 모바일 기기는 오디오 데이터를 저장하는 메모리, 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오를 출력하거나 모바일 기기나 사용자의 위치 파악이나 사용자의 제스처를 인식하기 위한 비가청 음성 주파수를 출력하기 위한 스피커, 사운드를 수신하거나 모바일 기기나 사용자의 위치 파악이나 사용자의 제스처를 인식하기 위한 비가청 음성 주파수를 수신하기 위한 마이크 및 중앙처리유닛(CPU) 및 모바일 기기의 위치 변경을 감지할 수 있는 자이로 (Gyro) 센서, 이미지 센서나 사용자의 위치를 파악 할수 있는 지자기(magnetic) 센서를 포함하는 센서 (Sensor) 모듈을 포함할 수 있다.
중앙처리유닛(CPU)는 복수의 모바일 기기들과의 네트워크 형성을 제어하고, 복수의 모바일 기기들로부터 거리 계산을 위한 신호를 수신하거나 사용자 위치 파악 정보에 기초한 신호를 수신하고, 상기 수신된 신호에 기초하여 계산된 각각의 모바일 기기간의 거리 정보를 이용하여 상기 복수의 모바일 기기들의 위치를 계산하거나, 사용자 위치 파악 정보에 기초한 신호를 이용하여 사용자 위치를 파악 하고, 상기 계산된 사용자나 모바일 기기의 위치에 기초하여 상기 복수의 모바일 기기들 중 적어도 하나의 오디오 데이터를 컨트롤 할 수 있다.
또한, 본 발명의 일 실시예에 따른 오디오 데이터를 컨트롤하는 모바일 기기의 CPU는 복수의 모바일 기기간의 무선 네트워크 형성을 제어할 수 있다. 형성된 네트워크 내의 모바일 기기들중 제 1 모바일 기기의 CPU는 사용자 위치 파악을 위해 사용하는 비가청 음성 주파수의 기기간 간섭을 방지 하기 위해 서로 다른 주파수를 할당할 수 있고, 사용자의 위치를 파악한 기기에 오디오 데이터 전송 여부를 결정할 수 있다.
형성된 네트워크 내의 모바일 기기들중 제 2 모바일 기기의 CPU는 마이크나 무선 네트워트으로 수신한 사용자 위치 파악을 위한 정보에 기초하여 사용자의 위치를 파악하고 이에 기초한 신호를 제 1 모바일 기기로 전송 할 수 있다.
형성된 네트워크 내의 모바일 기기들 중 적어도 하나의 모바일 기기의 COU는 사용자의 제스처를 인식하고, 인식된 제스처에 따라 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 등의 오디오 데이터 컨트롤을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 모바일 기기는 모바일 기기의 움직임을 감지하기 위한 자이로 센서 또는 모바일 기기의 사용자의 이동 여부를 파악하기 위한 지자기 센서를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 모바일 기기는 사용자에 근접한 액세서리로부터 사용자 위치 정보 나 제스처 정보를 수신할 수 있다.
다시 말해서, 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 모바일 기기는, 상기 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오 데이터를 저장하는 메모리, 스피커, 사운드를 수신하기 위한 마이크 및 중앙처리유닛(CPU)을 포함하고, CPU는 모바일 기기와 사용자의 위치 파악 정보에 기초하여, 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하거나, 상기 타 모바일 기기의 위치 파악 정보에 기초한 신호를 수신하여 오디오 데이터의 전송 명령을 결정하거나, 사용자의 제스처를 인식하여 오디오 데이터를 컨트롤할 수 있다. CPU에 의하여 모바일 기기와 사용자의 위치 파악 정보에 기초한 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하는 방식은 WiFi, ad-hoc, Mesh Network 등의 방식이 이용될 수 있다. 또한 이러한 신호는 비가청 주파수를 이용하여 전송될 수 있다.
또한, 본 발명의 다른 실시예에 따른 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 모바일 기기는, 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버, 오디오 데이터를 저장하는 메모리, 스피커, 사운드를 수신하기 위한 마이크 및 로직회로를 포함하고, 로직회로는 모바일 기기와 사용자의 위치 파악 정보에 기초하여, 상기 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하거나, 상기 복수의 모바일 기기들 중, 적어도 하나의 타 모바일 기기로부터 오디오 데이터를 수신하거나, 상기 사용자의 제스처를 인식하여 오디오 데이터를 컨트롤할 수 있다. 로직회로에 의하여 모바일 기기와 사용자의 위치 파악 정보에 기초한 네트워크 내의 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하는 방식은 WiFi, ad-hoc, Mesh Network 등의 방식이 이용될 수 있다. 또한 이러한 신호는 비가청 주파수를 이용하여 전송될 수 있다.
사용자의 위치 파악 정보는 스피커로부터 재생된 신호를 이용하여 계산될 수 있다. 또한, 본 발명의 일 실시예에 따른 모바일 기기는 사용자 위치 파악 정보 획득을 위한 가속도 센서(accelerometer), 회전 각 가속도 센서(gyroscope), 이미지 센서, 사용자의 이동 방향을 파악하기 위한 지자기 센서(magnetometer)를 더 포함할 수 있다. 또한, 사용자의 위치 파악 정보를 기초로 신호를 전송하는 경우, 트랜시버와 스피커를 이용하여 신호가 전송될 수 있다.
도 2는 본 발명의 일 실시예에 따른 액세서리(2000)의 블록도이다.
도 2에서는, 복수의 모바일 기기를 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법에 사용 가능한 모바일 기기와 연동 가능한 액세서리 기기(2000)의 블럭도가 개시된다. 액세서리 기기(2000)는 액세서리로 지칭될 수 있다. 액세서리 기기(2000)는 모바일 기기에게 사용자 제스처로 인식된 정보를 송신 할 수 있는 트랜시버(2100)을 포함 할 수 있고, 사용자의 제스처를 인식할 수 있는 자이로 센서등을 포함하는 센서 모듈 (2400)을 포함 할 수 있고, 액세서리의 위치 정보나 제스처 정보를 모바일 기기에 비가청 음성 주파수로 전달 할 수 있는 스피커(2500)와 이들 모듈들을 제어하는 로직 회로(2200)를 포함 할 수 있다. 또한, 액세서리(2000)에는 위치 정보나 제스쳐 정보 등이 저장되는 비휘발성 메모리(2300)가 포함될 수 있다.
본 발명의 일 실시예에 따른 액세서리는 사용자 위치 정보나 제스처 정보를 모바일 기기로 전송시 비가청 음성 주파수를 활용하여 마이크로 전송할 수 있고, 전송 신호는 제스처 별로 구분되는 고유 주파수나 소리로 전달할 수 있는 모스 부호 등의 형태로도 전송 될 수 있다.
본 발명의 일 실시예에 따른 액세서리는 스마트 와치 등의 웨어러블 디바이스 일 수 있다. 또한 이러한 액세서리는 리모트 컨트롤러 기기로 지칭될 수 있다. 액세서리는 적어도 하나의 모바일 디바이스에 의하여 형성된 네트워크 상으로 연결이 될 수도 있고 안 될 수 도 있다. 또한, 액세서리는 마스터 기기와 무관하게 제조단계에서 미리 주파수가 설정되어 할당되어 있을 수 있다. 예를 들어, 무선 네트워크 기능이 없어 마스터 기기가 주파수를 할당하지 못할 수도 있다.
본 발명의 일 실시예에 따른 트랜시버나 마이크는 사용자에 근접한 액세서리로부터 사용자의 위치파악 정보에 기초한 신호를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기는, 사용자의 제스쳐를 인식하는 센서 및 인식된 센서 정보에 기초하여 사용자의 제스쳐가 구별되도록 신호를 생성하는 스피커를 포함할 수 있다. 리모트 컨트롤러 기기는 모바일 기기의 오디오 데이터를 컨트롤할 수 있다.
본 발명의 다른 실시예에 따른 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기는, 모바일 기기 또는 모바일 기기가 속한 그룹과 무선 네트워크를 형성하는 트랜시버, 사용자의 제스쳐를 인식하는 센서 및 인식된 센서 정보에 기초하여 사용자의 제스쳐가 구별되도록 신호를 생성하는 스피커를 포함할 수 있다. 리모트 컨트롤러 기기는 모바일 기기의 오디오 데이터를 컨트롤할 수 있다. 스피커는 센서 정보에 기초하여, 사용자의 제스쳐에 따라 서로 다른 주파수를 생성할 수 있다. 또한, 스피커는 센서 정보에 기초하여, 사용자의 제스쳐에 따라 서로 구분되는 고유 부호 신호를 생성할 수 있다. 무선 네트워크를 통해 신호 전송에 사용될 주파수 정보는 트랜시버를 통해 수신될 수 있다.
도 3a는 본 발명의 일 실시예에 따라 사용자의 위치나 제스처 인식에 의해 복수개의 모바일 기기들의 오디오 데이터를 컨트롤하는 방법을 나타낸 순서도이다. 본 발명의 일 실시예에 따른 오디오 데이터 컨트롤 방법은 복수의 모바일 기기들 간에 무선 네트워크를 형성하는 단계(S1000), 복수의 모바일 기기들 중 마스터 기기가 오디오를 재생할 모바일 기기(예컨대,1PS)에 오디오 데이터 송신하는 단계(S2000), 모바일 기기(1PS)에서 사용자의 위치 및 제스쳐를 인식하여 오디오 작동을 컨트롤하는 단계(S3000), 사용자와 모바일 기기(1PS) 사이의 거리가 일정 범위 이상인지 여부를 판단하는 단계(S4000) 및 사용자와 가장 가까운 거리에 위치한 모바일 기기(예컨대,2PS)를 결정하고, 이러한 모바일 기기(2PS)에 오디오 데이터를 전송하는 단계(S5000)를 포함할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기는 무선 기기로 지칭될 수 있다. 복수의 모바일 기기들 중 마스터 기기는 오디오를 재생할 모바일 기기(예컨대,1PS)로 오디오 데이터를 송신할 수 있고, 모바일 기기(1PS)에서는 사용자의 위치 및 제스쳐를 인식하여 오디오 작동을 컨트롤할 수 있다. 또한, 사용자와 모바일 기기(1PS) 사이의 거리가 임계값(Threshold) 이상인지 여부 판단을 통하여 사용자와 가장 가까운 거리에 위치한 모바일 기기(예컨대,2PS)를 결정하고, 결정된 모바일 기기(2PS)로 오디오 데이터를 전송할 수 있다.
도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
본 발명의 일 실시예를 구체적으로 설명하면 다음과 같다. 시스템은 WiFi 등을 이용하여 무선 네트워크를 이용하고, 각 모바일 기기는 무선 네트워크에 연결되어 있으며, 각 모바일 기기간에 거리 계산은 비가청 주파수 신호를 사용할 수 있다.
마스터 기기는 형성된 무선 네트워크에 액세스 포인터(access point)로서의 역할을 수행할 수 있다. 마스터 기기는 자신을 포함하여 각각의 슬레이브 기기가 사용할 비가청 주파수를 할당할 수 있다. 이후 마스터 기기는 비가청 주파수 신호나 WiFi 무선 신호를 이용하여 각 모바일 기기에 비가청 주파수 신호 전송을 요청할 수 있다. 마스터 기기는 슬레이브 기기들이 전송한 비가청 주파수를 수신하여 최단거리, 최장거리에 위치한 기기를 결정하여 서브마스터 기기로 결정할 수 있다. 마스터 기기는 각 모바일 기기들의 위치 계산에 소요되는 계산량을 최소화하기 위해 서브 마스터 기기가 저장한 정보의 전송을 요청할 수 있다.
전송 정보에는 서브마스터 기기의 전송시간정보와 타 슬레이브 기기로부터 수신한 신호의 수신시간 정보가 포함될 수 있다. 마스터 기기는 수신한 정보를 기초로 모든 모바일 기기의 상대적 위치를 계산할 수 있다. 마스터 기기는 계산된 상대 위치를 기초로 오디오 채널을 각 모바일 기기에 할당하고 할당된 채널을 통하여 오디오 데이터를 전송할 수 있다. 이 때 각 모바일 기기의 비가청 주파수를 사용하여 통신하는 경우, 다음과 같은 기술적 장점이 있을 수 있다.
- 모바일 기기간에 무선 네트워크 사용이 줄어들으므로, 모바일 기기의 베터리 소모를 줄일 수 있다.
- 모바일 기기간에 서로 다른 비가청 주파수를 할당하여 사용 가능하므로, 모바일 기기간 신호 간섭 현상을 감소시킬 수 있다.
또한, 모바일 기기간의 거리 계산을 위해 서로 다른 주파수를 할당하여 사용하는 경우, 아래와 같은 이점이 있을 수 있다.
- WiFi/Bluetooth 통신과 다르게 모바일 기기간에 동시에 신호 전송과 수신이 가능할 수 있다.
- WiFi/Bluetooth 통신과 다르게 액세스 포인트(AP) 없이 모바일 기기간 직접 통신이 가능할 수 있다.
- 하나의 모바일 기기에 할당된 주파수로 송수신하는 경우, 모바일 기기는 자신에게 할당된 신호에만 반응하면 되므로 기기간에 통신 구성이 간단해질 수 있다. 다만, 기기간 할당된 주파수 정보가 모바일 기기에게 사전에 전달되어 있어야 한다.
- 할당된 비가청 주파수로 고유 부호 등을 작성하여 양방향 통신을 위한 다양한 메시지를 구성할 수 있다. 예를 들면, 고유 부호로서 모스 부호 (Morse-code)를 비가청 주파수로 생성하고 전송할 수 있다.
전술한 내용은 도 3b 내지 도 3e를 참조하여 이하에서 자세히 설명한다. 도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 마스터 모바일 기기와 네트워크 내의 다른 모바일 기기의 데이터 송수신에 대한 설명을 위한 개략도이다.
도 3b는 마스터 기기(M)와 전방-좌(FL), 전방-우(FR), 후방-좌(RL), 후방-우(RR), 새로 네트워크에 연결될 기기(N)로 구성되어 있다. 이때 WiFi 무선 통신으로 각 모바일 기기의 거리를 측정하는 경우, 각 기기간의 직접 통신 지원되지 않으므로, RL-FL, RL-FR, RL-RR 의 거리 측정이 불가능하다. 그러나 비가청 주파수를 이용하여 거리계산을 하는 경우 도 3b와 같이 RL 또는 FR에서 비가청 주파수 신호를 브로드캐스팅(broadcasting)하는 경우, 주위의 모든 모바일 기기는 신호를 수신하여 신호 수신 시간을 저장할 수 있다. 또한 모바일 기기간에 비가청 주파수가 할당된 경우, 수신된 신호의 주파수로 어떤 모바일 기기가 신호를 전송하였는지 알 수 있다. 따라서 모든 슬레이브 기기들 (FL, FR, RL, RR)이 거리계산을 위한 신호를 서로 전송하고 타 기기들로부터 수신한 신호를 저장한 후, 관련 정보를 마스터 기기로 전송하면 마스터 기기는 각 모바일 기기의 상대적 위치를 계산할 수 있다. 또한 계산량을 최소하기 위해 최단, 최단거리에 위치한 모바일 기기를 결정하고 해당 기기의 정보(RL, FR)만을 이용하여 모바일 기기의 위치를 계산할 수 있다. 결론적으로 마스터 기기는 계산된 복수의 모바일 기기의 위치 정보에 기초하여 각 기기에 오디오 채널을 할당하고 할당된 채널에 맞는 오디오 데이터를 전송할 수 있다. 이때 도 3b의 새로운 모바일 기기(N)가 네트워크에 연결된 경우에도 쉽게 채널을 할당할 수 있고, 채널을 할당 받았던 기기가 이동한 경우에도 해당 기기에 탑재된 가속도 센서 정보를 마스터 기기가 수신하여, 기기 이동 여부를 결정하고 다채널 오디오를 재할당할 수 있다.
본 발명의 일 실시예로 비가청 주파수를 이용하여 사용자의 제스쳐를 인식하는 방법에 대하여는 도 3c 등을 참조하여 다음과 같이 설명될 수 있다.
도 3c은 본 발명의 일 실시예에 따라 사용자 제스처 인식에 사용되는 비가청 음성 주파수의 반사파의 파형도 이다.
비가청 주파수를 활용한 제스처 인식은 도플러 효과를 활용할 수 있다. 도플러 효과는 사용자가 음원 즉 마이크에 가까이 오거나 멀어질 때의 주파수의 변화가 생기는 효과이다. 또한 주파수의 변화량은 주파수와 움직이는 물체의 속도에 비례한다.
도 3c과 같이 사용자의 움직임이 없는 경우, 도 3c의 (a)에서와 같이 하나의 피크로 반사파의 파형이 감지 되며, 사용자가 멀어질때는 도 3c의 (b)에서와 같이 반사파의 파형에 피크보다 저주파 대역으로 이동되며, 사용자가 가까질 질때는 도 3c의 (C)에서와 같이 반사파의 파형에 피크보다 저주파 대역으로 이동된다. 따라서 반사파의 파형을 분석 정보를 기초로 하여 사용자의 제스처를 인식 할 수 있다.
비가청 주파수를 사용한 제스처 인식의 경우 적외선 카메라를 사용하는 방식 에 비해 구조가 간단하며, 계산량도 줄어 들 수 있고 핸드폰 등에 이미 내장된 마이크와 스피커를 사용하여 구현 가능하므로 본 발명을 위한 별도의 구성이 필요치 않으며, 기존 무선 스피커의 경우에도 마이크만 추가로 탑재한다면 적용이 가능해 진다.
본 발명의 일 실시예로 사용자의 위치 파악을 위한 방법에 대한 설명은 아래와 같다.
도 3d의 예시는 마스터 기기(M), 전방-좌 스피커(FL), 전방-우 스피커(FR), 후방-우 스피커(RR), A-사용자의 제 1 위치 (U-A-1), A-사용자의 제 2 위치 (U-A-2), B-사용자의 제 1 위치(U-B-1), B-사용자의 제 2 위치(U-B-2)로 구성된다. 또한 각 모바일 기들은 WiFi 등의 무선 네트워크을 이용하여 연결되어 있고, 마스터 기기는 서로 다른 주파수를 각 기기에 할당하였다. 이 때 A-사용자가 U-A-1 에 위치한 경우에는 A-사용자는 모바일 기기 FL에서 가장 가까운 거리에 위치하므로, FL, RR 에서 비가청 주파수를 전송하고, 각 기기가 반사된 신호를 수신하여, 사용자의 유무를 판단할 수 있다. 사용자 위치 파악 정보 기초하여, FL, RR 기기는 관련 정보를 마스터 기기에 전송하고 마스터 기기는 사용자와 가장 가까운 기기를 결정하고, 결과를 해당 기기에 전송할 수 있다.
또 다른 일 실시예로 A-사용자가 위치 U-A-1에서 U-A-2로 이동하는 경우, 가장 가까운 모바일 기기는 RR 로 변경하게 된다. 동시에 B-사용자가 U-B-1에서 U-B-2 로 이동 하는 경우, B-사용자로부터 가장 가까운 기기는 RR에 해당된다. 이 때에 어떠한 사용자가 기기 사용 레벨에 따라 모바일 기기 RR의 사용 여부가 결정되게 된다. 가령 A-사용자가 기기 사용 레벨이 높은 경우, A-사용자가 FL 기기로 오디오를 듣다가 U-B-1에서 U-B-2 로 하는 경우, RR 기기에서는 A-사용자가 듣고 있던 음악이 재생되도록 이를 마스터 기기가 오디오 데이터를 컨트롤한다. 따라서 B-사용자는 RR 기기에 근접하더라도 오디오 데이터를 컨트롤 할 수 없게 된다.
도 3e의 경우에는 사용자가 액세서리 기기를 휴대하고 있는 경우이다. 액세서리 기기에는 무선 네트워크를 위한 트랜시버, 스피커, 마이크를 탑재하고 있다. 사용자가 휴대한 액세서리 기기는 네트워크에 연결되어 주파수를 할당받거나 다른 모바일 기기들에게 할당된 주파수 정보를 마스터 기기로부터 수신할 수도 있다.
도 3d와 실시예와 차이점은 사용자가 각 모바일 기기에 근접한 경우, 사용자가 휴대한 액세서리 기기는 해당 모바일 기기의 주파수로 모바일 기기(FL, FR)에게 신호를 전송한다는 점이다. 모바일 기기는(FL, FR) 이 이 신호를 수신하여 A-사용자와 B-사용자의 위치 파악 정보를 생성할 수 있다. 또한 A-사용자와 B-사용자가 동시에 RR 기기에 접근하는 경우에 사용자 액세서리 별 기기 사용 레벨이 높은 경우에 따라 RR 기기 오디오 데이터 컨트롤 권한을 가질 수 있다. 이러한 경우, 두 사용자의 액세서리 기기를 구별하기 위해 마스터 기기나, 모바일 기기 RR은 두 사용자의 액세서리 기기에 아이디 정보 전송을 요청할 수 있다. 이러한 경우, 각 액세서리 기기에 할당된 주파수를 이용하여 응답할 수도 있다.
도 4은 본 발명의 일 실시예에 따라 복수의 모바일 기기들의 위치 파악 정보에 기초하여 마스터 기기와 모바일 기기간의 신호 전송 및 수신에 따른 오디오 데이터를 전송 방법 을 나타낸 순서도이다.
본 발명의 일 실시예에 따라 Bluetooth, Wi-Fi 등의 단거리 무선 통신 모듈(1120)을 활용하여 복수의 모바일 기기들은 상호간의 무선 네트워크를 형성할 수 있다(A100). 이 경우 마스터 기기는 복수의 모바일 기기간에 네트워크를 형성하는 AP 역할을 수행하여, 모바일 기기의 네트워크 연결을 결정하고, 마스터 기기와 모바일 기기 사이 내지 모바일 기기 사이에 데이터 송수신을 결정할 수 있다. 본 발명에서 마스터 기기는 AP 이면서 동시에 복수의 모바일 기기의 위치 파악 정보에 기초한 신호를 취합하여 복수의 모바일 기기의 컨트롤을 수행할 수 있다.
복수의 모바일 기기들 중 어느 하나의 모바일 기기에서 네트워크에 포함된 다른 모바일 기기가 사용할 주파수를 할당할 수 있다(A200). 각 모바일 기기들은 할당된 주파수를 전송하여 사용자로부터 반사된 신호를 수신하여 사용자 위치 파악 정보를 생성할 수 있다. 이러한 주파수 할당은 모바일 기기별로 동일 주파수를 사용하는 경우 발생할 수 있는 신호간의 간섭을 방지 하기 위한 목적이다. 각각의 모바일 기기는 스피커를 이용하여 할당된 주파수를 이용하여 신호를 전송하고 사용자나 사용자의 제스처에 의해 반사된 주파수의 변화를 파악하여 사용자의 위치 파악 정보를 생성할 수 있다(A300). 이러한 사용자의 위치 파악 정보 생성을 위해서 사용자와 근접해 위치한 액세사리에서 송신된 비가청 음성 주파수를 수신하여 파악 할 수도 있고, 지자기 센서를 활용해서 파악 할 수도 있다. 사용자의 모바일 기기로부터 일정 거리에 위치하는지 여부를 모니터링할 수 있다(A400). 모바일 기기는 사용자의 위치 파악 정보에 기초한 신호를 마스터 기기에 전송할 수 있다(A500). 마스터 기기는 수신된 신호를 기초로 오디오 데이터를 수신할 모바일 기기를 결정할 수 있다. 마스터 기기는 전송된 신호를 기초로 신호를 전송한 모바일 기기에 형성된 무선 네트워크를 통하여 오디오 데이터를 전송할 수 있다(A600). 도 4의 단계 A600은 오디오 데이터를 마스터 기기가 저장하고 있는 경우이다. 오디오 데이터가 다른 모바일 기기에 저장된 경우에는, 오디오 데이터 전송 요청을 해당 모바일 기기에 요청할 수 있다.
오디오 데이터를 전송하는 방법은 다양한 모드를 가질 수 있다. 예를 들면, 마스터 기기에서 전달 할 수 있고, 마스터 기기가 오디오 데이터를 가지고 있는 모바일 기기에 데이터 전달을 요청할 수도 있고, 재생 중이던 모바일 기기 (1PS)에 전달을 요청할 할 수도 있다.
재생할 오디오를 결정하는 방법도 다양한 모드를 가질 수 있다. 예를 들면 각각의 모바일 기기에서 사용자의 위치를 파악하고 사용자에 가까운 모바일 기기에서 오디오 데이터를 재생하고 사용자의 이동에 따라 이동 방향에 근접한 모바일 기기에서 이어서 재생 할 수 있다. 이와 같이 이어서 재생하는 경우 오디오 데이터를 이어서 재생할 모바일 기기로 전달 할 때 재생 중인 모바일 기기가 전달 할 수도 있고 마스터 기기에서 전달 할 수도 있고 해당 오디오 데이터를 가지고 있는 다른 모바일 기기가 전달 할 수도 있다.
다른 예로는 모바일 기기별로 지정된 다른곡을 재생하고 사용자의 위치에 따라 재생 및 일시 정지를 자동으로 컨트롤 하고 사용자가 되돌아 오는 경우 해당곡을 이어서 재생 할 수도 있다. 이때에는 사용자 ID를 파악할 수 있는 기능이 함께 필요할 수도 있다.모바일 기기는 할당된 주파수를 이용하여 스피커를 통해 신호를 전송하고 사용자의 제스처에 따라 반사된 주파수를 이용하여 사용자의 제스처를 인식할 수 있다(A700). 이? 사용자의 제스처 인식은 액세서리 사용시 액세서리 내의 가속도 및 자이로 센서 등으로 인식 가능하고, 액세서리에서 인식된 제스처는 비가청 음성 주파수를 사용하여 제스처별 고유의 주파수로 전송되거나 모스 부호의 형태로 모바일 기기로 전송될 수도 있다. 또한, 사용자와 일정 거리 안에 있는 다수의 모바일 기기가 동시에 오디오 재생 될 수 있도록 오디오 데이터를 전송할 수도 있다. 모바일 기기는 사용자의 제스처의 인식 결과를 마스터 기기에 전송할 수 있다. (A800)
다시 말해서, 본 발명의 일 실시예에 따른 복수의 모바일 기기들간의 오디오 데이터 컨트롤 방법은, 상기 복수의 모바일 기기들간에 무선 네트워크를 형성하는 단계, 복수의 모바일 기기들 중 제 2 모바일 기기에 의하여 사용자의 위치 파악되는 단계, 제 2 모바일 기기가 파악한 사용자 위치 파악 정보에 기초하여 네트워크에 포함된 적어도 하나의 타 모바일 기기가 수신 가능하도록 제 2 모바일 기기에 의하여 신호가 전송되는 단계 및 복수의 모바일 기기들 중 제 1 모바일 기기에 의하여 제 2 모바일 기기로부터 수신한 신호에 기초하여 오디오 데이터를 전송 여부를 결정하는 단계를 포함할 수 있다. 또한, 예를 들면, 제 1 모바일 기기는 음원을 가지고 있는 기기(예컨대, 제 3 모바일 기기)에게 명령어를 전달함으로써 오디오 데이터가 제 3 데이터로부터 제 2 모바일 기기 등으로 전송되게 할 수 있다. 이러한 경우, 네트워크를 통해 또는 특정 주파수로 명령어가 전달될 수 있다. 예를 들면, 모스 부호 등을 통하여 명령어가 전달될 수 있다.
복수의 모바일 기기들은 사용자의 제스쳐를 인식하여 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생 또는 플레이 리스트 컨트롤 중 어느 하나를 수행할 수 있다. 다시 말해서, 제 2 모바일 기기가 파악한 사용자 위치 파악 정보에 기초하여 네트워크에 포함된 적어도 하나의 타 모바일 기기가 수신 가능하도록 신호를 전송하고, 이때 제 2 모바일 기기에 의하여 전송되는 신호는 브로드 캐스팅되는 신호일 수 있다.
제 2 모바일 기기는 사용자와의 거리가 일정 거리 안에 있는 경우에 위치 파악 정보에 기초한 신호를 상기 제 1 모바일 기기로 전송하고 사용자가 제 2 모바일 기기로 부터 일정 거리 이상 멀어지는 경우에 상기 위치 파악 정보에 기초한 신호를 제 1 모바일 기기에 전송할 수 있다.
제 1 모바일 기기가 오디오 데이터의 전송 여부를 결정하는데 있어서, 사용자와 일정 거리안에 있는 적어도 하나 이상의 모바일 기기에 오디오 데이터를 전송하도록 결정할 수 있다.
모바일 기기는 비가청 주파수를 전송하고 사용자의 움직임에 의해 반사된 비가청 주파수 수신하여 사용자의 제스쳐를 인식할 수 있다.
모바일 기기가 사용자 위치 파악 정보를 생성하는데 있어, 각각의 모바일 기기는 서로 구별되는 주파수의 신호를 전송하며, 적어도 하나의 모바일 기기의 신호 전송 주파수는 제 1 모바일 기기에 의해 결정될 수 있다.
사용자에 근접한 액세서리 기기로부터 전송된 신호를 이용하여 사용자의 위치나 사용자 제스쳐를 인식할 수도 있다. 이 경우 사용자의 제스쳐에 따라 구별되는 고유 주파수나 고유 부호 신호(예컨대, 소리로 전달할 수 있는 모스 부호)를 전송할 수 있다.
사용자가 특정 액세서리 등을 착용하고 있는 경우 사용자의 위치를 파악할 때 사용자에게 부착된 기기로부터 전송된 신호를 이용하여 사용자의 위치가 파악되도록 본 발명의 일 실시예에서와 같이 구현될 수도 있다. 또한 모바일 기기에서 사용자의 위치 파악을 위해 신호 전송방식이 아닌, 주위의 지자기의 변화에 의해서 사용자 유무를 파악할 수 있다. 이 때는 각 모바일 기기가 지자기(magnetic) 센서를 포함하고 있어야 한다.
사용자가 특정 액세서리 등을 착용하고 있는 경우 사용자의 제스쳐를 인식하는데 있어서, 사용자의 액세서리로부터 해당 모바일 기기로 전송되는 신호의 주파수가 제스처별로 서로 상이하게 하여 해당 모바일 기기의 오디오 작동을 컨트롤 할 수 도 있다. 이 때에는 액세서리에 탑재된 자이로(gyro) 센서 등을 이용하여 사용자의 제스쳐에 따른 기기의 움직임 정도를 파악하여, 제스쳐 인식의 결과에 따라 전송하는 주파수를 달리 할 수 있다. 이러한 경우, 모바일 기기는 액세서리 기기가 전송한 신호를 수신하여, 수신된 신호의 주파수에 기초하여 사용자의 제스쳐를 파악할 수도 있다. 이러한 경우, 기 형성된 무선 네트워크의 이용없이 제스쳐 신호를 특정 비가청 범위의 신호로 변경하여 전송 가능하므로 모발기기의 베터리 소모를 줄일 수 있다. 또한 액세서리 기기에서 제스쳐 신호를 전송시, 제스쳐에 따른 전송 주파수의 변경 없이 전송 신호가 구별될 수 있도록 전송할 수도 있다. 예를 들자면 재생(P), 앞으로 재생(F), 뒤로 재생(B), 정지 신호(S)를 각 컨트롤 신호에 해당하는 영문 알파벳을 모스(Morse) 부호를 이용하여 신호를 생성하면 액세서리 기기와 근접한 모발 기기가 해당 신호를 마이크를 통해 인식할 수 있다.도 4의 A100은 복수의 모바일 기기들 간에 무선 네트워크를 형성하는 단계이다. 무선 네트워크의 형성의 주요한 용도 중 하나는 사용자와 근접한 모바일 기기에 오디오 데이터를 전송하는데 있다. 이 때 WiFi 무선 네트워크 통신를 이용하는 경우에는 하나의 모바일 기기가 마스터 기기가 될 수 있다. WiFi/Bluetooth 의 무선 네트워크 통신은 각 노드간의 통신이 반드시 마스터 기기를 거쳐서 데이터 전송이 가능하므로 각 네트워크 노드 사이에 직접 데이터 전송이 필요한 경우에는 Ad-hoc 네트워크나 Mesh 네트워크 형태의 통신 방법이 적용될 수 있다. 그러나 모바일 기기간에 데이터 전송이 아닌 기기 사이의 요청 및 응답을 위한 메시지 전송을 위해서는 네트워크에 포함된 모바일 기기 간에 정의된 주파수를 이용하여 고유 부호 전송 구현이 가능하다. 일 실시예로 A200에서 마스터 기기는 무선 네트워크에 포함된 모바일 기기들이 사용할 주파수를 할당하는 것이다. 예를 들어, 마스터 기기기는 각 모바일 기기에 비가청 주파수에 해당되는 20000Hz, 21000Hz, 25000Hz 를 할당하고 각 모바일 기기는 할당된 주파수로 요청 신호를 전송하고, 할당된 주파수로 응답을 수신할 수 있으며, 각 요청 및 응답 신호는 모스 부호(Morse code) 등을 사용하여 다양하게 구성될 수 있다. 또한, 변형된 방법으로 전송시에만 할당된 주파수를 사용할 수도 있다. 따라서 마스터 기기는 네트워크에 연결된 모바일 기기의 수를 고려하여 적절한 주파수를 모바일 기기에 할당할 수 있다.
도 4의 A300, A400, A500은 사용자와 근접한 모바일 기기가 동작하는 것을 나타낸다. A300에서는 모바일 기기에 할당된 주파수 이용하여 신호를 전송하여, 반사된 신호의 주파수 변화 정도로 사용자의 이동 여부를 파악하고, 반사되는 신호의 특징으로 모바일 기기와 사용자의 거리를 파악하는 단계이다. 또한 A700에서와 같이 사용자가 모바일 기기와 일정거리에 위치하는 경우(A400)에 사용자의 제스쳐를 인식하여 오디오 데이터의 컨트롤이 필요하므로, A500에서 모바일 기기는 사용자의 위치파악 정보에 기초하여 신호를 마스터 기기에 전송하고, 마스터 기기는 모바일 기기로부터 수신한 신호를 기초로 오디오 데이터를 수신할 모바일 기기를 결정할 수 있다(A600).
도 4의 A800에서는 모바일 기기가 사용자의 제스쳐 인식결과를 마스터 기기에 전송할 수 있다. 전송 방법은 모바일 기기간에 형성된 무선 네트워크를 이용하거나 각 모바일 기기간에 할당된 주파수를 이용하여 신호를 전송할 수 있다. 주파수를 이용하여 오디오 데이터 컨트롤 신호를 전송하는 경우, 고유 부호 신호로 전송할 수도 있다. 또한 할당된 주파수를 이용하는 방법에 있어서도 전송과 수신에 있어서, 동일한 주파수를 사용할 수도 있고, 전송시에만 할당된 주파수를 사용하거나, 목적에 따라 사용하는 주파수를 달리 할 수도 있다. 도 5은 본 발명의 일 실시예에 따라 복수의 모바일 기기들과 마스터 기기, 모바일 기기, 액세서리 기기간의 신호 전송 및 수신에 따른 오디오 데이터 컨트롤 방법을 나타낸 순서도이다.
도 4에서와 같이 복수의 모바일 기기들은 모바일 기기들 간 무선 네트워크를 형성할 수 있다(C100). 도 5의 C200에서 마스터 기기는 무선 네트워크에 포함된 모바일 기기가 사용할 수 있는 주파수를 할당할 수 있다. 따라서 모든 기기들 사이에서 신호간섭을 최소화하면서, 기기간의 요청(request) 및 응답(acknowledgement)을 쉽게 파악할 수 있다. 이 때 액세서리 기기가 무선 네트워크에 연결된 경우에는 마스터 기기는 액세서리 기기에도 주파수를 할당할 수 있다. 또한 액세서리 기기는 마스터 기기로부터 다른 모바일 기기에 할당된 주파수 정보를 수신하여, 액세서리 기기가 모바일 기기에 신호 전송시, 해당 모바일 기기에 할당된 주파수로 신호를 전송하여, 특정 모바일 기기만 동작하도록 할 수 있다. 액세서리 기기의 일례로, 사용자와 근접한 스마트 와치 및 리모트 컨트롤러가 이에 해당된다.
도 5의 C300은 사용자와 근접한 액세서리 기기가 모바일 기기로 신호를 전송하는 단계를 나타낸다. 신호 전송을 위한 방법으로는 무선 네트워크를 이용하거나, 무선 네트워크에 연결된 경우 마스터 기기로부터 할당받은 주파수를 이용하거나, 마스터 기기로부터 주파수 할당과 무관하게, 모바일 기기들이 액세서리 기기만의 고유 주파수를 이용할 수 있다. C400에서는 사용자와 인접한 액세서리 기기의 신호를 모바일 기기가 수신하는 단계이다. 신호를 수신한 모바일 기기는 사용자의 위치 파악 정보에 기초하여 신호를 마스터 기기에 전송한다(C500). 이 때 마스터 기기는 액세서리 기기와 최단거리에 있는 모바일 기기를 결정하고, C600에서와 같이 오디오 데이터를 마스터 기기가 저장하고 있는 경우, 무선 네트워크를 이용하여 최단거리에 위치한 모바일 기기로 오디오 데이터를 전송할 수 있다. 또한 오디오 데이터가 무선 네트워크에 연결된 다른 모바일 기기에 저장되어 있는 경우, 마스터 기기는 오디오 데이터 전송을 요청할 수 있으며, 요청 방법은 주파수 신호를 이용하거나 무선 네트워크를 이용하여 오디오 데이터를 저장하고 있는 모바일 기기가 해당 요청을 수신할 수 있도록 한다. 최종적으로 오디오 데이터는 사용자와 최단거리에 위치한 모바일 기기로 무선 네트워크를 이용하여 전송되고, 사용자는 오디오 데이터를 컨트롤 할 수 있다.
도 5의 C700에서는 액세서리 기기를 이용하여 사용자 제스쳐 정보가 모바일 기기에 전송되는 경우이다. 액세서리 기기에 탑재된 자이로(gyro) 센서를 이용하여 사용자의 제스쳐를 인식하고, 해당 신호를 모바일 기기에 전송한다. 이때 전송되는 신호는 액세서리 기기의 주파수나 모바일 기기의 주파수를 이용하여 고유 부호 신호 형태로 전송될 수 있다. 일 실시예로 비가청 주파수 신호를 모스 부호(Morse code) 형태로 사용자 제스쳐 인식에 기초한 오디오 컨트롤 명령을 전송할 수 있다. 도 5의 C800은 모바일 기기가 액세서리 기기로부터 수신한 신호에 기초하여 오디오 데이터 컨트롤을 수행하는 단계를 나타낸다. 모바일 기기는 액세서리 기기로부터 수신된 신호에 기초하여 오디오 데이터를 컨트롤 할 수 있는데, 이러한 오디오 데이터의 컨트롤은 오디오의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 기기 또는 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (37)
- 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 기기에 있어서,
상기 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버;
상기 오디오 데이터를 저장하는 메모리;
스피커;
사운드를 수신하기 위한 마이크; 및
중앙처리유닛(CPU)을 포함하고,
상기 CPU는 상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기로부터 위치 파악 정보에 기초한 신호를 수신하여 오디오 데이터의 전송 명령을 결정하거나, 사용자의 제스처를 인식하여 오디오 데이터를 컨트롤 하며,
상기 위치 파악 정보는 상기 스피커로부터 재생된 비가청 주파수를 이용하여 도플러 효과에 의한 주파수 변화에 의해 계산되는 오디오 데이터를 컨트롤 하는 기기.
- 복수의 모바일 기기들과 연동되어 오디오 데이터를 컨트롤하기 위한 기기에 있어서,
상기 복수의 모바일 기기들과 네트워크를 형성하기 위한 트랜시버;
상기 오디오 데이터를 저장하는 메모리;
스피커;
사운드를 수신하기 위한 마이크; 및
로직회로를 포함하고,
상기 로직회로는 상기 복수의 모바일 기기들 중 적어도 하나의 타 모바일 기기로부터 오디오 데이터를 수신하거나 사용자의 제스처를 인식하며,
상기 사용자 제스처의 인식은 상기 스피커로부터 재생된 비가청 주파수를 이용하여 도플러 효과에 의한 주파수 변화를 계산하여 제스처를 인식하는 오디오 데이터를 컨트롤 하는 기기.
- 삭제
- 제 1 항 또는 제 2 항에 있어서,
상기 사용자 위치 파악 정보 획득을 위한 가속도 센서, 자이로 센서 및 지자기 센서를 더 포함하는 기기.
- 제 2 항에 있어서,
상기 사용자의 위치 파악 정보를 기초로, 신호를 전송하는 경우, 상기 트랜시버나 상기 스피커를 이용하여 상기 신호를 전송하는 기기.
- 제 2 항에 있어서,
상기 트랜시버나 상기 마이크는 상기 사용자에 근접한 리모트 컨트롤러로부터 상기 사용자의 위치파악을 위한 신호를 수신하는 기기.
- 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기에 있어서,
사용자의 제스쳐를 인식하는 센서; 및
상기 인식된 센서 정보에 기초하여 상기 사용자의 제스쳐가 구별되도록 도플러 효과를 이용하기 위한 비가청 주파수 신호를 생성하는 스피커를 포함하고,
상기 리모트 컨트롤러 기기는 상기 모바일 기기의 오디오 데이터를 컨트롤 하는 리모트 컨트롤러 기기.
- 모바일 기기를 이용하여 오디오 데이터를 컨트롤 하기 위한 리모트 컨트롤러 기기에 있어서,
상기 모바일 기기 또는 상기 모바일 기기와 연결된 타 모바일 기기와 무선 네트워크를 형성하는 트랜시버;
사용자의 제스쳐를 인식하는 센서; 및
상기 인식된 센서 정보에 기초하여 상기 사용자의 제스쳐가 구별되도록 도플러 효과를 이용하기 위한 비가청 주파수 신호를 생성하는 스피커를 포함하고,
상기 리모트 컨트롤러 기기는 상기 모바일 기기의 오디오 데이터를 컨트롤 하는 리모트 컨트롤러 기기.
- 제 7 항 또는 제 8 항에 있어서,
상기 스피커는 상기 센서 정보에 기초하여, 상기 사용자의 제스쳐에 따라 서로 다른 주파수를 생성하는 리모트 컨트롤러 기기.
- 제 7 항 또는 제 8 항에 있어서,
상기 스피커는 상기 센서 정보에 기초하여, 상기 사용자의 제스쳐에 따라 서로 구분되는 고유 부호 신호를 생성하는 리모트 컨트롤러 기기.
- 복수의 모바일 기기들을 이용한 오디오 데이터 컨트롤 방법에 있어서,
상기 복수의 모바일 기기들간에 무선 네트워크를 형성하는 단계;
상기 복수의 모바일 기기들 중 제 2 모바일 기기에 의하여 사용자의 위치가 파악되는 단계;
상기 제 2 모바일 기기가 파악한 사용자 위치 파악 정보에 기초하여 상기 네트워크에 포함된 적어도 하나의 타 모바일 기기가 수신 가능하도록 상기 제 2 모바일 기기에 의하여 신호가 전송되는 단계; 및
상기 복수의 모바일 기기들 중 제 1 모바일 기기에 의하여 상기 제 2 모바일 기기로부터 수신된 신호에 기초하여 오디오 데이터의 전송 여부가 결정되는 단계를 포함하고,
상기 복수의 모바일 기기들은 상기 사용자의 제스쳐를 인식하여 상기 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 중 어느 하나를 수행하며,
상기 사용자의 제스처를 인식함에 있어서, 상기 복수의 모바일 기기들은 비가청 주파수를 전송하고 상기 사용자의 움직임에 의해 반사된 비가청 주파수를 수신하여 도플러 효과에 의한 주파수 변화를 계산하여 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 11 항에 있어서,
상기 제 2 모바일 기기는 상기 사용자와의 거리가 일정 거리 안에 있는 경우에 상기 위치 파악 정보에 기초한 신호를 전송하는 오디오 데이터 컨트롤 방법.
- 제 11 항에 있어서,
상기 사용자가 상기 제 2 모바일 기기로부터 일정 거리 이상 멀어지는 경우에 상기 제 2 모바일 기기는 상기 위치 파악 정보에 기초한 신호를 전송하는 오디오 데이터 컨트롤 방법.
- 제 11 항에 있어서,
상기 제 1 모바일 기기에 의하여 오디오 데이터의 전송 여부를 결정하는데 있어서, 상기 사용자와 일정 거리안에 있는 적어도 하나의 모바일 기기에 오디오 데이터를 전송하도록 결정하는 오디오 데이터 컨트롤 방법.
- 삭제
- 제 11 항에 있어서,
상기 복수의 모바일 기기들은 서로 구별되는 상기 주파수의 신호를 전송하여 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 11 항에 있어서,
상기 모바일 기기가 상기 사용자 위치 파악 정보를 생성하는데 있어, 각 각의 모바일 기기는 서로 구별되는 주파수의 신호를 전송하며, 적어도 하나의 상기 모바일 기기의 신호 전송 주파수는 상기 제 1 모바일 기기에 의해 결정되는 오디오 데이터 컨트롤 방법.
- 제 11 항에 있어서,
상기 사용자의 위치를 파악에 있어서, 상기 사용자에 근접한 리모트 컨트롤러 기기로부터 전송된 신호를 이용하여 상기 사용자의 위치나 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 18 항에 있어서,
상기 사용자의 제스쳐를 인식하기 위하여, 상기 사용자의 제스쳐에 따라 구별 가능한 고유 주파수나 고유 부호 신호를 전송하는 오디오 데이터 컨트롤 방법.
- 복수의 모바일 기기들을 이용한 오디오 데이터 컨트롤 방법에 있어서,
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기가 무선 네트워크로 연결되는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기의 사용자 위치 파악을 위한 신호의 주파수를 할당하는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기로부터 사용자 위치 파악 정보에 기초하여 전송한 신호를 수신하는 단계; 및
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기에 의하여 상기 수신한 신호에 기초하여 오디오 데이터의 전송 여부가 결정되는 단계를 포함하고,
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기는 상기 사용자의 제스쳐를 인식하여 상기 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 중 어느 하나를 수행하며,
상기 사용자의 제스처를 인식함에 있어서, 상기 복수의 모바일 기기들 각각은 상기 할당된 비가청 주파수 신호를 전송하고 상기 사용자의 움직임에 의해 반사된 비가청 주파수를 수신하여 도플러 효과에 의한 주파수 변화를 계산하여 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 20 항에 있어서,
상기 사용자 위치 파악 정보에 기초하여 전송한 신호를 수신하는 단계에 있어서, 상기 신호는 상기 무선 네트워크나 상기 모바일 기기에 할당된 주파수를 이용하여 수신되는 오디오 데이터 컨트롤 방법.
- 제 21 항에 있어서,
상기 신호의 수신이 상기 모바일 기기에 할당된 주파수를 이용하는데 있어서, 상기 전송된 신호는 고유 부호로 구성되는 오디오 데이터 컨트롤 방법.
- 삭제
- 복수의 모바일 기기들을 이용한 오디오 데이터 컨트롤 방법에 있어서,
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기가 무선 네트워크로 연결되는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기는 사용자 위치 파악을 위한 신호의 주파수를 할당받는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기가 사용자 위치 파악 정보 생성을 위한 상기 할당된 주파수의 신호를 전송하는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기가 사용자 위치 파악 정보 생성을 위한 신호를 수신하는 단계;
상기 복수의 모바일 기기들 중, 적어도 하나의 모바일 기기가 사용자 위치 파악 정보에 기초하여 신호를 전송하는 단계; 및
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기가 오디오 데이터를 수신하는 단계를 포함하고,
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기는 상기 사용자의 제스쳐를 인식하여 상기 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 중 어느 하나를 수행하며,
상기 사용자의 제스처를 인식함에 있어서, 상기 복수의 모바일 기기들 각각은 상기 할당된 비가청 주파수 신호를 전송하고 상기 사용자의 움직임에 의해 반사된 비가청 주파수를 수신하여 도플러 효과에 의한 주파수 변화를 계산하여 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 24 항에 있어서,
상기 사용자 위치 파악 정보에 기초하여 신호를 전송하는 단계에 있어서,
상기 신호는 상기 무선 네트워크나 상기 모바일 기기에 할당된 주파수를 이용하여 전송되는 오디오 데이터 컨트롤 방법.
- 제 25 항에 있어서,
상기 신호는 상기 모바일 기기에 할당된 주파수를 이용하여 고유 부호로 전송되는 오디오 데이터 컨트롤 방법.
- 삭제
- 제 24 항에 있어서,
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기가 사용자 위치 파악 정보 생성을 위한 신호를 수신하는 단계에 있어서, 상기 모바일 기기에 할당된 주파수의 신호를 전송하고, 상기 사용자로부터 반사된 신호를 수신하는 오디오 데이터 컨트롤 방법.
- 제 24 항에 있어서,
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기가 사용자 위치 파악 정보 생성을 위한 신호를 수신하는 단계에 있어서, 상기 사용자에 근접한 리모트 컨트롤러 기기가 상기 모바일 기기로 전송한 신호를 수신하는 오디오 데이터 컨트롤 방법.
- 복수의 모바일 기기들과 연동되는 리모트 컨트롤러 기기를 통한 오디오 데이터 컨트롤 방법에 있어서,
사용자와 근접한 상기 리모트 컨트롤러 기기는 적어도 하나의 모바일 기기의 사용자 위치 파악 정보에 이용되는 주파수의 신호를 전송하는 단계; 및
상기 복수의 모바일 기기들 중 적어도 하나의 모바일 기기가 오디오 데이터를 수신하는 단계를 포함하고,
상기 리모트 컨트롤러 기기는 상기 사용자의 제스쳐를 인식하여 적어도 하나의 모바일 기기로 하여금 오디오 데이터의 재생, 중지, 다음곡 재생, 이전곡 재생, 볼륨 증가, 볼륨 감소, 톤 증가, 톤 감소 또는 플레이 리스트 컨트롤 중 어느 하나를 수행하며,
상기 사용자의 제스처를 인식함에 있어서, 상기 리모트 컨트롤러 기기는 비가청 주파수 신호를 전송하고 상기 사용자의 움직임에 의해 반사된 비가청 주파수를 수신하여 도플러 효과에 의한 주파수 변화를 계산하여 상기 사용자의 제스쳐를 인식하는 오디오 데이터 컨트롤 방법.
- 제 30 항에 있어서,
상기 리모트 컨트롤러 기기는 상기 적어도 하나의 모바일 기기와 네트워크로 연결되어, 상기 적어도 하나의 모바일 기기로부터 할당된 주파수를 이용하여 신호의 송수신이 가능한 오디오 데이터 컨트롤 방법.
- 제 31 항에 있어서,
상기 리모트 컨트롤러 기기의 신호 전송에 있어서, 상기 리모트 컨트롤러 기기의 모바일 기기의 오디오 컨트롤 권한을 파악하기 위한 전송되는 오디오 데이터 컨트롤 방법.
- 제 30 항에 있어서,
상기 리모트 컨트롤러 기기는 상기 사용자의 제스쳐를 인식하여, 상기 주파수를 이용하여, 상기 인식된 사용자의 제스쳐를 고유 부호 신호로 전송하는 오디오 데이터 컨트롤 방법.
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140133491A KR101630067B1 (ko) | 2014-10-02 | 2014-10-02 | 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 |
| PCT/KR2015/010315 WO2016052995A1 (en) | 2014-10-02 | 2015-09-30 | The method and apparatus for controlling audio data by recognizing user gesture and position using multiple mobile devices |
| US15/475,738 US20170206057A1 (en) | 2014-10-02 | 2017-03-31 | The method and apparatus for controlling audio data by recognizing user gesture and position using multiple mobile devices |
| US18/244,428 US20230418550A1 (en) | 2014-10-02 | 2023-09-11 | The method and apparatus for controlling audio data by recognizing user gesture and position using multiple mobile devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140133491A KR101630067B1 (ko) | 2014-10-02 | 2014-10-02 | 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140132701A KR20140132701A (ko) | 2014-11-18 |
| KR101630067B1 true KR101630067B1 (ko) | 2016-06-13 |
Family
ID=52453587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140133491A KR101630067B1 (ko) | 2014-10-02 | 2014-10-02 | 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20170206057A1 (ko) |
| KR (1) | KR101630067B1 (ko) |
| WO (1) | WO2016052995A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11557291B2 (en) | 2019-03-15 | 2023-01-17 | Samsung Electronics Co., Ltd. | Method for location inference of IoT device, server, and electronic device supporting the same |
| WO2023122407A1 (en) * | 2021-12-23 | 2023-06-29 | Intel Corporation | Communication device, hearing aid system and computer readable medium |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190054462A (ko) * | 2017-11-13 | 2019-05-22 | 삼성전자주식회사 | 전자 장치, 그 제어 방법, 원격 제어 장치 및 그 제어 방법 |
| GB2569113B (en) * | 2017-12-05 | 2021-03-24 | Jaguar Land Rover Ltd | Method and apparatus for controlling an audio output |
| WO2019112625A1 (en) | 2017-12-08 | 2019-06-13 | Google Llc | Signal processing coordination among digital voice assistant computing devices |
| US10971173B2 (en) * | 2017-12-08 | 2021-04-06 | Google Llc | Signal processing coordination among digital voice assistant computing devices |
| KR102257994B1 (ko) * | 2019-09-02 | 2021-05-31 | 삼성전자주식회사 | 근접 여부를 판별하는 방법 및 디바이스 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100008516A1 (en) * | 2008-07-11 | 2010-01-14 | International Business Machines Corporation | Method and system for position detection of a sound source |
| US20130294618A1 (en) * | 2012-05-06 | 2013-11-07 | Mikhail LYUBACHEV | Sound reproducing intellectual system and method of control thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0426448D0 (en) * | 2004-12-02 | 2005-01-05 | Koninkl Philips Electronics Nv | Position sensing using loudspeakers as microphones |
| JP2006258442A (ja) * | 2005-03-15 | 2006-09-28 | Yamaha Corp | 位置検出システム、スピーカシステムおよびユーザ端末装置 |
| KR100875284B1 (ko) * | 2007-02-12 | 2008-12-23 | 김성삼 | 홈시어터의 스피커 각도와 음량을 동시에 조절하는 방법 |
| US9148724B2 (en) * | 2013-01-21 | 2015-09-29 | Revolabs, Inc. | Audio system signal processing control using microphone movement information |
-
2014
- 2014-10-02 KR KR1020140133491A patent/KR101630067B1/ko active IP Right Grant
-
2015
- 2015-09-30 WO PCT/KR2015/010315 patent/WO2016052995A1/en active Application Filing
-
2017
- 2017-03-31 US US15/475,738 patent/US20170206057A1/en not_active Abandoned
-
2023
- 2023-09-11 US US18/244,428 patent/US20230418550A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100008516A1 (en) * | 2008-07-11 | 2010-01-14 | International Business Machines Corporation | Method and system for position detection of a sound source |
| US20130294618A1 (en) * | 2012-05-06 | 2013-11-07 | Mikhail LYUBACHEV | Sound reproducing intellectual system and method of control thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11557291B2 (en) | 2019-03-15 | 2023-01-17 | Samsung Electronics Co., Ltd. | Method for location inference of IoT device, server, and electronic device supporting the same |
| WO2023122407A1 (en) * | 2021-12-23 | 2023-06-29 | Intel Corporation | Communication device, hearing aid system and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170206057A1 (en) | 2017-07-20 |
| US20230418550A1 (en) | 2023-12-28 |
| WO2016052995A1 (en) | 2016-04-07 |
| KR20140132701A (ko) | 2014-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101630067B1 (ko) | 복수의 모바일 기기들을 이용한 사용자 위치 파악 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 | |
| EP2892240B1 (en) | Apparatus and method for automatic device selection for wireless media devices | |
| KR101620721B1 (ko) | 복수의 모바일 기기를 이용한 다채널 오디오 할당 및 사용자 제스쳐 인식에 의한 오디오 데이터 컨트롤 방법 및 장치 | |
| US10445055B2 (en) | Mobile terminal, audio output device and audio output system comprising same | |
| US9277321B2 (en) | Device discovery and constellation selection | |
| EP3032843B1 (en) | Sound output device and control method thereof | |
| EP3921756A1 (en) | Assistive listening device systems, devices and methods for providing audio streams within sound fields | |
| WO2017197578A1 (zh) | 一种便携式电子设备及定位方法 | |
| KR102201906B1 (ko) | 전자 장치에서 다른 전자 장치를 제어하기 위한 장치 및 방법 | |
| US20160309258A1 (en) | Speaker location determining system | |
| JP2019128586A (ja) | 音声処理方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
| EP3503590B1 (en) | Systems and methods for activating audio playback | |
| KR101919582B1 (ko) | 위치를 결정하기 위한 방법, 정지 디바이스, 및 시스템 | |
| US20170064594A1 (en) | Apparatus and method for receiving an audio signal | |
| KR101468605B1 (ko) | 능동적인 페어링 시스템 및 방법 | |
| JP2007522719A (ja) | Ｒｆ通信システムおよび方法 | |
| JP6591560B2 (ja) | 電化機器通信システム、携帯端末、および電化機器通信連携方法 | |
| EP3369214A1 (en) | Bulk fine timing measurement allocation message | |
| CN109413566A (zh) | 一种播放方法及装置 | |
| CN112019978B (zh) | 一种真无线立体声tws耳机的场景切换方法、装置及耳机 | |
| CN209766013U (zh) | 一种导游讲解机和播放设备 | |
| CN109407053A (zh) | 用于播放导频音来定位移动终端设备的方法以及定位方法 | |
| US20190011545A1 (en) | Determining location/orientation of an audio device | |
| KR102178272B1 (ko) | 다양한 전자기기에 접속 가능한 헤드셋 어셈블리 | |
| KR102229399B1 (ko) | 철도역사의 위치 측위 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| G15R | Request for early publication | ||
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190605 Year of fee payment: 4 |
|
| R401 | Registration of restoration |