KR101972955B1 - 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치 - Google Patents

음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치 Download PDF

Info

Publication number
KR101972955B1
KR101972955B1 KR1020120072290A KR20120072290A KR101972955B1 KR 101972955 B1 KR101972955 B1 KR 101972955B1 KR 1020120072290 A KR1020120072290 A KR 1020120072290A KR 20120072290 A KR20120072290 A KR 20120072290A KR 101972955 B1 KR101972955 B1 KR 101972955B1
Authority
KR
South Korea
Prior art keywords
information
voice
service
connection
user
Prior art date
Application number
KR1020120072290A
Other languages
English (en)
Other versions
KR20140005410A (ko
Inventor
박세환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120072290A priority Critical patent/KR101972955B1/ko
Priority to EP19152424.8A priority patent/EP3493513A1/en
Priority to PCT/KR2013/005908 priority patent/WO2014007545A1/en
Priority to US13/934,839 priority patent/US9805733B2/en
Priority to EP13174992.1A priority patent/EP2683147B1/en
Priority to CN201380045946.3A priority patent/CN104604274B/zh
Publication of KR20140005410A publication Critical patent/KR20140005410A/ko
Priority to US15/797,910 priority patent/US10475464B2/en
Application granted granted Critical
Publication of KR101972955B1 publication Critical patent/KR101972955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/65—Environment-dependent, e.g. using captured environmental data

Abstract

본 발명은 사용자 디바이스들을 통해 입력된 사용자 음성을 이용하여 사용자 디바이스들 간 서비스를 자동으로 연결할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치에 관한 것으로, 이러한 본 발명은 디바이스들 간 서비스 연결 방법에 있어서, 음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하는 과정; 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 출력하는 과정; 상기 제1 정보에 대응하는 제2 정보를 입력받는 과정; 제1 정보 및 제2 정보를 참조하여 서비스 타입을 인지하는 과정; 서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및 연결된 디바이스와 서비스를 수행하는 과정을 포함한다.

Description

음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치{METHOD AND APPARATUS FOR CONNECTING SERVICE BETWEEN USER DEVICES USING VOICE}
본 발명은 사용자 디바이스들 간의 서비스 연결 방법 및 장치에 관한 것으로, 특히 사용자 디바이스들을 통해 입력된 사용자 음성을 이용하여 사용자 디바이스들 간 서비스를 자동으로 연결할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 사용자 디바이스들이 다양하게 출시되고 있다. 이러한 사용자 디바이스는 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말들의 영역까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 대표적으로, 사용자 디바이스는 음성 통화, 영상 통화, SMS(Short Message Service)/MMS(Multimedia Message Service) 등과 같은 문자 메시지 전송, 전자수첩, 촬영, 이메일 송수신, 방송 재생, 동영상 재생, 인터넷, 전자상거래, 음악 재생, 일정관리, 소셜 네트워크 서비스(SNS, Social Networking Service), 친구 찾기 서비스, 메신저, 사전, 게임, 무선 랜(WLAN, Wireless Local Area Network) 링크 형성과 같이 다양한 기능들을 구비할 수 있다.
특히, 무선통신 기술의 발전에 따라 사용자 디바이스들 간 연동 서비스를 제공하는데 사용 가능한 다양한 무선 연결들이 개발 및 적용되고 있다. 예를 들어, 사용자 디바이스들 간 연동 서비스를 지원하기 위해 블루투스(BLUETOOTH), 지그비(Zigbee), UWB(Ultraband Wideband) 등의 무선 연결 기술들이 개발되고 있다.
이러한 무선 연결 기술들을 사용하기 위해서는 해당 무선 연결 기술을 지원하는 주변기기 검색, 선택, 인증, 연결, 공유하고자 하는 데이터 선택, 선택된 데이터 전송 선택 등과 같은 복잡한 과정이 요구된다.
예를 들어, 종래에서 사용자 디바이스들 간 서비스 연결을 위해서는 연결 하고자 하는 사용자 디바이스들 간에 서로의 어드레스(address)를 인지하고 있는 상태에서 사용자 디바이스들 중 어느 하나가 먼저 마스터(master)로서 구동이 되고 난 후, 다른 사용자 디바이스가 슬레이브(slave)로서 구동되어 기 실행된 마스터에 연결 요청을 수행한다. 그리고 마스터는 연결 요청을 하는 슬레이브가 자신이 연결하고자 하는 슬레이브인지를 식별하기 위해 별도의 기 설정해 놓은 코드(code)를 확인하는 과정을 통해 연결이 이루어지게 된다.
이와 같이, 기존의 사용자 디바이스들 간 서비스 연결 기능을 사용하고자 하는 경우, 서비스 연결을 위해 필요한 인증 및 서비스 연결을 수행하기 위해 많은 사용자 인터랙션(user interaction)을 필요로 함에 따라, 사용자 디바이스들 간 서비스 연결을 위한 사용자 편의성이 떨어지는 문제점이 있다. 따라서 사용자 디바이스들 간의 연동 서비스를 위한 다양한 무선 연결들의 복잡한 페어링 절차를 보다 간소화하여 사용자 편의를 향상시킬 수 있는 서비스가 요구되고 있다.
본 발명의 목적은 적어도 두 개의 사용자 디바이스들 간 서비스 연결을 위한 절차를 간소화할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 사용자 디바이스들 간 연결과 연결된 사용자 디바이스들 간 서비스 수행을 쉽고 빠르게 지원할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자의 음성을 이용하여 사용자 디바이스들 간 인증을 자동 수행하고, 입력된 음성에 따른 서비스 연결을 자동 수행할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자 디바이스를 통해 입력된 사용자 음성에 따라 서비스 연결하는 각 사용자 디바이스들 간의 마스터 모드 및 슬레이브 모드가 자동 결정되고, 각 사용자 디바이스들이 서로 연결될 시 마스터 모드 또는 슬레이브 모드에서 사용자 음성에 따른 서비스를 자동 실행할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자 디바이스들 간의 서비스 연결 및 서비스 실행을 지원하기 위한 최적의 환경을 구현하여 사용자 편의성 및 사용자 디바이스의 사용성을 향상시킬 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치를 제공함에 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 디바이스들 간 서비스 연결 방법에 있어서, 음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하는 과정; 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 출력하는 과정; 상기 제1 정보에 대응하는 제2 정보를 입력받는 과정; 제1 정보 및 제2 정보를 참조하여 서비스 타입을 인지하는 과정; 서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및 연결된 디바이스와 서비스를 수행하는 과정을 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 음성을 이용한 서비스 연결 방법에 있어서, 음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정; 사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정; 상기 음성 명령 버튼이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 음성 정보를 생성하는 과정; 생성된 음성 정보를 서버로 전송하는 과정; 상기 서버로부터 서비스 정보를 수신하는 과정; 상기 서비스 정보로부터 디바이스의 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 확인하는 과정; 상기 동작 모드에 따라 연결 대상 디바이스와 연결하는 과정; 및 상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 상기 실행 서비스 종류에 따른 서비스를 수행하는 과정을 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 음성을 이용한 서비스 연결 방법에 있어서, 제1 디바이스가 음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정; 사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정; 상기 음성 명령 버튼이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 제1 음성 정보를 생성하는 과정; 생성된 음성 정보를 사운드에 실어 스피커를 통해 출력하는 과정; 제2 디바이스의 스피커를 통해 출력되는 제2 음성 정보를 마이크를 통해 입력받는 과정; 상기 제1 음성 정보와 상기 제2 음성 정보로부터 디바이스의 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 확인하는 과정; 상기 동작 모드에 따라 연결 대상 디바이스와 연결하는 과정; 및 상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 상기 실행 서비스 종류에 따른 서비스를 수행하는 과정을 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 음성을 이용한 서비스 연결 방법에 있어서, 음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정; 사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정; 상기 음성 명령 버튼이 해제될 시 상기 녹음 데이터의 음성 파형 및 상기 타임스탬프를 이용하여 고유한 문자열을 가진 인증키를 생성하는 과정; 상기 인증키를 이용하여 디바이스 식별을 위한 기기 정보를 변경 설정하는 과정; 설정된 통신 모드에서 상기 인증키에 대응하는 기기 정보를 가진 연결 대상 디바이스를 검색하는 과정; 상기 연결 대상 디바이스와 연결 요청 및 연결 승인 송수신을 통해 연결하는 과정; 및 상기 연결 대상 디바이스와 연결될 시 서비스를 수행하는 과정을 포함한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 적어도 하나의 프로그램이 저장되는 저장부; 및 상기 적어도 하나의 프로그램을 실행하여 음성을 이용한 디바이스들 서비스 연결을 지원하도록 제어하는 제어부를 포함하고, 상기 적어도 하나의 프로그램은, 음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하는 과정; 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 출력하는 과정; 상기 제1 정보에 대응하는 제2 정보를 입력받는 과정; 제1 정보 및 제2 정보를 참조하여 서비스 타입을 인지하는 과정; 서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및 연결된 디바이스와 서비스를 수행하는 과정을 실행하는 명령어들을 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 음성 명령 버튼이 입력된 상태에서 사용자 음성을 녹음하고, 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 생성하여 출력하고, 상기 제1 정보에 대응하는 제2 정보를 수신할 시 상기 제1 정보 및 상기 제2 정보를 참조하여 서비스 타입을 인지하고, 서비스 타입 따라 동작 모드 결정 및 결정된 동작 모드에서 연결 대상 디바이스와의 서비스 연결을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.
상술한 바와 같이 본 발명에서 제안하는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치에 따르면, 적어도 두 개의 사용자 디바이스들의 연결 및 그에 따른 서비스 연결을 위한 절차의 간소화를 통해, 사용자가 희망하는 서비스를 쉽고 빠르게 실행할 수 있도록 한다. 본 발명에 따르면, 사용자는 연결하고자 하는 사용자 디바이스들의 음성 명령 버튼을 각각 누른 상태에서 기기 연결을 의미하는 음성 명령어를 말(입력)하는 것에 의해 사용자 디바이스들을 쉽고 빠르게 자동 연결할 수 있다. 또한 사용자는 연결하고자 하는 사용자 디바이스들의 음성 명령 버튼을 각각 누른 상태에서 기기 연결을 의미하는 음성 명령어와 실제 수행하고자 하는 서비스를 의미하는 음성 명령어를 말(입력)하는 것에 의해 사용자 디바이스들 간 연결에 의한 서비스를 쉽고 빠르게 자동 실행할 수 있다.
본 발명에 따르면, 각 사용자 디바이스들에 사용자 음성이 입력되는 시차에 따라 각 사용자 디바이스들 간의 마스터 모드 및 슬레이브 모드가 자동 결정되고, 각 사용자 디바이스들은 서로 연결될 시 마스터 모드 또는 슬레이브 모드에서 사용자 음성에 따른 서비스(예컨대, 데이터 전송, 해당 모드에 따른 동작(기능) 수행 등)를 자동 실행할 수 있다. 따라서 사용자는 각 사용자 디바이스들의 음성 명령 버튼을 이용하여 기기 연결 및 서비스에 따른 음성 명령어를 입력하는 것만으로도 사용자 디바이스들을 간편하게 연결하여 서비스를 자동으로 실행할 수 있는 효과가 있다.
따라서 본 발명에 따르면 사용자 디바이스들 간 연결 및 서비스 실행을 지원하기 위한 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 사용자 디바이스의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 모든 형태의 사용자 디바이스 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.
도 1은 본 발명의 실시 예에 따른 사용자 디바이스들이 서비스를 연결하는 동작 설명을 위해 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 기능을 처리하는 사용자 디바이스의 플랫폼 구조를 개략적으로 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 사용자 디바이스들 간의 서비스 연결 과정을 도시한 신호 흐름도이다.
도 5는 본 발명의 실시 예에 따른 사용자 디바이스들의 서비스 연결에 사용되는 음성 정보가 저장되는 예시를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 서버에서 사용자 디바이스들을 인증하는 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 사용자 디바이스들이 서비스를 연결하는 개념 설명을 위해 개략적으로 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 사용자 디바이스들 간의 서비스 연결 과정을 도시한 신호 흐름도이다.
도 10은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
도 11 및 도 12는 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도들이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직할 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
제안하는 본 발명은 사용자 디바이스들의 서비스 연결에 관한 것으로, 특히 사용자 디바이스들을 통해 입력된 사용자 음성을 이용하여 사용자 디바이스들 간 서비스를 자동으로 연결할 수 있는 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치에 관한 것이다. 본 발명의 실시 예에 따르면, 사용자 디바이스들에서 입력되는 사용자 음성을 이용하여, 사용자 디바이스들의 연결을 위한 인증과 연결되는 사용자 디바이스들의 서비스를 자동 실행할 수 있다.
본 발명의 실시 예에 따르면, 사용자는 서비스를 연결하고자 하는 적어도 두 개의 사용자 디바이스들에 실행하고자 하는 서비스(예컨대, 기기 연결, 기기 연결 후 데이터 공유, 기기 연결 후 지정된 기능(예컨대, 스피커 모드, 와이파이 디스플레이(WiFi Display) 등) 실행 등)의 명령어를 음성으로 입력할 수 있다. 그러면 각 사용자 디바이스들은 사용자 음성을 기반으로 마스터 모드(master mode)(또는 AP 모드)와 슬레이브 모드(slave mode)(또는 non-AP 모드)를 결정하고, 결정된 모드에서 음성 명령어에 대응하는 서비스 연결을 자동 수행할 수 있다. 즉, 각 사용자 디바이스들은 사용자의 음성 명령어에 따라 서로 연결 및 연결에 따른 서비스를 자동 실행할 수 있다.
본 발명에서 마스터 모드의 디바이스는 적어도 2개의 사용자 디바이스들 중 음성 명령 버튼에 의해 서비스 연결 과정을 개시하는 입력이 먼저 이루어진 디바이스로, 데이터를 전달하는 주체일 수 있다. 그리고 본 발명에서 슬레이브 모드의 디바이스는 적어도 2개의 사용자 디바이스들 중 음성 명령 버튼에 의해 서비스 연결 과정을 개시하는 입력이 다른 디바이스보다 늦게 이루어진 디바이스로, 마스터 모드의 디바이스로부터 데이터를 수신하는 주체일 수 있다.
본 발명의 실시 예에 따르면, 사용자 디바이스들 간 서비스 연결을 위한 인증은 사용자로부터 입력된 음성 파형을 이용하여 인증이 수행되고, 연결되는 각 사용자 디바이스들의 마스터 모드 및 슬레이브 모드 결정은 사용자로부터 입력된 음성의 시간 분석을 통해 수행될 수 있다. 그리고 각 사용자 디바이스들이 연결되어 실행될 서비스는 사용자로부터 입력된 음성에 대응하는 파라미터(parameter)(또는 명령어) 분석을 통해 서비스가 결정될 수 있다. 이러한 디바이스들 간 서비스 연결을 위한 인증은 서버와 연동하는 것에 의해 이루어지거나, 디바이스들 간에 교류된 데이터를 이용하여 이루어질 수 있다.
예를 들어, 서버와 연동하는 경우, 디바이스는 음성 명령 버튼이 입력될 시 타임스탬프를 기록할 수 있다. 디바이스는 상기 음성 명령 버튼의 입력이 유지되는 상태에서 사용자 음성 입력 수신을 대기하며, 마이크를 통해 사용자 음성이 입력될 시 입력되는 음성을 녹음하여 녹음 데이터를 생성할 수 있다. 디바이스는 상기 음성 명령 버튼의 입력이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 음성 정보를 생성하여 서버로 전송할 수 있다. 디바이스는 상기 서버로부터 상기 음성 정보에 대응되는 서비스 정보를 수신하고, 수신된 서비스 정보로부터 디바이스의 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 확인할 수 있다. 그리고 디바이스는 상기 동작 모드에 따라 연결 대상 디바이스와 연결하고, 이후 상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 상기 실행 서비스 종류에 따른 서비스를 수행할 수 있다.
또한 디바이스들 간에 교류된 데이터를 이용하는 경우, 디바이스는 음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하면, 마이크를 통해 사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성할 수 있다. 디바이스는 상기 음성 명령 버튼의 입력이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 제1 음성 정보를 생성하고, 생성된 음성 정보를 사운드에 실어 스피커를 통해 인접된 다른 디바이스에게 출력할 수 있다. 디바이스는 상기 다른 디바이스의 스피커를 통해 출력되는 제2 음성 정보가 마이크를 통해 입력되면, 상기 제1 음성 정보와 상기 제2 음성 정보로부터 디바이스의 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 확인할 수 있다. 그리고 디바이스는 상기 동작 모드에 따라 연결 대상 디바이스와 연결하고, 이후 상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 상기 실행 서비스 종류에 따른 서비스를 수행할 수 있다.
이하에서, 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로, 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 1은 본 발명의 실시 예에 따른 사용자 디바이스들이 서비스를 연결하는 동작 설명을 위해 개략적으로 도시한 도면이다.
상기 도 1에 도시된 바와 같이, 본 발명의 사용자 음성 기반의 서비스 연결을 위한 시스템은, 제1 사용자 디바이스(100), 제2 사용자 디바이스(200), 그리고 서버(300)를 포함하여 구성된다. 본 발명에서는 두 개의 사용자 디바이스들(100, 200)을 이용하여 서비스 연결 동작을 설명하지만, 본 발명이 이에 한정되는 것은 아니며 두 개 이상의 사용자 디바이스들에 대한 서비스 연결도 가능함은 물론이다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 기반의 서비스 연결을 수행하기 위해 사용자로부터의 음성 입력을 수신 대기하는 음성 명령 버튼(150)을 구비할 수 있다. 본 발명에서 상기 음성 명령 버튼(150)은 하드웨어(hardware) 버튼 또는 소프트 인터페이스(soft interface) 등과 같이 다양하게 구현될 수 있다. 사용자는 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)의 음성 명령 버튼(150)을 누른 상태에서 음성을 입력할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150)에 의한 입력을 감지할 시 사용자 음성 입력 수신을 대기할 수 있다. 이때, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150)이 입력될 시 음성 명령 버튼(150)이 입력된 시간 값을 타임스탬프(timestamp)로 기록할 수 있다. 그리고 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150)이 눌려진 상태에서 입력되는 사용자 음성을 녹음(녹음 데이터 생성)하고, 음성 명령 버튼(150)에 의한 입력이 해제될 시 녹음된 음성(녹음 데이터)에 대한 음성 인식을 수행할 수 있다. 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 인식 결과 사용자 디바이스들 간의 연결을 위한 명령어가 검출될 시 녹음 데이터(특히, 음성 파형(waveform)), 타임스탬프, 그리고 디바이스 식별자 등을 포함하는 음성 정보를 서버(300)로 전송할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 정보를 서버(300)에게 전송한 후, 상기 서버(300)로부터 상기 음성 정보에 대응하는 서비스 정보를 수신할 수 있다. 그리고 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 서버(300)로부터 서비스 정보를 수신할 시, 서비스 정보에 따라 상호 간에 연결하여 서비스를 실행할 수 있다. 이때, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 수신된 서비스 정보를 분석하여, 서비스 타입, 연결 정보(연결 대상의 디바이스 정보), 실행 정보 등을 판단할 수 있다. 그리고 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 서비스 타입에 따라 마스터 모드 또는 슬레이브 모드를 결정하고, 결정된 해당 모드에서 연결 정보에 따라 다른 디바이스와 설정된 통신 방식으로 연결을 수행하며, 연결 정보에 대응하는 디바이스와 연결될 시 실행 정보에 따라 서비스를 실행할 수 있다.
본 발명에서 상기 통신 방식은 무선 랜(WLAN, Wireless Local Area Network)(WiFi) 연결, 블루투스 연결, 와이파이 다이렉트(WiFi Direct) 연결, 와이파이 디스플레이(WiFi Display) 연결, NFC(Near Field Communication) 연결 등과 같은 다양한 무선 통신 방식을 포함할 수 있으며, 연결에 사용되는 통신 방식은 상기와 같은 통신 방식 중 사용자 설정에 따라 미리 정의되거나, 최근 수행된 연결 방식을 이용하여 자동 결정되거나, 랜덤하게 결정될 수도 있다.
본 발명에서 상기 실행 정보는 실행하고자 하는 서비스의 종류를 나타내는 것으로, 데이터 공유(전송)를 비롯하여, 좌 및 우 스피커 연동 기능, 입력 및 출력 연동 기능 등의 특정 기능(동작)을 지시하는 정보를 포함할 수 있다.
서버(300)는 동일한 시간대에 동일한 녹음 데이터를 전송한 적어도 2개의 디바이스들을 검색하고, 검색된 디바이스들을 서로 간에 서비스 연결을 위한 일군의 디바이스들로 결정할 수 있다. 그리고 결정된 일군의 디바이스들 간의 서비스 연결을 지원하기 위한 서비스를 정보를 생성하여, 상기 일군의 디바이스들에게 각각 전송할 수 있다.
구체적으로, 서버(300)는 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)와 같이 다양한 사용자 디바이스들로부터 음성 정보를 수신하여 저장할 수 있다. 특히, 서버(300)는 사용자 디바이스(예컨대, 도 1에서와 같이 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200))로부터 음성 정보를 수신하고, 수신된 음성 정보를 각 디바이스별로 구분하여 데이터베이스(DB, database)에 저장할 수 있다. 이때, 서버(300)는 음성 정보 저장 시 디바이스 정보, 녹음 데이터(파형), 타임스탬프, 연결 정보(예컨대, 디바이스 어드레스(address)), 로우 데이터(raw data) 등으로 파싱하여 저장할 수 있다.
서버(300)는 사용자 디바이스로부터 음성 정보가 수신될 시, 음성 정보를 전송한 사용자 디바이스의 연결 인증을 위해 상기 음성 정보에 따른 음성 파형을 비교 분석할 수 있다. 예를 들어, 수신된 음성 정보의 음성 파형과 일치되는 음성 파형을 데이터베이스에서 비교 검출할 수 있다.
서버(300)는 동일한 음성 파형이 검출될 시 동일한 음성 파형을 가진 각 사용자 디바이스들의 음성 정보들에서 타임스탬프를 비교하고, 각 타임스탬프에 따른 시간차에 따라 각 사용자 디바이스가 수행될 동작 모드의 서비스 타입을 결정할 수 있다. 서버(300)는 음성 정보의 녹음 데이터로부터 음성 파라미터(parameter)(명령어)를 인식하여 실행 정보를 생성할 수 있다. 그리고 서버(300)는 각 사용자 디바이스별 서비스 타입, 연결 정보, 그리고 실행 정보를 이용하여 각 사용자 디바이스에 전송할 서비스 정보를 각각 생성하고, 생성된 서비스 정보를 동일한 음성 파형을 가지는 것으로 판단된 상기 사용자 디바이스들에게 각각 전송할 수 있다. 이때, 상기 판단된 사용자 디바이스들이 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)인 것으로 가정할 시, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)에게 다른 서비스 정보가 제공될 수 있다.
예를 들어, 제1 사용자 디바이스(100)에게 전송되는 서비스 정보는 마스터 모드로 동작할 것을 알리는 서비스 타입, 연결 대상 디바이스인 제2 사용자 디바이스(200)의 디바이스 식별자(예컨대, 디바이스 어드레스 등)를 지시하는 연결 정보, 그리고 실행할 서비스에 대한 실행 정보를 가지는 제1 서비스 정보가 제공될 수 있다. 또한 제2 사용자 디바이스(200)에게 전송되는 서비스 정보는 슬레이브 모드로 동작할 것을 알리는 서비스 타입, 연결 대상 디바이스인 제1 사용자 디바이스(200)의 디바이스 식별자(예컨대, 디바이스 어드레스 등)를 지시하는 연결 정보, 그리고 실행할 서비스에 대한 실행 정보를 가지는 제2 서비스 정보가 제공될 수 있다.
이상에서 살펴본 바와 같은 구성을 가지는 본 발명의 실시 예에 따르면, 각 사용자 디바이스들(100, 200)은 사용자 음성 기반의 서비스 연결을 지원하기 위한 하드웨어 타입 또는 소프트 인터페이스 타입의 음성 명령 버튼(150)을 제공할 수 있다. 사용자는 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)와 같이 서로 연결하고자 하는 2개 또는 그 이상의 사용자 디바이스들의 각 음성 명령 버튼(150)을 동시 또는 설정된 일정 오차 범위 내에서 누를 수 있다. 그리고 사용자는 각 음성 명령 버튼(150)을 누른 상태에서, 원하는 음성 서비스 명령을 입력(말)하고 각 음성 명령 버튼(150)의 누름 상태를 해제할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150) 기반의 입력이 해제되는 것을 검출할 시 마이크를 통해 입력되어 저장된 사용자 음성을 음성 인식 모듈을 통해 음성 인식을 수행할 수 있다. 그리고 음성 인식에 따른 결과에서 디바이스 간 서비스 연결을 의미하는 미리 정의된 명령어(예컨대, "기기 연결")가 검출되면, 검출된 사용자 음성의 녹음 데이터, 타임스탬프, 디바이스 식별자(예컨대, 디바이스 어드레스) 등과 같은 서비스 연결에 필요한 음성 정보를 서버(300)로 각각 전송할 수 있다.
서버(300)는 사용자 디바이스들(예컨대, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200))로부터 음성 정보가 수신되면 이를 저장하고, 저장된 각 음성 정보를 비교하여 서로 관련이 있는 음성 정보를 가지는 적어도 2개의 사용자 디바이스들을 검색할 수 있다. 예를 들어, 서버(300)는 서로 일치되거나 또는 일정 오차 범위 내에서 유사한 음성 파형을 가지며, 일정 오차 범위 내에서 유사한 타임스탬프를 가지는 2개 이상의 사용자 디바이스들을 검색할 수 있다. 서버(300)는 음성 정보를 비교함에 있어서 휴리스틱(heuristic) 접근법으로 도출할 수 있다. 즉, 서버(300)는 완전히 일치하는 데이터(음성 정보)를 검색하는 것이 아니라, 현실적으로 만족할 만한 수준의 데이터(일정 오차 범위 내에서 일치되거나 유사한 데이터)를 검색할 수 있다. 따라서 서버(300)는 분석의 초기 단계에서는 모든 변수를 고려하지 않고 중요 변수만을 분석하고 점차 변수의 범위를 넓혀 서로 대응되는 데이터를 좁혀 나가는 방식으로 도출할 수 있다. 이하에서는, 설명의 편의를 위하여 적어도 2개의 데이터들의 비교에서 "일치"되는 데이터들을 도출하는 것으로 명시하기로 한다.
그리고 서버(300)는 서로 연관된 음성 정보를 가지는 2개 이상의 사용자 디바이스들이 검색될 시, 해당 음성 정보의 녹음 데이터를 분석할 수 있다. 이때, 녹음 데이터 분석은 검색된 각 음성 정보들을 각각을 분석할 수 있다. 또는 본 발명의 실시 예의 경우 각 음성 정보들의 녹음 데이터는 한 사용자로부터 입력된 동일한 녹음 데이터일 수 있으며, 이에 따라 어느 하나의 녹음 데이터만을 분석할 수도 있다. 예를 들어, 서버(300)는 녹음 데이터를 분석(예컨대, 음성 인식)을 통해 음성 명령어(또는 음성 파라미터)(예컨대, "기기 연결", "기기 연결 현재 이미지 파일 전송", "기기 연결 와이파이 디스플레이", "기기 연결 스피커", "기기 연결 폰북 전송" 등) 인식할 수 있다. 즉, 서버(300)는 디바이스들 간 연결을 통해 수행하고자 하는 서비스 종류를 인식할 수 있다.
서버(300)는 앞서와 같은 동작에 따라 일치되는 사용자 디바이스 및 수행하고자 하는 서비스 종류 등이 결정될 시 서비스 타입, 연결 정보, 그리고 실행 정보를 포함하는 서비스 정보를 결정된 사용자 디바이스별로 생성하고, 생성된 서비스 정보를 각 사용자 디바이스에게 전송할 수 있다.
서버(300)로부터 서비스 정보를 각각 수신하는 일군(1 set)의 사용자 디바이스들(예컨대, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200))은 수신된 서비스 정보로부터 서비스 타입에 따라 마스터 모드 또는 슬레이브 모드를 결정하고, 결정된 해당 모드에서 연결 정보에 따라 연결 대상의 사용자 디바이스(예컨대, 제1 사용자 디바이스(100) 또는 제2 사용자 디바이스(200))와 설정된 통신 방식으로 연결하고, 실행 정보에 따라 해당 서비스를 실행할 수 있다. 예를 들어, 제1 사용자 디바이스(100)와 제2 사용자 디바이스(200)는 무선 랜 링크(link)를 형성하고, 서로 간에 연결이 완료될 시 마스터로 결정된 사용자 디바이스가 현재 표시되고 있는 이미지 파일을 상대 사용자 디바이스에게 전송할 수 있다. 또는 마스터로 결정된 사용자 디바이스는 좌 스피커로 동작하고 슬레이브로 결정된 사용자 디바이스는 우 스피커로 동작하여, 마스터 디바이스에서 재생되는 미디어 파일의 오디오를 각각 출력할 수도 있다. 또는 마스터로 결정된 사용자 디바이스는 입력 수단으로 동작하고 슬레이브로 결정된 사용자 디바이스는 표시 수단으로 동작하여, 마스터의 사용자 디바이스에 의해 입력되는 정보를 슬레이브의 사용자 디바이스를 통해 표시할 수 있다. 또는 마스터로 결정된 사용자 디바이스에서 표시되는 데이터를 슬레이브로 결정된 사용자 디바이스로 전송하여 마스터의 사용자 디바이스에서 표시되는 데이터를 슬레이브의 사용자 디바이스와 함께 공유하여 표시할 수도 있다.
도 2는 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다. 상기 도 2에서 상기 사용자 디바이스는 앞서 살펴본 바와 같은 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)를 대표하는 것으로, 상기 도 2의 구성은 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200) 모두에 구현될 수 있다.
상기 도 2를 참조하면, 본 발명의 사용자 디바이스는 무선 통신부(210), 사용자 입력부(220), 표시부(230), 오디오 처리부(240), 저장부(250), 인터페이스부(260), 제어부(controller)(270), 그리고 전원 공급부(280)를 포함하여 구성된다. 본 발명의 사용자 디바이스는 도 2에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다.
상기 무선 통신부(210)는 사용자 디바이스와 무선 통신 시스템 사이 또는 사용자 디바이스와 사용자 디바이스가 위치한 네트워크(network) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(210)는 이동통신 모듈(211), 무선 랜(WLAN, Wireless Local Area Network) 모듈(213), 근거리 통신 모듈(215), 위치 산출 모듈(217), 그리고 방송 수신 모듈(219) 등을 포함하여 구성될 수 있다.
이동통신 모듈(211)은 이동통신 네트워크 상에서 기지국, 외부의 디바이스, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터 등을 포함할 수 있다. 이동통신 모듈(211)은 사용자 디바이스의 서비스 연결 모드 시 이동통신 네트워크를 통해 미리 정의된 서버(300)에게 음성 정보를 전송하고, 서버(300)로부터 상기 음성 정보에 대응하는 서비스 정보를 수신할 수 있다. 본 발명에서 음성 정보는 사용자 디바이스들 간 서비스 연결에 필요한 사용자 음성의 녹음 데이터와 관련 정보를 포함할 수 있다. 상기 관련 정보는 타임스탬프(timestamp), 사용자 디바이스의 식별정보(예컨대, 어드레스(address), 식별자, 전화번호 등)를 포함할 수 있다. 그리고 본 발명에서 상기 서비스 정보는 사용자 디바이스에 대해 결정된 모드 정보(예컨대, 마스터 모드, 슬레이브 모드), 결정된 모드에서 수행할 기능 정보, 서비스 연결할 대상의 사용자 디바이스에 대한 기기 정보 등을 포함할 수 있다.
무선 랜 모듈(213)은 무선 인터넷(internet) 접속 및 다른 사용자 디바이스와 무선 랜 링크를 형성하기 위한 모듈을 나타내는 것으로, 사용자 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 상기 무선 랜 모듈(213)은 무선 인터넷을 통해 본 발명에서 정의되는 음성 정보를 송신하거나, 서버(300)로부터 서비스 정보를 수신할 수 있다. 무선 랜 모듈(213)은 사용자 디바이스의 서비스 연결을 위한 접속 방식이 무선 랜 방식으로 설정된 경우, 서비스 정보에 대응하는 대상 사용자 디바이스와의 무선 랜 링크를 형성할 수 있다.
근거리 통신 모듈(215)은 근거리 통신을 위한 모듈을 나타낸다. 근거리 통신(short range communication) 기술로 블루투스(BLUETOOTH), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈(215)은 사용자 디바이스의 서비스 연결을 위한 접속 방식이 근거리 통신 방식으로 설정된 경우, 서비스 정보에 대응하는 대상 사용자 디바이스와의 근거리 통신 링크를 형성할 수 있다.
위치 산출 모듈(215)은 사용자 디바이스의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(215)은 3개 이상의 기지국들로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(215)은 3개 이상의 위성으로부터 사용자 디바이스의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 사용자 디바이스의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
방송 수신 모듈(219)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다. 본 발명의 실시 예에 따라 방송 수신 모듈(219)을 통해 수신된 방송 신호는 연결된 상대 사용자 디바이스로 전송(또는 스트리밍)되어 표시될 수도 있다.
사용자 입력부(220)는 사용자가 사용자 디바이스의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(220)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(touch pad)(정압/정전), 조그 휠(jog wheel), 조그 스위치(jog switch) 등으로 구성될 수 있다. 특히, 사용자 입력부(220)는 본 발명의 음성 기반의 서비스 연결을 위한 과정을 개시(initiate)하는 하드웨어 또는 소프트 인터페이스 타입의 음성 명령 버튼(150)을 포함할 수 있다.
표시부(230)는 사용자 디바이스에서 처리되는 정보를 표시(출력)한다. 예를 들어, 사용자 디바이스가 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시한다. 또한 표시부(230)는 사용자 디바이스가 화상 통화모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 표시부(230)는 내부 또는 외부에서 수집하는 메시지와 관련된 UI 또는 GUI를 표시한다. 표시부(230)는 본 발명의 음성 기반의 서비스 연결 시 수행되는 실행화면을 표시할 수 있다. 예를 들어, 음성 명령 버튼(150)이 입력될 시 음성 입력을 가이드 하는 가이드 화면, 입력된 사용자 음성에 의한 인증 수행에 따른 인증 처리 화면, 그리고 서비스 정보에 따라 결정된 모드 정보, 연결 대상 디바이스의 디바이스 정보, 연결되는 디바이스와 수행하는 서비스의 실행 정보 등의 서비스 수행 화면과 관련된 UI 또는 GUI를 표시할 수 있다.
표시부(230)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 발광 다이오드(Light Emitting Diode, LED), 유기 발광 다이오드(Organic LED, OLED), 능동형 OLED(Active Matrix OLED, AMOLED), 플렉시블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성되는 투명 디스플레이로 구현될 수 있다.
본 발명에 따르면, 표시부(230)와 터치 동작을 감지하는 터치 패널이 상호 레이어(layer) 구조를 이루는 경우(이하, '터치스크린(touchscreen)'이라 칭함)에, 표시부(230)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 패널은 표시부(230)의 특정 부위에 가해진 압력 또는 표시부(230)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 패널은 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 패널에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(touch controller)(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(270)로 전송한다. 이로써, 제어부(270)는 표시부(230)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
오디오 처리부(240)는 제어부(270)로부터 입력 받은 오디오 신호를 스피커(241)로 전송하고, 마이크(243)로부터 입력 받은 음성 등의 오디오 신호를 제어부(270)로 전달하는 기능을 수행한다. 오디오 처리부(240)는 음성/음향 데이터를 제어부(270)의 제어에 따라 스피커(241)를 통해 가청음으로 변환하여 출력하고 마이크(243)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(270)로 전달할 수 있다. 특히, 본 발명에 따른 오디오 처리부(240)는 제어부(270)의 제어 하에 음성 정보(특히, 녹음 데이터(음성 파형), 타임스탬프 등)가 실린 사운드를 스피커(241)를 통해 출력할 수 있고, 마이크(243)를 통해 다른 사용자 디바이스의 스피커를 통해 출력되는 음성 정보가 실린 사운드를 입력받아 제어부(270)로 전달할 수 있다. 본 발명에서 오디오 처리부(240) 및 스피커(241) 중 적어도 하나는 출력하는 사운드가 인접된 영역에 존재하는 다른 사용자 디바이스의 마이크(243)를 통해 입력되도록 하기 위하여 추가의 회로나 전자부품(예컨대, 저항, 콘덴서 등)을 포함할 수 있다.
스피커(241)는 통화모드, 녹음모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(210)로부터 수신되거나, 저장부(250)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(241)는 사용자 디바이스에서 수행되는 기능(예컨대, 통화신호 수신음, 메시지 수신음, 음악 컨텐츠 재생 등)과 관련된 음향 신호를 출력할 수도 있다. 스피커(241)는 후술하는 본 발명의 실시 예에 따라 음성 정보를 포함하는 사운드를 설정된 출력 세기에 따라 출력할 수 있다.
마이크(243)는 통화모드, 녹음모드, 음성인식 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(211)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(243)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다. 마이크(243)는 후술하는 본 발명의 실시 예에 따라 다른 사용자 디바이스의 스피커(미도시)에서 출력되는 사운드를 입력 받아 제어부(270)로 전달할 수 있다.
저장부(250)는 제어부(270)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 전화번호부, 메시지, 오디오, 정지영상, 전자도서, 동영상, 음성 정보, 로그 정보 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(250)에는 상기 데이터들 각각에 대한 사용 빈도(예컨대, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도 등) 및 중요도도 함께 저장될 수 있다. 또한 저장부(250)에는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. 특히, 저장부(250)는 서비스 연결 시 실행될 통신 방식, 서버(300)로부터 수신하는 서비스 정보, 서비스 개시 명령어(예컨대, "기기 연결" 등), 서비스 명령어(예컨대, "파일 전송", "주소록 공유", "스피커 실행", "키보드 연결" 등) 등을 저장할 수 있다. 본 발명에서 개시 명령 및 서비스 명령어는 사용자 설정에 따라 정의될 수 있으며, 서비스 명령어의 경우 해당 서비스 수행 시 사용자 디바이스가 동작할 기능의 기능 정보(예컨대, 키보드 연결 시 입력 수단으로 동작할 지 표시 수단으로 동작할 지에 대한 정보, 스피커 실행 시 좌측 사운드를 담당할지 우측 사운드를 담당할 지에 대한 정보 등)가 함께 매핑될 수도 있다. 또한 저장부(250)는 후술하는 도 3의 플랫폼(platform)을 저장할 수도 있다.
저장부(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등)와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 사용자 디바이스는 인터넷 상에서 상기 저장부(250)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(260)는 사용자 디바이스에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 사용자 디바이스 내부의 각 구성 요소에 전달하거나, 사용자 디바이스 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 등이 인터페이스부(260)에 포함될 수 있다.
제어부(270)는 사용자 디바이스의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(270)는 멀티미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 멀티미디어 모듈(미도시)은 제어부(270) 내에 구현될 수도 있고, 제어부(270)와 별도로 구현될 수도 있다. 특히, 제어부(270)는 본 발명의 사용자 디바이스를 통해 입력된 사용자 음성을 이용한 사용자 디바이스들 간 서비스를 자동 연결 및 실행하는 것과 관련된 전반적인 동작을 제어할 수 있다.
예를 들어, 제어부(270)는 음성 명령 버튼(150)에 의해 서비스가 개시될 시 마이크(243)를 통해 입력된 음성 기반의 음성 정보 생성을 제어하고, 음성 명령 버튼(150)에 의한 해제를 감지할 시 생성된 음성 정보를 무선 통신부(210)를 통한 서버(300)에게 전송 또는 스피커(241)를 통한 외부 출력을 제어할 수 있다. 그리고 제어부(270)는 서버(300)로부터 서비스 정보가 수신될 시 수신된 서비스 정보에 따라 사용자 디바이스의 모드를 결정하고, 결정된 모드에 따른 서비스 연결 및 서비스 실행을 제어할 수 있다. 또는 제어부(270)는 마이크(243)를 통해 다른 사용자 디바이스로부터 음성 정보가 수신될 시 수신된 음성 정보에 따라 사용자 디바이스의 모드를 결정하고, 결정된 모드에 따른 서비스 연결 및 서비스 실행을 제어할 수도 있다. 즉, 제어부(270)는 본 발명의 음성을 이용한 사용자 디바이스들 간 서비스 연결 및 서비스 실행 기능과 관련된 전반적인 제어를 담당한다. 이러한 제어부(270)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 사용자 디바이스의 동작 예시 및 그의 제어 방법에서 설명될 것이다.
전원 공급부(280)는 제어부(270)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급한다.
상기 도 2에서는 그의 도시 및 설명은 생략하였으나, 저장부(250) 및 제어부(270) 중 적어도 하나에 음성 인식 모듈(미도시)이 저장 또는 탑재(loading)되거나, 별도의 구성으로 구현될 수도 있다.
한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(270) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
그리고 상기 도 1에 나타낸 본 발명의 사용자 디바이스는 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 사용자 디바이스는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 랩톱 컴퓨터 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 아울러, 본 발명의 기능 제어 방법은 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 디스플레이 디바이스에 적용되어 운용될 수 있다.
도 3은 본 발명의 실시 예에 따른 기능을 처리하는 사용자 디바이스의 플랫폼 구조를 개략적으로 도시한 도면이다.
상기 도 3을 참조하면, 본 발명의 실시 예에 따른 사용자 디바이스의 플랫폼은, 상술한 음성을 이용한 서비스 연결과 관련된 다양한 동작을 수행하기 위해 OS(Operating System) 기반의 소프트웨어를 구비할 수 있다. 상기 도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 사용자 디바이스는 커널(Kernel)(310), 음성 인식 프레임워크(Voice Recognition Framework)(330), 그리고 쉐어링 서비스 어플리케이션(Sharing Service Application)(350)을 포함하여 설계될 수 있다.
상기 커널(310)은 OS(Operating System)의 핵심으로써, 디바이스의 구동 시 하드웨어 드라이버(driver) 구동, 디바이스 내의 하드웨어와 프로세서의 보안, 시스템 자원의 효율적 관리, 메모리 관리, 하드웨어 추상화에 의한 하드웨어에 대한 인터페이스 제공, 멀티 프로세스, 그리고 서비스 연결 관리 등 중 적어도 하나를 수행할 수 있다. 상기 커널(310) 내의 하드웨어 드라이버는 디스플레이 드라이버, 입력 장치 드라이버, 와이파이 드라이버, 블루투스 드라이버, USB 드라이버, 오디오 드라이버, 파워 관리자(Power management), 바인더 드라이버(Binder Driver), 메모리 드라이버 등 중 적어도 하나를 포함할 수 있다.
상기 음성 인식 프레임워크(330)는 쉐어링 서비스 어플리케이션(350) 층 내의 어플리케이션의 기반이 되는 프로그램을 포함할 수 있다. 음성 인식 프레임워크(330)는 어떠한 어플리케이션과도 호환 가능하며, 컴포턴트(component)의 재사용, 이동 또는 교환이 가능할 수 있다. 음성 인식 프레임워크(330)는 지원 프로그램, 다른 소프트웨어 구성 요소들을 연결시켜 주는 프로그램 등을 포함할 수 있다. 예를 들어, 음성 인식 프레임워크(330)는 사운드 레코더(Sound Recorder)(351), 엔진 매니저(Engine Manager)(353), 스피치 인식 엔진(Speech Recognition Engine)(355), 커넥션 매니저(Connection Manager)(357), 그리고 서비스 매니저(Service Manager)(359) 등을 포함할 수 있다.
사운드 레코더(351)는 마이크(243)로부터 입력되어 상기 커널(310)을 통해 전달된 사용자 음성을 기록하여 녹음 데이터를 생성할 수 있다.
엔진 매니저(353)는 상기 사운드 레코드(351)로부터 전달된 녹음 데이터를 스피치 인식 엔진(355)으로 전달하고, 상기 스피치 인식 엔진(355)으로부터 전달된 결과 정보에 따라 커넥션 매니저(357)에게 음성 정보를 전달한다. 엔진 매니저(353)는 음성 명령 버튼(150)이 입력이 이루어질 시 그 입력 시간에 대한 타임스탬프를 기록할 수 있다. 그리고 엔진 매니저(353)는 스피치 인식 엔진(355)로부터 서비스 연결을 요청하는 명령어로 해석된 분석 결과가 전달될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 음성 정보를 생성하여 커넥션 매니저(357)에게 전달하여 전송을 요청할 수 있다.
스피치 인식 엔진(355)은 상기 엔진 매니저(353)를 통해 전달된 녹음 데이터를 해석할 수 있다. 즉, 스피치 인식 엔진(355)은 상기 녹음 데이터를 해석하여 서비스 연결을 요청하는 개시 명령어가 포함되는지 분석할 수 있다. 스피치 인식 엔진(355)은 녹음 데이터로부터 디바이스들 간 서비스 연결을 요청하는 명령어인 것으로 해석할 시 그에 대한 분석 결과를 상기 엔진 매니저(353)로 전달할 수 있다. 본 발명에서 스피치 인식 엔진(355)은 입력된 신호를 텍스트 또는 음성으로 변환하기 위한 엔진으로, 입력된 텍스트를 음성으로 변환하는 TTS 엔진과, 음성을 메시지의 텍스트로 변환하는 STT 엔진을 포함하는 프로그램으로 구성될 수도 있다.
커넥션 매니저(357)는 상기 엔진 매니저(353)로부터 음성 정보를 수신하고, 상기 음성 정보를 무선 통신부(210)를 통해 서버(300)에게 전송할 수 있다. 그러면, 서버(300)는 다른 디바이스에서 동일한 녹음 데이터와 동일한 시간대의 타임스탬프를 가지는지 비교 판단하고, 만약 동일한 녹음 데이터와 동일한 시간대의 타임스탬프를 가지는 디바이스가 존재하면 해당 디바이스와 서비스 연결을 위한 서비스 정보를 디바이스에게 전송할 수 있다. 따라서 커넥션 매니저(357)는 서버(300)로부터 상기 서비스 정보가 수신되면, 상기 서비스 정보를 서비스 매니저(359)에게 전달할 수 있다. 그리고 커넥션 매니저(357)는 서비스 매니저(359)에서 전달된 연결 대상 디바이스의 디바이스 어드레스에 따라 설정된 통신 방식의 연결을 처리한다. 이후, 커넥션 매니저(357)는 연결 대상 디바이스와 연결이 이루어지면, 서비스 매니저(359)에서 전달된 서비스의 실행 정보에 따라 연결 대상 디바이스와 관련 서비스 수행을 처리한다.
서비스 매니저(359)는 상기 커넥션 매니저(357)로부터 상기 서비스 정보를 수신하고, 수신된 서비스 정보를 분석할 수 있다. 서비스 매니저(359)는 서비스 정보로부터 디바이스의 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스의 종류 등을 분석할 수 있다. 이때, 서비스 매니저(359)는 서비스 정보를 수신할 시 디바이스에서 현재 수행 중인 어플리케이션의 정보를 쉐어링 서비스 어플리케이션(350)으로부터 수집할 수 있다.
상기 쉐어링 서비스 어플리케이션(350)은 디바이스 내에서 구동되어 표시 가능한 다양한 프로그램을 포함한다. 예를 들어, 디바이스 내의 다양한 메뉴 등에 관한 UI 어플리케이션과, 외부 장치 또는 네트워크를 통해 다운로드 되어 저장되며, 사용자에 의해 설치 또는 삭제가 자유로운 어플리케이션 등을 포함할 수 있다. 이러한 어플리케이션을 통해, 네트워크 접속에 의한 인터넷 전화 서비스, 주문형 비디오(VOD) 서비스, 웹 앨범 서비스, SNS, 위치기반 서비스(LBS), 지도 서비스, 웹 검색 서비스, 애플리케이션 검색 서비스, 문자/멀티미디어 메시지 서비스, 메일 서비스, 주소록 서비스, 미디어 재생 서비스 등이 수행될 수 있다. 또한, 게임, 일정관리 등 다양한 기능이 수행될 수 있다.
이 외에도, 본 발명의 플랫폼은 미들웨어(middleware)(미도시)를 더 포함할 수 있다. 상기 미들웨어(미도시)는 커널(310)과 어플리케이션(350) 층 사이에 위치하여, 다른 하드웨어 또는 소프트웨어 간에 데이터를 주고받을 수 있도록 중간에서 매개 역할을 할 수 있다. 이에 의해, 표준화된 인터페이스 제공이 가능하며, 다양한 환경 지원, 및 체계가 다른 업무와 상호 연동이 가능해질 수 있다.
한편, 이상에서 살펴본 바와 같은 플랫폼은 본 발명의 사용자 디바이스는 물론, 그 외 다양한 전자기기에서 범용으로 사용 가능하다. 그리고 본 발명의 플랫폼은 앞서 살펴본 바와 같은 저장부(250) 및 제어부(270) 중 적어도 하나 또는 별도의 프로세서(미도시)에, 저장 또는 탑재(loading)될 수도 있다. 또한, 어플리케이션 실행을 위한 별도의 어플리케이션 프로세서(미도시)가 더 구비될 수도 있다.
도 4는 본 발명의 실시 예에 따른 사용자 디바이스들 간의 서비스 연결 과정을 도시한 신호 흐름도이고, 도 5는 본 발명의 실시 예에 따른 사용자 디바이스들의 서비스 연결에 사용되는 음성 정보가 저장되는 예시를 도시한 도면이다.
상기 도 4를 참조하면, 제1 디바이스(100) 및 제2 디바이스(200)는 음성 명령 버튼(150) 입력이 수신되면(401단계, 403단계), 마이크(243)를 통해 입력되는 사용자 음성을 각각 녹음할 수 있다(405단계, 407단계). 예를 들어, 사용자는 제1 디바이스(100)와 제2 디바이스(200)에 구비된 음성 명령 버튼(150)을 누른 상태에서 디바이스들 간의 연결을 위한 개시 명령어(예컨대, "기기 연결") 또는 디바이스 연결 및 실행하고자 하는 서비스 명령어(예컨대, "기기 연결 파일 전송", "기기 연결 주소록 공유" 등)를 입력(말)하고, 음성 명령 버튼(150)의 입력을 해제할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 음성 명령 버튼(150)의 입력이 해제될 시 녹음된 음성에 대한 음성 인식을 수행할 수 있다(409단계, 411단계). 제1 디바이스(100) 및 제2 디바이스(200)는 녹음된 음성 분석을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판별할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 서비스 연결을 위한 개시 명령어가 검출될 시 음성 정보를 생성하여 서버(300)로 각각 전송할 수 있다(413단계, 415단계). 본 발명에서 음성 정보는 사용자 디바이스들 간 서비스 연결에 필요한 사용자 음성의 녹음 데이터와 관련 정보를 포함할 수 있다. 예를 들어, 녹음 데이터(특히, 음성 파형), 타임스탬프, 그리고 디바이스 식별자 등을 포함할 수 있다.
서버(300)는 제1 디바이스(100) 및 제2 디바이스(200)로부터 음성 정보가 수신될 시, 수신된 음성 정보를 각 디바이스별로 구분하여 데이터베이스에 저장할 수 있다(411단계). 그리고 서버(300)는 데이터베이스 저장된 음성 정보에 대한 분석을 수행할 수 있다(419단계).
예를 들어, 서버(300)는 음성 정보가 수신될 시 수신된 음성 정보에 대응되는 음성 정보가 데이터베이스에 존재하는지 비교 검색할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 서버(300)는 수신된 음성 정보를 각 디바이스별로 구분하여 디바이스 정보, 녹음 데이터(음성 파형), 타임스탬프, 연결 정보(디바이스 어드레스), 로우 데이터 등으로 구분하여 저장할 수 있다. 그리고 서버(300)는 상기 도 5와 같이 저장된 음성 정보에서 서로 일치되는 음성 정보를 검색할 수 있다. 즉, 서버(300)는 수신된 음성 정보의 녹음 데이터와 동일한 것으로 판단되는 음성 파형을 검출하고, 검출된 음성 파형들의 타임스탬프를 확인하여 검출된 음성 파형들이 동일한 시간대에 생성되었는지 비교 분석할 수 있다. 그리고 서버(300)는 동일한 음성 파형과 동일한 시간대를 가지는 것으로 확인할 시 해당 디바이스들이 연결을 시도하고 있는 것으로 판단할 수 있다. 일예로, 서버(300)는 상기 도 5에서 디바이스 B와 디바이스 E가 서로 일치되는 음성 정보를 가지는 것으로 결정할 수 있다.
이때, 서버(300)는 음성 정보가 수신된 순서에 따라 음성 정보 분석을 처리할 수 있다. 예를 들어, 제1 디바이스(100)에 의한 음성 정보가 제2 디바이스(200)보다 먼저 수신될 시, 제2 디바이스(100)로부터 수신된 음성 정보를 기준으로 분석을 수행할 수 있다. 그리고 만약 제1 디바이스(100)로부터 수신된 음성 정보에 대응하게 검출된 음성 정보가 제2 디바이스(200)의 음성 정보인 경우 제2 디바이스(200)로부터 수신된 음성 정보의 타임스탬프를 확인하여 동일한 시간대에 속하는 경우 제2 디바이스(200)로부터 수신된 음성 정보에 대한 분석은 생략할 수도 있다.
서버(300)는 음성 정보 분석을 통해 서로 일치되는 음성 정보가 제공된 디바이스들(예컨대, 제1 디바이스(100) 및 제2 디바이스(200))에서 수행할 연결 방식, 서비스 종류 등에 대한 서비스 타입을 인식할 수 있다(421단계). 예를 들어, 서버(300)는 서로 일치되는 음성 정보를 가진 적어도 2개의 디바이스들을 결정할 시 각 디바이스들의 타임스탬프를 확인하여 타임스탬프에 기록된 시간의 차이에 따라 각 디바이스가 수행될 모드를 인식하고, 녹음 데이터로부터 음성 명령어를 분석하여 실행하고자 하는 서비스를 인식할 수 있다. 즉, 서버(300)는 인식된 음성 명령어(예컨대, "기기 연결", "기기 연결 파일 전송" 등)를 해석하는 과정을 통해 디바이스들 간에 어떤 서비스 연결을 하려는 것인지 인식할 수 있다.
서버(300)는 서비스 타입에 따른 서비스 정보를 각 디바이스별(예컨대, 제1 디바이스(100) 및 제2 디바이스)로 생성하여 제1 디바이스(100) 및 제2 디바이스(200)에 각각 전송할 수 있다(423단계, 425단계). 예를 들어, 서버(300)는 각 디바이스별 서비스 타입, 연결 정보, 그리고 실행 정보를 이용하여 각 디바이스들(제1 디바이스(100) 및 제2 디바이스(200))에게 전송할 서비스 정보를 각각 생성하고, 생성된 서비스 정보를 제1 디바이스(100) 및 제2 디바이스(200)에게 각각 전송할 수 있다. 상기 서비스 정보는 각 디바이스별 서비스 타입, 연결 정보, 그리고 실행 정보를 포함할 수 있으며, 상기 실행 정보는 해석된 음성 명령어 타입에 따라 선택적으로 포함될 수 있다. 일예로, 음성 명령어가 "기기 연결"과 같이 서비스 개시 명령어("기기 연결")만을 포함할 시 실행 정보는 생략될 수 있고, 음성 명령어가 "기기 연결 파일 전송"과 같이 서비스 개시 명령어("기기 연결")와 서비스 명령어("파일 전송")를 포함할 시 파일 전송을 지시하는 실행 정보가 포함될 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 서버(300)로부터 음성 정보 전송에 대한 서비스 정보가 수신될 시, 수신된 서비스 정보에 따라 서로 간에 결정된 연결을 수행할 수 있다(423단계). 예를 들어, 제1 디바이스(100) 및 제2 디바이스(200)는 서비스 정보(특히, 서비스 타입)에 따라 동작할 모드 결정 및 서비스 정보(특히, 연결 정보)에 따라 연결 대상의 디바이스 정보를 확인할 수 있다. 그리고 제1 디바이스(100) 및 제2 디바이스(200) 중 마스터 모드로 동작하는 디바이스는 서비스 정보(특히, 연결 정보)에 대응하는 디바이스와 미리 설정된 연결 방식(예컨대, 블루투스 연결, 무선 랜 연결, 와이파이 다이렉트 연결 등)에 따라 연결을 시도할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 서로 연결될 시 서비스 정보에 따른 서비스를 수행할 수 있다(429단계). 예를 들어, 서로 간에 연결이 완료되면, 마스터 모드의 디바이스가 연결된 슬레이브 모드의 디바이스와 서비스 정보(특히, 실행 정보)에 대응하는 서비스를 실행할 수 있다.
일예로, 제1 디바이스(100)가 마스터 모드로 동작하고 제2 디바이스(200)가 슬레이브 모드로 동작하는 것을 가정하고, 실행 정보가 <파일 전송>에 해당하는 경우 제1 디바이스(100)에서 현재 선택된(또는 표시된) 파일을 제2 디바이스(200)에게 전송할 수 있다. 또한 실행 정보가 <주소록 공유>에 해당하는 경우 제1 디바이스(100)의 주소록 정보를 제2 디바이스(200)에게 전송할 수 있다. 이때, 주소록 공유의 경우 제2 디바이스(200)의 주소록을 제1 디바이스(100)의 주소록으로 동기화하거나, 또는 제1 디바이스(100)의 주소록을 제2 디바이스(200)에 주소록에 추가하는 방식 중 설정된 방식에 따라 수행될 수도 있다. 또한 실행 정보가 <게임 연결>에 해당하는 경우 제1 디바이스(100)와 제2 디바이스(200)의 네트워크 게임 연결이 진행될 수 있다. 또한 실행 정보가 <스피커 실행>에 해당하는 경우 제1 디바이스(100)가 서라운드 스피커의 좌측 사운드 출력을 담당하고 제2 디바이스(200)가 서라운드 스피커의 우측 사운드 출력을 담당할 수 있다. 또한 실행 정보가 <키보드 연결>에 해당하는 경우 제2 디바이스(200)가 제1 디바이스(100)의 입력 수단으로 동작할 수 있도록 제2 디바이스(200)가 가상 키보드 또는 가상 마우스로 동작할 수 있다.
한편, 앞서 설명한 바와 같이 서비스 정보에 실행 정보가 포함되지 않을 시 제1 디바이스(100) 및 제2 디바이스(200) 간에 서비스를 실행하는 단계인 상기 429단계는 생략될 수도 있다.
도 6은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
상기 도 6을 참조하면, 제어부(270)는 음성 명령 버튼(150) 입력이 수신되면(601단계), 마이크(243)를 통해 입력되는 사용자 음성을 녹음할 수 있다(603단계). 이때, 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 마이크(243)의 상태를 확인하여, 만약 비활성화 상태일 시 마이크(243)를 활성화 상태로 전환할 수 있다. 아울러, 제어부(270)는 표시부(230)를 통해 사용자의 음성 입력을 가이드 하는 가이드 화면 표시를 제어할 수도 있다.
제어부(270)는 음성 명령 버튼(150)의 입력 해제를 감지할 시 녹음된 사용자 음성에 대한 인식을 수행하고(605단계), 음성 인식에 따른 결과를 분석할 수 있다(607단계). 그리고 제어부(270)는 녹음된 사용자 음성 인식을 통해 사용자 음성이 서비스 연결을 위한 명령어에 해당하는지 판단할 수 있다(609단계). 즉, 제어부(270)는 음성 인식을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판단할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되지 않으면(609단계의 NO), 해당 동작 수행을 제어할 수 있다(611단계). 예를 들어, 제어부(270)는 입력된 사용자의 음성 명령어에 대한 내부 데이터(또는 컨텐츠 등) 검색을 수행하거나, 마켓(또는 인터넷) 검색을 수행할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되면(609단계의 YES), 음성 정보를 생성하고(613단계), 생성된 음성 정보를 미리 약속된 서버(300)에게 전송할 수 있다(615단계). 예를 들어, 제어부(270)는 디바이스들 간 서비스 연결에 필요한 사용자 음성의 녹음 데이터, 음성 명령 버튼(150)이 입력된 시간 정보(타임스탬프), 그리고 디바이스 식별자(디바이스 어드레스) 등을 포함하는 음성 정보를 생성하여 서버(300)에게 전송할 수 있다.
제어부(270)는 음성 정보를 전송한 후 상기 음성 정보에 대한 응답을 서버(300)로부터 수신하면(617단계), 서버(300)로부터의 응답이 서비스 정보에 해당하는지 판단할 수 있다(619단계). 제어부(270)는 서버(300)의 응답이 서비스 정보가 아니면(619단계의 NO) 해당 동작 수행을 제어할 수 있다(621단계). 예를 들어, 제어부(270)는 서버(300)로부터 수신된 응답이 서비스 정보가 아니고 에러 정보에 해당하면, 사용자에게 에러 정보 출력을 제어할 수 있다. 그리고 제어부(270)는 에러 정보 출력 후 사용자로부터의 입력에 응답하여 서비스 연결 절차를 재수행 하거나, 서비스 연결 절차를 종료할 수 있다.
제어부(270)는 서버(300)의 응답이 서비스 정보에 해당하면(619단계의 YES) 수신된 서비스 정보를 분석할 수 있다(623단계). 예를 들어, 제어부(270)는 수신된 서비스 정보로부터 서비스 타입, 연결 대상의 디바이스, 연결하는 디바이스와의 실행 서비스 등을 판단할 수 있다.
제어부(270)는 서비스 정보에 따라 모드를 결정하고(625단계), 결정된 모드에 따라 연결 대상의 디바이스와 설정된 통신 방식의 연결을 수행할 수 있다(627단계). 예를 들어, 제어부(270)는 서비스 정보에 따라 마스터 모드 및 슬레이브 모드 중 어느 하나의 동작 모드를 결정하고, 결정된 동작 모드에서 연결 대상 디바이스에게 연결 요청을 전송하거나, 연결 대상 디바이스로부터 연결 요청을 수신하고 그에 따라 연결을 수행할 수 있다.
제어부(270)는 연결 대상 디바이스와 연결될 시, 연결된 대상 디바이스와 서비스 정보에 대응하는 서비스를 수행할 수 있다(629단계). 예를 들어, 제어부(270)는 앞서 살펴본 바와 같이 마스터 모드에서 실행 정보에 대응하게 서비스를 수행하거나, 슬레이브 모드에서 실행 정보에 대응하게 서비스를 수행할 수 있다.
도 7은 본 발명의 실시 예에 따른 서버(300)에서 사용자 디바이스들을 인증하는 과정을 도시한 흐름도이다.
상기 도 7을 참조하면, 서버(300)는 소정의 디바이스로부터 음성 정보가 수신되면(701단계), 수신된 음성 정보를 저장하고(703단계), 상기 음성 정보에 대한 분석을 수행할 수 있다(705단계). 이때, 서버(300)는 수신된 음성 정보를 각 디바이스별로 구분하여 데이터베이스에 저장할 수 있다.
서버(300)는 음성 정보 분석을 통해 상기 음성 정보가 서비스 연결 명령에 해당하는지 판단할 수 있다(707단계). 예를 들어, 서버(300)는 수신된 음성 정보가 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")와 같은 미리 정의된 명령어를 포함하는지 판단할 수 있다.
서버(300)는 수신된 음성 정보가 서비스 연결 명령을 포함하지 않으면(707단계의 NO) 해당 동작 수행을 처리할 수 있다(609단계). 예를 들어, 서버(300)는 수신된 음성 정보를 일반적인 음성 검색어에 해당하는 것으로 판단하고, 검색어에 대응하여 데이터베이스 검색을 수행할 수 있다.
서버(300)는 수신된 음성 정보가 서비스 연결 명령을 포함할 시(707단계의 YES) 음성 정보에 포함된 음성 파형 비교(711단계) 등을 통해 수신된 음성 정보에 대응하여 다른 음성 정보(이하, 인증된 음성 정보)가 존재하는지 판단할 수 있다(713단계). 예를 들어, 서버(300)는 음성 정보가 수신될 시 수신된 음성 정보에 대응되는 음성 정보가 데이터베이스에 존재하는지 비교 검색할 수 있다. 즉, 서버(300)는 음성 정보의 녹음 데이터와 일치되는 음성 파형을 가진 다른 음성 정보를 검색하고, 검색된 음성 정보의 타임스탬프를 확인하여 음성 정보들이 동일한 시간대에 생성되었는지 비교 분석할 수 있다.
서버(300)는 수신된 음성 정보에 대응하는 인증된 음성 정보가 존재하지 않을 시(713단계의 NO) 에러 정보를 생성하고(715단계), 음성 정보를 전송한 해당 디바이스에게 에러 정보를 전송할 수 있다(717단계). 예를 들어, 서버(300)는 서비스 연결 요청에 대해 연결 대상 디바이스가 없으며 이에 따라 서비스 연결 절차를 종료함을 통지하는 에러 정보를 해당 디바이스에게 전송할 수 있다.
서버(300)는 수신된 음성 정보에 대응하는 인증된 음성 정보가 존재할 시(713단계의 YES) 디바이스들이 연결을 시도하고 있는 것으로 판단하고 수신된 음성 정보와 인증된 음성 정보를 이용하여 서비스 타입을 인식할 수 있다(719단계). 예를 들어, 서버(300)는 음성 정보들의 각 타임스탬프를 확인하여 타임스탬프가 기록된 시간의 차이에 따라 디바이스들에 대한 동작 모드(마스터 모드, 슬레이브 모드)를 결정하여 배분하고, 음성 정보의 녹음 데이터로부터 도출된 명령어를 확인하여 디바이스들 간 연결 및 그에 따른 실행 서비스를 판단할 수 있다.
서버(300)는 인식된 서비스 타입에 따라 적어도 2개의 디바이스별 서비스 정보들을 생성할 수 있다(721단계). 그리고 서버(300)는 서비스 정보를 각 디바이스별로 구분하여 전송할 수 있다(723단계). 예를 들어, 서버(300)는 각 디바이스별 서비스 타입, 연결 정보, 그리고 실행 정보를 이용하여 각 디바이스들에게 전송할 서비스 정보를 각각 생성하고, 생성된 서비스 정보를 대응되는 디바이스마다 개별 전송할 수 있다. 일예로, 수신된 음성 정보와 인증된 음성 정보에 의해 2개의 디바이스들(예컨대, 제1 디바이스(100) 및 제2 디바이스(200))로부터 서비스 연결 요청이 된 경우, 서버(300)는 제1 디바이스(100)에게 전송할 제1 서비스 정보와 제2 디바이스(200)에게 전송할 제2 디바이스 정보를 각각 생성할 수 있다. 그리고 서버(300)는 제1 서비스 정보를 제1 디바이스(100)에게 전송하고, 제2 서비스 정보를 제2 디바이스(200)에게 전송할 수 있다.
도 8은 본 발명의 실시 예에 따른 사용자 디바이스들이 서비스를 연결하는 다른 동작 설명을 위해 개략적으로 도시한 도면이다.
상기 도 1에 도시된 바와 같이, 본 발명의 사용자 음성 기반의 서비스 연결을 위한 시스템은, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)를 포함하여 구성될 수 있다. 즉, 앞서 도 1의 시스템 구성과는 다르게, 도 8에서는 서버(300)의 구성없이 구현되는 경우의 예시를 나타낸다. 그리고 도 8에서는 두 개의 사용자 디바이스들(100, 200)을 이용하여 서비스 연결 동작을 설명하지만, 본 발명이 이에 한정되는 것은 아니며 두 개 이상의 사용자 디바이스들에 대한 서비스 연결도 가능함은 물론이다. 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 앞서 도 1 내지 도 7을 참조한 설명에서와 같은 기능 및 동작을 수행할 수 있다. 다만, 도 8과 같은 시스템 환경에서, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 서버(300)와 연동하는 기능 및 동작이 생략되고, 서버(300) 없이 사용자 음성 인증을 위한 기능 및 동작을 추가 수행할 수 있다.
상기 도 8을 참조하면, 상기 도 8에서는 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)가 무선 랜을 이용하여 연결하는 동작을 설명한다. 그리고 제1 사용자 디바이스(100)가 마스터 모드(또는 AP)로 동작하고, 제2 사용자 디바이스(200)가 슬레이브 모드(또는 Non-AP)로 동작하는 경우를 가정한다. 즉, 제1 사용자 디바이스(100)의 음성 명령 버튼(150)이 제2 사용자 디바이스(200)의 음성 명령 버튼(150)보다 먼저 입력되어 그에 따른 타임스탬프의 시간차가 발생되는 것을 가정할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 앞서 설명한 바와 같이 음성 기반의 서비스 연결을 수행하기 위해 사용자로부터 음성 입력을 수신 대기하는 하드웨어 또는 소프트 인터페이스 타입의 음성 명령 버튼(150)을 구비할 수 있다. 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150)이 입력될 시 타임스탬프를 기록하고, 음성 명령 버튼(150)이 눌려진 상태에서 입력되는 사용자 음성을 녹음할 수 있다. 그리고 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 명령 버튼(150)에 의한 입력이 해제될 시 녹음된 음성(녹음 데이터)에 대한 음성 인식을 수행할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 인식 결과 사용자 디바이스들 간의 연결을 위한 명령어가 검출될 시 녹음 데이터를 포함하는 음성 정보를 사운드에 실어 스피커(241)를 통해 출력할 수 있다. 예를 들어, 제1 사용자 디바이스(100)에서 생성된 제1 음성 정보가 실린 사운드는 스피커(241)를 통해 인접된 제2 사용자 디바이스(200)에게 전달되고, 제2 사용자 디바이스(200)는 제1 사용자 디바이스(100)에서 출력된 사운드를 마이크(243)를 통해 입력받을 수 있다. 반대로, 제2 사용자 디바이스(200)에서 생성된 제2 음성 정보가 실린 사운드는 스피커(241)를 통해 인접된 제1 사용자 디바이스(100)에게 전달되고, 제1 사용자 디바이스(100)는 제2 사용자 디바이스(200)에서 출력된 사운드를 마이크(243)를 통해 입력받을 수 있다. 본 발명에서 상기 사운드는 예컨대, 가청 주파수 또는 가청 주파수 이상의 음파를 포함하는 것으로, 이하에서는 "사운드"라 칭하기로 한다. 이때, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 녹음 데이터를 코드화 하고, 코드화된 녹음 데이터를 사용자의 가청 주파수 또는 가청 주파수 이상의 사운드(음파)로 변환하여 스피커(241)를 통해 출력할 수 있다. 이때, 상기 음성 정보는 사용자 음성의 녹음 데이터를 비롯하여, 타임스탬프, 그리고 디바이스 어드레스 등이 포함될 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 스피커(241)를 통해 사운드를 출력한 후, 자신의 마이크(243)를 통해 다른 사용자 디바이스로부터 출력된 사운드를 입력받을 수 있다. 그러면, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 마이크(243)를 통해 입력된 음성 정보와 전송된 음성 정보를 이용하여 상호 간에 연결하여 서비스를 실행할 수 있다. 이때, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 입력된 음성 정보를 인증하여, 서비스 연결을 위한 음성 정보에 해당하는지 판단할 수 있다. 예를 들어, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 입력된 음성 정보에 타임스탬프가 포함되어 있는지, 또는 입력된 음성 정보의 녹음 데이터와 전송된 음성 정보의 녹음 데이터가 일치되는지 등의 비교 분석을 통해 입력된 음성 정보에 대한 인증을 처리할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 입력된 음성 정보가 서비스 연결을 위한 인증된 음성 정보에 해당할 시, 음성 정보를 분석하여 동작 모드 결정, 연결 대상의 디바이스 확인, 실행 서비스 확인 등을 수행할 수 있다. 예를 들어, 제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 음성 정보들의 각 타임스탬프를 비교하여 그들의 기록 시간차에 따라 마스터 모드 또는 슬레이브 모드를 결정하고, 디바이스 어드레스를 통해 연결 대상의 디바이스를 확인하며, 음성 인식에 따른 명령어를 기반으로 실행 서비스를 확인할 수 있다.
제1 사용자 디바이스(100) 및 제2 사용자 디바이스(200)는 분석된 음성 정보에 따라 결정된 동작 모드에서 연결 대상 사용자 디바이스와 설정된 통신 방식의 연결을 수행하며, 상호 간에 연결될 시 결정된 동작 모드에서 명령어에 대응하는 서비스를 수행할 수 있다. 예를 들어, 제1 사용자 디바이스(100)와 제2 사용자 디바이스(200)는 무선 랜 링크(link)를 형성하고, 서로 간에 연결이 완료될 시 마스터로 결정된 사용자 디바이스가 현재 표시되고 있는 이미지 파일을 상대 사용자 디바이스에게 전송할 수 있다. 또는 마스터로 결정된 사용자 디바이스는 좌 스피커로 동작하고 슬레이브로 결정된 사용자 디바이스는 우 스피커로 동작하여, 마스터 디바이스에서 재생되는 미디어 파일의 오디오를 각각 출력할 수도 있다. 또는 마스터로 결정된 사용자 디바이스는 입력 수단으로 동작하고 슬레이브로 결정된 사용자 디바이스는 표시 수단으로 동작하여, 마스터의 사용자 디바이스에 의해 입력되는 정보를 슬레이브의 사용자 디바이스를 통해 표시할 수 있다. 또는 마스터로 결정된 사용자 디바이스에서 표시되는 데이터를 슬레이브로 결정된 사용자 디바이스로 전송하여 마스터의 사용자 디바이스에서 표시되는 데이터를 슬레이브의 사용자 디바이스와 함께 공유하여 표시할 수도 있다.
도 9는 본 발명의 실시 예에 따른 사용자 디바이스들 간의 서비스 연결 과정을 도시한 신호 흐름도이다. 특히, 상기 도 9에서는 앞서 살펴본 바와 같은 서버(300) 없이 사용자 디바이스들 간의 직접 연결을 지원하는 동작 예시를 나타낸 것이다.
상기 도 9를 참조하면, 제1 디바이스(100) 및 제2 디바이스(200)는 음성 명령 버튼(150) 입력이 수신되면(901단계, 903단계), 마이크(243)를 통해 입력되는 사용자 음성을 각각 녹음할 수 있다(905단계, 907단계). 예를 들어, 사용자는 제1 디바이스(100)와 제2 디바이스(200)에 구비된 음성 명령 버튼(150)을 누른 상태에서 디바이스들 간 연결을 위한 개시 명령어(예컨대, "기기 연결") 또는 디바이스 연결 및 실행하고자 하는 서비스 명령어(예컨대, "기기 연결 파일 전송", "기기 연결 주소록 공유" 등)를 입력(말)하고, 음성 명령 버튼(150)의 입력을 해제할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 음성 명령 버튼(150)의 입력이 해제될 시 녹음된 음성에 대한 음성 인식을 수행할 수 있다(909단계, 911단계). 제1 디바이스(100) 및 제2 디바이스(200)는 녹음된 음성 분석을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판별할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 서비스 연결을 위한 개시 명령어가 검출될 시 음성 정보를 생성하여 제1 디바이스(100) 및 제2 디바이스(200)에 구비된 스피커(241)를 통해 각각 출력할 수 있다(913단계, 915단계). 예를 들어, 제1 디바이스(100) 및 제2 디바이스(200)는 생성된 음성 정보를 사운드에 실어 각 스피커를 통해 인접된 상대 디바이스에게 출력할 수 있다. 예를 들어, 제1 디바이스(100)에서 생성된 제1 음성 정보가 실린 사운드는 스피커(241)를 통해 인접된 제2 사용자 디바이스(200)에게 전달되고, 제2 사용자 디바이스(200)는 제1 사용자 디바이스(100)에서 출력된 사운드를 마이크(243)를 통해 입력받을 수 있다. 반면, 제2 사용자 디바이스(200)에서 생성된 제2 음성 정보가 실린 사운드는 스피커(241)를 통해 인접된 제1 사용자 디바이스(100)에게 전달되고, 제1 사용자 디바이스(100)는 제2 사용자 디바이스(200)에서 출력된 사운드를 마이크(243)를 통해 입력받을 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 스피커(241)를 통해 사운드를 출력한 후, 자신의 마이크(243)를 통해 인접된 상대 디바이스로부터 출력된 음성 정보가 수신될 시, 마이크(243)를 통해 입력된 음성 정보와 스피커(241)를 통해 전송된 음성 정보를 비교하여 인증할 수 있다(917단계, 919단계). 즉, 제1 디바이스(100) 및 제2 디바이스(200)는 각자의 마이크(243)를 통해 입력된 음성 정보를 인증하여, 서비스 연결을 위한 음성 정보에 해당하는지 판단할 수 있다. 일예로, 제1 디바이스(100) 및 제2 디바이스(200)는 입력된 음성 정보가 타임스탬프를 포함하는지, 또는 입력된 음성 정보의 녹음 데이터와 전송된 음성 정보의 녹음 데이터가 일치하는지 등의 비교 분석을 통해 인증을 수행할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 입력된 음성 정보가 서비스 연결을 위한 음성 정보가 정상 인증될 시, 서비스 타입을 판단할 수 있다(921단계, 923단계). 예를 들어, 제1 디바이스(100) 및 제2 디바이스(200)는 입력된 음성 정보와 전송된 음성 정보를 참조하여 동작 모드 확인, 연결 대상의 디바이스 확인, 그리고 연결 시 실행 서비스의 종류 확인 등을 수행할 수 있다. 그리고 제1 디바이스(100) 및 제2 디바이스(200)는 서비스 타입 판단에 따라 자신들이 동작할 동작 모드를 결정하고(925단계, 927단계), 결정된 각 동작 모드에서 연결 대상의 디바이스와 미리 설정된 연결 방식에 따라 연결을 시도할 수 있다.
제1 디바이스(100) 및 제2 디바이스(200)는 서로 연결될 시(929단계) 각 동작 모드에서 음성 정보에 대응하는 서비스를 수행할 수 있다(931단계). 예를 들어, 제1 디바이스(100) 및 제2 디바이스(200)는 서로 간에 연결이 완료되면, 마스터 모드의 디바이스가 연결된 슬레이브 모드의 디바이스와 음성 정보에 대응하는 서비스를 실행할 수 있다. 일예로, 제1 디바이스(100)가 마스터 모드로 동작하고 제2 디바이스(200)가 슬레이브 모드로 동작하는 것을 가정할 시, 제1 디바이스(100)에서 현재 선택된(또는 표시된) 파일을 제2 디바이스(200)에게 전송하거나, 제1 디바이스(100)의 주소록 정보를 제2 디바이스(200)에게 전송하거나, 제1 디바이스(100)가 서라운드 스피커의 좌측 사운드 출력을 담당하고 제2 디바이스(200)가 서라운드 스피커의 우측 사운드 출력을 담당하거나, 제2 디바이스(200)가 제1 디바이스(100)의 입력 수단으로 동작할 수 있도록 제2 디바이스(200)가 가상 키보드 또는 가상 마우스로 동작할 수 있다.
한편, 앞서 설명한 바와 같이 음성 정보에 실행할 서비스 명령어가 포함되지 않고, 디바이스들 간 연결을 위한 개시 명령어만 포함된 경우에는 제1 디바이스(100) 및 제2 디바이스(200) 간에 서비스를 실행하는 단계인 상기 931단계는 생략될 수도 있다.
도 10은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
상기 도 10을 참조하면, 제어부(270)는 음성 명령 버튼(150) 입력이 수신되면(1001단계), 마이크(243)를 통해 입력되는 사용자 음성을 녹음할 수 있다(1003단계). 이때, 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 마이크(243)의 상태를 확인하여, 만약 비활성화 상태일 시 마이크(243)를 턴-온(turn-on) 제어할 수 있다. 아울러, 제어부(270)는 표시부(230)를 통해 사용자의 음성 입력을 가이드 하는 가이드 화면 표시를 제어할 수도 있다.
제어부(270)는 음성 명령 버튼(150)의 입력 해제를 감지할 시 녹음된 사용자 음성에 대한 인식을 수행하고(1005단계), 음성 인식에 따른 결과를 분석할 수 있다(1007단계). 그리고 제어부(270)는 녹음된 사용자 음성 인식을 통해 사용자 음성이 서비스 연결을 위한 명령어에 해당하는지 판단할 수 있다(1009단계). 즉, 제어부(270)는 음성 인식을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판단할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되지 않으면(1009단계의 NO), 해당 동작 수행을 제어할 수 있다(1011단계). 예를 들어, 제어부(270)는 입력된 사용자의 음성 명령어에 대한 내부 데이터(또는 컨텐츠 등) 검색을 수행하거나, 마켓(또는 인터넷) 검색을 수행할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되면(1009단계의 YES), 음성 정보를 생성하고(1013단계), 생성된 음성 정보를 사운드에 실어 스피커(241)를 통해 출력할 수 있다(1015단계). 예를 들어, 제어부(270)는 디바이스들 간 서비스 연결에 필요한 사용자 음성의 녹음 데이터, 음성 명령 버튼(150)이 입력된 시간 정보(타임스탬프), 그리고 디바이스 식별을 위한 디바이스 어드레스 등을 포함하는 음성 정보를 특정 주파수 대역의 음파(사운드)로 변환하여 스피커(241)를 통해 외부 출력할 수 있다.
제어부(270)는 음성 정보를 전송한 후 마이크(243)를 통해 다른 음성 정보를 수신할 수 있다(1017단계). 즉, 제어부(270)는 음성 정보를 전송한 후 마이크(243)를 통해 다른 디바이스로부터 출력되는 음성 정보를 포함하는 사운드를 수신할 수 있다. 그러면, 제어부(270)는 수신된 사운드를 파싱하여 음성 정보를 도출할 수 있다. 만약, 사운드에 음성 명령어가 포함되지 않을 시 제어부(270)는 수신된 사운드를 무시할 수 있다. 즉, 음성 명령어가 포함되지 않은 사운드의 경우 잡음(noise)으로 판단하고, 그에 대한 입력을 무시할 수 있다.
제어부(270)는 마이크(243)를 통해 입력된 음성 정보와 스피커(241)를 통해 출력한 음성 정보를 비교하여(1019단계), 입력된 음성 정보가 인증된 음성 정보에 해당하는지 판단할 수 있다(1021단계). 예를 들어, 제어부(270)는 입력된 음성 정보가 타임스탬프를 포함하는지, 또는 입력된 음성 정보의 녹음 데이터와 출력된 음성 정보의 녹음 데이터가 일치되는지 등의 비교 분석을 통해 입력된 음성 정보에 대한 인증을 처리할 수 있다.
제어부(270)는 입력된 음성 정보가 서비스 연결을 위한 인증된 음성 정보가 아니면(1021단계의 NO), 에러 정보를 출력할 수 있다(1023단계). 예를 들어, 제어부(270)는 입력된 음성 정보가 서비스 연결을 위한 음성 정보가 아니면, 사용자에게 서비스를 연결할 수 없음을 알리는 등의 에러 정보를 출력할 수 있다.
제어부(270)는 입력된 음성 정보가 서비스 연결을 위한 인증된 음성 정보이면(1021단계의 YES), 입력된 음성 정보와 출력된 음성 정보를 참조하여 서비스 타입을 인식할 수 있다(1025단계). 예를 들어, 제어부(270)는 음성 정보들로부터 타임스탬프들 간의 시간차에 따른 동작 모드, 연결 대상의 디바이스, 그리고 연결하는 디바이스와 실행할 서비스 등을 판단할 수 있다.
제어부(270)는 음성 정보들에 따라 동작 모드를 결정하고(1027단계), 결정된 동작 모드에 따라 연결 대상의 디바이스와 설정된 통신 방식의 연결을 수행할 수 있다(1029단계). 예를 들어, 제어부(270)는 음성 정보들에 따라 마스터 모드 및 슬레이브 모드 중 어느 하나의 동작 모드를 결정하고, 결정된 동작 모드에서 연결 대상 디바이스에게 연결 요청을 전송하거나, 연결 대상 디바이스로부터 연결 요청을 수신하고 그에 따라 연결을 수행할 수 있다.
제어부(270)는 연결 대상 디바이스와 연결될 시, 결정된 동작 모드에서 연결된 디바이스와 서비스를 수행할 수 있다(1031단계). 예를 들어, 제어부(270)는 앞서 살펴본 바와 같이 마스터 모드에서 서비스를 수행하거나, 슬레이브 모드에서 서비스를 수행할 수 있다.
도 11은 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
상기 도 11에서는 앞서 살펴본 바와 같은 서버(300) 없이 사용자 디바이스들 간의 직접 연결을 지원하는 다른 동작 예시를 나타낸 것이다. 이때, 서비스 연결을 수행하고자 하는 사용자 디바이스들이 제1 디바이스 및 제2 디바이스이고, 제1 디바이스가 설정된 통신 방식(예컨대, WiFi Direct, Bluetooth)에 따라 제2 디바이스에게 기기 연결을 요청하는 디바이스이며, 제2 디바이스가 제1 디바이스로부터 기기 연결 요청을 수신하는 디바이스인 경우를 가정할 때, 상기 도 11에서는 제1 디바이스에서의 사용자 음성 기반의 서비스 연결을 처리하는 동작을 나타낸다.
상기 도 11을 참조하면, 제어부(270)는 음성 명령 버튼(150) 입력이 수신되면(1101단계), 마이크(243)를 통해 입력되는 사용자 음성을 녹음할 수 있다(1103단계). 이때, 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 시간 정보(타임스탬프)를 기록할 수 있다. 또한 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 마이크(243)의 상태를 확인하여, 만약 비활성화 상태일 시 마이크(243)를 턴-온 제어할 수 있다. 아울러, 제어부(270)는 표시부(230)를 통해 사용자의 음성 입력을 가이드 하는 가이드 화면 표시를 제어할 수도 있다.
제어부(270)는 음성 명령 버튼(150)의 입력 해제를 감지할 시 녹음된 사용자 음성에 대한 인식을 수행하고(1105단계), 음성 인식에 따른 결과를 분석할 수 있다(1107단계). 그리고 제어부(270)는 녹음된 사용자 음성 인식을 통해 사용자 음성이 서비스 연결을 위한 명령어에 해당하는지 판단할 수 있다(1109단계). 즉, 제어부(270)는 음성 인식을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판단할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되지 않으면(1109단계의 NO), 해당 동작 수행을 제어할 수 있다(1111단계). 예를 들어, 제어부(270)는 입력된 사용자의 음성 명령어에 대한 내부 데이터(또는 컨텐츠 등) 검색을 수행하거나, 마켓(또는 인터넷) 검색을 수행할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되면(1109단계의 YES), 인증키를 생성할 수 있다(1113단계). 예를 들어, 제어부(270)는 서비스 연결을 위한 개시 명령어에 따라 디바이스 연결을 결정하면, 상기 마이크(243)를 통해 입력되어 녹음된 사용자 음성의 녹음 데이터로부터 음성 파형을 추출하고, 음성 명령 버튼(150)이 입력된 시간 정보(타임스탬프)를 확인할 수 있다. 그리고 제어부(270)는 음성 파형과 시간 정보를 이용하여 인증키 값을 생성할 수 있다.
본 발명에서 상기 인증키 값은 녹음된 음성 파형 정보의 특징과 시간 정보(타임스탬프)를 활용하여 고유한 문자열로 생성될 수 있다. 일예로, 생성되는 인증키 값은 "2412582952572257239529"와 같은 난수 형태로 생성될 수 있으며, 이는 사용자 음성 파형과 그에 따른 난수가 매핑된 난수표 등으로부터 도출되어 구성될 수 있다. 그리고 상기 인증키 값은 음성 파형을 지시하는 부분과 시간 정보를 지시하는 부분으로 구분될 수 있다. 일예로, "2412582952572257239529"와 같은 문자열을 가진 인증키 값은 "24125829525722"와 같은 음성 파형 부분의 문자열과 "57239529"와 같이 시간 정보 부분의 문자열로 구분될 수 있다. 이때, 인증키 값, 음성 파형 부분 및 시간 정보 부분의 길이(length)는 미리 정의될 수 있다. 그리고 서비스를 연결하고자 하는 제1 디바이스 및 제2 디바이스에서 생성되는 인증키에서, 음성 파형 부분의 문자열은 서로 동일한 값으로 생성될 수 있으며, 시간 정보 부분의 문자열은 제1 디바이스 및 제2 디바이스의 타임스탬프에 따라 다르게 생성될 수 있다. 즉, 타임스탬프의 기록 시간에 따른 시간차에 따라 그 값이 달리 생성되어 인증키에 포함될 수 있다.
제어부(270)는 인증키가 생성될 시 상기 인증키를 디바이스들 간 연결 시 디바이스 식별을 위해 사용되는 기기 정보(예컨대, 디바이스 식별자)로 생성하여 적용할 수 있다. 이때, 제어부(270)는 1113단계에서 인증키를 생성할 시 서비스 연결을 위해 설정된 통신 방식 확인 및 확인된 통신 방식을 지원하기 위한 통신 모드(기능) 활성화 제어할 수 있다. 예를 들어, 제어부(270)는 무선 랜 모듈(213) 또는 근거리 통신 모듈(215)(예컨대, 블루투스 모듈)을 턴-온하여 해당 통신 모드(기능)을 활성화 제어할 수 있다. 그리고 제어부(270)는 활성화된 통신 모드(기능)에서 사용할 디바이스 식별자를 상기 인증키 기반의 기기 정보로 변경 설정할 수 있다.
제어부(270)는 인증키 기반의 기기 정보 설정 후 상기 통신 방식에 따른 주변 디바이스 검색을 제어할 수 있다(1117단계). 예를 들어, 제어부(270)는 무선 랜 모듈(213)을 이용한 WiFi Direct 연결을 위한 주변 디바이스 검색 또는 근거리 통신 모듈(215)(예컨대, 블루투스 모듈)을 이용한 근거리 통신(예컨대, 블루투스 통신) 연결을 위한 주변 디바이스 검색 등을 수행할 수 있다.
제어부(270)는 앞서와 같은 주변 디바이스 검색에 따라 검색된 디바이스 중에서 서비스 연결을 위한 연결 대상 디바이스를 결정할 수 있다(1119단계). 특히, 제어부(270)는 검색된 연결 가능한 디바이스들 중 상기에서 생성된 인증키에 대응되는 기기 정보를 가지는 디바이스를 검출하고 검출된 디바이스를 연결 대상 디바이스로 결정할 수 있다. 이때, 제어부(270)는 인증키 중 사용자 음성 파형 부분의 문자열과 일치되는 문자열의 기기 정보를 검색할 수 있다. 즉, 인증키 중 시간 정보 부분의 문자열은 각 디바이스에서 음성 명령 버튼(150)을 입력하는 시간에 따라 그 타임스탬프에 차이가 발생할 수 있으며, 따라서 시간 정보 부분은 일치되지 않을 수도 있으며, 이에 시간 파형 부분의 일치 여부를 판단할 수 있다.
제어부(270)는 연결 대상 디바이스를 결정할 시 상기 연결 대상 디바이스에게 기기 연결 요청을 전송할 수 있다(1121단계). 이때, 제어부(270)는 앞서 결정된 통신 방식에 따라 WiFi Direct 연결 또는 블루투스 연결 등과 같은 요청을 전송할 수 있다.
제어부(270)는 상기 연결 요청을 전송한 후 상기 연결 대상 디바이스로부터 상기 연결 요청에 대한 연결 승인이 수신될 시(1123단계), 상기 연결 대상의 디바이스와 상기 통신 방식의 기기 연결을 수행할 수 있다(1125단계).
제어부(270)는 연결 대상 디바이스와 연결될 시, 서비스를 수행할 수 있다(1127단계). 예를 들어, 제어부(270)는 연결 대상 디바이스와 연결된 후 사용자 요청에 따른 데이터를 연결 대상 디바이스로 전송하거나, 연결 대상 디바이스로부터 전송되는 데이터를 수신할 수 있다.
또는 앞서 살펴본 바와 같이 음성 인식을 통해 서비스 명령어가 검출될 시 서비스 명령어에 따른 서비스를 자동 수행할 수도 있다. 제어부(270)는 서비스 자동 수행 시 마스터 모드 또는 슬레이브 모드를 결정하고, 결정되는 마스터 모드 또는 슬레이브 모드에서 서비스를 수행할 수 있다. 이때, 제어부(270)의 마스터 모드 또는 슬레이브 모드 결정은 상기 인증키와 연결 대상 디바이스의 기기 정보에서 시간 정보 부분의 문자열을 비교하여 시간차를 확인하고, 확인된 시간차에 따라 마스터 모드 또는 슬레이브 모드를 결정할 수 있다.
도 12는 본 발명의 실시 예에 따른 사용자 디바이스에서 사용자 음성 기반의 서비스 연결을 처리하는 과정을 도시한 흐름도이다.
상기 도 12에서는 앞서 살펴본 바와 같은 서버(300) 없이 사용자 디바이스들 간의 직접 연결을 지원하는 다른 동작 예시를 나타낸 것이다. 이때, 서비스 연결을 수행하고자 하는 사용자 디바이스들이 제1 디바이스 및 제2 디바이스이고, 제1 디바이스가 설정된 통신 방식(예컨대, WiFi Direct, Bluetooth)에 따라 제2 디바이스에게 기기 연결을 요청하는 디바이스이고, 제2 디바이스가 제1 디바이스로부터 기기 연결 요청을 수신하는 디바이스인 것을 가정할 때, 상기 도 12에서는 제2 디바이스에서의 사용자 음성 기반의 서비스 연결을 처리하는 동작을 나타낸다.
상기 도 12를 참조하면, 제어부(270)는 음성 명령 버튼(150) 입력이 수신되면(1201단계), 마이크(243)를 통해 입력되는 사용자 음성을 녹음할 수 있다(1203단계). 이때, 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 시간 정보(타임스탬프)를 기록할 수 있다. 또한 제어부(270)는 음성 명령 버튼(150) 입력을 검출할 시 앞서 살펴본 바와 같이 마이크(243)의 턴-온 제어 및 음성 입력 가이드를 위한 화면 표시 등을 제어할 수도 있다.
제어부(270)는 음성 명령 버튼(150)의 입력 해제를 감지할 시 녹음된 사용자 음성에 대한 인식을 수행하고(1205단계), 음성 인식에 따른 결과를 분석할 수 있다(1207단계). 그리고 제어부(270)는 녹음된 사용자 음성 인식을 통해 사용자 음성이 서비스 연결을 위한 명령어에 해당하는지 판단할 수 있다(1208단계). 즉, 제어부(270)는 음성 인식을 통해 디바이스들 간 서비스 연결을 위한 개시 명령어(예컨대, "기기 연결")가 검출되는지 판단할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되지 않으면(1208단계의 NO), 해당 동작 수행을 제어할 수 있다(1209단계). 예를 들어, 제어부(270)는 입력된 사용자의 음성 명령어에 대한 내부 데이터(또는 컨텐츠 등) 검색을 수행하거나, 마켓(또는 인터넷) 검색을 수행할 수 있다.
제어부(270)는 서비스 연결을 위한 개시 명령어가 검출되면(1208단계의 YES), 인증키를 생성할 수 있다(1211단계). 예를 들어, 제어부(270)는 서비스 연결을 위한 개시 명령어에 따라 디바이스 연결을 결정하면, 상기 마이크(243)를 통해 입력되어 녹음된 사용자 음성의 녹음 데이터로부터 음성 파형을 추출하고, 음성 명령 버튼(150)이 입력된 시간 정보(타임스탬프)를 확인할 수 있다. 그리고 제어부(270)는 음성 파형과 시간 정보를 이용하여 인증키 값을 생성할 수 있다. 본 발명에서 상기 인증키 값은 앞서 살펴본 바와 같이 녹음된 음성 파형 정보의 특징과 시간 정보(타임스탬프)를 활용하여 고유한 문자열로 생성될 수 있다.
제어부(270)는 인증키가 생성될 시 상기 인증키를 디바이스들 간 연결 시 디바이스 식별을 위해 사용되는 기기 정보(예컨대, 디바이스 식별자)로 생성하여 적용할 수 있다. 이때, 제어부(270)는 1211단계에서 인증키를 생성할 시 서비스 연결을 위해 설정된 통신 방식 확인 및 확인된 통신 방식을 지원하기 위한 통신 모드(기능) 활성화를 제어할 수 있다. 그리고 제어부(270)는 활성화된 통신 모드(기능)에서 사용할 디바이스 식별자를 상기 인증키 기반의 기기 정보로 변경 설정할 수 있다.
제어부(270)는 인증키 기반의 기기 정보가 설정된 상태에서 외부의 다른 디바이스로부터 서비스 연결을 위한 연결 요청을 수신할 수 있다(1215단계). 이때, 제어부(270)는 상기 인증키 기반의 기기 정보 설정 후 앞서 도 11에서 살펴본 바와 같은 1117단계 내지 1121단계를 수행할 수도 있다. 다만, 상기 도 12에서는 외부의 다른 디바이스에게 연결 요청을 전송하기 전에 외부의 다른 디바이스로부터 연결 요청이 수신된 경우를 나타내며, 이러한 경우 제어부(270)는 연결 요청 절차를 생략할 수 있다.
제어부(270)는 외부의 다른 디바이스로부터 연결 요청이 수신될 시 상기 생성한 인증키와 연결을 요청한 다른 디바이스의 기기 정보를 비교하고(1217단계), 인증키와 기기 정보가 일치하는지 판단할 수 있다(1219단계). 특히, 제어부(270)는 상기 인증키와 기기 정보에서 사용자 음성 파형 부분의 문자열을 비교하여 그들의 일치 여부를 판별할 수 있다. 즉, 인증키 중 시간 정보 부분의 문자열은 각 디바이스에서 음성 명령 버튼(150)을 입력하는 시간에 따라 그 타임스탬프에 차이가 발생할 수 있으며, 따라서 시간 정보 부분은 일치되지 않을 수도 있으며, 이에 시간 파형 부분의 일치 여부를 판단할 수 있다.
제어부(270)는 인증키와 기기 정보가 일치하지 않으면(1219단계의 NO) 해당 동작 수행을 제어할 수 있다(1221단계). 예를 들어, 제어부(270)는 다른 디바이스로부터의 연결 요청을 무시하고, 인증된 디바이스의 연결 요청을 설정 시간동안 대기할 수 있다. 또는 제어부(270)는 앞서 도 111에서 살펴본 바와 같은 1117단계 내지 1127단계를 수행하여 서비스 연결을 요청하는 주체로서 동작할 수도 있다.
제어부(270)는 인증키와 기기 정보가 일치하면(1219단계의 YES) 연결 요청을 전송한 상기 다른 디바이스에게 연결 승인을 전송할 수 있다(1223단계). 예를 들어, 제어부(270)는 연결 요청을 전송한 상기 다른 디바이스를 연결 대상 디바이스로 결정할 수 있다. 그리고 제어부(270)는 연결 대상 디바이스의 연결 요청에 대한 응답으로 연결 승인을 연결 대상 디바이스에게 전송할 수 있다.
제어부(270)는 상기 연결 승인을 전송한 후 상기 연결 대상 디바이스와 상기 통신 방식의 기기 연결을 수행할 수 있다(1225단계).
제어부(270)는 연결 대상 디바이스와 연결될 시 서비스를 수행할 수 있다(1227단계). 예를 들어, 제어부(270)는 연결 대상 디바이스와 연결된 후 사용자 요청에 따른 데이터를 연결 대상 디바이스로 전송하거나, 연결 대상 디바이스로부터 전송되는 데이터를 수신할 수 있다. 또는 앞서 살펴본 바와 같이 음성 인식을 통해 서비스 명령어가 검출될 시 서비스 명령어에 따른 서비스를 자동 수행할 수도 있다. 이때, 제어부(270)는 앞서 살펴본 바와 같이 인증키와 연결 대상 디바이스의 기기 정보를 참조하여 마스터 모드 또는 슬레이브 모드를 결정하고, 결정된 동작 모드에서 서비스 자동 수행을 처리할 수 있다.
한편, 이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면 "기기 연결"과 같은 서비스 연결을 개시하는 개시 명령어를 제공한다. 이는 음성 인식 모드에서 입력된 음성이 기기 연결을 위한 것인지 또는 디바이스 내부 데이터/컨텐츠 등의 검색을 위한 일반적인 음성 입력인지 구분하기 위한 것이다. 아울러, 본 발명의 실시 예에서는 서비스 연결을 개시하는 개시 명령어에 실행할 서비스에 대한 서비스 명령어를 조합하여 제공할 수 있다. 즉, "기기 연결 파일 전송" 등과 같이 기기 연결을 위한 개시 명령어("기기 연결")와 연결된 디바이스들 간 서비스 실행을 위한 서비스 명령어("파일 전송")를 함께 조합하여 입력(말)할 수 있다. 서비스 명령어는 개시 명령어 뒤에 입력되거나, 또는 앞에 먼저 입력(예컨대, "파일 전송 기기 연결")될 수도 있다.
한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 제1 사용자 디바이스 200: 제2 사용자 디바이스
150: 음성 명령 버튼 300: 서버
210: 무선 통신부 220: 사용자 입력부
230: 표시부 240: 오디오 처리부
250: 저장부 260: 인터페이스부
270: 제어부 280: 전원 공급부
310: 커널 330: 음성 인식 프레임워크
350: 쉐어링 서비스 어플리케이션

Claims (28)

  1. 디바이스들 간 서비스 연결 방법에 있어서,
    음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하는 과정;
    음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 서버로 전송하는 과정;
    상기 서버로부터 상기 제1 정보에 대응하는 제2 정보를 수신하는 과정;
    상기 제2 정보를 기반으로 서비스 타입을 인식하는 과정;
    상기 서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및
    연결된 디바이스와 서비스를 수행하는 과정을 포함하고,
    상기 제2 정보는 디바이스에 대한 동작 모드의 정보, 상기 연결 대상 디바이스의 디바이스 어드레스 정보, 및 상기 서비스의 실행 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  2. 제1항에 있어서, 상기 녹음하는 과정은
    상기 음성 명령 버튼 입력에 대응하는 타임스탬프를 기록하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  3. 제2항에 있어서, 상기 제1 정보는
    상기 사용자 음성에 따른 녹음 데이터, 상기 타임스탬프 및 상기 디바이스의 디바이스 어드레스를 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 인식하는 과정은
    상기 제2 정보로부터 동작 모드, 연결 대상 디바이스 및 실행 서비스 종류를 판단하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  7. 제6항에 있어서, 상기 연결하는 과정은
    상기 동작 모드에 따라 마스터 모드 또는 슬레이브 모드를 결정하는 과정;
    결정된 동작 모드에서 미리 설정된 통신 방식으로 상기 연결 대상 디바이스와 연결하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  8. 제7항에 있어서, 상기 수행하는 과정은
    상기 마스터 모드로 동작하는 디바이스와 상기 슬레이브 모드로 동작하는 디바이스가 상기 실행 서비스 종류에 따라 데이터를 송수신 하거나, 특정 기능 수행을 위해 동작하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  9. 제1항에 있어서, 상기 서버는
    동일한 시간대에 동일한 녹음 데이터를 전송한 적어도 2개의 디바이스들을 검색하고, 검색된 디바이스들을 서로 간에 서비스 연결을 위한 일군의 디바이스들로 결정하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  10. 제9항에 있어서, 상기 서버는
    디바이스들로부터 상기 제1 정보를 수신하는 과정;
    상기 제1 정보의 녹음 데이터 및 타임스탬프에 대응되는 제3 정보를 가지는 적어도 하나의 디바이스를 비교 검색하는 과정;
    상기 제1 정보의 타임스탬프와 상기 제3 정보의 타임스탬프를 확인하여 각 디바이스별 동작 모드를 결정하는 과정;
    각 디바이스들에 대응하는 동작 모드, 연결 대상의 디바이스 어드레스 및 실행 서비스에 대한 상기 제2 정보를 생성하여 각 디바이스들에게 전송하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  11. 제1항에 있어서, 상기 전송하는 과정은
    상기 제1 정보를 사운드에 실어 스피커를 통해 출력하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  12. 제11항에 있어서, 상기 수신하는 과정은
    인접된 디바이스에서 출력되는 상기 제2 정보를 마이크를 통해 수신하는 과정을 포함하고,
    상기 제2 정보는 상기 인접된 디바이스의 녹음 데이터, 타임스탬프 및 상기 인접된 디바이스의 디바이스 어드레스를 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  13. 제12항에 있어서, 상기 인식하는 과정은
    상기 제1 정보 및 상기 제2 정보로부터 동작 모드, 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 판단하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  14. 제13항에 있어서, 상기 동작 모드는
    상기 제1 정보의 타임스탬프와 상기 제2 정보의 타임스탬프의 시간차에 따라 마스터 모드 및 슬레이브 모드 중 어느 하나의 동작 모드를 결정하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  15. 제14항에 있어서, 상기 연결하는 과정은
    상기 결정된 동작 모드에서 미리 설정된 통신 방식으로 상기 연결 대상 디바이스의 디바이스 어드레스를 참조하여 연결하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  16. 제15항에 있어서, 상기 수행하는 과정은
    상기 마스터 모드로 동작하는 디바이스와 상기 슬레이브 모드로 동작하는 디바이스가 상기 실행 서비스 종류에 따라 데이터를 송수신 하거나, 특정 기능 수행을 위해 동작하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  17. 제2항에 있어서,
    상기 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 상기 제1 정보를 생성하는 과정;
    상기 제1 정보를 이용하여 디바이스의 기기 정보를 변경 설정하는 과정;
    상기 제1 정보에 대응하는 디바이스 기기 정보를 가지는 연결 대상 디바이스를 검색하여 연결하는 과정을 더 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  18. 제17항에 있어서, 상기 제1 정보는
    상기 녹음된 데이터의 음성 파형 및 상기 타임스탬프를 이용하여 생성되는 고유한 문자열을 가지는 인증키인 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  19. 제18항에 있어서, 상기 기기 정보는
    상기 인증키의 문자열을 이용하여 변경 설정되는 디바이스 식별자인 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  20. 제19항에 있어서, 상기 연결하는 과정은
    미리 설정된 통신 방식으로 주변 디바이스를 검색하는 과정;
    검색된 주변 디바이스 중 상기 인증키와 일치되는 기기 정보를 가진 디바이스를 상기 연결 대상 디바이스로 결정하는 과정; 및
    상기 연결 대상 디바이스에게 연결 요청을 전송하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  21. 제20항에 있어서, 상기 연결하는 과정은
    상기 연결 대상 디바이스가 상기 연결 요청을 수신할 시 자신이 생성한 인증키와 상기 연결 요청을 전송한 디바이스의 기기 정보를 비교하는 과정;
    상기 인증키와 상기 디바이스의 기기 정보가 일치할 시 상기 디바이스에게 연결 승인을 전송하는 과정을 포함하는 것을 특징으로 하는 디바이스들 간 서비스 연결 방법.
  22. 음성을 이용한 서비스 연결 방법에 있어서,
    음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정;
    사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정;
    상기 음성 명령 버튼이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 음성 정보를 생성하는 과정;
    생성된 음성 정보를 서버로 전송하는 과정;
    상기 서버로부터 서비스 정보를 수신하는 과정;
    상기 수신한 서비스 정보를 기반으로 서비스 타입을 인식하는 과정;
    상기 서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및
    상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 실행 서비스 종류에 따른 서비스를 수행하는 과정을 포함하고,
    상기 서비스 정보는 디바이스에 대한 동작 모드의 정보, 상기 연결 대상 디바이스의 디바이스 어드레스 정보, 및 상기 서비스의 실행 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 음성을 이용한 디바이스들 간 서비스 연결 방법.
  23. 음성을 이용한 서비스 연결 방법에 있어서,
    제1 디바이스가 음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정;
    사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정;
    상기 음성 명령 버튼이 해제될 시 상기 타임스탬프, 상기 녹음 데이터 및 디바이스의 디바이스 어드레스를 포함하는 제1 음성 정보를 생성하는 과정;
    생성된 음성 정보를 사운드에 실어 스피커를 통해 출력하는 과정;
    제2 디바이스의 스피커를 통해 출력되는 제2 음성 정보를 마이크를 통해 입력받는 과정;
    상기 제1 음성 정보와 상기 제2 음성 정보에 기반하여 연결 대상 디바이스의 디바이스 어드레스 및 실행 서비스 종류를 확인하고 상기 디바이스 및 상기 연결 대상 디바이스의 동작 모드를 결정하는 과정;
    상기 동작 모드에 따라 연결 대상 디바이스와 연결하는 과정; 및
    상기 연결 대상 디바이스와 연결될 시 상기 동작 모드에 대응하여 상기 실행 서비스 종류에 따른 서비스를 수행하는 과정을 포함하는 것을 특징으로 하는 음성을 이용한 디바이스들 간 서비스 연결 방법.
  24. 음성을 이용한 서비스 연결 방법에 있어서,
    음성 명령 버튼이 입력될 시 타임스탬프를 기록하고 사용자 음성 입력 수신을 대기하는 과정;
    사용자로부터 입력되는 음성을 녹음하여 녹음 데이터를 생성하는 과정;
    상기 음성 명령 버튼이 해제될 시 상기 녹음 데이터의 음성 파형 및 상기 타임스탬프를 이용하여 고유한 문자열을 가진 인증키를 생성하는 과정;
    상기 인증키를 이용하여 디바이스 식별을 위한 기기 정보를 변경 설정하는 과정;
    설정된 통신 모드에서 상기 인증키에 대응하는 기기 정보를 가진 연결 대상 디바이스를 검색하는 과정;
    상기 인증키의 시간 정보 부분의 문자열과 상기 기기 정보에서 시간 정보 부분의 문자열을 비교하여 디바이스의 동작 모드를 결정하는 과정;
    상기 연결 대상 디바이스와 연결 요청 및 연결 승인 송수신을 통해 상기 결정된 동작 모드에서 상기 연결 대상 디바이스와 연결하는 과정; 및
    상기 연결 대상 디바이스와 연결될 시 서비스를 수행하는 과정을 포함하는 것을 특징으로 하는 음성을 이용한 디바이스들 간 서비스 연결 방법.
  25. 제24항에 있어서, 상기 검색하는 과정은
    상기 설정된 통신 모드에서 주변 디바이스들을 검색하는 과정; 및
    상기 주변 디바이스들 중 상기 인증키의 음성 파형 부분의 문자열과 일치되는 기기 정보를 가지는 디바이스를 상기 연결 대상 디바이스로 결정하는 과정을 포함하는 것을 특징으로 하는 음성을 이용한 디바이스들 간 서비스 연결 방법.
  26. 삭제
  27. 적어도 하나의 프로그램이 저장되는 저장부; 및
    상기 적어도 하나의 프로그램을 실행하여 음성을 이용한 디바이스들 서비스 연결을 지원하도록 제어하는 제어부를 포함하고,
    상기 적어도 하나의 프로그램은,
    음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하는 과정;
    음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 서버로 전송하는 과정;
    상기 서버로부터 상기 제1 정보에 대응하는 제2 정보를 수신하는 과정;
    상기 제2 정보를 기반으로 서비스 타입을 인식하는 과정;
    서비스 타입에 따른 동작 모드에서 연결 대상 디바이스와 연결하는 과정; 및
    연결된 디바이스와 서비스를 수행하는 과정을 실행하는 명령어들을 포함하고,
    상기 제2 정보는 상기 디바이스에 대한 동작 모드의 정보, 상기 연결 대상 디바이스의 디바이스 어드레스 정보, 및 상기 서비스의 실행 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디바이스.
  28. 음성 명령 버튼이 입력된 상태에서 입력되는 사용자 음성을 녹음하고, 음성 명령 버튼의 입력이 해제될 시 녹음된 데이터 기반의 제1 정보를 생성하여 서버로 전송하고, 상기 서버로부터 상기 제1 정보에 대응하는 제2 정보를 수신할 시 상기 제2 정보를 기반으로 서비스 타입을 인식하고, 인식한 서비스 타입 따라 동작 모드 결정 및 결정된 동작 모드에서 연결 대상 디바이스와의 서비스 연결을 수행하는 프로그램을 기록하고,
    상기 제2 정보는 디바이스에 대한 동작 모드의 정보, 상기 연결 대상 디바이스의 디바이스 어드레스 정보, 및 상기 서비스의 실행 정보 중 적어도 하나를 포함한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120072290A 2012-07-03 2012-07-03 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치 KR101972955B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020120072290A KR101972955B1 (ko) 2012-07-03 2012-07-03 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
EP19152424.8A EP3493513A1 (en) 2012-07-03 2013-07-03 Method and apparatus for connecting service between user devices using voice
PCT/KR2013/005908 WO2014007545A1 (en) 2012-07-03 2013-07-03 Method and apparatus for connecting service between user devices using voice
US13/934,839 US9805733B2 (en) 2012-07-03 2013-07-03 Method and apparatus for connecting service between user devices using voice
EP13174992.1A EP2683147B1 (en) 2012-07-03 2013-07-03 Method and apparatus for pairing user devices using voice
CN201380045946.3A CN104604274B (zh) 2012-07-03 2013-07-03 利用语音在用户设备之间连接服务的方法和装置
US15/797,910 US10475464B2 (en) 2012-07-03 2017-10-30 Method and apparatus for connecting service between user devices using voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120072290A KR101972955B1 (ko) 2012-07-03 2012-07-03 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140005410A KR20140005410A (ko) 2014-01-15
KR101972955B1 true KR101972955B1 (ko) 2019-04-26

Family

ID=48917334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120072290A KR101972955B1 (ko) 2012-07-03 2012-07-03 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치

Country Status (5)

Country Link
US (2) US9805733B2 (ko)
EP (2) EP3493513A1 (ko)
KR (1) KR101972955B1 (ko)
CN (1) CN104604274B (ko)
WO (1) WO2014007545A1 (ko)

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR101972955B1 (ko) * 2012-07-03 2019-04-26 삼성전자 주식회사 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
US8996059B2 (en) * 2012-07-19 2015-03-31 Kirusa, Inc. Adaptive communication mode for recording a media message
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9349365B2 (en) * 2013-03-14 2016-05-24 Accenture Global Services Limited Voice based automation testing for hands free module
US9772919B2 (en) 2013-03-14 2017-09-26 Accenture Global Services Limited Automation of D-bus communication testing for bluetooth profiles
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10251382B2 (en) 2013-08-21 2019-04-09 Navico Holding As Wearable device for fishing
US9507562B2 (en) * 2013-08-21 2016-11-29 Navico Holding As Using voice recognition for recording events
JP6305023B2 (ja) * 2013-11-13 2018-04-04 キヤノン株式会社 通信装置、通信装置の制御方法、およびプログラム
US9972324B2 (en) * 2014-01-10 2018-05-15 Verizon Patent And Licensing Inc. Personal assistant application
TW201530423A (zh) * 2014-01-22 2015-08-01 Kung-Lan Wang 觸控方法及觸控系統
JP6436400B2 (ja) 2014-03-28 2018-12-12 パナソニックＩｐマネジメント株式会社 音声コマンド入力装置および音声コマンド入力方法
TWI601018B (zh) * 2014-04-10 2017-10-01 拓邁科技股份有限公司 電子裝置間之資料提供方法及系統，及相關電腦程式產品
US9807343B2 (en) 2014-05-08 2017-10-31 Samsung Electronics Co., Ltd Apparatus and method for changing mode of device
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102262853B1 (ko) * 2014-09-01 2021-06-10 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
GB2545151A (en) * 2015-03-17 2017-06-14 Yummi Group Singapore Pte Ltd A method and system of creating a network to facilitate a multiplayer game
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9936010B1 (en) 2015-05-19 2018-04-03 Orion Labs Device to device grouping of personal communication nodes
US9940094B1 (en) * 2015-05-19 2018-04-10 Orion Labs Dynamic muting audio transducer control for wearable personal communication nodes
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2016195545A1 (en) * 2015-05-29 2016-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Authenticating data recording devices
US9801219B2 (en) * 2015-06-15 2017-10-24 Microsoft Technology Licensing, Llc Pairing of nearby devices using a synchronized cue signal
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9836129B2 (en) 2015-08-06 2017-12-05 Navico Holding As Using motion sensing for controlling a display
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) * 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
KR102356969B1 (ko) * 2015-09-24 2022-01-28 삼성전자주식회사 통신 수행 방법 및 이를 지원하는 전자장치
KR102393286B1 (ko) * 2015-09-25 2022-05-02 삼성전자주식회사 전자 장치 및 그 연결 방법
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10348907B1 (en) * 2016-05-12 2019-07-09 Antony P. Ng Collaborative data processing
US10228906B2 (en) * 2016-05-30 2019-03-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
EP3475942B1 (en) * 2016-06-27 2023-01-11 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
US10271093B1 (en) * 2016-06-27 2019-04-23 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
US10491598B2 (en) * 2016-06-30 2019-11-26 Amazon Technologies, Inc. Multi-factor authentication to access services
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10948577B2 (en) 2016-08-25 2021-03-16 Navico Holding As Systems and associated methods for generating a fish activity report based on aggregated marine data
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN106488281A (zh) * 2016-10-26 2017-03-08 Tcl集团股份有限公司 一种电视音频的播放方法及控制系统、电视、通信系统
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR20180082043A (ko) 2017-01-09 2018-07-18 삼성전자주식회사 전자 장치 및 그의 음성을 이용한 통신 연결 방법
CN107086037A (zh) * 2017-03-17 2017-08-22 上海庆科信息技术有限公司 一种嵌入式设备的语音交互方法、装置及嵌入式设备
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR102275564B1 (ko) * 2017-04-14 2021-07-12 삼성전자주식회사 전자 장치 및 전자 장치에서 인증 정보 전송 및 수신 방법
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
WO2019038573A1 (en) * 2017-08-25 2019-02-28 Leong David Tuk Wai APPARATUS FOR RECOGNIZING SOUNDS
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
KR102443079B1 (ko) 2017-12-06 2022-09-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10152970B1 (en) * 2018-02-08 2018-12-11 Capital One Services, Llc Adversarial learning and generation of dialogue responses
US11183182B2 (en) * 2018-03-07 2021-11-23 Google Llc Systems and methods for voice-based initiation of custom device actions
CN117877477A (zh) * 2018-03-07 2024-04-12 谷歌有限责任公司 用于基于语音发起定制装置动作的系统和方法
US10755694B2 (en) 2018-03-15 2020-08-25 Motorola Mobility Llc Electronic device with voice-synthesis and acoustic watermark capabilities
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
JP7313807B2 (ja) * 2018-08-24 2023-07-25 キヤノン株式会社 通信装置、その制御方法、およびそのプログラム
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) * 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10978051B2 (en) * 2018-09-28 2021-04-13 Capital One Services, Llc Adversarial learning framework for persona-based dialogue modeling
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US20190074013A1 (en) * 2018-11-02 2019-03-07 Intel Corporation Method, device and system to facilitate communication between voice assistants
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
WO2020104042A1 (de) * 2018-11-23 2020-05-28 Unify Patente Gmbh & Co. Kg Computer-implementiertes verfahren zum miteinander assoziieren von zumindest zwei kommunikationsendgeräten und kommunikationsendgerät
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11622267B2 (en) * 2019-01-17 2023-04-04 Visa International Service Association Conducting secure transactions by detecting credential message with audio between first appliance and second appliance
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US10965335B1 (en) * 2019-09-27 2021-03-30 Apple Inc. Wireless device performance optimization using dynamic power control
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
CN111540350B (zh) * 2020-03-31 2024-03-01 北京小米移动软件有限公司 一种智能语音控制设备的控制方法、装置及存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111787051B (zh) * 2020-05-15 2023-06-27 厦门快商通科技股份有限公司 基于语音识别的文件传输方法、系统及移动终端
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN111933168B (zh) * 2020-08-17 2023-10-27 齐鲁工业大学 基于binder的软回路动态消回声方法及移动终端
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
KR20220054041A (ko) * 2020-10-23 2022-05-02 삼성전자주식회사 전자 장치 및 통화 녹음 방법
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11594219B2 (en) 2021-02-05 2023-02-28 The Toronto-Dominion Bank Method and system for completing an operation
US20220287110A1 (en) * 2021-03-05 2022-09-08 Samsung Electronics Co., Ltd. Electronic device and method for connecting device thereof
US11889569B2 (en) 2021-08-09 2024-01-30 International Business Machines Corporation Device pairing using wireless communication based on voice command context
WO2023150491A1 (en) * 2022-02-02 2023-08-10 Google Llc Speech recognition using word or phoneme time markers based on user input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282649A1 (en) * 2005-06-10 2006-12-14 Malamud Mark A Device pairing via voice commands
US20080016537A1 (en) * 2006-07-17 2008-01-17 Research In Motion Limited Management of multiple connections to a security token access device
US20100332236A1 (en) * 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-triggered operation of electronic devices

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7053752B2 (en) * 1996-08-06 2006-05-30 Intuitive Surgical General purpose distributed operating room control system
IL128720A (en) * 1999-02-25 2009-06-15 Cidway Technologies Ltd Method for confirming actions performed over the phone
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
US20010039619A1 (en) * 2000-02-03 2001-11-08 Martine Lapere Speaker verification interface for secure transactions
FR2812998B1 (fr) * 2000-08-09 2004-06-04 France Telecom Procede d'itentification d'un appelant aupres d'un service telephonique
CN1173498C (zh) * 2000-10-13 2004-10-27 国际商业机器公司 语音允许的蓝牙设备管理和访问装置及有关控制方法
US7171365B2 (en) * 2001-02-16 2007-01-30 International Business Machines Corporation Tracking time using portable recorders and speech recognition
EP1271346A1 (en) * 2001-06-28 2003-01-02 Nokia Corporation Method for searching data in at least two databases
US7103551B2 (en) * 2002-05-02 2006-09-05 International Business Machines Corporation Computer network including a computer system transmitting screen image information and corresponding speech information to another computer system
US20030236980A1 (en) * 2002-06-20 2003-12-25 Hsu Raymond T. Authentication in a communication system
US7260529B1 (en) * 2002-06-25 2007-08-21 Lengen Nicholas D Command insertion system and method for voice recognition applications
US7107010B2 (en) * 2003-04-16 2006-09-12 Nokia Corporation Short-range radio terminal adapted for data streaming and real time services
US7684754B2 (en) * 2003-06-03 2010-03-23 Microsoft Corporation Capacitive bonding of devices
US20050010417A1 (en) * 2003-07-11 2005-01-13 Holmes David W. Simplified wireless device pairing
JP4783150B2 (ja) * 2003-12-09 2011-09-28 パナソニック株式会社 認証システム、認証装置及び記録媒体
US7801283B2 (en) * 2003-12-22 2010-09-21 Lear Corporation Method of operating vehicular, hands-free telephone system
KR20050081470A (ko) * 2004-02-13 2005-08-19 주식회사 엑스텔테크놀러지 음성인식 가능한 메시지 녹음/재생방법
KR100679312B1 (ko) * 2005-01-03 2007-02-05 주식회사 케이티프리텔 음성 녹음을 이용한 상대방 정보 표시 서비스 제공 방법및 장치
US8141142B2 (en) * 2005-02-14 2012-03-20 International Business Machines Corporation Secure authentication of service users of a remote service interface to a storage media
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US8386259B2 (en) 2006-12-28 2013-02-26 Intel Corporation Voice interface to NFC applications
CN101030994A (zh) * 2007-04-11 2007-09-05 华为技术有限公司 语音识别方法、系统、语音识别服务器
US20120233644A1 (en) * 2007-06-05 2012-09-13 Bindu Rama Rao Mobile device capable of substantially synchronized sharing of streaming media with other devices
WO2009014438A1 (en) * 2007-07-20 2009-01-29 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Identification of proximate mobile devices
EP2073515A1 (en) * 2007-12-21 2009-06-24 Koninklijke KPN N.V. Identification of proximate mobile devices
KR20090044093A (ko) * 2007-10-31 2009-05-07 에스케이 텔레콤주식회사 디바이스 협업 방법 및 시스템
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8219028B1 (en) * 2008-03-31 2012-07-10 Google Inc. Passing information between mobile devices
US8781115B2 (en) * 2008-04-01 2014-07-15 Disney Enterprises, Inc. Method and system for pairing a medium to a user account
CN101599270A (zh) 2008-06-02 2009-12-09 海尔集团公司 语音服务器及语音控制的方法
US20090310762A1 (en) * 2008-06-14 2009-12-17 George Alfred Velius System and method for instant voice-activated communications using advanced telephones and data networks
US8463182B2 (en) * 2009-12-24 2013-06-11 Sony Computer Entertainment Inc. Wireless device pairing and grouping methods
US8750473B2 (en) * 2008-09-03 2014-06-10 Smule, Inc. System and method for communication between mobile devices using digital/acoustic techniques
RU2398356C2 (ru) * 2008-10-31 2010-08-27 Cамсунг Электроникс Ко., Лтд Способ установления беспроводной линии связи и система для установления беспроводной связи
KR101567603B1 (ko) * 2009-05-07 2015-11-20 엘지전자 주식회사 멀티 음성 시스템의 동작 제어 장치 및 방법
US20100330909A1 (en) * 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-enabled walk-through pairing of telecommunications devices
US8416767B2 (en) * 2009-07-06 2013-04-09 T-Mobile Usa, Inc. Communication mode swapping for telecommunications devices
EP2278780A1 (en) * 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
US8654952B2 (en) * 2009-08-20 2014-02-18 T-Mobile Usa, Inc. Shareable applications on telecommunications devices
US8294683B2 (en) * 2009-09-25 2012-10-23 Mitac International Corp. Method of processing touch commands and voice commands in parallel in an electronic device supporting speech recognition
US8219146B2 (en) * 2009-11-06 2012-07-10 Sony Corporation Audio-only user interface mobile phone pairing
US20110217950A1 (en) * 2010-03-05 2011-09-08 Alan Kozlay Apparatus & method to improve pairing security in Bluetooth™ headsets & earbuds
US10104183B2 (en) * 2010-06-22 2018-10-16 Microsoft Technology Licensing, Llc Networked device authentication, pairing and resource sharing
US8443420B2 (en) * 2010-10-01 2013-05-14 At&T Intellectual Property I, L.P. System for communicating with a mobile device server
US9398451B2 (en) * 2011-03-01 2016-07-19 Koninklijke Philips N.V. Method for enabling a wireless secured communication among devices
US9261603B2 (en) * 2011-04-11 2016-02-16 Telenav, Inc. Navigation system with conditional based application sharing mechanism and method of operation thereof
US8683263B2 (en) * 2011-09-09 2014-03-25 Microsoft Corporation Cooperative client and server logging
US8538333B2 (en) * 2011-12-16 2013-09-17 Arbitron Inc. Media exposure linking utilizing bluetooth signal characteristics
CN103179634A (zh) * 2011-12-21 2013-06-26 株式会社Ntt都科摩 一种伙伴发现和选择方法、装置及系统
KR101972955B1 (ko) * 2012-07-03 2019-04-26 삼성전자 주식회사 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
US9082413B2 (en) * 2012-11-02 2015-07-14 International Business Machines Corporation Electronic transaction authentication based on sound proximity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282649A1 (en) * 2005-06-10 2006-12-14 Malamud Mark A Device pairing via voice commands
US20080016537A1 (en) * 2006-07-17 2008-01-17 Research In Motion Limited Management of multiple connections to a security token access device
US20100332236A1 (en) * 2009-06-25 2010-12-30 Blueant Wireless Pty Limited Voice-triggered operation of electronic devices

Also Published As

Publication number Publication date
EP2683147A1 (en) 2014-01-08
US10475464B2 (en) 2019-11-12
CN104604274A (zh) 2015-05-06
CN104604274B (zh) 2018-11-20
US9805733B2 (en) 2017-10-31
EP3493513A1 (en) 2019-06-05
US20180047406A1 (en) 2018-02-15
US20140012587A1 (en) 2014-01-09
WO2014007545A1 (en) 2014-01-09
EP2683147B1 (en) 2019-02-27
KR20140005410A (ko) 2014-01-15

Similar Documents

Publication Publication Date Title
KR101972955B1 (ko) 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
KR102091003B1 (ko) 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
US10939281B2 (en) Method of executing application and terminal using the method
JP5433782B2 (ja) 車両内において電子カレンダー・アプリケーションのハンズフリー操作を実行するシステム及び方法
EP3020040B1 (en) Method and apparatus for assigning keyword model to voice operated function
EP3142107A1 (en) Voice recognition apparatus and controlling method thereof
CN103617795A (zh) 一种车载语音识别控制方法及系统
KR101942797B1 (ko) 휴대단말들 간의 무선 랜 링크 형성 방법 및 시스템
KR102243027B1 (ko) 하이브리드 방식의 근거리 무선 데이터 통신을 위한 장치, 방법 및 시스템
US20160337279A1 (en) Information interaction method and terminal
KR102013329B1 (ko) 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치
JP2014049140A (ja) 使用者デバイスで入力文字を利用した知能型サービス提供方法及び装置
WO2017101260A1 (zh) 音频切换方法、装置以及存储介质
WO2022052776A1 (zh) 一种人机交互的方法、电子设备及系统
KR20200104846A (ko) 노래방 시스템 및 그의 제어 방법
EP4354270A1 (en) Service recommendation method and electronic device
KR102460491B1 (ko) 전자 장치 및 그의 제어 방법
KR102127909B1 (ko) 채팅 서비스 제공 시스템, 이를 위한 장치 및 방법
KR102092058B1 (ko) 인터페이스 제공 방법 및 장치
CN114268931A (zh) 一种IoT设备的管理方法及终端
CN110737765A (zh) 多轮对话的对话数据处理方法及相关装置
KR102220253B1 (ko) 메신저 서비스 시스템, 그 시스템에서의 상용구를 이용한 메신저 서비스 방법 및 장치
EP4284005A1 (en) Video dubbing method, related device, and computer readable storage medium
CN107623753B (zh) 信息处理方法和信息处理设备
KR20180022184A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant