KR102287182B1

KR102287182B1 - 음성 커맨드에 대한 스마트 블루투스 헤드셋

Info

Publication number: KR102287182B1
Application number: KR1020167023363A
Authority: KR
Inventors: 크리스토퍼 파킨슨; 다센 팬; 프레데릭 헤르만; 존 가쎌; 무쉐드 칸다커
Original assignee: 코핀 코포레이션
Priority date: 2014-02-03
Filing date: 2015-02-03
Publication date: 2021-08-05
Also published as: US9913302B2; CN105960794B; EP3090531B1; JP2017513411A; WO2015117138A1; US20150223272A1; TWI650034B; KR20160115951A; TW201543942A; JP6518696B2; US20180295656A1; EP3090531A1; CN105960794A

Abstract

사용자에 의해 착용되는 웨어러블 디바이스로부터 서빙 디바이스와 인터페이싱하는 방법은, 서빙 디바이스와 웨어러블 디바이스 간에 무손실 무선 데이터 링크를 설정하는 단계를 포함한다. 방법은 상기 웨어러블 디바이스에 의해, 상기 웨어러블 디바이스의 하나 이상의 마이크로폰들로부터 오디오 데이터를 수집하는 단계를 더 포함한다. 방법은 또한 상기 웨어러블 디바이스에 의해, 수집된 오디오 데이터를 상기 무손실 무선 데이터 링크를 통해 상기 서빙 디바이스에 전송하는 단계를 포함한다. 방법은 상기 서빙 디바이스에 의해, 상기 오디오 데이터와 연관되는 음성 인식 서비스들을 제공하는 단계를 더 포함한다.

Description

음성 커맨드에 대한 스마트 블루투스 헤드셋{SMART BLUETOOTH HEADSET FOR SPEECH COMMAND}

관련 출원

[0001] 본 출원은 2014년 2월 3일 출원된 미국 가출원 번호 제61/935,141호를 우선권으로 주장한다. 위의 출원의 전체 교시들은 인용에 의해 본원에 포함된다.

[0002] 휴대폰 또는 다른 서빙 디바이스와 페어링하도록 설계되는 블루투스 헤드셋은, 통상적으로 오디오가 휴대폰으로부터 헤드셋으로 어떻게 전달될지를 제어하기 위해 블루투스 HFP(Hands-Free Profile) 또는 블루투스 HSP(HeadSet Profile)를 이용한다. HFP 또는 HSP 프로파일은 휴대폰 상의 인입하는 오디오 데이터가 귀 근방 스피커를 통한 즉시 재생을 위해 헤드셋으로 직접 중계되도록 허용한다. 동시에, 하나 이상의 입 근방 마이크로폰으로부터 헤드셋에서 수집된 오디오는, 현재 오디오 전화 통화(telephone call)의 수집된 오디오를 포함하는 휴대폰으로 즉시 전달된다.

[0003] 블루투스 헤드셋들은 사용자에게 임의의 형태의 음성 인식을 제공할 수 있다. 이러한 음성 인식은 휴대폰의 특징들을 제어하고 단지 커맨드를 말함으로써 전화를 거는 능력을 사용자에게 제공하는데 이용될 수 있다. 그러나 지금까지의 모든 블루투스 헤드셋들은 블루투스 헤드셋 그 자체 상에서 음성 인식 서비스를 직접 실행하거나, 또는 클라우드-기반 인식 시스템들을 이용한다. 전자의 음성 인식 서비스의 단점은 헤드셋에서 복잡하고 값비싼 전자기기들을 요구하는 것이다. 후자 음성 인식 서비스의 단점은 클라우드에 대한 상시-접속 상태(always-on connection)의 요구이다.

[0004] 블루투스 디바이스들에서, 음성 인식 서비스들은 오디오 데이터 전송을 위해 HFP 또는 HSP를 활용하였다. HFP 또는 HSP에 대한 대역은, 일반적으로 적절한 음성 인식에 대해 너무 좁은 8kHz이다. 이 문제를 다루기 외해, 새로운 블루투스 HFP 표준(v1.6)인, 16kHz 샘플링 레이트를 갖는 WBS(Wide-Band-Speech)가 mSBC(modified subband coding)와 같은 압축 방법과 함께 최근에 이용되었다.

[0005] 보이스(voice) 송신을 위해 설계된 HFP 및 HSP 둘 다는 손실성이다. (예를 들어, 이들은 때때로 보이스 패킷들 또는 데이터를 손실함). HFP 및 HSP는 통상적으로, 무선 전화 통화의 지연을 제한하고 무선 대화를 지속하기 위해 손실된 보이스 패킷들을 전혀 재송신하지 않거나, 또는 손실된 보이스 패킷들을 기껏해야 한번 또는 두 번 재송신한다. 음성 데이터의 패킷 또는 그 비슷한 것을 손실하는 것은 디코딩된 음성 출력에서 거의 알아차릴 수 없다. 패킷 제거 은폐 알고리즘들은 추가로 음성 패킷들을 누락함으로써 야기되는 음성 저하를 감소시킨다. 휴대폰 대화에서 지연 또는 래그를 감소시키는 것이 보다 중요하여서, 손실성 링크는 음성 채널들에 대한 고 레이턴시 링크보다 보다 더 수락 가능하다.

[0006] 손실된 패킷이 휴대폰 통화에 주요한 영향을 미지치 않지만, 손실된 패킷은 음성 인식을 상당히 저하시킨다. 블루투스는 지금까지, 음성 인식 목적들을 위해 이용될 때 패킷 제거의 문제를 다루기 위한 표준 프로파일을 갖지 않았다. 보이스 채널의 손실성 프로토콜은 블루투스에서 또한 다루어져야 한다. 또한, HFP 및 HSP는 충분한 비-정적 노이즈들을 소거하지 않고 보이스 송신들을 왜곡할 수 있으며, 이는 음성 인식의 정확도를 저하시킬 수 있다.

[0007] 본 발명의 실시예에서, 표준 블루투스 헤드셋은 더 양호한 음성 인식을 제공하고 정보를 사용자에게 전달하도록 개선된다. 또한, 본 발명은 블루투스에서 데이터 패킷 손실 문제를 다룸으로써 보이스 인식을 실질적으로 개선한다.

[0008] 일부 실시예들에서, 블루투스 디바이스는 헤드셋 보단 오히려, 다른 타입의 웨어러블 디바이스일 수 있다. 이러한 웨어러블 디바이스들은 손목-착용 디바이스, 상완 또는 신체의 다른 부분 상에 장착되는 디바이스를 포함할 수 있다.

[0009] 일 양상에서, 본 발명은 사용자에 의해 착용되는 웨어러블 디바이스로부터 서빙 디바이스와 인터페이싱하는 방법일 수 있다. 이 방법은 서빙 디바이스와 웨어러블 디바이스 간에 무손실 무선 데이터 링크를 설정하고, 웨어러블 디바이스에 의해 웨어러블 디바이스의 하나 이상의 마이크로폰들로부터 오디오 데이터를 수집하는 단계를 포함할 수 있다. 방법은 또한 상기 웨어러블 디바이스에 의해, 수집된 오디오 데이터를 상기 무손실 무선 데이터 링크를 통해 상기 서빙 디바이스에 전송하는 단계를 포함할 수 있다.

[0010] 일 실시예에서, 웨어러블 디바이스는 헤드셋 디바이스이다. 다른 실시예에서, 웨어러블 디바이스는 손목 시계 디바이스이다.

[0011] 일 실시예는 상기 서빙 디바이스에 의해, 상기 오디오 데이터와 연관되는 음성 인식 서비스들을 제공하는 단계를 더 포함할 수 있다.

[0012] 실시예에서, 음성 인식 서비스는 광대역 음성 프로세싱 및 (iii) 저-왜곡 음성 압축을 포함한다.

[0013] 다른 실시예는 상기 웨어러블 디바이스에 의해, 상기 수집된 오디오 데이터의 음성 압축을 제공하는 단계를 더 포함한다.

[0014] 일 실시예에서, 서빙 디바이스는 휴대폰, 스마트폰, 태블릿 디바이스, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 네트워크 서버, 웨어러블 모바일 통신 디바이스, 웨어러블 모바일 컴퓨터 및 클라우드-기반 컴퓨팅 엔티티 중 하나 이상이다.

[0015] 다른 실시예는 상기 웨어러블 디바이스에 의해, 상기 수집된 오디오 데이터와 연관되는 노이즈 소거 서비스들(noise cancellation services)을 제공하는 단계를 더 포함한다. 다른 실시예는 상기 웨어러블 디바이스로부터 상기 서빙 디바이스로, 상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들을, 상기 서빙 디바이스에서 설정하기 위한 정보를 전송하는 단계를 더 포함한다.

[0016] 일 실시예에서, 상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들은 (i) 커스텀(custom) 와이파이 연결 및 커스텀 블루투스 프로파일, (ii) 드라이버 및 (iii) 압축/압축해제 코드 중 하나 이상을 포함한다.

[0017] 다른 실시예에서, 제1 프로토콜의 무손실 무선 데이터 링크는 커스텀 블루투스 프로파일로 동작하는 블루투스 링크이다.

[0018] 일 양상에서, 본 발명은 서빙 디바이스와 웨어러블 디바이스 간에 무손실 무선 데이터 링크를 설정하는 방법일 수 있다. 이 방법은 상기 웨어러블 디바이스에 의해, 상기 웨어러블 디바이스와 상기 서빙 디바이스 간에 제1 프로토콜의 무선 링크를 설정하는 단계를 포함할 수 있다. 이 방법은 웨어러블 디바이스에 의해 그리고 상기 제1 프로토콜의 무선 링크를 이용하여, 제2 프로토콜의 무손실 무선 링크를 설정하는 단계를 더 포함할 수 있다. 이 방법은, 웨어러블 디바이스에 의해, 상기 서빙 디바이스에서, 상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트 컴포넌트들을 설정하기 위한 정보를 상기 서빙 디바이스에 전달하는 단계를 더 포함할 수 있다.

[0019] 일 실시예에서, 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들은 커스텀 블루투스 프로파일, 드라이버 및 압축/압축해제 코드를 포함한다. 다른 실시예에서, 상기 제1 프로토콜의 무선 링크는 손실성 블루투스 링크이고, 상기 제2 프로토콜의 무선 링크는 무손실 블루투스 링크이다. 다른 실시예에서, 상기 무손실 블루투스 링크는 블루투스 SPP 프로파일에 기초한다. 다른 실시예에서, 무손실 무선 데이터 링크는 커스텀 블루투스 프로파일로 동작하는 블루투스 링크이다.

[0020] 다른 양상에서, 본 발명은, 적어도 하나의 마이크로폰, 적어도 하나의 스피커, 보이스 압축 엔진 및 무손실 무선 데이터 채널 상에서 보이스 패킷들을 송신하도록 구성된 드라이버를 포함하는 웨어러블 디바이스일 수 있다.

[0021] 일 실시예에서, 상기 무손실 무선 데이터 채널은 블루투스 SPP 프로파일에 기초한다. 다른 실시예에서, 상기 보이스 압축 엔진은, (i) Sub-Band-Coder, (ii) Speex, 및 (iii) ETSI 분산된 음성 인식 중 하나 이상을 포함한다.

[0022] 일 실시예는 노이즈 소거 엔진을 더 포함할 수 있다. 다른 실시예에서, 노이즈 소거 엔진은 2개 이상의 소스들로부터 오디오 신호를 수신하고, 주변 노이즈를 감소시키도록 선형 노이즈 소거 알고리즘들을 이용한다.

[0023] 일 실시예는 서빙 디바이스에서 무손실 링크의 구현을 용이하기 하기 위해 커스텀 블루투스 프로파일 및 드라이버를 상기 서빙 디바이스에 전달하도록 구성되는 코드 배포 모듈을 더 포함할 수 있다. 다른 실시예에서, 코드 배포 모듈은 상기 서빙 디바이스 상에서 상기 커스텀 블루투스 프로파일 및 드라이버를 설치하도록 상기 서빙 디바이스에 애플릿(applet)을 전달한다.

[0024] 상기는 유사한 참조 문자가 상이한 도면들에 걸쳐서 동일한 부분들을 지칭하는 첨부 도면에서 예시된 바와 같은 본 발명의 예시적인 실시예들의 다음의 보다 구체적 설명으로부터 자명하게 될 것이다. 도면들은 반드시 제 축척이 아니며, 대신 본 발명의 실시예들을 예시할 때 강조된다.
[0025] 도 1은 2개의 오디오 링크들을 이용하여 헤드셋을 휴대폰에 연결하는 예시적인 실시예를 예시하는 블록도이다.
[0026] 도 2는 본 발명에 따른 음성 인식을 위해 오디오 신호의 프로세싱 및 송신의 예시적인 실시예를 예시하는 블록도이다.
[0027] 도 3은 본 발명에 따른 음성 인식을 위해 오디오 신호의 프로세싱 및 송신의 다른 예시적인 실시예를 예시하는 블록도이다.

[0028] 본 발명의 예시적인 실시예들의 설명이 이어진다.

[0029] 아래에서 보다 상세히 설명되는 도 1은 본 발명의 예시적인 실시예이다. 이 실시예는 하나 이상의 무선 링크들에 의해 연결되는 2개의 주요 컴포넌트들 - 헤드셋(102) 및 서빙 디바이스(104)에 관한 것이다. 서빙 디바이스(104)는, 휴대폰, 스마트폰, 태블릿 디바이스, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 네트워크 서버, 웨어러블 모바일 통신 디바이스, 웨어러블 모바일 컴퓨터 또는 클라우드-기반 엔티티를 포함(그러나 이것으로 제한되지 않음)하는 핸즈-프리 헤드셋들에 대한 무선 링크를 구현할 수 있는 임의의 디바이스일 수 있다. 웨어러블 디바이스는 사용자의 손목, 상완, 다리, 허리 또는 목, 또는 통신 및/또는 컴퓨팅 디바이스를 지지하기에 적합한 임의의 다른 신체 부분 상에 착용되는 디바이스를 포함할 수 있다. 유사하게, 헤드셋(102) 컴포넌트는 헤드셋보단 오히려, 사용자의 손목, 상완, 다리, 허리 또는 목, 또는 무선 디바이스(예를 들어, 블루투스 또는 와이파이 디바이스)를 지지하기에 적합한 임의의 다른 신체 부분에 착용되는 디바이스일 수 있다.

[0030] 본 발명의 실시예들에서, 서빙 디바이스는 음성 인식 서비스를 직접 호스팅한다. 이러한 호스팅을 용이하게 하기 위해, 실시예들은 서빙 디바이스로부터 헤드셋으로의 새로운 보조 데이터 링크를 설정한다. 보조 데이터 링크는 무손실성이어야 한다. 보조 데이터 링크는 블루투스 데이터 링크일 수 있다. 보조 블루투스 데이터 링크는 입-근방 마이크로폰 입력(또는 HFP 링크가 활성인 경우, 마이크로폰 입력의 제2 카피)을, 음성 인식 서비스/음성 인식 프로세싱 소프트웨어를 실행중인 서빙 디바이스에 전송하는데 이용될 수 있다. 보조 블루투스 데이터 링크는 원래의 핸즈-프리 프로파일 링크를 보존하며 휴대폰의 기존의 펌웨어와의 진행중인 호환성(ongoing compatibility)을 보장한다. 이러한 접근법을 이용시에, 압축 방식들은 (예를 들어, 무손실 데이터 경로를 요구하는 압축/압축해제 방식들을 이용함으로써) 표준 핸즈-프리 프로파일들에 의해 지원되지 않는 방식들로 서빙 디바이스와 헤드셋 간의 오디오 데이터를 압축할 수 있다.

[0031] 이러한 시스템 셋업에 있어서, 사용자는 헤드셋에 커맨드를 말할 수 있다. 커맨드(예를 들어, 말해진 오디오)는 오디오가 음성 인식 시스템에 전달되는 보조 블루투스 데이터 링크를 통해 서빙 디바이스에 즉시 전달된다. 말해진 커맨드에 의존하여, 음성 인식기는 그 후 주어진 전화 번호로 새로운 통화를 개시하는 것과 같은 적절한 동작을 취할 수 있다.

[0032] 또한, 적소의 이러한 시스템을 통해, 단지 전화 통화들을 설정하기 위한 기능성이 더 이상 한정되지 않는다. "내가 오늘 늦을 것이라는 SMS 메시지를 존에게 전송해"와 같이 자연스러운 문장들이 다른 중요한 기능들을 작동시키도록 헤드셋 착용자에 의해 말해질 수 있다. 이 문장은 예를 들어, 무선 링크를 통해 네트워크 서버 상에서 또는 서빙 디바이스 상의 음성 인식 및 자연어/자연어 이해 엔진들에 의해 프로세싱될 때, 적절한 SMS 메시지를 생성하고 전송하는데 이용될 수 있다. 동일한 방식으로, 사용자는 전화의 상태를 질의하거나, 또는 헤드셋에 말하고 서빙 디바이스가 음성 인식을 수행하고 인식된 음성에 적절한 동작을 실행하게 함으로써 웹-기반 질의들을 수행할 수 있다.

[0033] 동시에, 마이크로폰 데이터를 수집하고, 서빙 디바이스에 전송하도록 보조 블루투스 데이터 링크를 이용하는 동안, 링크는 또한 귀-근방 스피커를 통한 재생을 위해 서빙 디바이스로부터 헤드셋에 역으로 오디오를 전송할 수 있다. 특히, 컴퓨터 생성 말해진 구문들, 이른바 TTS(Text-to-Speech)를 통해 헤드셋 착용자에 역으로 정보를 전달하는데 이용된다.

[0034] 예를 들어, 서빙 디바이스 상에서 실행중인 소프트웨어는 인입하는 SMS 텍스트 메시지를 검출할 수 있다. 통상적으로, 서빙 디바이스는 종소리로 사용자에게 경고하고 스크린 상에 인입하는 메시지를 디스플레이할 수 있다. 본 발명의 실시예에서, SMS 메시지는 서버 측 상에서 음성으로 변환(예를 들어, 텍스트 투 음성)되고, 판독의 음성 오디오는 재생을 위해 블루투스 링크 상에서 사용자에게 전송될 수 있다. 그 결과는 여기서 사용자가 서빙 디바이스를 보거나 동작시킬 필요 없이 사용자에게 인입하는메시지를 소리나게 판독하는 시스템이다.

[0035] 이 기술은 2-방향 질문 및 대답 시스템을 제공하기 위해 음성 인식 서비스와 결합될 수 있다. 예를 들어, 사용자는 이제 "지금 몇 시야?"와 같은 질문을 하기 위해 헤드셋에 말할 수 있다. 이 오디오는 음성 인식 서비스에 의해 프로세싱되고, 대답을 계산하고, 그 후 사용자에게 소리나게 말해질 수 있다.

[0036] 도 1은 2개의 양방향 채널들: 무손실 데이터 링크(106) 및 손실성 데이터 링크(108)를 이용하여 서빙 디바이스(104)에 헤드셋(102)을 연결하는 예시적인 실시예를 예시하는 블록도이다. 이 예시적인 실시예에서, 무손실 데이터 링크(106)는 SPP(Serial Port Profile)를 이용하는 블루투스 링크이고, 손실성 데이터 링크(108)는 HSP(the headset profile) 또는 HFP(hands free profile)을 이용하는 블루투스 링크이다. 다른 실시예들에서, 무손실 데이터 링크(106)는 와이파이 또는 당 분야에 알려진 다른 무선 기술들과 같은 다른 디지털 데이터 링크일 수 있다.

[0037] 아래에서 보다 상세히 설명되는 바와 같이, SPP는 무손실 데이터 링크에 대한 근본적인 토대를 제공할 수 있지만, 프로파일 그 자체는 무손실 송신을 제공하지 않는다. 지금까지, 블루투스는 특히 음성 인식 목적들을 위해 이용될 때 패킷 손실의 문제를 다루기 위한 표준 프로파일을 제공하지 않는다. 커스터마이징된 프로파일이 요구되거나, 또는 적어도 SPP의 변형된 버전이 요구된다.

[0038] 이 예에서, 무손실 데이터 링크(106)가 설정되고, 서빙 디바이스(104) 및 헤드셋(102) 둘 다가 활성(즉, 턴 온)인 한, 활성으로 유지하도록 허용된다. 한편, 손실성 데이터 링크(108)는 헤드셋(102)의 사용자가 보이스 통화를 할 때만 활성이다.

[0039] 이 예시적인 실시예에서, 헤드셋(102) 상의 하나 이상의 마이크로폰들(110)이 오디오 데이터를 수집한다. 오디오는 그 후 선택적으로, 백그라운드 노이즈를 감소시키고 음성 인식을 개선하기 위해 헤드셋(102) 상의 노이즈 소거 모듈(112)을 통해 전달될 수 있다. 다수의 마이크로폰들(110)의 이용은 추가로, 정적 및 비-정적 노이즈들 둘 다를 보다 효과적으로 소거함으로써 전반적인 노이즈 소거 성능을 개선할 수 있다.

[0040] 마이크로폰 오디오(114)는 그 후, 도시된 바와 같이 2개의 스트림들로 분할될 수 있다. 오디오 스트림들 중 하나는 무손실 데이터 링크(106)에 그리고 하나가 손실성 데이터 링크(108)에 전송된다.

[0041] 앞서 설명된 바와 같이, 손실성 데이터 링크(108)는 단지 활성 전화 통화와 연관된 동안 헤드셋(102)과 서빙 디바이스(104) 간에 설정된다. 따라서, 이 통신 링크는 간헐적이다. 손실성 데이터 링크(108)가 설정되면, 오디오 스트림들 중 하나는 보통의 핸즈-프리 시스템의 부분으로서 서빙 디바이스(104)에 전송된다. 오디오는 무손실 데이터 링크(106) 상에서 서빙 디바이스(104)로부터 헤드셋(102)으로 전송된다. 통화가 HFP 또는 HSP 데이터 링크(108) 상에서 발생할 것을 서빙 디바이스 동작이 요구하는 경우, 오디오는 손실성(HFP 또는 HSP) 데이터 링크(108) 상에서 서빙 디바이스(104)로부터 헤드셋(102)으로 또한 전송될 수 있다. 일부 실시예들에서, 오디오는 헤드셋 상에서 재생되는 컴퓨터 생성 말해진 구문들(예를 들어, 텍스트-투-스피치 서비스)의 형태일 수 있다.

[0042] 블루투스 핸즈-프리 통화가 활성인 경우, 오디오는 헤드셋(102) 상에서 또한 재생되고 (커맨드/제어 링크로서 여기서 또한 지칭되는) 무손실 데이터 링크(106)로부터의 임의의 말해진 구문들과 합쳐진다. 무손실 데이터 링크(106)를 통해 수신된 오디오는, 손실성 데이터 링크(108)로부터의 전화 통화 음성을 일시적으로 묵음화함으로써 우선순위가 부여될 수 있거나, 또는 2개의 오디오 신호들이 믹싱될 수 있어서, 사용자는 둘 다를 동시에 듣거나, 또는 무손실 데이터 링크(106)로부터의 오디오를 듣는 것을 더 쉽게 하기 위해 손실성 데이터 링크(108)로부터의 오디오기 일시적으로 감쇄(즉, 부분적으로 묵음화)될 수 있다.

[0043] 도 2 및 도 3은 음성 인식에 대한 오디오 음성 신호의 프로세싱 및 송신의 예시적인 실시예를 예시하는 블록도들이다. 이 예시적인 실시예에서, 오디오 정보는 양방향 무손실 무선 데이터 링크를 거쳐 헤드셋(202)과 서빙 디바이스(204) 간에 전달된다.

[0044] 도 2에서 도시된 예시적인 실시예에서, 오디오 음성 신호는 2개 이상의 마이크로폰들(206)로부터 수집되고 노이즈 소거 모듈(208)에 의해 프로세싱된다. 일 실시예에서, 노이즈 소거는 임의의 비-선형 왜곡을 음성 신호에 도입하는 것을 방지하기 위한 선형 알고리즘들을 이용하여 프로세싱될 수 있다. 도 2는 보이스 압축 모듈(210)을 통한 음성 신호의 압축을 예시한다. 압축된 음성 신호는 무손실 양방향 무선 데이터 링크(212), 예를 들어, SPP(Serial Port Profile) 블루투스 데이터 링크를 거쳐 서빙 디바이스(204)에 전송된다.

[0045] 서빙 디바이스(204)는 무손실 데이터 링크(212)로부터 압축된 음성 신호를 수신하고, 보이스 압축해제 모듈(214)을 이용하여 압축된 음성 데이터를 압축해제한다. 무손실 데이터 경로를 통해 취득된 결과적인 보이스 데이터는 ASR(Automatic Speech Recognition) 엔진 및/또는 자연어 프로세싱 엔진(216)에 의해 이용될 수 있다.

[0046] 서빙 디바이스(204)는 헤드셋(202)에 전송하기 위한 디지털 음성 파일들(예를 들어, TTS(Text-To-Speech) 또는 WAVE (.wav 포맷))을 가질 수 있다. 음성 데이터는 보이스 압축 모듈에 의해 먼저 압축되고 무손실 데이터 링크(212)를 통해 헤드셋에 전송된다. 보이스 압축해제 모듈(222)은 음성 데이터를 압축해제하고 스피커(226)를 구동하는 오디오 신호로 오디오 파일을 변환하는 TTS 또는 WAVE 재생 모듈(224)에 데이터를 제공한다.

[0047] 도 3은 서빙 디바이스의 ASR 백엔드 및 NLP(natural language processing) 엔진과 더불어, 헤드셋(302)의 프론트-엔드 특징 추출 및 노이즈 소거를 제공하는 실시예를 예시한다. 도 2의 실시예와 마찬가지로, 오디오는 2개 이상의 마이크로폰들(306)로 수집되고, 노이즈 소거 모듈(308)은 주변 노이즈를 감소시킨다. 데이터는 무손실 데이터 링크(312)를 통해 헤드셋(302)과 서빙 디바이스(304) 사이에서, 서빙 디바이스(304)의 ASR 백엔드 모듈(330)에 전달된다. ASR 백엔드 모듈(330)은 NLP 엔진에 프로세싱된 음성 데이터를 제공한다. 도 2에서 도시된 실시예와 마찬가지로, TTS/WAVE 파일들(318)은 서빙 디바이스(304)로부터 음성 압축 모듈(320), 무손실 데이터 링크(312), 음성 압축해제 모듈(322) 및 TTS 또는 WAVE 재생기를 통해 헤드셋(302)으로 전달되어 스피커(326)를 구동할 수 있다. 다른 실시예들에서, WAVE 파일들은 헤드셋 상에 저장되고 서빙 디바이스에 의해 전달되는 단순 커맨드에 의해 헤드셋 상에서 재생을 위해 개시될 수 있다.

[0048] 도 2 및 도 3에 의해 강조되는 특징들은 설명된 실시예들이 유용한 기능성을 어떻게 제공할 수 있는지에 관한 예들이다. 이 실시예들은 서로 또는 다른 특징들을 제공하는 다른 실시예들과 결합될 수 있다.

[0049] 다음은 설명된 실시예들에서 음성 인식을 위해 이용될 수 있는 보이스 압축 기술들의 예들이다.

· SBC(Sub-Band-Coder)

· 블루투스 WBS mSBC

· Speex(또는 다른 CELP(Code Excited Linear Prediction)) 기반 압축 알고리즘들)

· Opus

· ETSI(European Telecommunications Standards Institute) DSR(Distributed Speech Recognition)

[0050] 위에서 설명된 바와 같이, 블루투스 SPP(Serial Port Profile)는 그 자체로 무손실 송신을 제공하지 않는다. 그러나 설명된 실시예들은 블루투스 SPP와 함께 이용될 때 무손실 데이터 링크를 생성한다. 설명된 실시예들은 적어도 커스텀(custom) 블루투스 프로파일 및 드라이버를 구현하여 무손실 링크에 대해 필요한 동작들을 구현한다. 이러한 동작들은 ARQ(Automatic Repeat reQuest), 하이브리드 ARQ(HARQ) 및 당 분야에 알려진 다른 손실 패킷 복원 기술들과 같은 재송신 프로토콜들을 포함할 수 있다. 일부 실시예들은 블루투스 링크의 양자의 엔드들에서 커스텀 소프트웨어를 포함한다. 소프트웨어는 커스텀 블루투스 프로파일(들), 드라이버(들) 및 압축/압축해제 코드들을 포함할 수 있다.

[0051] 일부 실시예들은 무손실 데이터 링크를 제공하도록 블루투스 SPP를 변형하는 반면에, 다른 실시예들은 ASR에 적합한 무손실 데이터 링크를 제공하도록 완전한 커스텀 블루투스 프로파일을 제공한다. 예시적인 실시예들이 무선 링크를 제공하기 위해 블루투스를 활용하지만, 설명된 실시예들은 설명된 이점들을 제공하도록 다른 무선 프로토콜들 및 인터페이스들을 활용할 수 있다는 것이 또한 주의되어야 한다.

[0052] 설명된 실시예들은 서빙 디바이스 측에 상술된 커스텀 소프트웨어 및 코드들을 설치하기 위한 기술들을 또한 제공할 수 있다. 일부 실시예들에서, 서빙 디바이스 측은 사전-설치된 커스텀 드라이버를 포함할 수 있다. 다른 실시예들에서, 블루투스 핸즈-프리 디바이스는, 블루투스 링크가 설정되면, 위에서 설명된 블루투스 SPP 링크를 통해 서빙 디바이스에 대한 애플릿(또는 필요한 드라이버들 및 소프트웨어를 전달하기 위한 다른 전달수단(vehicle))을 다운로드할 수 있다.

[0053] 설명된 실시예들은 블루투스 헤드셋 상의 디스플레이에 맞게 쉽게 확장될 수 있다. 이러한 확장에서, 헤드셋 상의 디스플레이에 대해 요구되는 정보는 항상-온(always-on) 커맨드 및 제어 링크를 이용하여 휴대폰으로부터 헤드셋으로 전송될 수 있다. 정보는 헤드셋에 의해 전송되고 랜더링될 수 있다. 대안적으로, 정보는 휴대폰에 의해 랜더링되고 이미지 또는 부분 이미지로서 디스플레이를 위해 헤드셋에 전송될 수 있다. 아 후자의 방법은 헤드셋 펌웨어가 단순하고 유연하게 되도록 허용한다(모든 하드(hard)한 작업이 휴대폰에 의해 행해짐).

[0054] 본원에서 설명된 하나 이상의 실시예들은 소프트웨어 및 하드웨어의 다수의 상이한 형태들로 구현될 수 있다는 것이 자명할 것이다. 본원에서 설명된 실시예들을 구현하는데 이용되는 소프트웨어 코드 및/또는 특수 하드웨어는 본 발명을 제한하지 않는다. 따라서, 실시예들의 동작 및 거동은 특정 소프트웨어 코드 및/또는 특수 하드웨어를 참조함 없이 설명되었고 - 당업자는 본원의 설명에 기초하여 실시예들을 구현하기 위해 소프트웨어 및/또는 하드웨어를 설계할 수 있을 것이라고 이해된다.

[0055] 추가로, 본 발명의 특정 실시예들은 하나 이상의 기능들을 수행하는 로직으로서 구현될 수 있다. 이 로직은 하드웨어-기반, 소프트웨어-기반 또는 하드웨어-기반 및 소프트웨어-기반의 결합일 수 있다. 로직 중 일부 또는 전부는 하나 이상의 유형의 컴퓨터-판독 가능 저장 매체 상에 저장될 수 있고, 제어기 또는 프로세서에 의해 실행될 수 있는 컴퓨터-실행 가능 명령들을 포함할 수 있다. 컴퓨터-실행 가능 명령들은 본 발명의 하나 이상의 실시예들을 구현하는 명령들을 포함할 수 있다. 유형의 컴퓨터-판독 가능 저장 매체들은 휘발성 또는 비-휘발성일 수 있고 예를 들어, 플래시 메모리들, 동적 메모리들, 제거 가능 디스크들 및 비-제거 가능 디스크들을 포함할 수 있다.

[0056] 본 발명이 그의 예시적인 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 첨부된 청구항들에 의해 포함되는 본 발명의 범위로부터 벗어남 없이 형태 및 세부사항들에서의 다양한 변경들이 그 내에서 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다.

Claims

사용자에 의해 착용되는 웨어러블 디바이스(wearable device)로부터 서빙 디바이스와 인터페이싱하는 방법으로서,
상기 서빙 디바이스와 상기 웨어러블 디바이스 간에 무손실 무선 데이터 링크를 설정하는 단계 ― 상기 무손실 무선 데이터 링크는 손실 패킷 재전송 기술을 이용함 ―;
상기 웨어러블 디바이스에 의해, 상기 웨어러블 디바이스의 하나 이상의 마이크로폰들로부터 오디오 데이터를 수집하는 단계; 및
상기 웨어러블 디바이스에 의해, 수집된 오디오 데이터를 상기 무손실 무선 데이터 링크를 통해 상기 서빙 디바이스에 전송하는 단계
를 포함하는,
방법.
제1항에 있어서,
상기 웨어러블 디바이스는 헤드셋 디바이스인,
방법.
제1항에 있어서,
상기 웨어러블 디바이스는 손목 시계 디바이스인,
방법.
제1항에 있어서,
상기 서빙 디바이스에 의해, 상기 오디오 데이터와 연관되는 음성 인식 서비스들을 제공하는 단계
를 더 포함하는,
방법.
제4항에 있어서,
상기 음성 인식 서비스들은 광대역 음성 프로세싱 및 저-왜곡 음성 압축을 포함하는,
방법.
제1항에 있어서,
상기 웨어러블 디바이스에 의해, 상기 수집된 오디오 데이터의 음성 압축을 제공하는 단계
를 더 포함하는,
방법.
제1항에 있어서,
상기 서빙 디바이스는 휴대폰, 스마트폰, 태블릿 디바이스, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 네트워크 서버, 웨어러블 모바일 통신 디바이스, 웨어러블 모바일 컴퓨터 및 클라우드-기반 컴퓨팅 엔티티 중 하나 이상인,
방법.
제1항에 있어서,
상기 웨어러블 디바이스에 의해, 상기 수집된 오디오 데이터와 연관되는 노이즈 소거 서비스들(noise cancellation services)을 제공하는 단계
를 더 포함하는,
방법.
제1항에 있어서,
상기 서빙 디바이스에서 상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들을 설정하기 위한 정보를, 상기 웨어러블 디바이스로부터 상기 서빙 디바이스로 전송하는 단계
를 더 포함하는,
방법.
제1항에 있어서,
상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들은 (i) 커스텀(custom) 와이파이 연결 및 커스텀 블루투스 프로파일, (ii) 드라이버 및 (iii) 압축/압축해제 코드 중 하나 이상을 포함하는,
방법.
제1항에 있어서,
상기 무손실 무선 데이터 링크는 커스텀 블루투스 프로파일로 동작하는 블루투스 링크인,
방법.
서빙 디바이스와 웨어러블 디바이스 간에 무손실 무선 데이터 링크를 설정하는 방법으로서,
상기 웨어러블 디바이스에 의해, 상기 웨어러블 디바이스와 상기 서빙 디바이스 간에 제1 프로토콜의 무선 링크를 설정하는 단계;
상기 웨어러블 디바이스에 의해 그리고 상기 제1 프로토콜의 무선 링크를 이용하여, 제2 프로토콜의 무손실 무선 링크를 설정하는 단계 ― 상기 무손실 무선 링크는 손실 패킷 재전송 기술을 이용함 ―;
상기 웨어러블 디바이스에 의해, 상기 서빙 디바이스에서 상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들을 설정하기 위한 정보를 상기 서빙 디바이스에 전달하는 단계
를 포함하는,
방법.
제12항에 있어서,
상기 무손실 무선 데이터 링크를 지원하는데 필요한 하나 이상의 컴포넌트들은 커스텀 블루투스 프로파일, 드라이버 및 압축/압축해제 코드를 포함하는,
방법.
제12항에 있어서,
상기 제1 프로토콜의 무선 링크는 손실성 블루투스 링크이고, 상기 제2 프로토콜의 무선 링크는 무손실 블루투스 링크인,
방법.
제14항에 있어서,
상기 무손실 블루투스 링크는 블루투스 SPP 프로파일에 기초하는,
방법.
제12항에 있어서,
상기 제1 프로토콜의 무손실 무선 데이터 링크는 커스텀 블루투스 프로파일로 동작하는 블루투스 링크인,
방법.
웨어러블 디바이스로서,
적어도 하나의 마이크로폰;
적어도 하나의 스피커;
보이스 압축 엔진;
손실 패킷 재전송 기술을 이용하는 무손실 무선 데이터 채널 상에서 보이스 패킷들을 송신하도록 구성된 드라이버
를 포함하는,
웨어러블 디바이스.
제17항에 있어서,
상기 무손실 무선 데이터 채널은 블루투스 SPP 프로파일에 기초하는,
웨어러블 디바이스.
제17항에 있어서,
상기 보이스 압축 엔진은, (i) Sub-Band-Coder, (ii) Speex, 및 (iii) ETSI 분산 음성 인식 중 하나 이상을 포함하는,
웨어러블 디바이스.
제17항에 있어서,
노이즈 소거 엔진
을 더 포함하는,
웨어러블 디바이스.
제20항에 있어서,
상기 노이즈 소거 엔진은 2개 이상의 소스들로부터 오디오 신호를 수신하고, 주변 노이즈를 감소시키도록 선형 노이즈 소거 알고리즘들을 이용하는,
웨어러블 디바이스.
제17항에 있어서,
서빙 디바이스에서 무손실 링크의 구현을 용이하기 하기 위해 커스텀 블루투스 프로파일 및 드라이버를 상기 서빙 디바이스에 전달하도록 구성되는 코드 배포 모듈
을 더 포함하는,
웨어러블 디바이스.
제22항에 있어서,
상기 코드 배포 모듈은 상기 서빙 디바이스 상에서 상기 커스텀 블루투스 프로파일 및 드라이버를 설치하도록 상기 서빙 디바이스에 애플릿(applet)을 전달하는,
웨어러블 디바이스.