KR20190079613A

KR20190079613A - 동기화를 구비한 멀티-디바이스 오디오 스트리밍 시스템

Info

Publication number: KR20190079613A
Application number: KR1020197010653A
Authority: KR
Inventors: 리챠드 아담스; 데이브 하그리브스; 엘리사 몬카요; 브록 맥스웰 자일러
Original assignee: 소닉센서리, 인크.
Priority date: 2016-09-14
Filing date: 2017-09-14
Publication date: 2019-07-05
Also published as: US20190215349A1; WO2018053159A1; CN110035808A; US11848972B2; JP2020502607A

Abstract

실시예들은 전자 제어 유닛을 포함하며, 상기 전자 제어 유닛은, 외부 오디오 소스로부터 오디오 스트림을 수신하는 오디오 입력 디바이스로, 상기 오디오 스트림은 오디오 경로 및 햅틱 경로 사이로 분할되는 오디오 입력 디바이스; 단거리 무선 통신을 이용하여 상기 오디오 스트림을 적어도 하나의 착용가능 햅틱 디바이스로 전송하기 위한 상기 햅틱 경로 내 무선 트랜시버; 그리고 상기 트랜시버에 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 착용가능 햅틱 디바이스(들)로의 오디오 스트림 전송과 연관된 레이턴시의 양을 계산하도록 설정되며, 그리고 상기 오디오 스트림을 상기 계산된 레이턴시에 기반하는 플레이까지의-시간 (time-to-play)을 포함하는 복수의 오디오 패킷들로 파티션하도록 설정된다. 상기 제어 유닛은, 상기 계산된 레이턴시에 기반하여 상기 오디오 스트림에게로 시간 지연을 삽입하기 위한 상기 오디오 경로 내 버퍼, 그리고 상기 시간 지연된 오디오 스트림을 외부 오디오 리스닝 디바이스로 출력하기 위한 상기 오디오 경로 내 오디오 출력 디바이스를 포함한다.

Description

동기화를 구비한 멀티-디바이스 오디오 스트리밍 시스템

관련된 출원에 대한 상호-참조

본원은 2016년 9월 14일에 출원된 미국 임시 출원 No.62/394,707에 대한 우선권을 주장하며, 이 출원은 그 전체가 본원에 참조로서 편입된다.

멀티-미디어 엔터테인먼트의 소비자들은 고양된 멀티-감각 몰입의 방법들을 추구한다. 오디오 몰입 (immersion)을 제공하기 위한 현존 시스템들은 음악의 낮은 톤들을 느끼게 하기 위해 그리고 영화니 비디오 게임의 오디오를 개선하기 위해 서브우퍼들을 사용하고 그리고 사용자가 더 많은 엔터테이닝 경험에 몰두하도록 하기 위해 서라운드 시스템을 사용하는 것을 포함한다. 그러나, 오디오 콘텐트는 차치하고, 이 방법들은 가상 현실 또는 다른 오디오-시각적 시나리오에 있을 때에 멀티-감각적인 자극을 제공하지는 않는다. 더욱이, 특히 서브-우퍼들은 분주하게 멀티-미디어 엔터테인먼트를 경험하는 것을 선호하는 사용자들에게는 편리하지 않으며, 이는 서브-오프 디바이스들의 물리적인 크기가 휴대성을 방해하기 때문이다. 동시에, 통상적인 이어폰들과 같은 현존 휴대용 디바이스들은 서브-우퍼들과 동일한 저주파수 효과를 제공할 수 없다.

오디오 및/또는 오디오-청각적 몰입을 위한 현존 시스템들에 촉각적인 또는 햅틱 자극을 추가하는 것은 멀티-감각적인 몰입을 제공할 수 있으며 그리고 엔터테인먼트 경험을 더욱 더 즐기게 할 수 있다. 예를 들면, 음악 작품을 위한 오디오 신호들에 기반하여 생성된 진동들은 그 오디오 신호들과 동기화되어 사용자가 그 음악을 듣고 느끼는 것 둘 모두를 하는 경우에 향상된 음악적인 경험을 제공할 수 있다. 몇몇의 현존 햅틱 디바이스들은 오디오/시각적 출력 디바이스들과는 분리되며, 그러므로 멀티-미디어 경험의 나머지와의 동기화된 동작을 산출하기 위해 분리된 컴포넌트들을 필요로 한다. 예를 들면, 햅틱 자극은 유선 또는 무선 접속을 경유하여 오디오 또는 오디오-시각적 시스템에 연결된 착용가능 햅틱 디바이스들을 통해 제공될 수 있다. 몇몇의 경우에, 사용자가 분주하거나 또는 어떤 장소로부터 떨어져 있을 때에 그 사용자가 멀티-감각적 몰입을 경험할 수 있도록 하기 위해 무선 접속이 선호될 수 있다. 하나의 솔루션은, 예를 들면, 신발류 또는 현존하는 신발류 내부에 배치되도록 설계된 인솔처럼 신발 내부에 햅틱 디바이스들을 내장시키고, 그리고 그 햅틱 디바이스들에게 그리고/또는 그 햅틱 디바이스들 사이에 오디오 신호들을 전송하기 위해 (예를 들면, 블루투스 (Bluetooth　)와 같은) 단거리 무선 통신 기술을 이용한다.

그러나, 무선 통신들을 경유하여 오디오 시스템으로부터 주변 디바이스들로 오디오를 스트리밍하기 위한 현존 기술들은 여러 알려진 약점들을 가진다. 예를 들면, 몇몇의 현존 오디오 스트리밍 기술들은 엔터테인먼트 경험의 오디오 및 비디오 컴포넌트들 사이에서 감지 가능한 지연을 초래하기에 충분하게 엄격한 레이턴시 문제점들을 가진다. 그 결과, 그런 시나리오들에 햅틱 자극을 추가하는 것은 엔터테인먼트 경험의 오디오 및 햅틱 컴포넌트들 사이에서 감지 가능한 지연의 결과를 가져올 수 있다.

따라서, 연관된 오디오 콘텐트에 동기하여 햅틱 콘텐트를 무선으로 전달할 수 있는 향상된 멀티-감각적 시스템을 위한 필요성이 당해 기술분야에서 여전히 존재하며, 이는 가상 현실, 서라운드 사운드, 또는 다른 오디오 시각적 시나리오에서 개인적인, 멀티-감각적 경험을 제공하기 위한 것이다.

본 발명은 다른 것들 중에서도, 다수의 디바이스들 사이에서 낮은 레이턴시 무선 접속을 제공하도록 설계되어, 멀티-감각적 엔터테인먼트 경험 동안에 오디오 콘텐트 전달이, 관련된 햅틱 콘텐트와 동기화되도록 하는 시스템 및 방법들을 제공함으로써 상기에서 언급된 문제점들을 해결하도록 의도된 것이다.

예를 들면, 일 실시예는 전자 제어 유닛을 포함하며, 상기 전자 제어 유닛은 외부 오디오 소스로부터 오디오 스트림을 수신하는 오디오 입력 디바이스 그리고 상기 오디오 입력 디바이스에 연결되어 상기 오디오 스트림을 오디오 경로 및 햅틱 경로 사이로 분할하는 신호 스플리터; 상기 햅틱 경로에 연결되어 단거리 무선 통신 기술을 이용하여 상기 오디오 스트림을 적어도 하나의 착용가능 햅틱 디바이스로 전송하는 무선 트랜시버를 포함한다. 추가로, 상기 전자 제어 유닛은 상기 무선 트랜시버에 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 적어도 하나의 착용가능 햅틱 디바이스로의 오디오 스트림 전송과 연관된 레이턴시의 양을 계산하도록 설정되며, 그리고 상기 오디오 스트림을 복수의 오디오 패킷들로 파티션하도록 설정되며, 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반하는 플레이까지의-시간 (time-to-play)을 포함한다. 상기 전자 제어 유닛은, 상기 오디오 경로에 제공된 오디오 스트림에게로 시간 지연을 삽입하기 위해 상기 오디오 경로 내 포함된 버퍼로, 상기 시간 지연은 상기 계산된 레이턴시 양에 기반하는, 버퍼, 그리고 상기 오디오 경로에 연결되어 상기 시간 지연된 오디오 스트림을 외부 오디오 리스닝 디바이스로 출력하는 오디오 출력 디바이스를 더 포함한다.

다른 예시의 실시에는 엔터테인먼트 시스템을 포함하며, 그 엔터테인먼트 시스템은 전자 제어 유닛 그리고 오디오 스트림을 햅틱 신호들로 변환하도록 구성된 적어도 하나의 착용가능 햅틱 디바이스를 포함한다. 상기 전자 제어 유닛은, 외부 오디오 소스로부터 오디오 스트림을 수신하기 위한 오디오 입력 디바이스, 상기 오디오 스트림을 외부 오디오 리스닝 디바이스에게 출력하기 위한 오디오 출력 디바이스, 그리고 근거리 무선 통신 기술을 이용하여 상기 오디오 스트림을 상기 적어도 하나의 착용가능 햅틱 디바이스에게 전송하기 위한 무선 트랜시버를 포함한다. 상기 전자 제어 유닛은 상기 햅틱 신호들 전달을 시간-지연된 오디오 스트림 전달과 동기화하도록 구성된 프로세서를 또한 포함하며, 상기 동기화는, 상기 적어도 하나의 착용가능 햅틱 디바이스로의 오디오 스트림의 무선 전송과 연관된 레이턴시의 양을 계산함, 상기 오디오 스트림을 복수의 오디오 패킷들로 파티셔닝함 - 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반하는 플레이까지의-시간 (time-to-play)을 포함-, 그리고 상기 오디오 리스닝 디바이스에 제공된 오디오 스트림에 시간 지연을 삽입함 - 상기 시간 지연은 상기 계산된 레이턴시 양에 기반 -에 의한 것이다.

다른 예시의 실시예는 오디오 스트림 전달을 그 오디오 스트림으로부터 유도된 햅틱 신호들과 동기화하는 방법을 포함한다. 그 방법은, 단거리 무선 통신들을 위해 구성된 무선 트랜시버를 이용하여 적어도 하나의 착용가능 햅틱 디바이스와의 무선 접속을 설립하는 단계; 오디오 입력 디바이스를 경유하여 외부 오디오 소스로부터 오디오 스트림을 수신하는 단계; 상기 오디오 스트림을 버퍼 및 오디오 출력 디바이스를 포함하는 오디오 경로 그리고 상기 무선 트랜시버 및 프로세서에 연결된 햅틱 경로 사이에서 분할하는 단계; 상기 적어도 하나의 착용가능 햅틱 디바이스로의 상기 무선 트랜시버에 의한 상기 오디오 스트림 전송과 연관된 레이턴시의 양을 상기 프로세서를 이용하여 계산하는 단계; 상기 햅틱 경로의 오디오 스트림을 상기 프로세서를 이용하여 복수의 오디오 패킷들로 파티션하는 단계로, 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반한 플레이까지의-시간을 포함하는, 파티션 단계; 상기 버퍼를 이용하여 상기 오디오 경로의 오디오 스트림에게로 시간 지연을 삽입하는 단계로, 상기 시간 지연은 상기 계산된 레이턴시 양에 기반하는, 삽입 단계; 상기 오디오 출력 디바이스에 연결된 외부 오디오 리스닝 디바이스로의 전달을 위해, 상기 시간 지연된 오디오 스트림을 상기 오디오 출력 디바이스에게 제공하는 단계; 그리고 상기 무선 트랜시버를 경유하여 상기 복수의 오디오 패킷들을 상기 적어도 하나의 착용가능 햅틱 디바이스로 전송하는 단계를 포함한다.

또 다른 예시의 실시예는 방법을 포함하며, 그 방법은, 단거리 무선 통신들을 위해 구성된 무선 트랜시버를 이용하여 전자 제어 유닛과의 무선 접속을 설립하는 단계; 상기 무선 트랜시버를 경유하여 상기 전자 제어 유닛으로부터 복수의 오디오 패킷들을 수신하는 단계; 각 오디오 패킷에 대해, 그 오디오 패킷에 포함된 플레이까지의-시간 데이터를 프로세서를 이용하여 인출하는 단계; 내부 클록으로부터 현재 플레이 시간을 인출하는 단계; 상기 오디오 패킷에 포함된 상기 플레이까지의-시간 데이터 그리고 상기 현재의 플레이 시간에 기반하여 각 오디오 패킷에 대한 새로운 플레이까지의-시간 값을 계산하는 단계; 그리고 상기 오디오 패킷을 햅틱 신호로 변환하기 위해 각 오디오 패킷을 하나 이상의 햅틱 트랜스듀서들로 제공하는 단계로, 상기 햅틱 신호는 상기 대응하는 새로운 플레이까지의-시간 값에 따라 상기 하나 이상의 햅틱 트랜스듀서들에 의해 출력되는, 제공 단계를 포함한다.

첨부된 청구항들은 본 출원을 한정한다. 본 발명 개시는 상기 실시예들의 모습들을 요약하며 그리고 상기 청구항들을 제한하기 위해 사용되지 않아야 한다. 다음의 도면들 및 상세한 설명을 검토한 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자가 인정할 것처럼, 다른 구현들이 본원에서 설명된 기술들에 따라 숙고되며, 그리고 이 구현들은 본원의 범위 내에 있는 것으로 의도된 것이다.

본 발명의 효과는 본 명세서의 해당되는 부분들에 개별적으로 명시되어 있다.

본 발명에 대한 더 양호한 이해를 위해, 다음의 도면들에서 보이는 실시예들을 참조할 수 있다. 이 도면들에서의 컴포넌트들은 반드시 크기 조절되는 것은 아니며 그리고 본원에서 설명된 신규한 특징들을 강조하고 명료하게 예시하기 위해서 관련된 요소들이 생략될 수 있다. 추가로, 시스템 컴포넌트들은 당 기술분야에서 알려진 것처럼 다양하게 배치될 수 있다. 도면들에서, 유사한 참조 번호들은 다르게 명시되지 않는다면 상이한 도면들 전체에서 유사한 부분들을 언급할 수 있다.
도 1은 실시예들에 따른 예시의 엔터테인먼트 시스템의 블록도이다.
도 2는 실시예들에 따른 도 1의 엔터테인먼트 시스템의 예시의 구현을 도시한다.
도 3은 실시예들에 따른 도 1의 엔터테인먼트 시스템에 포함된 예시의 전자 제어 유닛의 블록도이다.
도 4는 실시예들에 따른 도 1의 엔터테인먼트 시스템에 포함된 예시의 햅틱 디바이스의 블록도이다.
도 5는 실시예들에 따른, 오디오 스트림의 전달 그리고 그 오디오 스트림으로부터 유도된 햅틱 신호들의 전달을 동기화하는 예시의 방법의 흐름도이다.
도 6은 실시예들에 따른 다른 예시의 방법의 흐름도이다.

본 발명이 다양한 모습들로 구체화될 수 있지만, 본 발명 개시가 본 발명의 예시인 것으로 간주되며 그리고 예시된 특정 실시예들로 본 발명을 한정하도록 의도하지 않는다는 이해와 함께, 상기 도면들은 몇몇의 예시적이며 비-한정적인 실시예들을 보여주며 그리고 본 명세서는 그 몇몇의 예시적이며 비-한정적인 실시예들을 설명한다. 또한, 도시된 또는 설명된 컴포넌트들 모두가 필요한 것은 아니며 그리고 몇몇 실시예들은 추가의, 상이한, 또는 더 적은 개수의 컴포넌트들을 포함할 수 있다. 상기 컴포넌트들의 배열 및 유형은 본원에서 제시된 청구항 세트의 사상이나 범위로부터 벗어나지 않으면서 변할 수 있다.

본원에서, 이접적 접속사 (disjunctive)를 사용하는 것은 접속사를 포함하는 것으로 의도된 것이다. 한정된 또는 일정하지 않은 관사들을 사용하는 것은 기본적인 것을 표시하도록 의도된 것은 아니다. 특히, "상기" 객체 또는 "하나" 및 "한" 객체는 있을 수 있는 그런 복수의 객체들 중 하나를 또한 표시하도록 의도된 것이다.

사용자를 위한 개인적인 멀티-감각적 몰입을 제공하기 위해서, 다양한 실시예들은, 하나 이상의 착용가능 햅틱 디바이스들에 무선으로 연결되며 그리고 (예를 들면, 미디어 플레이어와 같은) 오디오 소스 및 (예를 들면, 헤드폰과 같은) 오디오 리스닝 디바이스에 통신 가능하게 연결되는 전자 제어 유닛을 제공한다. 예를 들면, 상기 착용가능 햅틱 디바이스(들)는 음악을 청취하는, 영화를 시청하는, 비디오 게임을 플레이하는, 또는 다른 오디오 또는 오디오-시각적 시나리오의 경험을 극적으로 향상시킬 수 있다. 상기 착용가능 디바이스(들)는 상기 오디오 소스로부터 수신된 오디오 스트림에 기반하여 진동을 전하도록 구성된 햅틱 트랜스듀서를 포함할 수 있다. 몇몇 실시예들에서, 상기 전자 제어 유닛은 신발 디바이스들의 쌍에 무선으로 연결되며, 그 신발 디바이스들 각각은 엔터테인먼트 경험을 향상시키기 위한 햅틱 트랜스듀서를 포함한다. 신발 디바이스는 신발 (예를 들면, 신발류) 또는 신발 바닥에 배치하기 위한 인솔일 수 있다. 햅틱 트랜스듀서를 신발 내에 배치하는 것은 엔터테인먼트 경험을 머리 범위 외부로 확대시켜서, 사용자의 신체, 또는 적어도 사용자의 발을 몰입적인, 촉각적인, 그리고 휴대용의 경험에 결부시킬 수 있다. 멀티-감각적 엔터테인먼트 경험의 휴대성을 보존하기 위해서, 신발 디바이스들의 쌍은, 예를 들면, 블루투스 통신 프로토콜을 이용하여, 상기 전자 제어 유닛과는 물론이며, 서로 무선으로 통신할 수 있다.

실시예들에서, (예를 들면, 오디오 리스닝 디바이스를 경유한) 오디오 콘텐트를 (예를 들면, 신발 디바이스들을 경유한) 햅틱 콘텐트와 동기하여 전달하기 위해서, 낮은 레이턴시 무선 연결, 또는 통신 채널이 상기 전자 제어 유닛 및 상기 착용가능 햅틱 디바이스 사이에서 설립된다. 이런 동기는 상기 전자 제어 유닛 및 상기 햅틱 디바이스들에서의 데이터 프로세싱 시간들에 의해 초래된 레이턴시는 물론이며 상기 전자 제어 유닛 및 상기 착용가능 햅틱 디바이스들 사이에서의 무선 접속에, 그리고 몇몇 경우에는, 상기 착용가능 햅틱 디바이스들 자신들 사이에서의 무선 접속에 존재하는 레이턴시의 양에 부합하는 시간 양만큼 상기 오디오 콘텐트를 버퍼링하거나 또는 그렇지 않고 지연시킴으로써 적어도 부분적으로 달성된다. 더욱이, 상기 전자 제어 유닛은 상기 오디오 콘텐트를 상기 착용가능 햅틱 디바이스들로 전송하기 이전에 그 오디오 콘텐트를 오디오 패킷들로 파티션하고 그리고 레이턴시의 이 양에 기반하여 각 오디오 패킷에 플레이까지의 시간 값을 할당하도록 구성될 수 있다. 몇몇 실시예들에서, 상기 전자 제어 유닛 및 상기 착용가능 햅틱 디바이스들 사이에서의 무선 접속을 통해 데이터 패킷들이 또한 교환될 수 있다. 상기 접속의 낮은 레이턴시 모습을 유지하기 위해서, 상기 착용가능 햅틱 디바이스들은 입력 버퍼 레벨들을 낮게 유지하도록 구성될 수 있으며, 그래서 오디오 패킷들 및 데이터 패킷들 둘 모두가 큐를 통해 빠르게 이동하도록 한다. 추가로, 상기 착용가능 햅틱 디바이스들은 상기 착용가능 햅틱 디바이스의 내부 클록에서의 현재 플레이 시간에 기반하여 각 오디오 패킷을 위한 플레이까지의 시간 값을 버퍼링하거나 또는 그렇지 않고 조절하도록 구성될 수 있으며, 이는 패킷 손실을 줄이고 그리고 상기 무선 접속의 무결성을 보존하기 위한 것이다.

블루투스 (Bluetooth　) 기술은 휴대용 디바이스 및 컴퓨팅 디바이스들 그리고 유사한 것들 사이에서의 많은 무선 애플리케이션들을 위해 일반적으로 사용된다. 예를 들면, 오디오 및/또는 비디오 데이터를 스트리밍하거나 재생하는 것과 같은 기능들을 위한 가정에서의 애플리케이션들 그리고 휴대용 게이밍 디바이스들을 사용하는 게이밍과 같은 다른 멀티-미디어 애플리케이션들에서 그 블루투스 기술은 점점 더 많이 사용되고 있다. 그래서, 본원에서 설명되는 다양한 실시예들은 블루투스에 따른 동작을 참조한다. 그러나, 본원에서 설명된 일반적인 원칙들은, 예를 들면, Wi-Fi, Zigbee 등과 같은 다른 무선 통신 프로토콜들에 따라 동작하는 디바이스들 및 시스템들에도 적용될 수 있다.

도 1은 실시예들에 따라, 사용자에게로의 오디오 콘텐트 전달을 상기 사용자에 의해 감지된 햅틱 콘텐트 전달과 동기화하도록 구성된 예시적인 엔터테인먼트 시스템 (100)을 도시한다. 도시된 것처럼, 상기 시스템 (100)은, 오디오 입력 및 데이터 입력을 각각 수신하기 위해 오디오 소스 (104) 및 데이터 소스 (106)에 통신 가능하게 연결된 전자 제어 유닛 (102) (여기에서는 "제어 유닛"으로도 또한 언급됨)을 포함한다. 상기 제어 유닛 (102)은 여기에서 설명된 기술들을 구현하기 위해서, 오디오 소스 (104), 데이터 소스 (106), 및 상기 시스템 (100)의 다른 컴포넌트들과 인터페이스할 수 있으며 그리고 그것들로부터 수신된 데이터를 프로세싱할 수 있는 컴퓨팅 디바이스, 제어기, 또는 어떤 다른 유형의 전자 디바이스일 수 있다. 상기 오디오 입력은, 예를 들면, 음악 작품과 같은 단독의 오디오 콘텐트를 구성한 오디오 스트림이거나, 또는, 예를 들면, 비디오 게임, 영화, 또는 다른 비디오-기반 애플리케이션과 같은 오디오-시각적 콘텐트의 일부인 오디오 스트림일 수 있다. 상기 데이터 입력은 상기 제어 유닛 (102) 및/또는 그 제어 유닛에 통신 가능하게 연결된 디바이스 (예를 들면, 참조번호 110 및 112의 착용가능 햅틱 디바이스들)의 동작을 제어하기 위한 제어 데이터일 수 있다.

상기 오디오 소스 (104)는 상기 제어 유닛 (102)에게 오디오 콘텐트를 제공할 수 있는 임의 유형의 전자 디바이스일 수 있으며, 그 전자 디바이스는, 예를 들면, 오디오 디바이스 (예를 들면, 스테레오 시스템, 서라운드 사운드 시스템, 라디오, 오디오 리시버 등), 개인용 미디어 플레이어 (예를 들면, MP3 플레이어) 또는 다른 유형의 미디어 플레이어 (예를 들면, DVD 또는 블루-레이 플레이어), 모바일 통신 디바이스 (예를 들면, 스마트폰 또는 휴대용 전화기) 또는 다른 유형의 모바일 컴퓨팅 디바이스 (예를 들면, 태블릿 또는 PDA), 개인용 컴퓨터 (예를 들면, 랩탑 또는 데스크탑), 및/또는 비디오 게이밍 디바이스 (예를 들면, 게이밍 콘솔, 비디오 게임 제어기, 또는 핸드헬드 게이밍 디바이스)를 포함한다. 상기 데이터 소스 (106)는 데이터 콘텐트를 상기 제어 유닛 (102)에게 제공할 수 있는, 예를 들면, 비디오 게이밍 디바이스, 개인용 컴퓨터, 모바일 통신 디바이스 또는 다른 모바일 컴퓨팅 디바이스, 및/또는 개인용 미디어 플레이어를 포함하는, 임의 유형의 전자 디바이스일 수 있다. 도 1이 단일의 오디오 소스 (104) 및 단일의 데이터 소스 (106)를 보여주지만, 다른 실시예들에서, 상기 엔터테인먼트 시스템 (100)은 다수의 오디오 스스들 및/또는 다수의 데이터 소스들을 포함할 수 있다.

실시예들에서, 상기 오디오 소스 (104) 및 데이터 소스 (106) 각각은 유선이나 무선 접속을 경유하여 상기 전자 제어 유닛 (102)에 통신 가능하게 연결될 수 있다. 몇몇 실시예에서, 상기 제어 유닛 (102)은 하나 이상의 트랜시버들 그리고 상기 오디오 소스 (104) 및/또는 상기 데이터 소스 (106)와의 무선 접속을 생성하기 위한 다른 무선 통신 회로를 포함한다. 다른 실시예들에서, 상기 제어 유닛 (102)은 오디오 소스 (104)로부터 오디오 콘텐트를 수신하기 위한 (예를 들면, 도 3에서 보이는 오디오 입력 디바이스 (302)와 같은) 오디오 입력 디바이스 그리고 데이터 소스 (104)로부터 데이터 콘텐트를 수신하기 위한 (예를 들면, 도 3에서 보이는 데이터 포트 (314)와 같은) 데이터 포트를 포함한다. 몇몇 경우에, 상기 데이터 소스 (106) 및 오디오 소스 (104)는 상기 제어 유닛 (103)에 오디오 콘텐트 및 데이터 콘텐트 둘 모두를 제공하는 공통의 전자 디바이스일 수 있다. 그런 경우에, 그 공통의 전자 디바이스는 상기 제어 유닛 (102)의 상기 오디오 입력 디바이스 및 상기 데이터 포트 둘 모두에 통신 가능하게 연결될 수 있다. 대안으로, 상기 공통의 전자 디바이스는 제어 유닛 (102)에게 오디오 콘텐트 및 데이터 콘텐트 둘 모두를 제공하기 위해 상기 제어 유닛 (102)의 (예를 들면, 상기 데이터 포트와 같은) 단일의 입력 디바이스에 통신 가능하게 연결될 수 있다.

도시되었듯이, 상기 시스템 (100)은 상기 오디오 소스 (104)에 의해 제공된 오디오 콘텐트를 청각적으로 출력하거나 플레이하기 위해 유선이나 무선 접속을 경유하여 상기 제어 유닛 (102)에 통신 가능하게 연결된 오디오 리스닝 디바이스 (108)를 또한 포함한다. 몇몇 실시예들에서, 상기 오디오 리스닝 디바이스 (108)는 상기 제어 유닛 (102)의 (예를 들면, 도 3에 도시된 오디오 출력 디바이스 (308)와 같은) 오디오 출력 디바이스에 연결된다. 상기 오디오 리스닝 디바이스 (108)는, 예를 들면, 헤드폰, 이어폰, 헤드셋, 또는 라우드스피커를 포함하는 임의 유형의 오디오 재생 디바이스일 수 있다.

추가로, 상기 시스템 (100)은 제1 착용가능 햅틱 디바이스 (110) 및 제2 착용가능 햅틱 디바이스 (112)를 포함할 수 있으며, 이는 오디오 소스 (104)에 의해 제공된 오디오 콘텐트를 햅틱 신호들로 변환하고 그리고 이 햅틱 신호들에 의해 생성된 진동들이나 촉각적인 감각들을 착용자의 신체에 적용하기 위한 것이다. 예를 들면, 상기 진동들이나 촉각적인 감각들은 상기 착용가능 햅틱 디바이스들 (110 및 112)이 사용자에게 근접하여 가깝게 배치되거나 사용자에 의해 착용되었을 때에 그 사용자가 감지하거나 느낄 수 있다. 몇몇 실시예들에서, 상기 착용가능 햅틱 디바이스들 (110 및 112)은 단일의 착용가능 부분품목에 통합될 수 있으며, 이는, 예를 들면, 셔츠, 베스트, 벨트, 팬츠, 또는 그 부분품목의 상이한 구역들에 통합된 다수의 햅틱 디바이스들을 구비한 의복의 다른 부분과 같은 것이다. 다른 실시예들에서, 상기 착용가능 햅틱 디바이스들 (110, 112) 각각은, 예를 들면, 신발 품목 (예를 들면, 신발, 안창, 또는 신발이나 안창 내부에 배치되도록 설계된 인솔), 장갑, 암밴드, 손목밴드 또는 팔찌, 발목 밴드 또는 발목양말 등과 같은 분리된 착용가능 부분품목으로 구현될 수 있다. 도 1에 두 개의 디바이스들 (110 및 112)이 도시되지만, 다른 실시예들에서, 상기 시스템은 두 개의 착용가능 햅틱 디바이스들 (110 및 112)보다 더 많이 또는 더 작은 개수를 포함할 수 있다.

실시예들에서, 상기 착용가능 햅틱 디바이스들 (110 및 112)은 상기 제어 유닛 (102)과 무선 통신 상태에 있도록 구성될 수 있다. 도 1에서 보이듯이, 몇몇 실시예들에서, 예를 들면, 상기 제1 착용가능 햅틱 디바이스 (110)와 같은 상기 디바이스들 중 단 하나만이 상기 제어 유닛 (102)과 무선 통신하며, 반면에 제2 착용가능 햅틱 디바이스 (112)는 상기 제1 착용가능 햅틱 디바이스 (110)를 통해 상기 제어 유닛 (102)과 통신한다. 그런 경우에, 상기 제1 및 제2 착용가능 햅틱 디바이스들 (110 및 112)은 무선 접속을 경유하여 또한 서로 통신할 수 있다. 다른 실시예들에서, 상기 착용가능 햅틱 디바이스들 (110 및 112) 각각은 (예를 들면, 도 2에서 보이는) 제어 유닛 (102)으로의 독립적인 무선 접속을 가진다. 바람직한 실시예들에서, 상기 햅틱 디바이스들 (110 및 1120)은, 예를 들면, 블루투스 통신 프로토콜과 같은 단거리 무선 통신을 이용하여 서로 그리고/도는 상기 제어 유닛 (102)과 통신한다.

몇몇의 실시예들에서, 상기 엔터테인먼트 시스템 (100)은, 예를 들면, 콘서트에서, 영화관에서, 또는 집에서 서라운드 시스템을 이용하는 것처럼 라이브 또는 실시간 엔터테인먼트 경험을 위한 멀티-감각적 몰입을 제공하도록 더 구성될 수 있다. 그런 실시예들에서, 상기 라이브 또는 실시간 엔터테인먼트 경험은 상기 제어 유닛 (102)에 연결된 전자 디바이스라기 보다는 상기 엔터테인먼트 시스템 (100)의 오디오 스스 (104)로서 소용이 될 수 있다. 추가로, 상기 제어 유닛 (102)에 포함된 오디오 입력 디바이스들 중 하나는 상기 라이브 또는 실시간 사운드들을 포착하고 그리고 그 사운드들을 전기 신호로 변환하도록 구성된 (예를 들면, 도 3에서 보이는 오디오 입력 디바이스 (312)와 같은) 마이크로폰일 수 있다. 마이크로폰에 의해 생성된 전기 신호들은 상기 제어 유닛 (102)으로의 오디오 입력으로서 제공될 수 있으며, 그리고 상기 제어 유닛 (102)은 이 오디오 입력을 그 오디오 입력에 기반하여 햅틱 신호를 생성하기 위해 착용가능 햅틱 디바이스들 (110 및 112)에게 제공하도록 구성될 수 있다. 이 방식에서, 햅틱 콘텐트는 라이브 또는 실시간 엔터테인먼트 경험의 오디오 또는 오디오-시각적 콘텐트에 추가될 수 있다.

몇몇 실시예들에서, 상기 착용가능 햅틱 디바이스들 (110 및 112)은 사용자의 움직임이나 제스처를 탐지하고 그리고 데이터 소스 (106)로의 운반을 위해 상기 탐지된 움직임을 나타내는 데이터를 제어 유닛 (102)에게 제공하도록 구성될 수 있다. 예를 들면, 게이밍 콘솔이나 비디오 게임 제어기와 함께 사용될 때에, 상기 착용가능 햅틱 디바이스들 (110 및 112)은 그 게이밍 콘솔의 입력 디바이스들로서 동작할 수 있으며, 그리고 사용자의 상기 탐지된 제스처나 움직임은 비디오 게임에서의 입력들로서 소용이 될 수 있다. 몇몇 경우에, 상기 탐지된 움직임 데이터는 패킷화되어 상기 제어 유닛 (102) 및 상기 햅틱 디바이스들 (110 및 112) 사이의 무선 접속을 이용하여 상기 제어 유닛 (102)으로 거꾸로 송신될 수 있다. 이와 같은 상황들 그리고 상기 햅틱 디바이스들 (110 및 112)이 상기 제어 유닛 (102) 및/또는 상기 데이터 소스 (106)를 위해 데이터를 수집하는 경우인 다른 상황들에서, 제어 유닛 (102) 및 햅틱 디바이스들 (110 및 112) 사이의 무선 접속은 패킷들을 송신하고 수신하는 것 둘 모두를 위한 양방향 접속으로서 구성될 수 있다.

상기 제어 유닛 (102)은, 상기 오디오 소스 (104)에 의해 제공된 오디오 콘텐트 및 상기 데이터 소스 (106)에 의해 제공된 데이터 콘텐트를 프로세싱하고, 그 오디오 및 데이터 콘텐트를 착용가능 햅틱 디바이스들 (110 및 112)로의 무선 전송을 위해 적합한 오디오 및 데이터 패킷들로 각각 패킷화하고, 그리고 햅틱 디바이스들 (110 및 112)로부터의 햅틱 콘텐트 전달을 상기 오디오 리스닝 디바이스 (108)에 의한 오디오 콘텐트 출력의 전달과 동기화할 수 있는 임의 유형의 전자 컴퓨팅 디바이스일 수 있다. 실시예들에서, 상기 제어 유닛 (102)은 상기 엔터테인먼트 시스템 (100)을 구현하기 위해 상기 착용가능 햅틱 디바이스들 (110 및 112)과 함께 판매되는 하드웨어 액세서리일 수 있다. 예를 들면, 상기 제어 유닛 (102)은, 적절한 입력 디바이스 및 출력 디바이스 그리고 햅틱 디바이스들 (110 및 112)의 (예를 들면, 도 4에서 보이는 무선 트랜시버 (402)와 같은) 무선 트랜시버들과 호환되는 (예를 들면, 도 3에서 보이는 무선 트랜시버 (310)와 같은) 무선 트랜시버를 구비한 동글, 퍽 (puck), 또는 다른 작은 전자 디바이스로 패키징될 수 있다.

도 2는 실시예들에 따라, 비디오 게이밍 시나리오에서 사용하기 위한 엔터테인먼트 시스템 (100)의 예시적인 구현을 도시한다. 보이는 것처럼, 엔터테인먼트 시스템 (200)은 그 시스템 (200)의 오디오 소스로서 소용이 있는 게이밍 콘솔 (204)로부터 오디오 콘텐트를 수신하도록 구성된 제어 유닛 (202)을 포함할 수 있다. 인정할 것은, 상기 게이밍 콘솔 (204)은 상기 오디오 콘텐트와 연관된 비디오 콘텐트를 디스플레이하기 위해 디스플레이 스크린 (도시되지 않음)에 또한 연결될 수 있다. 상기 제어 유닛 (202)은 상기 수신된 오디오 콘텐트를 사용자의 귀로의 전달을 위해 헤드폰 (208)으로 제공할 수 있다. 또한 보이는 것처럼, 제어 유닛 (202)은 사용자의 발로의 오디오 콘텐트에 기반한 진동들을 운반하도록 구성된 신발 디바이스들 (210 및 212)의 쌍에 블루트스 통신 프로토콜을 경유하여 무선으로 연결될 수 있다. 예를 들면, 상기 신발 디바이스들 (210 및 212) 각각은 상기 시스템 (200)에 의해 제공된 엔터테인먼트 경험 (예를 들면, 비디오 게임, 영화, 음악 작품 등)을 향상시키기 위해, 제어 유닛 (202)으로부터 수신된 오디오 콘텐트를 햅틱 신호들로 변환하기 위한 (예를 들면, 도 4에서 보이는 햅틱 트랜스듀서 (404)와 같은) 햅틱 트랜스듀서를 포함할 수 있다. 실시예들에서, 상기 신발 디바이스들 (210 및 212)은 공동 소유인 미국 특허 No. 8,644,967에서 설명된 진동 신발 디바이스와 유사할 수 있으며, 그 미국 특허의 내용들은 그 전체가 본원에 참조로서 편입된다.

예시된 실시예에서, 게임 제어기 (214) (예를 들면, 핸드헬드 게이밍 디바이스)는 상기 신발 디바이스들 (210 및 212)로부터 데이터 콘텐트를 수신하기 위해 제어 유닛 (202)에 통신 가능하게 연결된다. 예를 들면, 상기 디바이스들 (210 및 212) 내 햅틱 트랜스듀서들은 그 디바이스들 (210 및 212)을 착용한 사용자의 움직임을 탐지하고 그리고/또는 예를 들면, 스텝들의 개수, 움직임의 유형 (예를 들면, 달리기/조깅, 걷기, 춤추기 등), 이동한 거리, 이동 방향, 속도, 그라운드 특성 (예를 들면, 지형 또는 바닥의 유형) 등과 같은 그 사용자의 움직임에 관련된 정보를 모으도록 구성될 수 있다. 이 움직임 또는 위치 데이터는 제어 유닛 (202) 및 신발 디바이스들 (210 및 212) 사이의 유선 또는 무선 접속을 경유하여 상기 제어 유닛 (202)으로 거꾸로 송신될 수 있다. 그리고, 상기 제어 유닛 (202)은 그 수신된 데이터를 유선 또는 무선 접속을 경유하여 게임 제어기 (214)로 전송할 수 있다. 몇몇의 경우들에, 신발 디바이스들 (210 및 212)로부터 수신된 데이터는 비디오 게임으로의 입력들로서 소용이 될 수 있으며, 그러므로, 사용자가 플레이하고 있는 비디오 게임에 관한 프로세싱을 위해 상기 게임 제어기 (214)에 의해서 게이밍 콘솔 (204)로 제공될 수 있다. 그런 경우에, 게임 제어기 (214) 및 게이밍 콘솔 (204)은 동일한 게임 시스템의 컴포넌트들일 수 있다.

몇몇의 경우들에, 상기 게이밍 콘솔 (204)은 엔터테인먼트 시스템 (200)을 위한 오디오 소스 및 데이터 소스 둘 모두로 소용이 되며, 그리고 신발 디바이스들 (210 및 212)을 제어하거나 설정하기 위해 제어 유닛 (102)으로 데이터를 제공한다. 그런 경우에, 상기 제어 유닛 (202)은 데이터 콘텐트를 오디오 콘텐트와 함께 신발 디바이스들 (210 및 212)로 전송할 수 있다. 상기 게임 콘텐트는 상기 신발 디바이스들 (210 및 212)을 통해 사용자에게로 전달하기 위해 특정 촉각적 감각들 또는 진동들 (예를 들면, 지진, 엔진 소리, 자갈 도로 상의 타이어들 등)에 관한 명령어들을 포함할 수 있다. 몇몇 경우에, 상기 데이터 콘텐트는 상기 오디오 콘텐트가 상기 제1 신발 디바이스 (210), 상기 제2 신발 디바이스 (212), 또는 두 디바이스들 모두를 위해 예정된 것인가의 여부를 표시한다. 상기 데이터 콘텐트는 어느 데이터가 상기 디바이스들 (210 및 212)에 포함된 햅틱 트랜스듀서들에 의해 포착되며 그리고 제어 유닛 (202)을 경유하여 게임 제어기 (214)로 거꾸로 송신되어야만 하는가를 또한 표시할 수 있다.

예시된 실시예에서, 제어 유닛 (202)은 신발 디바아시들 (210 및 212) 각각과의 분리된 블루투스 접속을 가지며, 그러므로, 상기 오디오 콘텐트 및/또는 데이터 콘텐트를 두 디바이스들 (210 및 212)로 한번에 무선으로 전송할 수 있다. 다른 실시예들에서, 상기 제어 유닛 (202)은 상기 오디오 및/또는 데이터 콘텐트를 (예를 들면, 도 1에서 보이는) 두 신발 디바이스들 (210 및 212) 중 어느 하나로만 무선으로 전송하도록 구성될 수 있으며, 그리고 수신 디바이스 (210/212)는 그 수신된 콘텐트를 다른 디바이스 (212/210)로 포워딩하도록 구성될 수 있다.

도 2에서 보이듯이, 상기 제어 유닛 (202)은 그 제어 유닛 (202)을 게이밍 콘솔 (204) 및 헤드폰 (208)에 부착하기 위해 사용된 케이블들 사이에 또는 그 케이블들에 매달린 동글-유형 디바이스로서 구현될 수 있다. 몇몇의 실시예들에서, 상기 제어 유닛 (202)은 사용자의 신체 상에 배치 (예를 들면, 팔찌나 목걸이로 착용), 사용자의 의복에 부착 (예를 들면, 벨크로나 클립들 사용), 또는 다른 가까운 위치 (예를 들면, 주머니, 지갑 또는 백)에 배치를 위해 구성될 수 있다.

통상적인 무선 시스템들에서, 신호가 무선 시스템에 들어갈 때 그리고 그 신호가 상기 시스템으로부터 나올 때 사이의 레이턴시 또는 지연은 대체적으로 낮지만 (보통은 밀리초 (ms)로 측정됨), 특정 엔터테인먼트 애플리케이션들에서는, 심지어는 작은 지연이 사용자에 의해 감지될 수 있으며 그리고/또는 사용자 경험을 바꿀 수 있다. 예를 들면, 오디오-시각적 시나리오에서 무선 헤드폰들을 사용할 때에, 오디오 신호의 무선 헤드폰들로의 무선 전송으로부터 비롯된 오디오 레이턴시는 헤드폰들을 경유하여 사용자에게 전달된 오디오 그리고 디스플레이 스크린 상에 나타난 비디오 사이의 사용자-감지가능 지연 (예를 들면, 오프셋 립싱크)을 초래하기에 (예를 들면, 200 ms를 넘는 것처럼) 충분하게 높을 수 있다. 인정될 것처럼, 어떤 양의 레이턴시는, 예를 들면, 공기 중에서의 사운드 속도, 전파 (propagation) 지연, 및 무선 신호 경로에 영향을 주는 어떤 장애물들로 인해서, 어떤 정해진 무선 접속에 대해서는 고유한 것일 수 있다. 그러나, 레이턴시의 다른 소스는, 예를 들면, 패킷 전송 및/또는 지연 시간, 버퍼링, 디지털 신호 프로세싱, 및 아날로그-디지털 및/또는 디지털-아날로그 변환들처럼, 정해진 무선 시스템에 유일하거나 또는 그 무선 시스템에 종속할 수 있다

햅틱 콘텐트를 이용하여 멀티-감각적 몰입을 제공하기 위해서 또는 그렇지 않고 오디오 또는 오디오시각적 경험을 향상시키기 위해, 상기 햅틱 콘텐트는 그 햅틱 콘텐트가 유도된 오디오 콘텐트와 적어도 동기하여 사용자에게 전달될 필요가 있다. 그래서, 본 발명 개시의 환경에서, "레이턴시 (latency)"의 용어는 오디오 신호가 상기 제어 유닛 (102)에 들어갈 때 그리고 관련된 햅틱 신호가 상기 착용가능 햅틱 디바이스들 (110 및 112)로부터 나타낼 때 사이의 지연을 언급하는 것일 수 있으며, 여기에서 상기 지연의 적어도 일부는 상기 제어 유닛 (102) 및 상기 착용가능 햅틱 디바이스들 (110 및 112) 사이의 무선 접속에 의해 초래되거나 또는 그 무선 접속에 관련된다. 본원에서 설명된 다양한 실시예들은 상기 제어 유닛 (102) 그리고 상기 착용가능 햅틱 디바이스들 (110 및 112) 사이에 극도의-낮은 레이턴시 무선 접속을 제공하며, 이는 상기 엔터테인먼트 시스템 (100)을 구현할 때에 임의의 사용자-감지가능 지연을 본질적으로 제거하기 위한 것이다. 예를 들면, 상기 제어 유닛 (102) 그리고 상기 착용가능 햅틱 디바이스들 (110 및 112)은 상기 무선 접속의 레이턴시를 50 밀리초 미만으로, 그리고 몇몇 경우에는, 단지 40 밀리초로 줄이는 방식으로, 들어오는 데이터 및 나가는 데이터 (예를 들면, 오디오 스트림들, 제어 데이터, 오디오 패킷들, 데이터 패킷들 등)를 프로세싱하도록 구성될 수 있다.

도 3은 실시예들에 따라, 상기 전자 제어 유닛 (300) 그리고 (예를 들면, 도 1에서 보이는 착용가능 햅틱 디바이스들 (110 및 112)과 같은) 하나 이상의 햅틱 디바이스들 사이에서의 극도로-낮은 레이턴시 무선 접속을 용이하게 하도록 구성된 예시의 전자 제어 유닛 (300)을 도시한다. 상기 전자 제어 유닛 (300)은 도 1에서 도시되며 본원에서 설명된 제어 유닛 (102) 그리고/또는 도 2에서 도시되며 본원에서 설명된 제어 유닛 (202)과 실질적으로 유사할 수 있다. 실시예들에서, 상기 제어 유닛 (300)은 하나 이상의 집적 회로들 상에서 구현될 수 있다.

도 3에서 보이듯이, 상기 제어 유닛 (300)은 (예를 들면, 도 1에 도시된 오디오 소스 (104)와 같은) 외부 오디오 소스로부터 오디오 스트림을 수신하도록 구성된, 예를 들면, 보조 입력과 같은 오디오 입력 디바이스 (302)를 포함한다. 예를 들면, 상기 오디오 입력 디바이스 (302)를 케이블을 경유하여 오디오 소스에 연결된 대응 오디오 플러그 (예를 들면, 3.5 밀리 오디오 잭)를 받아드리도록 구성된 오디오 소켓 (예를 들면, 3.5 밀리 오디오 소켓)일 수 있다. 실시예들에서, 상기 오디오 입력 디바이스 (302)는, 입력 오디오 또는 오디오 스트림을 상기 제어 유닛 (300) 내 오디오 경로 그리고 그 제어 유닛 (300) 내 햅틱 경로 사이에서 분할하도록 구성된 오디오 스플리터 (304)에 연결될 수 있다. 상기 오디오 스플리터 (304)는 (예를 들면, 온-보드 회로 컴포넌트들을 이용하여) 하드웨어로, (예를 들면, 상기 제어 유닛 (300)의 프로세서에 의해 실행된) 소프트웨어로, 또는 그것들의 조합으로 구현될 수 있다.

도시되었듯이, 제어 유닛 (300) 내 오디오 경로는, 그 오디오 경로에 제공된 오디오 스트림을 (예를 들면, 도 1에 도시된 오디오 리스닝 디바이스 (108)와 같은) 외부 오디오 리스닝 디바이스로 출력하도록 구성된, 예를 들면, 보조 출력과 같은 오디오 출력 디바이스 (306)에 연결될 수 있다. 예를 들면, 상기 오디오 출력 디바이스 (306)는 케이블을 경유하여 상기 오디오 리스닝 디바이스에 연결된 대응하는 오디오 플러그를 받아드리도록 구성된 오디오 소켓일 수 있다.

또한 도시되었듯이, 상기 제어 유닛 (300) 내 햅틱 경로는, 그 햅틱 경로에 제공된 오디오 스트림을 단거리 무선 통신 기술을 이용하여 (예를 들면, 도 1에 도시된 착용가능 햅틱 디바이스들 (110 및 112) 및/또는 도 4에 도시된 햅틱 디바이스 (400)와 같은) 하나 이상의 외부 햅틱 디바이스들로 전송하도록 구성된 무선 트랜시버 (308)에 연결될 수 있다. 예를 들면, 상기 무선 트랜시버 (308)는 상기 햅틱 디바이스들과 페어링되어, 그것들 사이에서의 무선 통신을 가능하게 하는 블루투스 트랜시버일 수 있다.

몇몇의 실시예들에서, 상기 제어 유닛 (300)은, 그 제어 유닛 (300)의 미리 정해진 가까운 거리 내에서의 사운드들을 포착하고 그리고 그 포착된 사운드들을 오디오 신호로 변환하도록 구성된, 예를 들면, 마이크로폰과 같은 제2 오디오 입력 디바이스 (310)를 더 포함한다. 도 3에 도시되었듯이, 상기 제2 오디오 입력 디바이스 (310)는 상기 햅틱 경로에 연결될 수 있으며, 이는 상기 포착된 오디오 신호를 외부 햅틱 디바이스들로의 전송을 위해 상기 무선 트랜시버 (308)로 제공하기 위한 것이다. 그런 경우에, 상기 제어 유닛 (300)을 위한 오디오 소스는, 예를 들면, 극장에서의 영화 상영, 콘서트 홀에서의 콘서트, 또는 서라운드 사운드 시스템을 통해 제시된 비디오 게임과 같은 라이브 또는 실시간 엔터테인먼트 이벤트일 수 있으며, 그리고 상기 제어 유닛 (300)은, 라이브 또는 실시간 엔터테인먼트 경험 동안에 상기 마이크로폰 (310)에 의해 포착된 오디오 콘텐트로부터 유도된 햅틱 콘텐트를 이용하여 상기 라이브 또는 실시간 엔터테인먼트 경험을 향상시키기 위해 사용될 수 있다. 예를 들면, 상기 제어 유닛 (300)은 상기 라이브 또는 실시간 오디오 콘텐트의 저주파수 성분들을 향상시키도록 설계된 진동들을 사용자가 경험하는 것을 가능하게 할 수 있다.

도 3에서 보이듯이, 상기 제어 유닛 (300)은, 그 제어 유닛 (300)에 포함된 데이터 경로에 연결된 데이터 입력 디바이스 (312) (여기에서는 "데이터 포트"로도 언급됨)를 더 포함할 수 있으며, 이는 그 데이터 입력 디바이스 (312)에 통신 가능하게 연결된 외부 데이터 소스로부터 데이터를 수신하기 위한 것이다. 몇몇 실시예들에서, 상기 데이터 포트 (312)는 데이터 출력 디바이스로서도 또한 구성되어, 무선 트랜시버 (308)로부터 수신된 데이터를 상기 데이터 포트 (312)에 연결된 데이터 소스에게 제공한다. 그런 경우에, 상기 데이터 경로는 양방향 전송을 할 수 있다. 상기 데이터 입력 디바이스 (312)는, 예를 들면, 범용 직렬 버스 (USB) 포트, 미니-USB 포트, 마이크로-USB 포트, 라이트닝 커넥터 포트, 이더넷 포트 등과 같은 임의 유형의 데이터 포트일 수 있다. 몇몇 실시예들에서, 상기 데이터 입력 디바이스 (312)는 상기 제어 유닛 (300)의 배터리 (도시되지 않음)를 재충전하기 위한 충전 케이블을 받아들이기 위해 또한 사용될 수 있다.

도 3에서 보이듯이, 상기 햅틱 경로는 저역 필터 (LPF) (314)를 더 포함하며, 이는 상기 제1 오디오 입력 디바이스 (302)에 의해 또는 제2 오디오 입력 디바이스 (310)에 의해 상기 햅틱 경로에 제공된 오디오 스트림으로부터 고주파수 성분들을 제거하기 위한 것이다. 상기 LPF (314)를 위한 정확한 컷오프 (cut off) 값은 상기 외부 햅틱 디바이스들로부터 소망되는 저주파수 효과에 기반하여 선택될 수 있다. 예를 들면, 몇몇 실시예들에서, 상기 LPF (314)는 상기 외부 햅틱 디바이스들이 600 Hz 아래의 주파수 성분들을 늘리게 하도록 구성되기 때문에 600 Hz 에서의 또는 그보다 큰 주파수들을 필터링하여 없애도록 구성될 수 있다. 보이는 것처럼, 상기 LPF (314)는 상기 햅틱 경로의 시작 부분에 가깝게 배치될 수 있으며, 그래서 상기 오디오 스트림이 상기 햅틱 경로에 연결된 프로세서 (316) 그리고 상기 햅틱 경로 끝에 연결된 무선 트랜시버 (308)에 도달하기 이전에 상기 고주파수 성분들이 제거되도록 한다. 상기 LPF (314)의 이런 배치는 프로세싱 및 전송 이전에 상기 오디오 스트림의 크기를 줄이는 것을 도울 수 있으며, 이는 상기 제어 유닛 (300) 내 데이터 프로세싱 그리고/또는 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들 사이에서의 무선 접속과 연관된 레이턴시를 낮추는 것을 도울 수 있다.

상기 프로세서 (316)는 데이터 프로세싱, 입력, 출력, 조정, 저장, 또는 인출을 위한 기저대역 프로세서, 오디오 프로세서, 데이터 프로세서, 중앙 프로세싱 유닛, 애플리케이션-특정 집적 회로, 로직 디바이스, 또는 다른 전자 디바이스 중 하나 이상을 포함할 수 있다. 상기 프로세서 (316)는 상기 제어 유닛 (300)의 메모리에 저장된 소프트웨어를 실행하도록 설정될 수 있다. 상기 메모리 (318)는 데이터 저장, 인출, 독출 또는 쓰기를 위한 데이터 저장 디바이스, 전자 메모리, 비휘발성 랜덤 액세스 메모리 (예를 들면, RAM), 플립-플롭, 비-일시적 컴퓨터-쓰기가능 또는 컴퓨터-판독가능 저장 매체, 자기 또는 광학 데이터 저장 디바이스, 또는 다른 전자 디바이스 중 하나 이상을 포함할 수 있다. 상기 메모리 (318)는 상기 프로세서 (316)에 의한 실행을 위한 하나 이상의 컴퓨터 프로그램 모듈들, 컴퓨터 실행가능 명령어들, 또는 다른 소프트웨어를 저장할 수 있다. 예를 들면, 몇몇 실시예들에서, 상기 메모리 (318)는 소프트웨어 애플리케이션 (도시되지 않음)을 저장할 수 있으며, 이 애플리케이션은 프로세서 (316)에 의해 실행될 때에, 그 프로세서 (316)로 하여금 여기에서 설명된 낮은 레이턴시 무선 통신 프로토콜을 구현하고, 상기 제어 유닛 (300)을 이용하여 오디오 및 햅틱 콘텐트 전달의 동기화를 용이하게 하고, 그리고/또는 (예를 들면, 도 5에 도시된 방법 (500)과 같은) 여기에서 설명된 방법을 구현하도록 한다.

보이듯이, 상기 프로세서 (316)는 상기 저역 필터 (314) 및 상기 무선 트랜시버 (308) 사이의 햅틱 경로에 연결될 수 있으며, 그래서 상기 필터링된 오디오 스트림이 상기 오디오 콘텐트가 외부 햅틱 디바이스들로 전송되기 이전에 프로세싱될 수 있도록 한다. 실시예들에 따라, 상기 프로세서 (316)는 상기 오디오 콘텐트를 복수의 오디오 패킷들로 파티션함으로써 상기 필터링된 오디오 스트림을 패킷화하도록 구성될 수 있다. 도 3에서 보이는 것처럼, 상기 프로세서 (316)는, 예를 들면, 상기 외부 햅틱 디바이스들의 동작을 제어하기 위한 제어 데이터와 같은 데이터 입력들을 데이터 포트 (312)로부터 수신하기 위해 상기 데이터 경로에 또한 연결된다. 실시예들에서, 상기 프로세서 (316)는 데이터 포트 (312)를 경유하여 수신된 데이터 출력들을 패킷화하고 그리고 복수의 오디오 패킷들과 함께 외부 햅틱 디바이스들로 전송하기 위해 상기 데이터 패킷들을 무선 트랜시버 (308)에게 제공하도록 설정될 수 있다.

몇몇 경우들에서, 상기 데이터 패킷들은, 예를 들면, 잠시 멈춤, 재생, 볼륨 제어 등과 같은 오디오 콘텐트 재생과 연관된 기능들을 제어하기 위한 제어 데이터를 포함한다. 대안으로 또는 추가로, 상기 데이터 패킷들은, 예를 들면, 지진, 걷기, 탱크 소리, 또는 상기 오디오 콘텐트와 연관된 다른 촉각적 감각들을 시뮬레이션하기 위한 명령어들처럼 외부 햅틱 디바이스들을 위한 특별한 제어 데이터를 포함할 수 있다.

상기 프로세서 (316)는 상기 데이터 패킷들을 무선 트랜시버 (308)에게 제공하기 이전에 그 데이터 패킷들을 복수의 오디오 패킷들에게로 인터리브하도록 구성될 수 있으며, 그래서 상기 오디오 패킷들 및 데이터 패킷들이 동일한 통신 채널을 통해 전송되도록 한다. 패킷들 유형 둘 모두를 한꺼번에 전송하는 것은 전송 시간을 줄어들게 할 수 있으며 그리고 상기 외부 햅틱 디바이스들이 상기 데이터 패킷들 및 오디오 패킷들을 빠르게 연속해서 그리고/또는 더욱 효율적으로 프로세싱하는 것을 가능하게 할 수 있으며, 그래서 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들 사이의 무선 접속에 존재하는 레이턴시의 양을 줄이는 것을 돕는다.

실시예들에서, 각 오디오 패킷에는 오디오 패킷 식별자, 동기 워드 (sync word), 플레이까지의-시간 (time-to-play (TTP)) 데이터가 할당될 수 있으며, 이것들 모두는 상기 오디오 패킷의 헤더 내에 포함될 수 있다. 유사하게, 각 데이터 패킷은 데이터 패킷 식별자 및 동기 워드가 할당될 수 있으며, 이것들 둘 모두는 상기 패킷 헤더 내에 포함된다. 상기 오디오 패킷 식별자는 오디오 패킷을 오디오 콘텐트를 포함하는 것으로서 식별하며 그리고 모든 오디오 패킷들에 공통일 수 있다. 유사하게, 상기 데이터 패킷 식별자는 데이터 패킷을 제어 데이터를 포함하는 것으로서 식별하며 그리고 모든 데이터 패킷들에 공통일 수 있다. 상기 동기 워드는 상기 오디오 및 데이터 패킷들을 동일한 전송에 속한 것으로 식별하며 그리고 상기 제어 유닛 (102)에 의해 전송되거나 수신된 모든 패킷들에 대해 공통일 수 있다. 상기 TTP 데이터는 정해진 오디오 패킷 내 오디오 콘텐트가 플레이되어야 하는 시점, 또는 오디오 스트림 내에서 그 오디오 패킷의 시간적인 순서를 표시하며, 그러므로, 각 오디오 패킷에 대해 유일할 수 있다. 상기 TTP 데이터는 상기 오디오 스트림을 외부 햅틱 디바이스들에서 재구축하기 위해 사용될 수 있다. 각 오디오 또는 데이터 패킷의 헤더는 소스, 목적지, 코맨드, 체크섬, 및 페이로드 크기 정보를 더 포함할 수 있다. 상기 헤더에 추가로, 각 패킷은 페이로드 또는 그 패킷에 의해 운반되고 있는 실제의 오디오 또는 데이터 콘텐트를 또한 포함할 수 있다. 하나의 예시의 실시예에서, 각 패킷의 페이로드는 2048 비트까지일 수 있다. 패킷들이 수신기 측 상에서 (예를 들면, 외부 햅틱 디바이스들에서) 재조립될 때에, 상기 헤더 정보는 동일한 오디오 스트림에 속한 오디오 패킷들을 식별하고, 그 오디오 패킷들을 데이터 패킷들과 구별하며, 그리고 그 오디오 패킷들을 상기 오디오 스트림을 재구축하기 위한 적절한 순서로 배치하기 위해 사용될 수 있다.

몇몇 실시예들에서, 상기 오디오 패킷들 및 데이터 패킷들은 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들에 의한 더 빠른 패킷 프로세싱을 허용하는 단순 패킷 구조 프로토콜에 따라 구성될 수 있다. 특히, 동일한 패킷 구조가 정보 전송 및 수신 둘 모두에 대해 사용될 수 있지만, 그 메시지들의 의미 또는 해석은 수용자에 종속하여 (예를 들면, 제어 유닛 (300) 대 외부 햅틱 디바이스들) 변할 수 있다. 예를 들면, 제어 유닛 (300)으로부터 상기 외부 햅틱 디바이스들로 송신된 패킷이 헤더의 코맨드 부분 내에 네임 코맨드 "0x0001"을 포함하면, 상기 외부 햅틱 디바이스들은 그 메시지를 상기 디바이스 이름을 페이로드로 변경하라는 코맨드로서 번역한다. 그러나, 동일한 네임 코맨드를 포함한 패킷이 상기 외부 햅틱 디바이스들로부터 상기 제어 유닛 (300)으로 송신되면, 프로세서 (316)는 그 코맨드를 상기 외부 햅틱 디바이스들이 그 페이로드로 현재 명명되었다는 것을 상기 제어 유닛 (300)에게 통지하는 메시지로서 해석한다.

실시예들에서, 상기 프로세서 (316)는 각 오디오 패킷에 대한 플레이까지의-시간 데이터를 그 오디오 패킷과 연관된 타임스탬프 그리고 오디오 스트림을 상기 착용가능 햅틱 디바이스들에게 전송하는 것과 연관된 레이턴시의 추정된 양 (예를 들면, 밀리초 단위)에 기반하여 결정할 수 있다. 그런 경우에, 그 추정된 레이턴시는 그 오디오 콘텐트의 재생을 지연하기 위한 오프셋 구간으로서 사용될 수 있으며, 그리고 정해진 오디오 패킷에 대한 플레이까지의 시간은 이 오프셋 구간을 그 오디오 패킷의 타임스탬프에 더하거나, 또는 그렇지 않고 상기 오프셋 지연을 반영하기 위해 상기 타임스탬프를 수정함으로써 계산될 수 있다. 상기 타임스탬프는 오디오 콘텐트에 포함된 그 오디오 콘텐트의 시퀀스 넘버 또는 상기 외부 햅틱 디바이스들에 의한 수신 시에 상기 오디오 스트림의 재조립을 용이하게 하기 위한 다른 시간 데이터를 포함할 수 있다. 몇몇 실시예들에서, 상기 타임스탬프는 상기 프로세서 (316) 및/또는 상기 제어 유닛 (300)의 내부 클록 (도시되지 않음)으로부터 유도된 절대적인 시각을 나타낼 수 있다. 예를 들면, 상기 타임스탬프는 오디오 패킷들을 상기 외부 햅틱 디바이스들에게 전송하기 위해 사용된 무선 트랜시버 (308)의 블루투스 클록으로부터 유도될 수 있다.

실시예들에서, 상기 프로세서 (316)는 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들 사이에서의 무선 접속과 연관된 레이턴시의 양을 계산하거나 추정하기 위해 하나 이상의 팩터들을 사용할 수 있다. 예를 들면, 레이턴시의 양은 상기 오디오 스트림을 오디오 패킷들로 패킷화하기 위해 상기 프로세서 (316)가 필요로 하는 시간의 양, 상기 제어 유닛 (300)으로부터 수신된 오디오 패킷들 및/또는 데이터 패킷들을 처리하기 위해 상기 외부 햅틱 디바이스들이 필요로 하는 시간의 양, 상기 오디오 패킷들을 상기 제어 유닛 (300)으로부터 상기 외부 햅틱 디바이스들로 전송하기 위해 필요한 시간의 양, 상기 오디오 패킷들을 한 햅틱 디바이스로부터 다른 햅틱 디바이스로 전송하기 위해 필요한 시간의 양, 그리고/또는 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들 사이에서의 무선 전송에 영향을 주는 어떤 다른 팩터에 종속할 수 있다. 상기 프로세서 (316)는 이 레이턴시를 계산하기 위해 사용된 정보를, 예를 들면, 상기 무선 트랜시버 (308) 및 상기 외부 햅틱 디바이스들을 포함하는 하나 이상의 소스들로부터, 그리고/또는 알려진 기술들을 이용하여 상기 무선 접속을 테스트함으로써 획득할 수 있다. 몇몇 경우들에, 각 오디오 패킷에 적용된 레이턴시의 양은, 예를 들면, 소스 및/또는 목적지, 페이로드 크기 등과 같은 오디오 패킷의 어떤 특성들에 종속하여 변할 수 있다. 예를 들면, 제1 햅틱 디바이스에서 수신되어 프로세싱 및/또는 재생을 위해 그 후에 제2 햅틱 디바이스로 포워딩된 오디오 패킷은 상기 제1 패킷 디바이스에 의해 수신되어 프로세싱된 오디오 패킷보다 더 높은 레이턴시와 연관될 수 있다. 또한, 더 큰 페이로드를 가진 오디오 패킷은 더 높은 레이턴시와 연관될 수 있다. 몇몇 실시예들에서, 레이턴시의 양은 상기 제어 유닛 (300)의 작동 이전에 계산된 미리 정해진 값일 수 있다. 다른 실시예들에서, 전송 및/또는 프로세싱 환경들이 변할 때에 그리고/또는 오디오 패킷에 적용된 오프셋 구간이나 지연을 최소화하기 위해, 레이턴시의 양은 상기 제어 유닛 (300)의 작동 동안에 동적으로 또는 적응적으로 변경될 수 있다.

도 3에서 보이는 것처럼, 오디오 경로에 제공된 오디오 스트림에 시간 지연을 삽입하기 위해 상기 오디오 경로 내에 버퍼 (320)가 포함될 수 있다. 이 시간 지연은 상기 프로세서 (316)에 의해 계산되고 각 오디오 패킷에 대한 플레이까지의-시간 데이터를 유도하기 위해 사용된다. 즉, 상기 오디오 스트림은 오디오 패킷들을 위한 재생 시간들을 오프셋하기 위해 사용되었던 것과 동일한 양의 지연을 이용하여 상기 외부 오디오 리스닝 디바이스로 전송될 수 있다. 그 결과, 제어 유닛 (300)의 사용자는 상기 외부 오디오 리스닝 디바이스를 경유한 오디오 콘텐트의 전달이, 상기 외부 햅틱 디바이스들을 경유한 햅틱 콘텐트와 동기화되는 것을 감지할 수 있다. 몇몇 실시예들에서, 상기 시간 지연은 프로세서 (316)에 의해 상기 버퍼 (320)에 제공될 수 있으며, 그리고 그 버퍼 (320)는 그 시간 지연을 상기 오디오 스트림에 삽입하도록 구성될 수 있다. 다른 실시예들에서, 상기 프로세서 (316)는 그에 따라서 상기 버퍼 (300)를 조정하거나 또는 그렇지 않고 버퍼 (320)에게 그렇게 하도록 명령함으로써 상기 오디오 스트림에 시간 지연을 삽입하도록 설정될 수 있다. 상기 버퍼 (320)는 선입, 선출 (FIFO) 버퍼일 수 있으며 또는 상기 오디오 출력 디바이스 (306)를 경유한 전송 이전에 오디오 콘텐트를 저장하기에 적합한 다른 데이터 저장소일 수 있다.

상기 무선 트랜시버 (308)는 상기 오디오 패킷들 및 데이터 패킷들을 브로드캐스트하거나 상기 외부 햅틱 디바이스들로 전송하기 위해 무선 통신 프로토콜을 사용할 수 있다. 몇몇 실시예들에서, 상기 무선 트랜시버 (308)는 상기 무선 통신 프로토콜을 경유하여 상기 외부 햅틱 디바이스들로부터 데이터 패킷들을 또한 수신할 수 있다. 실시예들에서, 상기 무선 트랜시버 (308)는 블루투스 트랜시버일 수 있으며, 상기 무선 통신 프로토콜은 블루투스 통신 프로토콜일 수 있으며, 그리고 상기 햅틱 디바이스들과의 무선 접속은 상기 블루투스 통신 프로토콜의 L2CAP (Logical Link Control and Adaptation Protocol) 레이어를 이용하여 설립될 수 있다. 바람직한 실시예에서, 여기에서 설명된 기술들은, 상기 햅틱 디바이스들과의 접속을 설립하기 위해 상기 L2CAP 레이어를 포함하는 특정 베이스 블루투스 레이어들만을 사용하며 그리고 오디오 및 데이터 패킷들을 다수의 디바이스들로 신뢰성있게 전달하기 위해 유일 데이터 채널을 활용하는 신규한 블루투스 통신 프로토콜을 제공한다. 예를 들면, 일단 L2CAP 링크가 상기 제어 유닛 (300) 및 상기 외부 햅틱 디바이스들 사이에서 설립되면, 상기 무선 트랜시버 (308)는 오디오 및 데이터 패킷들을 전송하기 위해 그리고 데이터 패킷들을 수신하기 위해 상기 제어 유닛 (300) 및 상기 햅틱 디바이스들 각각 사이에 양방향 데이터 채널을 설립한다.

도시되지는 않았지만, 상기 제어 유닛 (300)은 상기 무선 트랜시버 (308)에 의해 구현된 무선 통신 프로토콜을 수행하기 위해 안테나, 모뎀, 및 다른 무선 통신 회로를 더 포함할 수 있다. 상기 제어 유닛 (300)이 둘 이상의 통신 프로토콜들 (예를 들면, 다른 단거리 무선 통신 프로토콜이나 광역 네트워크 통신 프로토콜)에 따라 동작하는 한. 상기 제어 유닛 (300)은 추가의 프로토콜(들)을 수행하기 위한 분리된 무선 통신 회로를 더 포함할 수 있다. 대안으로, 하나 이상의 회로 컴포넌트들이 둘 이상의 통신 프로토콜들에 의해 공유될 수 있다. 위에서 블루투스 기술 사용을 설명하지만, 다른 실시예들에서는 상기 무선 트랜시버 (308)는, 예를 들면, WiFi, Zigbee 등과 같은 어떤 다른 무선 통신 기술을 구현할 수 있다.

도 4는 실시예들에 따라, 오디오 데이터를, 예를 들면, 도 3에 도시된 제어 유닛 (300)으로부터 무선으로 수신하고 그리고 그 오디오 데이터를 햅틱 신호들로 변환하도록 구성된 예시의 외부 햅틱 디바이스 (400)를 도시한다. 상기 햅틱 디바이스 (400)는 도 1에 도시된 착용가능 햅틱 디바이스들 (110 및 112) 중 적어도 하나 및/또는 도 2에 도시된 신발 디바이스들 (210 및 212) 중 적어도 하나에 내장될 수 있으며, 그래서 상기 햅틱 신호들이 사용자의 신체에 인가될 수 있도록 한다. 상기 햅틱 디바이스 (400)는, 예를 들면, 도 1에 도시된 오디오 리스닝 디바이스 (108)를 경유하여 사용자의 귀로 관련된 오디오 콘텐트를 전달하는 것과 동기하여 사용자의 신체로의 햅틱 신호들 전달을 용이하게 하도록 더 구성될 수 있다. 실시예들에서, 상기 햅틱 디바이스 (400)는 하나 이상의 집적 회로들 상에서 구현될 수 있다.

도시되었듯이, 상기 햅틱 디바이스 (400)는 상기 제어 유닛 (300) 및 상기 햅틱 디바이스 (400) 사이에서의 무선 접속을 용이하게 하기 위해 무선 트랜시버 (402)를 포함한다. 실시예들에서, 제어 유닛 (300)으로부터 오디오 패킷들 및 데이터 패킷들을 수신하고 그리고 데이터 패킷들을 제어 유닛 (300)으로 송신하기 위해서 상기 제어 유닛 (300)의 무선 트랜시버 (308) 및 상기 햅틱 디바이스 (400)의 무선 트랜시버 (402) 사이에 양방향 통신 채널이 설립될 수 있다. 상기 무선 트랜시버 (402)는 이 채널을 설립하기 위해 참조번호 308의 무선 트랜시버와 동일한 유형의 무선 통신 기술용으로 구성될 수 있다. 바람직한 실시예에서, 상기 무선 트랜시버 (402)는 상기 제어 유닛 (300)의 무선 트랜시버 (308)와 유사하게 블루투스 트랜시버이며, 그리고 제어 유닛 (300)과의 무선 접속을 설립하기 위해 블루투스 무선 통신 프로토콜의 L2CAP 레이어를 사용한다.

상기 햅틱 디바이스 (400)는 제어 유닛 (300)으로부터 수신한 오디오 콘텐트를 햅틱 신호들로 변환하기 위해 적어도 하나의 햅틱 트랜스듀서 (404)를 더 포함한다. 몇몇 실시예들에서, 상기 햅틱 트랜스듀서 (404)는 사용자의 움직임이나 제스처를 탐지하고 그리고 그것들과 연관된 위치 데이터 또는 움직임 데이터를 획득하고 그리고/또는 기록하도록 또한 구성된다. 이 데이터는 무선 트랜시버 (402)를 경유하여 제어 유닛 (300)으로 거꾸로 송신되며, 그리고 제어 유닛 (300)에 연결된 데이터 소스로 프로세싱을 위해 제공될 수 있다. 실시예들에서, 상기 햅틱 트랜스듀서 (404)는 공동 소유인 미국 임시 특허 출원 No. 62/366,581에서 설명된 햅틱 트랜스듀서와 유사할 수 있으며, 이 출원은 그 전체가 본원에 참조로서 편입된다.

도 4에서 보이듯이, 햅틱 디바이스 (400)는 그 햅틱 디바이스 (400)의 작을 제어하고 그리고 제어 유닛 (300)으로부터 수신한 오디오 및 데이터 패킷들을 프로세싱하기 위한 프로세서 (406)를 포함한다. 상기 프로세서 (406)는, 데이터 프로세싱, 입력, 출력, 조작, 저장, 또는 인출을 위해 기저대역 프로세서, 오디오 프로세서, 데이터 프로세서, 중앙 프로세싱 유닛, 마이크로프로세서, 마이크로제어기, 프로그래머블 로직 어레이, 애플리케이션-특정 집적 회로, 로직 디바이스, 또는 다른 전자 디바이스 중 하나 이상을 포함할 수 있다. 상기 프로세서 (406)는 햅틱 디바이스 (400)의 메모리 (406)에 저장된 소프트웨어를 실행하도록 설정될 수 있다.

상기 메모리 (408)는 데이터 저장, 인출, 독출 또는 쓰기를 위해 데이터 저장 디바이스, 전자 메모리, 비휘발성 랜덤 액세스 메모리 (예를 들면, RAM), 플립-플롭, 비-일시적 컴퓨터-쓰기가능 또는 컴퓨터-판독가능 저장 매체, 자기 또는 광학 데이터 저장 디바이스, 또는 다른 전자 디바이스 중 하나 이상을 포함할 수 있다. 상기 메모리 (408)는 상기 프로세서 (406)에 의한 실행을 위한 하나 이상의 컴퓨터 프로그램 모듈들, 컴퓨터 실행가능 명령어들, 또는 다른 소프트웨어를 저장할 수 있다. 예를 들면, 몇몇 실시예들에서, 상기 메모리 (408)는 소프트웨어 애플리케이션 (도시되지 않음)을 저장할 수 있으며, 이 애플리케이션은 프로세서 (406)에 의해 실행될 때에, 그 프로세서 (406)로 하여금 여기에서 설명된 낮은 레이턴시 무선 통신 프로토콜을 구현하고, 들어오는 그리고 나가는 패킷들을 처리하고, 그리고/또는 (예를 들면, 도 6에 도시된 방법 (600)과 같은) 본원에서 설명된 방법을 구현하도록 한다.

상기 햅틱 디바이스 (400)는, 예를 들면, 선입, 선출 (FIFO) 버퍼와 같은 입력 버퍼 (410) 또는 오디오 패킷들 및 데이터 패킷들이 무선 트랜시버 (402)로부터 수신될 때에 그 패킷들을 저장하기에 적합한 다른 데이터 저장소를 포함할 수 있다. 무선 트랜시버 (402)를 경유하여 수신된 상기 오디오 패킷들은 플레이까지의-시간 순서로 상기 버퍼 (410)에 저장될 수 있다. 정해진 패킷의 TTP는 그 패킷에 대한 시퀀스 넘버로서 추가로 소용이 될 수 있다. 몇몇 실시예들에서, 상기 햅틱 디바이스 (400)는 제어 유닛 (300)으로의 전송 이전에 데이터 패킷들을 저장하기 위한 출력 버퍼 (도시되지 않음)를 더 포함할 수 있다. 다른 실시예들에서, 상기 버퍼 (410)는 들어오는 그리고 나가는 패킷들을 처리하는 입력/출력 버퍼로서 구성될 수 있다. 상기 햅틱 디바이스 (400)는 프로세서 (406)에 의해 오디오 패킷들이 프로세싱된 이후에 그 오디오 패킷들을 저장하기 위한 추가 버퍼들 (도시되지 않음)을 또한 포함할 수 있다.

실시예들에서, 햅틱 디바이스 (400) 내에서의 프로세싱으로 인한 레이턴시를 낮게 유지하는 것을 돕기 위해, 상기 입력 버퍼 (410)는, 상기 저장소가 언더-런 (under-run)이거나 또는 비어 있게 되는 것을 방지하는 것 그리고 그 저장소를 아주 빠르게 채워서 레이턴시를 추가하게 하는 것 사이에서의 균형을 유지하게 하는, 낮은 레벨로 (예를 들면, 10개 샘플들로) 유지될 수 있다. 예를 들면, 상기 입력 버퍼 레벨들은, 그 레벨들이 미리 정해진 임계 아래로 떨어질 때까지 그 버퍼 (410)를 읽고 그리고 그 레벨들이 상기 임계를 초과할 때까지 다시 그 버퍼 (410)를 읽기 위해 그 후에 대기하는 것에 의해 관리될 수 있다. 반면에, 출력 버퍼의 경우에는, 상기 버퍼는 가득 찬 또는 거의 가득 찬 레벨에서 유지될 수 있으며, 그래서 시각이 되면 바로 프로세싱되도록 데이터 패킷들이 준비되도록 하며, 그럼으로써 추가된 레이턴시를 피하게 한다.

실시예들에서, 상기 프로세서 (406)는 각 수신된 패킷으로부터 동기 워드 및 패킷 식별자를 추출하며 그리고 그 식별자에 기반하여 상기 패킷이 오디오 패킷인가 또는 데이터 패킷인가의 여부를 판단하도록 설정될 수 있다. 데이터 패킷들에 대해, 상기 프로세서 (406)는 포함된 제어 데이터를 프로세싱하고 그리고 그 제어 데이터에 기반한 동작들을 수행할 수 있으며, 이는 수신된 제어 데이터에 따라 상기 햅틱 트랜스듀서 (404)의 동작들을 제어하고 또는 상기 데이터 패킷들을 다른 햅틱 디바이스로 포워딩하는 것을 포함한다. 오디오 패킷들에 대해, 상기 프로세서 (406)는 상기 오디오 패킷으로부터 재생 시간이나 타임스탬프 데이터 그리고 플레이까지의-시간 (TTP) 데이터를 추출할 수 있다.

상기 프로세서 (406)는 상기 수신한 오디오 패킷들의 TTP를 보장하기 위한 측정들을 할 수 있다. 예를 들면, 몇몇 실시예들에서, 상기 프로세서 (406)는 햅틱 디바이스 (400)의 내부 클록 (예를 들면, 블루투스 클록)을 제어 유닛 (300)의 내부 클록에 동기시킬 수 있다. 몇몇 경우들에서, 상기 프로세서 (406)는 상기 수신한 TTP 데이터를 햅틱 디바이스 (400)의 내부 클록에 의해 제공된 현재 플레이 시간을 참조하여 조절함으로써 각 오디오 패킷에 대핸 새로운 TTP를 계산할 수 있다. 그 새로운 TTP는 햅틱 디바이스 (400) 내에서 상기 수신된 오디오 패킷들을 프로세싱할 때에 유지될 수 있다.

실시예들에서, 상기 프로세서 (406)는 상기 버퍼 (410)의 입력 레벨들을 관리하도록 설정될 수 있어서, 상기 수신된 오디오 패킷들에 대한 TTP가 보장되도록 한다. 예를 들면, 정해진 오디오 패킷이 훼손되거나 늦어지면, 상기 오디오 패킷은 상기 버퍼 (410)로부터 제거되며 그리고 빠르게 읽혀질 수 있으며, 그래서 상기 버퍼 (401)가 그 패킷에 의해 잡혀있지 않도록 한다. 다른 예로서, 정해진 오디오 패킷이 너무 이르게 재생되면, 상기 프로세서 (406)는 버퍼 (410)에 묵음 (silence) (예를 들면, 0들)을 추가할 수 있으며, 그래서 나머지 오디오 패킷들의 TTP가 유지될 수 있도록 한다. 몇몇 실시예들에서, 묵음 추가 대신에 패킷 손실 은폐 (packet loss concealment (PLC)) 알고리즘이 수행될 수 있다. 그런 경우에, 현재 재생되고 있는 것과 유사한 오디오 콘텐트가 묵음 대신에 상기 버퍼 (410)에 추가될 수 있으며, 그래서 신호 전하가 사용자에게 감지되지 않거나 또는 거의 인지되지 않도록 한다. 예를 들면, 상기 프로세서 (406)는 버퍼 (410)에서 올바른 오디오 패킷이 수신될 때까지 이전의 오디오 패킷을 반복할 수 있다.

도 4에서 보이듯이, 상기 햅틱 디바이스 (400)는 수신된 오디오 패킷들에 포함된 오디오 콘텐트로부터 원하지 않는 주파수 성분들을 필터링하여 없애기 위해 저역 필터 (LPF) (412) 및 고역 필터 (HPF) (414)를 더 포함할 수 있다. 상기 필터들 (412 및 414)은 프로세서 (406) 및 햅틱 트랜스듀서 (404) 사이에 배치될 수 있으며, 그래서 햅틱 데이터로의 변환을 위해 햅틱 트랜스듀서 (404)로 출력되기 이전에 상기 오디오 콘텐트가 필터링되도록 한다. 상기 필터들 (412 및 414)의 한계들은 햅틱 트랜스듀서 (404)에 의해 산출된 햅틱 신호들로부터 소망된 영향에 종속하여 설정될 수 있다. 예를 들면, 저주파수 성분들로부터 생성된 진동들이나 햅틱 감각들은 사용자가 더 잘 감지할 수 있지만, 아주 낮은 주파수 성분들의 영향은 그렇게 유익하지 않을 수 있다. 따라서, 하나의 예시의 실시예에서, LPF (412)는 450 Hz에서 또는 그 보다 높은 주파수들을 제어하도록 구성돌 수 있으며, HPF (414)는 20 Hz에서의 또는 그보다 낮은 주파수들을 제어하도록 구성될 수 있다.

도 5는 실시예들에 따라, 오디오 스트림 전달을 그 오디오 스트림으로부터 유도된 햅틱 신호들 전달과 동기시키는 방법 (500)의 예시적인 프로세스를 도시한다. 상기 방법 (500)은, 예를 들면, 도 3에 도시된 전자 제어 유닛 (300)과 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들면, 상기 방법 (500)은 컴퓨팅 디바이스의 메모리 (예를 들면, 도 3에 도시된 메모리 (318))에 저장된 소프트웨어 애플리케이션을 실행시키는 컴퓨팅 디바이스의 프로세서 (예를 들면, 도 3에 도시된 프로세서 (316))에 의해 적어도 일부가 구현될 수 있다. 또한, 상기 방법 (500)의 동작들을 수행하기 위해서, 상기 컴퓨팅 디바이스는, 예를 들면, 외부 오디오 소스 (예를 들면, 도 1에 도시된 오디오 소스 (104)), 외부 데이터 소스 (예를 들면, 도 1에 도시된 데이터 소스 (106)), 외부 오디오 리스닝 디바이스 (예를 들면, 도 1에 도시된 오디오 리스닝 디바이스 (108)), 및/또는 하나 이상의 외부 햅틱 디바이스들 (예를 들면, 도 1에 도시된 착용가능 햅틱 디바이스들 (110 및 112)처럼, 상기 컴퓨팅 디바이스에 통신 가능하게 연결된 하나 이상의 다른 디바이스들과 상호작용 (interact)할 수 있다.

실시예들에서, 상기 방법 (500)은 단거리 무선 통신을 위해 구성된 상기 전자 제어 유닛의 무선 트랜시버 (예를 들면, 도 3에 도시된 무선 트랜시버 (308))를 이용하여 상기 전자 제어 유닛과 적어도 하나의 착용가능 햅틱 디바이스 사이에 무선 접속을 설립하여 단계 520에서 시작한다. 예를 들면, 상기 무선 트랜시버는 블루투스 트랜시버일 수 있으며 그리고 상기 전자 제어 유닛을 상기 적어도 하나의 착용가능 햅틱 디바이스와 무선으로 페어링시키고 그리고 상기 적어도 하나의 착용가능 햅틱 디바이스와의 L2CAP 링크를 설립하기 위해 사용될 수 있다. 예를 들면, 상기 적어도 하나의 착용가능 햅틱 디바이스가 상기 신발 디바이스들 (210 및 212)을 포함하면, 상기 전자 제어 유닛의 블루투스 트랜시버는 상기 신발 디바이스들 각각 (예를 들면, 왼쪽 신발 및 오른쪽 신발)과 페이링될 수 있다.

단계 502로부터, 상기 방법 (500)은 수신한 데이터의 소스 및/또는 목적지에 종속하여 단계들 504, 506, 508, 및 510 중 하나 이상으로 계속할 수 있다. 예를 들면, 단계 504에서, 외부 오디오 소스에 연결된 보조 입력 (예를 들면, 도 3에 도시된 제1 오디오 입력 디바이스 (302))으로부터 오디오 스트림이 수신된다. 단계 506에서, 라이브 또는 실시간 오디오 콘텐트를 포착하기 위한 마이크로폰 (예를 들면, 도 3에 도시된 제2 오디오 입력 디바이스 (310))로부터 오디오 스트림이 수신된다. 단계 508에서, 외부 데이터 소스에 연결된 데이터 포트 (예를 들면, 도 3에서 보이는 데이터 입력 디바이스 (312))로부터 데이터가 수신된다. 그리고 단계 510에서, 상기 적어도 하나의 착용가능 햅틱 디바이스로부터 데이터가 수신된다. 몇몇 경우에, 상기 단계들 504, 506, 508, 및 510은 동시에 또는 거의 연속하여 발생할 수 있으며 그리고 이어지는 단계들이 서로 겹칠 수 있다.

단계 504로부터, 상기 방법 (500)은 단계 512로 계속될 수 있으며, 그 단계에서 오디오 스트림은 다음의 두 경로들 사이에서 분할된다; 버퍼 (예를 들면, 도 3에 도시된 버퍼 (320) 및 오디오 출력 디바이스 (예를 들면, 도 3에 도시된 보조 출력 (306))을 포함하는 오디오 경로, 그리고 상기 무선 트랜시버 및 프로세서에 연결된 햅틱 경로. 단계 512로부터, 상기 방법 (500)은 단계 514로 진행하며, 그 단계에서 상기 오디오 스트림은 상기 오디오 경로로 그리고 단계 516에 제공되며, 그 단계에서 상기 오디오 스트림은 상기 햅틱 경로에 제공된다.

먼저 햅틱 경로를 내려가며 계속하면, 단계 518에서, 저역 필터 (예를 들면, 도 3에 도시된 LPF (314))를 이용하여 상기 오디오 스트림은 필터링되어 (예를 들면, 600 Hz를 넘는) 고주파수 성분들이 제거된다. 단계 520에서, 상기 프로세서는 상기 적어도 하나의 착용가능 햅틱 디바이스로의 상기 무선 트랜시버에 의한 오디오 스트림 전송과 연관된 레이턴시의 양을 계산한다. 단계 522에서, 상기 오디오 콘텐트를 복수의 오디오 패킷들로 파티션함으로써 상기 프로세서는 상기 햅틱 경로에 의해 제공된 오디오 스트림을 패킷화한다. 각 오디오 패킷은 플레이까지의-시간 (TTP) 데이터를 포함할 수 있으며, 이 데이터는 상기 계산된 레이턴시 양에 기반하여 그리고 상기 오디오 콘텐트가 재생되어야만 하는 시각을 나타낸다. 예를 들면, 상기 계산된 레이턴시는 상기 오디오 패킷과 연관된 타임스탬프에 추가될 수 있으며, 그래서 상기 전자 제어 유닛 및 상기 햅틱 디바이스(들) 사이에서의 무선 접속으로부터 비롯된 어떤 지연도 그리고 각각에서의 프로세싱 시간도 보상하기 위해 각 오디오 패킷에 대한 플레이 시간이 균일하게 지연되거나 오프셋되도록 한다.

단계 508로 돌아가서, 일단 데이터가 상기 데이터 포트에서 수신되면, 상기 방법 (500)은 단계 524로 계속할 수 있으며, 그 단계에서 상기 프로세서는 상기 수신한 데이터가 상기 햅틱 디바이스(들)의 동작을 제어하기 위한 제어 데이터인가 또는 상기 제어 유닛을 설정하기 위한 설정 데이터인가의 여부를 판단한다. 그 데이터가 설정 데이터이면, 상기 방법 (500)은 단계 526으로 게속하며, 그 단계에서 상기 프로세서는 상기 설정 데이터를 프로세싱하고 그리고 상기 데이터에 의해 지시된 적절한 기능들이나 동작들을 수행한다. 그 데이터가 제어 데이터라면, 상기 방법 (500)은 단계 528로 진행하며, 그 단계에서 상기 프로세서는 상기 제어 데이터르 복수의 데이터 패킷들로 파티션함으로써 상기 데이터를 패킷화한다. 상기 방법 (500)은 그 후에 단계 530으로 계속될 수 있으며, 그 단계에서 상기 프로세서는 상기 데이터 패킷들을 복수의 오디오 패킷들에게로 인터리브하며, 그리고 그 후에 단계 532로 계속하여, 그 단계에서 상기 햅틱 디바이스(들)로의 전송을 위해 상기 오디오 패킷들 및 데이터 패킷들이 상기 무선 트랜시버로 제공된다. 제어 데이터가 수신되지 않는 경우에, 상기 방법 (500)은 단계 522로부터 단계 532로 향하여 계속될 수 있으며, 그 단계에서 상기 복수의 오디오 패킷들은 상기 무선 트랜시버를 경유하여 상기 햅틱 디바이스(들)로 전송된다.

단계 514로 돌아가면, 일단 상기 오디오 스트림이 상기 오디오 경로에 제공되면, 상기 방법 (500)은 단계 534로 진행할 수 있으며, 그 단계에서 버퍼 (예를 들면, 도 3에 도시된 버퍼 (320))를 사용하여 상기 오디오 경로의 오디오 스트림에 시간 지연이 삽입된다. 그 시간 지연은 단계 520에서 계산된 레이턴시 양에 기반할 수 있다. 예를 들면, 단계 520을 완료한 이후에, 상기 프로세서는 상기 시간 지연을 버퍼에게 제공할 수 있다. 단계 534로부터, 상기 방법은 단계 536으로 진행하며, 그 단계에서 상기 시간-지연된 오디오 스트림은 상기 오디오 출력 디바이스에 연결된 외부 오디오 리스닝 디바이스에게로의 전달을 위해 상기 오디오 출력 디바이스에게 제공된다. 그래서, 상기 시간-지연된 오디오 스트림은 상기 햅틱 디바이스(들)에 의한 햅틱 신호들 전달과 동기하여 상기 오디오 리스닝 디바이스에 의해 전달될 수 있다.

단계 510으로 돌아가서, 일단 데이터가 상기 햅틱 디바이스(들)로부터 수신되면, 상기 방법 (500)은 단계 538로 계속될 수 있으며, 그 단계에서 상기 수신된 데이터는 상기 데이터 소스 또는 다른 제어기로의 전송을 위해 상기 데이터 포트에게 제공된다. 예를 들면, 상기 데이터는 상기 햅틱 디바이스(들)에 의해 탐지된 움직임들 또는 제스처들에 연관된 위치 또는 움직임 데이터를 포함할 수 있으며, 그리고 이 움직임들/제스처들은 비디오 게임이나 다른 오디오-시각적 경험으로의 입력들로서 사용될 수 있다. 상기 방법은 모든 수신된 데이터가 일단 적절하게 프로세싱되어 전송되면 종료할 수 있다.

도 6은 실시예들에 따라, 오디오 스트림 및 그 오디오 스트림으로부터 유도된 햅틱 신호들의 동기식 전달을 용이하게 하기 위한 예시의 프로세스 또는 방법 (600)을 도시한다. 상기 방법 (600)은, 예를 들면, 도 4에 도시된 햅틱 디바이스 (400)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들면, 상기 방법 (600)은

컴퓨팅 디바이스의 메모리 (예를 들면, 도 4에 도시된 메모리 (408))에 저장된 소프트웨어 애플리케이션을 실행하는 컴퓨팅 디바이스의 프로세서 (예를 들면, 도 4에 도시된 프로세서 (406))에 의해 적어도 일부가 구현될 수 있다. 또한, 상기 방법 (600)의 동작들을 수행하기 위해, 상기 컴퓨팅 디바이스는 그 컴퓨팅 디바이스에 통신 가능하게 연결된, 예를 들면, 상기 컴퓨팅 디바이스와 무선 통신하는 전자 제어 유닛 (예를 들면, 도 3에 도시된 제어 유닛 (300)) 및/또는 (예를 들면, 도 1에 도시된 착용가능 햅틱 디바이스들 (110 및 112)과 같은) 다른 햅틱 디바이스와 같은 하나 이상의 다른 디바이스들과 상호 작용할 수 있다.

도 6에서 보이듯이, 상기 방법 (600)은, 단거리 무선 통신들을 위해 구성된 무선 트랜시버 (예를 들면, 도 4에 도시된 무선 트랜시버 (402))를 이용하여 적어도 하나의 착용가능 햅틱 디바이스 및 상기 전자 제어 유닛 사이에서의 무선 접속을 설립하여 단계 602에서 시작할 수 있다. 예를 들면, 상기 무선 트랜시버는 블루투스 트랜시버일 수 있으며 그리고 상기 햅틱 디바이스를 상기 전자 제어 유닛과 무선으로 페이링하며 그리고 상기 제어 유닛과 L2CPA 링크를 설립하기 위해 사용될 수 있다. 몇몇 경우에, 상기 무선 접속은 상기 제어 유닛으로부터 들어온 접속 요청을 수신한 것에 응답하여 만들어질 수 있다.

단계 604에서, 상기 햅틱 디바이스 내 프로세싱-기반 레이턴시를 낮게 유지하기 위해서 상기 프로세서는 입력/출력 버퍼 (예를 들면, 도 4에 도시된 버퍼 (410))를 낮은 레벨들로 (예를 들면, 10개 샘플 또는 그 미만으로) 유지한다. 실시예들에서, 상기 입력/출력 버퍼는 들어오는 그리고 나가는 데이터 둘 모두를 처리하기 위한 단일의 저장소일 수 있으며, 또는 입력 버퍼 그리고 출력 버퍼처럼 두 개의 분리된 저장소들일 수 있다.

단계 606에서, 상기 햅틱 디바이스는 상기 무선 트랜시버를 경유하여 상기 전자 제어 유닛으로부터 복수의 오디오 패킷들을 수신한다. 몇몇 경우에, 상기 햅틱 디바이스는 상기 오디오 패킷들과 함께 복수의 데이터 패킷들을 수신할 수 있다. 예를 들면, 상기 데이터 패킷들은 상기 오디오 패킷들 사이에서 인터리브되며 그리고 동일한 무선 접속을 통해 송신될 수 있다. 상기 데이터 패킷들은 상기 햅틱 디바이스에 포함된 하나 이상의 햅틱 트랜스듀서들 (예를 들면, 도 4에 도시된 햅틱 트랜스듀서 (404))의 동작을 제어하기 위한 제어 데이터를 포함할 수 있다.

단계 608에서, 상기 프로세서는 동기 워드 및 패킷 식별자를 찾기 위해 각 패킷을 검색한다. 단계 610에서, 상기 프로세서는 상기 특허 식별자에 기반하여 상기 패킷이 데이터 패킷인가 또는 오디오 패킷인가의 여부를 판단하다. 패킷이 데이터 패킷이면, 상기 방법 (600)은 단계 612로 계속하며, 그 단계에서 상기 프로세서는 그 데이터 패킷의 목적지를 식별하기 위해 각 데이터 패킷의 헤더를 프로세싱한다. 단계 614에서, 단계 612에서 찾은 것들에 기반하여, 상기 프로세서는 각 데이터 패킷을 제1 햅틱 디바이스 (예를 들면, 도 2에 도시된 제1 신발 디바이스 (210)) 및 제2 햅틱 디바이스 (예를 들면, 도 2에 도시된 제2 신발 디바이스 (212)) 중 선택된 하나에게로 경로 설정한다. 예를 들면, 몇몇 경우들에서, 오디오 콘텐트는, 예를 들면, 오른쪽 채널 오디오 및 왼쪽 채널 오디오과 같은 멀티-채널 오디오를 포함할 수 있다. 그런 경우에, 상기 헤더 정보는 그 오른쪽 채널 오디오는 사용자의 오른쪽 발에 착용된 신발 디바이스로 제공되어야만 하며, 그리고 그 왼쪽 채널 오디오는 사용자의 왼쪽 발에 착용된 신발 디바이스로 제공되어야만 한다는 것을 표시할 수 있다.

단계 610을 반대로 참조하면, 패킷이 오디오 패킷이라면, 상기 방법 (600)은 단계 616으로 계속되며, 그 단계에서 상기 프로세서는 상기 오디오 패킷의 헤더로부터 플레이까지의-시간 (TTP) 데이터를 인출하며, 상기 햅틱 디바이스의 내부 클록 (예를 들면, 블루투스 클록 또는 벽 시계)로부터 현재 플레이 시간을 인출하며, 그리고 두 정보 모두에 기반하여, 상기 오디오 패킷을 위한 새로운 플레이까지의-시간 값을 계산한다. 단계 618에서, 상기 프로세서는 무선 전송에서 자연적으로 발생할 수 있는 지터를, 예를 들면, 정해진 오디오 패킷에 대한 상기 현재 플레이 시간 및 상기 TTP 값 사이의 차이를 계산하고 그리고 이 차이를 32개 값들에 걸쳐 평균화함으로써 제거한다.

단계 620에서, 상기 방법 (600)은 상기 오디오 패킷들 각각에 대해 플레이까지의 시간을 보장하기 위해 버퍼 레벨들을 관리하는 단계를 포함한다. 예를 들면, 오디오 패킷이 손상되거나 플레이하기에 늦으면, 그 패킷은 다른 패킷들의 TTP를 유지하는 것을 돕기 위해 상기 버퍼로부터 제거될 수 있다. 다른 예로서, 패킷이 이르게 도착하면, 그 간극을 소거하기 위해서 묵음이나 유사한-사운딩 오디오 콘텐트가 상기 버퍼에 추가될 수 있다.

단계 622에서, 상기 오디오 콘텐트는 아주 낮은 주파수 성분들 (예를 들면, 20 Hz 미만) 그리고 특정의 높은 주파수 성분들 (예를 들면, 450 Hz 초과)을 제거하기 위해 필터링된다. 단계 624에서, 상기 필터링된 오디오 콘텐트가 하나 이상의 햅틱 디바이스들로 제공되어, 그 오디오 콘텐트에 기반하여 햅틱 신호들을 생성하도록 한다. 상기 햅틱 신호들은 단계 616에서 계산된 새로운 TTP 값에 따라 상기 하나 이상의 햅틱 디바이스들로 출력될 수 있으며, 그래서 상기 햅틱 신호들이 상기 햅틱 디바이스를 경유하여 (예를 들면, 오디오 리스닝 디바이스를 경유한) 대응하는 오디오 콘텐트와 동시에 사용자에게 전달되도록 한다. 모든 수신된 오디오가 일단 햅틱 신호들로 변환되면 상기 방법 (600)은 종료할 수 있다. 몇몇 경우들에, 상기 방법 (600)은 상기 하나의 이상의 햅틱 트랜스듀서에 의해 탐지된 움직임과 연관된 데이터를 획득하는 단계, 그리고 상기 무선 트랜시버를 이용하여 상기 움직임 데이터를 상기 전자 제어 유닛에게 전송하는 단계를 더 포함할 수 있다.

전술한 내용은 데이터를 브로드캐스트하고 그리고 그 브로드캐스트된 데이터를 수신하기 위한 무선 통신 디바이스들을 설명한다. 그 데이터는 패킷들 내에서 전송되는 것으로 여기에서 설명되었다. 이 용어는 설명의 편의 및 편리함을 위해 사용되었다. 패킷들은 상이한 통신 프로토콜들에서 상이한 포맷들을 가질 수 있으며, 그리고 몇몇 통신 프로토콜들은, 예를 들면, 데이터 전송들을 나타내기 위해 "프레임들" 또는 "메시지들"과 같은 상이한 용어를 사용한다. 그래서, 용어 "패킷"은 무선 네트워크를 통해 전송된 신호, 데이터 또는 메시지를 나타내기 위해 여기에서 사용되었다는 것이 이해될 것이다.

그래서, 여기에서 설명된 실시예들은, 오디오 리스닝 디바이스에 의해 전달된 오디오 신호들 그리고 하나 이상의 착용가능 햅틱 디바이스들에 의해 전달된 대응 햅틱 신호들을 포함하는, 상이한 디바이스들에 의한 상이한 무선 신호들 전달을 동기화하기 위한 신규한 무선 통신 프로토콜 및 통신 레이어를 제공한다. 여기에서 도시되고 설명된 예들은 오디오 리스닝 디바이스 및 하나 이상의 착용가능 햅틱 디바이스들에 무선으로 연결된 전자 제어 유닛, 그리고/또는 이 컴포넌트들을 포함하는 엔터테인먼트 시스템에 속하지만, 여기에서 설명된 무선 통신 프로토콜의 다른 구현들이 또한 숙고될 수 있다.

예를 들면, 한 구현에서, 여기에서 설명된 상기 레이턴시-기반 동기화 기술들은, 다중-감각적 몰입을 제공하기 위해서, 착용가능 디바이스들 및 원격으로-활성화되는 디바이스들을 포함하는 임의 개수의 상이한 무선-접속된 디바이스들에 의한 오디오 신호들 및 햅틱 신호들 전달을 동기화하기 위해 사용될 수 있다. 예를 들면, 그 전체가 본원에 참조로서 편입된 공동 소유인 "A Modular System for Building Variable Interactive Platforms and Enclosures for Deep Multisensory Immersion into Audio and Audio-Visual Entertainment" 제목의 국제 특허 출원 No. PCT/US2016/025927은 오디오를 촉각적인 진동과 동기화하고 그리고/또는 하나 이상의 엘리먼트들 (예를 들면, 워터 제트, 물 증기, 향기, 에어 버스트 등)을 방출하는 내장된 모듈을 구비한 채널들 (예를 들면, 바닥 또는 벽 패널들)을 설명하며, 이는 상기 패널들이 게이밍 또는 가상 현실 울타리를 구축하기 위해 사용될 때에 깊은 멀티-감각적 몰입을 제공하기 위한 것이다. 본원에서 설명된 무선 통신 프로토콜은 이 패널들을 도 3에 도시된 전자 제어 유닛 (300)과 유사한 중앙 제어 유닛에 무선으로 링크하고, 그리고 그 울타리 내 패널들 각각에 의한 오디오 콘텐트, 햅틱 콘텐트, 및/또는 다른 출력들 전달을 동기화하기 위해 사용될 수 있다

다른 예시의 구현에서, 오디오 레코딩 시스템은 다양한 오디오 소스들에 근접하게 배치된, 도 3에 도시된 제어 유닛 (300)과 유사한, 다수의 제어 유닛들을 포함할 수 있다. 상기 제어 유닛들은 각자의 오디오 소스들에 의해 방출된 라이브 사운드를 동시에 기록하고 그리고 그 포착된 사운드들을 지시된 전자 디바이스 (예를 들면, 컴퓨터 또는 모바일 디바이스)에게, 여기에서 설명된 레이턴시-교정된 동기화 기술들을 사용하여 무선으로 전송하도록 구성될 수 있다. 예를 들면, 각 제어 유닛은 음악 밴드 내 지시된 악기에 근접하게 배치될 수 있으며, 그리고 각 제어 유닛 내 마이크로폰은 상기 지시된 악기에 의해 생성된 사운드들을 포착하도록 구성될 수 있다. 다양한 악기 사운드들은 단일의 오디오 레코딩 디바이스에게로 동기화된 방식으로 무선으로 전송될 수 있으며 그리고 개별적으로-기록된 악기 트랙들로 구성된 멀티-트랙 레코딩을 생성하기 위해 사용될 수 있다. 상기 오디오 레코딩 디바이스는 상기 레코딩을 더 생성하거나 또는 그 레코딩을 라이브 비디오 콘텐트와 동기하여 브로드캐스트할 수 있다.

또 다른 예시의 구현에서, (예를 들면, 위에서 설명된 오디오 레코딩 시스템과 유사한) 다수의 제어 유닛들에 의해 기록된 오디오는 가상 현실 시스템 (예를 들면, VR 360 시스템)을 위한 햅틱 이벤트들을 생성하기 위해 그리고/또는 라이브 비디오와 함께 사용될 수 있다. 예를 들면, 프로 축구 게임에서, 각 플레이어는 자신의 보호 기어 및/또는 신발 바닥들에 내장된 하나 이상의 제어 유닛들 그리고 자신의 헬멧에 내장된 360도 헤드 카메라를 가질 수 있다. 상기 제어 유닛들은, 예를 들면, 뛰거나 다른 플레이어들과 충돌할 때에 그 플레이어와 연관된 힘들을 탐지하거나 측정하기 위해 마이크로폰들 및/또는 압력 센서들을 포함할 수 있다. 이 힘들은 그 게임을 보는 사람에게, 예를 들면, 플레이어의 달리기의 율동 또는 그 충돌의 영향을 나타내는 라이브 햅틱 피드백으로서 제공될 수 있으며, 그리고 여기에서 설명된 상기 레이턴시-교정된 동기화 기술들을 이용하여, 상기 라이브 햅틱 피드백은 그 게임으로부터의 대응 오디오 및 비디오 콘텐트와 동기하여 그 사람에게 전달될 수 있다. 그 결과, 라이브 게임을 보는 사람은 마치 자신들이 그 게임 그 자체에 참여하고 있는 것처럼 그 게임의 물리적인 모습들을 동시에 느낄 수 있다. 몇몇 경우들에서, 그런 시스템에 의해 모여진 라이브 햅틱 진동들은, 예를 들면, 그 내용들 전체가 본원에 참조로서 편입된 공동 소유의 미국 특허 No. 9,402, 133에서 설명된 멀티-채널 오디오 진동 엔터테인먼트 시스템과 같은 멀티-채널 햅틱 시스템으로 제공될 수 있으며, 그래서 상기 진동들이 사용자 신체의 적절한 영역들에 제공되도록 한다 (예를 들면, 달리기-관련된 이벤트들은 보는 사람의 발에 부착된 햅틱 트랜스듀서로 제공되며, 어깨 충돌들에 관련된 이벤트들은 보는 사람의 어깨에 부착된 햅틱 트랜스듀서로 제공되는 등).

도 5 및 도 6와 같은 도면들에서의 프로세스 설명들 또는 블록들은 그 프로세스에서의 특정 논리적인 기능들이나 단계들을 구현하기 위해 하나 이상의 실행 가능한 명령어들을 포함하는 모듈들, 세그먼트들, 또는 일부들을 나타내는 것으로서 이해되어야만 하며, 그리고 대안의 구현들은 여기에서 설명된 실시예들의 범위 내에 포함되며, 여기에서 기능들은 수반된 기능성에 종속하여, 도시되거나 설명된 순서와는 다른 순서로 실행될 수 있으며, 그 다른 순서는 실질적으로 동시에 또는 역의 순서를 포함하며, 이는 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자들에 의해 이해되는 것이다.

상기 설명된 실시예들 그리고 특히 "바람직한" 실시예들은 구현들의 가능한 에들이며 그리고 본 발명의 원칙들에 대한 명료한 이해를 위해서만 제시된 것이다. 여기에서 설명된 상기 기술들의 원칙들 및 사상으로부터 실질적으로 벗어나지 않으면서도 많은 변형들 및 수정들이 상기 설명된 실시예(들)에 대해 이루어질 수 있다. 모든 수정들은 본 발명 개시의 범위 내에서 본원에 포함되며 그리고 이어지는 청구항들에 의해 보호되는 것으로 예정된다.

Claims

외부 오디오 소스로부터 오디오 스트림을 수신하는 오디오 입력 디바이스;
상기 오디오 입력 디바이스에 연결되어 상기 오디오 스트림을 오디오 경로 및 햅틱 경로 사이로 분할하는 신호 스플리터;
상기 햅틱 경로에 연결되어 단거리 무선 통신 기술을 이용하여 상기 오디오 스트림을 적어도 하나의 착용가능 햅틱 디바이스로 전송하는 무선 트랜시버;
상기 무선 트랜시버에 연결된 프로세서로, 상기 프로세서는:
상기 적어도 하나의 착용가능 햅틱 디바이스로의 오디오 스트림 전송과 연관된 레이턴시의 양을 계산하도록 설정되며, 그리고
상기 오디오 스트림을 복수의 오디오 패킷들로 파티션하도록 설정되며, 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반하는 플레이까지의-시간 (time-to-play)을 포함하는, 프로세서;
상기 오디오 경로에 제공된 오디오 스트림에게로 시간 지연을 삽입하기 위해 상기 오디오 경로 내 포함된 버퍼로, 상기 시간 지연은 상기 계산된 레이턴시 양에 기반하는, 버퍼; 그리고
상기 오디오 경로에 연결되어 상기 시간 지연된 오디오 스트림을 외부 오디오 리스닝 디바이스로 출력하는 오디오 출력 디바이스를 포함하는, 전자 제어 유닛.
제1항에 있어서,
상기 햅틱 경로에 제공된 오디오 스트림으로부터 고주파수 성분들을 제거하기 위해 상기 햅틱 경로 내에 포함된 저역 필터를 더 포함하는, 전자 제어 유닛.
제1항에 있어서,
각 오디오 패킷은 그 오디오 패킷과 연관된 동기 워드 (sync word) 및 식별자를 더 포함하는, 전자 제어 유닛.
제1항에 있어서,
하나 이상의 외부 데이터 소스들로부터 제어 데이터를 수신하기 위해 상기 햅틱 경로에 연결된 데이터 포트를 더 포함하는, 전자 제어 유닛.
제4항에 있어서,
상기 프로세서는:
상기 제어 데이터를 복수의 데이터 패킷들로 파티션하고;
상기 데이터 패킷들을 복수의 오디오 패킷들에게로 인터리브하고; 그리고
상기 적어도 하나의 착용가능 햅틱 디바이스에게로의 전송을 위해 상기 오디오 패킷들 및 데이터 패킷들을 상기 무선 트랜시버로 제공하도록 더 설정된, 전자 제어 유닛.
제4항에 있어서,
상기 데이터 포트는 상기 적어도 하나의 착용가능 햅틱 디바이스에 의해 포착된 데이터를 상기 무선 트랜시버를 경유하여 수신하도록 더 구성된, 전자 제어 유닛.
제4항에 있어서,
상기 데이터 포트는 범용 직렬 버스 (USB) 포트인, 전자 제어 유닛.
제1항에 있어서,
상기 오디오 입력 디바이스는 마이크로폰인, 전자 제어 유닛.
제1항에 있어서,
상기 무선 트랜시버는 블루투스 트랜시버인, 전자 제어 유닛.
엔터테인먼트 시스템으로,
오디오 스트림을 햅틱 신호들로 변환하도록 구성된 적어도 하나의 착용가능 햅틱 디바이스; 그리고
전자 제어 유닛을 포함하며, 상기 전자 제어 유닛은:
외부 오디오 소스로부터 오디오 스트림을 수신하기 위한 오디오 입력 디바이스,
상기 오디오 스트림을 외부 오디오 리스닝 디바이스에게 출력하기 위한 오디오 출력 디바이스,
근거리 무선 통신 기술을 이용하여 상기 오디오 스트림을 상기 적어도 하나의 착용가능 햅틱 디바이스에게 전송하기 위한 무선 트랜시버, 그리고
상기 햅틱 신호들 전달을 시간-지연된 오디오 스트림 전달과 동기화하도록 구성된 프로세서를 포함하며, 상기 동기화는:
상기 적어도 하나의 착용가능 햅틱 디바이스로의 오디오 스트림의 무선 전송과 연관된 레이턴시의 양을 계산함,
상기 오디오 스트림을 복수의 오디오 패킷들로 파티셔닝함 - 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반하는 플레이까지의-시간 (time-to-play)을 포함-, 그리고
상기 오디오 리스닝 디바이스에 제공된 오디오 스트림에 시간 지연을 삽입함 - 상기 시간 지연은 상기 계산된 레이턴시 양에 기반 -에 의한 것인, 엔터테인먼트 시스템.
제10항에 있어서,
상기 전자 제어 유닛은 외부 데이터 소스로부터 제어 데이터를 수신하기 위해 상기 프로세서에 통신가능하게 연결된 데이터 포트를 더 포함하며,
상기 제어 데이터는 상기 적어도 하나의 착용가능 햅틱 디바이스의 동작을 제어하기 위한 것인, 엔터테인먼트 시스템.
제11항에 있어서,
상기 프로세서는:
상기 제어 데이터를 복수의 데이터 패킷들로 파티션하고;
상기 데이터 패킷들을 복수의 오디오 패킷들에게로 인터리브하고; 그리고
상기 적어도 하나의 착용가능 햅틱 디바이스에게로의 전송을 위해 상기 오디오 패킷들 및 데이터 패킷들을 상기 무선 트랜시버로 제공하도록 더 설정된, 엔터테인먼트 시스템.
제10항에 있어서,
상기 적어도 하나의 착용가능 햅틱 디바이스는:
상기 적어도 하나의 착용가능 햅틱 디바이스에 의해 탐지된 움직임과 연관된 데이터를 획득하고, 그리고
그 데이터를 상기 전자 제어 유닛으로 무선으로 전송하도록 더 구성된, 엔터테인먼트 시스템.
제10항에 있어서,
상기 적어도 하나의 착용가능 햅틱 디바이스는 제1 햅틱 트랜스듀서를 포함하는 제1 신발 디바이스 및 제2 햅틱 트랜스듀서를 포함하는 제2 신발 디바이스를 구비한, 엔터테인먼트 시스템.
제14항에 있어서,
상기 복수의 오디오 패킷들은 상기 신발 디바이스들 각각으로 무선으로 전송되는, 엔터테인먼트 시스템.
제10항에 있어서,
상기 적어도 하나의 착용가능 햅틱 디바이스는 상기 전자 제어 유닛으로부터 오디오 패킷들을 수신하기 위한 무선 트랜시버를 포함하는, 엔터테인먼트 시스템.
제16항에 있어서,
상기 전자 제어 유닛 및 상기 적어도 하나의 착용가능 햅틱 디바이스의 상기 무선 트랜시버들은 블루투스 트랜시버들인, 엔터테인먼트 시스템.
제10항에 있어서,
상기 적어도 하나의 착용가능 햅틱 디바이스는 상기 수신된 오디오 패킷 내에 포함된 플레이까지의-시간 그리고 상기 적어도 하나의 착용가능 햅틱 디바이스에 포함된 내부 클록에 의해 제공된 현재 플레이 시간에 기반하여, 상기 전자 제어 유닛으로부터 수신된 각 오디오 패킷에 대해 새로운 플레이까지의-시간 값을 계산하도록 설정된 프로세서를 포함하는, 엔터테인먼트 시스템.
오디오 스트림 전달을 그 오디오 스트림으로부터 유도된 햅틱 신호들과 동기화하는 방법으로, 상기 방법은:
단거리 무선 통신들을 위해 구성된 무선 트랜시버를 이용하여 적어도 하나의 착용가능 햅틱 디바이스와의 무선 접속을 설립하는 단계;
오디오 입력 디바이스를 경유하여 외부 오디오 소스로부터 오디오 스트림을 수신하는 단계;
상기 오디오 스트림을 버퍼 및 오디오 출력 디바이스를 포함하는 오디오 경로 그리고 상기 무선 트랜시버 및 프로세서에 연결된 햅틱 경로 사이에서 분할하는 단계;
상기 적어도 하나의 착용가능 햅틱 디바이스로의 상기 무선 트랜시버에 의한 상기 오디오 스트림 전송과 연관된 레이턴시의 양을 상기 프로세서를 이용하여 계산하는 단계;
상기 햅틱 경로의 오디오 스트림을 상기 프로세서를 이용하여 복수의 오디오 패킷들로 파티션하는 단계로, 각 오디오 패킷은 상기 계산된 레이턴시 양에 기반한 플레이까지의-시간을 포함하는, 파티션 단계;
상기 버퍼를 이용하여 상기 오디오 경로의 오디오 스트림에게로 시간 지연을 삽입하는 단계로, 상기 시간 지연은 상기 계산된 레이턴시 양에 기반하는, 삽입 단계;
상기 오디오 출력 디바이스에 연결된 외부 오디오 리스닝 디바이스로의 전달을 위해, 상기 시간 지연된 오디오 스트림을 상기 오디오 출력 디바이스에게 제공하는 단계; 그리고
상기 무선 트랜시버를 경유하여 상기 복수의 오디오 패킷들을 상기 적어도 하나의 착용가능 햅틱 디바이스로 전송하는 단계를 포함하는, 방법.
제19항에 있어서,
데이터 포트를 경유하여 외부 데이터 소스로부터 제어 데이터를 수신하는 단계;
상기 프로세서를 이용하여 상기 제어 데이터를 복수의 데이터 패킷들로 파티션하는 단계;
상기 프로세서를 이용하여 상기 데이터 패킷들을 상기 복수의 오디오 패킷들로 인터리빙하는 단계; 그리고
상기 적어도 하나의 착용가능 햅틱 디바이스로의 전송을 위해 상기 오디오 패킷들 및 데이터 패킷들을 상기 무선 트랜시버로 제공하는 단계를 더 포함하는, 방법.
오디오 스트림 및 그 오디오 스트림으로부터 유도된 햅틱 신호들의 동기화 전달을 용이하게 하는 방법으로, 그 방법은:
단거리 무선 통신들을 위해 구성된 무선 트랜시버를 이용하여 전자 제어 유닛과의 무선 접속을 설립하는 단계;
상기 무선 트랜시버를 경유하여 상기 전자 제어 유닛으로부터 복수의 오디오 패킷들을 수신하는 단계;
각 오디오 패킷에 대해, 그 오디오 패킷에 포함된 플레이까지의-시간 데이터를 프로세서를 이용하여 인출하는 단계;
내부 클록으로부터 현재 플레이 시간을 인출하는 단계;
상기 오디오 패킷에 포함된 상기 플레이까지의-시간 데이터 그리고 상기 현재의 플레이 시간에 기반하여 각 오디오 패킷에 대한 새로운 플레이까지의-시간 값을 계산하는 단계; 그리고
상기 오디오 패킷을 햅틱 신호로 변환하기 위해 각 오디오 패킷을 하나 이상의 햅틱 트랜스듀서들로 제공하는 단계로, 상기 햅틱 신호는 상기 대응하는 새로운 플레이까지의-시간 값에 따라 상기 하나 이상의 햅틱 트랜스듀서들에 의해 출력되는, 제공 단계를 포함하는, 방법.
제21항에 있어서,
상기 복수의 오디오 패킷들과 함께 복수의 데이터 패킷들을 상기 무선 트랜시버를 경유하여 수신하는 단계로, 상기 데이터 패킷들은 상기 하나 이상의 햅틱 트랜스듀서들의 동작을 제어하기 위한 제어 데이터를 포함하는, 수신 단계; 그리고
각 수신된 패킷이 오디오 패킷인가 또는 데이터 패킷인가의 여부를 상기 패킷에 포함된 패킷 식별자에 기반하여 상기 프로세서를 이용하여 판단하는 단계를 더 포함하는, 방법.
제21항에 있어서,
상기 하나 이상의 햅틱 트랜스듀서들은 제1 햅틱 트랜스듀서 및 제2 트랜스듀서를 포함하며, 그리고 상기 방법은 각 데이터 패킷을 그 데이터 패킷에 포함된 헤더 정보에 기반하여 상기 제1 햅틱 트랜스듀서 및 제2 트랜스듀서 중 선택된 하나에게 제공하는 단계를 더 포함하는, 방법.
제21항에 있어서,
상기 하나 이상의 햅틱 트랜스듀서들에 의해 탐지된 움직임과 연관된 데이터를 획득하는 단계; 그리고
그 데이터를 상기 무선 트랜시버를 이용하여 상기 전자 제어 유닛에게 전송하는 단계를 더 포함하는, 방법.