KR101813443B1

KR101813443B1 - 초음파 룸 맵핑을 이용한 초음파 스피커 어셈블리

Info

Publication number: KR101813443B1
Application number: KR1020170017589A
Authority: KR
Inventors: 그레고리 칼슨; 모리오 우사미; 피터 신타니
Original assignee: 소니 주식회사
Priority date: 2016-03-16
Filing date: 2017-02-08
Publication date: 2018-01-30
Also published as: EP3220657A1; US9693169B1; CN107205202A; KR20170107888A; CN107205202B

Abstract

오디오 공간 효과는 초음파 스피커를 이용하여 제공된다. 오디오 효과를 보다 잘 재생하기 위해, 초음파를 이용하여 스피커가 배치된 룸과, 맵을 이용하여 설정된 스피커로부터 방출된 초음파의 방향을 맵핑한다.

Description

초음파 룸 맵핑을 이용한 초음파 스피커 어셈블리{ULTRASONIC SPEAKER ASSEMBLY WITH ULTRASONIC ROOM MAPPING}

본 출원은 일반적으로 오디오를 생성하기 위한 초음파 스피커 어셈블리에 관한 것이다.

비디오가 디스플레이되는 공간에 오브젝트가 있는 것처럼 사운드 방출 비디오 오브젝트의 이동을 모델링하기 위한 오디오 공간 효과는 전형적으로 위상 배열 원리를 이용하여 제공된다. 본 명세서에서 이해되는 바와 같이, 본 원리를 이용하는 이러한 시스템은 오디오 공간 효과를 가능한 한 정확하고 정밀하게 모델링하지 못하거나 콤팩트하지 않을 수 있다.

시스템은 각각의 음 축을 따라 사운드를 방출하도록 구성된 적어도 하나의 초음파 스피커, 적어도 하나의 마이크로폰, 및 일시적인 신호가 아니며 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함하는 적어도 하나의 컴퓨터 메모리를 포함하여, 적어도 하나의 초음파 스피커 및 적어도 하나의 마이크로폰을 이용하여, 룸의 맵을 생성한다. 명령어는 제어 신호를 수신하도록 실행가능하며, 이 제어 신호에 응답하여, 룸의 맵을 이용하여 적어도 부분적으로 스피커를 작동시킨다.

장치는 프로세서를 포함할 수 있다. 룸의 맵을 이용하여 제어 신호에 응답하여 작동되는 스피커는 맵을 생성하는데 이용되는 초음파 스피커일 수 있거나, 또 다른 스피커일 수 있다.

예시적인 실시예에서, 제어 신호는 고도 성분 및 방위 성분을 포함하는 요구된 음 축을 나타낼 수 있다. 일부 구현예에서, 제어 신호는 비-초음파 스피커를 통해 재생하기 위한 메인 오디오 채널을 출력하는 컴퓨터 게임 콘솔로부터 수신될 수 있다. 예들에서, 명령어들은 맵을 이용하여, 제어 신호에 응답하여 반사 위치로 사운드를 향하게 하도록 실행 가능할 수 있다.

비제한적 실시예에서, 제어 신호는 수신된 오디오 채널에서 적어도 하나의 오디오 효과 데이터를 나타낸다. 오디오 효과 데이터는 컴퓨터 게임 입력 디바이스로의 입력으로부터 적어도 부분적으로 설정될 수 있다.

또 다른 양태에서, 방법은 i번째 방향에서의 방위각 및 고도로 적어도 하나의 초음파(US) 스피커를 배향하는 단계, US 스피커가 시간 "i"에서 맵핑 사운드를 방출하게 하는 단계, 및 적어도 하나의 마이크로폰을 이용하여 맵핑 사운드의 리턴 신호를 검출하는 단계를 포함한다. 이 방법은 또한 리턴 신호 검출 시간과 시간 "i" 사이의 시간차 Δt를 결정하는 단계, 및 다음을 이용하여 시간차 Δt를 i번째 거리로 변환하는 단계를 포함한다:

i번째 거리 = ½ Δt * c, 여기서 c = 사운드의 속도.

또한, 이 방법은 i번째 방향과 연관된 i번째 거리와 동일한 거리가 되도록 표면의 위치를 설정하는 단계를 포함한다. 표면의 위치에 적어도 부분적으로 기초하여 그리고 요구된 오디오 효과에 대한 제어 신호에 응답하여, 적어도 하나의 US 스피커가 요구된 오디오를 방출하는 적어도 하나의 US 스피커에 대한 방향이 설정된다.

또 다른 양태에서, 디바이스는 일시적인 신호가 아니며 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함하는 적어도 하나의 컴퓨터 메모리를 포함하여, 적어도 하나의 초음파(US) 스피커 및 적어도 하나의 마이크로폰을 이용하여, 룸의 맵을 생성한다. 이것은 적어도 부분적으로는, 적어도 하나의 US 스피커를 i번째 방향에서의 방위각 및 고도로 배향하고 US 스피커가 송신 시에 맵핑 사운드를 방출하게 함으로써 달성된다. 리턴 신호 시간에서, 맵핑 사운드의 리턴 신호는 리턴 신호 시간 및 송신 시간을 이용하여 i번째 거리가 결정될 수 있도록 적어도 하나의 마이크로폰을 이용하여 검출된다. 룸의 표면의 위치는 i번째 방향과 연관된 i번째 거리와 동일한 거리가 되도록 설정된다.

구조 및 동작 둘 다에 관한 본 출원의 세부 사항은 첨부 도면을 참조하여 가장 잘 이해될 수 있으며, 다음의 도면에서 동일한 참조 번호는 동일한 부분을 나타낸다.

도 1은 본 원리에 따른 예시적인 시스템을 포함하는 예시적인 시스템의 블록도이다;
도 2는 도 1의 컴포넌트를 이용할 수 있는 또 다른 시스템의 블록도이다;
도 3은 짐벌 어셈블리 상에 장착된 예시적인 초음파 스피커 시스템의 개략도이다;
도 4 및 도 5는 도 3의 시스템에 따른 예시적인 로직의 흐름도이다;
도 6은 음파 빔을 특정 시청자에게 향하게 하기 위한 예시적인 대체 로직의 흐름도이다;
도 7은 채택할 도 6의 로직을 위한 템플릿을 입력하기 위한 예시적인 스크린 샷이다;
도 8은 움직일 필요가 없는 구형 지지체 상에 초음파 스피커가 배열되는 대체 스피커 어셈블리를 도시한다;
도 9 및 도 10은 도 8의 시스템에 따른 예시적인 로직의 흐름도이다;
도 11은 룸을 초음파적으로 맵핑하기 위한 예시적인 로직의 흐름도이다.

본 개시내용은 일반적으로 가전 제품(CE) 디바이스 네트워크의 양태를 포함하는 컴퓨터 에코시스템에 관한 것이다. 본 명세서의 시스템은 데이터가 클라이언트와 서버 컴포넌트 사이에서 교환될 수 있도록 네트워크를 통해 연결된 서버와 클라이언트 컴포넌트를 포함할 수 있다. 클라이언트 컴포넌트는 휴대용 텔레비전(예를 들면, 스마트 TV, 인터넷 가능 TV), 랩톱 및 태블릿 컴퓨터와 같은 휴대용 컴퓨터, 및 스마트 폰 및 이하에 설명된 추가의 예를 포함하는 다른 모바일 디바이스를 포함하는 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 이러한 클라이언트 디바이스는 다양한 운영 환경에서 작동할 수 있다. 예를 들어, 일부 클라이언트 컴퓨터는 예로서 Microsoft의 운영 체제, 또는 Unix 운영 체제, 또는 Apple Computer 또는 Google이 생산한 운영 체제를 채택할 수 있다. 운영 환경은 Microsoft 또는 Google 또는 Mozilla가 만든 브라우저 또는 아래에 설명된 인터넷 서버가 호스팅하는 웹 애플리케이션에 액세스할 수 있는 다른 브라우저 프로그램과 같은, 하나 이상의 브라우징 프로그램을 실행하는 데 이용될 수 있다.

서버 및/또는 게이트웨이는 인터넷과 같은 네트워크를 통해 데이터를 수신 및 송신하도록 서버를 구성하는 명령어를 실행하는 하나 이상의 프로세서를 포함할 수 있다. 또는, 클라이언트와 서버는 로컬 인트라넷 또는 가상 사설망을 통해 연결될 수 있다. 서버 또는 제어기는 소니 플레이스테이션(등록 상표), 개인용 컴퓨터, 등과 같은 게임 콘솔에 의해 예시될 수 있다.

정보는 클라이언트와 서버 간의 네트워크를 통해 교환될 수 있다. 이를 위해 그리고 보안을 위해, 서버 및/또는 클라이언트는 방화벽, 로드 밸런서, 임시 저장소, 및 프록시, 및 안정성 및 보안을 위한 다른 네트워크 인프라를 포함할 수 있다. 하나 이상의 서버는 온라인 소셜 웹 사이트와 같은 보안 커뮤니티를 네트워크 멤버에게 제공하는 방법을 구현하는 장치를 형성할 수 있다.

본 명세서에 이용되는 바와 같이, 명령어는 시스템에서 정보를 처리하기 위한 컴퓨터 구현 단계를 지칭한다. 명령어는 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있으며 시스템의 컴포넌트가 수행하는 임의의 타입의 프로그래밍된 단계를 포함할 수 있다.

프로세서는 어드레스 라인, 데이터 라인, 및 제어 라인과 같은 다양한 라인 및 레지스터 및 시프트 레지스터에 의해 로직을 실행할 수 있는 임의의 종래의 범용 단일- 또는 멀티-칩 프로세서일 수 있다.

본 명세서의 흐름도 및 이용자 인터페이스에 의해 기술된 소프트웨어 모듈은 다양한 서브-루틴, 절차, 등을 포함할 수 있다. 개시내용을 제한하지 않으면서, 특정 모듈에 의해 실행되도록 명시된 로직은, 다른 소프트웨어 모듈로 재분배되고 및/또는 단일 모듈로 함께 결합되고 및/또는 공유 가능한 라이브러리에서 이용 가능할 수 있다.

본 명세서에 설명된 본 원리는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로서 구현될 수 있고; 따라서, 예시적인 컴포넌트, 블록, 모듈, 회로, 및 단계는 그 기능면에서 설명된다.

상술한 것에 더하여, 후술하는 로직 블록, 모듈, 및 회로는 본 명세서에서 설명되는 기능들을 수행하도록 설계되는 범용 프로세서, 디지털 신호 프로세서(DSP), 필드 프로그램가능 게이트 어레이(FPGA), 또는 주문형 집적 회로(ASIC)와 같은 다른 프로그램가능 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트, 또는 이들 임의의 조합을 이용하여 구현 또는 수행될 수 있다. 프로세서는 제어기 또는 상태 기계 또는 컴퓨팅 디바이스들의 조합에 의해 구현될 수 있다.

후술하는 기능 및 방법은, 소프트웨어로 구현될 때, C# 또는 C++와 같은, 그러나 그것에 한정되지 않는 적절한 언어로 작성될 수 있으며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거 및 프로그래밍 가능한 판독 전용 메모리(EEPROM), 콤팩트 디스크 판독 전용 메모리(CD-ROM), 또는 디지털 다기능 디스크(DVD)와 같은 다른 광 디스크 저장소, 자기 디스크 저장소, 또는 이동식 썸(thumb) 드라이브를 포함하는 다른 자기 저장 디바이스, 등과 같은 컴퓨터 판독 가능 저장 매체 상에 저장되거나 이를 통해 송신될 수 있다. 접속은 컴퓨터 판독 가능 매체를 설정할 수 있다. 그러한 접속은, 예로서, 광섬유 및 동축 와이어 및 디지털 가입자 라인(DSL) 및 트위스트 쌍 와이어를 포함하는 하드와이어드 케이블을 포함할 수 있다.

일 실시예에 포함되는 컴포넌트들은 다른 실시예들에서 임의의 적절한 조합으로 이용될 수 있다. 예를 들어, 본 명세서에 설명되고 및/또는 도면에 도시되는 임의의 다양한 컴포넌트들이 결합되거나, 교체되거나, 다른 실시예들로부터 배제될 수 있다.

"A, B 및 C 중 적어도 하나를 갖는 시스템"(또한 "A, B 또는 C 중 적어도 하나를 갖는 시스템" 및 "A, B, C 중 적어도 하나를 갖는 시스템")은 A만을 갖는 시스템, B만을 갖는 시스템, C만을 갖는 시스템, A 및 B를 함께 갖는 시스템, A 및 C를 함께 갖는 시스템, B 및 C를 함께 갖는 시스템, 및/또는 A, B 및 C를 함께 갖는 시스템, 등을 포함한다.

이제, 도 1을 구체적으로 참조하면, 본 원리에 따른, 앞서 언급되고 이하에서 추가로 기술되는 예시적인 디바이스들 중 하나 이상을 포함할 수 있는 예시적인 에코시스템(10)이 도시되어 있다. 시스템(10)에 포함된 예시적인 디바이스들 중 제1 디바이스는 예시적인 주 디스플레이 디바이스(primary display device)로서 구성된 CE(consumer electronics) 디바이스이고, 도시된 실시예에서, TV 튜너(이와 동등하게, TV를 제어하는 셋톱 박스)를 갖는 인터넷 가능 TV와 같지만 이에 한정되지는 않은 오디오 비디오 디스플레이 디바이스(AVDD)(12)이다. 그러나, AVDD(12)는 대안적으로 가전 기기 또는 가정 용품, 예컨대, 컴퓨터화된 인터넷 가능 냉장고, 세탁기, 또는 건조기일 수 있다. AVDD(12)는 또한 대안적으로, 컴퓨터화된 인터넷 가능("스마트") 전화기, 태블릿 컴퓨터, 노트북 컴퓨터, 예를 들어, 컴퓨터화된 인터넷 가능 워치, 컴퓨터화된 인터넷 가능 팔찌와 같은 착용형 컴퓨터화된 디바이스, 다른 컴퓨터화된 인터넷 가능 디바이스, 컴퓨터화된 인터넷 가능 음악 플레이어, 컴퓨터화된 인터넷 가능 헤드폰, 예를 들어, 이식 가능한 스킨 디바이스와 같은 컴퓨터화된 인터넷 가능형 이식 가능 디바이스, 게임 콘솔, 등일 수 있다. 그럼에도 불구하고, AVDD(12)가 본 원리를 수행하도록 구성된다는 것을 이해해야 한다(예를 들어, 본 원리를 수행하고, 본 명세서에 기술된 로직을 실행하며, 본 명세서에 기술된 임의의 다른 기능 및/또는 동작을 수행하기 위해서 다른 CE 디바이스와 통신하도록 구성됨).

그에 따라, 이러한 원리를 실시하기 위해, AVDD(12)는 도 1에 도시된 컴포넌트들 중 일부 또는 전부에 의해 설정될 수 있다. 예를 들어, AVDD(12)는 고화질 또는 초 고화질 "4K" 이상의 평판 스크린에 의해 구현될 수 있고 디스플레이 상에서의 터치를 통해 이용자 입력 신호를 수신하기 위한 터치 가능형일 수 있는 하나 이상의 디스플레이(14)를 포함할 수 있다. AVDD(12)는 본 원리에 따라 오디오를 출력하기 위한 하나 이상의 스피커(16), 및 예컨대, AVDD(12)를 제어하기 위해 가청 명령을 AVDD(12)에 입력하기 위한 예컨대, 오디오 수신기/마이크로폰과 같은 적어도 하나의 부가 입력 디바이스(18)를 포함할 수 있다. 예시적인 AVDD(12)는 또한 하나 이상의 프로세서(24)의 제어 하에서 인터넷, WAN, LAN, 등과 같은 적어도 하나의 네트워크(22)를 통한 통신을 위한 하나 이상의 네트워크 인터페이스(20)를 포함할 수 있다. 이와 같이, 인터페이스(20)는, 메쉬 네트워크 송수신기와 같지만 이에 제한되지 않는, 무선 컴퓨터 네트워크 인터페이스의 일례인, Wi-Fi 송수신기일 수 있지만, 이에 제한되지 않는다. 프로세서(24)가 본 원리를 실시하기 위해, 본 명세서에 기술되는 AVDD(12)의 다른 요소, 예컨대, 디스플레이(14) 상에 이미지를 제시하고 그로부터 입력을 수신하기 위해 디스플레이(14)를 제어하는 것을 비롯하여, AVDD(12)를 제어한다는 것을 잘 알 것이다. 더구나, 네트워크 인터페이스(20)는 예를 들어, 유선 또는 무선 모뎀 또는 라우터, 또는 예를 들어 무선 전화 송수신기, 또는 전술한 바와 같은 Wi-Fi 송수신기, 등과 같은 다른 적절한 인터페이스일 수 있다는 점에 유의한다.

전술한 바에 부가하여, AVDD(12)는 또한, 예컨대, 또 다른 CE 디바이스에 물리적으로 (예컨대, 유선 연결을 이용하여) 연결하기 위한 HDMI(high definition multimedia interface) 포트 또는 USB 포트 및/또는 AVDD(12)로부터의 오디오를 헤드폰을 통해 이용자에게 제공하기 위해 헤드폰을 AVDD(12)에 연결하기 위한 헤드폰 포트와 같은, 하나 이상의 입력 포트(26)를 포함할 수 있다. 예를 들어, 입력 포트(26)는 유선을 통해 또는 무선으로 오디오 비디오 콘텐츠의 케이블 또는 위성 소스(26a)에 연결될 수 있다. 이와 같이, 소스(26a)는, 예컨대, 별개의 또는 통합된 셋톱 박스, 또는 위성 수신기일 수 있다. 또는, 소스(26a)는 이하에서 추가로 기술되는 채널 할당 목적을 위해 이용자에 의해 좋아하는 것으로서 간주될 수 있는 콘텐츠를 포함하는 게임 콘솔 또는 디스크 플레이어일 수 있다.

AVDD(12)는, 일부 경우에는, AVDD의 섀시 내에 독립형 디바이스로서 또는 AV 프로그램을 재생하기 위한 AVDD의 섀시 내부 또는 외부에 있는 PVR(personal video recording device) 또는 비디오 디스크 플레이어로서 또는 이동식 메모리 매체로서 구현되는, 일시적 신호가 아닌 디스크 기반 또는 고상 저장소와 같은 하나 이상의 컴퓨터 메모리(28)를 추가로 포함할 수 있다. 또한 일부 실시예에서, AVDD(12)는, 예컨대, 적어도 하나의 위성 또는 휴대폰 타워로부터 지리적 위치 정보를 수신하고 이 정보를 프로세서(24)에 제공하도록 및/또는 프로세서(24)와 관련하여 AVDD(12)가 배치되어 있는 고도를 결정하도록 구성되어 있는 휴대폰 수신기, GPS 수신기 및/또는 고도계(30)와 같지만 이에 제한되지 않는 위치(position) 또는 위치(location) 수신기를 포함할 수 있다. 그러나, 휴대폰 수신기, GPS 수신기 및/또는 고도계 이외의 또 다른 적절한 위치 수신기가, 예컨대, 3 개의 차원 모두에서, 예컨대, AVDD(12)의 위치를 결정하기 위해 본 원리에 따라 이용될 수 있다는 것을 잘 알 것이다.

AVDD(12)의 설명을 계속하면, 일부 실시예에서, AVDD(12)는 본 원리에 따라 사진/이미지 및/또는 비디오를 수집하기 위해, 예컨대, 열 화상 카메라, 웹캠과 같은 디지털 카메라, 및/또는 AVDD(12) 내에 통합되고 프로세서(24)에 의해 제어 가능한 카메라일 수 있는 하나 이상의 카메라(32)를 포함할 수 있다. 블루투스 및/또는 NFC(Near Field Communication) 기술을, 각각, 이용하여 다른 디바이스와 통신하기 위한 블루투스 송수신기(34) 및 다른 NFC 요소(36)가 또한 AVDD(12) 상에 포함될 수 있다. 예시적인 NFC 요소는 무선 주파수 식별(RFID) 요소일 수 있다.

게다가, AVDD(12)는 프로세서(24)에 입력을 제공하는 하나 이상의 보조 센서(37)(예컨대, 가속도계, 자이로스코프, 회전 기록계(cyclometer), 또는 자기 센서 등의 모션 센서, IR(infrared) 센서, 광 센서, 속도 및/또는 카덴차(cadence) 센서, (예컨대, 제스처 명령을 감지하기 위한) 제스처 센서, 등)를 포함할 수 있다. AVDD(12)는 프로세서(24)에 입력을 제공하는 OTH TV 방송을 수신하기 위한 공중파(over-the-air) TV 방송 포트(38)를 포함할 수 있다. 전술한 바에 부가하여, 유의할 점은, AVDD(12)가 또한 IR(infrared) 송신기 및/또는 IR 수신기 및/또는 IRDA(IR data association) 디바이스와 같은 IR 송수신기(42)를 포함할 수 있다는 것이다. AVDD(12)에 전력을 공급하기 위해 배터리(도시되지 않음)가 제공될 수 있다.

여전히 도 1을 참조하면, AVDD(12)에 부가하여, 시스템(10)은 하나 이상의 다른 CE 디바이스 타입을 포함할 수 있다. 시스템(10)이 홈 네트워크일 때, 컴포넌트 간의 통신은 DLNA(digital living network alliance) 프로토콜에 따를 수 있다.

일례에서, 제1 CE 디바이스(44)는 이하에서 기술되는 서버를 통해 송신된 명령을 통해 디스플레이를 제어하는 데 이용될 수 있는 반면, 제2 CE 디바이스(46)는 제1 CE 디바이스(44)와 유사한 컴포넌트를 포함할 수 있고, 따라서 상세히 논의되지 않을 것이다. 도시된 예에서, 2개의 CE 디바이스(44, 46)만이 도시되어 있지만, 보다 적거나 보다 많은 디바이스가 이용될 수 있다는 것을 잘 알 것이다.

도시된 예에서, 본 원리를 설명하기 위해, 3개의 디바이스(12, 44, 46) 모두가, 예컨대, 가정에 있는 엔터테인먼트 네트워크의 구성원인 것으로, 또는 주택과 같은 위치에서 적어도 서로에 근접하여 존재하는 것으로 가정된다. 그러나, 명확히 달리 청구되지 않는 한, 본 원리가, 파선(48)으로 예시된, 특정의 위치로 제한되지 않는다.

예시적인 비제한적 제1 CE 디바이스(44)는 앞서 언급된 디바이스, 예를 들어, 휴대용 무선 랩톱 컴퓨터 또는 노트북 컴퓨터 또는 게임 제어기 중 임의의 디바이스에 의해 설정될 수 있고, 그에 따라 이하에서 기술되는 컴포넌트 중 하나 이상을 가질 수 있다. 제2 CE 디바이스(46)는 블루레이 플레이어, 게임 콘솔 등과 같은 비디오 디스크 플레이어에 의해 설정될 수 있다. 제1 CE 디바이스(44)는, 예컨대, AV 재생 및 일시 정지 명령을 AVDD(12)에 발행하기 위한 리모트 콘트롤(remote control)(RC)일 수 있거나, 태블릿 컴퓨터, 유선 또는 무선 링크를 통해 제2 CE 디바이스(46)에 의해 구현되는 게임 콘솔과 통신하고 AVDD(12) 상에서의 비디오 게임 프리젠테이션(video game presentation)를 제어하는 게임 제어기, 개인용 컴퓨터, 무선 전화, 등과 같은 더욱 복잡한 디바이스일 수 있다.

그에 따라, 제1 CE 디바이스(44)는 디스플레이 상에서의 터치를 통한 이용자 입력 신호를 수신하기 위한 터치 가능형일 수 있는 하나 이상의 디스플레이(50)를 포함할 수 있다. 제1 CE 디바이스(44)는 본 원리에 따라 오디오를 출력하기 위한 하나 이상의 스피커(52), 및 예컨대, 디바이스(44)를 제어하기 위해 가청 명령을 제1 CE 디바이스(44)에 입력하기 위한 예컨대, 오디오 수신기/마이크로폰과 같은 적어도 하나의 추가 입력 디바이스(54)를 포함할 수 있다. 예시적인 제1 CE 디바이스(44)는 또한 하나 이상의 CE 디바이스 프로세서(58)의 제어 하에 네트워크(22)를 통한 통신을 위한 하나 이상의 네트워크 인터페이스(56)를 포함할 수 있다. 이와 같이, 인터페이스(56)는 메쉬 네트워크 인터페이스를 비롯한, 무선 컴퓨터 네트워크 인터페이스의 일례인, Wi-Fi 송수신기일 수 있지만, 이에 한정되는 것은 아니다. 프로세서(58)가 본 원리를 실시하기 위해, 예컨대, 디스플레이(50) 상에 이미지를 제시하고 그로부터 입력을 수신하기 위해 디스플레이(50)를 제어하는 것 등, 본 명세서에 기술된 제1 CE 디바이스(44)의 다른 요소를 비롯하여, 제1 CE 디바이스(44)를 제어한다는 것을 잘 알 것이다. 게다가, 유의할 점은, 네트워크 인터페이스(56)가, 예컨대, 유선 또는 무선 모뎀 또는 라우터, 또는 예컨대, 무선 전화 송수신기, 또는 앞서 언급된 바와 같은 Wi-Fi 송수신기, 등과 같은 다른 적절한 인터페이스일 수 있다는 것이다.

전술한 바에 부가하여, 제1 CE 디바이스(44)는 또한, 예컨대, 또 다른 CE 디바이스에 물리적으로 (예컨대, 유선 연결을 이용하여) 연결하기 위한 HDMI 포트 또는 USB 포트 및/또는 제1 CE 디바이스(44)로부터의 오디오를 헤드폰을 통해 이용자에게 제공하기 위해 헤드폰을 제1 CE 디바이스(44)에 연결하기 위한 헤드폰 포트와 같은 하나 이상의 입력 포트(60)를 포함할 수 있다. 제1 CE 디바이스(44)는 디스크 기반 또는 고상 저장소와 같은 하나 이상의 유형적 컴퓨터 판독 가능 저장 매체(62)를 추가로 포함할 수 있다. 또한 일부 실시예에서, 제1 CE 디바이스(44)는, 예컨대, 삼각측량을 이용하여 적어도 하나의 위성 및/또는 셀 타워로부터 지리적 위치 정보를 수신하고, 이 정보를 CE 디바이스 프로세서(58)에 제공하도록 및/또는 CE 디바이스 프로세서(58)와 관련하여 제1 CE 디바이스(44)가 배치되어 있는 고도를 결정하도록 구성되어 있는 휴대폰 및/또는 GPS 수신기 및/또는 고도계(64)와 같은 그러나 이들에 제한되지 않는 위치 또는 위치 수신기를 포함할 수 있다. 그러나, 휴대폰 및/또는 GPS 수신기 및/또는 고도계 이외의 또 다른 적절한 위치 수신기가, 예컨대, 3개의 차원 모두에서, 예컨대, 제1 CE 디바이스(44)의 위치를 결정하기 위해 본 원리에 따라 이용될 수 있다는 것을 잘 알 것이다.

제1 CE 디바이스(44)의 설명을 계속하면, 일부 실시예에서, 제1 CE 디바이스(44)는 본 원리에 따라 사진/이미지 및/또는 비디오를 수집하기 위해, 예컨대, 열 화상 카메라, 웹캠과 같은 디지털 카메라, 및/또는 제1 CE 디바이스(44) 내에 통합되고 CE 디바이스 프로세서(58)에 의해 제어 가능한 카메라일 수 있는 하나 이상의 카메라(66)를 포함할 수 있다. 블루투스 및/또는 NFC 기술을, 각각, 이용하여 다른 디바이스와 통신하기 위한 블루투스 송수신기(68) 및 다른 NFC(Near Field Communication) 요소(70)가 또한 제1 CE 디바이스(44) 상에 포함될 수 있다. 예시적인 NFC 요소는 무선 주파수 식별(RFID) 요소일 수 있다.

게다가, 제1 CE 디바이스(44)는 CE 디바이스 프로세서(58)에 입력을 제공하는 하나 이상의 보조 센서(72)(예컨대, 가속도계, 자이로스코프, 회전 기록계, 또는 자기 센서 등의 모션 센서, IR(infrared) 센서, 광 센서, 속도 및/또는 카덴차 센서, (예컨대, 제스처 명령을 감지하기 위한) 제스처 센서, 등)를 포함할 수 있다. 제1 CE 디바이스(44)는 CE 디바이스 프로세서(58)에 입력을 제공하는, 예컨대, 하나 이상의 기후 센서(74)(예컨대, 기압계, 습도 센서, 바람 센서, 광 센서, 온도 센서, 등) 및/또는 하나 이상의 생체 측정 센서(76)와 같은 또 다른 센서를 포함할 수 있다. 전술한 바에 부가하여, 유의할 점은, 일부 실시예에서, 제1 CE 디바이스(44)가 또한 IR(infrared) 송신기 및/또는 IR 수신기 및/또는 IR 송수신기(42), 예컨대 IRDA(IR data association) 디바이스를 포함할 수 있다는 것이다. 제1 CE 디바이스(44)에 전력을 공급하기 위해 배터리(도시되지 않음)가 제공될 수 있다. CE 디바이스(44)는 앞서 기술된 통신 모드 및 관련 컴포넌트 중 임의의 것을 통해 AVDD(12)와 통신할 수 있다.

제2 CE 디바이스(46)는 CE 디바이스(44)에 대해 도시된 컴포넌트 중 일부 또는 전부를 포함할 수 있다. CE 디바이스 중 어느 하나 또는 둘 다가 하나 이상의 배터리에 의해 전력을 공급받을 수 있다.

지금 전술한 적어도 하나의 서버(80)를 참조하면, 서버는 적어도 하나의 서버 프로세서(82), 디스크-기반 또는 고상 저장소와 같은 적어도 하나의 유형적 컴퓨터 판독가능 저장 매체(84), 및 서버 프로세서(82)의 제어 하에 네트워크(22)를 통해 도 1의 다른 디바이스와 통신하는 것을 허용하는 적어도 하나의 네트워크 인터페이스(86)를 포함하며, 실제로 본 원리에 따라서 서버와 클라이언트 디바이스 간의 통신을 촉진할 수 있다. 유의할 점은, 네트워크 인터페이스(86)가, 예컨대, 유선 또는 무선 모뎀 또는 라우터, Wi-Fi 송수신기, 또는 예컨대, 무선 전화 송수신기와 같은 다른 적절한 인터페이스일 수 있다는 것이다.

이에 따라, 일부 실시예에서, 서버(80)는 인터넷 서버일 수 있으며, 시스템(10)의 디바이스가 예시적 실시예에서 서버(80)를 통해 "클라우드(cloud)" 환경에 액세스할 수 있도록 "클라우드" 기능을 포함하고 수행할 수 있다. 또는, 서버(80)는 도 1에 도시된 다른 디바이스와 동일한 룸에 있거나 근방에 있는 게임 콘솔 또는 다른 컴퓨터에 의해 구현될 수 있다.

이제 도 2를 참조하면, 도 1의 AVDD(12)의 컴포넌트 중 일부 또는 전부를 포함할 수 있는 AVDD(200)가 게이트웨이로부터, 콘텐츠, 예컨대, 4K 또는 8K 콘텐츠와 같은 UHD 콘텐츠를 수신하기 위해 적어도 하나의 게이트웨이에 연결되어 있다. 도시된 예에서, AVDD(200)는 제1 및 제2 위성 게이트웨이(202, 204)에 연결되어 있고, 각각의 위성 게이트웨이는 각자의 위성 TV 제공업체의 각자의 위성 시스템(206, 208)으로부터 위성 TV 신호를 수신하기 위한 위성 TV 셋톱 박스로서 구성될 수 있다.

위성 게이트웨이에 부가하여 또는 그 대신에, AVDD(200)는 하나 이상의 케이블 TV 셋톱 박스형 게이트웨이(210, 212)로부터 콘텐츠를 수신할 수 있고, 각각의 게이트웨이는 각자의 케이블 헤드엔드(cable head end)(214, 216)로부터 콘텐츠를 수신한다.

또 다시 말하면, 셋톱 박스형 게이트웨이 대신에, AVDD(200)는 클라우드 기반 게이트웨이(220)로부터 콘텐츠를 수신할 수 있다. 클라우드 기반 게이트웨이(220)는 AVDD(200)에 로컬인 네트워크 인터페이스 디바이스(예컨대, AVDD(200)의 모뎀)에 상주할 수 있거나, 인터넷 소싱 콘텐츠(Internet-sourced content)를 AVDD(200)로 송신하는 원격 인터넷 서버에 상주할 수 있다. 어쨋든, AVDD(200)는 클라우드 기반 게이트웨이(220)를 통해 인터넷으로부터 UHD 콘텐츠와 같은 멀티미디어 콘텐츠를 수신할 수 있다. 게이트웨이는 컴퓨터화되어 있고, 따라서 도 1에 도시된 CE 디바이스 중 임의의 것의 적절한 컴포넌트를 포함할 수 있다.

일부 실시예에서, 예컨대, 본 양수인의 리모트 뷰잉 이용자 인터페이스(remote viewing user interface)(RVU) 기술을 이용하여 단일의 셋톱 박스형 게이트웨이만이 제공될 수 있다.

3차 디바이스(tertiary device)가 본 명세서에서의 원리에 따라 AVDD(200)로부터 콘텐츠를 수신하기 위해, 예컨대, 이더넷 또는 USB(universal serial bus) 또는 WiFi 또는 다른 유선 또는 무선 프로토콜을 통해 홈 네트워크(메쉬형 네트워크일 수 있음)에 있는 AVDD(200)에 연결될 수 있다. 도시된 비제한적인 예에서, 비디오 게임 콘솔(224)과 같이, 제2 TV(222)가 AVDD(200)로부터 콘텐츠를 수신하기 위해 AVDD(200)에 연결된다. 네트워크를 확장시키기 위해 부가의 디바이스가 하나 이상의 3차 디바이스에 연결될 수 있다. 3차 디바이스는 도 1에 도시된 CE 디바이스 중 임의의 것의 적절한 컴포넌트를 포함할 수 있다.

도 3의 예시적 시스템에서, 제어 신호는 CE 디바이스(44)의 컴포넌트 중 일부 또는 전부를 구현하는 게임 콘솔로부터, 또는 카메라 중 본 명세서에서 논의된 것과 같은 카메라로부터 나올 수 있으며, 짐벌 어셈블리(gimbal assembly)는 전술한 기계적 부분에 부가하여, 제 2 CE 디바이스(46)의 하나 이상의 컴포넌트를 포함할 수 있다. 게임 콘솔은 AVDD 상에 비디오를 출력할 수 있다. 시스템의 컴포넌트 중 2개 이상은 단일 유닛으로 통합될 수 있다.

더 큰 특이성으로, 도 3의 시스템(300)은 음 축(304)을 따라 사운드를 방출하는 초음파 스피커(302)("파라메트릭 이미터"로도 알려짐)를 포함한다. 짐벌 상의 단일 스피커만이 이용될 수 있거나, 이하의 대안적 실시예에 개시된 바와 같이, 다수의 US 스피커, 예를 들면 구형 어셈블리 내에 배열될 수 있다. 스피커 또는 스피커들은 짐벌 어셈블리 상에 장착될 수 있다. 사운드 빔은 전형적으로는 예를 들어, 30도까지 전형적으로 협각의 축(304)에 대해 원추 각(306)을 정의하는 상대적으로 좁은 원뿔로 국한된다. 따라서, 스피커(302)는 오디오 신호를 하나 이상의 초음파 캐리어 주파수로 변조함으로써 좁은 사운드의 빔을 생성하는 방향성 사운드 소스이다. 초음파 스피커의 지향성이 높기 때문에 대상 청취자가 사운드를 명확하게 청취할 수 있게 하는 반면, 같은 영역에 있지만 빔 외부에 있는 다른 청취자는 사운드를 거의 청취할 수 없다.

전술한 바와 같이, 예들에 있어서, 스피커(302)를 이동시키기 위한 제어 신호는, 예를 들어, 비디오 디스플레이 디바이스(310) 상에 관련 비디오를 출력하는 홈 엔터테인먼트 시스템에서, 카메라, 게임 콘솔, 개인용 컴퓨터, 및 비디오 플레이어와 같은 하나 이상의 제어 신호 소스(308)에 의해 생성될 수 있다. 이로써, 차량(비행기, 헬리콥터, 자동차)이 공간을 이동하는 것과 같은 사운드 효과는 단일 스피커만을 사운드 소스로서 이용하여 큰 정확도로 달성될 수 있다.

일례에서, 게임 제어기와 같은 제어 신호 소스(308)는, 예를 들어 게임이 제시되고 있는 TV 또는 PC 또는 연관된 홈 사운드 시스템과 같은 비디오 디스플레이 디바이스의 메인, 비-초음파 스피커(들)(308A 또는 310A)를 통해 메인 오디오를 출력할 수 있다. 별도의 사운드 효과 오디오 채널은 게임에 포함될 수 있으며, 이러한 제2 사운드 효과 오디오 채널은 방향성 US 스피커(300)를 통해 사운드 효과 채널을 재생하기 위해, 짐벌 어셈블리를 이동시키기 위해 송신된 제어 신호와 함께 또는 그 일부로서 US 스피커(300)에 제공되는 반면에 게임의 메인 오디오는 스피커(들)(308A/310A)를 통해 동시에 재생된다.

제어 신호 소스(308)는 컴퓨터 게임 RC와 같은 하나 이상의 원격 제어기(RC)(309)로부터 이용자 입력을 수신할 수 있다. 메인(비-US) 오디오를 재생하기 위해 각각의 게임 플레이어에 제공된 RC(309) 및/또는 사운드 헤드폰(308C)은, RC 및/또는 헤드폰의 위치가 결정될 수 있는 초음파-광대역(UWB) 태그와 같은 것에 부착된 로케이터 태그(309A)를 가질 수 있다. 이런 방식으로, 게임 소프트웨어는 각각의 플레이어가 가진 헤드폰/RC를 알고 있기 때문에, 해당 플레이어를 위한 US 오디오 효과를 재생하기 위해 US 스피커를 향하고 있는 해당 플레이어의 위치를 알 수 있다.

UWB 대신에, RC의 위치를 결정하기 위해 삼각 측량과 함께 이용될 수 있는 다른 감지 기술이, 예를 들어 정밀한 블루투스 또는 WiFi 또는 별도의 GPS 수신기에도 이용될 수 있다. 촬영이 이하에 추가로 설명되는 바와 같이 이용자/RC의 위치 및/또는 룸 치수를 결정하는데 이용될 때, 제어 신호 소스(308)는 카메라(예를 들어, CCD) 또는 전방 관측 적외선(FLIR) 이미저와 같은 로케이터(308B)를 포함할 수 있다.

이용자 위치는 초기 자동 조정 프로세스 중에 결정될 수 있다. 이러한 프로세스의 또 다른 예는 다음과 같다. 게임 플레이어의 헤드셋에 있는 마이크로폰이 이용될 수도 있고, 또는 대안적으로 헤드셋의 이어피스 또는 이어피스 자체에 통합된 마이크로폰이 마이크로폰으로서 이용될 수도 있다. 이 시스템은 헤드폰을 착용한 청취자가 예를 들어, 미리 결정된 제스처를 이용하여, 어느 귀가 좁은 US 빔을 픽업하는지를 나타낼 때까지 US 빔을 주위로 이동시킴으로써 각각의 귀의 위치를 정확하게 교정할 수 있다.

부가적으로 또는 대안으로, 짐벌 어셈블리는 마이크로 전기 기계 시스템(MEMS) 마이크로폰과 같은 하나 이상의 마이크로폰(313)으로부터의 수신된 사운드에 관한 정보를 수신하고 짐벌 어셈블리 내의 하나 이상의 컴퓨터 메모리(314)에 액세스하는 하나 이상의 프로세서(312)에 신호를 송신하는 카메라 또는 FLIR 이미저(311)에 결합될 수 있다. 제어 신호(필요할 경우, 사운드 효과 오디오 채널과 함께) 또한 프로세서에 의해(전형적으로 네트워크 인터페이스를 통해) 수신된다. 짐벌 어셈블리는 스피커(302)가 도시된 바와 같이 방위각 차원(318)에서 장착되는 지지 어셈블리(317)를 돌리기 위해 프로세서(312)에 의해 제어되는 방위각 제어 모터(316)를 포함할 수 있다.

원한다면, 음파 빔(304)의 방위각뿐만 아니라 수평면에 대한 고도각 또한 제어될 수 있다. 도시된 예에서, 지지 어셈블리(317)는 대향 측부 마운트(319)를 포함하고, 고도 제어 모터(320)는 측부 마운트(319)에 결합되어 스피커(302)에 결합된 축(322)을, 324에 표시한 바와 같이, 회전시켜 스피커를 고도각 상하로 경사지게 할 수 있다. 짐벌 어셈블리는 비제한적 실시예에서 수직 지지 폴(328)에 결합된 수평 지지 아암(326)을 포함할 수 있다.

짐벌 어셈블리 및/또는 그 일부는 호비 킹(Hobby King)으로부터 입수 가능한 브러시리스 짐벌 어셈블리일 수 있다.

제1 예에 대한 도 4를 참조하면, 컴퓨터 게임 설계자는 블록(400)에서 수신된 메인 오디오 채널뿐만 아니라 오디오 효과 채널을 지정하여, 오디오 효과 채널에서 캐리되고 블록(402)에서 수신된 오디오 효과의 위치(방위각, 및 필요에 따라 고도각)를 특정할 수 있다. 이러한 채널은 전형적으로 게임 소프트웨어(또는 오디오-비디오 영화, 등)에 포함된다. 오디오 효과에 대한 제어 신호가 컴퓨터 게임 소프트웨어로부터의 것일 때, 블록(404)에서 게임 동안 오디오 효과에 의해 표현되는 오브젝트의 모션을 변경하기 위한 이용자 입력(위치, 방향)이 RC(309)로부터 수신될 수 있다. 블록(406)에서, 게임 소프트웨어는 환경 내의 시간 경과에 따른 효과(모션)의 위치를 정의하는 벡터(x-y-z)를 생성하여 출력한다. 이러한 벡터는 블록(408)에서 짐벌 어셈블리로 보내져서, 짐벌 어셈블리의 초음파 스피커(들)(300)가 오디오 효과 채널 오디오를 재생하고 벡터를 이용하여 스피커(302)(따라서, 방출된 오디오 효과의 음 축(304))를 이동시키게 한다.

도 5는 짐벌 어셈블리가 제어 신호를 이용하여 수행하는 것을 도시한다. 블록(500)에서, 방향성 벡터(들)를 갖는 오디오 채널이 수신된다. 블록(502)으로 진행하여, 짐벌 어셈블리는 스피커(302)를 방위각 및/또는 고도각으로 이동시켜 요구된 벡터에서 음 축(304)을 중앙에 위치시키도록 이동된다. 요구된 오디오는 블록(504)에서 스피커를 통해 재생되고, 원추 각(306) 내에 한정된다.

상기에서 언급된 바와 같이, 도 1에 도시된 것과 같은 카메라는, 예를 들면, 짐벌 어셈블리의 프로세서에 의해 채택될 수 있는 로직을 나타내는, 도 6의 블록(600)에서 스피커(302)가 위치하는 공간을 촬영하는데 이용될 수 있다. 도 1의 카메라는 오디오 비디오 디스플레이 디바이스에 결합된 것으로 도시되어 있지만, 이것은 대안적으로 제어 신호 생성기(308)로서의 역할을 하는 게임 콘솔 상에 제공된 로케이터(308B) 또는 짐벌 어셈블리 자체 상의 이미저(311)일 수 있다. 임의의 경우에, 예를 들어, 로케이터(308B) 또는 이미저(311)로부터의 가시적인 이미지 상에서 동작하는 얼굴 인식 소프트웨어를 이용하여, 결정자(602)에서, 예를 들어 사람의 이미지를 저장된 템플릿 이미지에 대해 매칭시킴으로써, 또는 FLIR이 이용될 때, 미리 결정된 템플릿을 매칭시키는 IR 서명이 수신되었는지 여부를 판정함으로써, 미리 결정된 사람이 해당 공간에 있는지 여부가 판정된다. 미리 결정된 사람이 촬영된 경우, 짐벌 어셈블리는 음 축(304)을 인식된 사람을 향하게 하기 위해 블록(604)에서 이동될 수 있다.

미리 결정된 사람의 촬영된 얼굴이 어디에 있는지를 알기 위해 몇 가지 방법 중 하나를 이용할 수 있다. 첫번째 방법은 오디오 또는 비디오 프롬프트를 이용하여 사람에게 썸즈업(thumbs up)과 같은 제스처를 하거나 사람이 오디오를 들을 때 미리 결정된 위치에서 RC를 잡은 다음, 짐벌 어셈블리를 움직여 카메라가 제스처를 하는 사람을 촬영할 때까지 룸 주위의 음 축을 스윕하도록 지시하는 것이다. 또 다른 방법은 카메라 축의 방향을 짐벌 어셈블리 내로 미리 프로그래밍하여, 중앙 카메라 축을 알고 있는 짐벌 어셈블리가 얼굴이 촬영된 축으로부터의 임의의 오프셋을 결정하고 스피커 방향을 그 오프셋에 매칭시킬 수 있게 하는 것이다. 또한, 카메라(311) 자체는 스피커(302)의 음 축(304)과 고정된 관계로 짐벌 어셈블리 상에 장착될 수 있어, 카메라 축과 음 축은 항상 일치하게 된다. 카메라로부터의 신호는, 미리 정해진 사람의 촬영된 얼굴에 카메라 축(따라서 음 축)을 중앙에 위치시키는데 이용될 수 있다.

도 7은 도 6의 결정자(602)에서 이용된 템플릿을 입력하는 데 이용될 수 있는 예시적인 이용자 인터페이스(UI)를 나타낸다. 프롬프트(700)는 음 축이 향해야 하는 사람의 사진을 사람이 입력하기 위해 게임 제어기가 결합된 비디오 디스플레이와 같은 디스플레이 상에 제시될 수 있다. 예를 들어, 시력 및/또는 청각 장애를 갖는 사람은 스피커(302)를 향하는 사람으로 지정될 수 있다.

이용자에게는, 갤러리에 사진을 입력하기 위한 옵션(702), 또는 카메라가 현재 카메라 앞에 있는 사람을 촬영하게 하는 옵션(704)이 주어질 수 있다. 도 6에 대한 테스트 템플릿을 입력하기 위한 다른 예시적 수단이 이용될 수 있다. 예를 들어, 시스템은 스피커(302)의 음 축(304)을 향하는 곳을 직접적인 이용자 입력에 의해 통지 받을 수 있다.

어느 경우에나, 시각 장애를 갖는 사람이 앉을 수 있는 특정한 위치에 비디오 기술 오디오 서비스를 전달하기 위해 본 원리가 이용될 수 있다는 것을 이해할 수 있다.

초음파 스피커의 또 다른 특징은, 벽과 같은 반사 표면을 향하는 경우, 사운드가 반사 위치로부터 나오는 것처럼 보이는 것이다. 이러한 특성은 이용자가 있는 곳에서 반사된 사운드를 목표로 하기 위해 룸 경계에서 벗어난 적절한 입사각을 이용하여 사운드의 방향을 제어하기 위해 짐벌 어셈블리에 대한 입력으로서 이용될 수 있다. 범위 찾기 기술은 공간의 경계를 맵핑하는데 이용될 수 있다. 커튼, 가구, 등과 같이 룸 내의 오브젝트를 파악할 수 있으면 시스템의 정확도를 높일 수 있다. 효과 스피커가 상주하는 공간을 맵핑하거나 그렇지 않으면 분석하는데 이용된, 카메라의 추가는, 환경을 고려하여 효과의 정확성을 향상시키는 방식으로 제어 신호를 수정하는데 이용될 수 있다.

더 높은 특이성으로, 룸은 임의의 상기 카메라에 의해 촬영되고 이미지 인식은 벽과 천장이 있는 곳을 결정하기 위해 구현될 수 있다. 이미지 인식은 또한 표면이 양호한 반사기인지를 나타낼 수 있는데, 예를 들어 평평한 백색 표면은 전형적으로 잘 반사되는 벽인 반면, 접힌 표면은 상대적으로 비-반사성 커튼을 나타낼 수 있다. 디폴트 룸 구성(그리고 원하는 경우, 청취자(들)에게 가정된 디폴트 위치)은 이미지 인식 기술을 이용하여 제공 및 수정될 수 있다.

대안적으로 그리고 도 11을 참조하여 이하에서 추가로 설명되는 바와 같이, US 스피커(300)로부터의 지향성 사운드는 짐벌 어셈블리를 이동시키고, 다양한 짐벌 어셈블리 방향 각각에서 첩(chirp)을 방출하고, 첩을 타이밍 수신함으로써 이용되어, (1) 해당 방향으로의 반사 표면까지의 거리를 알 수 있고 (2) 리턴 첩의 진폭에 기초하여, 표면이 양호한 반사기인지 열악한 반사기인지를 알 수 있다. 다시 말해, 백색 잡음은 PN(pseudorandom) 시퀀스로서 생성되어 US 스피커에 의해 방출될 수 있으며 그 다음 반사는 "테스트" 백색 잡음이 방출되는 각각의 방향에 대한 US 파형의 전달 함수를 결정하기 위해 측정될 수 있다. 또한, 이용자는 룸 치수 및 표면 타입을 입력하기 위해 일련의 UI를 통해 프롬프트될 수 있다.

다시, 본 명세서에 참고로 인용된, USPP 2015/0256954에 기술된 하나 이상의 룸 치수 맵핑 기술이 이용될 수 있다.

또는, 구조화된 광은 높은 정확도로 룸을 3D로 맵핑하기 위해 채택될 수 있다. 룸을 점검하는 또 다른 방식은, 광학 포인터를 이용하는 것이며(공지된 발산), 카메라를 이용하여, 룸 치수를 정확하게 측정할 수 있다. 스폿 치수 및 왜곡에 의해, 표면 상의 입사각이 추정될 수 있다. 또한 표면의 반사율은 사운드에 대한 반사면일 수도 아닐 수도 있는지에 대한 추가 힌트이다.

임의의 경우에, 룸 치수 및 표면 유형이 일단 알려지면, 짐벌 어셈블리의 프로세서는 제어 신호로부터, 오디오 효과가 모델링되어 오거나 및/또는 전달되는 위치를 알고 있으므로, 삼각 측량을 통해, 반사 위치로부터의 반사된 사운드가 룸 내의 의도된 위치에서 수신되도록 US 스피커(300)를 향하고 있는 반사 위치를 결정할 수 있다. 이러한 방식으로, US 스피커(300)는 의도된 플레이어에서 직접 짐벌 어셈블리에 의해 조준될 수 없지만, 그 대신 의도된 플레이어에게 사운드가 반사 지점으로부터 그리고 US 스피커의 방향이 아닌 곳으로부터 오는 것이라는 인식을 제공하기 위해 반사 지점을 조준할 수 있다.

도 7은 하나 이상의 짐벌 어셈블리 상의 다수의 초음파 스피커가 동일한 오디오를 제공하지만 오디오가 타겟팅될 때 동시에 영어 및 불어와 같은 각각 상이한 언어 오디오 트랙으로 제공되는 추가 애플리케이션을 도시한다. 프롬프트(706)는 안면 이미지가 입력된 템플릿을 설정하는 사람에 대한 언어를 선택하도록 제공될 수 있다. 언어는 도 6의 결정자(602)에서 미리 결정된 얼굴이 인식될 때 후속 동작 동안, 시스템이 각각의 이용자에게 지시되어야 하는 언어를 알 수 있도록, 언어의 리스트(708)로부터 선택되어 그 사람의 템플릿 이미지와 상관될 수 있다. 짐벌-장착형 초음파 스피커는 위상 배열 기술의 필요성을 배제하지만, 이러한 기술은 본 원리와 결합될 수 있음에 유의해야 한다.

도 8은 복수의 초음파 스피커(802)가 기둥형 지지부(806) 상에 지지될 수 있는 스피커 마운트(804) 상에 장착되는 대체 스피커 어셈블리(800)를 도시한다. 각각의 스피커(802)는 구면 좌표에서, 고도 성분 및 방위 성분을 갖는 각각의 음 축(808)을 따라 사운드를 방출한다. 원한다면, 마운트(804)의 최상부 및/또는 최하부는 임의의 스피커를 지지할 필요는 없는데, 즉, 원한다면, 똑바로 또는 똑바로 아래를 향하는 스피커가 마운트(804) 상에 제공될 필요는 없다. 원하는 경우, 거의 수직 사운드 투사가 구상되어 있지 않으면, 예를 들어, 음 축이 수직의 "N"도 이내의 고도각을 갖는 스피커가 제공될 필요가 없도록, 고도의 "사각 지대(dead zone)"가 확장될 수 있다.

임의의 경우에, 마운트는 스피커(802)를 도시된 구형 배열로 유지하도록 구성될 수 있어서, 각각의 음 축(808)이, 마운트(804) 내로 연장되는 경우, 대략 마운트(804)의 중심과 교차한다. 도시된 예에서, 마운트(804)는 도시된 바와 같이 각각의 스피커(802)를 실질적으로 패널의 중심에서 지지할 수 있고 평평할 수 있는 패널(810)을 갖는 버키 볼(Bucky Ball)로서 구성된다. 각각의 스피커(802)는 버키 볼에 의해 정의된 방사상 라인을 따라 실질적으로 배향될 수 있다.

이하에 기술된 도 11과 관련하여 기재된 목적을 위해, 마이크로 전자-기계 시스템(MEMS) 마이크로폰과 같은 하나 이상의 마이크로폰(812)이 예를 들어, 버키 볼 패널 상에 마이크로폰을 장착함으로써 도 8의 시스템에 포함될 수 있다.

스피커(802)는 마운트(804) 상에 스피커(802)를 지지하기 위해 그들 각각의 패널(810) 내의 각각의 구멍에 수용될 수 있다. 스피커는 에폭시될 수 있거나 그렇지 않으면 마운트에 더 접착될 수 있다. 스크류와 같은 패스너를 이용하여 스피커를 마운트에 부착하거나 스피커를 마운트에 자기적으로 결합하는 것, 등을 포함하는 다른 장착 수단이 구상된다. 이미저(311), 프로세서(312), 및 메모리(314)를 포함하는, 도 3에 도시된 짐벌 실시예로부터의 관련 컴포넌트는 마운트(804) 상에 또는 그 내부에 지지될 수 있다. 따라서, 도 4 내지 도 6의 로직은 도 8의 어셈블리에 의해 수행될 수 있는데, 도 9 및 도 10을 참조하여 아래 예외를 제외하고는, 제어 신호에서 요구된 방향으로 음 축을 정렬하기 위해 짐벌을 이동시키는 대신에, 음 축(808)이 요구된 축에 가장 근접하게 매칭되는 스피커(802)가 요구된 오디오를 재생하도록 활성화된다. 요구된 오디오의 다수의 채널이 존재할 때, 각각의 채널이 또 다른 스피커에 대한 다른 채널과 동시에 각각의 스피커에서 재생될 수 있음에 유의해야 한다. 이러한 방식으로, 다른 사운드 효과 채널(들)이 재생되는 방향과 상이한 방향으로 재생되는 각각의 사운드 효과 채널과 함께 동시에 다수의 오디오 사운드 효과가 재생될 수 있다.

도 8의 실시예에서, 마운트(804)는 기둥(806) 상에서 이동할 필요는 없다. 대신에, 요구된 축을 본질적으로 설정하는 전술한 제어 신호는, 그 각각의 음 축(808)을 따라 사운드를 방출하도록 어느 스피커(802)가 활성화되거나 작동되는지의 선택에 영향을 줄 수 있다. 즉, 음 축(808)이 요구된 음 축에 가장 근접하게 매칭하는 스피커(802)는 요구된 오디오 효과를 출력하도록 선택된다. 원하는 경우, 예를 들어, 요구된 오디오 효과 채널에 대한 다수의 요구된 음 축이 동시에 생성될 때, 2개 이상의 스피커(802)가 한번에 활성화될 수 있지만, 한번에 단 하나의 스피커(802)가 활성화될 필요가 있다.

도 1-7의 설명으로부터의 모든 다른 관련 원리가 도 8의 대안 실시예에 적용된다는 것을 이해해야 한다.

이제 도 9 및 도 10을 좀 더 특별하게 참조하면, 오디오 효과 채널은 블록(900)에서 수신되어, 오디오 효과 채널에서 캐리되고 블록(902)에서 수신된 오디오 효과의 위치(방위각 및 필요하다면, 고도각)를 특정한다. 이러한 채널은 전형적으로 게임 소프트웨어(또는 오디오-비디오 영화 등)에 포함된다. 오디오 효과에 대한 제어 신호가 컴퓨터 게임 소프트웨어로부터의 것일 때, 블록(904)에서 게임 동안 오디오 효과에 의해 표현되는 오브젝트의 모션을 변경하기 위한 이용자 입력(위치, 방향)이 RC(309)로부터 수신될 수 있다. 블록(906)에서, 게임 소프트웨어는 환경 내의 시간 경과에 따른 효과(모션)의 위치를 정의하는 벡터(x-y-z)를 생성하여 출력한다. 이러한 벡터는 블록(908)에서 스피커 볼 프로세서(들)로 보내져서, 어셈블리의 초음파 스피커(들)가 오디오 효과 채널 오디오를 재생하고, 재생 스피커는 블록(906)에서 벡터(들)에 의해 요구된 사운드를 방출하는 것이다.

도 10은 스피커 볼 어셈블리가 제어 신호를 이용하여 수행하는 것을 도시한다. 블록(1000)에서, 방향성 벡터(들)를 갖는 오디오 채널이 수신된다. 블록(1002)으로 진행하여, 요구된 벡터를 만족시키는 방향으로 사운드를 방출하는 스피커(들)가 선택된다. 요구된 오디오는 블록(1004)에서 선택된 스피커를 통해 재생된다.

전술한 도 6의 로직은 또한 블록(604)에서, 미리 결정된 사람이 촬영된 것에 응답하여, 요구된 벡터를 충족하는 축을 따라 오디오를 재생하도록 스피커가 선택된다는 점을 제외하고는, 도 8의 스피커 어셈블리와 함께 이용될 수 있으며, 스피커의 음 축은 인식된 사람을 가리키고 있다.

도 11은 전술한 US 스피커 어셈블리 중 임의의 것이 예를 들어, 도 3 및 도 8의 MEMS 마이크로폰(313, 812)을 이용하여 배치될 수 있는 룸을 맵핑하기 위한 로직을 도시한다. 블록(1100)에서 시작하여, US 스피커 중 적어도 하나는 i번째 방향에서의 방위각 및 고도로 배향된다. 스피커의 방향은 기록된다. 블록(1102)으로 진행하여, 스피커는 시간 "i"에서 맵핑 사운드 또는 첩을 방출하도록 제어된다. 시간 "i"가 기록된다. 원한다면, 각각의 방향에 있는 다수의 스피커는 시간 "i"에서 각각의 상이한 주파수에서 각각의 테스트 첩을 방출할 수 있으며, 리턴 반사의 주파수의 차이는 하나의 스피커 첩을 다른 것과 판별하는데 이용된다. 그러나, 명확화를 위해, 이하의 개시내용은 하나의 스피커에 대한 신호 처리에 초점을 둔다.

블록(1104)으로 진행하여, 상기 설명된 마이크로폰 중 하나와 같은 마이크로폰(예를 들면, 도 3 및 도 8의 MEMS 마이크로폰(313, 812))은, 방출 스피커와 실질적으로 동일한 곳에 위치할 수 있거나 US 스피커 자체에 의해서도 설정될 수 있고, 테스트 첩이 충돌하는 표면으로부터의 테스트 첩의 반사를 나타내는 리턴 신호를 수신한다. 표면은 시스템이 배치된 룸의 벽으로 가정되지만, 아래에서 더 설명된 바와 같이, 로직은 표면이 룸의 벽 이외의 다른 것, 예를 들어, 룸의 가구일 가능성을 고려할 수 있다. 마이크로폰으로부터의 신호는 예를 들어, 리턴 또는 에코가 수신된 시간을 기록하는 상술한 프로세서 중 적절한 하나에 송신된다. 리턴 검출 시간과 첩 송신의 시간 "i" 사이의 차이 Δt가 결정되고, 블록(1106)에서, 예를 들어, 다음의 알고리즘을 이용하여 i번째 거리로 변환된다:

i번째 거리 = ½ Δt * c, 여기서 c = 사운드의 속도.

블록(1108)에서, i번째 거리가 저장되고 방출 스피커의 방향(음 축의 방위각 및 고도각)과 연관된다. 결정자(1110)로 이동하여, 임의의 추가 측정이 취해질 것인지가 결정된다. 일례에서, 100개의 맵핑 측정이 취해질 수 있다(즉, "i"는 1에서 100까지 단조롭게 증가한다). 더 많거나 더 적은 측정이 이용될 수 있다. 더 많은 측정이 수행되어야 하는 경우, 프로세스는 블록(1112)으로 이동하여 다음 "i"로 이동하고, 테스트 방출 스피커의 음 축은 상이한 고도 및/또는 방위각으로 배향된 다음 프로세스는 블록(1100)으로 루프된다.

모든 측정이 행해졌을 때, 프로세스는 결정자(1110)를 빠져 나와 블록(1114)으로 진행하여 룸의 맵을 구성한다. 이렇게 하기 위해서, 벽은 각각의 i번째 방향을 따라 방출 스피커 및/또는 마이크로폰(스피커와 함께 동일한 곳에 위치할 수 있음)의 위치로부터 각각의 거리 "i"에 위치한다고 가정된다. 벽은 일정한 엔클로저를 형성하는 것으로 가정되어, 상대적으로 더 길고 동일한 두 거리 사이에 기록된 비교적 짧은 거리와 같은 임의의 불연속성은 그러한 불연속성이 벽이 아니라 오히려 개입하는 가구와 같은 인공물 또는 거짓 리턴에 의해 야기된다는 가정하에 맵에서 제거될 수 있다.

룸의 치수가 일단 알려지면, 위에서 설명한 대로 US 스피커를 배향하는 프로세서는 제어 신호로부터 오디오 효과가 모델링되어 오거나 전달될 위치를 알고 있고, 삼각 측량을 통해, 반사 위치로부터의 반사된 사운드가 룸 내의 의도된 위치에서 수신되도록 US 스피커를 향하고 있는 반사 위치를 결정한다. 이러한 방식으로, US 스피커는 의도된 플레이어에서 직접 조준될 수 없지만, 그 대신 의도된 플레이어에게 사운드가 반사 지점으로부터 그리고 US 스피커의 방향이 아닌 곳으로부터 오는 것이라는 인식을 제공하기 위해 반사 지점을 조준할 수 있다.

상기 방법은 적절하게 구성된 주문형 집적 회로(ASIC) 또는 필드 프로그램가능 게이트 어레이(FPGA) 모듈을 포함하는 프로세서에 의해 실행되는 소프트웨어 명령어로서 구현될 수 있거나, 또는 본 기술 분야의 숙련자라면 알 수 있는 임의의 다른 편리한 방식으로 구현될 수 있다. 채택되는 경우, 소프트웨어 명령어는 CD 롬 또는 플래시 드라이브와 같은 디바이스 또는 일시적인 신호가 아닌 컴퓨터 메모리의 임의의 상기 비제한적인 예에서 구현될 수 있다. 소프트웨어 코드 명령어는 대안적으로 무선 신호 또는 광 신호와 같은 일시적인 배열로 또는 인터넷을 통한 다운로드를 통해 구현될 수 있다.

본 발명의 원리는 일부 예시적인 실시예를 참조하여 기술되었지만, 이들은 제한하려는 의도가 아니며, 다양한 대안적인 배열이 본 명세서에서 청구된 주제를 구현하기 위해 이용될 수 있다는 것을 이해할 것이다.

Claims

시스템으로서,
각각의 음 축을 따라 사운드를 방출하도록 구성된 적어도 하나의 초음파 스피커;
적어도 하나의 마이크로폰; 및
적어도 하나의 프로세서에 의해 실행 가능한 명령어들을 포함하는 일시적인 신호가 아닌 적어도 하나의 컴퓨터 메모리를 포함하되,
상기 명령어들은,
상기 적어도 하나의 초음파 스피커 및 상기 적어도 하나의 마이크로폰을 이용하여, 룸의 맵을 생성하고;
제어 신호를 수신하고;
상기 제어 신호에 응답하여, 상기 룸의 맵을 이용하여 적어도 부분적으로 스피커를 작동시키며,
상기 제어 신호는 고도 성분 및 방위 성분을 포함하는 요구된 음 축을 나타내고, 상기 제어 신호는 수신된 오디오 채널에서 적어도 하나의 오디오 효과 데이터를 나타내는, 시스템.
제1항에 있어서, 상기 프로세서를 포함하는, 시스템.
삭제
제1항에 있어서, 상기 제어 신호는 비-초음파 스피커들을 통해 재생하기 위한 메인 오디오 채널을 출력하는 컴퓨터 게임 콘솔로부터 수신되는, 시스템.
제1항에 있어서, 상기 명령어들은, 상기 맵을 이용하여, 상기 제어 신호에 응답하여 반사 위치로 사운드를 향하게 하도록 실행 가능한, 시스템.
삭제
제1항에 있어서, 상기 오디오 효과 데이터는 컴퓨터 게임 입력 디바이스로의 입력으로부터 적어도 부분적으로 설정되는, 시스템.
방법으로서,
i번째 방향에서의 방위각 및 고도로 적어도 하나의 초음파(US) 스피커를 배향하는 단계;
상기 US 스피커가 시간 "i"에 맵핑 사운드를 방출하게 하는 단계;
적어도 하나의 마이크로폰을 이용하여 상기 맵핑 사운드의 리턴 신호를 검출하는 단계;
리턴 신호 검출의 시간과 상기 시간 "i" 사이의 시간차 Δt를 결정하는 단계;
i번째 거리 = ½ Δt * c(c = 사운드의 속도)를 이용하여, 상기 시간차 Δt를 i번째 거리로 변환하는 단계;
상기 i번째 방향과 연관된 상기 i번째 거리와 동일한 거리가 되도록 표면의 위치를 설정하는 단계; 및
상기 표면의 상기 위치에 적어도 부분적으로 기초하여 그리고 요구된 오디오 효과에 대한 제어 신호에 응답하여, 상기 적어도 하나의 US 스피커가 상기 요구된 오디오를 방출하는 적어도 하나의 US 스피커의 방향을 설정하는 단계를 포함하고,
상기 제어 신호는 고도 성분 및 방위 성분을 포함하는 요구된 음 축을 나타내고, 상기 제어 신호는 수신된 오디오 채널에서 적어도 하나의 오디오 효과 데이터를 나타내는,방법.
제8항에 있어서, 서로 상이한 각각의 주파수에서 각각의 맵핑 사운드를 방출하기 위해 복수의 US 스피커를 이용하는 단계를 포함하는, 방법.
제8항에 있어서, 상기 마이크로폰은 마이크로 전자-기계 시스템(MEMS) 마이크로폰인, 방법.
제8항에 있어서, 상기 마이크로폰은 상기 US 스피커와 실질적으로 동일한 곳에 위치하는(co-located), 방법.
제8항에 있어서, 각각의 스피커 방향 i = 1 내지 N을 따라 시간 i = 1 내지 N에 "N"개의 맵핑 사운드를 방출하는 단계를 포함하는, 방법.
제12항에 있어서, 상기 "N"개의 맵핑 사운드 중 복수개 사운드의 반사들의 검출들을 이용하여 룸의 전자 맵을 설정하는 단계를 포함하는, 방법.
제13항에 있어서, 상기 전자 맵에서의 불연속성을 구성하는 상기 "N"개의 맵핑 사운드 중 복수개 사운드의 반사들의 상기 검출들 중 임의의 검출을 상기 맵 상의 포함으로부터 제거하는 단계를 포함하는, 방법.
디바이스로서,
적어도 하나의 프로세서에 의해 실행 가능한 명령어들을 포함하는 일시적인 신호가 아닌 적어도 하나의 컴퓨터 메모리를 포함하되,
상기 명령어들은,
적어도 하나의 초음파(US) 스피커 및 적어도 하나의 마이크로폰을 이용하여, 적어도 부분적으로,
i번째 방향에서의 방위각 및 고도로 상기 적어도 하나의 US 스피커를 배향하고;
상기 US 스피커가 송신 시간에 맵핑 사운드를 방출하게 하고;
리턴 신호 시간에, 상기 적어도 하나의 마이크로폰을 이용하여 상기 맵핑 사운드의 리턴 신호를 검출하고;
리턴 신호 시간 및 상기 송신 시간을 이용하여 i번째 거리를 결정하고;
룸의 표면의 위치를 상기 i번째 방향과 연관된 상기 i번째 거리와 동일한 거리가 되도록 설정함으로써, 상기 룸의 맵을 생성하며,
상기 명령어들은 제어 신호를 수신하도록 실행가능하며,
상기 제어 신호는 고도 성분 및 방위 성분을 포함하는 요구된 음 축을 나타내고, 상기 제어 신호는 수신된 오디오 채널에서 적어도 하나의 오디오 효과 데이터를 나타내는, 디바이스.
제15항에 있어서, 상기 명령어들은,
복수의 US 스피커가 서로 상이한 각각의 주파수에서 각각의 맵핑 사운드를 방출하게 하도록 실행 가능한, 디바이스.
제15항에 있어서, 상기 마이크로폰은 마이크로 전자-기계 시스템(MEMS) 마이크로폰인, 디바이스.
제15항에 있어서, 상기 명령어들은,
상기 적어도 하나의 US 마이크로폰이 각각의 스피커 방향 i = 1 내지 N을 따라 각각의 시간 i = 1 내지 N에 "N"개의 맵핑 사운드를 방출하게 하도록 실행 가능한, 디바이스.
제18항에 있어서, 상기 명령어들은,
상기 "N"개의 맵핑 사운드 중 복수개 사운드의 반사들의 검출들을 이용하여 상기 룸의 맵을 설정하도록 실행 가능한, 디바이스.
제15항에 있어서, 상기 명령어들은,
상기 제어 신호에 응답하여, 상기 룸의 맵을 이용하여 적어도 부분적으로 상기 복수의 초음파 스피커 중 하나의 스피커를 작동시키도록 실행 가능한, 디바이스.