KR101405646B1 - 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화 - Google Patents

휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화 Download PDF

Info

Publication number
KR101405646B1
KR101405646B1 KR1020127034152A KR20127034152A KR101405646B1 KR 101405646 B1 KR101405646 B1 KR 101405646B1 KR 1020127034152 A KR1020127034152 A KR 1020127034152A KR 20127034152 A KR20127034152 A KR 20127034152A KR 101405646 B1 KR101405646 B1 KR 101405646B1
Authority
KR
South Korea
Prior art keywords
communication device
portable communication
location
sound
sound output
Prior art date
Application number
KR1020127034152A
Other languages
English (en)
Other versions
KR20130045281A (ko
Inventor
월터 에터
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20130045281A publication Critical patent/KR20130045281A/ko
Application granted granted Critical
Publication of KR101405646B1 publication Critical patent/KR101405646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Abstract

예시적인 통신을 가능하게 하기 위한 방법은 비디오 출력을 생성하는 휴대용 통신 디바이스의 위치를 결정하는 단계를 포함한다. 사운드 출력 제어가 휴대용 통신 디바이스의 결정된 위치에 기초하여 오디오 디바이스로부터 사운드 출력을 지향시키기 위해 휴대용 통신 디바이스와는 별개인 오디오 디바이스에 제공된다.

Description

휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화{FACILITATING COMMUNICATIONS USING A PORTABLE COMMUNICATION DEVICE AND DIRECTED SOUND OUTPUT}
본 발명은 일반적으로 통신에 관한 것이다. 더 구체적으로, 본 발명은 통신을 가능하게 하기 위한 사운드 제어에 관한 것이다.
휴대용 통신 디바이스는 광범위하게 사용되고 있다. 휴대폰, 개인 휴대 정보 단말 및 노트북 컴퓨터가 매우 인기가 있다. 이들 디바이스의 능력 및 기능이 증가함에 따라, 이들에 대한 다양한 사용이 증가하고 있다.
휴대용 통신 디바이스의 일 제한은 이러한 디바이스의 라우드스피커가 통상적으로 고품질 사운드를 전달하지 않는다는 것이다. 이러한 디바이스가 비디오를 관찰하기 위해 사용될 때, 연관 오디오는 통상적으로 열악한 품질을 갖는다. 예를 들어, 비디오-가능 휴대용 통신 디바이스를 사용하여 비디오 원격 회의를 수행하는 것이 유용할 것이다. 그러나, 휴대용 통신 디바이스의 라우드스피커로부터의 사운드 품질은 디바이스의 이러한 사용을 단념시키기에 충분히 열악할 수 있다. 유사하게, 다수의 휴대용 통신 디바이스는 비디오 재생 능력을 갖지만, 연관 오디오 출력은 미흡한 점이 많다.
휴대용 통신 디바이스를 갖는 외부 오디오 출력을 이용하기 위한 시도가 사운드 품질을 향상시킬 수 있다. 그러나, 통신 디바이스의 휴대성에 기인하여 상당한 과제가 있다. 외부 라우드스피커와 휴대용 통신 디바이스 사이의 공간 관계는 이 목적을 위해 디바이스의 단일의 사용 중에 변경될 수 있다. 이는 결합적인 시각 및 음성 경험의 결여를 생성한다. 이는 예를 들어 개인이 위치되어 있는 방 내의 소정의 임의의 위치로부터 발산하는 연관 오디오를 청취하면서 휴대용 통신 디바이스의 비디오 디스플레이를 관찰하는 개인에게는 매우 부자연스럽다. 고품질 사운드 시스템은 휴대용 통신 디바이스 상에서 관찰되는 비디오와 오디오 출력 사이의 임의의 공간적 결합성을 제공하지 않을 것이다. 이 결합성의 결여는 미흡한 점이 많고 이러한 방식으로 이들의 휴대용 통신 디바이스를 이용하려는 시도로부터 개인을 단념시킬 것이다.
예시적인 통신을 가능하게 하기 위한 방법은 비디오 출력을 생성하는 휴대용 통신 디바이스의 위치를 결정하는 단계를 포함한다. 사운드 출력 제어가 휴대용 통신 디바이스의 결정된 위치에 기초하여 오디오 디바이스로부터 제 2 출력을 지향시키기 위해 휴대용 통신 디바이스와는 별개인 오디오 디바이스에 제공된다.
예시적인 휴대용 통신 디바이스가 비디오 출력을 포함한다. 위치 센서는 휴대용 통신 디바이스의 위치의 표시를 제공한다. 사운드 제어 모듈은 휴대용 통신 디바이스와는 별개인 오디오 디바이스에 사운드 제어를 통신하도록 구성된다. 사운드 제어는 휴대용 통신 디바이스의 위치에 기초하여 사운드 출력을 지향하는 오디오 디바이스를 가능하게 하기 위한 휴대용 통신 디바이스의 위치에 기초한다.
개시된 예의 다양한 특징 및 장점이 이하의 상세한 설명으로부터 당 기술 분야의 숙련자들에게 명백할 것이다. 상세한 설명에 첨부된 도면은 이하와 같이 간략하게 설명될 수 있다.
도 1은 본 발명의 실시예에 따라 설계된 예시적인 휴대용 통신 디바이스를 개략적으로 도시하는 도면.
도 2는 예시적인 제어 접근법을 요약하는 흐름도.
도 3은 도 1의 예시적인 휴대용 통신 디바이스의 부분을 개략적으로 도시하는 도면.
도 4는 예시적인 위치 결정 모듈을 개략적으로 도시하는 도면.
도 5는 예시적인 사운드 제어 모듈을 개략적으로 도시하는 도면.
도 6은 개별 오디오 디바이스를 갖는 휴대용 통신 디바이스의 일 예시적인 사용을 도식적으로 도시하는 도면.
도 7은 휴대용 통신 디바이스 및 개별 오디오 디바이스의 다른 예시적인 사용을 개략적으로 도시하는 도면.
도 8은 개별 오디오 디바이스를 갖는 휴대용 통신 디바이스의 다른 예시적인 사용을 도식적으로 도시하는 도면.
도 9는 개별 오디오 디바이스를 갖는 휴대용 통신 디바이스의 다른 예시적인 사용을 도식적으로 도시하는 도면.
도 10은 개별 오디오 디바이스를 갖는 휴대용 통신 디바이스의 다른 예시적인 사용을 도식적으로 도시하는 도면.
도 1은 예시적인 휴대용 통신 디바이스(20)의 선택된 부분을 개략적으로 도시한다. 이 예는 비디오 출력(22)을 갖는다. 이 특정 예에서, 비디오 출력은 휴대용 통신 디바이스(20)의 부분인 디스플레이 스크린을 포함한다. 비디오 출력(22)은 일 예에서 디바이스(20)로부터 분리된 선택된 표면 상에 이미지를 투사하는 프로젝터를 포함한다.
위치 결정 모듈(24)이 휴대용 통신 디바이스(20)의 위치의 표시를 제공한다. 위치 결정 모듈(24)은 이 예에서 6차원에서 위치 정보를 제공하는 것이 가능하다. 예를 들어, 위치 정보는 데카르트 좌표계(즉, x, y, z)의 로케이션 정보 및 배향 정보[즉, 방위각(azimuth), 앙각(elevation) 및 횡전(roll)]를 포함할 수 있다. 6 자유도 위치 센서가 공지되어 있다. 일 예는 이러한 공지의 위치 센서를 포함한다.
휴대용 통신 디바이스(20)는 이 예에서 오디오 공간화기(audio spatializer)와 같은 사운드 제어 모듈(26)을 또한 포함한다. 예시적인 휴대용 통신 디바이스(20)는 휴대용 통신 디바이스(20)와는 별개인 오디오 디바이스(30)와 연관되는 것이 가능하다. 예시적인 오디오 디바이스(30)는 헤드폰 또는 스피커를 포함한다. 유선 또는 무선 링크는 오디오 디바이스(30)가 사운드 제어 모듈(26)로부터 정보에 기초하여 오디오 출력을 제공할 수 있게 한다. 오디오 출력은 다른 방식으로 통신 디바이스(20)의 라우드스피커로부터 제공될 수 있는 오디오를 포함할 수 있지만, 대신에 오디오 디바이스(30)에 의해 제공된다. 사운드 제어 모듈(26)은 오디오 디바이스(30)에 정보를 제공하여 원하는 사운드 출력이 이 디바이스에 의해 생성될 수 있게 한다.
사운드 제어 모듈(26)은 위치 결정 모듈(24)로부터 위치 정보에 기초하여 사운드 생성을 제어한다. 이는 오디오 디바이스(30)로부터 사운드를 지향시키는 것을 허용하여 휴대용 통신 디바이스(20)의 위치로부터 발산하는 인상을 갖는다. 이 특징은 오디오 디바이스(30)로부터의 사운드 출력과 비디오 출력(22) 사이의 공간적 결합성을 제공한다. 이는 고품질 사운드를 제공하기 위해 비디오 출력 및 개별 오디오 디바이스(30)를 얻도록 휴대용 통신 디바이스(20)를 사용하여 개인의 경험을 상당히 향상시키는 공간적 결합성을 갖는 비디오와 고품질 사운드가 연관될 수 있게 한다.
도 2는 예시적인 제어 접근법을 요약하는 흐름도(52)를 포함한다. 54에서, 휴대용 통신 디바이스의 위치가 결정된다. 이 예에서, 관찰자 위치는 56에서 결정된다. 사운드 출력은 이어서 58에서 결정된 위치에 기초하여 지향된다.
소정의 오디오 디바이스(30)에 대해 고정된 기준점에 대한 휴대용 통신 디바이스의 위치를 이용하는 것이 가능하다. 예를 들어, 오디오 디바이스는 특정 영역 내의 고정 위치에 유지되는 라우드스피커를 포함할 수 있고, 이 영역 내의 휴대용 통신 디바이스(20)의 위치는 선택된 기준점에 대해 결정될 수 있다. 이러한 고정된 기준점에 대한 개인의 관찰자 로케이션을 결정하는 것이 또한 가능하다. 몇몇 예에서, 휴대용 통신 디바이스의 위치 또는 개인의 위치는 다른 것의 결정된 위치가 이 기준점에 대해 관련되도록 기준점으로서 사용될 수 있다. 일 예에서, 휴대용 통신 디바이스(20)의 위치는 휴대용 통신 디바이스(20)의 결정된 위치에 대한 관찰자 위치를 결정하기 위한 기준점으로서 사용된다.
도 3은 일 실시예에 따른 예시적인 휴대용 통신 디바이스(20)의 추가의 상세를 개략적으로 도시한다. 전송 스트림 디코더(60)는 데이터의 오디오-시각 스트림을 개별 오디오 및 비디오 스트림으로 분할한다. 도시된 예에서, 전송 스트림 디코더(60)는 휴대용 통신 디바이스(20)로의 현재 입력에 기초하여 오디오-시각 정보를 수신할 수 있다. 예를 들어, 안테나(66) 및 수신기(68)는 이어서 휴대용 통신 디바이스(20)에 의해 프로세싱될 수 있는 무선 통신된 오디오-비디오 신호를 수신하도록 구성된다. 이 예는 휴대용 통신 디바이스(20)의 부분인 메모리를 포함할 수 있는 저장 장치(70)로부터 오디오-비디오 정보 또는 휴대용 통신 디바이스(20) 내로 공급된(예를 들어, 디스크 드라이브 또는 USB 포트를 사용하여) 외부 메모리 상에 저장된 정보를 재생하는 능력을 또한 갖는다. 도시된 예는 오디오-비디오 정보의 소스를 선택하기 위한 스위치(72)를 포함한다.
오디오 스트림은 62에 개략적으로 도시된다. 비디오 스트림은 64에 개략적으로 도시된다.
오디오 디코더(84)는 오디오 정보를 디코딩한다. 개인으로의 오디오 출력이 위치 배향되도록 의도되어 있으면, 위치 결정 모듈(24)은 예를 들어 휴대용 통신 디바이스(20)의 위치의 표시를 제공하는 위치 센서(86)로부터의 위치 정보를 얻는다. 위치 결정 모듈(24)은 이 예에서 또한 관찰자의 위치(예를 들어, 개인에 의해 착용된 헤드폰의 로케이션 및 배향)의 표시를 제공하는 것이 가능한 외부 위치 센서(88)로부터 위치 정보를 수신한다. 위치 결정 모듈(24)은 휴대용 통신 디바이스(20)에 의해 제공된 비디오와 오디오 출력 사이의 결합성을 제공하는 방식으로 사운드 출력을 지향하기 위해 유용한 위치 정보에 관한 결정을 행한다.
도시된 예에서, 휴대용 통신 디바이스(20)는 오디오 디바이스(30)에 위치 지향된 오디오 출력 정보를 제공하는 오디오 공간화기(90)를 포함한다. 대안적으로, 오디오 디코더(84)로부터의 오디오 정보 및 위치 결정 모듈(24)로부터의 위치 정보는 오디오 디바이스(30)로부터의 공간 지향된 사운드 출력을 성취하기 위해 오디오 디바이스(30)로부터의 출력을 제어하는 외부 오디오 공간화기(92)에 제공된다.
비디오 스트림(64)은 비디오 디코더(74)에 의해 프로세싱된다. 이 예에서 비디오 정보의 표시는 비디오가 인접 표면 상에서 관찰될 수 있도록 비디오 빔(80)을 투사하는 비디오 프로젝터(78) 또는 내부 비디오 디스플레이 스크린(76) 중 적어도 하나 상에 제공된다.
도 4는 예시적인 위치 결정 모듈(24)을 개략적으로 도시한다. 디바이스 위치 결정부(101)는 103에 도시된 바와 같이 휴대용 통신 디바이스(20)의 위치에 관한 정보를 제공한다. 디바이스 위치 결정부(101)는 이 예에서 데카르트 좌표(xD, yD, zD) 및 오일러(Euler) 배향각(방위각 θD, 앙각 ΦD 및 횡전 ψD)의 견지에서 휴대용 통신 디바이스(20)의 위치에 관한 정보를 제공한다.
관찰자 위치 결정부(102)는 관찰자(예를 들어, 관찰자의 머리)의 위치의 표시를 제공한다. 관찰자 위치 결정부(102)로부터의 출력(104)은 이 예에서 데카르트 좌표(xL, yL, zL) 및 오일러 배향각(방위각 θL, 앙각 φL 및 횡전 ΨL)의 견지이다.
공지된 바와 같이, 오일러 배향각은 기준 좌표계에 대한 물체의 배향을 표현하는 일 방식이다. 이들 각도는 방위각 회전에서 시작하여, 이어서 앙각 회전, 이어서 횡전 회전으로의 기준 좌표계의 회전의 시퀀스를 표현한다. 방위각 각도는 회전된 축 X' 및 Y'를 생성하는 Z축 주위에서의 X 및 Y 기준축의 회전으로서 정의된다. 앙각 각도는 이어서 회전된 축 Z' 및 X"를 생성하는 Y'축 주위에서의 Z 및 X'축의 회전으로서 정의될 수 있다. 마지막으로, 횡전 각도는 회전된 축 Y" 및 Z"를 생성하는 X" 주위에서의 Y' 및 Z'축의 회전으로서 정의된다. 새로운 좌표계 X" Y" Z"는 물체의 배향을 결정한다.
비디오 디스플레이 유형(내장 비디오 대 투사형 비디오)에 따라, 단지 디바이스 위치 결정부(101)에 의해 출력된 파라미터의 서브세트가 추가의 프로세싱을 위해 사용될 수 있다. 이러한 서브세트는 예를 들어 휴대용 디바이스의 데카르트 좌표(xD, yD, zD)일 수 있다. 비디오가 휴대용 통신 디바이스(20)의 프로젝터(78)를 사용하여 표시되면, 데카르트 좌표(xD, yD, zD) 및 적어도 2개의 배향 파라미터, 방위각(θD) 및 앙각(φD)이 추가의 프로세싱을 위해 바람직한데, 이는 θD 및 φD가 투사된 비디오의 로케이션의 정확한 결정을 위해 일반적으로 요구되기 때문이다. 다른 한편으로, 비디오가 디스플레이 스크린(22) 상에 표시되면, 배향 각도는 사운드 소스의 방향을 위한 큐(cue)를 생성하기 위한 목적으로 무시될 수 있다. 배향 각도는 사운드 소스의 배향을 위한 부가의 큐가 제공되도록 의도되면 여전히 사용될 수 있다. 디바이스 배향을 위한 이러한 큐는 예를 들어 잔향된 사운드에 대한 직접 사운드의 비를 변경함으로써 생성될 수 있다. 휴대용 디바이스(20)의 디스플레이(22)가 관찰자에 직접 대면할 때, 사운드 출력은 휴대용 디바이스(20)가 예를 들어 관찰자로부터 이격하여 회전되면 발생할 수 있는 것보다 더 많은 직접 사운드를 제공한다. 부가적으로 또는 대안적으로, 인간 대화자의 주파수 의존성 극성 패턴은 모델링될 수 있어, 이에 의해 간단한 모델에서, 디바이스가 더 많이 관찰자로부터 이격하여 회전될수록 높은 주파수가 점진적으로 감쇠된다.
사운드의 음향 재현에 따라, 단지 관찰자 위치 결정부(102)로부터의 파라미터(104)의 세트만이 추가의 프로세싱을 위해 사용될 수 있다. 일 예시적인 서브세트는 관찰자의 데카르트 좌표(xL, yL, zL)를 포함한다.
오디오 디바이스(30)가 헤드폰을 포함할 때 사운드 재현을 위해, 적어도 데카르트 좌표(xL, yL, zL) 및 방위각(θL) 및 앙각(φL)이 파라미터 세트(104)로부터 바람직하다. 관찰자에 관한 방위각 및 앙각 표시는 오디오 공간화기(90)가 관찰자의 머리 배향을 보상하는 것을 가능하게 한다. 이러한 보상 없이, 사운드 필드는 헤드폰을 통한 사운드 재현에 기인하여 관찰자의 머리와 함께 회전할 것이다. 예를 들어, 관찰자의 전방에서 직선인 사운드 소스를 가정한다. 관찰자가 반시계방향으로 90도만큼 그의 머리를 회전하면, 합성된 사운드 소스 방향은 그의 헤드의 우측으로부터 마지막에 나타나도록 이 회전 중에 연속적으로 조정될 것이다. 이 방식으로, 머리 회전에 무관하게, 사운드 소스 위치는 항상 관찰자를 위한 공간에 고정될 것이다. 단지 휴대용 디바이스가 이동하면 사운드 소스가 공간에서 이동할 것이다.
다른 한편으로 라우드스피커를 통한 사운드 재현에 대해, 배향 각도는 무시될 수 있는데, 즉 파라미터 세트(104)의 서브세트(xL, yL, zL)만을 사용할 수도 있다. 라우드스피커를 통한 사운드 재현의 몇몇 경우에, 사운드를 공간화할 때 머리 배향을 사용하는 것이 여전히 유리하다. 일 예는 공지의 기술인 누화 상쇄기를 갖는 바이노럴(binaural) 사운드 재현을 포함한다.
일반적으로, 배향은 3개의 차원, 방위각, 앙각 및 횡전으로 지정된다. 그러나, 다수의 실용적인 상황에서, 방위각 각도 및 앙각 각도 단독은 큰 정도로 사운드 방향으로 결정한다. 간단화를 위해, 횡전 각도는 이하의 설명에서 더 고려되지 않는다. 그럼에도 불구하고, 관찰자 및 디바이스(20)의 횡전 각도는 공간화된 오디오의 추가의 향상을 위해 적용될 수 있다.
위치 결정부(101, 102)는 휴대용 통신 디바이스(20) 및 관찰자의 위치를 표현하기 위해 임의의 특정 기준 좌표계를 취하지 않는다. 달리 말하면, 기준 좌표계는 임의적으로 선택될 수 있다. 특히, 이동 휴대용 디바이스의 6차원 위치와 또는 이동 관찰자의 6차원 위치와 일치하도록 선택될 수 있다.
휴대용 통신 디바이스(20)가 내장 프로젝터(78)를 통해 비디오 출력을 제공하면, 관찰 가능한 비디오는 예를 들어 벽 또는 프로젝션 스크린 상에 표시될 것이다. 도 4의 예는 휴대용 통신 디바이스(20)로부터 투사된 비디오가 나타나는 표면까지의 거리를 측정하도록 구성된 거리 결정부(105)를 포함한다. 거리 결정부(105)는 거리(DP)의 표시를 제공하기 위해 레이저 또는 초음파 측정 기술에 기초할 수 있다. 비디오 출력이 휴대용 통신 디바이스(20)의 디스플레이(22) 상에 제공될 때, 거리 결정부(105)는 DP = 0에 대응하는 출력을 제공한다. 일체형 프로젝터(78)가 없는 휴대용 디바이스(20)에 대해, 거리 결정부(105)는 요구되지 않는다.
도 4의 예는 휴대용 통신 디바이스(20)의 위치와 관찰자의 위치에 기초하여 관찰자에 대한 비디오 위치 및 배향을 결정하는 상대 위치 결정부(107)를 포함한다. 비디오 출력이 프로젝터(78)에 의해 제공되면, 벽 또는 프로젝션 스크린까지의 거리가 포함된다. 관찰자에 대한 원하는 사운드 소스 로케이션은 3개의 변수, 방위각 각도(θS), 앙각 각도(φS) 및 거리(DS)에 의해 결정된다. 마찬가지로, 관찰자에 대한 사운드 소스 또는 비디오의 배향은 방위각 각도(θV) 및 앙각 각도(φV)에 의해 결정된다. 이들 5개의 파라미터는 상대 위치 결정부(107)에 의해 결정된다. 일 예에서, 결정은 디바이스 배향각을 사용하지 않음으로써 간단화된다. 일 예는 상대 위치 결정의 부분으로서 거리(DS)를 포함하지 않는다. 이 설명이 주어지면, 당 기술 분야의 숙련자들은 어느 정보가 이들의 특정 상황의 요구에 적합하는 결과를 제공하기 위해 유용한지를 이해할 수 있을 것이다.
이들 5개의 변수를 위한 식을 유도하기 위해, 관찰자의 위치를 벡터로서 표현하면,
Figure 112012108662730-pct00001
여기서, 상첨자 T는 공지의 전치 함수를 나타낸다. 마찬가지로, 본 출원인은 비디오 디스플레이의 위치를 벡터로서 표현하고,
Figure 112012108662730-pct00002
휴대용 디바이스의 위치를 벡터로서 표현한다.
Figure 112012108662730-pct00003
비디오가 휴대용 디바이스 자체 상에 표시되는 예에서, pV = pD이다. 다른 한편으로, 비디오가 프로젝터(78)로부터 표시되면, 비디오 위치는 휴대용 디바이스(20) 내의 센서로부터 직접 알려지지 않는다. 대신에, 휴대용 디바이스의 데카르트 좌표(pD), 그 배향(θDφD) 및 벽 또는 프로젝션 스크린까지의 그 거리(DP)에 기초하여 비디오 위치에 관한 결정이 이하의 식에 따라 요구되고,
Figure 112012108662730-pct00004
(1)
여기서, ρ는 이하의 식에 의해 제공된 휴대용 디바이스(20)로부터 투사된 비디오로의 방향에서의 단위 벡터이다.
Figure 112012108662730-pct00005
식 (1)의 값은 비디오가 내장 비디오 디스플레이(22) 상에서 표시되는지(예를 들어, DP = 0) 또는 비디오가 프로젝터(78)에 의해 표시되는지(예를 들어, Dp ≠ 0) 여부에 기초하여 제어될 수 있다.
원하는 사운드 소스의 거리는 공지의 놈 함수(norm function)를 사용하여 계산될 수 있다.
Figure 112012108662730-pct00006
(2)
원하는 사운드 소스 방위각 각도(θS) 및 앙각 각도(φS)는 이어서 이하의 식에 의해 제공된다.
Figure 112012108662730-pct00007
(3)
Figure 112012108662730-pct00008
(4)
식 (1) 내지 (4)는 비디오 로케이션을 정합하기 위해 사운드를 공간화하는데 사용된다. 특히, 식 (2)의 사운드 소스 거리(DS)는 잠재적인 거리 큐를 합성하는데 사용될 수 있다. 식 (3) 및 (4)는 정확한 방위각 각도 및 앙각 각도에 사운드 소스를 위치시키는데 사용된다. 이들 식들은 관찰자의 머리 위치(xL, yL, zL) 및 관찰자의 머리 배향(θL, φL)을 사용한다. 머리 배향을 고려하는 것은 이것이 관찰자의 머리의 임의의 회전 또는 경사를 수용하는 것을 허용하기 때문에 헤드폰을 통해 오디오 출력을 렌더링할 때 가장 관련성이 있다.
식 (3) 및 (4)는 헤드폰을 통한 사운드 렌더링을 위해 제공된다. 라우드스피커를 통한 렌더링을 위해, 관찰자 배향(θL, φL)은 일반적으로 무시될 수 있다(예를 들어, θL = 0 및 φL = 0으로 설정). 이들 각도가 사운드 소스 위치 결정을 위한 목적으로 사용되지 않을 수도 있지만, 이들은 트랜스오럴(transaural) 라우드스피커 시스템 내의 정확한 헤드 관련 전달 함수(HRTF)를 계산하는데 사용될 수 있다.
디바이스 배향은 사운드 소스의 극성 패턴을 시뮬레이션하는데 사용될 수 있다. 극성 패턴 및 방향성 패턴은 360도의 범위에 대해 지정된 사운드 소스가 방출하는 사운드 레벨을 결정한다. 더 일반적인 경우는 구형 범위에 걸쳐 방출되는 사운드 레벨을 지정하는 3-D 극성 패턴을 수반한다. 이와 같이, 3-D 극성 패턴은 예를 들어 인간 대화자 또는 악기에 대해 결정될 수 있다. 극성 패턴은 통상적으로 주파수 의존성이 있는데, 즉 이들은 상이한 주파수에서 지정된다.
원하는 극성 패턴에 모바일 디바이스의 배향을 관련시키기 위해, 일 예는 관찰자 위치에 대한 디바이스의 상대 배향을 결정하는 것을 포함한다. 이 목적으로, 본 출원인은 관찰자로부터 모바일 디바이스까지의 벡터를 공지의 좌표 변환을 사용하여 휴대용 통신 디바이스(20)의 좌표계의 견지에서 표현한다.
Figure 112012108662730-pct00009
디바이스의 좌표계 내의 관찰자로부터 디바이스(20)까지의 벡터는 이하와 같이 되고,
Figure 112012108662730-pct00010
여기서,
Figure 112012108662730-pct00011
이다.
벡터 pO'는 극성 패턴에 직접 관련된다. 변환된 벡터
Figure 112012108662730-pct00012
의 방위각 각도 및 앙각 각도는 이하의 식에 의해 결정된다.
Figure 112012108662730-pct00013
(5)
Figure 112012108662730-pct00014
(6)
원하는 극성 패턴이 주어지면, 일 예는 방위각 각도(θV) 및 앙각 각도(φV)를 포함한다. 이 평가는 방위각 각도 및 앙각 각도의 각각의 쌍에 대한 주파수 응답을 얻기 위해 주파수 축을 따라 행해진다.
일단 비디오의 상대 위치가 식 (2) 내지 (6)에 의해 예시된 상대 위치 결정부(107)에 의해 결정되면, 최종 파라미터는 공간화기(90)에 제공된다.
오디오 공간화기(90)는 오디오 디코더(84)로부터 오디오 정보를 수신하고 비디오 로케이션에 정합하는 공간 오디오를 생성하여 오디오 디바이스(30)(예를 들어, 헤드폰 또는 라우드스피커)의 출력이 위치 결정 모듈(24)로부터의 위치 정보에 기초하게 된다.
도 5는 오디오 공간화기(90)의 예시적인 실시예를 도시한다. 이 예는 상이한 입력 포맷을 수용하고 행렬 연산부(201)를 포함한다. 입력 포맷은 모노로 하향 변환되거나 또는 앰비소닉(Ambisonic) 입력 포맷의 경우에 유지될 수도 있다. 입력 포맷 예는 모노(1 채널), 스테레오(2 채널), 3/2(3 프론트 채널/2 서라운드 채널)와 같은 다채널 스테레오 또는 앰비소닉 B-프론트(4 채널)이다. 모노는 특히 마이크로폰이 원래 사운드 소스에 근접하여 레코딩이 적은 룸 잔향을 갖고 대부분의 직접 사운드를 포함하게 되는 근거리 레코딩이 사용될 때 직접적으로 공간화될 수 있다. 스테레오는 특히 레코딩이 일치하는 스테레오 마이크로폰으로부터 기원하면 마찬가지로 모노로 변환될 수 있다. 마찬가지로, 3/2 다채널 스테레오가 모노로 변환될 수 있다.
오디오 입력이 모노럴(monaural) 신호로 하향 혼합되는 경우에, 행렬 연산부(201)는 벡터 연산으로 감소한다. 모노럴 입력의 사소한 경우에, 행렬 연산(201)은 이하의 식에 의해 표현되는데,
Figure 112012108662730-pct00015
여기서, x1/0 = x는 스칼라 입력 샘플을 나타내고, y1 /0은 출력 샘플을 나타낸다. 모노럴 입력의 사소한 경우에, 행렬은 스칼라로 감소하는데, 즉 M1 /0 = 1이다.
2-채널 스테레오 입력에 대해, 행렬 연산(201)은 이하의 식에 의해 표현되는데,
Figure 112012108662730-pct00016
여기서, x2/0 = [xL xR]T는 좌측 및 우측 채널 샘플에 대한 2차원 입력 벡터를 나타내고, y1 /0은 모노럴 출력 샘플을 나타내고, M2 /0 = [0.5 0.5]이다.
5-채널 스테레오 입력에 대해, 행렬 연산(201)은 이하의 식에 의해 표현되는데,
Figure 112012108662730-pct00017
여기서, x3/2 = [xL xR xC xLS xRS]T는 좌측, 우측, 중심, 좌측 서라운드 및 우측 서라운드 채널에 대한 5차원 입력 벡터를 나타내고, y1 /0은 모노럴 출력 샘플을 나타낸다. 예를 들어, ITU-R BS.775-2 추천에 따르면,
Figure 112012108662730-pct00018
, 또는 반향 사운드의 양을 감소시키기 위해
Figure 112012108662730-pct00019
이다.
오디오 입력이 앰비소닉 포맷일 때, 앰비소닉 포맷이 사운드 필드 회전을 허용하기 때문에, 후속의 프로세싱은 이 포맷을 직접 사용할 수 있다. 예를 들어, 앰비소닉 B-포맷 신호 세트는 통상적으로 W, X, Y, Z 신호로서 나타내는 4개의 채널로 이루어진다. 행렬 연산부(201)에서의 후속의 앰비소닉 프로세싱은
Figure 112012108662730-pct00020
를 통해 신호를 간단히 통과시키는 것을 포함하고, 여기서 xA = [xW xX xY xZ]T는 입력 벡터이고, MA는 크기 4의 단위 행렬이다. 대안적으로, 예를 들어 모노럴 신호로 더 속행하기 위해 앰비소닉 포맷의 전방향성 채널(W)을 선택할 수 있다.
극성 패턴 시뮬레이터(202)는 생성된 사운드 소스의 극성 패턴 또는 방향성을 시뮬레이션한다. 극성 패턴은 사운드가 상이한 수평 및 수직 각도에 대해 오디오 디바이스(30)로부터 방출되는 사운드 레벨을 표시한다. 이는 통상적으로 다양한 주파수에서 지정된다. 인간 대화자의 극성 패턴을 고려한다. 개인의 얼굴이 전방으로부터 후방으로 180도 회전함에 따라, 사운드 레벨은 관찰자에 대해 감소한다. 이는 특히 높은 주파수에서 사실이다. 극성 패턴 시뮬레이터(202)는 일 예에서 룩업 테이블로서 극성 패턴을 저장하거나 또는 방위각 각도 및 앙각 각도에 기초하여 극성 패턴에 대한 모델을 컴퓨팅한다. 주파수 의존성 극성 패턴에 동일하게, 주파수 응답은 상이한 방위각/앙각 각도 조합에서 지정될 수 있다. 즉, 극성 패턴에 대한 필터 응답은 주파수 및 각도(θV, φV)의 함수로서 지정될 수 있다. 간단한 예를 제공하기 위해, 단지 관찰자에 대한 벡터 디바이스와 디바이스의 배향에 의해 규정된 2개의 벡터들 사이의 각도로서 정의되는 수평 배향각(θV)만을 고려한다. 일 예는 디바이스의 배향에 의존하고 z-도메인에서 이하와 같이 정의되는 간단한 저역 통과 필터 특성을 사용하는데,
Figure 112012108662730-pct00021
여기서,
Figure 112012108662730-pct00022
이다.
디바이스가 관찰자에 대면하면(θV = 0),
Figure 112012108662730-pct00023
이기 때문에, 평탄 주파수 응답이 발생한다. 디바이스가 더 많이 관찰자로부터 이격하여 회전할수록, 더 높은 주파수가 더 많이 감소된다.
극성 패턴 시뮬레이터(202)의 출력은 사운드 레벨 수정부(203)에 의해 프로세싱된다. 사운드 레벨은 거리(DS)에 기초하여 변경된다. 예를 들어, 이하의 입력-출력식으로 표현되는, 음향 포인트 소스에 적용되는 역제곱 법칙이 사용될 수 있고,
Figure 112012108662730-pct00024
여기서, x는 입력을 나타내고, y는 출력을 나타내고, DREF는 기준 거리를 나타내는데, 예를 들어, DREF = 1이다. 이 특정 사운드 레벨 수정부(203)에서, 사운드 파워 레벨은 휴대용 통신 디바이스(20)로의 관찰자의 거리가 2배이면 6 dB 강하한다.
도시된 예는 헤드폰 출력을 위한 바이노럴 신디사이저(204)를 포함한다. 바이노럴 신디사이저(204)는 사운드 공간화를 위한 핵심 요소로 고려될 수 있다. 이는 바이노럴 오디오(즉, 헤드폰 상에서의 재현을 위해 전용된 좌측 및 우측 신호)를 생성한다. 바이노럴 신디사이저(204)는 주파수 도메인에서 표현된 헤드-관련 전달 함수(HRTF)또는 시간 도메인에서 표현된 등가 헤드-관련 임펄스 응답(HRIR)을 사용한다. 바이노럴 신디사이저(204)의 예시적인 실현은 입력 신호 x(i)로부터 좌측 및 우측 신호 yL(i), yR(i)를 생성하기 위해 유한 임펄스 응답을 사용한다. 이러한 필터 연산은 이하와 같이 표현될 수 있고,
Figure 112012108662730-pct00025
,
Figure 112012108662730-pct00026
여기서, i는 시간 인덱스를 나타내고, hL ,j(θS, φS, DS) 및 hR ,j(θS, φS, DS)는 각각 왼쪽 귀 및 오른쪽 귀에 대한 헤드-관련 임펄스 응답을 나타내고, M은 헤드-관련 임펄스 응답의 차수를 나타낸다.
상기 식들은 입력 x(i)가 모노럴 신호일 때 사용된다. 앰비소닉 신호 세트의 경우에, 가상 라우드스피커 신호의 대응 세트가 생성되고 이어서 일 예에서 공지의 기술을 사용하여 바이노럴 출력 신호를 생성하기 위해 HRIR로 컨볼루션된다.
잔향부(205)가 이 예에서 바이노럴 신호에 잔향을 추가한다. 잔향 알고리즘은 당 기술 분야에 공지되어 있고, 공지의 알고리즘이 일 예에서 사용된다. 잔향의 정도는 거리(DS)에 의존할 수 있다. 일 예에서, DS의 더 큰 값이 더 많은 잔향에 대응한다. 마찬가지로, 잔향은 휴대용 통신 디바이스(20)의 배향에 의존할 수 있다. 예를 들어, 디바이스(20)가 관찰자로부터 이격하여 회전되면, 사운드가 직접 경로를 경유하기보다는 대부분 반향을 경유하여 관찰자의 위치에 도달할 수 있기 때문에, 더 많은 잔향이 추가될 수 있다.
도 5의 예는 라우드스피커를 통해 사운드 출력을 제공하는 것이 또한 가능하다. 사운드 신디사이저(206)는 오디오 디바이스가 헤드폰이 아닐 때 사운드 공간화를 위한 핵심 요소를 구성한다. 벡터 기반 진폭 패닝(VBAP), 앰비소닉, 음장 합성(Wave Field Synthesis: WFS) 및 트랜스오럴 사운드 재현과 같은 다수의 기술이 라우드스피커로부터 공간 배향된 사운드 출력을 제공하기 위해 공지되어 있다. 잔향부(207)는 잔향부(205)에 동작이 유사하여 오디오 디바이스(30)가 사운드 출력의 공간 품질을 향상시키기 위해 적절한 양의 잔향을 제공하게 된다.
개략적으로 도시된 모듈 및 부분은 하드웨어(예를 들어, 전용 회로), 소프트웨어, 펌웨어 또는 이들의 2개 이상의 조합을 포함할 수 있다. 이 설명의 이득을 갖는 당 기술 분야의 숙련자들은 이들의 어느 조합이 이들의 특정 상황을 위해 요구된 결과를 제공할 것인지를 이해할 수 있을 것이다. 부가적으로, 개별 모듈 및 부분은 설명의 목적으로 분할되어 있고, 각각의 기능은 도시된 부분 또는 모듈 중 다른 하나에 개략적으로 전용된 기능을 성취하는 하드웨어, 소프트웨어 또는 펌웨어를 사용하여 성취될 수 있다.
도 6은 개인(230)이 오디오 디바이스(30)로서 헤드폰을 이용하는 구현예를 개략적으로 도시한다. 헤드폰은 개인의 머리의 위치(예를 들어, 로케이션, 배향 또는 양자 모두)가 휴대용 통신 디바이스(20)의 위치에 대해 변경될 수 있는 점에서 고유의 과제를 제시한다. 대부분의 상황에서, 개인의 머리의 위치는 휴대용 통신 디바이스(20)의 위치보다 더 빈번히 변경될 것이다.
도 6의 예는 휴대용 통신 디바이스(20)의 결정된 위치와 같은 기준점에 관련하는 개인의 머리 또는 헤드폰(30)의 위치 및 배향을 결정하기 위한 관찰자 트래커 또는 위치 및 배향 센서(88)를 포함한다. 일 예에서, 위치 및 배향 센서(88)는 개인의 머리의 현재 로케이션 및 배향의 표시를 제공하는 6 자유도 헤드 트래커를 포함한다. 일 이러한 위치 및 배향 센서(88)는 측방향(즉, 좌우), 정면(전후방) 및 수직(즉, 상하) 머리 위치 정보, 뿐만 아니라 배향각(방위각, 앙각, 횡전)을 결정하는 것을 허용하는 위치 정보를 제공한다.
위치 및 배향 센서(88)로부터의 정보는 위치 결정 모듈(24)에 제공되고, 여기서 전술된 바와 같이 사용된다.
헤드폰으로부터의 사운드 출력은 휴대용 통신 디바이스(20)의 현재 위치로부터 지향되는 인상을 제공하도록 조정된다. 방향성 효과를 성취하기 위해 헤드폰의 개별 스피커의 각각으로부터 출력의 주파수 및 진폭을 조정하기 위한 기술이 공지되어 있다. 일 예는 사운드 출력의 방향성 효과를 향상시키기 위해 전술된 바이노럴 사운드 재현 기술을 포함한다.
도 6의 예의 다른 특징은 개별 오디오 디바이스(30')로서 헤드폰의 개별 세트를 사용하는 다른 개인(230')이 존재하는 것이다. 개별 헤드 트래커(88')는 개인(230')을 위한 헤드폰(30')과 연관된다. 이는 2명의 개인의 로케이션을 개별적으로 결정하는 것과 2개의 헤드폰 세트의 사운드 출력을 개별적으로 제어하는 것을 허용하여 각각의 개인이 휴대용 통신 디바이스(20)의 현재 위치와의 공간적 결합성을 제공하는 오디오 경험을 갖게 된다. 도 6에 개략적으로 도시된 바와 같이, 개인(230)은 240에 개략적으로 도시된 사운드 방향을 생성하는 방식으로 휴대용 통신 디바이스(20)의 제 1 로케이션(236)에 대해 위치된다. 개인(230')은 휴대용 통신 디바이스(20)가 로케이션(236)에 있는 동안 상이한 사운드 방향(240')을 생성하는 상이한 위치에 있다.
휴대용 통신 디바이스(20)가 위치(244)로 이동함에 따라, 사운드 방향은 일 예에서 연속적으로 업데이트된다. 당 기술 분야의 숙련자들은 이 명세서의 문맥에서 사용될 때 "연속적으로 업데이트"는 사용되는 디바이스 내의 프로그래밍 또는 프로세서의 제한에 의존할 수 있다는 것을 이해할 수 있을 것이다. 위치(244)에 있을 때, 사운드 방향(246)은 개인(230)에 의해 착용된 헤드폰(30)의 사운드 출력을 제어하는데 사용되고, 개인(230')에 의해 착용된 헤드폰(30')에 의해 제공된 사운드 출력은 246'에 개략적으로 도시된 바와 같이 지향된다. 이 예는 그 자신의 오디오 디바이스(30)를 각각 갖는 복수의 개인이 어떻게 휴대용 통신 디바이스(20)의 위치와의 공간적 결합성을 갖는 사운드 출력을 수신할 수 있는지를 설명한다.
도 7은 휴대용 통신 디바이스(20)가 휴대용 통신 디바이스(20)의 현재 위치로부터 이격된 표면 상에 이미지(272)를 투사하는 프로젝터(78)를 포함하는 다른 예시적인 구현예를 개략적으로 도시한다. 이 예에서, 휴대용 통신 디바이스(20)가 위치(236)에 있을 때, 최종적인 이미지 위치는 274에 개략적으로 도시되어 있다. 휴대용 통신 디바이스(20)가 위치(244)로 이동할 때, 최종적인 이미지 위치는 276에 개략적으로 도시되어 있다. 이 예에서, 사운드 방향(240, 246, 240', 246')은 이미지 로케이션(274, 276) 및 관찰자의 머리의 위치 및 배향에 기초하여 제어된다. 사운드 제어 모듈(26)은 이 예에서 휴대용 통신 디바이스(20)의 결정된 로케이션 및 이미지 로케이션까지의 거리에 기초하여 투사된 이미지의 로케이션에 관련하여 위치 결정 모듈(24)에 의해 수행된 결정을 사용하도록 구성된다. 예를 들어, 공지의 거리 센서가 프로젝터(78)의 투사의 방향에서 프로젝터로부터 휴대용 통신 디바이스(20)에 대면하는 벽면까지의 근사 거리를 결정하기 위해 프로젝터(78)와 연관될 수 있다. 공간적으로 배향된 사운드 정보(전술된 바와 같이 결정됨)는 이 경우에 헤드폰을 포함하는 오디오 디바이스(30, 30')의 출력을 제어하는데 사용되어, 각각의 개인 관찰자를 위한 사운드 출력을 위한 적절한 사운드 방향이 성취되게 된다.
도 8은 휴대용 통신 디바이스(20)의 일 예시적인 사용을 도시한다. 이 예에서, 휴대용 통신 디바이스(20)는 노트북 컴퓨터를 포함한다. 오디오 디바이스(30)는 이 예에서 예를 들어 개인의 집 내의 라우드스피커 시스템을 포함한다. 다수의 스피커(30a, 30b, 30c, 30d, 30e)가 이 예에서 고품질 사운드 출력을 제공하기 위해 사용된다. 사운드 제어 모듈(26)은 스피커 제어 드라이버(32)와 통신한다. 사운드 제어 모듈(26)은 스피커 제어 드라이버(32)에 정보를 제공하여, 적절한 사운드가 생성되게 되고 사운드 출력이 휴대용 통신 디바이스(20)의 위치에 기초하여 스피커로부터 지향되게 된다.
예를 들어, 휴대용 통신 디바이스(20)가 스피커(30a 내지 30e)에 대해 236에 도시된 제 1 위치에 있는 것을 가정한다. 위치 결정 모듈(24)은 휴대용 통신 디바이스(20)의 로케이션 및 배향을 결정하고, 사운드 제어 모듈(26)은 이 정보를 스피커 제어 드라이버(32)에 통신한다. 스피커로부터의 최종 사운드는 240에 개략적으로 도시된 사운드 방향을 갖는다. 스피커가 제어되는 방식은 나타나는 사운드 출력이 사운드 방향(240)을 따라 지향되게 하여 스피커(30a 내지 30e)로부터의 오디오 또는 사운드 출력 및 비디오 출력(22)의 비디오가 관찰자에 의해 인식된 바와 대략적으로 동일한 로케이션으로부터 오게 된다.
스피커로부터 사운드 출력의 원하는 사운드 방향을 성취하기 위해 스피커를 제어하기 위한 기술이 공지되어 있다. 이러한 공지의 기술은 일 예시적인 구현예에 사용된다.
이제, 개인이 화살표(242)에 의해 개략적으로 도시된 바와 같이 236에서의 위치로부터 휴대용 통신 디바이스(20)를 이동하는 것을 가정한다. 휴대용 통신 디바이스(20)는 결국에는 다른 위치(244)에 도달한다. 도 8로부터 이해될 수 있는 바와 같이, 휴대용 통신 디바이스(20)의 로케이션 및 배향은 화살표(242)에 의해 개략적으로 도시된 이동의 결과로서 변경되어 있다. 사운드 제어 모듈(26)은 스피커 제어 드라이버(32)에 새로운 정보를 제공하여 스피커(30a 내지 30e)로부터의 사운드 출력의 사운드 방향이 이에 따라 변경되게 된다. 246에 개략적으로 도시된 새로운 사운드 방향은 휴대용 통신 디바이스(20)의 도시된 위치(244)에 대응한다.
도 2의 예로부터 이해될 수 있는 바와 같이, 스피커 제어 드라이버(32)에 위치 정보를 제공하는 것은 개별 오디오 디바이스[예를 들어, 스피커(30a 내지 30e)]가 사운드 출력을 지향시킬 수 있게 하여 이것이 휴대용 통신 디바이스(20)에 관련하는 위치 정보에 기초하게 된다. 비디오 및 사운드 출력의 관찰자는 양자가 적어도 개략적으로 동일한 위치로부터 오게 되는 경험을 갖는다.
사운드 방향에 대한 제어는 일 예에서 연속적으로 업데이트되어 휴대용 통신 디바이스(20)가 이동함에 따라 사운드 방향이 이동하게 된다.
도 8의 예는 휴대용 통신 디바이스(20)와 연관된 외부 센서(88)로서 카메라를 포함한다. 카메라(88)는 비디오 출력 및 사운드 출력을 관찰하는 개인의 로케이션을 관찰하기 위해 사용된다. 일 예에서, 사운드 제어 모듈(26)은 카메라(88)의 시야 내의 개인의 현재 위치를 표시하는 정보를 수신하고, 대응 스피커 제어를 위한 휴대용 통신 디바이스(20)의 위치에 대한 관찰자 위치의 표시를 제공하기 위해 이 정보를 사용한다. 개인 관찰자의 위치에 관한 정보 및 휴대용 통신 디바이스(20)의 위치에 관한 정보는 이러한 예에서 스피커(30a 내지 30b)로부터 사운드를 지향시키기 위해 사용된다. 도 8의 예에서, 사운드 방향(240, 246)은 도면에서 개략 라인(240, 246)의 근사 교차점에 대응하는 단일 로케이션에 남아 있는 개인 관찰자에 기초한다.
도 9는 개별 오디오 디바이스(30)를 갖는 휴대용 통신 디바이스(20)의 다른 예시적인 사용을 도시한다. 이 예에서, 휴대폰이 예를 들어 원격 통신을 수행하기 위해 개인에 의해 사용된다. 휴대폰(20)의 라우드스피커에서 이용 가능한 것보다 더 양호한 오디오 출력을 성취하기 위해, 무선 링크가 사운드 출력을 제공하는 복수의 스피커(30a 내지 30e)와 연관된 스피커 제어 드라이버(32)와 휴대폰(20) 사이에 설정된다. 이 예에서, 개인(도시 생략) 및 휴대용 통신 디바이스(20)는 제 1 로케이션(236)에 위치된다. 휴대용 통신 디바이스(20)의 결정된 위치에 기초하여, 제 1 사운드 방향(240)은 스피커(30a 내지 30e)로부터 사운드 출력을 지향시키기 위해 이용된다. 이 방식으로, 사운드 출력은 휴대용 통신 디바이스(20)의 근사 로케이션으로부터 오는 것으로 나타난다.
도 9의 예에서, 원격 회의 중의 소정 시점에, 개인은 휴대용 통신 디바이스(20)가 제 2 로케이션(244)에 있도록 다른 영역 내로 휴대용 통신 디바이스(20)를 운반한다. 업데이트된 로케이션 정보에 기초하여, 사운드 출력의 방향은 246에 개략적으로 도시되어 있다.
이 예에서, 휴대용 통신 디바이스(20)가 36에서의 위치로부터 44에서의 위치로 운반됨에 따라, 위치 정보는 연속적으로 업데이트되어 스피커 제어 드라이버(32)에 제공되어, 사운드 방향이 연속적으로 업데이트되고 휴대용 통신 디바이스(20)의 근사 로케이션으로부터 나오는 것으로 연속적으로 나타난다. 사운드 제어 모듈(26)은 일 예에서 연속적인 기초로 스피커 제어 드라이버(32)에 업데이트된 정보를 제공한다. 일 예에서, 위치 결정 모듈(24)이 휴대용 통신 디바이스(20)의 위치(즉, 로케이션 또는 배향)의 소정의 변화를 검출할 때마다, 사운드 제어 모듈(26)은 사운드 출력의 방향으로의 임의의 필요한 조정이 행해질 수 있도록 스피커 제어 드라이버(23)에 업데이트된 정보를 제공한다.
도 10은 사운드가 휴대용 통신 디바이스(20)의 결정된 위치에 기초하여 원형 음장 시스템으로부터 제공되는 다른 배열을 개략적으로 도시한다. 원형 음장 시스템은 공지되어 있고 이들은 특정 로케이션으로부터 사운드 소스를 포커싱하기 위한 원형 음장 합성 또는 앰비소닉 기술을 사용한다. 이 예에서, 휴대용 통신 디바이스(20)에 관한 결정된 위치 정보는 사운드가 포커싱되는 로케이션을 제공한다. 따라서, 사운드 방향은 휴대용 통신 디바이스(20)가 위치(236)에 있을 때 사운드 방향 라인(240)에 의해 개략적으로 도시된 바와 같이 휴대용 통신 디바이스(20)의 결정된 위치에 포커싱된다. 디바이스가 다른 위치(244)로 이동함에 따라, 사운드 출력 포커스의 로케이션이 이에 따라 변경된다.
상기 설명은 본질적으로 한정보다는 예시적인 것이다. 개시된 예의 변형 및 수정이 본 발명의 본질로부터 필수적으로 벗어나지 않고 당 기술 분야의 숙련자들에게 명백하게 될 것이다. 본 발명에 제공된 법적 보호의 범주는 단지 이하의 청구범위를 연구함으로써 결정될 수 있다.
20: 휴대용 통신 디바이스 22: 비디오 출력
30: 오디오 디바이스 60: 전송 스트림 디코더
68: 수신기 70: 저장 장치
74: 비디오 디코더 76: 비디오 드라이버
78: 비디오 프로젝터 86: 위치 센서

Claims (10)

  1. 통신을 가능하게 하기 위한 방법에 있어서,
    비디오 출력을 생성하는 휴대용 통신 디바이스의 위치를 결정하는 단계와,
    상기 휴대용 통신 디바이스의 결정된 위치에 기초하여 사운드 출력을 지향하기 위해 상기 휴대용 통신 디바이스와는 별개인 오디오 디바이스를 위한 사운드 출력 제어를 제공하는 단계를 포함하되,
    상기 사운드 출력 제어는 상기 사운드 출력이 상기 비디오 출력으로부터 오는 것처럼 보이는 것을 가능하게 하도록 구성되는
    통신을 가능하게 하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 사운드 출력을 청취하고 상기 비디오 출력을 시청하는 개인의 관찰자 위치를 결정하는 단계와,
    상기 사운드 출력이 상기 휴대용 통신 디바이스의 위치로부터 상기 관찰자 위치를 향해 오는 것처럼 보이는 것을 가능하게 하기 위해 상기 결정된 관찰자 위치에 기초하여 사운드 출력 제어를 제공하는 단계를 포함하는
    통신을 가능하게 하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 사운드 출력을 청취하고 상기 비디오 출력을 시청하는 복수의 개인이 존재하고, 상기 복수의 개인의 각각은 연관된 오디오 디바이스를 갖고,
    상기 방법은,
    상기 복수의 개인의 각각의 관찰자 위치를 각각 결정하는 단계와,
    상기 휴대용 통신 디바이스의 결정된 위치 및 상기 각각의 결정된 관찰자 위치에 기초하여 대응하는 개인의 각각에 대한 각각의 오디오 디바이스에 사운드 출력 제어를 제공하는 단계를 포함하는
    통신을 가능하게 하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 휴대용 통신 디바이스는 상기 휴대용 통신 디바이스의 위치와는 별개인 이미지 로케이션에서 투사된 비디오 출력을 제공하고,
    상기 방법은,
    상기 휴대용 통신 디바이스의 결정된 위치에 기초하여 이미지 로케이션을 결정하는 단계와,
    상기 사운드 출력이 상기 이미지 로케이션으로부터 오는 것처럼 보이는 것을 가능하게 하기 위해 상기 결정된 이미지 로케이션에 기초하여 사운드 출력 제어를 제공하는 단계를 포함하는
    통신을 가능하게 하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 오디오 디바이스는 상기 사운드 출력 중에 이동 가능하고,
    상기 방법은,
    상기 휴대용 통신 디바이스의 위치에 대한 상기 오디오 디바이스의 위치를 결정하는 단계와,
    상기 오디오 디바이스의 결정된 위치에 기초하여 사운드 출력 제어를 제공하는 단계를 포함하는
    통신을 가능하게 하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 휴대용 통신 디바이스의 결정된 위치로부터 오는 것처럼 청취자에게 보이는 바이노럴(binaural) 사운드 출력을 제공하는 단계를 포함하는
    통신을 가능하게 하기 위한 방법.
  7. 휴대용 통신 디바이스로서,
    비디오 출력과,
    상기 휴대용 통신 디바이스의 위치의 표시를 제공하는 위치 결정 모듈과,
    상기 휴대용 통신 디바이스와는 별개인 오디오 디바이스로 사운드 제어를 통신하도록 구성된 사운드 제어 모듈을 포함하되,
    상기 사운드 제어는 상기 오디오 디바이스가 상기 휴대용 통신 디바이스의 위치에 기초하여 사운드 출력을 지향하는 것을 가능하게 하기 위해 상기 휴대용 통신 디바이스의 위치에 기초하고,
    상기 사운드 제어는 상기 사운드 출력이 상기 비디오 출력으로부터 오는 것처럼 보이는 것을 가능하게 하도록 구성되는
    휴대용 통신 디바이스.
  8. 제 7 항에 있어서,
    상기 위치 결정 모듈은 상기 휴대용 통신 디바이스의 이동에 응답하여 상기 휴대용 통신 디바이스의 위치의 표시의 업데이트를 제공하는
    휴대용 통신 디바이스.
  9. 제 7 항에 있어서,
    상기 비디오 출력은 상기 휴대용 통신 디바이스의 위치로부터 분리된 이미지 로케이션에서 이미지를 투사하고, 상기 위치 결정 모듈은 상기 이미지 로케이션의 표시를 제공하는
    휴대용 통신 디바이스.
  10. 제 7 항에 있어서,
    상기 비디오 출력을 시청하고 상기 사운드 출력을 청취하는 개인의 관찰자 위치를 결정하는 관찰자 트래커를 포함하되,
    상기 관찰자 트래커는 상기 사운드 출력이 상기 휴대용 통신 디바이스의 위치로부터 상기 관찰자 위치를 향해 오는 것처럼 보이는 것을 가능하게 하도록 상기 관찰자 위치를 포함하기 위해 상기 위치 결정 모듈 및 상기 사운드 제어 모듈과 통신하는
    휴대용 통신 디바이스.
KR1020127034152A 2010-06-29 2011-06-15 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화 KR101405646B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/825,503 2010-06-29
US12/825,503 US8587631B2 (en) 2010-06-29 2010-06-29 Facilitating communications using a portable communication device and directed sound output
PCT/US2011/040411 WO2012005894A1 (en) 2010-06-29 2011-06-15 Facilitating communications using a portable communication device and directed sound output

Publications (2)

Publication Number Publication Date
KR20130045281A KR20130045281A (ko) 2013-05-03
KR101405646B1 true KR101405646B1 (ko) 2014-06-10

Family

ID=44542909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127034152A KR101405646B1 (ko) 2010-06-29 2011-06-15 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화

Country Status (7)

Country Link
US (1) US8587631B2 (ko)
EP (1) EP2589231B1 (ko)
JP (1) JP5611463B2 (ko)
KR (1) KR101405646B1 (ko)
CN (1) CN103004238B (ko)
ES (1) ES2943586T3 (ko)
WO (1) WO2012005894A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221506A1 (ko) * 2018-05-15 2019-11-21 Park Seung Min 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output
JP5742163B2 (ja) * 2010-10-15 2015-07-01 ヤマハ株式会社 情報処理端末および設定制御システム
US9596555B2 (en) * 2012-09-27 2017-03-14 Intel Corporation Camera driven audio spatialization
US9232072B2 (en) * 2013-03-13 2016-01-05 Google Inc. Participant controlled spatial AEC
EP2974253B1 (en) 2013-03-15 2019-05-08 Dolby Laboratories Licensing Corporation Normalization of soundfield orientations based on auditory scene analysis
CN106537941B (zh) * 2014-11-11 2019-08-16 谷歌有限责任公司 虚拟声音系统和方法
US9712940B2 (en) 2014-12-15 2017-07-18 Intel Corporation Automatic audio adjustment balance
US9767618B2 (en) * 2015-01-28 2017-09-19 Samsung Electronics Co., Ltd. Adaptive ambisonic binaural rendering
US9794692B2 (en) * 2015-04-30 2017-10-17 International Business Machines Corporation Multi-channel speaker output orientation detection
CN105263075B (zh) * 2015-10-12 2018-12-25 深圳东方酷音信息技术有限公司 一种带方位传感器耳机及其3d声场还原方法
US9734686B2 (en) * 2015-11-06 2017-08-15 Blackberry Limited System and method for enhancing a proximity warning sound
AU2016355673B2 (en) 2015-11-17 2019-10-24 Dolby International Ab Headtracking for parametric binaural output system and method
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
CN106101604A (zh) * 2016-07-05 2016-11-09 孔尧 多媒体传输方法、装置及多媒体盒子
US10278003B2 (en) 2016-09-23 2019-04-30 Apple Inc. Coordinated tracking for binaural audio rendering
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US9998847B2 (en) * 2016-11-17 2018-06-12 Glen A. Norris Localizing binaural sound to objects
US10362270B2 (en) 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10390166B2 (en) * 2017-05-31 2019-08-20 Qualcomm Incorporated System and method for mixing and adjusting multi-input ambisonics
US10595122B2 (en) * 2017-06-15 2020-03-17 Htc Corporation Audio processing device, audio processing method, and computer program product
CN107249166A (zh) * 2017-06-19 2017-10-13 依偎科技（南昌）有限公司 一种完全沉浸式的耳机立体声实现方法及系统
US10609485B2 (en) * 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US10356362B1 (en) * 2018-01-16 2019-07-16 Google Llc Controlling focus of audio signals on speaker during videoconference
US11463795B2 (en) * 2019-12-10 2022-10-04 Meta Platforms Technologies, Llc Wearable device with at-ear calibration
CN113852780B (zh) * 2021-09-18 2023-03-21 联想(北京)有限公司 一种音频数据处理方法及电子设备
CN114257920B (zh) * 2022-02-25 2022-07-29 北京荣耀终端有限公司 一种音频播放方法、系统和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2200349A1 (en) * 2008-12-16 2010-06-23 Sony Corporation Information processing system and information processing method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745550A (en) * 1985-08-16 1988-05-17 Schlumberger Technology Corporation Processing of oriented patterns
US5148493A (en) * 1988-09-19 1992-09-15 Bruney Paul F Loudspeaker structure
JP2982627B2 (ja) * 1993-07-30 1999-11-29 日本ビクター株式会社 サラウンド信号処理装置及び映像音声再生装置
US5521981A (en) * 1994-01-06 1996-05-28 Gehring; Louis S. Sound positioner
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US6700985B1 (en) * 1998-06-30 2004-03-02 Gn Resound North America Corporation Ear level noise rejection voice pickup method and apparatus
US6453168B1 (en) * 1999-08-02 2002-09-17 Itt Manufacturing Enterprises, Inc Method and apparatus for determining the position of a mobile communication device using low accuracy clocks
US7480389B2 (en) * 2001-03-07 2009-01-20 Harman International Industries, Incorporated Sound direction system
US7095455B2 (en) 2001-03-21 2006-08-22 Harman International Industries, Inc. Method for automatically adjusting the sound and visual parameters of a home theatre system
US20030069710A1 (en) * 2001-09-24 2003-04-10 Earl Geddes Method for quantifying the polar response of transducers
US6642893B1 (en) * 2002-05-09 2003-11-04 Centurion Wireless Technologies, Inc. Multi-band antenna system including a retractable antenna and a meander antenna
JP4602978B2 (ja) * 2003-09-11 2010-12-22 ソニー エリクソン モバイル コミュニケーションズ， エービー パーテイ配置識別証明を伴うマルチパーテイ通話
JP4629388B2 (ja) * 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
JP2006165845A (ja) 2004-12-06 2006-06-22 Alpine Electronics Inc 映像音響装置
JP2006295313A (ja) * 2005-04-06 2006-10-26 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US20090316529A1 (en) * 2005-05-12 2009-12-24 Nokia Corporation Positioning of a Portable Electronic Device
US8170293B2 (en) * 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
US8406601B2 (en) * 2007-12-28 2013-03-26 Nxp B.V. Method and system for reproducing audio/video content and portable device
US7738238B2 (en) * 2008-10-03 2010-06-15 Keng-Yuan Liu Portable audio/video playing device disposing structure
US8693977B2 (en) * 2009-08-13 2014-04-08 Novell, Inc. Techniques for personal security via mobile devices
US8416062B2 (en) * 2009-11-30 2013-04-09 Symbol Technologies, Inc. Method and apparatus for improving RFID tag reading
US8923995B2 (en) * 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2200349A1 (en) * 2008-12-16 2010-06-23 Sony Corporation Information processing system and information processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221506A1 (ko) * 2018-05-15 2019-11-21 Park Seung Min 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20130045281A (ko) 2013-05-03
ES2943586T3 (es) 2023-06-14
US20110316967A1 (en) 2011-12-29
EP2589231A1 (en) 2013-05-08
US8587631B2 (en) 2013-11-19
EP2589231B1 (en) 2023-04-19
CN103004238A (zh) 2013-03-27
JP2013535861A (ja) 2013-09-12
CN103004238B (zh) 2016-09-28
WO2012005894A1 (en) 2012-01-12
JP5611463B2 (ja) 2014-10-22

Similar Documents

Publication Publication Date Title
KR101405646B1 (ko) 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화
US11770671B2 (en) Spatial audio for interactive audio environments
US9838825B2 (en) Audio signal processing device and method for reproducing a binaural signal
US9955262B2 (en) Device and method for driving a sound system and sound system
US8571192B2 (en) Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
US20180310114A1 (en) Distributed Audio Capture and Mixing
US8437485B2 (en) Method and device for improved sound field rendering accuracy within a preferred listening area
RU2586842C2 (ru) Устройство и способ преобразования первого параметрического пространственного аудиосигнала во второй параметрический пространственный аудиосигнал
KR20170106063A (ko) 오디오 신호 처리 방법 및 장치
JP2014180044A (ja) 音声を定位知覚する技術
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
MXPA05004091A (es) Captura y reproduccion de sonido dinamico biauricular.
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
US11337020B2 (en) Controlling rendering of a spatial audio scene
US20230096873A1 (en) Apparatus, methods and computer programs for enabling reproduction of spatial audio signals
CN112806030A (zh) 空间音频处理
KR20220038478A (ko) 공간 변환 도메인에서 음장 표현을 처리하기 위한 장치, 방법 또는 컴퓨터 프로그램
CN112740326A (zh) 用于控制带限音频对象的装置、方法和计算机程序
CN115955622A (zh) 针对在麦克风阵列之外的位置的麦克风阵列所捕获的音频的6dof渲染
Sousa The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5