KR101777639B1 - 음향 재생을 위한 방법 - Google Patents

Abstract

시각 큐들로의 국부적인 근접에 있어서의 오디오 지각이 제공된다. 디바이스는 비디오 디스플레이, 제 1 행의 오디오 트랜스듀서들, 및 제 2 행의 오디오 트랜스듀서들을 포함한다. 제 1 및 제 2 행들은 상기 비디오 디스플레이 위 및 아래에 수직으로 배치될 수 있다. 제 1 행의 오디오 트랜스듀서 및 제 2 행의 오디오 트랜스듀서는 협력하여 가청 신호를 생성하기 위해 열을 형성한다. 가청 신호의 지각된 발산은 열의 오디오 트랜스듀서들이 출력을 가중화함으로써 비디오 디스플레이의 평면(예를 들면, 시각 큐의 위치)로부터 이루어진다. 어떤 실시예들에서는, 오디오 트랜스듀서들이 평면의 중심부 내에서 증가된 충실도를 위해 주변에서 멀리 떨어져서 배치되며 주변에서는 낮은 충실도를 갖는다.

Description

음향 재생을 위한 방법{A METHOD FOR SOUND REPRODUCTION}

관련 출원들에 대한 교차-참조

본 출원은 2010년 3월 23일 출원된 미국 임시 출원(제 61/316,579호)에 대한 우선권을 주장하는데, 위 임시 출원은 그 전체가 본 명세서에 참고문헌으로 병합된다.

본 발명은 일반적으로 오디오 재생에 대한 것이고, 특히 시각 큐들(visual cues)과 아주 가까운 곳에서의 오디오 지각에 대한 것이다.

주거지 거실 또는 영화관 내의 충실도 음향 시스템들은 입체음향 기술들을 채용해서 실제의 원래의 음향과 비슷하다. 이 시스템들은 확성기들의 대칭 배치에 의해 통상적으로 프로젝팅되는 적어도 두 개의 표현 채널들(예를 들면, 왼쪽 및 오른쪽 채널들, 서라운드 음향 5.1, 6.1, 11.1 등)을 이용한다. 예를 들면, 도 1에 도시된 바와 같이, 종래의 서라운드 음향 5.1 시스템(100)은 다음을 포함한다: (1) 전방 왼쪽 스피커(102), (2) 전방 오른쪽 스피커(104), (3) 전방 중심 스피커(106, 중심 채널), (4) 저 주파수 스피커(108, 예를 들면, 서브우퍼), (5) 후방 왼쪽 스피커(110, 예를 들면, 왼쪽 서라운드), 및 (6) 후방 오른쪽 스피커(112, 예를 들면, 오른쪽 서라운드). 시스템(100)에서, 전방 중심 스피커(106), 또는 단일 중심 채널은 모든 대화 및 온-스크린 이미지들과 연관된 다른 오디오를 전달한다.

그러나, 이 시스템들은 특히 음향들을 몇 개의 방향으로 로컬라이즈(localize)하는데 있어서 불완전함을 겪으며, 종종 최상 성능(예를 들면, 스위트 스팟(114), 개인이 믹서에 의해 의도된 오디오 믹스를 듣는 확성기들 사이의 초점)을 위한 고정된 단일 청취자 위치를 필요로 한다. 지금까지 개선을 위한 많은 노력들은 표현 채널들의 수에서의 증가를 수반한다. 다수의 채널들을 믹싱하는 것은 콘텐트 생성자들에게 더 많은 시간 및 비용 불이익을 발생시키며 그로 인한 지각이 음원의 시각 큐로의 근접에 있어서 음향을 로컬라이즈하는데 실패한다. 즉, 이러한 음향 시스템들로부터의 재생된 음향이 비디오 온-스크린 평면으로부터 발산하도록 지각되지 않으며, 따라서 진정한 사실성이 부족해진다.

위로부터, 비디오 이미지와 연관된 로컬라이즈된 지각적 오디오를 위한 기술들이 개선된 자연적인 청력 경험에 요구된다는 것이 발명자들에 이해 인식된다.

본 섹션에 설명된 이러한 방식들은 추구될 수 있는 방식들이나, 반드시 이전에 인식되거나 추구된 방식들은 아니다. 그러므로, 다른 방식으로 나타나지 않는 경우, 이 섹션에 설명된 방식들 중 임의의 방식이 단지 본 섹션 내에 포함된 것에 의해 종래 기술로서 지위를 얻는다고 전제되어서는 안 된다. 유사하게, 하나 이상의 방식들에 대해 인식된 사안들이 다른 방식으로 나타나지 않는 경우, 본 섹션을 기초로 해서 임의의 종래 기술 내에서 인식된 것으로 전제해서는 안 된다.

시각 큐들에 아주 가까운 곳에서의 오디오 지각을 위한 방법들 및 장치들이 제공된다. 오디오 신호, 아날로그 또는 디지털 중 하나가 수신된다. 상기 오디오 신호의 지각 근원(perceptual origin)을 위한 비디오 평면 상의 로케이션(location)이 결정되거나, 다른 방식으로 제공된다. 상기 지각 근원의 수평 위치에 대응하는 오디오 트랜스듀서들(audio transducers)(예를 들면, 확성기들)의 열이 선택된다. 상기 열은 오디오 트랜스듀서들의 다수의 행(예를 들면, 2개 이상의 행)으로부터 선택된 적어도 두 개의 오디오 트랜스듀서들을 포함한다. "패닝(panning)"(예를 들면, 물리적인 확성기 로케이션들 사이에서의 상상의(phantom) 오디오 이미지들의 생성)을 위한 가중 팩터들(Weight factors)이 상기 열의 상기 적어도 두 개의 오디오 트랜스듀서에 대해 결정된다. 이러한 가중 팩터들은 상기 지각 근원의 수직 위치에 대응한다. 가청 신호가 상기 가중 팩터들을 이용하여 상기 열에 의해 표현된다.

본 발명의 일 실시예에서, 디바이스는 비디오 디스플레이, 오디오 트랜스듀서들의 제 1 행, 및 오디오 트랜스듀서들의 제 2 행을 포함한다. 상기 제 1 및 제 2 행들은 상기 비디오 디스플레이 위 및 아래에 수직으로 배치된다. 상기 제 1 제 1 행의 오디오 트랜스듀서 및 상기 제 2 행의 오디오 트랜스듀서는 가청 신호를 협력하여 생성하도록 열을 형성한다. 상기 가청 신호의 지각된 발산은 상기 열의 상기 오디오 트랜스듀서들의 출력을 가중화함으로써 상기 비디오 디스플레이의 평면(예를 들면, 시각 큐의 로케이션)으로부터 이루어진다. 어떤 실시예들에서는, 상기 오디오 트랜스듀서들은 상기 평면의 중심부 내에서 증가된 충실도를 위해 주변에서 멀리 떨어져서 이격되고 상기 주변에서 적은 충실도를 갖는다.

또 다른 실시예에서, 시스템은 오디오 투과 스크린, 오디오 트랜스듀서들의 제 1 행, 및 오디오 트랜스듀서들의 제 2 행을 포함한다. 상기 제 1 및 제 2 행들은 상기 오디오 투과 스크린 뒤에(예상 시청자/청취자 위치에 상대적임) 배치된다. 상기 스크린은 인간 청력의 바람직한 주파수 범위에 대해 오디오 투과된다. 특정 실시예들에서, 상기 시스템은 오디오 트랜스듀서들의 제 3, 제 4, 그 이상의 행들을 추가로 포함할 수 있다. 예를 들면, 극장에서, 9개 트랜스듀서들의 3개의 행이 성능과 복잡도(비용) 사이에서 합리적인 절충을 제공할 수 있다.

본 발명의 또 다른 실시예에서, 메타데이터가 수신된다. 상기 메타데이터는 오디오 스템(audio stem)의 지각 근원(마스터 믹스와 조합하기 전에 별도로 처리될 수 있는 서브믹스들, 서브그룹들, 또는 버스들)을 위한 로케이션을 포함한다. 상기 지각 근원의 수평 위치에 가장 가까운 오디오 트랜스듀서들의 하나 이상의 열들이 선택된다. 상기 하나 이상의 열들 각각이 오디오 트랜스듀서들의 다수 행으로부터 선택된 적어도 두 개의 오디오 트랜스듀서들을 포함한다. 상기 적어도 두 개의 오디오 트랜스듀서를 위한 가중 팩터들이 결정된다. 이러한 가중 팩터들은 상기 지각 근원의 수직 위치와 상관있거나 다른 방식으로 관계 있다. 상기 오디오 스템은 상기 가중 팩터들을 이용하여 상기 열에 의해 가청적으로(audibly) 표현된다.

본 발명의 실시예로서, 오디오 신호가 수신된다. 상기 오디오 신호를 위한 비디오 평면 상의 제 1 로케이션이 결정된다. 이 제 1 로케이션은 제 1 프레임 상에서 시각 큐에 대응한다. 상기 오디오 신호를 위한 상기 비디오 평면 상의 제 2 로케이션이 결정된다. 상기 제 2 로케이션은 제 2 프레임 상에서 상기 시각 큐에 대응한다. 상기 오디오 신호를 위한 상기 비디오 평면 상에서 제 3 로케이션이 보간되거나 다른 방식으로 추정되어 제 3 프레임 상에서 상기 시각 큐의 포지셔닝(positioning)에 대응한다. 상기 제 3 로케이션은 상기 제 1 로케이션과 상기 제 2 로케이션 사이에 배치되고, 상기 제 3 프레임은 상기 제 1 프레임과 상기 제 2 프레임을 중재한다.

본 발명이 첨부 도면 내에서 제한이 아니라 예에 의해 예시되며 유사한 참조 부호들은 유사한 요소들을 참조한다.

도 1은 종래의 서라운드 음향 5.1 시스템을 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 예시적인 시스템을 예시한 도면.
도 3은 본 발명의 일 실시예의 청취 위치 둔감을 예시한 도면.
도 4a 및 도 4b는 본 발명의 일 실시예들에 따른 지각 음향 포지셔닝을 예시하는 간략화된 도면들.
도 5는 본 발명의 일 실시예에 따른 움직임에 대한 지각 음향 포지셔닝의 보간을 예시하는 간략화된 도면.
도 6a 내지 도 6d는 본 발명의 일 실시예들에 따른 예시적인 디바이스 구성들을 예시한 도면들.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 로컬라이즈된 지각적 오디오를 위한 예시적인 메타데이터 정보를 도시한 도면들.
도 8은 본 발명의 일 실시예에 따른 간략화된 흐름도.
도 9는 본 발명의 일 실시예에 따른 또 하나의 간략화된 흐름도.

도 2는 본 발명의 일 실시예에 따른 예시적인 시스템(200)을 예시한다. 시스템(200)은 비디오 디스플레이 디바이스(202)를 포함하는데, 이 디바이스는 비디오 스크린(204), 및 오디오 트랜스듀서들의 두 개의 행들(206, 208)을 추가로 포함한다. 상기 행들(206, 208)은 비디오 스크린(204) 주위에 수직으로 배치된다(예를 들면, 행(206)은 비디오 스크린(204) 위에 포지셔닝되고 행(208)은 비디오 스크린 아래에 포지셔닝된다). 특정 실시예에서, 행들(206, 208)은 전방 중심 스피커(106)를 대체해서 서라운드 음향 환경에서 중심 채널 오디오 신호를 출력한다. 이로써, 시스템(200)은 다음 중 하나 이상을 비 필수적으로 포함할 수 있다: 전방 왼쪽 스피커(102), 전방 오른쪽 스피커(104), 저 주파수 스피커(108), 후방 왼쪽 스피커(110), 및 후방 오른쪽 스피커(112). 상기 중심 채널 오디오 신호는 연설 세그먼트들의 재생 또는 미디어 콘텐트의 그밖의 대화 스템들의 재생에 완벽히 또는 부분적으로 전용될 수 있다. 각각의 행(206, 208)은 복수의 오디오 트랜스듀서들 - 2개 이상의 오디오 트랜스듀서들을 포함한다. 이러한 오디오 트랜스듀서들은 열들 - 2개 이상의 열들을 형성하기 위해 정렬된다. 5개 트랜스듀서들의 두 개의 행들은 각각 성능과 복잡도(비용) 사이에서 합리적인 절충을 제공한다. 대안적인 실시예들에서, 각각의 행 내의 트랜스듀서들의 수는 상이할 수 있으며/있거나 트랜스듀서들의 배치는 치우칠 수 있다. 각각의 오디오 트랜스듀서로의 피드들(feeds)은 신호 처리 및 실시간 모니터링에 기초해서 개별화되어 무엇보다, 바람직한 지각 근원, 소스 크기 및 소스 움직임을 획득할 수 있다.

오디오 트랜스듀서들은 다음: 확성기들(예를 들면, 인클로저(enclosure) 안에 장착된 직접 방사 전기 역학 드라이버), 혼 확성기들, 압전 스피커들, 자기변형 스피커들, 정전 확성기들, 리본 및 평면형 자기 확성기들, 굴곡 진동 확성기들, 평면 확성기들, 분산형 모드 확성기들(예를 들면, 굴곡-패널-진동에 의한 동작 - 예를 들면, 모든 목적을 위해 전체가 본 명세서에 병합되는 미국 특허(제 7,106,881호) 참조) 중 임의의 것 그리고 이들의 임의의 조합/믹스일 수 있다. 유사하게, 트랜스듀서들의 주파수 범위 및 충실도는 바람직한 경우, 행들 사이에서 그리고 행들 내에서 변할 수 있다. 예를 들면, 행(206)은 전범위(예를 들면, 3인치 내지 8인치 직경 드라이버) 또는 중간-범위, 그리고 고 주파수 트위터들인 오디오 트랜스듀서들을 포함할 수 있다. 행들(206, 208)에 의해 형성된 열들은 강한 가청 출력을 집합적으로 제공하기 위해 상이한 오디오 트랜스듀서들을 계획적으로 포함할 수 있다.

도 3은 무엇보다, 도 1의 스위트 스팟(114)과 비교해서, 디스플레이 디바이스(202)의 청취 위치 둔감을 예시한다. 디스플레이 디바이스(202)는 중심 채널을 위해 다음을 회피하거나 다른 방식으로 완화시킨다:

(i) 음색 손상 - 주로 코밍(combing)의 결과, 각각 상이한 거리에 있는 확성기들과 청취자 사이의 전파 시간들을 상이하게 한 것의 결과;

(ii) 비간섭성 - 주로 다수의 소스들에 의해 모의된 파면과 연관된 속도단(velocity end) 에너지 벡터들을 상이하게 한 것의 결과로서, 오디오 이미지가 구별되지 않게 하거나(예를 들면, 음향적으로 흐릿하게 하거나) 중간 위치에 있는 단일 오디오 이미지 대신에 각각의 확성기 위치에서 지각되게 함; 및

(iii) 불안정성 - 청취자 위치를 갖는 오디오 이미지 로케이션의 변형, 예를 들면, 상기 청취자가 스위트 스팟 밖에서 움직일 때 오디오 이미지가 더 가까운 확성기로 움직이거나, 심지어 붕괴될 것이다.

디스플레이 디바이스(202)는 오디오 이미지 위치 및 크기의 개선된 공간 분해능을 위해, 그리고 오디오의 연관된 시각 장면과의 통합을 개선하기 위해, 때로는 "열 스냅핑(column snapping)"으로 불리는, 오디오 표현을 위해 적어도 열을 채용한다. 이 예에서, 오디오 트랜스듀서들(304 및 306)을 포함하는 열(302)은 로케이션(307)에서 상상의 가청 신호를 표현한다. 상기 가청 신호는 청취자의 측방 위치, 예를 들면, 청취자 위치들(308 또는 310)과 무관하게 로케이션(307)으로 열 스냅핑된다. 청취자 위치(308)로부터, 경로 길이들(312 및 314)이 실질적으로 동일하다. 이는 경로 길이들(316 및 318)을 갖는 청취자 위치(310)에 대해서도 사실이다. 즉, 청취자 위치에서의 임의의 측방 변화에도 불구하고, 오디오 트랜스듀서(302 또는 304) 어느 것도 열(302) 내의 다른 오디오 트랜스듀서보다 청취자에게 상대적으로 더 가까이 이동하지 않는다. 대조적으로, 전방 왼쪽 스피커(102) 및 전방 오른쪽 스피커(104)를 위한 경로들(320 및 322)이 각각 많이 변할 수 있으며 청취자 위치 민감을 여전히 겪을 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 디바이스(402)를 위한 지각 음향 포지셔닝을 예시하는 간략화된 도면이다. 도 4a에서, 디바이스(402)는 위치(404)에서 지각 음향을 출력한 후, 위치(406)으로 점프한다. 상기 점프는 영화상 컷어웨이(cutaway) 또는 동일한 장면 내의 음원에서의 변화(예를 들면, 상이한 말하는 배우, 음향 효과 등). 이는 열(408)으로의 첫번째 열 스냅핑, 그리고 이후 열 410으로의 스냅핑에 의해 수평 방향으로 달성될 수 있다. 수직 포지셔닝은 상기 스냅핑된 열 내의 오디오 트랜스듀서들 사이에서 상대적인 패닝 가중치들을 바꿈으로써 달성된다. 부가적으로, 디바이스(402)는 또한 동시에 열(408) 및 열(410)을 이용하여 위치(404) 및 위치(406)에서 두 개의 구별되는 로컬라이즈된 음향들을 출력할 수 있다. 이는 다수의 시각 큐들이 스크린상에 존재하는 경우에 바람직하다. 특정 실시예로서, 다수의 시각 큐들이 다수의 프로그램들의 동시 디스플레이 동안에 음향들을 적합한 화상과 공간적으로 연관시키기 위해 화상 내 화상(PiP) 디스플레이들을 이용하여 결합될 수 있다.

도 4b에서, 디바이스(402)는 위치(414), 열(408)과 열(412) 사이에 배치된 중간 위치에서 지각 음향을 출력한다. 이 경우에, 두 개의 열들이 상기 지각 음향을 포지셔닝하기 위해 이용된다. 오디오 트랜스듀서들이 원하는 효과를 위해 청취 영역을 가로질러서 개별적으로 제어될 수 있다는 것이 이해되어야 한다. 위에서 논의된 바와 같이, 오디오 이미지는 예를 들면 열 스냅핑에 의해 상기 비디오 스크린 디스플레이 위에 아무 곳에나 배치될 수 있다. 상기 오디오 이미지는 상기 시각 큐에 따라, 점원 또는 큰 면원일 수 있다. 예를 들면, 대화가 상기 스크린 상에서 배우의 입으로부터 발산하는 것이 지각될 수 있는 반면에, 해변에서 부딪치는 파도 소리는 상기 스크린의 전체 폭에 걸쳐서 확산될 수 있다. 이 예에서, 상기 대화는 열 스냅핑될 수 있는 반면에, 동시에, 트랜스듀서들의 전체 행이 상기 파도 소리를 내기 위해 이용된다. 이러한 효과들은 모든 청취자 위치들에 대해 유사하게 지각될 것이다. 나아가, 상기 지각된 음원은 필요한 대로(예를 들면, 배우가 스크린 상에서 움직이는 대로) 상기 스크린 상에서 이동할 수 있다.

도 5는 본 발명의 일 실시예에 따른, 디바이스(502)에 의한 움직임에 대한 지각 음향 포지셔닝의 보간을 예시하는 간략화된 도면이다. 이러한 위치 보간은 믹싱, 인코딩, 디코딩, 또는 후-처리 재생 시에 발생할 수 있으며, 이후 계산 및 보간된 위치들(예를 들면, 디스플레이 스크린 상에서 x, y 좌표 위치)이 본 명세서에서 설명된 바와 같이 오디오 표현을 위해 이용될 수 있다. 예를 들면, 시간(t₀)에, 오디오 스템은 시작 위치(506)에 로케이트되도록 지정될 수 있다. 시작 위치(506)는 시각 큐 또는 상기 오디오 스템의 다른 소스(예를 들면, 배우의 입, 짖는 개, 자동차 엔진, 화기의 총구 등)에 대응할 수 있다. 추후의 시간(t₉, 9개의 프레임 뒤에)에, 동일한 시각 큐 또는 다른 소스가 바람직하게는 컷어웨이 장면 이전에, 종료 위치(504)에 로케이트되도록 지정될 수 있다. 이 예에서, 시간(t₉) 및 시간(t₀)에서의 프레임들이 "키 프레임들"이다. 상기 시작 위치, 종료 위치, 및 경과 시간이 제공되는 경우, 상기 움직이는 소스의 추정된 위치가 오디오 표현시에 이용되도록, 각각의 중재 프레임, 또는 비-키 프레임들에 대해 선형적으로 보간될 수 있다. 상기 장면과 연관된 메타데이터는 (i) 시작 위치, 종료 위치, 및 경과 시간, (ii) 보간 위치들, 또는 (iii) 항목(i)과 항목(ii) 둘 다를 포함할 수 있다.

대안적인 실시예들에서, 보간은 포물선, 구간별 지수, 다항식, 스플라인, 또는 가우시안 공정일 수 있다. 예를 들면, 상기 오디오 소스가 방출된 총알인 경우, 선형이 아닌 탄도가 상기 시각 경로와 더 가까이 매칭하도록 채용될 수 있다. 일부 예들에서, 부드러운 움직임을 위해 이동 방향으로 패닝을 이용하는 한편 상상의 이미지 손상들을 줄이기 위해 움직임에 수직인 방향으로 가장 가까운 행 또는 열로의 "스냅핑"을 이용하는 것이 바람직할 수 있으며, 따라서 보간 함수가 이로써 조정될 수 있다. 다른 예들에서, 지정된 종료 위치(504) 이상의 부가적인 위치들이 특히 짧은 시간 기간동안, 보간에 의해 계산될 수 있다.

시작 위치(506) 및 종료 위치(504)의 지정은 다수의 방법들에 의해 달성될 수 있다. 지정은 믹스 오퍼레이터에 의해 수동으로 실행될 수 있다. 시간 가변적인, 수동 지정이 정확성을 그리고 오디오 표현에서의 우수한 제어를 제공한다. 그러나, 특히 비디오 장면이 다수의 소스들 또는 스템들을 포함하는 경우, 그것은 노종 집약적이다.

지정은 또한 인공 지능(이를테면, 신경망들, 분류자들, 통계적 습득, 또는 패턴 매칭), 또는 오브젝트/얼굴 인식, 특색 추출 등을 이용하여 자동으로 실행될 수 있다. 예를 들면, 오디오 스템이 인간 음성의 특징들을 나타낸다고 판단되는 경우, 얼굴 인식 기술들에 의해 장면 내에서 발견되는 얼굴과 자동으로 연관될 수 있다. 유사하게, 오디오 스템이 특별한 악기(예를 들면, 바이올린, 피아노 등)의 특징들을 나타내는 경우, 상기 장면은 적합한 악기를 위해 탐색되어 대응 로케이션을 할당받을 수 있다. 오케스트라 장면의 경우에, 각각의 악기의 자동 할당이 수동 지정보다 명확히 노동력을 절약할 수 있다.

또 하나의 지정 방법은 각각의 오디오 스트림이 상이한 알려진 위치들을 위한 전체 장면을 포착하는 다수의 오디오 스트림들을 제공하는 것이다. 최적으로는 각각의 오디오 오브젝트 신호를 고려해서, 장면 신호들의 상대적인 수준이 각각의 오디오 오브젝트 신호를 위한 위치 메타데이터를 발생시키기 위해 분석될 수 있다. 예를 들면, 스테레오 마이크 쌍이 음향 스테이지에 걸쳐서 오디오를 포착하기 위해 이용될 수 있다. 상기 스테레오 마이크의 각각의 마이크 내에서 배우의 음성의 상대적인 수준이 스테이지 상에서 배우의 위치를 추정하기 위해 이용될 수 있다. 컴퓨터 생성 화상(CGI) 또는 컴퓨터 기반 게임들이 경우에, 전체 장면 내의 오디오 및 비디오 오브젝트들의 위치들이 오디오 이미지 크기, 모양 및 위치 메타데이터를 발생시키기 위해 직접 이용될 수 있다.

도 6a 내지 도 6d가 본 발명의 일 실시예들에 따른 예시적인 디바이스 구성들을 예시한다. 도 6a는 두 개의 행들(604, 606) 내에 밀도 높게 이격된 트랜스듀서들을 구비하는 디바이스(602)를 도시한다. 트랜스듀서의 높은 밀도가 오디오 이미지 위치 및 크기의 공간 분해능을 개선했으며, 입상 움직임 보간을 향상시켰다. 특정 실시예에서, 인접 트랜스듀서들은 10인치 미만으로 이격되거나(중심간 거리(608)), 8피트의 통상적인 청취 거리에 대해 약 6°미만으로 인접한다. 그러나, 더 높은 밀도를 위해, 인접 트랜스듀서들이 인접할 수 있으며/있거나 확성기 콘 크기가 감소할 수 있다는 것이 인식되어야 한다. 복수의 마이크로 스피커들(예를 들면, 소니 DAV-IS10; 파나소닉 전자 디바이스; 2×1 인치 이하 스피커들 등)이 채용될 수 있다.

도 6b에서, 디바이스(620)은 오디오 투과 스크린(622), 오디오 트랜스듀서들의 제 1 행(624), 및 오디오 트랜스듀서들의 제 2 행(626)을 포함한다. 상기 제 1 행 및 제 2 행은 상기 오디오 투과 스크린 뒤(예상 시청자/청취자 위치에 상대적임)에 배치된다. 상기 오디오 투과 스크린은 제한 없이, 프로젝션 스크린, 실버 스크린, 텔레비전 디스플레이 스크린, 셀룰러 무선전화 스크린(터치 스크린을 포함함), 랩탑 컴퓨터 디스플레이, 또는 데스크톱/평면 컴퓨터 디스플레이일 수 있다. 상기 스크린은 적어도 인간 청력의 바람직한 주파수 범위, 바람직하게는 약 20Hz 내지 약 20kHz, 또는 더 바람직하게는 인간 청력의 전체 범위에 대해 오디오 투과할 수 있다.

특정 실시예들에서, 디바이스(620)는 오디오 트랜스듀서들의 제 3, 제 4, 또는 더 많은 행들(미도시됨)을 추가로 포함할 수 있다. 이러한 경우들에서, 최상부 및 최하부 행들은 바람직하게는 상기 오디오 투과 스크린의 맨 위 및 맨 아래 에지들에 각각 가깝게 로케이트되나 반드시 그럴 필요는 없다. 이는 상기 디스플레이 스크린 평면의 전체 범위로의 오디오 패닝을 허용한다. 나아가, 행들 사이의 거리는 하나의 부분을 희생해서, 또 하나의 부분 내에서 더 큰 수직 분해능을 제공하기 위해 변할 수 있다. 유사하게, 상기 행들 중 하나 이상 내의 오디오 트랜스듀서들이 상기 평면의 중심부 내에서의 증가된 수평 분해능을 위해 주변부에서 멀리 떨어져서 이격될 수 있으며 상기 주변부에서 더 적은 분해능을 갖는다. 하나 이상의 영역들(행과 개별적인 트랜스듀서 간격의 조합에 의해 결정됨) 내의 오디오 트랜스듀서들의 높은 밀도가 더 높은 분해능을 위해 구성될 수 있으며, 낮은 밀도가 다른 영역 내에서 더 낮은 분해능을 위해 구성될 수 있다.

디바이스(640)는 도 6c에서, 오디오 트랜스듀서들의 두 개의 행들(642, 644)를 추가로 포함한다. 이 실시예에서, 행 내에서 오디오 트랜스듀서들 사이의 거리들이 변한다. 인접한 오디오 트랜스듀서들 사이의 거리들이 선형, 기하학적, 또는 다른 방식으로 중심선(646)으로부터의 하수로서 변할 수 있다. 도시된 바와 같이, 거리(648)는 거리(650)보다 더 크다. 이런 방식으로, 상기 디스플레이 스크린 평면 상의 공간 분해능이 상이할 수 있다. 제 1 부(예를 들면, 중심부)에서의 공간 분해능이 제 2 부(예를 들면, 주변부)에서의 더 낮은 공간 분해능을 희생해서 증가될 수 있다. 이는 서라운드 시스템 중심 채널 내에 표현된 대화를 위한 시각 큐들의 대부분이 상기 스크린 평면의 중심 내에서 발생함에 따라 바람직할 수 있다. 도 6d는 디바이스(660)를 위한 예시적인 형태 팩터를 예시한다. 높은 분해능 중심 채널을 제공하는, 오디오 트랜스듀서들의 행들(662, 664)이 단일 형태 팩터 뿐만 아니라, 왼쪽 전방 확성기(666) 및 오른쪽 전방 확성기(668)와 통합될 수 있다. 이러한 구성요소들의 단일 형태 팩터로의 통합은 조립 효율, 더 나은 신뢰도, 및 개선된 미감을 제공할 수 있다. 그러나, 일부 예들에서, 행들(662 및 664)은 별도의 음봉(sound bar)으로서 조립될 수 있으며 각각은 디스플레이 디바이스에 물리적으로 결합(예를 들면, 장착)될 수 있다. 유사하게, 각각의 오디오 트랜스듀서는 개별적으로 패키징되어 디스플레이 디바이스에 결합될 수 있다. 실제로, 각각의 오디오 트랜스듀서의 위치는 최종 이용자 선호도에 따라 대안적인 미리 정의된 로케이션들로 최종 이용자가 조정할 수 있다. 예를 들면, 트랜스듀서들은 이용가능한 슬롯형 위치들을 갖는 트랙 상에 장착된다. 이러한 시나리오에서, 상기 트랜스듀서들의 최종 위치들이 이용자에 의해 로컬라이즈된 지각적 오디오의 적합한 동작을 위한 재생 디바이스로 입력되거나, 자동으로 검출된다.

도 7a 내지 도 7c는 본 발명의 일 실시예들에 따른 로컬라이즈된 지각적 오디오를 위한 메타데이터 정보의 유형들을 도시한다. 도 7a의 간단한 예에서, 메타데이터 정보는 고유 식별자, 타이밍 정보(예를 들면, 시작 및 중지 프레임, 또는 대안적으로 경과 시간), 오디오 재생을 위한 좌표들, 및 오디오 재생의 바람직한 크기를 포함한다. 좌표들은 하나 이상의 종래 비디오 포맷들 또는 종횡비들, 이를테면 와이드스크린(1.37:1보다 더 큼), 표준(4:3), ISO 216(1.414), 35mm(3:2), WXGA(1.618), 수퍼 16mm(5:3), HDTV(16:9) 등을 위해 제공될 수 있다. 상기 시각 큐의 크기와 상관될 수 있는 오디오 재생들의 크기가 개선된 지각 크기를 위한 다수의 트랜스듀서 열들에 의한 표현을 허용하기 위해 제공된다.

도 7b에 제공된 메타데이터 정보는 오디오 신호들이 움직임 보간을 위해 식별될 수 있다는 점에서 도 7a와 상이하다. 오디오 신호를 위한 시작 및 종료 로케이션들이 제공된다. 예를 들면, 오디오 신호(0001)가 X1, Y2에서 시작해서 프레임 시퀀스(0001 내지 0009) 동안에 X2, Y2로 움직인다. 특정 실시예에서, 메타데이터 정보는 움직임 보간에 이용될 알고리즘 또는 함수를 추가로 포함할 수 있다.

도 7c에서, 도 7b에 의해 도시된 예와 유사한 메타데이터 정보가 제공된다. 그러나, 이 예에서, 재생 로케이션 정보는 데카르트 x-y 좌표들 대신에 디스플레이 스크린 치수(들)의 퍼센티지로서 제공된다. 이는 상기 메타데이터 정보의 디바이스 독립성을 제공한다. 예를 들면, 오디오 신호(0001)가 P1%(수평), P2%(수직)에서 시작한다. P1%는 기준점으로부터 디스플레이 길이의 50%일 수 있으며, P2%는 동일한 또는 또 하나의 기준점으로부터 디스플레이 높이의 25%일 수 있다. 대안적으로, 음향 재생이 로케이션은 기준점으로부터의 거리(예를 들면, 반경) 및 각도에 의해 특정될 수 있다. 유사하게, 재생의 크기는 디스플레이 치수 또는 기준 값의 퍼센티지로서 표현될 수 있다. 기준값이 이용되는 경우, 상기 기준값은 메타데이터 정보로서 상기 재생 디바이스에 제공될 수 있거나, 디바이스 의존적인 경우에는 미리 정의되어 상기 재생 디바이스 상에 저장될 수 있다.

메타데이터 정보(로케이션, 크기 등)의 위 유형들 이외에, 그밖의 바람직한 유형들은 다음을 포함할 수 있다:

오디오 모양;

가상 대 진짜 이미지 선호도;

원하는 절대적인 공간 분해능(재생 동안에 상상 대 진짜 오디오 이미징을 관리하는 것을 돕기 위함) - 분해능은 각각의 치수에 대해 특정될 수 있다(예를 들면, 왼쪽/오른쪽, 전방/후방); 및

원하는 상대적인 공간 분해능(재생 동안에 상상 대 진짜 오디오 이미징을 관리하는 것을 돕기 위함) - 분해능은 각각의 치수에 대해 특정될 수 있다(예를 들면, 왼쪽/오른쪽, 전방/후방).

부가적으로, 중심 채널 오디오 트랜스듀서 또는 서라운드 시스템 확성기로의 각각의 신호에 대해, 메타데이터가 송신될 수 있는데, 이는 오프셋을 나타낸다. 예를 들면, 메타데이터가 렌더링될 각각의 채널을 위한 원하는 위치를 더 정밀하게 (수평으로 그리고 수직으로)나타낼 수 있다. 이는 당연히 그러나 후방 호환가능한 공간 오디오가 더 높은 공간 분해능을 갖는 시스템을 위한 더 높은 분해능 렌더링을 가지고 송신되는 것을 허용한다.

도 8은 본 발명의 일 실시예에 따른 간략화된 흐름도(800)를 예시한다. 단계(802)에서, 오디오 신호가 수신된다. 상기 오디오 신호의 지각 근원을 위한 비디오 평면 상의 로케이션이 단계(804)에서 결정된다. 그 다음에, 단계(806)에서, 오디오 트랜스듀서들의 하나 이상의 열들이 선택된다. 선택된 열들은 상기 지각 근원의 수평 위치에 대응한다. 상기 열들 각각은 적어도 두 개의 오디오 트랜스듀서들을 포함한다. 상기 적어도 두 개의 오디오 트랜스듀서들을 위한 가중 팩터들이 단계(808)에서 결정되거나 다른 방식으로 계산된다. 상기 가중 팩터들은 오디오 패닝을 위한 지각 근원의 수직 위치에 대응한다. 마지막으로, 단계(810)에서, 오디오 신호가 상기 가중 팩터들을 이용하여 상기 열에 의해 표현된다. 그밖의 대안들이 또한 제공될 수 있는데, 여기서 청구항들의 범위을 벗어나지 않고 단계들이 더해지거나, 하나 이상의 단계들이 제거되거나, 하나 이상의 단계들이 위와 상이한 순서로 제공될 수 있다.

도 9는 본 발명의 일 실시예에 따른 간략화된 흐름도(900)를 예시한다. 단계(902)에서, 오디오 신호가 수신된다. 오디오 신호를 위한 비디오 평면 상의 제 1 로케이션이 단계(904)에서 결정되거나 다른 방식으로 식별된다. 상기 제 1 로케이션은 제 1 프레임 상의 시각 큐에 대응한다. 그 다음에, 단계(906)에서, 상기 오디오 신호를 위한 상기 비디오 평면 상의 제 2 로케이션이 결정되거나 다른 방식으로 식별된다. 상기 제 2 로케이션은 제 2 프레임 상의 시각 큐에 대응한다. 단계(908)을 위해, 상기 비디오 평면 상의 제 4 로케이션이 상기 오디오 신호에 대해 계산된다. 상기 제 3 로케이션은 제 3 프레임 상의 시각 큐의 포지셔닝에 대응하도록 보간된다. 상기 제 3 로케이션은 상기 제 1 로케이션과 제 2 로케이션 사이에 배치되고, 상기 제 3 프레임은 상기 제 1 프레임가 상기 제 2 프레임 사이에서 중재한다.

상기 흐름도는 추가로 그리고 선택적으로, 단계(910) 및 단계(912)를 포함해서 각각 오디오 트랜스듀서들의 열을 선택해서 가중 팩터들을 계산하게 한다. 상기 선택된 열은 상기 제 3 로케이션의 수평 위치에 대응하며, 상기 가중 팩터들은 동일 로케이션의 수직 위치에 대응한다. 단계(914)에서, 가청 신호가 상기 제 3 프레임의 디스플레이 동안에 상기 가중 팩터들을 이용하여 상기 열에 의해 선택적으로 표현된다. 흐름도(900)는 필요한 메타데이터를 발생시키기 위해 믹서에 의한 미디어 생성 동안에 또는 오디오 표현을 위한 재생 동안에 전체적으로 또는 부분적으로 실행될 수 있다. 다른 대안들이 또한 제공될 수 있는데, 여기서 청구항들의 범위를 벗어나지 않고 단계들이 더해지거나, 하나 이상의 단계들이 제거되거나, 하나 이상의 단계들이 위와 상이한 순서로 제공될 수 있다.

로컬라이즈된 지각적 오디오를 위한 위 기술들은 3D 비디오, 예를 들면 입체음향 이미지 쌍들: 왼쪽 눈 원근 이미지 및 오른쪽 눈 원근 이미지까지 확장될 수 있다. 그러나, 키 프레임들을 위한 오직 하나의 원근 이미지 내에서 시각 큐를 식별하는 것은 최종 입체음향 이미지 내의 시각 큐의 위치들과 지각된 오디오 재생 사이에 수평 불일치를 야기할 수 있다. 보상하기 위해, 스테레오 차이가 추정될 수 있으며 조정된 좌표가 종래 기술들, 이를테면 키 프레임 내의 시각적 이웃(neighborhood)을 다른 원근 이미지와 상관시키는 것을 이용하여 자동으로 결정될 수 있거나 3D 깊이 지도로부터 계산될 수 있다.

스테레오 상관이 또한 부가적인 좌표 z를 자동으로 발생시키기 위해 이용될 수 있는데, 이 좌표는 법선을 따라 디스플레이 스크린까지 방향지정되며 음향 이미지의 깊이에 대응한다. 상기 z 좌표는 정규화될 수 있는데, 이는 1이 시청 로케이션에 직접 있으며, 0이 상기 디스플레이 스크린 평면 상에나 나타나고, 0 미만이 상기 평면 뒤의 로케이션을 나타내기 때문이다. 재생시에, 부가적인 깊이 좌표가 상기 음향 시각자료들과 조합해서 부가적인 실감 오디오 효과들을 합성하기 위해 이용될 수 있다.

이행 메커니즘들 - 하드웨어 개관

일 실시예에 따르면, 본 명세서에 설명된 기술들은 하나 이상의 특수 목적 계산 디바이스들에 의해 이행된다. 상기 특수 목적 계산 디바이스들은 상기 기술들을 실행하기 위해 배선될 수 있거나, 상기 기술들을 실행하기 위해 지속적으로 프로그래밍되는 이를테면 하나 이상의 주문형 반도체들(ASICs) 또는 필드 프로그래밍가능한 게이트 어레이들(FPGAs)인 디지털 전자 디바이스들을 포함할 수 있거나, 펌웨어, 메모리, 다른 저장소, 또는 이들의 조합 내에 지시들을 프로그래밍함으로써 상기 기술들을 실행하도록 프로그래밍된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수 있다. 이러한 특수 목적 계산 디바이스들은 또한 주문형 배선 로직, ASICs 또는 FPGAs을 상기 기술들을 달성하기 위한 주문형 프로그램과 조합할 수 있다. 상기 특수 목적 계산 디바이스들은 데스트톱 컴퓨터 시스템들, 휴대용 컴퓨터 시스템들, 핸드헬드 디바이스들, 네트워킹 디바이스들, 또는 상기 기술들을 이행하기 위한 배선 및/또는 프로그램 로직을 포함하는 임의의 다른 디바이스일 수 있다. 상기 기술들은 하드웨어 소자 및 소프트웨어의 임의의 조합으로 또는 계산 디바이스 또는 데이터 처리 시스템에 의해 실행되는 지시들을 위한 임의의 특별한 소스로 제한되지 않는다.

본 명세서에 이용된 용어 "저장 매체"는 기계를 특정 방식으로 작동하게 하는 지시들 및/또는 데이터를 저장하는 임의의 매체를 가리킨다. 이는 비-일시적이다. 이러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는 예를 들면, 광 또는 자기 디스크들을 포함한다. 휘발성 매체는 동적 메모리를 포함한다. 저장 매체의 흔한 형태들은 예를 들면, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광 데이터 저장 매체, 홀 패턴을 갖는 임의의 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.

저장 매체는 송신 매체와 구별되나 이와 함께 이용될 수 있다. 송신 매체는 저장 매체 사이에서 정보를 전송하는데 관여한다. 예를 들면, 송신 매체는 동축 케이블들, 구리선 및 광섬유를 포함한다. 송신 매체는 또한 음파 또는 광파, 이를테면 무선 및 적외선 데이터 통신 동안에 생성된 것의 형태를 취할 수 있다.

등가물, 확장물, 대안예 및 기타

위 명세서에서, 본 발명의 가능한 실시예들이 구현마다 변할 수 있는 다수의 특정 세부사항들을 참조해서 설명되었다. 따라서, 무엇이 본 발명인지에 대한, 그리고 본 발명이라고 출원인들에 의해 의도되는 것에 대한 유일한 그리고 배타적인 표시자는 본 출원으로부터 나오는 청구항들이 나타내는 특정 형태의 그러한 청구항들의 세트로서, 임의의 후속적인 정정을 포함한다. 그러한 청구들에 포함된 용어들에 대해 본 명세서에 분명히 나타난 임의의 규정들이 청구항들에서 이용된 그러한 용어들의 의미를 통제할 것이다. 따라서, 청구항에서 분명히 인용되지 않은 어떠한 제한, 요소, 특성, 특색, 이점 또는 속성도 임의의 방식으로 이 청구항의 범위를 제한해서는 안 된다. 본 명세서 및 도면들은 따라서 제한적이라기 보다는 예시적인 의미로 여겨져야 한다. 예를 들면은 "즉"과는 상이한, "예를 위해"(망라적이지 않음)를 의미한다는 것이 명확함을 위해 더 이해되어야 한다.

부가적으로, 위 설명에서, 다수의 특정 세부사항들, 이를테면 특정 구성요소들, 디바이스들, 방법들 등의 예들이 본 발명의 일 실시예들의 철저한 이해를 제공하기 위해 나타난다. 그러나, 이러한 특정 세부사항들이 본 발명의 일 실시예들을 실시하기 위해 채용될 필요가 없다는 것이 당업자에게 분명할 것이다. 그밖의 예들에서, 잘 알려진 물질들 또는 방법들이 본 발명의 일 실시예들을 불필요하게 모호하게 만드는 것을 회피하기 위해 상세히 설명되지 않았다.

102: 전방 왼쪽 스피커 104: 전방 오른쪽 스피커
108: 저 주파수 스피커 110: 후방 왼쪽 스피커
112: 후방 오른쪽 스피커 200: 시스템
202: 비디오 디스플레이 디바이스 204: 비디오 스크린
304, 306: 오디오 트랜스듀서
402, 502, 620, 660: 디바이스 666: 왼쪽 전방 확성기
668: 오른쪽 전방 확성기

Claims (3)

1. 음향 재생을 위한 방법에 있어서:
   오디오 신호를 수신하는 단계;
   상기 오디오 신호의 지각 근원(perceptual origin)을 위한 로케이션(location)을 결정하는 단계로서, 상기 지각 근원을 위한 로케이션은 이미지와 연관되며 상기 이미지의 개별 장면의 오디오 이미지에 기초하여 결정되는, 상기 로케이션을 결정하는 단계;
   상기 지각 근원의 제 1 방향 위치에 대응하는 오디오 트랜스듀서들의 열을 선택하는 단계로서, 상기 열은 다수 행의 오디오 트랜스듀서들로부터 선택된 적어도 두 개의 오디오 트랜스듀서들을 포함하는, 상기 오디오 트랜스듀서의 열의 선택 단계;
   상기 열의 상기 적어도 두 개의 오디오 트랜스듀서들을 위한 가중 팩터들을 결정하는 단계로서, 상기 가중 팩터들은 상기 지각 근원의 제 2 방향 위치에 대응하는, 상기 가중 팩터 결정 단계; 및
   상기 가중 팩터들을 이용하여 상기 열에 의해 가청 신호를 제공하는 단계를 포함하고,
   상기 오디오 신호의 지각 근원을 위한 로케이션은 3차원 위치인, 음향 재생 방법.
2. 음향 재생을 위한 방법에 있어서:
   메타데이터를 수신하는 단계로서, 상기 메타데이터는 오디오 스템(audio stem)의 지각 근원을 위한 3차원 로케이션을 포함하고, 지각 근원을 위한 상기 3차원 로케이션은 이미지와 연관되며 상기 이미지의 개별 장면의 오디오 이미지에 기초하여 결정되는, 상기 메타데이터 수신 단계;
   상기 로케이션의 제 1 방향 위치에 가장 가까운 오디오 트랜스듀서들의 제 1 열을 선택하는 단계로서, 상기 제 1 열은 다수 행의 오디오 트랜스듀서들로부터 선택된 적어도 두 개의 오디오 트랜스듀서들을 포함하는, 상기 오디오 트랜스듀서의 제 1 열 선택 단계;
   상기 제 1 열의 상기 적어도 두 개의 오디오 트랜스듀서들을 위한 가중 팩터들을 결정하는 단계로서, 상기 가중 팩터들은 상기 로케이션의 제 2 방향 위치와 상관되는, 상기 가중 팩터 결정 단계; 및
   상기 가중 팩터들을 이용하여 상기 제 1 열에 의해 상기 오디오 스템을 제공하는 단계를 포함하는, 음향 재생 방법.
3. 제 2 항에 있어서,
   제 2 메타데이터를 수신하는 단계로서, 상기 제 2 메타데이터는 제 2 오디오 스템의 제 2의 3차원 로케이션을 포함하는, 상기 제 2 메타데이터 수신 단계;
   상기 제 2의 로케이션의 제 1 방향 위치에 가장 가까운 오디오 트랜스듀서들의 제 2 열을 선택하는 단계;
   제 2 가중 팩터들을 결정하는 단계로서, 상기 제 2 가중 팩터들은 상기 제 2 로케이션의 제 2 방향 위치와 상관되는, 상기 제 2 가중 팩터 결정 단계; 및
   상기 제 2 가중 팩터들을 이용하여 상기 제 2 열에 의해 상기 제 2 오디오 스템을 제공하는 단계를 추가로 포함하고,
   상기 제 2 열은 상기 제 1 열로부터 떨어져 배치되는, 음향 재생 방법.

Images