KR20230088693A - 왼쪽 귀와 오른쪽 귀 사이의 멀티플 차수 hrtf를 통한 사운드 재생 - Google Patents
왼쪽 귀와 오른쪽 귀 사이의 멀티플 차수 hrtf를 통한 사운드 재생 Download PDFInfo
- Publication number
- KR20230088693A KR20230088693A KR1020237011525A KR20237011525A KR20230088693A KR 20230088693 A KR20230088693 A KR 20230088693A KR 1020237011525 A KR1020237011525 A KR 1020237011525A KR 20237011525 A KR20237011525 A KR 20237011525A KR 20230088693 A KR20230088693 A KR 20230088693A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- hrtf
- ear
- order
- head
- Prior art date
Links
- 210000005069 ears Anatomy 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 21
- 238000012935 Averaging Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 6
- 238000012546 transfer Methods 0.000 claims abstract description 6
- 230000004807 localization Effects 0.000 abstract description 10
- 238000013459 approach Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000007654 immersion Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013481 data capture Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
공간에서 사운드 소스를 찾기 위해 소위 HRTF(Head Related Transfer Functions)가 일반적으로 적용된다. 일반적으로 수백 명의 개인에 대한 HRFR(Head Related Frequency Responses)을 평균하여 각 위치에 대한 평균 HRFR을 생성한다. 평균 HRFR 데이터는 녹음 및 재생 시 오디오 소스의 위치 코딩에 사용된다. 본 발명은 새로운 시간 영역 집중 접근 방식을 도입하는 새로운 방식으로 현지화 프로세스를 세분화하여 위치 코딩을 해결한다. 이러한 접근법은 본 발명에 따라 멀티플 차수 HRTF라 불린다. 이 접근 방식은 개인 간 평균화를 허용하고 시간 영역 코딩을 통해 헤드폰을 통해 청취자의 머리 밖에 명확하게 위치하는 사운드 소스의 보다 안정적인 위치 파악을 제공한다. 또한 코딩된 위치 정보를 스테레오 스피커 쌍의 직접 사운드에 임베딩하여 두 개의 스테레오 스피커만 사용하여 청취실 주변에 가상 서라운드 사운드 소스를 생성하는 것도 가능하다.
Description
오디오 산업의 오랜 목표는 녹음되고 이후에 재생되는 사운드에 대한 청취자의 참여 및 몰입도를 높이는 것이었다. 이 탐구는 Alan Blumlein이 스테레오를 발명한 1931년에 이미 매우 활발했다. 수년에 걸쳐 음질과 그에 따른 몰입도는 점차 향상되었다. 이전에는 다양한 형태의 서라운드 사운드가 존재했지만 70년대에 Dolby는 그 이름에도 불구하고 상업적으로 성공한 최초의 서라운드 사운드 형식인 Dolby Stereo를 도입했다. 서라운드 사운드는 이전보다 더 높은 수준의 몰입도를 제공했다. 최근 몇 년 동안 Dolby Atmos 및 Sony 360과 같은 객체 기반 오디오 형식이 등장하여 몰입도를 더욱 높였다.
모든 서라운드 형식과 관련된 주요 과제 중 하나는 서라운드 사운드 필드의 재생이다. 영화관 주변에 수백 개의 스피커가 있는 Dolby Atmos 상업 극장은 매우 인상적으로 들릴 수 있지만 개인 가정에서 그러한 설정을 복제하는 것은 실용적이지 않다. 업계는 또한 헤드폰을 통해 서라운드 사운드 필드의 실감나는 복제를 만들기 위해 노력해 왔다. 상당한 연구 노력에도 불구하고 현재의 기술은 헤드폰을 사용하여 청취자의 머리 밖에 있는 것으로 인식되는 사운드 필드를 생성하지 못하고 있다. 사운드는 일반적으로 의도한 대로 청취자를 둘러싸지 않고 대부분 머리 내부에 있는 것으로 느껴진다. 게다가, 청취자의 머리 밖에 있는 작은 양의 소리는 주로 청취자의 귀 바로 왼쪽과 오른쪽 또는 약간 뒤에 위치한다. 분명히 매우 바람직한 안정적인 전방 반구 위치를 제공하는 것은 불가능하다.
공간에서 사운드 소스를 찾기 위해 소위 HRTF(Head Related Transfer Functions)가 일반적으로 적용된다. 영화, 비디오 게임 등을 위해 제작된 서라운드 사운드와 많은 스테레오 녹음에는 사운드의 HRTF 코딩이 포함되어 있다. 위치의 HRTF 코딩은 서라운드 사운드 및 스테레오 녹음 모두에 존재하며 라우드스피커(loudspeaker) 및 헤드폰 재생 모두에 적합하다. 헤드폰용 Dolby Atmos와 같은 여러 재생 알고리즘도 HRTF 코딩을 사용하여 소리를 찾는다.
수백 명의 테스트 대상의 측정값이 포함된 여러 HRTF 데이터베이스가 연구 커뮤니티에서 웹에 게시되었으며 다운로드할 수 있다. 데이터베이스에는 일반적으로 각 테스트 대상 주변의 여러 위치와 관련된 주파수 응답인 HRFR(Head Related Frequency Response)이 포함되어 있다. 일부 데이터베이스에는 HRIR(Head Related Impulse Response)라는 관련 시간 도메인 응답도 포함되어 있다.
일반적으로 수백 명의 개인에 대한 HRFR 응답은 각 위치에 대한 평균 HRFR을 생성하기 위해 평균화된다. 평균 HRFR 데이터는 녹음 및 재생 시 오디오 소스의 위치 코딩에 사용된다.
앞서 논의한 바와 같이 이러한 유형의 평균 HRFR 코딩은 헤드폰을 통해 실감나는 결과를 생성하지 않으며 방 전체에 여러 스피커가 분산되어 있어야 한다. 많은 테스트 대상에 대한 측정의 평균화에도 불구하고 인식된 위치는 개인마다 크게 달라진다.
그러나 각 청취자에 대해 개별적으로 측정된 HRIR을 사용하여 성공적인 결과를 얻을 수 있다. 일반 FIR 필터를 사용하여 개별 HRIR로 재생 자료를 컨볼루션하면 헤드폰을 통해 서라운드 사운드에 완전히 사실적인 몰입도를 만들 수 있지만 재생 컨볼루션 중에 개인 HRIR이 사용되는 사람에게만 해당된다. 녹음을 들을 모든 사람을 위해 개별 HRIR 데이터를 생성하는 것은 확실히 불가능하다. 개인이 제공한 개인적인 물리적 자산에 대한 정보로부터 일반적으로 사용되는 평균 HRFR 데이터를 커스터마이징 하려는 여러 시도가 있었지만 어떤 시도도 돌파구를 제공하지 못했다.
HRIR을 사용하면 FIR 필터의 지연 시간도 문제가 된다. 좋은 결과를 얻으려면 HRIR이 다소 길어야 하며 도입된 지연 시간은 상당한 지연 시간을 허용할 수 없는 가상 현실, 게임 및 기타 유사한 응용 프로그램에서 상당한 문제를 야기할 것이다.
HRFR 평균화와 같은 성공적인 직선 평균화 접근 방식은 시간 영역에서도 불가능하다. 도 1은 시간 영역 HRIR 평균화의 어려움을 도시한다. 도 1의 트레이스(trace) 1, 2 및 3은 세 가지 다른 테스트 대상의 HRIR 데이터를 보여준다. 서로 다른 물리적 크기 및 관련 음파 이동 시간으로 인해 HRIR 데이터의 두 번째 범프(bump)는 트레이스의 왼쪽에 더 큰 첫 번째 도착과 관련하여 다른 시점에서 발생한다. 트레이스 4는 1, 2, 3의 평균을 나타낸다. 분명히 이것은 세 명의 물리적으로 다른 테스트 대상의 좋은 평균이 아니다. 트레이스 2는 이 예에서 개인 크기 사이의 최상의 평균이지만 트레이스 4는 트레이스 2처럼 전혀 보이지 않는다. 트레이스 1-3에 있는 세 개의 개별 범프는 시간이 지남에 따라 얼룩졌다. 평균 시점인 트레이스 2에 명확한 파동 선단이 도달하는 대신에 파동 선단이 원하는 결과가 아닌 얼룩지고 억제되었다.
본 발명은 새로운 시간 영역 집중 접근 방식을 도입하는 새로운 방식으로 현지화 프로세스를 세분화하여 위치 코딩을 해결한다. 이 접근 방식을 멀티플 차수 HRTF(head related transfer functions)라고 한다. 이 접근 방식은 개인 간 평균화를 허용하고 시간 영역 코딩을 사용하여 원하는 경우 헤드폰을 통해 청취자의 머리 외부와 앞에 명확하게 배치된 오디오 소스의 보다 안정적인 현지화를 제공한다. 또한 코딩된 위치 정보를 스테레오 스피커 쌍의 직접 사운드에 임베딩하여 두 개의 스테레오 스피커만 사용하여 청취실 주변에 가상 서라운드 사운드 소스를 생성하는 것도 가능하다.
본 발명은 사운드 재생 방법에 관한 것으로, 상기 방법은 멀티플 차수 HRTF(head related transfer functions)를 이용한 위치 코딩을 포함하며, 상기 방법은 왼쪽 귀에 대한 적어도 제1 차 HRTF, 왼쪽 귀에서 오른쪽 귀로의 제2 차 HRTF, 및 동시에 오른쪽 귀로의 제1 차 HRTF 및 오른쪽 귀에서 왼쪽 귀로의 제2 차 HRTF를 사용한 사운드 재생을 포함한다. 위와 관련하여 "멀티플 차수"는 제2 차, 제3 차 또는 모든 수준의 차수를 의미할 수 있음을 언급해야 한다. 이와 관련하여 일 실시예에 따르면, 방법은 오른쪽 귀에서 왼쪽 귀로 가는 것과 동일한 방식으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 제3 차 HRTF, 바람직하게는 오른쪽 귀에서 왼쪽 귀로 가는 것과 같은 방식으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 제4 차 HRTF를 포함한다.
또한, 본 발명에 따른 개념은 도면과 관련하여, 특히 도 2와 관련하여 아래에서 추가로 설명된다.
또한, 본 발명과 관련하여 여러/다수의 HRTF를 사용하는 공지된 방법이 많이 있음을 언급해야 한다. 예를 들면 US2020/0037097에 개시된 바와 같이, 그러나, 이는 본 발명에 의해 개시되고 제공되는 것과 동일한 개념이 아니다. 다시, 본 발명은 적어도 왼쪽 귀로의 제1 차 HRTF과 이어 왼쪽 귀에서 오른쪽 귀까지 제2 차 HRTF, 동시에 오른쪽 귀로의 제1 차 HRTF과 이어 오른쪽 귀에서 왼쪽 귀까지 제2 차 HRTF를 사용한 사운드 재생을 포함하는 방법을 제공한다. 이는 많이 알려진 방법에서 활용되는 여러/멀티플 HRTF를 사용하는 것과 혼동되어서는 안 된다.
멀티플 차수 HRTF에 대한 자세한 설명
인간의 청각이 소리의 시간 영역 속성에 극도로 민감하다는 것은 심리 음향 연구에서 잘 알려져 있다. 나무와 금속의 음파 차이는 재료를 두드린 후 처음 몇 밀리초 동안 들린다. 바이올린과 트럼펫 음의 시작 파형은 상당히 다르며 그 차이를 쉽게 들을 수 있다. 그러나 시작하지 않고 각 악기에서 지속되는 음을 들으면 둘을 구별하기가 어렵다.
같은 방식으로 사운드 소스 위치는 HRFR뿐만 아니라 시간 영역 정보에서도 해석된다. 이전의 로컬라이제이션 솔루션은 논의된 어려움으로 인해 시간 도메인 정보를 무시하고 평균 HRFR 데이터에 집중했다. 결과는 실감이 더 적어졌다. 개별 HRIR 데이터는 시간 영역 정보를 캡처하지만 한 번에 한 개인에 대해서만 해당 개인에게 좋은 서라운드 사운드 필드 느낌을 제공한다.
도 2는 사운드 소스에서 청취자의 머리 주변으로 이어지는 사운드 경로를 도시한다. 1번은 청취자, 2번은 사운드 소스, 3~8번은 머리 주변의 시각화된 음파 경로이다. 도 2는 하나의 사운드 소스 위치만을 보여주지만 3차원 공간의 모든 위치에는 상상할 수 있는 유사한 사운드 경로 세트가 연결되어 있다. 도 2는 다른 사운드 소스 위치에 대한 일반 원칙과 경로를 쉽게 추정할 수 있어야 함을 보여준다.
각 사운드 경로 3에서 8은 시간 지연, 주파수 응답 및 관련 감쇠를 갖는다. 경로 3에는 사운드 소스 2에서 오른쪽 귀까지의 소리의 이동 시간인 시간 지연이 있지만, 이 특별한 경우에는 청취자에게 소리가 처음 도착하기 때문에 청취자에게 도달하기 위해 소리 이동 시간과 평행한 지연이 필요하지 않으므로 지연이 0이다. 소리가 감쇠를 일으킬 수 있는 장애물 없이 귀로 직접 이동하기 때문에 이 특정 1차 경로의 감쇠도 0이다. 주파수 응답은 일반적으로 오른쪽 귀의 소스 위치에 대해 잘 알려진 평균 HRFR이다. 그러나 음파는 오른쪽 귀에 도달해도 멈추지 않는다. 머리 주위의 경로 6을 따라 왼쪽 귀까지 계속된다. 이 경로는 사운드 이동 시간, 머리 등에 의한 더 높은 주파수의 음영으로 인한 주파수 응답, 및 머리 주위에서 다른 쪽 귀로의 이동으로 인한 감쇠로 인한 청각 간 시간 지연이 있다. 이 제2 웨이브 경로는 제2 차 HRTF이다. 음파가 왼쪽 귀에 도달하면 다시 경로 8을 따라 다시 오른쪽 귀로 이동하며 이 경로에는 다시 한 번 시간 지연, 주파수 응답 및 관련 감쇠가 있다. 이것이 3차 HRTF이다. 명확한 이유로 도 2는 고차 HRTF를 도시하지 않지만, 이제 원칙이 명확해야 하며 머리 주위의 경로를 계속 진행하여 고차 HRTF를 쉽게 추정할 수 있다.
귀 사이의 경로와 관련된 시간 지연은 귀 사이의 물리적 거리와 200μs ~ 1ms 정도, 일반적으로 약 600μs에 직접적으로 관련된다. 음파가 한쪽 귀에서 다른 쪽 귀로 이동할 때 머리에서 발생하는 주파수 응답 변경은 일반적으로 400Hz ~ 2.5kHz에서 시작하여 20kHz 이상에서 사람이 들을 수 있는 한계까지 계속되는 고 주파수 스펙트럼의 다운 쉘빙(shelving)이다. 사람의 머리와 어깨의 물리적 특성으로 인해 특정 경로와 관련된 몇 가지 딥(dip) 및 피크(peak)도 존재한다. 감쇠는 일반적으로 1차 경로에서 0~6dB, 2차 경로에서 3~12dB, 3차 경로에서 6~24dB, 4차 경로에서 9~48dB로 다양하다. 각 경로와 관련된 정확한 시간 지연 및 감쇠를 얻는 것과 관련된 방법론 및 기술은 표준 방법을 사용하는 기술에 숙련된 사람에게 간단해야 하므로 더 이상 논의되지 않는다.
관련된 주파수 응답은 쉽게 사용할 수 있는 HRTF 데이터를 통해 결정될 수 있다. 도 3은 도 2의 사운드 위치 2, 사운드 경로 6과 관련된 주파수(Hz)에 대한 크기(dB)로서 주파수 응답을 보여준다.
음향 측정 결과 음파가 설명된 대로 물체 주위를 여러 번 전파하는 것으로 나타났으며, 제2, 제3 및 제4 차 HRTF가 추가될 때 매우 잘 들리고 분명하다. 사운드가 더 자연스럽게 인식되고 사운드 소스의 현지화가 크게 향상된다. 현지화와 자연스러움은 제4 차까지 추가될수록 좋아지고 그 이후에는 개선이 눈에 띄지 않게 된다. 물론 HRTF의 모든 차수는 두 번째부터 상상할 수 있는 만큼 수백 또는 수천까지 사용할 수 있지만, 위에서 언급한 것처럼 네 번째 이상의 차수는 작은 이점만 제공한다.
사운드 소스에서 초기에 왼쪽 귀까지의 경로 4로 시작하는 사운드 경로에는 경로 3에서 시작하여 위에서 설명한 경로와 같이 각각과 관련된 시간 지연, 주파수 응답 및 감쇠가 있다. 그러나 경로 3과 마찬가지로 4를 따르는 지연은 0이 아니며, 두 귀간 시간 차이로 인해 지연된다. 발생하는 주파수 변경은 일반적으로 왼쪽 귀의 사운드 소스 위치에 대해 잘 알려진 평균 HRFR이다. 경로 4를 따른 감쇠는 일반적으로 예제에 표시된 대로 사운드 소스가 있는 경우 4.5dB이다. 다음의 2차 및 3차 경로 5와 이후 7에도 연관된 시간 지연, 주파수 응답 및 감쇠를 갖는다.
머리 앞쪽을 가로질러 한 쪽 귀에서 다른 쪽 귀로 가는 소리의 경로는 머리 뒤의 경로보다 약간 더 길다. 또한 머리 뒤의 사운드 경로와 약간 다른 감쇠 및 주파수 변경을 생성한다. 이러한 점을 고려할 때 머리와 귀는 서로 다른 사운드 소스 위치에서 고유한 멀티플 차수 HRTF 사운드 경로 세트를 생성할 수 있는 탁월한 현지화 장치임이 분명하다. 결과적으로 멀티플 차수 HRTF는 머리 앞과 뒤 모두에서 사운드 소스의 안정적인 현지화를 가능하게 한다.
멀티플 차수 HRTF가 주파수 응답 변경을 분리함에 따라 테스트 대상에 대한 각 경로 평균에 대한 감쇠 및 시간 지연이 간단해진다. 많은 개인에 대한 각 경로에 대한 주파수 응답은 친숙한 방법을 사용하여 쉽게 평균화할 수 있으며 감쇠 및 지연은 각 경로에 대한 테스트 대상 간의 감쇠 및 이동 거리의 평균이 된다. 많은 개인의 속성을 평균화하는 것은 모든 청취자에게 안정적이고 유사한 결과를 달성하는데 중요하다.
FIR 필터와 관련된 지연 시간을 제거하는 표준 IIR 필터를 사용하여 각 경로와 관련된 주파수 변경을 쉽게 구현할 수 있다. 따라서 멀티플 차수 HRTF는 지연 시간을 도입하지 않고 작동하므로 가상 현실, 게임 및 지연 시간이 없거나 매우 낮은 지연 시간이 필요한 기타 응용 프로그램에 적합한 접근 방식이다. 도 4에는 일반적인 멀티플 차수 HRTF DSP 구현의 블록 다이어그램이 포함되어 있다. 하나의 사운드 소스 위치에 대한 4차 구현이 표시된다. 물론 여러 다른 방법으로 멀티플 차수 HRTF를 구현할 수 있다는 것은 가능하고 명백하다. 도 4는 가능한 많은 토폴로지 중 하나의 예를 보여준다. 블록 11, 21, 31, 41, 51, 61, 71 및 81은 4차 구현에서 각 귀에 대한 4개의 경로의 각 세트와 관련된 지연을 적용하는 지연 블록이다. 블록 12, 22, 32, 42, 52, 62, 72 및 82는 각 경로와 관련된 주파수 변경을 적용한다. 블록 13, 23, 33, 43, 53, 63, 73, 83은 각 경로에 존재하는 감쇠를 적용한 이득 블록이다. 마지막으로 100은 왼쪽 귀에 대한 4개 경로의 모든 출력을 단순히 합산하는 가산기 블록이고 200은 오른쪽 귀에 대한 가산기이다. 100 및 200의 출력은 각각의 왼쪽 및 오른쪽 채널로 전송된다.
멀티플 차수 HRTF를 활용하는 애플리케이션은 스테레오 및 멀티플 채널 입력 신호를 모두 가질 수 있다. 멀티플 차수 HRTF로 여러 개의 가상 사운드 소스를 생성할 수 있다. 입력 신호가 일반적인 5채널 서라운드 사운드 형식인 경우 멀티플 차수 HRTF를 사용하여 5채널 서라운드 사운드 설정의 일반적인 위치(예: 전면 왼쪽 및 오른쪽, 중앙 및 서라운드 왼쪽 및 오른쪽)에 위치한 5개의 가상 스피커를 생성할 수 있다. 개별 입력 채널은 해당 가상 스피커에 의해 재생된다. 마찬가지로 더 많은 서라운드 스피커와 추가 천장 스피커가 포함된 최신 서라운드 사운드 형식에 대해 더 많은 가상 스피커를 생성할 수 있다. 스테레오 입력 신호로 일반 사운드 추출 및 스티어링 프로세스를 사용하여 개별 피드를 가상 스피커로 추출할 수 있다. 이 경우 스테레오 추출 및 스티어링 프로세스는 일반 서라운드 사운드 제품과 동일하다.
멀티플 차수 HRTF로 생성된 가상 사운드 소스는 헤드폰과 스피커 모두에서 작동한다. 헤드폰을 사용하면 개별적으로 측정된 HRIR을 사용하여 경험에 접근하는 서라운드 사운드 필드를 생성할 수 있다. 스피커에서 가상 센터, 서라운드 및 높이 스피커를 생성하는 한 쌍의 스테레오 스피커에서 나오는 직접 사운드로 가상 스피커를 코딩할 수 있다. 멀티플 차수 HRTF 가상 스피커를 사용하면 다수의 스피커가 있는 설정과 유사한 것으로 인식되는 서라운드 사운드 필드를 생성할 수 있다.
멀티플 차수 HRTF 가상 사운드 소스를 사용한 재생은 물론 현재의 스테레오 또는 서라운드 형식과 그 사운드 소스 위치에 제한되지 않는다. 위의 예는 가능한 멀티플 차수 HRTF 응용 프로그램을 보여주고 있으며 물론 원하는 위치에 가상 스피커를 얼마든지 만들 수 있다.
멀티플 차수 HRTF는 사운드 녹음/생성에서 재생까지 모든 단계에서 적용될 수 있으며 재생 단계에 국한되지 않는다. 나중에 헤드폰, 일반 스테레오 또는 멀티플 채널 재생 시스템에서 재생할 수 있는 멀티플 차수 HRTF를 사용하여 소리에 위치를 적용하는 디자인 및/또는 프로덕션에서 멀티플 차수 HRTF를 사용할 수 있다. 멀티플 차수 HRTF는 예를 들어 게임의 생성된 사운드 필드 내에서 사운드를 찾기 위해 게임 엔진 내에서 사용될 수 있다. 또 다른 예는 통합 또는 플러그인으로 DAW 소프트웨어 내에서 멀티플 차수 HRTF를 사용하여 사운드 프로덕션의 사운드 필드 내에서 사운드를 찾는 것이다. 즉, 멀티플 차수 HRTF 알고리즘 및 사운드 처리는 동일한 최종 결과를 제공하는 모든 단계에서 적용될 수 있다.
아래에 본 발명의 일부 특정 실시예가 제시된다.
본 발명의 구체적인 일 실시예에 따르면, 방법은 오른쪽 귀에서 왼쪽 귀로 가는 것과 동일한 방식으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 3차 HRTF, 바람직하게는 오른쪽 귀에서 왼쪽 귀까지 같은 방법으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 4차 HRTF를 포함한다.
또한, 다른 실시예에 따르면, 방법은 코딩된 위치 정보를 사운드에 임베딩함으로써 하나 이상의 가상 사운드 소스를 생성하는 단계를 포함한다.
또 다른 실시예에 따르면, 2차 이상의 각각의 헤드 관련 전달 함수(HRTF)는 파라미터 시간 지연, 주파수 응답 및 감쇠를 포함한다.
또한, 다른 실시예에 따르면, 방법은 상이한 사운드 경로에 차이를 고려한다, 예를 들어 한쪽 귀에서 머리 앞쪽의 다른 쪽 귀까지의 사운드 경로와 머리 뒤쪽의 사운드 경로에 대한 차이를 고려한다. 이와 관련하여 한 귀에서 다른 귀로의 사운드 경로는 머리 주위의 어느 경로가 될 수 있다는 점에 유의해야 한다. 따라서, 본 발명에 따른 방법은 여러 사운드 경로를 포함할 있다.
더욱이, 또 다른 실시예에 따르면, 방법은 평균화를 포함한다. 상술한 바와 같이, 본 발명에 따르면 개인 간 평균화가 가능하다. 시간 도메인 코딩을 사용하면 원하는 경우 청취자의 머리 외부와 앞에 명확하게 위치하는 사운드 소스의 보다 안정적인 현지화가 제공된다. 이에 기초하여, 본 발명의 일 실시예에 따르면, 방법은 시간 영역에 집중되는 평균화를 포함한다. 또한, 본 발명의 일 실시예에 따르면, 방법은 서로 독립적으로 매개변수 시간 지연, 주파수 응답 및 감쇠의 평균화를 포함한다. 이것은 오늘날 사용되는 알려진 방법으로 수행된 평균화와 비교할 때 또 다른 차이이다.
본 발명은 또한 상이한 유형의 시스템, 하드웨어 및 소프트웨어 구현에 관한 것이다.
일 실시예에 따르면, 본 발명은 본 발명에 따른 방법을 사용하도록 구성된 헤드폰 재생 시스템에 관한 것이다.
또한, 본 발명은 본 발명에 따른 방법을 사용하도록 구성된 스피커 재생 시스템에 관한 것이다.
더욱이, 본 발명은 또한 한 쌍의 스테레오 스피커를 포함하는 재생 시스템에 관한 것으로, 시스템은 코딩된 위치 정보를 한 쌍의 스테레오 스피커의 다이렉트 사운드에 임베딩함으로써 청취실 주변에 가상 서라운드 사운드 소스를 생성하기 위해, 본 발명에 따른 방법을 사용하도록 구성된다.
또한, 상기 설명으로부터 명백한 바와 같이, 본 발명에 따라 다른 적용이 가능하다.
그러한 일 실시예에 따르면, 본 발명은 본 발명에 따른 방법을 사용하도록 구성된 게임 엔진 시스템에 관한 것이다. 다른 실시예에 따르면, 본 발명은 본 발명에 따른 방법을 사용하도록 구성된 디지털 오디오 워크스테이션(DAW) 소프트웨어 시스템을 제공한다.
Claims (13)
- 사운드 재생 방법으로서, 상기 방법은 멀티플 차수 헤드 관련 전달 함수 (head related transfer functions, HRTF)를 이용한 위치 코딩을 포함하며, 상기 방법은 왼쪽 귀로의 적어도 제1 차 HRTF 및 왼쪽 귀에서 오른쪽 귀로의 제2 차 HRTF, 및 동시에 오른쪽 귀로의 제1 차 HRTF 및 오른쪽 귀에서 왼쪽 귀로의 제2 차 HRTF를 사용한 사운드 재생을 포함하는 방법.
- 제1항에 있어서, 상기 방법은 오른쪽 귀에서 왼쪽 귀로 가는 것과 동일한 방식으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 제3 차 HRTF, 바람직하게는 오른쪽 귀에서 왼쪽 귀로 가는 것과 동일한 방식으로 왼쪽 귀에서 오른쪽 귀로 가는 적어도 제4 차 HRTF를 포함하는, 방법.
- 제1항 또는 제2항에 있어서, 상기 방법은 코딩된 위치 정보를 사운드에 내장함으로써 하나 이상의 가상 사운드 소스를 생성하는 단계를 포함하는, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 제2 차 이상의 각각의 HRTF는 파라미터 시간 지연, 주파수 응답 및 감쇠를 포함하는, 방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방법은 서로 다른 사운드 경로에 대한 차이, 예를 들어 머리 앞의 한쪽 귀에서 다른 쪽 귀로의 사운드 경로와 머리 뒤쪽의 사운드 경로의 차이를 고려하는, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법은 평균화를 포함하는, 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방법은 파라미터 시간 지연, 주파수 응답 및 감쇠를 서로 독립적으로 평균화하는 단계를 포함하는, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 방법은 시간 영역에 집중되는 평균화를 포함하는, 방법.
- 제1항 내지 제8항 중 어느 한 항에 따른 방법을 사용하도록 구성된 헤드폰 재생 시스템.
- 제1항 내지 제8항 중 어느 한 항에 따른 방법을 사용하도록 구성된 스피커 재생 시스템.
- 한 쌍의 스테레오 스피커를 포함하는 재생 시스템으로서, 코딩된 위치 정보를 한 쌍의 스테레오 스피커의 다이렉트 사운드에 임베딩함으로써 청취실 주변에 가상 서라운드 사운드 소스를 생성하기 위해, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 사용하도록 구성된 시스템.
- 제1항 내지 제8항 중 어느 한 항에 따른 방법을 사용하도록 구성된 게임 엔진 시스템.
- 제1항 내지 제8항 중 어느 한 항에 따른 방법을 사용하도록 구성된 디지털 오디오 워크스테이션(digital audio workstation, DAW) 소프트웨어 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE2051210 | 2020-10-19 | ||
SE2051210-9 | 2020-10-19 | ||
PCT/SE2021/051005 WO2022086393A1 (en) | 2020-10-19 | 2021-10-14 | Sound reproduction with multiple order hrtf between left and right ears |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230088693A true KR20230088693A (ko) | 2023-06-20 |
Family
ID=81290862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237011525A KR20230088693A (ko) | 2020-10-19 | 2021-10-14 | 왼쪽 귀와 오른쪽 귀 사이의 멀티플 차수 hrtf를 통한 사운드 재생 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230370797A1 (ko) |
EP (1) | EP4229878A4 (ko) |
JP (1) | JP2023545547A (ko) |
KR (1) | KR20230088693A (ko) |
CN (1) | CN116097664A (ko) |
CA (1) | CA3192986A1 (ko) |
WO (1) | WO2022086393A1 (ko) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994023406A1 (en) * | 1993-04-01 | 1994-10-13 | Atari Games Corporation | Non-contact audio delivery system for a three-dimensional sound presentation |
US6937737B2 (en) * | 2003-10-27 | 2005-08-30 | Britannia Investment Corporation | Multi-channel audio surround sound from front located loudspeakers |
KR100647338B1 (ko) * | 2005-12-01 | 2006-11-23 | 삼성전자주식회사 | 최적 청취 영역 확장 방법 및 그 장치 |
US8619998B2 (en) * | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
WO2009111798A2 (en) * | 2008-03-07 | 2009-09-11 | Sennheiser Electronic Gmbh & Co. Kg | Methods and devices for reproducing surround audio signals |
US9332372B2 (en) * | 2010-06-07 | 2016-05-03 | International Business Machines Corporation | Virtual spatial sound scape |
US8638959B1 (en) * | 2012-10-08 | 2014-01-28 | Loring C. Hall | Reduced acoustic signature loudspeaker (RSL) |
US9226090B1 (en) * | 2014-06-23 | 2015-12-29 | Glen A. Norris | Sound localization for an electronic call |
WO2017197156A1 (en) * | 2016-05-11 | 2017-11-16 | Ossic Corporation | Systems and methods of calibrating earphones |
WO2019055572A1 (en) * | 2017-09-12 | 2019-03-21 | The Regents Of The University Of California | DEVICES AND METHODS FOR BINAURAL SPATIAL PROCESSING AND AUDIO SIGNAL PROJECTION |
US10440495B2 (en) * | 2018-02-06 | 2019-10-08 | Sony Interactive Entertainment Inc. | Virtual localization of sound |
US11617050B2 (en) * | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
-
2021
- 2021-10-14 US US18/029,956 patent/US20230370797A1/en active Pending
- 2021-10-14 CN CN202180061657.7A patent/CN116097664A/zh active Pending
- 2021-10-14 EP EP21883403.4A patent/EP4229878A4/en active Pending
- 2021-10-14 JP JP2023523301A patent/JP2023545547A/ja active Pending
- 2021-10-14 KR KR1020237011525A patent/KR20230088693A/ko active Search and Examination
- 2021-10-14 CA CA3192986A patent/CA3192986A1/en active Pending
- 2021-10-14 WO PCT/SE2021/051005 patent/WO2022086393A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022086393A1 (en) | 2022-04-28 |
EP4229878A4 (en) | 2024-09-25 |
CA3192986A1 (en) | 2022-04-28 |
US20230370797A1 (en) | 2023-11-16 |
EP4229878A1 (en) | 2023-08-23 |
JP2023545547A (ja) | 2023-10-30 |
CN116097664A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100739798B1 (ko) | 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치 | |
JP4364326B2 (ja) | 複数の聴取者用3次元音響再生装置及びその方法 | |
CN113170271B (zh) | 用于处理立体声信号的方法和装置 | |
JP2009141972A (ja) | 擬似立体音響出力をモノラル入力から合成する装置および方法 | |
Gardner | 3D audio and acoustic environment modeling | |
KR100647338B1 (ko) | 최적 청취 영역 확장 방법 및 그 장치 | |
JP2013529017A (ja) | 立体音響の再生方法及び装置 | |
JP4904461B2 (ja) | 音声周波数応答処理システム | |
US20170272889A1 (en) | Sound reproduction system | |
JP2004506395A (ja) | バイノーラル音声録音再生方法およびシステム | |
US9872121B1 (en) | Method and system of processing 5.1-channel signals for stereo replay using binaural corner impulse response | |
US10440495B2 (en) | Virtual localization of sound | |
JP2012129840A (ja) | 音響システム、音響信号処理装置および方法、並びに、プログラム | |
EP2566195B1 (en) | Speaker apparatus | |
KR20230088693A (ko) | 왼쪽 귀와 오른쪽 귀 사이의 멀티플 차수 hrtf를 통한 사운드 재생 | |
EP0959644A2 (en) | Method of modifying a filter for implementing a head-related transfer function | |
JP2002291100A (ja) | オーディオ信号再生方法、及びパッケージメディア | |
KR100275779B1 (ko) | 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법 | |
JP7332745B2 (ja) | 音声処理方法及び音声処理装置 | |
US11470435B2 (en) | Method and device for processing audio signals using 2-channel stereo speaker | |
JP2005328315A (ja) | 音響装置および記録方法 | |
Peppmuller | An Exploration and Analysis of 3D Audio | |
Maher | Single-ended spatial enhancement using a cross-coupled lattice equalizer | |
KR100639814B1 (ko) | 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체 | |
Lee et al. | Reduction of sound localization error for non-individualized HRTF by directional weighting function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |