KR20170013931A

KR20170013931A - 청각-공간-최적화 전달 함수들의 결정 및 사용

Info

Publication number: KR20170013931A
Application number: KR1020167036695A
Authority: KR
Inventors: 칼하인츠 브란덴부르크; 스테판 베르너; 크리스토프 슬라데크체크
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.; 테크니쉐 유니베르시타트 일메나우
Priority date: 2014-05-28
Filing date: 2015-05-15
Publication date: 2017-02-07
Also published as: US10003906B2; CN106576203B; US20170078820A1; KR102008771B1; JP6446068B2; JP2017522771A; EP3149969A1; EP3149969B1; CN106576203A; WO2015180973A1; DE102014210215A1

Abstract

청감실(12)을 위하여 유도되는 청감실을 위한 룸-최적화 전달 함수들(RF)의 결정을 위한, 그리고 공간적 재생에서의 오디오 신호들(24)의 룸-최적화 후-처리의 역할을 하는 장치가 개시된다. 오디오 신호들(24)의 공간적 재생은 알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 상기 룸-최적화 전달 함수들(HF)을 사용하는 바이노럴 근거리 음향 변환기(22)에 의해 오디오 신호들의 공간적 재생이 발생되는 청감실을 위한 룸 최적화 전달 함수들은 그리고 나서 알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 룸 최적화 전달 함수들을 사용하여 모방될 수 있고, 합성되려는 룸은 헤드 관련 전달 함수들(HRTF)을 기초로 하여 모방될 수 있고, 청감실(12)은 상기 룸-최적화 전달 함수들(HF)을 기초로 하여 모방될 수 있다.

Description

청각-공간-최적화 전달 함수들의 결정 및 사용{DETERMINATION AND USE OF AUDITORY-SPACE-OPTIMIZED TRANSFER FUNCTIONS}

본 발명의 실시 예들은 청감실(listening room)을 위한 "룸-최적화 전달 함수들(room-optimized transfer functions)"을 결정하기 위한 장치 및 상응하는 방법들을 사용하여 오디오 신호를 공간적으로 재생하기 위한 장치에 관한 것이다. 바람직한 실시 예들에 따르면, 재생은 예를 들면, 스테레오 헤드셋(stereo headset) 또는 스테레오 인-이어 헤드폰(stereo in-ear headphone)들에 의한 것과 같이, 바이노럴 근거리 음향 변환기(binaural close-range sound transducer)에 의해 발생한다. 또 다른 실시 예들은 두 개의 장치를 포함하는 시스템, 및 언급된 방법들을 실행하기 위한 컴퓨터 프로그램에 관한 것이다.

예를 들면 다중 채널 오디오 신호를 기초로 하여, 공간 청각 장면을 제시할 때 지각 품질은 재생 시스템 및 청감실 또는 실내 음향학(room acoustics) 상의, 프리젠테이션의 콘텐츠의 음향 미적 디자인에 의존한다. 오디오 재생 시스템들을 개발할 대의 주요 목적은 청취자에 의해 타당한 것으로서 추정되는 청각 이벤트들의 생산이다. 이는 예를 들면, 이미지-음향 콘텐츠들을 재생할 때 중요한 역할을 한다. 사용자에 의해 타당한 것으로서 지각되는 콘텐츠들로, 예를 들면 현지화(localizablity), 거리의 지각, 재생의 공간성 및 음향 양상들의 지각과 같은, 다양한 품질 특징들은 기대를 충족시켜야만 한다. 이상적인 경우에, 재생된 상황의 지각은 실내의 실제 상황과 일치한다.

확성기 기반 오디오 재생 시스템들에서, 2-채널 또는 다중 채널 오디오 재료가 청감실에서 재생된다. 이러한 오디오 재료는 완료된 확성기 신호들이 이미 존재하는 채널 기반 혼합물로부터 기원할 수 있다. 게다가, 확성기 재생 신호들은 또한 오브젝트 기반 재생 방법에 의해 발생될 수 있다. 확성기 재생 신호들은 음조 오브젝트(tonal object, 예를 들면 위치, 볼륨 등)의 기술 및 유행하는 확성기 설정의 인지를 기초로 하여 발생된다. 따라서, 확성기들 사이의 일반적으로 연결 축들 상에 위치되는 팬텀(phantom) 음원들이 발생된다. 선택되는 확성기 설정 및 유행하는 청감실의 실내 음향학에 의존하여, 이러한 팬텀 음원들은 상이한 방향들과 거리들로 청취자에 의해 지각될 수 있다. 여기서 실내 음향학은 재생되는 청각 장면의 조화에 대한 결정적인 영향을 갖는다.

그러나, 확성기 신호들을 통한 재생은 매 청취 상황에서 실용적이지 않다. 게다가, 확성기들을 아무데나 설치하는 것은 불가능하다. 그러한 상황들의 예들은 모바일 터미널(mobile terminal)들 상에서의 음악 청취, 변경 룸들의 사용, 나머지들의 수용 또는 음향 학대(acoustic molestation)일 수 있다. 귀에 바로 또는 근접하게 "착용되는", 인-이어들 또는 헤드셋들 같은, 근거리 음향 변환기들은 확성기들을 위한 대안으로서 주로 사용된다.

예를 들면 각각의 측면 또는 각각의 귀를 위한 음향 드라이버가 구비되는 음향 변환기들을 사용하는 고전적인 스테레오 재생은 두 개의 귀 사이의 연결 축 상의 헤드 내에 위치되는 팬텀 음원들을 재생하는 청취자의 지각을 생산한다. 이는 이른바 "인-헤드 국부화(in-head localization)"로서 언급된다. 그러나, 팬텀 음원들의 타당한 효과(외부 효과)의 외부 지각은 발생하지 않는다. 이러한 방법으로 생산되는 팬텀 음원들은 일반적으로 사용자를 위하여 디코딩 가능한 방향 (정보) 또는 예를 들면 청감실 내의 확성기 시스템(예를 들면 2.0 또는 5.1)을 통한 동일한 음향 장면을 재생할 때 존재할 수 있는, 거리 (정보)를 포함하지 않는다.

헤드셋들을 사용하여 재생할 때 인-헤드 국부화를 우회하기 위하여, 바이노럴 합성이 사용된다(어떠한 음향 디자인 및 오디오 재료 내의 혼합물의 손실 없이). 바이노럴 합성에서, 이른바 "외부 귀 전달 함수들"(또는 헤드 관련 전달 함수, HRTF)은 가상 음원들과 관련되며, 이에 따라 이를 재생할 대 오디오 신호들이 필터링되며, 따라서 청각 장면은 공간적으로 표현되거나 또는 공간성이 모방된다. 바이노럴 합성은 바이노럴 특징들이 음원의 방향의 지각의 개발에 결정적으로 응답한다는 사실을 사용하며, 이러한 바이노럴 특징들은 헤드 관련 전달 함수들에서 표현된다. 오디오 신호가 음원의 정의된 방향으로 표현될 때, 이러한 신호는 이러한 방향에 속하는, 왼쪽 또는 오른쪽 귀의 HRTF들을 사용하여 필터링된다. 바이노럴 합성을 사용하여, 따라서 헤드셋을 통하여, 예를 들면 다중 채널 오디오로서 저장되는 것과 같이, 현실적인 서라운드 음향 장면을 재생하는 것이 가능하다. 실제로 확성기 설정을 시뮬레이션하기 위하여, 방향에 구속되는, HRTF 쌍들은 시뮬레이션되려는 각각의 확성기를 위하여 사용된다. 확성기 설정의 방향 및 거리의 타당한 표현을 위하여, 부가적으로 청감실(룸 관련 전달 함수들, HRTRs)의 방향-의존적 음향 전달 함수들이 또한 모방되어야만 한다. 이것들은 그리고 나서 HRTF들과 결합되고 바이노럴 룸 임펄스 응답들(BRICs)을 야기한다. BRIR들은 필터들로서 음향 신호에 적용될 수 있다.

그러나, 최근 연구와 검사들은 오디오 재생의 타당성이 재생 신호들의 물리적으로 정확한 합성과는 별도로, 또한 콘텍스트-의존적 품질 파라미터들에 의해, 그리고 특히, 실내 음향학으로서 간주되는 것과 같이 사용자의 예상들의 수면 상에서 결정적으로 결정된다는 사실을 나타낸다. 따라서, 바이노럴 합성에서의 향상된 접근법을 위한 필요성이 존재한다.

특히 소비자 일치의 기대들의 음향 합성 및 지평선을 만들기 위하여, 근거리 음향 변환기들에 의해 향상된 공간적 재생을 제공하는 것이 존 발명의 목적이다.

본 발명의 목적은 독립 청구항들에 의해 달성된다.

본 발명의 실시 예들은 실내 음향학의 분석을 기초로 하여 청감실을 위한 "룸-최적화 전달 함수들"을 결정하기 위한 (휴대용) 장치를 제공한다. 룸-최적화 전달 함수들은 공간적 재생에서 오디오 신호들의 룸-최적화 후-처리의 역할을 하며, 합성되려는 룸은 헤드 관련 전달 함수들(HRTFs)을 기초로 하여 모방될 수 있으며, 청감실은 룸 최적화 전달 함수들을 기초로 하여 모방될 수 있다. 결합될 때, 또한 바이노럴 룸 돤련 룸 임펄스 응답으로서 언급될 수 있는, 이러한 두 가지 전달 함수의 사용에 의해, 결과는 공간성과 관련하여, 다중 채널 (스테레오) 신호에 의해 미리 결정되는 특징들과 상응하나, 특히 실내 음향학에 의해 기대되는 예상들의 지평선의 고려에 의해 향상되는, 현실적인 음향 서라운드 시뮬레이션이다.

또 다른 실시 예들에 따르면, 본 발령들은 바이노럴 근거리 음향 변환기들에 의해 오디오 신호를 공간적으로 재생하기 위한 또 다른 (휴대용) 장치를 제공하며 공간적 재생은 오디오 콘텐츠들을 재생할 때, 청감실 특성이 근거리 음향 변환기에 의해 방출되는 음향 신호들에 영향을 받도록, 알려진 헤드 관련 전달 함수들을 사용하고 청감실을 위하여 최적화된 전달 함수들을 사용하여 모방된다.

중심 개념과 상응하게, 본 발명은 따라서 다중 채널 스테레오를 재생할 때 인지 효과들의 고려를 위한 전제조건들을 제공한다. 제 1 양상과 상응하게, 각각의 청감실을 위한 룸 최적화 전달 함수들은 예를 들면, 헤드셋에 의해(일반적으로 바니노럴 근거리 음향 변환기에 의해) 재생되려는 청각 장면이 결정된다. 룸 최적화 전달 함수의 결정은 원칙적으로 결정되거나 또는 측정되는 룸 음향학을 기초로 하는 룸-음향 필터의 유도와 상응하며 목적은 실제 룸의 음향 특징들을 합성으로 표현한다. 제 2 단계에서, 청각 장면은 그때 서라운드 음향 시뮬레이션으로서 HRTF들 및 룸 최적화 전달 함수들 모두를 사용하여, 본 발명의 제 2 양상과 상응할 수 있다. 재생할 때, 공간성은 HRTF들에 의해 발생되고, 현재 청감실 상황으로의 공간성의 조정은 룸 최적화 전달 함수들에 의해 달성된다. 바꾸어 말하면, 이는 룸 최적화 전달 함수들이 HRTF들 또는 HRTF 들에 의해 처리되는 신호들을 조정하거나 또는 후-처리하는 것을 의미한다. 결과는 오디오 콘텐츠들을 재생할 때, 다중 채널 오디오 재료에 의해 정의되는, 재생되려는 룸 사이의 차이, 및 청취자가 위치되는 청감실이 감소되는 것이다.

룸 최적화 전달 함수들을 결정하기 위한, 즉 제 1 변형과 상응하게, 룸의 음향 모델을 획득하기 위하여 실내 음향학이 청감실 내의 테스트 거리에 대하여 분석되도록 테스트 음원과 마이크로폰을 사용하는 기술의 측정에 의해 결정하기 위한 상이한 방법들이 존재한다. 제 2 변형과 상응하게, 예를 들면 음성(voice)과 같은, 자연 잡음이 또한 테스트 신호들로서 사용될 수 있다. 제 2 변형은 예를 들면 위에 설명된 기능들이 구현되는 휴대폰 또는 스마트폰과 같은, 마이크로폰을 포함하는 어떠한 전기 터미널 장치가 실내 음향학을 결정하는데 충분한 공간적 장점을 제공한다. 제 3 변형과 상응하게, 청감실의 분석 또는 음향 룸 모델의 결정은 기하학적 모델들을 기초로 하여 발생한다. 이러한 맥락에서, 예를 들면 이후에 청감실의 음향 모델을 계산하기 위하여 일반적으로 또한 모바일 터미널들(휴대폰들 같은) 내에 통합되는 카메라를 사용하여, 기하학적 모델이 선택적으로 검출되든 것이 예상될 수 있다. 이러한 방법으로 결정되는 음향 룸 모델과 별도로, 룸 최적화 전달 함수들이 그리고 나서 식별될 수 있다.

또 다른 실시 예들과 상응하게, 청감실이 고려될 뿐만 아니라, 청감실 내의 청취자의 위치가 고려된다. 여기서 배경은 실내 음향학이거나 또는 음향 지각은 청취 위치가 벽에 가가운지 또는 청취자가 어떠한 방향으로 진행되는지에 의존하여 변경될 것이다. 따라서, 또 다른 실시 예들과 상응하게, 복수의 방향-의존적 및/또는 위치-의존적 전달 함수(전달 함수 군들)는 청감실 내의 청취자의 위치 또는 청취자의 관점에서의 각도에 의존하여 예를 들면 여기서 선택되는, 룸 최적화 전달 함수들 내에 배치될 수 있다.

룸 최적화 전달 함수들과 관련하여, 상이한 청감실들을 위한 복수의 룸 최적화 전달 함수 군들이 공간적 재생을 위한 장치 또는 장치에 결합된 데이터베이스 내에 배치되는 것이 바람직하며, 따라서 이것들은 현재 청취자가 어떤 룸에 위치되는지에 따라 페칭될(fetched) 수 있다. 공간적 재생을 위한 장치는 바람직하세는 또한 GPS 같은, 위치-결정 장치를 포함한다.

또 다른 실시 예들과 상응하게, 재생되려는 오디오 재료 상에 바람직하세는 청감실 내의 실제 확성기 설정과 상응하거나 또는 청감실 특성과 별도로 자유롭게 구성되는 가상 확성기 설정의 상응하는 특성을 표현하는 것이 또한 가능하다.

또 다른 실시 예들은 룸 최적화 전달 함수들의 결정 및 룸 최적화 전달 함수들을 사용하여 다중 채널 스테레오 오디오 신호들(또는 오브젝트 기반 오디오 신호들 또는 WFS-오디오 신호들)의 재생을 위한 상응하는 방법에 관한 것이다.

첨부된 도면들을 참조하여 아래의 실시 예들이 상세히 설명될 것이다.
도 1a는 청감실(listening room)을 위한 청감-실 최적화 전달 함수들을 결정하기 위한 장치의 개략적인 블록 회로 다이어그램을 도시한다.
도 1b는 룸-최적화 전달 함수들을 결정할 때 방법의 개략적인 플로우차트를 도시한다.
도 2a는 룸-최적화 전달 함수들을 고려하는 동안에 다중 채널 스테레오 오디오 재료의 공간적 재생의 개략적인 블록 회로 다이어그램을 도시한다.
도 2b는 룸-최적화 전달 함수들을 고려하는 동안에 다중 채널 스테레오 오디오 재료의 공간적 재생을 위한 방법의 개략적인 플로우차트를 도시한다.
도 3은 룸-최적화 전달 함수들의 결정 및 사용을 위한 시스템의 개략적인 블록 회로 다이어그램을 도시한다.

도면들을 참조하여 본 발명의 실시 예들이 아래에 더 상세히 설명되기 전에, 동일한 소자들과 동일한 효과의 소자들에 그것들의 설명이 서로 적용 가능하거나 또는 호환되도록 동일한 도면 부호들이 제공된다는 것에 유의하여야 한다.

본 발명을 설명하기 전에, 헤드셋들을 사용하여 위치 의존 공간 음향 재생을 위한 청감실의 실내 음향학의 검출과 청각화가 설명될 것이다. 이러한 맥락에서, 바이노럴 합성이 간단히 설명될 것이고 바이노럴을 위하여 사용되는 헤드 관련 전달 함수들(HRTFs) 및 조작될 수 있는, 헤드 관련 전달 함수들 내에 포함되는 변형들의 개요가 설명될 것이다. 개요를 사용하여, 본 발명에 따른 실내 음향학 조건들을 고려하기 위하여 HRTFs가 결정되려는 룸 최적화 전달 함수들(TF)에 의해 어떻게 적응되는지가 도시된다.

바이노럴 합성은 오디오 신호가 음향 변환기(바람직하게는 바로 한 귀에서)를 통하여 출력되기 전에, 특정 필터 함수 또는 HRTF에 의해 필터링된다는 사실을 기초로 하며, 이에 따라 예를 들면 헤드셋을 사용할 때, 서라운드 음향을 모방하기 위하여, 필터 특성은 방향 벡터 또는 가상 음원에 따라 다르다. 필터 함수들/HRTFs은 인간 청각의 자연 음향 국부화 메커니즘에 따라 모델링된다. 이는 아날로그 또는 디지털 도메인 내의 오디오 신호의 처리를 허용하거나 혹은 룸 내의 어떠한 위치에 의해 방출되는 것과 같이 그 안의 음향 특성에 영향을 미친다. 음향을 국부화할 때 메커니즘들은 다음과 같다:

● 입사의 측면 방향의 인식

● 내측 평면의 입사 방향의 인식, 및

● 거리의 인식

왼쪽/오른쪽 및 왼쪽/오른쪽 사이의 (주파수 의존) 레벨 차이들 사이의 런-타임(run-time) 차이들과 같은, 음향 특성들은 입사의 측면 방향에 대한 국부화를 위하여 결정적이다. 런-타임 차이들의 경우에, 특히 낮은 주파수들에서의 위상 런-타임 및 높은 주파수들에서의 그룹 런-타임은 그것들 사이에 분화될 수 있다. 이러한 런-타임 차이들은 어떠한 스테레오 드라이버를 사용하는 신호 처리를 통하여 재생될 수 있다. 내측 평면 내의 입사 방향의 식별은 특히 외부 귀 및/또는 이도(auditory canal)의 전체가 음향 신호의 방향 선택적 필터링을 실행한다는 사실을 기초로 한다. 이러한 필터링은 특정 입사 방향을 모방하거나 또는 공간성을 모방하기 위하여 오디오 신호가 먼저 그러한 주파수 필터에 의해 필터링되도록 주파수 선택된다. 음원 및 청취자 사이의 거리의 결정은 상이한 메커니즘들을 기초로 한다. 주 메커니즘은 덮이는 음향 경로의 볼륨, 주파수 선택적 필터링, 음향 반사 및 초기 시간 갭(initial time gap)이다. 위에 언급된 대부분의 인자들은 개인들을 위하여 개별적이다. 개인들을 위한 개별적 변수들은 예를 들면, 귀들 사이의 거리 또는 측면 및 내측 국부화에 대한 특정 효과를 갖는 외부 귀의 형태일 수 있다. 서라운드 사운드 모방은 언급된 메커니즘들에 관한 오디오 신호의 조작에 의해 발생하며, 조작 파라미터들은 HRTFs(실내 방향 및 거리에 의존하여) 내에 매핑된다.

이러한 HRTFs(헤드 관련 전달 함수들)은 주로 자유-비행 음향 전파를 위하여 의도된다. 여기서의 배경은 국부화를 위하여 위에 언급된 이러한 인자들이 음원에 의해 방출된 음향이 청취자에 바로 도달할 분만 아니라, 음향 지각의 변화를 야기하는, 반사 방식으로(예를 들면, 벽들을 통하여) 도달한다는 점에서 폐쇄된 실내들에 적응될 때 변질된다는 사실이다. 이는 실내에서, 예를 들면 특정 주파수 그룹들을 위한 런-타임 및/또는 실의 2차 음원의 위치를 사용하여,청취자에 분화될 수 있다는 것을 의미한다. 이러한 (홀) 파라미터들은 청취자가 룸 크기 및 품질을 추정하도록 부가적으로 룸의 크기 및 품질(예를 들면, 감쇠, 형상)에 의존한다. 이러한 실내 음향학 파라미터들은 원칙적으로 국부화와 동일한 메커니즘을 통하여 지각되기 때문에, 실내 음향학은 또한 바이노럴 방식으로 모방될 수 있다. 실내 음향학의 모방을 윌하여, HRTF는 헤드셋 재생의 경우에서의 청취자를 위하여 특정 음향 실내 조건들을 시뮬레이션하는 바이노럴 룸 임펄스 응답(BRIR)을 형성하도록 RRTF에 의해 확장된다. 따라서, 가상 룸 크기에 의존하여, 홀 행동(Hall behavior)의 변화, 제 2 음원들의 시프팅, 특히 주 음원들의 볼륨과 관련하여 제 2 음원들의 볼륨의 변화가 발생한다.

시작에서 언급된 것과 같이, 인지 효과들이 또한 청취자에 중요한 역할을 할 수 있다. 그러한 인지 효과들에 관한 검사들은 청감실 및 타당한 청각 환상이 발생하는, 합성되려는 룸 사이의 일치의 정도 같은, 파라미터들의 연관이 높다는 사실을 야기하였다. 청감실 및 재생되려는 룸 사이의 낮은 분기의 경우에, 통상의 지식을 가진 자들은 청각 이벤트의 외관을 인지한다.

이에 자극받아, 바이노럴 합성은 청각 장면의 바이노럴 시뮬레이션이 사용자의 콘텍스트에 적응되도록 확장된다. 상세히 설명하면, 시뮬레이션은 예를 들면 현재 실내 음향학 및 청감실의 기하학적 구조와 같은, 청위 조건들에 적응된다. 거리의 지각, 공간성의 지각 및 방향의 지각은 여기서 그것들이 현재 청감실과 관련하여 타당하도록 변경될 수 있다. 변경 파라미터들은 예를 들면, 런-타임 차이들, 레벨 차이들, 주파수 선택적 필터링 또는 초기 시간 갭 같은, HRTF 또는 RRTF 특징들이다, 예를 들면 특정 음향 행동(반향 행동 또는 반사 행동)의 룸 크기가 모방되거나 또는 예를 들면 청취자와 음원 사이의 거리들이 최대 값으로 제한되는 방법으로, 발생한다. 서라운드 사운드 행동의 또 다른 인자는 청감실 내의 사용자의 위치인데 그 이유는 사용자가 룸의 중앙에 또는 벽에 가깝게 위치되는지의 잔향과 반사와 관련하여 결정적이기 때문이다. 그 뒤에 음향 시뮬레이션을 국부적으로 향상시키기 위하여 어떻게 그리고 어떠한 HRTF 또는 RRTF 파라미터들이 적응되는지가 설명될 것이다.

실내 음향학의 청각화의 개념은 기본 구조에서, 한편으로는 두 개의 독립적인 장치에 의해 다른 한편으로는 두 가지 상응하는 방법에 의해 표현되는 두 가지 성분을 포함한다. 제 1 성분, 즉 룸 최적화 전달 함수들(TF)의 검출이 도 1a 및 1b를 참조하여 설명되고, 룸 최적화 전달 함수들(TF)의 사용 이전에 도 2a 및 2b를 참조하여 설명될 것이다.

도 1a는 청감실(12)을 위하여 최적화된 전달 함수들(TF)을 결정하기 위한 장치(10)를 도시한다. 룸 최적화 전달 함수들(TF)을 결정하기 위하여, 청감실(12) 또는 그것들의 실내 음향학이 분석된다. 따라서, 장치(10)는 룸 관련 데이터의 검출을 위하여, 바람직하세는 여기서 마이크로폰 인터페이스(예를 들면, 도면 부호 14)으로서 도시된, 인터페이스를 포함한다. 청감실 특성이 그 뒤에 바이노럴 합성에 의한 음향 재료에 대하여 영향을 받는 것을 기초로 하는 룸 최적화 전달 함수들(HR)은 일반적으로 존재하는 HRTFs가 이미 적용되도록 구성되고, 장치(10)는 사용되려는 HRTFs를 고려하는 동안에 전달 함수들(HF)을 결정할 수 있다. 이는 장치(10)가 HRTFs의 판독 또는 판정을 위한 선택적으로 또 다른 인터페이스를 포함한다는 것을 의미한다.

그 뒤에, 실내 음향학을 결정하기 위한 상이한 과정들이 장치(10)로부터 시작하여 설명될 것이며, 이를 기초로 하여 룸 최적화 전달 함수들(TF)은 그리고 나서 뒤따르는 단계에서 결정된다. 제 1 변형과 상응하게, 청감실의 유행하는 실내 음향학 조건들의 검출은 측정 기술을 사용하여 수행될 수 있다. 바람직하게는, 청감실(12)의 실내 음향학은 음향 측정 방법에 의해, 장치(10)를 사용하여 측정한다. 선택적 확성기(도시되지 않음)를 통하여 방출되는, 테스트 신호는 장치(10)가 확성기 인터페이스(도시되지 않음)를 포함하거나 또는 확성기 자체일 때, 여기서 장치(10)를 사용하여 발생할 수 있다. 확성기를 통하여 룸(12)에 방출되는 측정 신호는 마이크로폰(14)에 의해 기록되고 따라서, 측정 거리(확성기 마이크로폰 사이의)에 대한 신호의 변화와 별도로, 실내 음향학은 예를 들면 적어도 룸 최적화 전달 함수(TF)가 룸 방향 또는 복수의 룸 최적화 전달 함수(TF)를 위하여 유도되도록, 식별될 수 있다. 청감실과 관련된 실내 음향학 파라미터들은 그리고 나서 한 방향으로부터 측정된 전달 함수로부터 유도된다. 이것들은 그리고 나서 필요한 나머지 방향들을 위한 룸 최적화 전달 함수들(TF)을 발생시키도록 사용된다. 여기서, 개별 제 1 반사들이 예를 들면 임펄스 응답(시간 범위 내의 전달 함수)의 압축 및/또는 확장 영역들에 의해, 매핑되려는 가상 음원 위치들의 다른 공간 방향들 및 거리들에 적응될 수 있다. 방향의 지각과 관련한 정보는 HRTFs 내에 위치된다. 모든 공간 방향에서 또는 매우 높은 정확도로 룸 최적화 전달 함수들(HF)을 결정하기 위하여, 또 다른 실시 예들에 따라 청감실(12) 내의 마이크로폰(14) 및 확성기들의 상이한 위치들을 위한 테스트 신호에 의한 분석을 반복하는 것이 바람직할 수 있다.

또 다른 변형에 따르면, 실내 음향학의 결정은 청감실(12)에 의해 이미 청각화된 음향 신호들을 사용하여 추정될 수 있다. 그러한 신호들의 예들은 사용자의 음성 신호 같은, 어쨌든 존재하는 주변 잡음이다. 여기서 사용되는 알고리즘들은 음성 신호로부터 반향을 제거하기 위한 알고리즘들로부터 유도된다. 여기서의 배경은 일반적으로, 반향 은닉 알고리즘들에서, 반향이 제거되려는 신호 상에 존재하는 룸 전달 함수가 추정되는 것이다. 지금까지, 이러한 알고리즘들은 원래 신호에 적용될 때, 반향에 의해 영향을 받지 않는 신호를 가장 잘 야기하는, 필터를 식별하도록 사용되었다. 실내 음향학의 분석에 적용될 때, 필터 함수가 식별될 분만 아니라, 청감실의 특징들을 인식하도록 추정 방법이 사용된다. 이러한 과정에서, 장치(10)에 결합되는 마이크로폰(14)이 다시 사용된다.

제 3 변형과 상응하게, 실내 음향학은 기하학적 룸 데이터를 기초로 하여 시뮬레이션된다. 이러한 과정은 룸(12)의 기하학적 데이터(예를 들면, 에지 크기들, 자유 경로 길이)가 실내 음향학의 추정을 허용한다는 사실을 기초로 한다. 룸(12)의 실내 음향학은 바로 시뮬레이션되거나 또는 음향학적 비교 모델들을 포함하는 실내 음향학 필터 데이터베이스들을 기초로 하여 대략적으로 식별될 수 있다. 예를 들면, 음향학적 레이 트레이싱(Ray Tracing) 같은, 방법들 또는 확산 음향 모델과 함께 미러 음원 방법들이 이러한 맥락에서 언급된다. 언급되는 두 가지 방법은 청감실의 기하학적 모델들을 기초로 한다. 이러한 맥락에서, 장치(10)의 룸 관련 데이터의 검출을 위하여 위에 언급된 인터페이스는 마이크로폰 인터페이스일 필요가 있으나, 또한 일반적으로 기하학적 데이터를 판독하는 역할을 하는 데이터 인터페이스로서 언급될 수 있다. 게다가, 이는 또한 예를 들면 청감실 내에 존재하는 확성기 설정에 대한 정보를 포함하는 인터페이스에 의해 판독되는 실내 음향학을 넘어 또 다른 데이터를 위하여 가능하다.

기하학적 룸 데이터를 획득하기 위한 몇몇 방법들이 예상 가능하다. 제 1 서브-변이(sub-variation)와 상응하게, 데이터는 기하학적 데이터, 예를 들면, 구글 맵스 인하우스(Google Maps Inhouse)로부터 얻을 수 있다. 이러한 데이터베이스들은 일반적으로 기하학적 모델들, 예를 들면 거리들로부터 시작하나, 또한 반사 특성들이 우선 결정되는, 룸 기하학의 벡터 모델들을 포함한다. 또 다른 서브-변이와 상응하게, 이미지 데이터베이스는 또한 입력으로서 사용될 수 있으며, 이러한 경우에 기하학적 파라미터들은 그 후에 이미지 인식에 의해 중간 단계에서 결정된다. 대안의 서브-변이와 상응하게, 이미지 데이터베이스의 이미지 정보를 얻는 대신에, 카메라 또는, 일반적으로 광학 센서에 의해 이미지 정보를 결정하는 것이 또한 가능할 수 있으며, 따라서 기하학적 모델은 사용자에 의해 직접적으로 결정될 수 있다. 이미지 제이터를 기초로 하여 결정되는 룸 기하학적 구조로부터 시작하여, 실내 음향학은 그리고 나서 이전 시점과 유사하게 시뮬레이션될 수 있다.

룸 최적화 전달 함수들(TF)은 적어도 하나의 룸을 위하여, 바람직하게는 복수의 룸을 위하여 뒤따르는 단계에서, 이러한 방법으로 시뮬레이션되는 실내 음향 모델들에 의해 유도된다. 파라미터들과 관련하여 RRTFs에 작동 가능한, 룸 최적화 전달 함수들(HF)의 유도는 원칙적으로 이에 의해 룸 내의 음향 행동이 시뮬레이션될 수 있는, 필터 함수(룸 방향 당)의 결정과 상응한다. 룸 특이 전달 함수들(HF)은 룸 당, 일반적으로 이에 의해 헤드 관련 전달 함수들(개별 입체각들과 관련된)에 의한 복수의 전달 함수를 포함한다. 복수의 룸 최적화 전달 함수(HF)는 따라서 일반적으로 함수들의 군(family)으로서 발생하는 헤드 관련 전달 함수들의 수에 의존하며 즉 왼쪽 오른쪽을 위하여 그리고 관련 방향들을 위하여, 복수를 포함한다. HRTF 내의 헤드 관련 전달 함수들의 정확한 수는 원하는 룸 해상도 능력에 의존하고 또한 보건에 의해 상당한 수의 방향 벡터들이 결정되는 HRTF 모델들이 존재한다는 사실에 기인하여 상당히 다양할 수 있다. 이러한 맥락으로부터 이것이 왜 룸 최적화 전달 함수(HF)의 결정을 위한 장치에 의해 사용되는 것이 민감한 것인지는 자명하다. 또 다른 단계에서, 결정되는 룸 최적화 전달 함수(TF)는 예를 들면, 실내 음향학 필터 데이터베이스 내에 저장된다.

또 다른 실시 예에 따르면, 각각의 청감실을 위하여, 복수의 룸 최적화 전달 함수 군(TF)이 결정될 수 있고, 저장될 수 있으며, 이에 의해 청감실 기능들 또는 청감실 냐의 음향 행동이 청취자의 위치에 의존하여 상이하다는 것을 고려한다. 바꾸어 말하면, 특정 룸 최적화 전달 특성은 청감실(12) 내의 사용자의 (가능한) 위치 당 결정될 수 있으며, 그것들의 결정은 청감실(12)의 하나 및 동일한 음향 모델을 기초로 한다. 그 결과, 바람직하게는 청감실의 분석은 한 번만 실행되어야 한다. 또 다른 실시 예와 상응하게, 상이한 룸 최적화 전달 함수 군들(TF)이 사용자가 방문하는 룸 방향 당 결정될 수 있다.

위에 설명된 장치(10)는 상이하게 구현될 수 있다. 바람직한 실시 예들과 상응하게, 장치(10)는 모바일 장치로서 구현되며, 이러한 경우에 센서(14), 예를 들면 마이크로폰 또는 카메라가 이에 알맞게 통합될 수 있다. 이는 또 다른 실시 예들이 한편으로는 분석 유닛(10) 및 다른 한편으로는 마이크로폰 및/또는 카메라를 포함하는 룸 최적화 전달 함수들(HF)을 식별하기 위한 장치와 관련된다는 것을 의미한다. 분석 유닛(10)은 여기서 예를 들면 하드웨어로서 구현될 수 있거나 또는 소프트웨어 기반일 수 있다. 따라서, 장치(10)의 실시 예들은 내부 중앙 처리 유닛(CPU) 또는 클라우드 계산과 결합된 것, 또는 룸 최적화 전달 함수들(TF) 및/또는 청감실 분석을 결정하도록 구성되는 다른 논리들을 포함한다. 방법 또는, 특히 룸 최적화 전달 함수들(TF)의 소프트웨어 구현 결정을 위한 알고리즘이 기초가 되는 방법의 기본 단계들은이 도 1b를 참조하여 아래에 설명될 것이다.

도 1b는 룸 최적화 전달 함수들(TF)을 결정할 때 방법의 플로우차트(100)를 도시한다. 방업(100)은 룸 최적화 전달 함수들(TF)을 결정하는 중앙 단계(110)를 포함한다. 이전에 이미 설명된 것과 같이, 단계(110)는 실내 음향학의 분석(120, 예를 들면, 단계 120, "실내 음향학의 분석")을 기초로 하고, 선택적으로 존재하는 HRTF 함수들을 기초로 한다. 단계 100으로부터 시작하여, 또 다른, 선택적 단계는 즉, 전달 함수들(TF)의 저장을 허용할 수 있다. 이러한 단계에 도면 부호 130이 제공된다.

또 다른 실시 예들과 상응하게, 도 1a 및 1b를 참조하여 설명되는 실시 예들에서, 이러한 방법으로 획득되는 데이터 세트가 위치를 사용하여 청감실과 직접적으로 관련되도록 룸 최적화 전달 함수들(TF)의 결정과 함께 청감실의 위치의 결정을 실행하는 것이 또한 예상될 수 있다. 이는 뒤에 데이터베이스로부터 룸 최적화 던잘 함수들(TF)의 페칭의 경우에, 위치의 결정으로부터 시작하여 각각의 데이터 세트의 연관이 가능하다는 장점을 제공한다.

결정되는 룸 최적화 전달 함수들(TF)의 사용이 도 2a 및 2b를 참조하여 아래에 설명될 것이다.

도 2a는 바이노럴 근거리 음향 변환기(22)를 사용하는 공간적 재생(20)을 위한 장치를 도시한다. 정치의 기능은 그중에서도, 재생의 방법(200)을 도시한 도 2b를 사용하여 설명될 것이다. 장치(20)는 예를 들면 다중 채널 스테레오 오디오 신호(또는 오브젝트 기반 오디오 신호 또는 파동장(wave-field) 합성 알고리즘(WFS)을 기초로 하는 오디오 신호)와 같은, 오디오 신호를 재생하고, 동일한 시간(예를 들면 단계 210)에서 서라운드 사운드를 모방하도록 구성된다. 재생 장치(20)는 여기서 HRTDs를 사용하고 룸 최적화 전달 함수들(TF)을 사용하여 오디오 신호를 처리한다.

장치(20)는 HRTF/TF 저장소를 포함할 수 있거나 또는 예를 들면, HRTFs 및 또한 위의 방법들에 따라 결정되는 룸 최적화 전달 함수들(TF)이 저장되는 데이터베이스에 연결된다. 바람직한 실시 예들에 따르면, 오디오 신호의 처리 이전에, HRTF 및 TF를 결합하는 단계(예를 들면 단계 210) 또는 TF를 기초로 하여 HRTF를 적응시키는 단계가 발생한다. 결합의 결과는 BRIR(룸 임펄스 응답)에 비교할 만한 전달 함수(BRIR')이며, 이를 사용하여 오디오 신호(24)는 서라운드 사운드를 모방하기 위하여 결국 처리된다(예를 들면 단계 210). 원칙적으로, 처리는 BRIR 기반 필터의 오디오 신호로의 적응과 상응한다. 따라서, 청감실에서 유행하는 음향 조건들에 의존하여 오디오 신호들의 반향과 조합하여 바이노럴 합성을 실행하는 것이 또한 가능하며, 따라서 재생할 때, 합성된 룸 및 청감실 사이에 고도의 일치가 존재한다. 그 결과, 합성된 룸(적어도 대략적으로)은 사용자의 기대 지평과 일치하고, 이에 의해 장면의 타당성을 증가시킨다.

실시 예들에 따르면, 장치(20)는 또한 이에 의해 청취자의 현재 위치가 확인될 수 있는 GPS-리시버와 같은, 위치-결정 유닛(position-determining unit)을 포함할 수 있다. 확인된 위치와 별도로, 청감실이 결정될 수 있고 청감실과 관련된 룸 최적화 전달 함수들(TF)이 로딩될 수 있다(그리고 만일 적용 가능하면, 룸의 변화로 업데이트된다). 선택적으로, 저장될 때, 룸 내의 청취자의 위치에 의존하여 음향학의 차이들을 나타내기 위하여, 위치 결정 수단들에 의해 청감실 내의 청취자의 위치를 결정하는 것이 또한 가능하다. 이러한 위치-결정 유닛은 제 3 실시 예들과 상응하게, 또한 방향 의존 청감실 음향학에 도달하기 위하여 청취자의 시각의 방향이 결정되고 TFs가 시각의 방향에 의존하여 상응하게 로딩되도록 지향-결정 유닛(orientation-determining unit)에 의해 확장될 수 있다.

두 개의 유닛(10 및 20)의 이러한 고려사항으로부터 시작하여, 화장된 도 3의 실시 예가 이제 설명될 것이다. 도 3은 TFs를 식별하기 위한 장치 및 TFs를 사용하여 오디오 신호들을 재생하기 위한 장치를 포함하는 시스템(10+20)으로부터 시작하여 바이노럴 합성으로 사용되도록 적응된 실내 음향학 시뮬레이션들을 청취할 때 신호 흐름의 개략적인 도면을 도시한다.

그러한 시스템(10+20)은 예를 들면, 재생되려는 데이터가 저장되는 모바일 터미널(예를 들면 스마트폰)이 되도록 구현될 수 있다. 시스템(10+20)은 원칙적으로 도 1a의 장치 및 도 1b의 장치의 조합이며, 개별 성분들은 함수 기원 설명을 위하여 다르게 세분된다.

시스템(10+20)은 청감실(20a)을 청각화하기 위한 기능 유닛(20a) 및 바이노럴 합성을 위한 기능 유닛(20b)을 포함한다. 게다가, 시스템(10+20)은 실내 음향학을 모델링하기 위한 기능 블록(10a) 및 전달 행동을 모델링하기 위한 블록(10b)을 포함한다. 실내 음향학의 모델링은 차례로 실내 음향학의 검출을 위한 기능 블록(10C)에 의해 실행되는 실내 음향학의 검출을 기초로 한다. 게다가, 도시된 실시 예에서의 시스템(10+20)은 두 개의 저장소, 즉 장면 위치 데이터(30A)의 저장을 위한 하나 및 HRTF 데이터(30B)의 저장을 위한 하나를 포함한다. 그 뒤에, 재생할 때 정보 르름으로부터 시작하여, 시스템(10+20)의 기능이 설명될 것이며, 청감실이 시스템(10+20)에 알려지거나 또는 위치-결정 방법(예를 들면 위의)에 의해 이미 결정된 것이 가정된다.

헤드셋(22)을 사용하여 채널 기반 또는 오브젝트 기반 오디오 데이터(24)를 재생할 때, 오디오 데이터는 신호(24) 앞에 모델링되고 반향과 동일한 것을 갖는 룸 전달 함수(TF)를 적용하는, 제 1 단계에서 신호 처리 유닛(20A)에 공급된다. 룸 전달 함수(TF)의 모델링은 신호 처리 블록(10a)에서 발생하고, 모델링은 아래에 설명될 것과 같이, 모델링 전달 행동(예를 들면 기능 블록 10b)에 의해 중첩된다.

제 2 (선택적) 기능 블록(10b)은 각각의 청감실 내의 가상 확성기 설정을 모델링한다. 따라서, 재생되려는 오디오 파일이 특정 확성기 설정(2.0, 5.1, 9.2) 상에 재생된 것과 같이 음향 행동은 사용자를 위하여 모방될 수 있다. 여기서, 특히 확성기 위치는 예를 들면 주파수 응답에 의해 정의된 것과 같이 청감실 및 특정 전달 행동에 고정되어 연결되며, 방향 특성 또는 레벨 행동의 변경은 각각의 확성기들과 관련된다. 여기서 특별한 음원 형태들, 예를 들면 미러 음원을 룸 내에 고정으로 위치시키는 것이 또한 가능하다. 확성기 설정은 가상 확성기의 위치, 거리 또는 형태에 대한 정보를 포함하는 장면 위치 데이터를 기초로 하여 모델링된다. 이러한 장면 위치 데이터는 실제 확성기 설정, 또는 가상 확성기 설정을 기초로 하여 상응할 수 있으며 일반적으로 사용자에 의해 개별화될 수 있다.

청각화 처리 유닛(20a)에서의 반향 후에, 반향된 신호들은 방향성 HRTF 필터들의 세트에 의해 확성기들에 속하는 오디오 재료에 대한 가상 확성기들의 방향에 영향을 미치는 바이노럴 합성(20b)에 공급된다. 바이노럴 합성 시스템은 위에 설명된 것과 같이, 선택적으로 청취자에 의해 헤드-튜닝(head-tuning)을 모방할 수 있다. 결과는 상응하는 동등화(equalization)에 의한 특별한 헤드셋에 의해 적응될 수 있는 헤드셋 신호이며, 음향 신호는 특정 확성기 설정에 의해 각각의 청감실 내에 출력되는 것과 같이 행동한다.

시스템(10+20)은 예를 들면, 모바일 터미널 또는 홈 시네마(home cinema) 시스템의 성분들이 되도록 구현될 수 있다. 일반적으로, 적응 분야들은 예를 들면 바이노럴 근거리 음향 변환기를 통한 영화용 음향 또는 오디오의 재생과 같은, 음악 및 엔터테인먼트 콘텐츠의 재생이다.

여기서 대안의 실시 예에 따라, 도 2a의 장치(20)는 또한 장면 위치 데이터를 기초로 하여 특정 확성기 설정 또는 특정 확성기 설정을 위한 오디오 신호의 재생을 모방하도록 구성될 수 있다는 점에 유의하여야 한다. 상응하게는, 또 다른 실시 예에 따르면, 장치(10)는 이러한 확성기 설정이 장치(20)에 의해 모방되도록 청감실(12) 내의 확성기 설정의 장면 위치 데이터를 결정하도록 구성될 수 있다(예를 들면 음향 측정을 사용하여).

장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.

본 발명의 인코딩된 신호, 예를 들면 오디오 신호 또는 비디오 신호 또는 전송 현재 신호는 디지털 저장 매체 상에 저장될 수 있거나 또는 전송 매체, 예를 들면 무선 전송 매체 또는 예를 들면 인터넷과 같은, 유선 전송 매체 상에 전송될 수 있다.

본 발명의 인코딩된 오디오 신호는 디지털 저장 매체 상에 저장될 수 있거나 또는 전송 매체, 예를 들면 무선 전송 매체 또는 예를 들면 인터넷과 같은, 유선 전송 매체 상에 전송될 수 있다.

특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, 및 EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.

본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다.

프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.

다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.

바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(혹은 데이터 저장 매체, 또는 컴퓨터 판독가능 매체와 같은, 비-전이형 저장 매체)이다.

본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.

또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.

또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.

일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.

위에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.

10 : 장치
10a : 실내 음향학을 모델링하기 위한 기능 블록
10b : 전달 행동을 모델링하기 위한 블록
12 : 청감실
14 : 마이크로폰
20 : 장치
20a : 청감실을 청각화하기 위한 기능 유닛
20b : 바이노럴 합성을 위한 기능 유닛
22 : 바이노럴 근거리 음향 변환기
24 : 오디오 신호
10+20 : 시스템
30a : 장면 위치 데이터
30b : HRTF 데이터

Claims

청감실(12)을 위하여 유도되는 상기 청감실(12)에 대한 룸-최적화 전달 함수들(RF)의 결정을 위한, 그리고 공간적 재생에서의 오디오 신호들(24)의 룸-최적화 후-처리의 역할을 하는 장치(10)에 있어서, 상기 오디오 신호들(24)의 상기 공간적 재생은 알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 상기 룸-최적화 전달 함수들(HF)을 사용하는 바이노럴 근거리 음향 변환기(22)에 의해 모방될 수 있고,
합성되려는 룸은 상기 헤드 관련 전달 함수들(HRTF)을 기초로 하여 모방될 수 있고, 상기 청감실(12)은 상기 룸-최적화 전달 함수들(HF)을 기초로 하여 모방될 수 있으며,
상기 장치(10)는 상기 청감실(12)의 실내 음향학을 분석하도록 구성되고 상기 바이노럴 근거리 음향 변환기(22)에 의해 상기 공간적 재생이 발생하는 상기 청감실(12)에 대한 상기 룸 최적화 전달 함수들(TF)을 결정하도록 구성되는, 장치.
제 1항에 있어서, 상기 장치(10)는 음향 측정을 위한 휴대용 장치의 마이크로폰(14)을 포함하거나 및/또는, 상기 청감실(12)의 상기 실내 음향학의 분석은 주변 잡음을 사용하거나 및/또는 테스트 신호를 사용하여 상기 청감실(12) 내의 음향 측정에 의해 발생되는, 장치.
제 1항에 있어서, 상기 청감실(12)의 상기 실내 음향학의 분석은 상기 청감실(12)의 기하학적 모델의 계산 및/또는 상기 청감실(12)의 카메라 기반 모델을 기초로 하는 상기 기하학적 모델의 모델링을 기초로 하는, 장치.
제 2항 또는 3항에 있어서, 상기 룸-최적화 전달 함수들(TF)은 상기 청감실(12)의 상기 실내 음향학이 그것들을 기초로 하여 모방되도록 선택되는, 장치.
제 1항 내지 4항 중 어느 한 항에 있어서, 상기 장치(10)는 다수의 가상 확성기들이 상기 청감실(12) 내에 위치되는 것과 상응하는 가상 확성기 설정을 고려하여 상기 룸-최적화 전달 함수들(HF)을 결정하도록 구성되는, 장치.
제 1항 내지 5항 중 어느 한 항에 있어서, 상기 알려진 헤드 관련 전달 함수들(HRTF)은 복수의 가상 음원에 대한 방향 벡터들과 관련된 왼쪽 및 오른쪽 귀를 위한, 복수의 개별 전달 함수(HF)를 포함하는, 장치.
제 1항 내지 6항 중 어느 한 항에 있어서, 상기 룸-최적화 전달 함수들(HF)은 복수의 개별, 방향 전달 함수(TF)를 포함하는, 장치.
제 1항 내지 7항 중 어느 한 항에 있어서, 상기 공간적 재생의 모방은 바이노럴 특징들, 균형 특징들 및 거리 특징들을 기초로 하고,
상기 바이노럴 특징들은 내측 평면 내의 입사 방향 및 개별 또는 비-개별 헤드 관련 필터링 사이의 연결을 포함하고, 상기 균형 특징들은 입사의 측면 방향 및 볼륨의 차이 사이의 연결 및/또는 입사의 측면 방향 및 런-타임 차이 사이의 연결을 포함하며, 상기 거리 특징들은 가상 거리 및 주파수 의존 필터링 사이의 연결 및/또는 가상 거리 및 초기 시간 갭 사이의 연결 및/또는 가상 거리 및 반사 행동 사이의 연결을 포함하는, 장치.
제 1항 내지 8항 중 어느 한 항에 있어서, 상기 바이노럴 근거리 음향 변환기(22)는 파동장 합성 알고리즘을 기초로 하여 오디오 신호(24)로서 다중 채널 스테레오 신호, 오브젝트 기반 오디오 신호(24) 및/또는 오디오 신호(24)를 출력하도록 구성되는 헤드셋인, 장치.
제 1항 내지 9항 중 어느 한 항에 있어서, 상기 장치(10)는 복수의 청감실(12)을 위한 복수의 룸 최적화 전달 함수 군(TF)이 배치될 수 있는 저장소를 포함하는, 장치.
청감실(12)을 위하여 유도되는 상기 청감실(12)을 위한 룸-최적화 전달 함수들(RF)의 결정을 위한, 그리고 공간적 재생에서의 오디오 신호들(24)의 룸-최적화 후-처리의 역할을 하는 방법(100)에 있어서, 상기 오디오 신호들(24)의 상기 공간적 재생은 알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 상기 룸-최적화 전달 함수들(HF)을 사용하는 바이노럴 근거리 음향 변환기(22)에 의해 모방되고, 합성되려는 룸은 상기 헤드 관련 전달 함수들(HRTF)을 기초로 하여 모방되고, 상기 청감실(12)은 상기 룸-최적화 전달 함수들(HF)을 기초로 하여 모방될 수 있으며,
상기 청감실(12)의 유행하는 실내 음향학을 분석하는 단계(12); 및
상기 실내 음향학의 분석을 기초로 하여, 바이노럴 근거리 음향 변환기(22)에 의한 공간적 재생이 발생되는 상기 청감실(12)을 위한 룸 최적화 전달 함수들(TF)을 결정하는 단계(110);를 포함하는, 방법.
바이노럴 근거리 음향 변환기(22)에 의한 오디오 신호(24)의 공간적 재생을 위한 장치(20)에 있어서, 상기 공간적 재생은 알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 청감실(12)의 룸 최적화 전달 함수들(TF)을 사용하여 모방되고,
합성되려는 룸은 상기 헤드 관련 전달 함수들(HRTF)을 기초로 하여 모방될 수 있고, 상기 청감실(12)은 상기 룸 최적화 전달 함수들(TF)을 기초로 하여 모방될 수 있으며,
상기 룸 최적화 전달 함수들(TF)은 각각의 상기 청감실(12)을 위하여 사전에 결정된, 장치.
제 12항에 있어서,상기 장치(20)는 복수의 청감실(12)을 위한 복수의 룸 최적화 전달 함수 군(TF)이 배치될 수 있는 제 1 저장소, 및 위치-결정 유닛을 포함하고,
상기 위치-결정 유닛은 상기 위치를 식별하고 식별된 상기 위치를 사용하여 상기 청감실(12)을 결정하도록 구성되며,
상기 장치(20)는 상기 공간적 재생의 모방을 위하여, 상기 전달 함수 군들로부터 각각의 상기 청감실(12)을 위하여 상기 대응 전달 함수들(TF)을 선택하도록 구성되는, 장치.
제 12항 또는 13항에 있어서, 상기 장치(20)는 상이한 지향들을 위한 복수의 제 2 전달 함수 군(TF)이 저장되는 제 2 저장소, 및 지향-결정 유닛을 포함하고,
상기 지향-결정 유닛은 상기 청감실(12) 내의 지향을 결정하도록 구성되며,
상기 장치(20)는 상기 공간적 재생의 모방을 위하여, 상기 전달 함수 군들로부터 각각의 상기 청감실(12)을 위하여 상기 대응 전달 함수들(TF)을 선택하도록 구성되는, 장치.
제 12항 내지 14항 중 어느 한 항에 있어서, 상기 장치(20)는 상이한 지향들을 위한 복수의 제 3 전달 함수 군(TF)이 저장되는 제 3 저장소, 및 또 다른 위치-결정 유닛을 포함하고,
상기 위치-결정 유닛은 상기 청감실(12) 내의 위치를 결정하도록 구성되며,
상기 장치(20)는 상기 공간적 재생의 모방을 위하여, 상기 전달 함수 군들로부터 각각의 상기 청감실(12)을 위하여 상기 대응 전달 함수들(TF)을 선택하도록 구성되는, 장치.
제 13항 내지 15항 중 어느 한 항에 있어서, 상기 위치-결정 유닛은 재생 동안에, 다시 상기 위치들을 결정하도록 구성되고, 상기 장치(20)는 상기 업데이트된 위치를 기초로 하여 상기 룸 최적화 전달 함수들(TF)을 업데이트하도록 구성되는, 장치.
바이노럴 근거리 음향 변환기(22)에 의해 오디오 신호(24)를 공간적으로 재생하기 위한 방법(200)에 잇어서,
알려진 헤드 관련 전달 함수들(HRTF)을 사용하고 바이노럴 근거리 음향 변환기(22)에 의해 재생이 발생하는 청감실(12)을 위하여 사전에 결정된 상기 청감실(12)을 위한 룸 최적화 전달 함수들을 사용하여 상기 오디오 신호(24)를 후-처리하는 단계(210)를 포함하고, 합성되려는 룸은 상기 헤드 관련 전달 함수들(HRTF)을 기초로 하여 모방될 수 있고, 상기 청감실(12)은 상기 룸-최적화 전달 함수들(HF)을 기초로 하여 모방될 수 있는, 오디오 신호를 공간적으로 재생하기 위한 방법.
제 17항에 있어서, 재생하는 단계 이전에, 룸-관련 룸 임펄스 응답(BRIR')을 형성하기 위하여 상기 헤드 관련 전달 함수들(HRTF)을 결합하는 단계가 발생하는, 오디오 신호를 공간적으로 재생하기 위한 방법.
제 1항 내지 10항 중 어느 한 항에 따른 장치(10); 및
제 13항 내지 16항 중 어느 한 항에 따른 장치(20);를 포함하는, 시스템.
프로그램이 컴퓨터, 중앙 처리 유닛(CPU) 또는 모바일 터미널 상에서 구동할 때 제 11항 또는 17항에 따라 상기 방법(100, 200)을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.