KR101944758B1 - 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법 - Google Patents

스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법 Download PDF

Info

Publication number
KR101944758B1
KR101944758B1 KR1020177018652A KR20177018652A KR101944758B1 KR 101944758 B1 KR101944758 B1 KR 101944758B1 KR 1020177018652 A KR1020177018652 A KR 1020177018652A KR 20177018652 A KR20177018652 A KR 20177018652A KR 101944758 B1 KR101944758 B1 KR 101944758B1
Authority
KR
South Korea
Prior art keywords
panning
frequency
signal
time
stereo
Prior art date
Application number
KR1020177018652A
Other languages
English (en)
Other versions
KR20170092669A (ko
Inventor
위르겐 가이거
페터 그로셰
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170092669A publication Critical patent/KR20170092669A/ko
Application granted granted Critical
Publication of KR101944758B1 publication Critical patent/KR101944758B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치에 관한 것이다. 오디오 신호 처리 장치는, 주파수 대역폭 내에 있는 스테레오 신호 시간-주파수 세그먼트의 적어도 모든 패닝 인덱스에 매핑 함수를 적용하도록 구성된 패닝 인덱스 수정부; 수정된 패닝 인덱스에 기초하여, 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하도록 구성된 제1 패닝 이득 결정부; 및 수정된 패닝 이득과, 시간 및 주파수에서의 수정된 패닝 이득에 대응하는 제1 및 제2 오디오 신호의 패닝 이득 간의 비율에 따라 스테레오 신호를 리패닝하도록 구성된 리패너를 포함한다.

Description

스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법{AN AUDIO SIGNAL PROCESSING APPARATUS AND METHOD FOR MODIFYING A STEREO IMAGE OF A STEREO SIGNAL}
본 발명은 오디오 신호 처리 분야에 관한 것으로, 상세하게는 스테레오 이미지의 폭을 포함하여 스테레오 신호의 스테레오 이미지를 수정하는 것에 관한 것이다.
스테레오 신호의 인지된 공간 폭/스테레오 이미지를 수정할(특히, 증가시킬) 수 있는 여러 상이한 해결수단이 알려져 있다.
스테레오 확장을 위한 일군의 접근법은 시간 영역에서 수행될 수 있는 단순한 선형 처리에 의존한다. 특히, 스테레오 신호 페어가 중간(양쪽 채널의 합) 미드 신호(mid signal)와 사이드(차이) 신호(side signal)로 변환될 수 있다. 그 다음에, 사이드 대 미드의 비율이 증가되고, 이러한 변환을 역으로 수행하여 스테레오 페어를 획득한다. 이러한 효과는 스테레오 폭을 증가시키기 위한 것이다. 스테레오 폭이 라우드스피커 스팬(loudspeaker span)을 초과하여 이론적으로 확장될 수도 있지만, 이러한 방법은 주로 "내부" 스테레오 수정 접근법으로서 분류될 수 있다. 계산 복잡도가 매우 낮지만, 이러한 방법에는 여러 불리한 점들이 있다. 소스가 스테레오 스테이지 간에 재분배될 뿐만 아니라, 스펙트럼적으로도 상이하게 가중된다. 즉, 확대 프로세스를 통해 스테레오 신호의 스펙트럼의 컨텐츠가 수정된다. 이로 인해, 오디오 품질이 저하될 수 있다. 예를 들어, (사이드 신호에 포함된) 레벨의 반향이 증가될 수 있거나, 또는 레벨의 중심 패닝된 소스(음성 등)가 감소될 수 있다. 이러한 접근법의 예가 EP 06 772 35B1와 US 6 507 657B1에서 발견된다.
스테레오 확대를 위한 다른 접근법은 "외부" 스테레오 수정으로서 분류될 수 있는 크로스토크 제거(cross-talk cancellation, CTC)이다 . CTC의 목표는 라우드 스피커 스팬 각도 이상으로 스테레오 폭을 늘리는 것인데, 즉 라우드 스피커 스팬 각도를 사실상 증가시키는 것이다. 이를 위해, 이 방법은 스테레오 신호를 필터링하여, 좌측 라우드 스피커로부터 우측 귀까지의 경로를 취소하도록 시도하고, 그 반대쪽으로도 마찬가지이다. 하지만, 예를 들어 신호가 전체 스테레오 스테이지(full stereo stage)를 사용하지 않는 경우, 이러한 접근법은 신호의 제한을 극복할 수 없다. 또한, CTC는 청취 경험을 저하시키는 왜곡 인공물(즉, 스펙트럼 왜곡)이 유입된다. 또한 CTC는 상대적으로 작은 스위트 스폿에 대해서만 작동하는데, 이는 원하는 효과를 작은 청취 영역에서 단지 인식될 수 있을 뿐이라는 것을 의미한다. CTC의 일 예는 US6928168B2에 제공된다.
본 발명의 목적은 제1 및 제2 오디오 신호를 포함하는 스테레오 신호의 스테레오 이미지를 수정하는 것이다.
이러한 목적은 독립항의 특징에 의해 달성된다. 추가적인 실시 형태는 종속항, 상세한 설명 및 도면으로부터 명백하다.
제1 양태에 따르면, 본 발명은 제1 및 제2 오디오 신호를 포함하는 스테레오 신호의 스테레오 이미지를 수정하는 오디오 신호 처리 장치에 관한 것이다. 상기 오디오 신호 처리 장치는 주파수 대역폭 내에 있는 스테레오 신호 시간-주파수 세그먼트(stereo signal time-frequency segment)의 적어도 모든 패닝 인덱스(panning index)에 매핑 함수를 적용하여, 수정된 패닝 인덱스를 제공하도록 구성된 패닝 인덱스 수정부(panning index modifier)를 포함한다. 상기 적어도 모든 패닝 인덱스는 상기 스테레오 신호 시간-주파수 세그먼트에 대한 패닝 위치를 나타낸다.
상기 오디오 신호 처리 장치는, 상기 수정된 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하도록 구성된 제1 패닝 이득 결정부(first panning gain determiner); 및 상기 수정된 패닝 이득과, 시간 및 주파수에서의 상기 수정된 패닝 이득에 대응하는 상기 제1 및 제2 오디오 신호의 패닝 이득 간의 비율에 따라 상기 스테레오 신호를 리패닝(re-pan)하여, 리패닝된 스테레오 신호를 제공하도록 구성된 리패너(re-panner)를 더 포함한다. 본 명세서에서 사용된 바와 같이, 패닝 이득은, 예를 들어 동일한 시간-주파수 빈 또는 세그먼트에 대한 값을 포함하는 경우, 서로 대응하고 있다.
따라서, 상기 스테레오 신호의 스펙트럼의 에너지를 재분배함으로써 상기 스테레오 신호의 스테레오 이미지가 수정된다. 이 기법을 이용하여, 상기 리패닝된 스테레오 신호(상기 수정되지 않은 스테레오 신호에 대해 확대되거나 축소된 스테레오 이미지를 가질 수 있음)는 원치 않는 인공물(unwanted artifact) 또는 스펙트럼 왜곡을 포함하지 않는다.
제1 양태에 따른 오디오 신호 처리 장치의 제1 실시 형태에서, 상기 패닝 인덱스 수정부는 상기 적어도 모든 패닝 인덱스에 비선형 매핑 함수를 적용하도록 구성된다.
제1 양태에 따른 상기 오디오 신호 처리 장치의 제2 실시 형태에서, 상기 매핑 함수는 시그모이드 함수(sigmoid function)에 기초한다.
비선형 매핑 함수(시그모이드 매핑 함수를 포함)는 상기 스테레오 이미지의 중심보다는 변 쪽으로 더 패닝되는 소스에 대한, 인간의 위치 파악 분해능(human localization resolution)의 감소와 같이 인지 가능하게 되는 곡선을 포함할 수 있다. 전술한 함수는 스테레오 이미지 내에 소스의 군집화(clustering)를 방지할 수도 있다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제3 실시 형태에서, 상기 매핑 함수는 아래의 등식으로서 표현되거나 또는 아래의 등식에 기초한다.
Figure 112017064440796-pct00001
여기서,
Figure 112017064440796-pct00002
는 패닝 인덱스를 나타내고,
Figure 112017064440796-pct00003
는 수정된 패닝 인덱스를 나타내며, a는 매핑 함수 곡률을 제어한다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제4 실시 형태에서, 상기 패닝 인덱스 수정부는 상기 적어도 모든 패닝 인덱스에 다항식 매핑 함수를 적용하도록 구성된다. 다항식 매핑 함수는 복잡한 분석 함수(예를 들어, 나눗셈과 지수 함수를 덧셈과 곱셈으로 대체)에 대한 복잡도를 감소시킬 수 있다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제5 실시 형태에서, 상기 리패너는 아래의 등식에 따라 상기 스테레오 신호를 리패닝하도록 구성된다.
Figure 112017064440796-pct00004
여기서,
Figure 112017064440796-pct00005
는 상기 제1 오디오 신호의 시간-주파수 신호 세그먼트를 나타내고,
Figure 112017064440796-pct00006
는 상기 제2 오디오 신호의 시간-주파수 신호 세그먼트를 나타내며,
Figure 112017064440796-pct00007
는 상기 리패닝된 스테레오 신호 중 리패닝된 제1 오디오 신호의 시간-주파수 신호 세그먼트를 나타내고,
Figure 112017064440796-pct00008
는 상기 리패닝된 스테레오 신호 중 리패닝된 제2 오디오 신호의 시간-주파수 신호 세그먼트를 나타내며,
Figure 112017064440796-pct00009
는 상기 제1 오디오 신호에 대한 시간-주파수 신호 세그먼트 패닝 이득(time-frequency signal segment panning gain)을 나타내고,
Figure 112017064440796-pct00010
는 상기 제2 오디오 신호에 대한 시간-주파수 신호 세그먼트 패닝 이득을 나타내며,
Figure 112017064440796-pct00011
는 상기 제1 오디오 신호에 대한 시간-주파수 신호 세그먼트 수정 패닝 이득(time-frequency signal segment modified panning gain)을 나타내고,
Figure 112017064440796-pct00012
는 상기 제2 오디오 신호에 대한 시간-주파수 신호 세그먼트 수정 패닝 이득을 나타낸다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제6 실시 형태에서, 상기 제1 패닝 이득 결정부는,
Figure 112017064440796-pct00013
에 기초하여 상기 수정된 패닝 이득을 결정하도록 구성된다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제7 실시 형태에서, 상기 패닝 인덱스 수정부는, 대략 적어도 1500Hz인 오디오 신호에 대한 값을 가진 스테레오 신호 시간-주파수 세그먼트의 모든 패닝 인덱스에 상기 매핑 함수를 적용하도록 구성된다. 이는 인지 가능하게 하는 방식으로 상기 처리된 주파수 범위를 제한함으로써 계산 복잡도를 감소시킨다. 따라서, 이 임계값 미만의 주파수는 상기 스테레오 이미지에 대한 감지된 확대 또는 축소 효과의 대부분을 잃지 않은 채로 변경되지 않고 유지될 수 있다.
제1 양태 또는 제1 양태의 제1 내지 제6 실시 형태 중 어느 실시 형태에 따른 오디오 신호 처리 장치의 제8 실시 형태에서, 상기 패닝 인덱스 수정부는, 상기 스테레오 신호 시간-주파수 세그먼트의 모든 패닝 인덱스에 상기 매핑 함수를 적용하도록 구성된다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제9 실시 형태에서, 상기 패닝 인덱스 수정부는 추가적으로, 상기 매핑 함수의 곡선을 선택하기 위한 파라미터를 수신하도록 구성된다. 이를 통해, 사용자가 스테레오 이미지 수정(예를 들어, 선형 또는 비선형 매핑 함수)과 스테레오 이미지 수정이 적용되는 정도(예를 들어, 상기 매핑 함수 곡선의 곡률) 중 적어도 하나의 타입을 선택하도록 한다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제10 실시 형태에서, 상기 오디오 신호 처리 장치는, 시간 및 주파수에서 대응하는 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트 값을 비교한 것에 기초하여, 상기 적어도 모든 패닝 인덱스를 결정하도록 구성된 패닝 인덱스 결정부; 및 상기 적어도 모든 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 패닝 이득을 결정하도록 구성된 제2 패닝 이득 결정부 중 적어도 하나를 더 포함한다.
이전 실시 형태에 따른 오디오 신호 처리 장치의 제11 실시 형태에서, 적어도 하나의 상기 제1 및 제2 패닝 이득 결정부는 다항식 함수를 이용한다. 그 결과, 전술한 함수를 다항식 함수를 이용하여 근사화함으로써 사인과 코사인 함수를 대체하는 것으로 인한 계산 복잡도를 감소시킨다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제12 실시 형태에서, 상기 오디오 신호 처리 장치는, 상기 스테레오 신호를 상기 시간 영역에서 상기 주파수 영역으로 변환하도록 구성된 하나 이상의 시간-주파수 유닛; 및 상기 리패닝된 스테레오 신호를 상기 주파수 영역에서 상기 시간 영역으로 변환하도록 구성된 하나 이상의 주파수-시간 유닛 중 적어도 하나를 더 포함한다.
제1 양태 또는 제1 양태의 임의의 이전 실시 형태에 따른 오디오 신호 처리 장치의 제13 실시 형태에서, 상기 오디오 신호 처리 장치는, 상기 리패닝된 스테레오 신호의 제1 오디오 신호와 제2 오디오 신호 간의 크로스토크를 제거하도록 구성된 크로스토크 캔슬러(cross-talk canceller)를 더 포함한다. 상기 리패닝된 스테레오 신호는 스테레오 시스템을 통해 재생될 수 있는 잠재적인 최대 스테레오 이미지를 더 많이 점유하며, 따라서 감지된 스테레오 이미지를 생성하는 데 있어서 크로스토크 제거를 위한 보다 효과적인 스테레오 신호가 스테레오 시스템의 라우드 스피커를 초과하여 확대되도록 한다.
제2 양태에 따르면, 본 발명은 제1 및 제2 오디오 신호를 포함하는 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 방법에 관한 것이다. 상기 오디오 신호 처리 방법은, 패닝 인덱스(panning index) 및 패닝 이득을 획득하는 단계 - 상기 획득된 패닝 인덱스는 스테레오 신호 시간-주파수 세그먼트(stereo signal time-frequency segment)에 대한 패닝 위치를 나타내고, 상기 획득된 패닝 이득은 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 패닝 위치를 나타내고 있음 -; 주파수 대역폭 내에 있는 상기 스테레오 신호 시간-주파수 세그먼트의 획득된 패닝 인덱스 중 적어도 모든 패닝 인덱스에 매핑 함수를 적용하여, 수정된 패닝 인덱스를 제공하는 단계; 상기 수정된 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하는 단계; 및 상기 수정된 패닝 이득과, 시간 및 주파수에서의 상기 수정된 패닝 이득에 대응하는 상기 획득된 패닝 이득 간의 비율에 따라 상기 스테레오 신호를 리패닝(repanning)하는 단계를 포함한다.
상기 오디오 신호 처리 방법은 상기 오디오 신호 처리 장치에 의해 수행될 수 있다. 상기 오디오 신호 처리 방법의 추가적인 특징은 상기 오디오 신호 처리 장치의 실시 형태 기능 중 임의의 기능을 수행할 수 있다.
제3 양태에 따르면, 본 발명은 컴퓨터 상에서 실행되는 경우 오디오 신호 처리 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
상기 오디오 신호 처리 장치는 상기 컴퓨터 프로그램을 수행하기 위해 프로그램 가능하게 배열될 수 있다.
본 발명은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
다음의 도면을 참조하여 본 발명의 실시예에 대해 설명할 것이다.
도 1a 내지 1c는 다양한 스테레오 이미지 폭을 도시한 도면이다.
도 2는 일 실시예에 따른 스테레오 신호의 시간-주파수 신호 세그먼트의 패닝 인덱스를 수정하기 위한 오디오 신호 처리 장치를 나타낸 도면이다.
도 3 내지 도 5는 스테레오 이미지를 확대하기 위한 매핑 곡선의 가능한 실시 형태를 나타낸 그래프이다.
도 6은 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치를 나타낸 도면이다.
도 7은 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치를 나타낸 도면이다.
도 8은 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 방법을 나타낸 도면이다.
도 1a 내지 1c는 다양한 스테레오 이미지 폭을 나타낸 도면이다. 특히, 도 1a는 가능한 가장 넓은 스테레오 이미지보다는 좁은 미처리된 스테레오 신호에 의해 생성되는 스테레오 이미지 폭의 예를 나타낸다. 도 1b 및 도 1c는 각각 스테레오 이미지의 내부 확대(internal widening) 및 외부 확대(external widening)를 나타낸다.
미디어(예를 들어, 음악이나 영화)의 스테레오 녹음은 상이한 오디오 소스를 포함하고, 이러한 오디오 소스는 가상의 스테레오 사운드 스테이지(virtual stereo sound stage) 또는 스테레오 이미지 내에 분산되어 있다. 사운드 소스는 스테레오 이미지 폭 내에 배치될 수 있고, 이 폭은 라우드 스피커의 스테레오 쌍 사이의 거리에 의해 정의되고 제한된다. 예를 들어, 진폭 패닝(amplitude panning)이 사용되어 스테레오 이미지 내의 임의의 공간에 사운드 소스를 배치할 수 있다. 때로는, 스테레오 녹음에는 가능한 가장 넓은 스테레오 이미지가 사용되지 않는다. 이러한 경우, 스테레오 시스템이 생성할 수 있는 가능한 가장 넓은 스테레오 이미지를 이용하기 위해서는 소스의 공간 분포를 수정하는 것이 바람직하다. 이를 통해 감지되는 스테레오 효과를 향상시키고, 결과적으로 더 몰입감 있는 청취 경험을 하게 된다.
스피커의 스테레오 쌍이 서로 멀리 떨어져 배치된 경우 처럼 스테레오 이미지를 축소하는 것이 바람직한 경우에는 다른 적용 시나리오가 존재할 수 있다.
도 1b는 도 1a의 스테레오 이미지에 관한 스테레오 이미지의 내부 확대를 나타낸다. 도 1c는 크로스토크 제거(cross-talk cancellation, CTC)를 이용할 수 있는 외부 확대를 나타낸다. 외부 확대는 라우드 스피커 스팬을 넘어서 감지되는 스테레오 이미지를 확대하고자 한다. 실시예는 상호 보완적인 내부 및 외부 스테레오 수정을 위한 장치 및 방법을 포함할 수 있으며, 이에 따라 더 나은 효과를 달성하고 청취 경험을 추가로 향상시키기 위해 조합될 수 있다.
실시예는 스테레오 이미지를 내부적으로 수정하기 위한 장치 및 방법(예를 들어, 축소 및 확대)를 더 포함할 수 있다. 스테레오 신호로부터, 스테레오 이미지 내 오디오 소스의 위치를 나타내는 시간-독립적이며 주파수-독립적인 치수(예를 들어, 패닝 인덱스(panning index))가 추출될 수 있다.
당업자는 패닝 인덱스 및 전술한 인덱스를 계산하는 하는 방법을 알고 있다. 본 발명은, 그 중에서도 주파수 대역폭 내에서 스테레오 신호 시간-주파수 세그먼트의 적어도 모든 패닝 인덱스(예를 들어, 전술한 매핑 인덱스)에 매핑 함수를 적용하는 것에 의해 종래 기술의 기법과는 다르다. 즉, 스테레오 신호를 수정하기 위해, 주파수 대역폭(예를 들어, 1.5kHz-22kHz) 내에 스펙트럼의 컨텐츠를 포함하는 시간-주파수 세그먼트를 내부적으로 수정할 수 있다. 이 주파수 대역폭은 스테레오 신호 대역폭보다 크거나, 또는 동일하거나, 또는 작을 수 있다.
예를 들어, 스피커들 간의 전체 거리에 걸쳐 스테레오 이미지를 확대하기 위해, 모든 시간-주파수 빈의 패닝 인덱스에 매핑 함수를 적용할 수 있다. 도 3 내지 도 5를 설명함에 있어서 서로 다른 매핑 함수에 대해 설명한다.
본 발명의 한가지 장점은, 패닝 인덱스를 수정하는 것이 시간 및 주파수와 독립적일 수 있어서 스테레오 신호 컨텐츠와 독립적이라는 것이다. 스테레오 신호의 전체적인 스펙트럼의 분포는 바뀌지 않는데, 왜냐하면 신호의 일부가 수정된 스테레오 이미지 내에 재분배될 뿐이기 때문이다. 결과적으로, 왜곡하는 인공물(coloration artifact)(스펙트럼 왜곡)이 삽입되지 않는다. 스테레오 이미지 확대의 경우, 패닝 인덱스를 수정하는 것은 결과적으로 스테레오 이미지 확대를 초래하며, 사운드 소스가 측면/스피커 경계 쪽으로 움직여서 스테레오 이미지의 중심에서 멀어진다.
또한, 실시예는, 수정된 스테레오 신호에 인지 가능하게 영향을 미치지 않고(예를 들어, 왜곡을 추가하지 않고) 종래의 기법에 대해 스테레오 이미지 수정의 계산 복잡도를 감소시킬 수 있다. 이를 위해, 패닝 인덱스를 수정하는 매핑 함수는, 다항식 함수를 통해 근사화될 수 있다. 그 다음에, 매핑 곡선의 분석적 표현식을 평가하는 대신, 다항식 함수를 평가한다. 다항식 함수를 평가하는 계산 복잡도가 매핑 곡선의 분석적 표현식에 대한 복잡도보다 작으므로, 이로 인해 시스템의 복잡성이 전반적으로 감소된다.
이와 유사하게, 매핑 곡선이 분석적 표현식 또는 다항식 함수에 따라 패닝 인덱스를 매핑하는 룩업 테이블(look up table, LUT)로서 구현될 수 있다.
실시예는 스테레오 신호로부터 패닝 인덱스를 추출하는 것을 포함한다. 미국특허 제7,257,231B1호에서는 패닝 인덱스를 추출하는 접근법에 대해 설명한다. 고속 푸리에 변환(fast Fourier transformation, FFT)과 같은 시간-주파수 변환 이후에, 스테레오 신호의 시간-주파수 세그먼트 각각에 대해 패닝 인덱스가 계산될 수 있다. 시간-주파수 신호 세그먼트는 주어진 시간 및 주파수 간격에서 신호의 표현에 대응한다. 예를 들어, 시간-주파수 신호 세그먼트는 주어진 시간 세그먼트에 대해 생성된 (복잡한) 주파수 샘플에 대응할 수 있다. 따라서, 각각의 시간-주파수 신호 세그먼트는 FFT를 대응하는 세그먼트에 적용하여 생성되는 FFT 빈 값(FFT bin value)일 수 있다.
패닝 인덱스는 스테레오 신호의 좌측 채널과 우측 채널(또는 제1 채널과 제2 채널) 간의 관계로부터 도출된다. 사람의 청각 메커니즘은 소스 위치 파악을 위해 두 귀의 신호 간의 시간차 및 레벨차를 이용하지만, 패닝 인덱스는 레벨차에만 기초할 수 있다. 각각의 시간-주파수 신호 세그먼트에 대해, 패닝 인덱스는 스테레오 스테이지(즉, 스테레오 이미지 내에 시간-주파수 신호 세그먼트가 "나타나는" 스테이지) 상의 대응하는 각도를 나타낸다.
도 2는 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치(200)를 나타낸 도면이다. 장치(200)는 패닝 인덱스 수정부(202)를 포함한다. 패닝 인덱스 수정부(202)는, 주파수 대역폭 내에서 스테레오 신호 시간-주파수 세그먼트의 적어도 모든 패닝 인덱스에
Figure 112017064440796-pct00014
에 매핑 함수를 적용하여, 수정된 패닝 인덱스를 제공하도록 구성된다.
예를 들어, 입력 패닝 인덱스
Figure 112017064440796-pct00015
가 시간 및 주파수와 독립적으로 수정되어, 수정된 패닝 인덱스
Figure 112017064440796-pct00016
를 얻을 수 있다.
수정(modification)이란 스테레오 이미지를 축소하고 확대하는 것을 포함한다. 예를 들어, "사용된" 스테레오 이미지 중 일부(예를 들어, 오디오 신호의 패닝-스펙트럼의 분포와 비교하여, 스테레오 시스템을 통해 생성될 수 있는 감지된 폭의 양)는 넓어질 수 있는데, 왜냐하면 스테레오 이미지 자체가 라우드 스피커 스팬에 의해 제한되기 때문이다. 결과적으로, 서로 다른 스테레오 시스템은 예를 들어, 스테레오 라우드 스피커들 간의 거리로 인해 서로 다른 수정 곡선을 사용할 수 있다.
즉, 패닝 인덱스를 수정하는 하나의 획득 양태는, 서로 다르게 패닝되는 오디오 소스를 더 변 쪽으로 이동시켜서 스테레오 이미지 상의 분포를 "펼치는 것"이다.
사운드 이미지의 사용된 폭을 확대하거나 또는 최적화하는 것은 여러 애플리케이션에 유용하다. 일부 신호는 전체 가용한 스테레오 이미지(full available stereo image)를 사용하지 않을 수 있으며, 분포를 넓히는 것은, 원치 않는 인공물을 확대된 스테레오 신호에 삽입하지 않고도 청취 경험이 보다 몰입적이게 한다.
또 다른 애플리케이션은 넓어진 신호를 크로스토크 제거(CTC) 또는 유사한 기법으로 추가로 처리하는 것인데, 이는 라우드 스피커의 거리를 초과하여 감지되는 스테레오 이미지를 확대하기 위해 음향 심리 모델(psycho-acoustic model)에 의존한다. 하지만, 이 목표는 완전하게 달성되지 않는다. 이 경우에, 입력 신호의 내부 확대는 CTC의 현실적인 제한을 극복하고, 소스의 공간 분포가 정밀하게 유지되는 더 넓은 스테레오 이미지에 기여할 수 있다.
또한, 소정의 청취 설정에는 스테레오 이미지의 수정이 필요할 수 있다. 예를 들어, 종래의 스테레오 재생 설정에서는, 라우드 스피커 스팬이 너무 넓을 수 있고(최적의 스테레오 청취 조건에 비해), 차선의 라우드 스피커 설정을 보상하기 위해 신호에 사용되는 스테레오 스테이지를 좁히는 데 유리할 수 있다.
따라서, 실시예는 라우드 스피커들 간의 거리 정보와, 청취 지점과 각각의 2개의 라우드 스피커 간의 거리 정보를 획득하는 것을 포함할 수 있다.
스테레오 이미지를 확대하는 경우, 패닝 인덱스 수정부(202)는 소스를 스테레오 이미지의 변 쪽으로 이동시키기 위해 패닝 인덱스의 절대값(시간 및 주파수와 독립적으로)을 증가시킬 필요가 있다. 이상적으로는, 사운드 이미지(예를 들어, 소스가 존재하지 않는 사운드 이미지) 내에 감지된 "홀(hole)"이 생성되지 말아야 한다. 또한, 여러 소스가 함께 밀집되어 있는 스테레오 이미지 상에는 어떠한 스폿도 생성되지 말아야 한다.
수학적으로 말하자면, 예를 들어 전단사 매핑 함수(bijective mapping function)가 이러한 2가지 요구사항을 만족한다. 또 다른 기준은 꾸준하고 단조롭게 증가하는 함수를 가지는 것일 수 있다. 매핑 곡선/함수에 대한 또 다른 요구사항은 중심 쪽으로 패닝되는 모든 소스가 중심에 유지되어야 한다는 것일 수 있다.
또한, 매핑 곡선이 인간의 청각 능력에 관한 음향 심리학적 발견을 이용할 수도 있다. 예를 들어, 인간의 정위 판별(localization differentiation)을 위한 각도 분해능이 변과 비교하여(약 15 도) 스테레오 이미지의 중심에서 더 높다(약 1도).
그 다음에, 시간 및 주파수와 독립적으로 패닝 인덱스를 수정하고 전술한 속성 중 일부나 전부를 이상적으로 만족시키는 매핑 곡선 또는 매핑 함수가 필요할 수 있다.
도 3 내지 도 5는 스테레오 이미지를 확대하기 위한 매핑 곡선의 가능한 실시 형태를 나타내는 그래프이다. 패닝 인덱스가 대칭이기 때문에, 0과 1 사이의 범위에 대해서만 설명할 수 있지만, -1과 0 사이의 범위는 대칭 곡선 또는 대칭 함수를 통해 적절하게 처리될 수 있다. 물론, 패닝 인덱스는 -1 내지 1 외에 다른 값 범위를 이용할 수도 있다.
스테레오 확대를 위한 하나의 가능한 실시 형태는 패닝 인덱스에 일정한 계수를 곱하고 최대 1까지로 제한하는 것이다.
Figure 112017064440796-pct00017
여기서, p는 폭 증가의 기울기를 제어하는 계수이다. 서로 다른 리패닝 계수 p로 획득된 여러 곡선이 도 3에 도시되어 있다. 도 3에 도시된(예를 들어, 유도되거나 또는 근사화된) 하나 이상의 곡선에 따라 또는 이 곡선에 기초하여, 패닝 인덱스 수정부(202)가 입력 패닝 인덱스를 수정할 수 있다.
이 실시 형태의 장점은, 리패닝 곡선(들)이 단순하다는 것이다. 하지만, 도 3의 곡선은 전단사 함수를 나타내지 않는다. 곡선에서의 굴곡보다 큰 패닝 인덱스를 가진 모든 소스가 최대 패닝 인덱스 1에 매핑된다.
도 4는 스테레오 이미지를 확대하기 위한 매핑 곡선의 하나의 가능한 실시 형태를 그래프로 나타내고 있다. 패닝 인덱스 수정부(202)는, 도 4에 도시된 (예를 들어, 유도되거나 또는 근사화된) 하나 이상의 곡선에 기초하여 또는 이 곡선에 기초하여 입력 패닝 인덱스를 수정할 수 있다.
도 4에 도시된 곡선은 구간적 선형(piecewise linear)이고, 낮은 굴곡점 b L 과 높은 굴곡점 b H (도 4에서, 각각 0.1 및 0.8임) 및 기울기 p에 의해 제어된다. b L 보다 작은 패닝 인덱스는 수정되지 않는다. 기울기 p가 b H 의 출력 패닝 인덱스까지 b L 보다 큰 패닝 인덱스에 적용되는데, b H 이상에서는 이 기울기가 함수가 점 (1,1)에 도달하는 방식으로 결정된다. 이러한 곡선군은, 중심 쪽으로 패닝된 소스(또는 중심에 근접한 소스)가 수정되지 않고, 이 곡선이 일대일 대응(bijective)이어야 한다는 요구사항을 만족시킨다. 하지만, 이 곡선이 구간적 선형이고 이에 따라 굴곡을 가지므로, 이 곡선은 수정된 패닝 인덱스 분포에서 비정상적인 클러스터를 유발할 수 있다.
또 다른 실시 형태는 위에 언급한 제한을 극복할 수 있는데, (예를 들어, 유도되거나 또는 근사화된) 시그모이드 함수에 기초하거나 또는 시그모이드 함수로서 표현된다. 도 5에 표시된 곡선은 일정하면서 굴곡이 없으며, 전단사 함수를 나타낸다. 패닝 인덱스 수정부(202)는, 도 5에 도시된 하나 이상의 곡선에 따라 또는 이 곡선에 기초하여 입력 패닝 인덱스를 수정할 수 있을 것이다.
곡선의 분석적 표현식은 다음과 같이 도출될 수 있다. 이 곡선은 시그모이드 함수에 기초한다.
Figure 112017064440796-pct00018
이는 곡선의 예비 형태를 나타낸다. 파라미터 a = 2 p -1은 이 곡선을 제어하고, p의 증가는 곡선의 확대 효과를 증가시킨다. 이 곡선을 점 (0,0) 및 (1,1)에 맞추기 위해, 아핀 변환(affine transform)이 적용되며, 그 결과 곡선의 최종 버전은 다음과 같다.
Figure 112017064440796-pct00019
여기서, 곡선은 p로부터 도출되는 파라미터 a에 의해 여전히 제어된다. 곡선 표현식은 전술한 요구사항을 만족시킨다. 예를 들어, 사람에서 관찰된 각도 분해능 정위(예를 들어, 바로 현저한 각도 차이)는 이 곡선 표현식, 즉 0에서 1까지의 스케일 상의 더 작은 패닝 인덱스(중심 패닝된 소스에 대응)가 약간 증가되지만, 더 큰 패닝 인덱스의 경우에는 감지된 차이를 유발하기 위해 더 큰 증가가 필요한 표현식을 이용한다.
언급한 바와 같이, 여기서는 0과 1 사이의 패닝 인덱스 범위에 대해서만 모든 패닝 인덱스 수정 곡선이 정의되어 있다. 이 함수의 미러링된(특히, 좌표 시스템의 가로 좌표와 세로 좌표에 미러링된) 버전을 이용하면, -1과 0 사이의 범위에 대한 적용이 간단해진다. 이 분석적 표현식에서 -1과 0 사이의 패닝 인덱스 범위를 포함하기 위해, 수학식 (3)이 다음과 같이 수정될 수 있다.
Figure 112017064440796-pct00020
또한, 대각선의 축 y=x에 미러링함으로써 스테레오 확대 대신에, 스테레오 축소에 대해 모든 곡선이 적용될 수도 있다. 이는 수학식 (3)의 역함수를 이용하여 얻어질 수 있는데, 이 역함수는 다음과 같다.
Figure 112017064440796-pct00021
(5)
(범위
Figure 112017064440796-pct00022
의 경우)
패닝 인덱스 수정부(202)는 도 3 내지 도 5에 도시된 (예를 들어, 유도되거나 또는 근사화된) 하나 이상의 곡선에 따라 또는 이 곡선에 기초하여 입력 패닝 인덱스를 수정할 수 있을 것이다. 예를 들어, 패닝 인덱스 수정부(202)는 하나의 곡선만을 이용하여 구성될 수 있을 것이다. 패닝 인덱스 수정부(202)는 하나의 매핑 함수만을 이용하여 구성될 수 있을 것이다. 패닝 인덱스 수정부(202)는 사용자 입력을 수신하도록 구성될 수 있을 것이다. 여기서, 매핑 함수 곡률이 제어되거나(예를 들어, p와 관련된 수신 파라미터) 및/또는 매핑 함수(예를 들어, 도 3 내지 도 5와 관련된 매핑 함수 중 하나)가 선택된다.
패닝 인덱스 수정부(202)는 복수의 방식으로 매핑 함수를 구현할 수 있다. 예를 들어, 일 실시형태는 패닝 인덱스를 매핑하기 위해 직접 수학식 (3) 또는 수학식 (4)를 이용한다.
또 다른 실시 형태는 수학식 (3) 또는 수학식 (4)에서의 복잡한 분석 함수(즉, 다항식 매핑 함수)의 다항식 근사화를 통해 계산 복잡도를 감소시킨다. 예를 들어, 원하는 매핑 곡선(들)에 대한 다항식 함수의 최소 자승법은 보다 효율적인 구현을 초래한다. 다항식의 차수는 제어될 수 있다. 다항식 계수가 한 번 계산되어 저장될 수 있다. 런타임 동안, 곡선의 분석 표현식 대신에 다항식이 평가된다. 칩 구현 조건으로는 수학식 (3)의 분석적 표현식 내의 나눗셈 및 지수 함수가 매우 비쌀 수 있으며, 여러 덧셈 및 곱셈 함수로 대체하는 것이 계산 복잡도를 줄이는 데 도움이 된다.
또 다른 실시 형태는 처리된 주파수 범위를 제한함으로써 계산 복잡도를 줄인다. 패닝 인덱스 수정이 주파수와 독립적으로 수행될 수 있지만, 인간 청력 시스템의 소정의 능력을 이용하여 계산 복잡도를 줄일 수 있다. 실시예는 진폭 패닝을 사용해서 두 귀의 레벨 차이에 의존하는데, 이는 주로 대략 1500Hz 이상의 주파수를 가진 오디오 소스의 정위에 사용된다. 따라서, 스테레오 확대 효과의 대부분을 잃지 않고도 이 임계값 미만의 주파수가 변경 없이 유지될 수 있다.
또 다른 실시형태는 룩 업 테이블(lookup table)을 통해 매핑 함수를 구현한다. 이때, 이 함수가 분할된다.
도 6은 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치(600)를 나타낸 도면이다. 패닝 이득 결정부(602)는, 전술한 바와 같이 패닝 인덱스 수정부(202)에 의해 수정될 수 있는 수정된 패닝 인덱스
Figure 112017064440796-pct00023
를 수신한다. 패닝 이득 결정부(604)는 예를 들어, 스테레오 신호로부터 추출되는 수정되지 않은 패닝 인덱스
Figure 112017064440796-pct00024
를 수신한다.
패닝 이득 결정부(602, 604) 각각은 수신된 패닝 인덱스에 기초하여 패닝 이득을 생성한다. 이전에 설명한 바와 같이, 각각의 패닝 인덱스는 스테레오 이미지 내의 특정한 위치를 나타낸다. 주어진 패닝 인덱스(
Figure 112017064440796-pct00025
또는
Figure 112017064440796-pct00026
)에 대해, 일 실시형태에서 에너지-보존 패닝 법칙을 이용하는 패닝 이득 결정부(604, 604)에 의해 이 스테레오 채널 이득이 결정될 수 있다.
Figure 112017064440796-pct00027
여기서, g L ( m,k ) 및 g R (m,k)은 입력 스테레오 신호의 m 및 k에 의해 결정된 시간-주파수 빈에 대한 좌측(예를 들어, 제1 입력 신호) 및 우측(예를 들어, 제2 입력 신호) 채널 각각에 대한 이득을 나타낸다. 패닝 이득 결정부(602)는 에너지-보존 패닝 법칙을 이용하여 수정된 패닝 이득 g L '(m,k ) 및 g R '( m,k )를 계산할 수 있다.
패닝 이득 결정부(602, 604)의 일 실시형태에서, 예를 들어 근사화에 의한 사인 및 코사인 함수를 다항식 함수로 대체함으로써, 다항식 근사화를 이용하여 수학식 (6)에 따라 패닝 이득을 계산할 수 있다.
이 시점에, 소정의 시간-주파수 빈(즉, 스테레오 신호 시간-주파수 세그먼트)에 포함된 신호가 리패닝부(606)를 통해 수정된 스테레오 이미지를 생성하기 위해 이동될 수 있다. 리패닝부(606)는 패닝 이득, 수정된 패닝 이득, 및 패닝 이득이 기초하는 입력 스테레오 신호를 수신할 수 있다. 리패닝부(606)의 일 실시형태에서, 리패닝부(606)는 수정된 스테레오 이미지를 가진 스테레오 신호를 아래의 표현식을 이용하여 생성한다.
Figure 112017064440796-pct00028
여기서, X 1 ( m,k ) 및 X 2 ( m,k )는 입력 스테레오 신호이고, X 1 '(m,k ) 및 X 2 '(m,k)는 수정된 스테레오 이미지를 가진 출력 스테레오 신호이다.
장치(600)는 리패닝된 스테레오 신호의 제1 오디오 신호와 제2 오디오 신호 간의 크로스토크(X 1 '(m,k) 및 X 2 ' ( m,k ))를 제거하고, 라우드 스피커의 거리를 초과하여 확대되는 감지된 스테레오 이미지를 가진 스테레오 신호(X CTC 1 ( m,k ) 및 X CTC 2 (m,k))를 출력하도록 구성된 크로스토크 캔슬러(608)를 더 포함할 수 있다.
일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치(700)를 나타낸 도면이다. 입력 스테레오 신호(x 1 (t), x 2 (t))는 시간-주파수 유닛(702)을 통해 주파수 영역 신호(X 1 (m,k), X 2 (m,k))로 변환된다.
시간-주파수 변환 이후, 예를 들, 미국특허 제7,257,231 B1에서 설명된 방법을 이용하여, 패닝 인덱스가 패닝 인덱스 결정부(704)를 통해 스테레오 페어(X 1 (m,k) 및 X 2 (m,k))로부터 추출된다.
패닝 인덱스 추출을 위한 이 방법은 신호 X 1 ( m,k )과 X 2 ( m,k ) 간의 진폭 유사도에 기초한다. 예를 들어, 소정의 시간-주파수 빈에서의 유사도가 더 낮은 경우, 이 시간-주파수 빈에 대응하는 오디오 소스는 일측으로, 즉 2개의 입력 신호 중 하나의 방향으로 더 패닝된다. 패닝 인덱스 결정부(704)의 일 실시형태에서, 유사도 인덱스
Figure 112017064440796-pct00029
가 아래와 같이 계산된다.
Figure 112017064440796-pct00030
여기서, 분모의 항은 각각 스테레오 입력 신호의 제1 (좌측) 신호 및 제2 (우측) 신호에서의 신호 에너지이다. 이 유사도 인덱스는 X 1 ( m,k ) 및 X 2 ( m,k )에 관해 대칭적이다. 따라서, 이 유사도 인덱스는 모호성을 초래하며, 그 자체로는 신호가 패닝되는 방향(예를 들어, 좌측 또는 우측)을 나타낼 수 없다. 이러한 모호성을 해결하기 위해, 아래의 에너지 차이가,
Figure 112017064440796-pct00031
사용될 수 있다. 지시자가 에너지 차이,
Figure 112017064440796-pct00032
로부터 도출되며, 유사도 인덱스
Figure 112017064440796-pct00033
와 결합되어 패닝 인덱스가 얻어진다.
Figure 112017064440796-pct00034
이 실시 형태에서, 패닝 인덱스 결정부(704)는 -1에서 1까지의 가능한 범위를 가진 패닝 인덱스를 제공한다. 여기서, -1은 제1 입력 신호(좌측) 쪽으로 완전히 패닝된 신호를 나타내고, 0은 중심 패닝된 신호에 대응하며, 1은 제2 입력 신호(우측) 쪽으로 완전히 패닝된 신호를 나타낸다. 스테레오 이미지 내의 감지된 각도는 패닝 인덱스를 나타낸다.
전술한 바와 같이, 패닝 인덱스 수정부(202)는 수신된 패닝 인덱스를 수정할 수 있다. 일 실시형태는 사용자 입력 인터페이스(705)를 포함하는데, 사용자 입력 인터페이스(705)는 이미지 수정 정도(예를 들어, 매핑 함수 곡률)를 제어하거나 및/또는 패닝 수정의 타입을 선택(예를 들어, 도 3 내지 도 5에 도시된 곡선 군에 대응하는 패닝 변경 기법 중 하나를 선택)하기 위한 파라미터를 제공할 수 있다.
전술한 바와 같이, 패닝 이득 결정부(602, 604)는 패닝 이득을 생성할 수 있으며, 그런 다음 이 패닝 이득은 리패닝부(606)에 공급될 수 있으며, 리패닝부(606)는 전술한 바와 같이 수정된 스테레오 이미지(즉, 리패닝된 스테레오 신호)를 이용하여 출력 스테레오 신호를 생성한다. 주파수-시간 유닛(706)이 출력 스테레오 신호를 시간 영역으로 변환하며, 이에 따라 시간 영역 출력 스테레오 신호 x' 1(t) 및 x' 2(t)를 출력한다.
장치(700)의 일 실시형태에서, 시간 영역 신호는 48kHz 샘플링 레이트로, 512 또는 1024인 블록 크기를 가진 고속 푸리에 변환을 이용하는 유닛(702)을 통해 주파수 영역으로 변환될 수 있다. 본 발명자는, 다항식 근사치가 패닝 인덱스 수정부(202)에 의해 사용되는 패닝 인덱스 매핑 함수에 대해 다항식 차수가 3으로 설정되고 패닝 이득 결정부(602 및 604)에 의해 이용된 패닝 이득 계산에 대해 2로 설정되는 경우, 정확도의 양호한 절충점 및 복잡도의 감소를 발견하였다. 리패닝 파라미터 p=4이고 다항식 차수가 3인 경우, 다항식 계수는 [a 3 a 2 a 1 a 0 ] = [4.5214 -8.4350 4.8328 0.1724]일 수 있다. 그 다음에, 다항식 함수는
Figure 112017064440796-pct00035
로서 패닝 인덱스 수정부에 의해 사용될 수 있다.
실시예는 도 7에 도시된 모든 특징을 포함할 수 있지만, 리패닝부(606)만을 포함할 수도 있다. 예를 들어, 비트스트림은 패닝 이득, 수정된 패닝 이득, 및 주파수 영역 입력 스테레오 신호를 포함할 수 있으며, 이들 전부는 리패닝부(606)에 공급될 수 있다. 다른 변형 예에서, 패닝 인덱스는 비트스트림에 포함될 수 있으며, 따라서 패닝 인덱스 결정부(704)기 필요하지 않을 수 있다.
도 8은 일 실시예에 따른 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 방법을 나타낸 도면이다.
단계 800은 패닝 인덱스 및 패닝 이득을 획득하는 단계를 포함하고, 획득된 패닝 인덱스는 입력 스테레오 신호의 스테레오 신호 시간-주파수 세그먼트에 대한 패닝 위치를 나타내며, 획득된 패닝 이득은 입력 스테레오 신호의 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 패닝 위치를 나타낸다. 전술한 인덱스와 이득은 비트스트림으로부터 직접 획득되거나, 또는 전술한 바와 같이 입력 스테레오 신호에 기초하여 계산되거나, 또는 이들의 조합을 통해 획될 수 있다.
단계 802는 주파수 대역폭 내의 스테레오 신호 시간-주파수 세그먼트의 획득된 패닝 인덱스 중 적어도 전부에 매핑 함수를 적용하는 단계를 포함한다. 단계 804는, 수정된 패닝 인덱스에 기초하여, 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하는 단계를 포함한다.
단계 806은 수정된 패닝 이득과, 시간 및 주파수에서의 수정된 패닝 이득에 대응하는 획득된 패닝 이득 간의 비율에 따라 입력 스테레오 신호를 리패닝하는 단계를 포함한다. 즉, 패닝 이득은 예를 들어, 동일한 시간-주파수 빈 또는 세그먼트에 대한 값을 포함하는 경우에 서로 일치한다.
본 발명의 실시예는 컴퓨터 시스템 상에서 실행되기 위한 컴퓨터 프로그램에 구현될 수 있는데, 이 컴퓨터 프로그램은 컴퓨터 시스템과 같은 프로그램 가능한 장치 상에서 실행되는 경우 본 발명에 따른 방법의 단계를 수행하거나, 또는 프로그램 가능한 장치가 본 발명에 따른 장치 또는 시스템의 기능을 수행할 수 있게 하는 코드 부분을 적어도 포함한다.
컴퓨터 프로그램은 특정 응용 프로그램 및/또는 운영 체제와 같은 명령의 목록이다. 이 컴퓨터 프로그램은 예를 들어 서브루틴, 함수, 프로시저, 객체 메소드(object method), 객체 구현, 실행 가능한 애플리케이션, 애플릿(applet), 서블릿(servlet), 소스 코드, 객체 코드, 공유 라이브러리/동적 로드 라이브러리 및/또는 컴퓨터 시스템 상에서의 실행을 위해 설계된 다른 명령 시퀀스 중 하나 이상을 포함할 수 있다.
컴퓨터 프로그램은 컴퓨터 판독가능 저장 매체 상에 저장되어 있거나, 또는 컴퓨터 판독가능 전송매체를 통해 컴퓨터 시스템으로 전송될 수 있다. 컴퓨터 프로그램의 전부나 일부가 일시적인 또는 비일시적인 컴퓨터 판독가능 매체 상에 영구적으로 제공될 수 있으며, 탈착 가능하게(removably) 또는 원격으로 정보 처리 시스템에 연결된다. 몇 가지만 말하자면, 컴퓨터 판독가능 매체는, 예를 들어 그리고 제한없이, 디스크 및 테이프 저장 매체를 포함하는 마그네틱 저장 매체; 콤팩트 디스크 미디어(예를 들어, CD-ROM, CD-R 등)와 디지털 비디오 디스크 저장 매체와 같은 광학 저장 매체; 플래쉬 메모리, EEPROM, EPROM, ROM과 같은 반도체 기반 메모리 유닛을 포함하는 비휘발성 메모리 저장 매체; 강자성 디지털 메모리(ferromagnetic digital memory); MRAM; 레지스터, 버퍼 또는 캐시, 메인 메모리, RAM 등을 포함하는 휘발성 저장 매체; 및 컴퓨터 네트워크, 점대점 통신 설비, 및 반송파 전송 매체를 포함하는 데이터 전송 매체 중 임의의 수량을 포함할 수 있다.
이 프로세스의 실행을 관리하기 위해, 컴퓨터 프로세스는 보통 프로그램 또는 프로그램 중 일부를 수행하거나 실행하는 것, 현재 프로그램 값과 상태 정보, 및 운영 체제에 의해 사용된 자원을 포함한다. 운영 체제(OS)는 컴퓨터의 자원의 공유를 관리하고 프로그래머에게 이들 자원을 액세스하기 위해 사용되는 인터페이스를 제공하는 소프트웨어이다. 운영 체제는 시스템 데이터 및 사용자 입력을 처리하며, 사용자와 이 시스템의 프로그램에 대한 서비스로서 태스크 및 내부 시스템 자원을 할당하고 관리함으로써 응답한다.
컴퓨터 시스템은 예를 들어, 하나 이상의 처리 유닛, 연관된 메모리 및 다수의 입력/출력(I/O) 장치를 포함할 수 있다. 컴퓨터 프로그램을 실행하는 경우, 컴퓨터 시스템은 컴퓨터 프로그램에 따라 정보를 처리하고, 그에 따라 I/O 장치를 통해 출력 정보를 생성한다.
본 명세서에서 설명하는 연결은, 예컨대 중간 장치를 통해 신호를 각각의 노드, 유닛 또는 장치에 송신하거나 또는 이들로부터 신호를 수신하기에 적합한 임의의 타입의 연결일 수 있다. 따라서, 묵시적으로 또는 달리 언급되지 않는 한, 연결은 예를 들어, 직접 연결이거나 간접 연결일 수 있다. 이 연결은 단일 연결, 복수의 연결, 단방향 연결, 또는 양방향 연결인 것으로 도시되거나 설명될 수 있다. 하지만, 서로 다른 실시예에서는 연결을 다르게 구현할 수 있다. 예를 들어, 양방향 연결보다는 별도의 단방향 연결이 사용될 수 있으며, 그 반대로도 동일하다. 또한, 복수의 연결은 복수의 신호를 순차적으로 또는 시간 다중화 방식으로 전달하는 단일 연결로 대체될 수 있다. 마찬가지로, 다중 신호를 전송하는 단일 연결은 이들 신호의 서브 세트를 운반하는 다양한 연결로 분리될 수 있다. 따라서, 신호를 전달하기 위해 많은 옵션이 존재한다.
당업자는 로직 블록들 간의 경계가 단지 예시적인 것일 뿐이고 다른 실시예에서는 로직 블록이나 회로 엘리먼트를 병합하거나 또는 다양한 로직 블록 또는 회로 엘리먼트 상에 기능을 대체하여 분리할 수 있다는 것을 알 수 있을 것이다. 따라서, 본 명세서에 도시된 아키텍처는 단지 예시적인 것일 뿐이며, 실제로 동일한 기능을 얻는 많은 다른 아키텍처가 구현될 수 있다고 이해해야 한다.
따라서, 원하는 기능을 얻을 수 있도록, 동일한 기능을 얻기 위한 컴포넌트의 임의의 배치가 효과적으로 "관련"되어 있다. 따라서, 특정한 기능을 달성하기 위해 결합되는 임의의 2개의 구성 요소가 아키텍처 또는 중간 컴포넌트와 관계없이 원하는 기능이 달성되도록 서로 "관련"되어 있다고 간주될 수 있다. 마찬가지로, 이와 같이 연관된 2개의 컴포넌트는 원하는 기능을 얻기 위해 "작동 가능하게 연결"되거나 또는 "작동 가능하게 결합"된 것으로 볼 수 있다.
또한, 당업자는 전술한 동작들 간의 경계가 예시적인 것일 뿐임을 인지할 것이다. 다중 동작은 단일 동작으로 결합될 수 있고, 단일 동작은 추가적인 동작으로 분할될 수 있으며, 동작은 시간상 적어도 부분적으로 겹쳐서 수행될 수 있다 또한, 대안적인 실시예는 특정한 동작의 다수의 인스턴스를 포함할 수 있고, 동작의 순서는 다양한 다른 실시예에서 변경될 수 있다.
또한 예를 들어, 이러한 예나 이러한 중 일부는, 임의의 적절한 타입의 하드웨어 기술 언어(hardware description language)에서와 같이, 물리적 회로의 섬세한 표현이나 코드 표현 또는 물리적 회로로 변환 가능한 논리적인 표현으로서 구현될 수 있다.
또한, 본 발명은 프로그램 가능하지 않은 하드웨어에 구현된 물리적 장치 또는 물리적 유닛에 한정되지 않지만, 적합한 프로그램 코드에 따라 작동함으로써 원하는 장치 기능을 수행할 수 있는 프로그램 가능한 장치 또는 유닛(본 출원에서 보통 컴퓨터 시스템이라고 함), 예컨대 메인 프레임, 미니 컴퓨터, 서버, 워크스테이션, 개인용 컴퓨터, 노트패드, 개인 정보 단말기, 전자 게임, 자동차 및 다른 임베디드 시스템, 모바일 폰, 및 다양한 다른 무선 장치에 적용될 수도 있다.
하지만, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 본 명세서 및 도면은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.

Claims (16)

  1. 제1 및 제2 오디오 신호를 포함하는 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치로서,
    컴퓨터 프로그램을 저장하는 메모리; 및
    상기 컴퓨터 프로그램을 실행시킴으로써 상기 오디오 신호 처리 장치가,
    패닝 인덱스(panning index)와 패닝 이득(panning gain)을 획득하고 - 상기 패닝 인덱스는 스테레오 신호 시간-주파수 세그먼트(stereo signal time-frequency segment)에 대한 패닝 위치(panning location)를 나타내고, 상기 패닝 이득은 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 패닝 위치를 나타냄 -,
    주파수 대역폭 내에 있는 상기 스테레오 신호 시간-주파수 세그먼트의 적어도 모든 패닝 인덱스(at least all panning index)에 매핑 함수를 적용하여, 수정된 패닝 인덱스를 제공하고,
    상기 수정된 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하고,
    상기 수정된 패닝 이득과, 시간 및 주파수에서의 상기 수정된 패닝 이득에 대응하는 상기 제1 및 제2 오디오 신호의 상기 패닝 이득 간의 비율에 따라 상기 스테레오 신호를 리패닝(re-pan)하여, 리패닝된 스테레오 신호를 제공하도록,
    구성된 프로세서(processor)
    를 포함하고,
    상기 프로세서는 추가적으로, 상기 컴퓨터 프로그램을 실행시킴으로써 상기 오디오 신호 처리 장치가,
    시간 및 주파수에서 대응하는 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트 값을 비교한 것에 기초하여, 상기 적어도 모든 패닝 인덱스를 결정하고,
    상기 적어도 모든 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 상기 패닝 이득을 결정하도록,
    더 구성되는, 오디오 신호 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 적어도 모든 패닝 인덱스에 비선형 매핑 함수를 적용하도록 구성된, 오디오 신호 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 매핑 함수는 시그모이드 함수(sigmoid function)에 기초하는, 오디오 신호 처리 장치.
  4. 제3항에 있어서,
    상기 매핑 함수는 아래의 등식으로서 표현되거나 또는 아래의 등식에 기초하고,

    여기서,
    Figure 112017064440796-pct00037
    는 패닝 인덱스를 나타내고,
    Figure 112017064440796-pct00038
    는 수정된 패닝 인덱스를 나타내며, a는 매핑 함수 곡률을 제어하는, 오디오 신호 처리 장치.
  5. 제1항에 있어서,
    상기 프로세서는 상기 적어도 모든 패닝 인덱스에 다항식 매핑 함수를 적용하도록 구성된, 오디오 신호 처리 장치.
  6. 제1항에 있어서,
    상기 프로세서는 아래의 등식에 따라 상기 스테레오 신호를 리패닝하도록 구성되고,
    Figure 112018056506331-pct00039

    여기서,
    Figure 112018056506331-pct00040
    는 상기 제1 오디오 신호의 시간-주파수 신호 세그먼트를 나타내고,
    Figure 112018056506331-pct00041
    는 상기 제2 오디오 신호의 시간-주파수 신호 세그먼트를 나타내며,
    Figure 112018056506331-pct00042
    는 상기 리패닝된 스테레오 신호 중 리패닝된 제1 오디오 신호의 시간-주파수 신호 세그먼트를 나타내고,
    Figure 112018056506331-pct00043
    는 상기 리패닝된 스테레오 신호 중 리패닝된 제2 오디오 신호의 시간-주파수 신호 세그먼트를 나타내며,
    Figure 112018056506331-pct00044
    는 상기 제1 오디오 신호에 대한 시간-주파수 신호 세그먼트 패닝 이득(time-frequency signal segment panning gain)을 나타내고,
    Figure 112018056506331-pct00045
    는 상기 제2 오디오 신호에 대한 시간-주파수 신호 세그먼트 패닝 이득을 나타내며,
    Figure 112018056506331-pct00046
    는 상기 제1 오디오 신호에 대한 시간-주파수 신호 세그먼트 수정 패닝 이득(time-frequency signal segment modified panning gain)을 나타내고,
    Figure 112018056506331-pct00047
    는 상기 제2 오디오 신호에 대한 시간-주파수 신호 세그먼트 수정 패닝 이득을 나타내는, 오디오 신호 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    Figure 112018056506331-pct00048
    에 기초하여 상기 수정된 패닝 이득을 결정하도록 구성되는, 오디오 신호 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는, 적어도 1500Hz인 오디오 신호에 대한 값을 가진 스테레오 신호 시간-주파수 세그먼트의 모든 패닝 인덱스에 상기 매핑 함수를 적용하도록 구성된, 오디오 신호 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는, 상기 스테레오 신호 시간-주파수 세그먼트의 모든 패닝 인덱스에 상기 매핑 함수를 적용하도록 구성된, 오디오 신호 처리 장치.
  10. 제1항에 있어서,
    상기 프로세서는 추가적으로, 상기 매핑 함수의 곡선을 선택하기 위한 파라미터를 수신하도록 구성된, 오디오 신호 처리 장치.
  11. 제1항에 있어서,
    상기 프로세서는 다항식 함수에 기초하여, 시간-주파수 신호 세그먼트 값을 비교한 것에 기초하여 상기 적어도 모든 패닝 인덱스를 결정하거나 및/또는 시간-주파수 신호 세그먼트에 대한 상기 패닝 이득을 결정하는, 오디오 신호 처리 장치.
  12. 제1항에 있어서,
    상기 프로세서는, 추가적으로,
    상기 컴퓨터 프로그램을 실행시킴으로써 상기 오디오 신호 처리 장치가,
    상기 스테레오 신호를 시간 영역에서 주파수 영역으로 변환하거나, 또는
    상기 리패닝된 스테레오 신호를 상기 주파수 영역에서 상기 시간 영역으로 변환하도록,
    구성된, 오디오 신호 처리 장치.
  13. 제1항에 있어서,
    상기 프로세서는, 추가적으로,
    상기 컴퓨터 프로그램을 실행시킴으로써 상기 오디오 신호 처리 장치가,
    상기 리패닝된 스테레오 신호의 제1 오디오 신호와 제2 오디오 신호 간의 크로스토크를 제거하도록,
    구성된, 오디오 신호 처리 장치.
  14. 제1 및 제2 오디오 신호를 포함하는 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 방법으로서,
    패닝 인덱스(panning index) 및 패닝 이득을 획득하는 단계 - 상기 패닝 인덱스는 스테레오 신호 시간-주파수 세그먼트(stereo signal time-frequency segment)에 대한 패닝 위치를 나타내고, 상기 패닝 이득은 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 패닝 위치를 나타냄 -;
    주파수 대역폭 내에 있는 상기 스테레오 신호 시간-주파수 세그먼트의 패닝 인덱스 중 적어도 모든 패닝 인덱스에 매핑 함수를 적용하여, 수정된 패닝 인덱스를 제공하는 단계;
    상기 수정된 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 수정된 패닝 이득을 결정하는 단계; 및
    상기 수정된 패닝 이득과, 시간 및 주파수에서의 상기 수정된 패닝 이득에 대응하는 상기 패닝 이득 간의 비율에 따라 상기 스테레오 신호를 리패닝(repanning)하는 단계
    를 포함하고,
    시간 및 주파수에서 대응하는 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트 값을 비교한 것에 기초하여, 상기 적어도 모든 패닝 인덱스를 결정하는 단계; 및
    상기 적어도 모든 패닝 인덱스에 기초하여, 상기 제1 및 제2 오디오 신호의 시간-주파수 신호 세그먼트에 대한 상기 패닝 이득을 결정하는 단계
    를 더 포함하는 오디오 신호 처리 방법.
  15. 컴퓨터 판독가능 저장 매체로서,
    컴퓨터 상에서 실행되는 경우, 제14항의 오디오 신호 처리 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 저장 매체.
  16. 삭제
KR1020177018652A 2015-04-24 2015-04-24 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법 KR101944758B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/058879 WO2016169608A1 (en) 2015-04-24 2015-04-24 An audio signal processing apparatus and method for modifying a stereo image of a stereo signal

Publications (2)

Publication Number Publication Date
KR20170092669A KR20170092669A (ko) 2017-08-11
KR101944758B1 true KR101944758B1 (ko) 2019-02-01

Family

ID=52998155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018652A KR101944758B1 (ko) 2015-04-24 2015-04-24 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법

Country Status (13)

Country Link
US (1) US10057702B2 (ko)
EP (1) EP3216234B1 (ko)
JP (1) JP6562572B2 (ko)
KR (1) KR101944758B1 (ko)
CN (1) CN107534823B (ko)
AU (1) AU2015392163B2 (ko)
BR (1) BR112017022925B1 (ko)
CA (1) CA2983471C (ko)
MX (1) MX2017013642A (ko)
MY (1) MY196134A (ko)
RU (1) RU2683489C1 (ko)
WO (1) WO2016169608A1 (ko)
ZA (1) ZA201707181B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3373604B1 (en) 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
KR102418168B1 (ko) * 2017-11-29 2022-07-07 삼성전자 주식회사 오디오 신호 출력 장치 및 방법, 이를 이용한 디스플레이 장치
US10565973B2 (en) * 2018-06-06 2020-02-18 Home Box Office, Inc. Audio waveform display using mapping function
US20240163626A1 (en) * 2022-11-11 2024-05-16 Bang & Olufsen, A/S Adaptive sound image width enhancement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304429A1 (en) * 2007-06-06 2008-12-11 Michael Bevin Method of transmitting data in a communication system
KR100919160B1 (ko) * 2004-11-29 2009-09-28 노키아 코포레이션 2개의 라우드스피커를 위한 스테레오 확장 네트워크
KR101355414B1 (ko) * 2006-01-26 2014-01-24 소니 주식회사 오디오 신호 처리 장치, 오디오 신호 처리 방법 및 오디오신호 처리 프로그램

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3427393A (en) 1992-12-31 1994-08-15 Desper Products, Inc. Stereophonic manipulation apparatus and method for sound image enhancement
US5661808A (en) * 1995-04-27 1997-08-26 Srs Labs, Inc. Stereo enhancement system
JP3740670B2 (ja) 1997-05-20 2006-02-01 株式会社河合楽器製作所 ステレオ音像拡大装置
US7231060B2 (en) 1997-08-26 2007-06-12 Color Kinetics Incorporated Systems and methods of generating control signals
US6928168B2 (en) 2001-01-19 2005-08-09 Nokia Corporation Transparent stereo widening algorithm for loudspeakers
US7257231B1 (en) 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7970144B1 (en) * 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
JP5298649B2 (ja) * 2008-01-07 2013-09-25 株式会社コルグ 音楽装置
US8129606B2 (en) * 2009-12-04 2012-03-06 Roland Corporation Musical tone signal-processing apparatus
US20130070927A1 (en) * 2010-06-02 2013-03-21 Koninklijke Philips Electronics N.V. System and method for sound processing
KR101871234B1 (ko) 2012-01-02 2018-08-02 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100919160B1 (ko) * 2004-11-29 2009-09-28 노키아 코포레이션 2개의 라우드스피커를 위한 스테레오 확장 네트워크
KR101355414B1 (ko) * 2006-01-26 2014-01-24 소니 주식회사 오디오 신호 처리 장치, 오디오 신호 처리 방법 및 오디오신호 처리 프로그램
US20080304429A1 (en) * 2007-06-06 2008-12-11 Michael Bevin Method of transmitting data in a communication system

Also Published As

Publication number Publication date
AU2015392163B2 (en) 2018-12-20
CN107534823A (zh) 2018-01-02
KR20170092669A (ko) 2017-08-11
CA2983471A1 (en) 2016-10-27
JP6562572B2 (ja) 2019-08-21
US20170272881A1 (en) 2017-09-21
EP3216234A1 (en) 2017-09-13
ZA201707181B (en) 2018-11-28
WO2016169608A1 (en) 2016-10-27
AU2015392163A1 (en) 2017-11-23
MX2017013642A (es) 2018-07-06
US10057702B2 (en) 2018-08-21
CA2983471C (en) 2019-11-26
EP3216234B1 (en) 2019-09-25
MY196134A (en) 2023-03-16
JP2018505583A (ja) 2018-02-22
BR112017022925A2 (pt) 2018-07-24
CN107534823B (zh) 2020-04-28
RU2683489C1 (ru) 2019-03-28
BR112017022925B1 (pt) 2022-09-13

Similar Documents

Publication Publication Date Title
JP6251809B2 (ja) サウンドステージ拡張用の装置及び方法
JP6703525B2 (ja) 音源を強調するための方法及び機器
US9264838B2 (en) System and method for variable decorrelation of audio signals
KR101944758B1 (ko) 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법
JP6843992B2 (ja) 相関分離フィルタの適応制御のための方法および装置
EP2792168A1 (en) Audio processing method and audio processing apparatus
EP3039675A1 (en) Hybrid waveform-coded and parametric-coded speech enhancement
EP3791605A1 (en) An apparatus, method and computer program for audio signal processing
US20150334500A1 (en) Producing a multichannel sound from stereo audio signals
EP2984857A1 (en) Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio
CN106941006B (zh) 用于音频信号的分离和低音增强的方法、装置和系统
KR20210071972A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US20220095009A1 (en) Method and apparatus for controlling audio sound quality in terminal using network
CN111147655B (zh) 模型生成方法和装置
WO2017171864A1 (en) Acoustic environment understanding in machine-human speech communication
JP2010217268A (ja) 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置
JP2017212732A (ja) チャンネル数変換装置およびプログラム
WO2023187208A1 (en) Methods and systems for immersive 3dof/6dof audio rendering
KR20240012519A (ko) 3차원 오디오 신호를 처리하기 위한 방법 및 장치
JP2018029306A (ja) チャンネル数変換装置およびそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant