KR102660704B1 - 스펙트럼적 직교 오디오 성분 처리 - Google Patents

스펙트럼적 직교 오디오 성분 처리 Download PDF

Info

Publication number
KR102660704B1
KR102660704B1 KR1020227015442A KR20227015442A KR102660704B1 KR 102660704 B1 KR102660704 B1 KR 102660704B1 KR 1020227015442 A KR1020227015442 A KR 1020227015442A KR 20227015442 A KR20227015442 A KR 20227015442A KR 102660704 B1 KR102660704 B1 KR 102660704B1
Authority
KR
South Korea
Prior art keywords
component
hyper
residual
intermediate component
clause
Prior art date
Application number
KR1020227015442A
Other languages
English (en)
Other versions
KR20220076518A (ko
Inventor
재커리 셀데스
Original Assignee
붐클라우드 360 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360 인코포레이티드 filed Critical 붐클라우드 360 인코포레이티드
Priority to KR1020247013048A priority Critical patent/KR20240060678A/ko
Publication of KR20220076518A publication Critical patent/KR20220076518A/ko
Application granted granted Critical
Publication of KR102660704B1 publication Critical patent/KR102660704B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

시스템은 스펙트럼적으로 직교하는 사운드 성분들을 사용하여 오디오 신호를 처리한다. 이 시스템은 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 요소 및 측면 요소를 생성하는 회로를 포함한다. 회로는 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 중간 성분을 생성한다. 회로는, 예컨대, 패닝 또는 바이노럴 처리, 동적 범위 처리 또는 다른 유형의 처리를 포함하는 공간 큐 처리를 제공하도록, 하이퍼 중간 성분을 필터링한다. 회로는 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널과 우측 출력 채널을 생성한다.

Description

스펙트럼적 직교 오디오 성분 처리
본 개시는 일반적으로 오디오 처리에 관한 것이고, 보다 구체적으로는 공간 오디오 처리에 관한 것이다.
개념적으로, 좌우 스테레오 신호의 측면(또는 "공간") 성분은 공간 정보를 포함하는 좌측 및 우측 채널의 부분(즉, 사운드스테이지에서 중앙의 좌측 또는 우측에 나타나는 스테레오 신호의 사운드)으로 간주될 수 있다. 반대로, 좌우 스테레오 신호의 중간(또는 "비공간") 성분은 비공간 정보를 포함하는 좌측 및 우측 채널의 부분(사운드스테이지의 중앙에 나타나는 스테레오 신호의 사운드)으로 간주될 수 있다. 중간 성분은 공간적이지 않은 것으로 인식되는 스테레오 신호의 에너지를 포함하면서, 또한 일반적으로 사운드스테이지의 중앙에 지각적으로 위치하지 않는 스테레오 신호의 요소로부터의 에너지를 갖는다. 유사하게, 측면 성분은 공간적인 것으로 인식되는 스테레오 신호의 에너지를 포함하면서, 또한 일반적으로 사운드스테이지의 중앙에 지각적으로 위치한 스테레오 신호의 요소로부터의 에너지를 갖는다. 오디오 처리의 가능성의 범위를 향상시키기 위해서는, 스펙트럼적으로 서로 "직교"인 중간 및 측면 성분의 부분을 분리시켜 그에 대해 동작하는 것이 바람직하다.
실시예는 스테레오 오디오 신호 또는 다른 다채널 오디오 신호의 하이퍼 중간(hyper mid), 하이퍼 측면(hyper side), 잔차 중간(residual mid), 또는 잔차 측면(residual side) 성분과 같은 스펙트럼적으로 직교하는 오디오 성분들을 사용하는 오디오 처리에 관한 것이다. 하이퍼 중간 성분과 하이퍼 측면 성분은 스펙트럼적으로 서로 직교하고, 잔차 중간 성분과 잔차 측면 성분은 스펙트럼적으로 서로 직교한다.
일부 실시예는 오디오 신호를 처리하기 위한 시스템을 포함한다. 이 시스템은 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 요소 및 측면 요소를 생성하는 회로를 포함한다. 회로는 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 중간 성분을 생성한다. 회로는, 예컨대, 패닝(panning) 또는 바이노럴(binaural) 처리, 동적 범위 처리 또는 다른 유형의 처리를 포함하는 공간 큐 처리를 제공하도록 하이퍼 중간 성분을 필터링한다. 회로는 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성한다.
일부 실시예에서, 회로는 중간 성분 및 측면 성분에 푸리에 변환을 적용하여 중간 성분 및 측면 성분을 주파수 도메인으로 변환한다. 회로는 주파수 도메인의 중간 성분의 크기에서 주파수 도메인의 측면 성분의 크기를 감산하여 하이퍼 중간 성분을 생성한다.
일부 실시예에서, 회로는 하이퍼 중간 성분의 부대역(subband)을 이득 조정하거나 시간 지연하도록 하이퍼 중간 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 중간 성분에 동적 범위 처리를 적용하도록 하이퍼 중간 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 하이퍼 중간 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 중간 성분에 머신 러닝 기반 스타일 전달(machine-learning based style transfer), 변환 또는 재합성을 적용하도록 하이퍼 중간 성분을 필터링한다.
일부 실시예에서, 회로는 중간 성분의 스펙트럼 에너지로부터 하이퍼 중간 성분의 스펙트럼 에너지를 제거한 것을 포함하는 잔차 중간 성분을 생성하고, 잔차 중간 성분을 필터링하고, 필터링된 잔차 중간 성분을 사용하여 좌측 및 우측 출력 채널을 생성한다.
일부 실시예에서, 회로는 잔차 중간 성분의 부대역을 이득 조정하거나 시간 지연하도록 잔차 중간 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 중간 성분에 동적 범위 처리를 적용하도록 잔차 중간 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 잔차 중간 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 잔차 중간 성분을 필터링한다.
일부 실시예에서, 회로는 중간 성분에 푸리에 변환을 적용하여 중간 성분을 주파수 도메인으로 변환한다. 회로는 주파수 도메인의 중간 성분의 크기에서 주파수 도메인의 하이퍼 중간 성분의 크기를 감산하여 잔차 중간 성분을 생성한다.
일부 실시예에서, 회로는 하이퍼 중간 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 하이퍼 중간 성분을 시간 도메인으로 변환하고, 중간 성분을 시간 지연시켜 지연된 중간 성분을 생성하고, 시간 도메인의 지연된 중간 성분에서 시간 도메인의 하이퍼 중간 성분을 감산하여 잔차 중간 성분을 생성하고, 잔차 중간 성분을 필터링하고, 필터링된 잔차 중간 성분을 사용하여 좌측 및 우측 출력 채널을 생성한다.
일부 실시예에서, 회로는 측면 성분의 스펙트럼 에너지로부터 중간 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 측면 성분을 생성하고, 하이퍼 측면 성분을 필터링하고, 필터링된 하이퍼 측면 성분을 사용하여 좌측 및 우측 출력 채널을 생성한다.
일부 실시예에서, 회로는 중간 성분 및 측면 성분에 푸리에 변환을 적용하여 중간 성분 및 측면 성분을 주파수 도메인으로 변환한다. 회로는 주파수 도메인의 측면 성분의 크기에서 주파수 도메인의 중간 성분의 크기를 감산하여 하이퍼 측면 성분을 생성한다.
일부 실시예에서, 회로는 하이퍼 측면 성분의 부대역을 이득 조정하거나 시간 지연하도록 하이퍼 측면 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 측면 성분에 동적 범위 처리를 적용하도록 하이퍼 측면 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 하이퍼 측면 성분을 필터링한다. 일부 실시예에서, 회로는 하이퍼 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 하이퍼 측면 성분을 필터링한다.
일부 실시예에서, 회로는 측면 성분의 스펙트럼 에너지로부터 중간 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 측면 성분을 생성하고, 측면 성분의 스펙트럼 에너지로부터 하이퍼 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하는 잔차 측면 성분을 생성하고, 잔차 측면 성분을 필터링하고, 필터링된 잔차 측면 성분을 사용하여 좌측 및 우측 출력 채널을 생성한다.
일부 실시예에서, 회로는 잔차 측면 성분의 부대역을 이득 조정하거나 시간 지연하도록 잔차 측면 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 측면 성분에 동적 범위 처리를 적용하도록 잔차 측면 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 잔차 측면 성분을 필터링한다. 일부 실시예에서, 회로는 잔차 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 잔차 측면 성분을 필터링한다.
일부 실시예에서, 회로는 측면 성분에 푸리에 변환을 적용하여 측면 성분을 주파수 도메인으로 변환한다. 회로는 주파수 도메인의 측면 성분의 크기에서 주파수 도메인의 하이퍼 측면 성분의 크기를 감산하여 잔차 측면 성분을 생성한다.
일부 실시예에서, 회로는 측면 성분의 스펙트럼 에너지로부터 중간 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 측면 성분을 생성하고, 하이퍼 측면 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 하이퍼 중간 성분을 시간 도메인으로 변환하고, 측면 성분을 시간 지연시켜 지연된 측면 성분을 생성하고, 시간 도메인의 지연된 측면 성분에서 시간 도메인의 하이퍼 측면 성분을 감산하여 잔차 측면 성분을 생성하고, 잔차 측면 성분을 필터링하고, 필터링된 잔차 측면 성분을 사용하여 좌측 및 우측 출력 채널을 생성한다.
일부 실시예는 저장된 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체를 포함한다. 프로그램 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 성분 및 측면 성분을 생성하고, 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 중간 성분을 생성하고, 하이퍼 중간 성분을 필터링하고, 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하도록 적어도 하나의 프로세서를 구성한다.
일부 실시예는 회로에 의해 오디오 신호를 처리하기 위한 방법을 포함한다. 방법은 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 성분 및 측면 성분을 생성하는 단계와, 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하는 하이퍼 중간 성분을 생성하는 단계와, 하이퍼 중간 성분을 필터링하는 단계와, 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하는 단계를 포함한다.
개시된 실시예는 상세한 설명, 첨부된 특허청구범위 및 첨부된 도면으로부터 보다 쉽게 명백해질 다른 이점 및 특징을 갖는다. 도면에 대한 간략한 소개는 아래와 같다.
도 1은 하나 이상의 실시예에 따른 오디오 처리 시스템의 블록도이다.
도 2a는 하나 이상의 실시예에 따른 직교 성분 생성기의 블록도이다.
도 2b는 하나 이상의 실시예에 따른 직교 성분 생성기의 블록도이다.
도 2c는 하나 이상의 실시예에 따른 직교 성분 생성기의 블록도이다.
도 3은 하나 이상의 실시예에 따른 직교 성분 프로세서의 블록도이다.
도 4는 하나 이상의 실시예에 따른 부대역 공간 프로세서의 블록도이다.
도 5는 하나 이상의 실시예에 따른 크로스토크 보상 프로세서(crosstalk compensation processor)의 블록도이다.
도 6은 하나 이상의 실시예에 따른 크로스토크 시뮬레이션 프로세서의 블록도이다.
도 7은 하나 이상의 실시예에 따른 크로스토크 제거 프로세서의 블록도이다.
도 8은 하나 이상의 실시예에 따른, 하이퍼 중간, 잔차 중간, 하이퍼 측면, 또는 잔차 측면 성분 중 적어도 하나를 사용하는 공간 처리를 위한 프로세스의 흐름도이다.
도 9는 하나 이상의 실시예에 따른, 하이퍼 중간, 잔차 중간, 하이퍼 측면, 또는 잔차 측면 성분 중 적어도 하나를 사용하는 크로스토크 처리에 대한 보상 및 부대역 공간 처리를 위한 프로세스의 흐름도이다.
도 10 내지 도 19는 하나 이상의 실시예에 따른, 예시적인 백색 잡음 신호의 중간 및 측면 성분의 스펙트럼 에너지를 도시하는 플롯이다.
도 20은 하나 이상의 실시예에 따른 컴퓨터 시스템의 블록도이다.
도면 및 다음 설명은 단지 예시를 위한 바람직한 실시예에 관한 것이다. 다음의 논의로부터, 청구된 것의 원리를 벗어나지 않으면서 채용될 수 있는 실행 가능한 대안으로서 본 명세서에 개시된 구조 및 방법의 대안적인 실시예가 쉽게 인식될 것이라는 점에 유의해야 한다.
이제, 첨부 도면에 그 예가 도시되어 있는 몇몇 실시예를 상세히 참조할 것이다. 실현 가능하다면 어디에서나 유사하거나 동일한 참조 번호가 도면에 사용되어 유사하거나 동일한 기능을 나타낼 수 있음에 유의한다. 도면은 단지 예시의 목적으로 개시된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 본 명세서에 기재된 원리로부터 벗어남이 없이 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 채용될 수 있음을 다음의 설명으로부터 용이하게 인식할 것이다.
실시예는 스펙트럼적으로 서로 직교하는 중간 및 측면 성분을 사용하는 공간 오디오 처리에 관한 것이다. 예를 들어, 오디오 처리 시스템은, 사운드스테이지의 중앙에 존재하는 스펙트럼 에너지에만 대응하는 중간 성분의 부분을 분리하는 하이퍼 중간 성분(hyper mid component), 또는 사운드스테이지의 중앙에 존재하지 않는 스펙트럼 에너지에만 대응하는 측면 성분의 부분을 분리하는 하이퍼 측면 성분(hyper side component)을 생성한다. 하이퍼 중간 성분은 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함하고, 하이퍼 측면 성분은 측면 성분의 스펙트럼 에너지로부터 중간 성분의 스펙트럼 에너지를 제거한 것을 포함한다. 오디오 처리 시스템은 또한 (예컨대, 중간 성분의 스펙트럼 에너지에서 하이퍼 중간 성분의 스펙트럼 에너지를 감산하는 것에 의해) 하이퍼 중간 성분이 제거된 중간 성분의 스펙트럼 에너지에 대응하는 잔차 중간 성분, 또는 (예컨대, 측면 성분의 스펙트럼 에너지에서 하이퍼 측면 성분의 스펙트럼 에너지를 감산하는 것에 의해) 하이퍼 측면 성분이 제거된 측면 성분의 스펙트럼 에너지에 대응하는 잔차 측면 성분을 생성할 수 있다. 이러한 직교 성분을 분리시키고 이러한 성분을 사용하여 다양한 유형의 오디오 처리를 수행함으로써, 오디오 처리 시스템은 오디오 콘텐츠의 표적화된 향상을 제공할 수 있다. 하이퍼 중간 성분은 사운드스테이지의 중앙에 있는 비공간(즉, 중간) 스펙트럼 에너지를 나타낸다. 예를 들어, 사운드스테이지의 중앙에 있는 비공간 스펙트럼 에너지는 영화의 대사나 음악의 주요 성악 콘텐츠를 포함할 수 있다. 하이퍼 중간에 대해 신호 처리 동작을 적용하면 사운드스테이지의 다른 곳에 존재하는 스펙트럼 에너지를 변경하지 않으면서 이러한 오디오 콘텐츠를 조정할 수 있다. 예를 들어, 일부 실시예에서는, 전형적인 인간의 보컬 범위에서 스펙트럼 에너지를 감소시키는 필터를 하이퍼 중간 성분에 적용함으로써 보컬 콘텐츠가 부분적으로 및/또는 완전히 제거될 수 있다. 다른 실시예에서는, (예컨대, 압축, 리버브(reverb) 및/또는 다른 오디오 처리 기술을 통해) 전형적인 인간의 보컬 범위에서 에너지를 증가시키는 필터에 의해 표적화된 보컬 향상 또는 보컬 콘텐츠에 대한 효과가 적용될 수 있다. 잔차 중간 성분은 사운드스테이지의 중앙에 있지 않은 비공간 스펙트럼 에너지를 나타낸다. 잔차 중간에 대해 신호 처리 기술을 적용하면 다른 성분들에 직교하게 유사한 변환이 발생할 수 있다. 예를 들어, 일부 실시예에서, 인지된 전체 이득의 최소 변화 및 보컬 프레즌스(vocal presence)의 최소 손실로 오디오 콘텐츠에 대한 공간적 확장 효과를 제공하기 위해, 잔차 중간 성분의 표적화된 스펙트럼 에너지는 부분적으로 및/또는 완전히 제거될 수 있는 반면, 잔차 측면 성분의 스펙트럼 에너지는 증가한다.
예시적 오디오 처리 시스템
도 1은 하나 이상의 실시예에 따른 오디오 처리 시스템(100)의 블록도이다. 오디오 처리 시스템(100)은 공간적으로 향상된 출력 오디오 신호를 생성하기 위해 입력 오디오 신호를 처리하는 회로이다. 입력 오디오 신호는 좌측 입력 채널(103) 및 우측 입력 채널(105)을 포함하고, 출력 오디오 신호는 좌측 출력 채널(121) 및 우측 출력 채널(123)을 포함한다. 오디오 처리 시스템(100)은 L/R-M/S 변환기 모듈(107), 직교 성분 생성기 모듈(113), 직교 성분 프로세서 모듈(117), M/S-L/R 변환기 모듈(119), 및 크로스토크 프로세서 모듈(141)을 포함한다. 일부 실시예에서, 오디오 처리 시스템(100)은 위에서 언급된 구성요소의 서브세트 및/또는 위에 언급된 구성요소에 대한 추가 구성요소를 포함한다. 일부 실시예에서, 오디오 처리 시스템(100)은 도 1에 도시된 것과 다른 순서로 입력 오디오 신호를 처리한다. 예를 들어, 오디오 처리 시스템(100)은 직교 성분 생성기 모듈(113) 및 직교 성분 프로세서 모듈(117)을 사용하여 처리하기 전에 크로스토크 처리를 통해 입력 오디오를 처리할 수 있다.
L/R-M/S 변환기 모듈(107)은 좌측 입력 채널(103) 및 우측 입력 채널(105)을 수신하고, 입력 채널들(103 및 105)로부터 중간 성분(109)(예컨대, 비공간 성분) 및 측면 성분(111)(예컨대, 공간 성분)을 생성한다. 일부 실시예에서, 중간 성분(109)은 좌측 입력 채널(103)과 우측 입력 채널(105)의 합에 기초하여 생성되고, 측면 성분(111)은 좌측 입력 채널(103)과 우측 입력 채널(105) 간의 차에 기초하여 생성된다. 일부 실시예에서는, 다채널 입력 오디오 신호(예컨대, 서라운드 사운드)로부터 여러 중간 및 측면 성분이 생성된다. 중간 성분(109) 및 측면 성분(111)을 생성하기 위해 다른 L/R-M/S 변환 유형이 사용될 수 있다.
직교 성분 생성기 모듈(113)은 중간 성분(109) 및 측면 성분(111)을 처리하여, 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및 잔차 측면 성분(S2) 중 적어도 하나를 생성한다. 하이퍼 중간 성분(M1)은 측면 성분(111)이 제거된 중간 성분(109)이다. 하이퍼 측면 성분(S1)은 중간 성분(109)의 스펙트럼 에너지가 제거된 측면 성분(111)의 스펙트럼 에너지이다. 잔차 중간 성분(M2)은 하이퍼 중간 성분(M1)의 스펙트럼 에너지가 제거된 중간 성분(109)의 스펙트럼 에너지이다. 잔차 측면 성분(S2)은 하이퍼 측면 성분(S1)의 스펙트럼 에너지가 제거된 측면 성분(111)의 스펙트럼 에너지이다. 일부 실시예에서, 오디오 처리 시스템(100)은 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및 잔차 측면 성분(S2) 중 적어도 하나를 처리함으로써 좌측 출력 채널(121) 및 우측 출력 채널(123)을 생성한다. 직교 성분 생성기 모듈(113)은 도 2a 내지 도 2c를 참조하여 추가로 설명된다.
직교 성분 프로세서 모듈(117)은 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및/또는 잔차 측면 성분(S2) 중 하나 이상을 처리한다. 성분들(M1, M2, S1, 및 S2)에 대한 처리는 공간 큐 처리(예컨대, 진폭 또는 지연 기반 패닝, 바이노럴 처리 등), 동적 범위 처리, 머신 러닝 기반 처리, 이득 적용, 잔향, 오디오 효과 추가, 또는 다른 유형의 처리와 같은 다양한 유형의 필터링을 포함할 수 있다. 일부 실시예에서, 직교 성분 프로세서 모듈(117)은 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및/또는 잔차 측면 성분(S2)를 사용하여 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행하여 처리된 중간 성분(131) 및 처리된 측면 성분(139)을 생성한다. 부대역 공간 처리는 오디오 신호의 중간 및 측면 성분의 주파수 부대역에 대해 수행되어 오디오 신호를 공간적으로 향상시키는 처리이다. 크로스토크 보상 처리는, 스피커에 대한 크로스토크 보상 또는 헤드폰에 대한 크로스토크 시뮬레이션과 같은, 크로스토크 처리로 인한 스펙트럼 아티팩트를 조정하는 오디오 신호에 대해 수행되는 처리이다. 직교 성분 프로세서 모듈(117)은 도 3을 참조하여 추가로 설명된다.
M/S-L/R 변환기 모듈(119)은 처리된 중간 성분(131) 및 처리된 측면 성분(139)를 수신하고, 처리된 좌측 성분(151) 및 처리된 우측 성분(159)을 생성한다. 일부 실시예에서, 처리된 좌측 성분(151)은 처리된 중간 성분(131)과 처리된 측면 성분(139)의 합에 기초하여 생성되고, 처리된 우측 성분(159)은 처리된 중간 성분(131)과 처리된 측면 성분(139) 간의 차에 기초하여 생성된다. 다른 M/S-L/R 변환 유형이 처리된 좌측 성분(151) 및 처리된 우측 성분(159)를 생성하는 데 사용될 수 있다.
크로스토크 프로세서 모듈(141)은 처리된 좌측 성분(151) 및 처리된 우측 성분(159)을 수신하고 그에 대한 크로스토크 처리를 수행한다. 크로스토크 처리는, 예를 들어, 크로스토크 시뮬레이션 또는 크로스토크 제거를 포함한다. 크로스토크 시뮬레이션은 스피커의 효과를 시뮬레이션하기 위해 오디오 신호(예컨대, 헤드폰을 통한 출력)에 대해 수행되는 처리이다. 크로스토크 제거는 스피커로 인한 크로스토크를 제거하기 위해 스피커를 통해 출력되도록 구성된 오디오 신호에 대해 수행되는 처리이다. 크로스토크 프로세서 모듈(141)은 좌측 출력 채널(121) 및 우측 출력 채널(123)을 출력한다.
예시적 직교 성분 생성기
도 2a 내지 도 2c는 하나 이상의 실시예에 따른 직교 성분 생성기 모듈(213, 223, 245) 각각의 블록도이다. 직교 성분 생성기 모듈(213, 223, 245)은 직교 성분 생성기 모듈(113)의 일 예이다.
도 2a를 참조하면, 직교 성분 생성기 모듈(213)은 감산 유닛(205), 감산 유닛(209), 감산 유닛(215) 및 감산 유닛(219)를 포함한다. 상술한 바와 같이, 직교 성분 생성기 모듈(113)은 중간 성분(109) 및 측면 성분(111)을 수신하고, 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및 잔차 측면 성분(S2) 중 하나 이상을 출력한다.
감산 유닛(205)는 중간 성분(109)의 스펙트럼 에너지에서 측면 성분(111)의 스펙트럼 에너지를 제거하여 하이퍼 중간 성분(M1)을 생성한다. 예를 들어, 감산 유닛(205)는 위상은 그대로 두고 주파수 도메인의 중간 성분(109)의 크기에서 주파수 도메인의 측면 성분(111)의 크기를 감산하여 하이퍼 중간 성분(M1)을 생성한다. 주파수 도메인에서의 감산은 시간 도메인 신호에 대한 푸리에 변환을 사용하여 주파수 도메인의 신호를 생성한 다음 주파수 도메인에서의 신호의 감산에 의해 수행될 수 있다. 다른 예에서, 주파수 도메인에서의 감산은 푸리에 변환 대신에 웨이블릿 변환(wavelet transform)을 사용하는 것과 같은 다른 방식으로 수행될 수 있다. 감산 유닛(209)는 중간 성분(109)의 스펙트럼 에너지에서 하이퍼 중간 성분(M1)의 스펙트럼 에너지를 제거하여 잔차 중간 성분(M2)을 생성한다. 예를 들어, 감산 유닛(209)는 위상은 그대로 두고 주파수 도메인의 중간 성분(109)의 크기에서 주파수 도메인의 하이퍼 중간 성분(M1)의 크기를 감산하여 잔차 중간 성분(M2)을 생성한다. 시간 도메인에서 중간 성분에서 측면 성분을 감산하면 신호의 원래의 우측 채널이 생성되지만, 주파수 도메인에서의 위와 같은 동작은 측면 성분의 스펙트럼 에너지와 상이한 중간 성분의 스펙트럼 에너지의 부분(M1 또는 하이퍼 중간으로 지칭됨)과 측면 성분의 스펙트럼 에너지와 동일한 중간 성분의 스펙트럼 에너지의 부분(M2 또는 잔차 중간으로 지칭됨)을 분리하고 구별한다.
일부 실시예에서는, (예컨대, 주파수 도메인에서 하나 이상의 빈(bin)에 대해) 중간 성분(109)의 스펙트럼 에너지에서 측면 성분(111)의 스펙트럼 에너지의 감산이 하이퍼 중간 성분(M1)에 대한 음의 값을 초래할 때, 추가 처리가 사용될 수 있다. 일부 실시예에서, 중간 성분(109)의 스펙트럼 에너지에서 측면 성분(111)의 스펙트럼 에너지의 감산이 음의 값을 초래할 때, 하이퍼 중간 성분(M1)은 0 값으로 클램핑된다. 일부 실시예에서는, 음의 값의 절대값을 하이퍼 중간 성분(M1)의 값으로 취함으로써 하이퍼 중간 성분(M1)은 랩 어라운드된다. 중간 성분(109)의 스펙트럼 에너지에서 측면 성분(111)의 스펙트럼 에너지의 감산이 M1에 대한 음의 값을 초래할 때, 다른 유형의 처리가 사용될 수 있다. 하이퍼 측면 성분(S1), 잔차 측면 성분(S2), 또는 잔차 중간 성분(M2)을 생성하는 감산이 음수를 초래할 때, 0에서의 클램핑, 랩 어라운드, 또는 다른 처리와 같은 유사한 추가 처리가 사용될 수 있다. 감산이 음의 값을 초래할 때 하이퍼 중간 성분(M1)을 0에서 클램핑하면 M1과 두 측면 성분 사이의 스펙트럼 직교성이 보장될 것이다. 마찬가지로, 감산이 음의 값을 초래할 때 하이퍼 측면 성분(S1)을 0에서 클램핑하면 S1과 두 중간 성분 사이의 스펙트럼 직교성이 보장될 것이다. 하이퍼 중간 및 측면 성분들과 이들의 적절한 중간/측면 상대 성분들(즉, 하이퍼 중간의 경우 측면 성분, 하이퍼 측면의 경우 중간 성분) 사이에 직교성을 생성함으로써, 도출된 잔차 중간(M2) 및 잔차 측면(S2) 성분들은 이들의 적절한 중간/측면 상대 성분에 직교하지 않은(즉, 이와 공통의) 스펙트럼 에너지를 포함한다. 즉, 하이퍼 중간에 대해 0에서의 클램핑을 적용하고 그 M1 성분을 사용하여 잔차 중간을 도출할 때, 측면 성분과 공통되는 스펙트럼 에너지를 갖지 않는 하이퍼 중간 성분 및 측면 성분과 완전히 공통되는 스펙트럼 에너지를 갖는 잔차 중간 성분이 생성된다. 하이퍼 측면을 0으로 클램핑할 때 하이퍼 측면과 잔차 측면에도 동일한 관계가 적용된다. 주파수 도메인 처리를 적용할 때 일반적으로 주파수와 타이밍 정보 사이에 분해능의 트레이드오프가 존재한다. 주파수 분해능이 증가함에 따라(즉, FFT 창 크기 및 주파수 빈 수가 증가함에 따라) 시간 분해능은 감소하고 그 반대의 경우도 마찬가지이다. 위에서 설명한 스펙트럼 감산은 주파수 빈 단위로 발생하며, 따라서, 하이퍼 중간 성분에서 보컬 에너지를 제거할 때와 같은 특정 상황에서는 FFT 창 크기가 큰 것이 바람직할 수 있다(예컨대, 실수 값 입력 신호가 주어지면 4096개의 주파수 빈을 초래하는 8192개의 샘플). 다른 상황에서는 더 큰 시간 분해능이 필요할 수 있으며, 따라서, 전체 대기 시간과 주파수 분해능이 낮아질 수 있다(예컨대, 실수 값 입력 신호가 주어지면 256개의 주파수 빈을 초래하는 512개 샘플의 FFT 창 크기). 후자의 경우, 중간 및 측면의 낮은 주파수 분해능은, 하이퍼 중간(M1) 및 하이퍼 측면(S1) 성분을 도출하기 위해 서로 감산될 때, 각 주파수 빈의 스펙트럼 에너지가 너무 큰 주파수 범위에 걸친 에너지의 평균 표현이기 때문에 가청 스펙트럼 아티팩트를 생성할 수 있다. 이 경우, 하이퍼 중간(M1) 또는 하이퍼 측면(S1)을 도출할 때 중간과 측면 간의 차이의 절대값을 취하면 성분의 실제 직교성에서 주파수 빈 단위의 발산을 허용하여 인지적 아티팩트를 완화하는 데 도움이 될 수 있다. 0 주위에 래핑하는 것 외에 또는 그 대신에, 감수 값(subtrahend value)에 계수를 적용하여 해당 값을 0과 1 사이에서 스케일링할 수 있으며, 따라서, 한 극단(즉, 1의 값을 가짐)에서의 하이퍼 및 잔차 중간/측면 성분의 완전한 직교성과 다른 극단(즉, 0의 값을 가짐)에서의 이들의 대응하는 원래의 중간 및 측면 성분과 동일한 하이퍼 중간(M1) 및 하이퍼 측면(S1) 사이에서 보간하는 방법을 제공할 수 있다.
감산 유닛(215)는 위상은 그대로 두고 주파수 도메인의 측면 성분(111)의 스펙트럼 에너지에서 주파수 도메인의 중간 성분(109)의 스펙트럼 에너지를 제거하여 하이퍼 측면 성분(S1)을 생성한다. 예를 들어, 감산 유닛(215)는 위상은 그대로 두고 주파수 도메인의 측면 성분(111)의 크기에서 주파수 도메인의 중간 성분(109)의 크기를 감산하여 하이퍼 측면 성분(S1)을 생성한다. 감산 유닛(219)은 측면 성분(111)의 스펙트럼 에너지에서 하이퍼 측면 성분(S1)의 스펙트럼 에너지를 제거하여 잔차 측면 성분(S2)을 생성한다. 예를 들어, 감산 유닛(219)은 위상은 그대로 두고 주파수 도메인의 측면 성분(111)의 크기에서 주파수 도메인의 하이퍼 측면 성분(S1)의 크기를 감산하여 잔차 측면 성분(S2)을 생성한다.
도 2b에서, 직교 성분 생성기 모듈(223)은 중간 성분(109) 및 측면 성분(111)을 수신하여 하이퍼 중간 성분(M1), 잔차 중간 성분(M2), 하이퍼 측면 성분(S1), 및 잔차 측면 성분(S2)을 생성하는 점에서 직교 성분 생성기 모듈(213)과 유사하다. 직교 성분 생성기 모듈(223)은 주파수 도메인에서 하이퍼 중간 성분(M1) 및 하이퍼 측면 성분(S1)을 생성한 다음 이러한 성분을 다시 시간 도메인으로 변환하여 잔차 중간 성분(M2) 및 잔차 측면 성분(S2)을 생성하는 점에서 직교 생성기 모듈(213)과 다르다. 직교 성분 생성기 모듈(223)은 순방향 FFT 유닛(220), 대역통과 유닛(222), 감산 유닛(224), 하이퍼 중간 프로세서(225), 역방향 FFT 유닛(226), 시간 지연 유닛(228), 감산 유닛(230), 순방향 FFT 유닛(232), 대역통과 유닛(234), 감산 유닛(236), 하이퍼 측면 프로세서(237), 역방향 FFT 유닛(240), 시간 지연 유닛(242), 및 감산 유닛(244)을 포함한다.
순방향 고속 푸리에 변환(FFT) 유닛(220)은 중간 성분(109)에 순방향 FFT를 적용하여 중간 성분(109)을 주파수 도메인으로 변환한다. 주파수 도메인에서 변환된 중간 성분(109)은 크기 및 위상을 포함한다. 대역통과 유닛(222)은 대역통과 필터를 주파수 도메인 중간 성분(109)에 적용하는데, 여기서 대역통과 필터는 하이퍼 중간 성분(M1)의 주파수를 지정한다. 예를 들어, 전형적인 인간의 보컬 범위를 분리하기 위해, 대역통과 필터는 300~8000Hz 사이의 주파수를 지정할 수 있다. 또 다른 예에서, 전형적인 인간의 보컬 범위와 연관된 오디오 콘텐츠를 제거하기 위해, 대역통과 필터는 하이퍼 중간 성분(M1)에서 더 낮은 주파수(예컨대, 베이스 기타 또는 드럼에 의해 생성됨) 및 더 높은 주파수(예컨대, 심벌즈에 의해 생성됨)를 유지할 수 있다. 다른 실시예에서, 직교 성분 생성기 모듈(223)은 대역통과 유닛(222)에 의해 적용되는 대역통과 필터에 추가하여 및/또는 그 대신에 주파수 도메인 중간 성분(109)에 다양한 다른 필터를 적용한다. 일부 실시예에서, 직교 성분 생성기 모듈은(223)은 대역통과 유닛(222)을 포함하지 않고 주파수 도메인 중간 성분(109)에 어떠한 필터도 적용하지 않는다. 주파수 도메인에서, 감산 유닛(224)은 필터링된 중간 성분에서 측면 성분(111)을 감산하여 하이퍼 중간 성분(M1)을 생성한다. 다른 실시예에서, 직교 성분 프로세서 모듈(예컨대, 도 3의 직교 성분 프로세서 모듈)에 의해 수행되는, 하이퍼 중간 성분(M1)에 적용되는 더 이후의 처리에 추가하여 및/또는 그에 대신하여, 직교 성분 생성기 모듈(223)은 주파수 도메인 하이퍼 중간 성분(M1)에 다양한 오디오 향상을 적용한다. 하이퍼 중간 프로세서(225)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 하이퍼 중간 성분(M1)에 대한 처리를 수행한다. 처리는 부대역 공간 처리 및/또는 크로스토크 보상 처리를 포함할 수 있다. 일부 실시예에서, 하이퍼 중간 프로세서(225)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신 및/또는 이에 추가하여 하이퍼 중간 성분(M1)에 대한 처리를 수행한다. 역방향 FFT 유닛(226)은 하이퍼 중간 성분(M1)에 역방향 FFT를 적용하여 하이퍼 중간 성분(M1)을 다시 시간 도메인으로 변환한다. 주파수 도메인의 하이퍼 중간 성분(M1)은 M1의 크기와 중간 성분(109)의 위상을 포함하는데, 역방향 FFT 유닛(226)은 이를 시간 도메인으로 변환한다. 시간 지연 유닛(228)은 중간 성분(109)과 하이퍼 중간 성분(M1)이 동시에 감산 유닛(230)에 도달하도록 중간 성분(109)에 시간 지연을 적용한다. 감산 유닛(230)은 시간 도메인의 시간 지연된 중간 성분(109)에서 시간 도메인의 하이퍼 중간 성분(M1)을 감산하여 잔차 중간 성분(M2)을 생성한다. 이 예에서, 하이퍼 중간 성분(M1)의 스펙트럼 에너지는 시간 도메인에서의 처리를 사용하여 중간 성분(109)의 스펙트럼 에너지로부터 제거된다.
순방향 FFT 유닛(232)는 측면 성분(111)에 순방향 FFT를 적용하여 측면 성분(111)을 주파수 도메인으로 변환한다. 주파수 도메인에서 변환된 측면 성분(111)은 크기 및 위상을 포함한다. 대역통과 유닛(234)은 주파수 도메인 측면 성분(111)에 대역통과 필터를 적용한다. 대역통과 필터는 하이퍼 측면 성분(S1)의 주파수를 지정한다. 다른 실시예에서, 직교 성분 생성기 모듈(223)은 대역통과 필터에 추가하여 및/또는 그 대신에 다양한 다른 필터를 주파수 도메인 측면 성분(111)에 적용한다. 주파수 도메인에서, 감산 유닛(236)은 필터링된 측면 성분(111)에서 중간 성분(109)을 감산하여 하이퍼 측면 성분(S1)을 생성한다. 다른 실시예에서, 직교 성분 프로세서(예컨대, 도 3의 직교 성분 프로세서 모듈)에 의해 수행되는, 하이퍼 측면 성분(S1)에 적용되는 더 이후의 처리에 추가하여 및/또는 그에 대신하여, 직교 성분 생성기 모듈(223)은 주파수 도메인 하이퍼 측면 성분(S1)에 다양한 오디오 향상을 적용한다. 하이퍼 측면 프로세서(237)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 하이퍼 측면 성분(S1)에 대한 처리를 수행한다. 처리는 부대역 공간 처리 및/또는 크로스토크 보상 처리를 포함할 수 있다. 일부 실시예에서, 하이퍼 측면 프로세서(237)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신 및/또는 이에 추가하여 하이퍼 측면 성분(S1)에 대한 처리를 수행한다. 역방향 FFT 유닛(240)은 주파수 도메인의 하이퍼 측면 성분(S1)에 역방향 FFT를 적용하여 시간 도메인의 하이퍼 측면 성분(S1)을 생성한다. 주파수 도메인의 하이퍼 측면 성분(S1)은 S1의 크기 및 측면 성분(111)의 위상을 포함하는데, FFT 유닛(226)은 이를 시간 도메인으로 변환한다. 시간 지연 유닛(242)은 측면 성분(111)이 하이퍼 측면 성분(S1)과 동시에 감산 유닛(244)에 도달하도록 측면 성분(111)을 시간 지연시킨다. 감산 유닛(244)은 후속하여 시간 도메인의 시간 지연된 측면 성분(111)에서 시간 도메인의 하이퍼 측면 성분(S1)을 감산하여 잔차 측면 성분(S2)을 생성한다. 이 예에서, 하이퍼 측면 성분(S1)의 스펙트럼 에너지는 시간 도메인에서의 처리를 사용하여 측면 성분(111)의 스펙트럼 에너지로부터 제거된다.
일부 실시예에서, 하이퍼 중간 프로세서(225) 및 하이퍼 측면 프로세서(237)는 이 구성요소들에 의해 수행되는 처리가 직교 성분 프로세서 모듈(117)에 의해 수행되는 경우 생략될 수 있다.
도 2c에서, 직교 성분 생성기 모듈(245)은, 직교 성분 생성기 모듈(245)이 주파수 도메인에서 성분들(M1, M2, S1, S2)의 각각을 생성한 다음 이들 성분을 시간 도메인으로 변환하는 것을 제외하고, 중간 성분(109) 및 측면 성분(111)을 수신하여 하이퍼 중간 성분(M1), 잔차 중간 성분(M2), 하이퍼 측면 성분(S1), 잔차 측면 성분(S2)을 생성하는 점에서 직교 성분 생성기 모듈(223)과 유사하다. 직교 성분 생성기 모듈(245)은 순방향 FFT 유닛(247), 대역통과 유닛(249), 감산 유닛(251), 하이퍼 중간 프로세서(252), 감산 유닛(253), 잔차 중간 프로세서(254), 역방향 FFT 유닛(255), 역방향 FFT 유닛(257), 순방향 FFT 유닛(261), 대역통과 유닛(263), 감산 유닛(265), 하이퍼 측면 프로세서(266), 감산 유닛(267), 잔차 측면 프로세서(268), 역방향 FFT 유닛(269) 및 역방향 FFT 유닛(271)을 포함한다.
순방향 FFT 유닛(247)은 중간 성분(109)에 순방향 FFT를 적용하여 중간 성분(109)을 주파수 도메인으로 변환한다. 주파수 도메인의 변환된 중간 성분(109)은 크기 및 위상을 포함한다. 순방향 FFT 유닛(261)는 측면 성분(111)에 순방향 FFT를 적용하여 측면 성분(111)을 주파수 도메인으로 변환한다. 주파수 도메인의 변환된 측면 성분(111)은 크기 및 위상을 포함한다. 대역통과 유닛(249)은 주파수 도메인 중간 성분(109)에 대역통과 필터를 적용하고, 대역통과 필터는 하이퍼 중간 성분(M1)의 주파수를 지정한다. 일부 실시예에서, 직교 성분 생성기 모듈(245)은 대역통과 필터에 추가하여 및/또는 그 대신에 주파수 도메인 중간 성분(109)에 다양한 다른 필터를 적용한다. 감산 유닛(251)은 주파수 도메인 중간 성분(109)에서 주파수 도메인 측면 성분(111)을 감산하여, 주파수 도메인의 하이퍼 중간 성분(M1)을 생성한다. 하이퍼 중간 프로세서(252)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 하이퍼 중간 성분(M1)에 대한 처리를 수행한다. 일부 실시예에서, 하이퍼 중간 프로세서(252)는 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행한다. 일부 실시예에서, 하이퍼 중간 프로세서(252)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신 및/또는 이에 추가하여 하이퍼 중간 성분(M1)에 대한 처리를 수행한다. 역방향 FFT 유닛(257)은 하이퍼 중간 성분(M1)에 역방향 FFT를 적용하여 이들 시간 도메인으로 다시 변환한다. 주파수 도메인의 하이퍼 중간 성분(M1)은 M1의 크기 및 중간 성분(109)의 위상을 포함하는데, 역방향 FFT 유닛(257)은 이를 시간 도메인으로 변환한다. 감산 유닛(253)는 주파수 도메인에서 중간 성분(109)에서 하이퍼 중간 성분(M1)을 감산하여 잔차 중간 성분(M2)을 생성한다. 잔차 중간 프로세서(254)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 잔차 중간 성분(M2)에 대한 처리를 수행한다. 일부 실시예에서, 잔차 중간 프로세서(254)는 잔차 중간 성분(M2)에 대한 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행한다. 일부 실시예에서, 잔차 중간 프로세서(254)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신에 및/또는 이에 추가하여 잔차 중간 성분(M2)에 대한 처리를 수행한다. 역방향 FFT 유닛(255)은 역방향 FFT를 적용하여 잔차 중간 성분(M2)을 시간 도메인으로 변환한다. 주파수 도메인의 잔차 중간 성분(M2)은 M2의 크기 및 중간 성분(109)의 위상을 포함하는데, 역방향 FFT 유닛(255)은 이를 시간 도메인으로 변환한다.
대역통과 유닛(263)은 주파수 도메인 측면 성분(111)에 대역통과 필터를 적용한다. 대역통과 필터는 하이퍼 측면 성분(S1)의 주파수를 지정한다. 다른 실시예에서, 직교 성분 생성기 모듈(245)은 대역통과 필터에 추가하여 및/또는 그 대신에 다양한 다른 필터를 주파수 도메인 측면 성분(111)에 적용한다. 주파수 도메인에서, 감산 유닛(265)은 필터링된 측면 성분(111)에서 중간 성분(109)을 감산하여 하이퍼 측면 성분(S1)을 생성한다. 하이퍼 측면 프로세서(266)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 하이퍼 측면 성분(S1)에 대한 처리를 수행한다. 일부 실시예에서, 하이퍼 측면 프로세서(266)는 하이퍼 측면 성분(S1)에 대한 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행한다. 일부 실시예에서, 하이퍼 측면 프로세서(266)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신에 및/또는 이에 추가하여 하이퍼 측면 성분(S1)에 대한 처리를 수행한다. 역방향 FFT 유닛(271)은 역방향 FFT를 적용하여 하이퍼 측면 성분(S1)을 시간 도메인으로 다시 변환한다. 주파수 도메인의 하이퍼 측면 성분(S1)은 S1의 크기 및 측면 성분(111)의 위상을 포함하는데, 역방향 FFT 유닛(271)은 이를 시간 도메인으로 변환한다. 감산 유닛(267)는, 주파수 도메인에서, 측면 성분(111)에서 하이퍼 측면 성분(S1)을 감산하여 잔차 측면 성분(S2)을 생성한다. 잔차 측면 프로세서(268)는 시간 도메인으로의 변환 이전에 주파수 도메인에서 잔차 측면 성분(S2)에 대한 처리를 수행한다. 일부 실시예에서, 잔차 측면 프로세서(268)는 잔차 측면 성분(S2)에 대한 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행한다. 일부 실시예에서, 잔차 측면 프로세서(268)는 직교 성분 프로세서 모듈(117)에 의해 수행될 수 있는 처리 대신에 및/또는 이에 추가하여 잔차 측면 성분(S2)에 대한 처리를 수행한다. 역방향 FFT 유닛(269)은 잔차 측면 성분(S2)에 역방향 FFT를 적용하여 이를 시간 도메인으로 변환한다. 주파수 도메인의 잔차 측면 성분(S2)은 S2의 크기 및 측면 성분(111)의 위상을 포함하는데, 역방향 FFT 유닛(269)은 이를 시간 도메인으로 변환한다.
일부 실시예에서, 하이퍼 중간 프로세서(252), 하이퍼 측면 프로세서(266), 잔차 중간 프로세서(254), 또는 잔차 측면 프로세서(268)는 이 구성요소들에 의해 수행되는 처리가 직교 성분 프로세서 모듈(117)에 의해 수행되는 경우 생략될 수 있다.
예시적 직교 성분 프로세서
도 3은 하나 이상의 실시예에 따른 직교 성분 프로세서 모듈(317)의 블록도이다. 직교 성분 프로세서 모듈(317)은 직교 성분 프로세서 모듈(117)의 예이다. 직교 성분 프로세서 모듈(317)은 부대역 공간 처리 및/또는 크로스토크 보상 처리 유닛(320), 가산 유닛(325) 및 가산 유닛(330)을 포함할 수 있다. 직교 성분 프로세서 모듈(317)은 하이퍼 중간 성분(M1), 잔차 중간 성분(M2), 하이퍼 측면 성분(S1), 및 잔차 측면 성분(S2) 중 적어도 하나에 대해 부대역 공간 처리 및/또는 크로스토크 보상 처리를 수행한다. 부대역 공간 처리 및/또는 크로스토크 보상 처리(320)의 결과로서, 직교 성분 프로세서 모듈(317)은 처리된 M1, 처리된 M2, 처리된 S1, 및 처리된 S2 중 적어도 하나를 출력한다. 가산 유닛(325)은 처리된 M1과 처리된 M2를 더하여 처리된 중간 성분(131)를 생성하고, 가산 유닛(330)은 처리된 S1 및 처리된 S2를 더하여 처리된 측면 성분(139)를 생성한다.
일부 실시예에서, 직교 성분 프로세서 모듈(317)은 주파수 도메인에서 하이퍼 중간 성분(M1), 잔차 중간 성분(M2), 하이퍼 측면 성분(S1) 및 잔차 측면 성분(S2) 중 적어도 하나에 대해 부대역 공간 처리 및/또는 크로스토크 보상 처리(320)를 수행하여 주파수 도메인에서 처리된 중간 성분(131) 및 처리된 측면 성분(139)을 생성한다. 직교 성분 생성기 모듈(113)은 주파수 도메인의 성분(M1, M2, S1, 또는 S2)을 역방향 FFT를 수행하는 직교 성분 프로세서에 제공할 수 있다. 처리된 중간 성분(131) 및 처리된 측면 성분(139)를 생성한 후, 직교 성분 프로세서 모듈(317)은 처리된 중간 성분(131) 및 처리된 측면 성분(139)에 대해 역방향 FFT를 수행하여 이러한 성분을 다시 시간 도메인으로 변환할 수 있다. 일부 실시예에서, 직교 성분 프로세서 모듈(317)은 처리된 M1, 처리된 M2, 처리된 S1, 및 처리된 S2에 대해 역방향 FFT를 수행하여 시간 도메인에서 처리된 중간 성분(131) 및 처리된 측면 성분(139)을 생성한다.
직교 성분 프로세서 모듈(317)의 예가 도 4 및 도 5에 도시된다. 일부 실시예에서, 직교 성분 프로세서 모듈(317)은 부대역 공간 처리와 크로스토크 보상 처리를 둘 다 수행한다. 직교 성분 프로세서 모듈(317)에 의해 수행되는 처리는 부대역 공간 처리 또는 크로스토크 보상 처리로 제한되지 않는다. 중간 성분 대신 하이퍼 중간 성분을 사용하거나 측면 성분 대신 하이퍼 측면 성분을 사용하는 것과 같이, 중간/측면 공간을 사용하는 임의의 유형의 공간 처리가 직교 성분 프로세서 모듈(317)에 의해 수행될 수 있다. 일부 다른 유형의 처리는 이득 적용, 진폭 또는 지연 기반 패닝, 바이노럴 처리, 잔향, 압축 및 제한과 같은 동적 범위 처리, 및 코러스 또는 플랜징에서 보컬 또는 악기 스타일 전달, 변환 또는 재합성에 대한 머신 러닝 기반 접근법에 이르는 다른 선형 또는 비선형 오디오 처리 기술 및 효과 등을 포함할 수 있다.
예시적 부대역 공간 프로세서
도 4는 하나 이상의 실시예에 따른 부대역 공간 프로세서 모듈(410)의 블록도이다. 부대역 공간 프로세서 모듈(410)은 직교 성분 프로세서 모듈(317)의 예이다. 부대역 공간 프로세서 모듈(410)은 중간 EQ 필터(404(1)), 중간 EQ 필터(404(2)), 중간 EQ 필터(404(3)), 중간 EQ 필터(404(4)), 측면 EQ 필터(406(1)), 측면 EQ 필터(406(2)), 측면 EQ 필터(406(3)), 측면 EQ 필터(406(4))를 포함한다. 일부 실시예에서, 부대역 공간 프로세서 모듈(410)은 본 명세서에 설명된 것에 추가하여 및/또는 그 대신에 구성요소를 포함한다.
부대역 공간 프로세서 모듈(410)은 비공간 성분(Ym) 및 공간 성분(Ys)를 수신하고, 이득은 이들 성분 중 하나 이상의 부대역을 조정하여 공간 향상을 제공한다. 비공간 성분(Ym)은 하이퍼 중간 성분(M1) 또는 잔차 중간 성분(M2)일 수 있다. 공간 성분(Ys)은 하이퍼 측면 성분(S1) 또는 잔차 측면 성분(S2)일 수 있다.
부대역 공간 프로세서 모듈(410)은 비공간 성분(Ym)을 수신하고, Ym의 상이한 부대역들에 중간 EQ 필터(404(1) 내지 404(4))를 적용하여 향상된 비공간 성분(Em)을 생성한다. 부대역 공간 프로세서 모듈(410)은 또한 공간 성분(Ys)을 수신하고, Ys의 상이한 부대역들에 측면 EQ 필터(406(1) 내지 406(4))를 적용하여 향상된 공간 성분(Es)을 생성한다. 부대역 필터는 피크 필터, 노치 필터, 저역 통과 필터, 고역 통과 필터, 저역 셸프 필터, 고역 셸프 필터, 대역통과 필터, 대역저지 필터, 및/또는 전대역 통과 필터의 다양한 조합을 포함할 수 있다. 부대역 필터는 또한 각 부대역에 이득을 적용할 수 있다. 보다 구체적으로, 부대역 공간 프로세서 모듈(410)은 비공간 성분(Ym)의 n개의 주파수 부대역의 각각에 대한 부대역 필터 및 공간 성분(Ys)의 n개의 부대역의 각각에 대한 부대역 필터를 포함한다. n = 4인 부대역에 대해, 예를 들어, 부대역 공간 프로세서 모듈(410)은 부대역(1)에 대한 중간 등화(EQ) 필터(404(1)), 부대역(2)에 대한 중간 EQ 필터(404)(2), 부대역(3)에 대한 중간 EQ 필터(404(3)), 및 부대역(4)에 대한 중간 EQ 필터(404(4))를 포함하는 비공간 성분(Ym)에 대한 일련의 부대역 필터를 포함한다. 각각의 중간 EQ 필터(404)는 비공간 성분(Ym)의 주파수 부대역 부분에 필터를 적용하여 향상된 비공간 성분(Em)을 생성한다.
부대역 공간 프로세서 모듈(410)은 부대역(1)에 대한 측면 등화(EQ) 필터(406(1)), 부대역(2)에 대한 측면 EQ 필터(406(2)), 부대역(3)에 대한 측면 EQ 필터(406(3)), 및 부대역(4)에 대한 측면 EQ 필터(406(4))를 포함하는 공간 성분(Ys)의 주파수 부대역에 대한 일련의 부대역 필터를 더 포함한다. 각 측면 EQ 필터(406)는 공간 성분(Ys)의 주파수 부대역 부분에 필터를 적용하여 향상된 공간 성분(Es)을 생성한다.
비공간 성분(Ym) 및 공간 성분(Ys)의 n개의 주파수 부대역의 각각은 주파수 범위에 대응할 수 있다. 예를 들어, 주파수 부대역(1)은 0 내지 300Hz에 대응할 수 있고, 주파수 부대역(2)은 300 내지 510Hz에 대응할 수 있고, 주파수 부대역(3)은 510 내지 2700Hz에 대응할 수 있으며, 주파수 부대역(4)은 2700Hz 내지 나이퀴스트 주파수에 대응할 수 있다. 일부 실시예에서, n개의 주파수 부대역은 임계 대역의 통합된 세트이다. 임계 대역은 다양한 음악 장르로부터의 오디오 샘플 모음을 사용하여 결정될 수 있다. 24 바크 스케일(Bark scale) 임계 대역에 걸친 중간 성분 대 측면 성분의 장기 평균 에너지 비(long term average energy ratio)가 샘플로부터 결정된다. 그런 다음, 유사한 장기 평균 비를 가진 연속 주파수 대역을 함께 그룹화하여 임계 대역 세트를 형성한다. 주파수 부대역의 범위 및 주파수 부대역의 수는 조정가능할 수 있다.
일부 실시예에서, 부대역 공간 프로세서 모듈(410)은 잔차 중간 성분(M2)을 비공간 성분(Ym)으로서 처리하고, 측면 성분, 하이퍼 측면 성분(S1), 또는 잔차 측면 성분(S2) 중 하나를 공간 성분(Ys)으로서 사용한다.
일부 실시예에서, 부대역 공간 프로세서 모듈(410)은 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및 잔차 측면 성분(S2) 중 하나 이상을 처리한다. 이들 성분 각각의 부대역에 적용되는 필터는 상이할 수 있다. 하이퍼 중간 성분(M1) 및 잔차 중간 성분(M2)은 각각 비공간 성분(Ym)에 대해 논의된 바와 같이 처리될 수 있다. 하이퍼 측면 성분(S1) 및 잔차 측면 성분(S2)은 각각 공간 성분(Ys)에 대해 논의된 바와 같이 처리될 수 있다.
예시적 크로스토크 보상 프로세서
도 5는 하나 이상의 실시예에 따른 크로스토크 보상 프로세서 모듈(510)의 블록도이다. 크로스토크 보상 프로세서 모듈(510)은 직교 성분 프로세서 모듈(317)의 예이다. 크로스토크 보상 프로세서 모듈(510)은 중간 성분 프로세서(520) 및 측면 성분 프로세서(530)를 포함한다. 크로스토크 보상 프로세서 모듈(510)은 비공간 성분(Ym) 및 공간 성분(Ys)을 수신하고, 이 성분들 중 하나 이상에 필터를 적용하여 (예컨대, 후속 또는 이전) 크로스토크 처리로 인해 유발되는 스펙트럼 결함을 보상한다. 비공간 성분(Ym)은 하이퍼 중간 성분(M1) 또는 잔차 중간 성분(M2)일 수 있다. 공간 성분(Ys)은 하이퍼 측면 성분(S1) 또는 잔차 측면 성분(S2)일 수 있다.
크로스토크 보상 프로세서 모듈(510)은 비공간 성분(Ym)을 수신하고, 중간 성분 프로세서(520)는 개선된 비공간 크로스토크 보상된 성분(Zm)을 생성하기 위해 필터 세트를 적용한다. 크로스토크 보상 프로세서 모듈(510)은 또한 공간 부대역 성분(Ys)을 수신하고, 측면 성분 프로세서(530)에서 필터 세트를 적용하여 향상된 공간 부대역 성분(Es)을 생성한다. 중간 성분 프로세서(520)는 m개의 중간 필터(540(a), 540(b) 내지 540(m))와 같은 복수의 필터(540)를 포함한다. 여기서, m개의 중간 필터(540) 각각은 비공간 성분(Ym)의 m개의 주파수 대역 중 하나를 처리한다. 따라서, 중간 성분 프로세서(520)는 비공간 성분(Ym)을 처리하여 중간 크로스토크 보상 채널(Zm)을 생성한다. 일부 실시예에서, 중간 필터(540)는 시뮬레이션을 통한 크로스토크 처리를 갖는 비공간 성분(Ym)의 주파수 응답 플롯을 사용하여 구성된다. 또한, 주파수 응답 플롯을 분석함으로써, 크로스토크 처리의 아티팩트로서 발생하는 미리 결정된 임계값(예컨대, 10dB)을 초과하는 주파수 응답 플롯의 피크 또는 트로프(troughs)와 같은 임의의 스펙트럼 결함이 추정될 수 있다. 이러한 아티팩트는 주로 크로스토크 처리에서 지연되고 어쩌면 반전된 대측 신호(delayed and possibly inverted contralateral signals)와 대응하는 동측 신호(ipsilateral signal)의 합산으로 인해 발생하여, 최종 렌더링된 결과에 콤 필터(comb filter)형 주파수 응답을 효과적으로 도입한다. 중간 크로스토크 보상 채널(Zm)은 추정된 피크 또는 트로프를 보상하기 위해 중간 성분 프로세서(520)에 의해 생성될 수 있는데, 여기서 m개의 주파수 대역의 각각은 피크 또는 트로프에 대응한다. 구체적으로, 크로스토크 처리에 적용된 특정 지연, 필터링 주파수 및 이득에 기초하여, 주파수 응답에서 피크와 트로프가 위아래로 이동하여 스펙트럼의 특정 영역에서 에너지의 가변 증폭 및/또는 감쇠를 유발한다. 중간 필터(540) 각각은 피크와 트로프 중 하나 이상을 조정하도록 구성될 수 있다.
측면 성분 프로세서(530)는 m개의 측면 필터(550(a), 550(b) 내지 550(m))와 같은 복수의 필터(550)를 포함한다. 측면 성분 프로세서(530)는 공간 성분(Ys)을 처리하여 측면 크로스토크 보상 채널(Zs)을 생성한다. 일부 실시예에서, 크로스토크 처리를 갖는 공간 성분(Ys)의 주파수 응답 플롯은 시뮬레이션을 통해 획득될 수 있다. 주파수 응답 플롯을 분석함으로써, 크로스토크 처리의 아티팩트로서 발생하는 미리 결정된 임계값(예컨대, 10dB)을 초과하는 주파수 응답 플롯의 피크 또는 트로프와 같은 임의의 스펙트럼 결함이 추정될 수 있다. 측면 크로스토크 보상 채널(Zs)은 추정된 피크 또는 트로프를 보상하기 위해 측면 성분 프로세서(530)에 의해 생성될 수 있다. 구체적으로, 크로스토크 처리에 적용된 특정 지연, 필터링 주파수 및 이득에 기초하여, 주파수 응답에서 피크 및 트로프가 위아래로 이동하여 스펙트럼의 특정 영역에서 에너지의 가변 증폭 및/또는 감쇠를 유발한다. 측면 필터(550) 각각은 피크와 트로프 중 하나 이상을 조정하도록 구성될 수 있다. 일부 실시예에서, 중간 성분 프로세서(520) 및 측면 성분 프로세서(530)는 상이한 수의 필터를 포함할 수 있다.
일부 실시예에서, 중간 필터(540) 및 측면 필터(550)는 수학식 1에 의해 정의된 전달 함수를 갖는 바이쿼드 필터(biquad filter)를 포함할 수 있다:
여기서, z는 복소 변수이고, a0, a1, a2, b0, b1 및 b2는 디지털 필터 계수이다. 이러한 필터를 구현하는 한 가지 방식은 수학식 2에 의해 정의된 직접 형태 I 토폴로지(direct form I topology)이다.
여기서, X는 입력 벡터이고, Y는 출력이다. 최대 단어 길이 및 포화 거동에 따라 다른 토폴로지가 사용될 수 있다. 바이쿼드는 실수 값 입력 및 출력을 갖는 2차 필터를 구현하는 데 사용될 수 있다. 이산 시간 필터를 설계하기 위해, 연속 시간 필터를 설계한 다음 쌍선형 변환을 통해 이산 시간으로 변환한다. 또한, 중심 주파수 및 대역폭의 결과적인 시프트는 주파수 워핑(frequency warping)을 사용하여 보상될 수 있다.
예를 들어, 피킹 필터는 수학식 3에 의해 정의된 S-평면 전달 함수를 가질 수 있다:
여기서, s는 복소 변수, A는 피크의 진폭, Q는 필터 "품질"이며, 디지털 필터 계수는 다음에 의해 정의된다:
여기서 ω0은 필터의 중심 주파수(라디안)이고, 이다. 또한, 필터 품질 Q는 수학식 4에 의해 정의될 수 있다:
여기서, 는 대역폭이고 fc는 중심 주파수이다. 중간 필터들(540)은 직렬인 것으로 도시되어 있고, 측면 필터들(550)은 직렬인 것으로 도시되어 있다. 일부 실시예에서, 중간 필터들(540)은 중간 성분(Ym)에 병렬로 적용되고, 측면 필터들은 측면 성분(Ys)에 병렬로 적용된다.
일부 실시예에서, 크로스토크 보상 프로세서 모듈(510)은 하이퍼 중간 성분(M1), 하이퍼 측면 성분(S1), 잔차 중간 성분(M2), 및 잔차 측면 성분(S2)의 각각을 처리한다. 이러한 성분들 각각에 적용되는 필터는 상이할 수 있다.
예시적 크로스토크 프로세서
도 6은 하나 이상의 실시예에 따른 크로스토크 시뮬레이션 프로세서 모듈(600)의 블록도이다. 도 1에 대해 언급된 바와 같이, 일부 실시예에서, 오디오 처리 시스템(100)은 처리된 좌측 성분(151) 및 처리된 우측 성분(159)에 크로스토크 처리를 적용하는 크로스토크 프로세서 모듈(141)을 포함한다. 크로스토크 처리는 예를 들어 크로스토크 시뮬레이션 및 크로스토크 제거를 포함한다. 일부 실시예에서, 크로스토크 프로세서 모듈(141)은 크로스토크 시뮬레이션 프로세서 모듈(600)을 포함한다. 크로스토크 시뮬레이션 프로세서 모듈(600)은 스테레오 헤드폰으로의 출력을 위한 대측 사운드 성분을 생성함으로써 헤드폰 상에서 스피커와 같은 청취 경험을 제공한다. 좌측 입력 채널(XL)은 처리된 좌측 성분(151)일 수 있고, 우측 입력 채널(XR)은 처리된 우측 성분(159)일 수 있다. 일부 실시예에서, 크로스토크 시뮬레이션은 직교 성분 처리 전에 수행될 수 있다.
크로스토크 시뮬레이션 프로세서 모듈(600)은, 좌측 입력 채널(XL)을 처리하기 위해, 좌측 헤드 섀도우 저역 통과 필터(602), 좌측 헤드 섀도우 고역 통과 필터(624), 좌측 크로스토크 지연(604), 및 좌측 헤드 섀도우 이득(610)을 포함한다. 크로스토크 시뮬레이션 프로세서 모듈(600)은, 우측 입력 채널(XR)을 처리하기 위해, 우측 헤드 섀도우 저역 통과 필터(606), 우측 헤드 섀도우 고역 통과 필터(626), 우측 크로스토크 지연(608), 및 우측 헤드 섀도우 이득(612)을 더 포함한다. 좌측 헤드 섀도우 저역 통과 필터(602) 및 좌측 헤드 섀도우 고역 통과 필터(624)는 청취자의 머리를 통과한 후의 신호의 주파수 응답을 모델링하는 변조를 좌측 입력 채널(XL)에 적용한다. 좌측 헤드 섀도우 고역 통과 필터(624)의 출력은 시간 지연을 적용하는 좌측 크로스토크 지연(604)에 제공된다. 시간 지연은 동측 사운드 성분에 대해 대측 사운드 성분이 가로지르는 트랜스오럴 거리(transaural distance)를 나타낸다. 좌측 헤드 섀도우 이득(610)은 좌측 크로스토크 지연(604)의 출력에 이득을 적용하여 좌측 크로스토크 시뮬레이션 채널(WL)을 생성한다.
우측 입력 채널(XR)과 유사하게, 우측 헤드 섀도우 저역 통과 필터(606) 및 우측 헤드 섀도우 고역 통과 필터(626)는 청취자의 머리의 주파수 응답을 모델링하는 변조를 우측 입력 채널(XR)에 적용한다. 우측 헤드 섀도우 고역 통과 필터(626)의 출력은 시간 지연을 적용하는 우측 크로스토크 지연(608)에 제공된다. 우측 헤드 섀도우 이득(612)은 우측 크로스토크 지연(608)의 출력에 이득을 적용하여 우측 크로스토크 시뮬레이션 채널(WR)을 생성한다.
좌측 및 우측 채널의 각각에 대한 헤드 섀도우 저역 통과 필터, 헤드 섀도우 고역 통과 필터, 크로스토크 지연, 및 헤드 섀도우 이득의 적용은 서로 다른 순서로 수행될 수 있다.
도 7은 하나 이상의 실시예에 따른 크로스토크 제거 프로세서 모듈(700)의 블록도이다. 크로스토크 프로세서 모듈(141)은 크로스토크 제거 프로세서 모듈(700)을 포함할 수 있다. 크로스토크 제거 프로세서 모듈(700)은 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 수신하고, 채널들(XL, XR)에 대한 크로스토크 제거를 수행하여 좌측 출력 채널(OL) 및 우측 출력 채널(OR)을 생성한다. 좌측 입력 채널(XL)은 처리된 좌측 성분(151)일 수 있고, 우측 입력 채널(XR)은 처리된 우측 성분(159)일 수 있다. 일부 실시예에서, 크로스토크 제거는 직교 성분 처리 전에 수행될 수 있다.
크로스토크 제거 프로세서 모듈(700)은 대역 내외 분할기(in-out band divider)(710), 인버터(720, 722), 대측 추정기(730, 740), 결합기(750, 752), 대역 내외 결합기(in-out band combiner)(760)를 포함한다. 이 구성요소들은 함께 동작하여, 입력 채널들(TL, TR)을 대역 내 성분 및 대역 외 성분으로 분할하고, 대역 내 성분에 대한 크로스토크 제거를 수행하여 출력 채널(OL, OR)을 생성한다.
입력 오디오 신호(T)를 서로 다른 주파수 대역 성분으로 분할하고, 선택적 성분(예컨대, 대역 내 성분)에 대해 크로스토크 제거를 수행함으로써, 다른 주파수 대역의 열화를 방지하면서 특정 주파수 대역에 대해 크로스토크 제거가 수행될 수 있다. 입력 오디오 신호(T)를 서로 다른 주파수 대역으로 분할하지 않으면서 크로스토크 제거가 수행되면, 이러한 크로스토크 제거 후의 오디오 신호는 저주파수(예컨대, 350Hz 미만), 더 높은 주파수(예컨대, 12000Hz 초과) 또는 둘 다에서 비공간 성분 및 공간 성분의 상당한 감쇠 또는 증폭을 나타낼 수 있다. 대부분의 영향력 있는 공간 큐가 존재하는 대역 내(예컨대, 250Hz와 14000Hz 사이)에 대한 크로스토크 제거를 선택적으로 수행함으로써, 믹스(mix)의 스펙트럼에 걸쳐, 특히 비공간 성분에서, 균형 잡힌 전체 에너지가 유지될 수 있다.
대역 내외 분할기(710)는 입력 채널들(TL, TR)을 대역 내 채널들(TL,In, TR,In) 및 대역 외 채널들(TL,Out, TR,Out)로 각각 분리한다. 특히, 대역 내외 분할기(710)는 좌측 향상 보상 채널(TL)을 좌측 대역 내 채널(TL,In) 및 좌측 대역 외 채널(TL,Out)로 분할한다. 유사하게, 대역 내외 분할기(710)는 우측 향상 보상 채널(TR)을 우측 대역 내 채널(TR,In) 및 우측 대역 외 채널(TR,Out)로 분리한다. 각각의 대역 내 채널은 예를 들어 250Hz 내지 14kHz를 포함하는 주파수 범위에 대응하는 개별 입력 채널의 일부를 포함할 수 있다. 주파수 대역의 범위는 예를 들어 스피커 파라미터에 따라 조정될 수 있다.
인버터(720)와 대측 추정기(730)는 함께 동작하여, 좌측 대역 내 채널(TL,In)로 인한 대측 사운드 성분을 보상하기 위한 좌측 대측 제거 성분(SL)을 생성한다. 유사하게, 인버터(722)와 대측 추정기(740)는 함께 동작하여, 우측 대역 내 채널(TR,In)로 인한 대측 사운드 성분을 보상하기 위한 우측 대측 제거 성분(SR)을 생성한다.
하나의 접근법에서, 인버터(720)는 대역 내 채널(TL,In)을 수신하고 수신된 대역 내 채널(TL,In)의 극성을 반전시켜 반전된 대역 내 채널(TL,In')을 생성한다. 대측 추정기(730)는 반전된 대역 내 채널(TL,In')을 수신하고, 필터링을 통해 대측 사운드 성분에 대응하는 반전된 대역 내 채널(TL,In')의 부분을 추출한다. 반전된 대역 내 채널(TL,In')에 대해 필터링이 수행되기 때문에, 대측 추정기(730)에 의해 추출된 부분은 대측 사운드 성분으로 인한 대역 내 채널(TL,In) 부분의 역(inverse)이 된다. 따라서, 대측 추정기(730)에 의해 추출된 부분은 좌측 대측 제거 성분(SL)이 되는데, 이는 대역 내 채널(TL,In)로 인한 대측 사운드 성분을 감소시키기 위해 상대 대역 내 채널(TR,In)에 추가될 수 있다. 일부 실시예에서, 인버터(720) 및 대측 추정기(730)는 상이한 순서로 구현된다.
인버터(722) 및 대측 추정기(740)는 대역 내 채널(TR,In)에 대해 유사한 동작을 수행하여 우측 대측 제거 성분(SR)을 생성한다. 따라서, 여기서는 간결함을 위해 이에 대한 상세한 설명을 생략한다.
하나의 예시적 구현에서, 대측 추정기(730)는 필터(732), 증폭기(734), 및 지연 유닛(736)을 포함한다. 필터(732)는 반전된 입력 채널(TL,In')을 수신하고, 필터링 기능을 통해 대측 사운드 성분에 대응하는 반전된 대역 내 채널(TL,In')의 부분을 추출한다. 예시적 필터 구현은 중심 주파수가 5000~10000Hz 사이에서 선택되고 Q가 0.5~1.0 사이에서 선택되는 노치(Notch) 또는 고역 셸프(Highshelf) 필터를 포함한다. 데시벨(GdB) 단위의 이득은 수학식 5로부터 도출될 수 있다:
여기서, D는 예를 들어 48KHz의 샘플링 레이트에서 샘플의 지연 유닛(736, 646)에 의한 지연량이다. 대체 구현은 코너 주파수가 5000~10000Hz 사이에서 선택되고 Q가 0.5~1.0 사이에서 선택되는 저역 통과 필터이다. 또한, 증폭기(734)는 추출된 부분을 대응하는 이득 계수(GL,In)에 의해 증폭하고, 지연 유닛(736)은 증폭기(734)로부터의 증폭된 출력을 지연 함수(D)에 따라 지연시켜 좌측 대측 제거 성분(SL)을 생성한다. 대측 추정기(740)는 필터(772), 증폭기(744), 및 지연 유닛(776)을 포함하여, 반전된 대역 내 채널(TR,In')에 대해 유사한 동작을 수행하여 우측 대측 제거 성분(SR)을 생성한다. 일 예에서, 대측 추정기(730, 740)는 아래 수학식들에 따라 좌측 및 우측 대측 제거 성분(SL, SR)을 생성한다:
여기서, F[]는 필터 함수이고, D[]는 지연 함수이다.
크로스토크 제거의 구성은 스피커 파라미터에 의해 결정될 수 있다. 일 예에서는, 청취자에 대해 두 스피커 사이에서 형성되는 각도에 따라, 필터 중심 주파수, 지연량, 증폭기 이득, 및 필터 이득이 결정될 수 있다. 일부 실시예에서는, 스피커 각도들 사이의 값이 다른 값을 보간하기 위해 사용된다.
결합기(750)는 좌측 대역 내 채널(TL,In)에 우측 대측 제거 성분(SR)을 결합시켜 좌측 대역 내 크로스토크 채널(UL)을 생성하고, 결합기(752)는 우측 대역 내 채널(TR,In)에 좌측 대측 제거 성분(SL)을 결합시켜 우측 대역 내 크로스토크 채널(UR)을 생성한다. 대역 내외 결합기(760)는 좌측 대역 내 크로스토크 채널(UL)과 대역 외 채널(TL,Out)을 결합하여 좌측 출력 채널(OL)을 생성하고, 우측 대역 내 크로스토크 채널(UR)과 대역 외 채널(TR,Out)을 결합하여 우측 출력 채널(OR)을 생성한다.
따라서, 좌측 출력 채널(OL)은 대측 사운드에 기인한 대역 내 채널(TR,In) 부분의 역에 대응하는 우측 대측 제거 성분(SR)을 포함하고, 우측 출력 채널(OR)은 대측 사운드에 기인한 대역 내 채널(TL,In) 부분의 역에 대응하는 좌측 대측 제거 성분(SL)을 포함한다. 이러한 구성에서, 우측 출력 채널(OR)에 따라 우측 스피커에 의해 출력되어 우측 귀에 도달된 동측 사운드 성분의 파면은, 좌측 출력 채널(OL)에 따라 좌측 스피커에 의해 출력된 대측 사운드 성분의 파면을 상쇄할 수 있다. 유사하게, 좌측 출력 채널(OL)에 따라 좌측 스피커에 의해 출력되어 좌측 귀에 도달된 동측 사운드 성분의 파면은, 우측 출력 채널(OR)에 따라 우측 스피커에 의해 출력된 대측 사운드 성분의 파면을 상쇄할 수 있다. 따라서, 대측 사운드 성분이 감소되어 공간 검출 능력을 향상시킬 수 있다.
직교 성분 공간 처리
도 8은 하나 이상의 실시예에 따른, 하이퍼 중간, 잔차 중간, 하이퍼 측면, 또는 잔차 측면 성분 중 적어도 하나를 사용하는 공간 처리를 위한 프로세스의 흐름도이다. 공간 처리는, 특히, 이득 적용, 진폭 또는 지연 기반 패닝, 바이노럴 처리, 잔향, 압축 및 제한과 같은 동적 범위 처리, 다른 선형 또는 비선형 오디오 처리 기술 및 효과, 코러스 효과, 플랜징 효과, 보컬 또는 악기 스타일 전달, 변환 또는 재합성에 대한 머신 러닝 기반 접근법을 포함할 수 있다. 프로세스는 사용자의 디바이스에 공간적으로 향상된 오디오를 제공하도록 수행될 수 있다. 프로세스는 더 적은 단계 또는 추가 단계를 포함할 수 있으며, 단계들은 다른 순서로 수행될 수 있다.
오디오 처리 시스템(예컨대, 오디오 처리 시스템(100))은 입력 오디오 신호(예컨대, 좌측 입력 채널(103) 및 우측 입력 채널(105))를 수신한다(810). 일부 실시예에서, 입력 오디오 신호는 다수의 좌우 채널 쌍을 포함하는 다채널 오디오 신호일 수 있다. 각각의 좌우 채널 쌍은 좌측 및 우측 입력 채널에 대해 본 명세서에서 논의된 바와 같이 처리될 수 있다.
오디오 처리 시스템은 입력 오디오 신호로부터 비공간 중간 성분(예컨대, 중간 성분(109)) 및 공간 측면 성분(예컨대, 측면 성분(111))을 생성한다(820). 일부 실시예에서, L/R-M/S 변환기(예컨대, L/R-M/S 변환기 모듈(107))는 입력 오디오 신호의 중간 및 측면 성분으로의 변환을 수행한다.
오디오 처리 시스템은 하이퍼 중간 성분(예컨대, 하이퍼 중간 성분(M1)), 하이퍼 측면 성분(예컨대, 하이퍼 측면 성분(S1)), 잔차 중간 성분(예컨대, 잔차 중간 성분(M2)), 및 잔차 측면 성분(예컨대, 잔차 측면 성분(S2)) 중 적어도 하나를 생성한다(830). 오디오 처리 시스템은 위에 나열된 성분들 중 적어도 하나 및/또는 전부를 생성할 수 있다. 하이퍼 중간 성분은 중간 성분의 스펙트럼 에너지로부터 측면 성분의 스펙트럼 에너지를 제거한 것을 포함한다. 잔차 중간 성분은 중간 성분의 스펙트럼 에너지로부터 하이퍼 중간 성분의 스펙트럼 에너지를 제거한 것을 포함한다. 하이퍼 측면 성분은 측면 성분의 스펙트럼 에너지로부터 중간 성분의 스펙트럼 에너지를 제거한 것을 포함한다. 잔차 측면 성분은 측면 성분의 스펙트럼 에너지로부터 하이퍼 측면 성분의 스펙트럼 에너지를 제거한 것을 포함한다. M1, M2, S1 또는 S2를 생성하는 데 사용되는 처리는 주파수 도메인 또는 시간 도메인에서 수행될 수 있다.
오디오 처리 시스템은 오디오 신호를 향상시키도록 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 및 잔차 측면 성분 중 적어도 하나를 필터링한다(840). 필터링은 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하는 것과 같은 공간 큐 처리를 포함할 수 있다. 공간 큐 처리의 일부 예는 진폭 또는 지연 기반 패닝 또는 바이노럴 처리를 포함한다.
필터링은 압축 또는 제한과 같은 동적 범위 처리를 포함할 수 있다. 예를 들어, 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분은 압축에 대한 임계 레벨이 초과될 때 압축률에 따라 압축될 수 있다. 다른 예에서, 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분은 제한에 대한 임계 레벨이 초과될 때 최대 레벨로 제한될 수 있다.
필터링은 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분에 대한 머신 러닝 기반 변경을 포함할 수 있다. 일부 예는 머신 러닝 기반 보컬 또는 악기 스타일 전달, 변환 또는 재합성을 포함한다.
하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분의 필터링은 이득 적용, 잔향 뿐만 아니라, 코러스 및/또는 플랜징을 포함하는 다른 선형 또는 비선형 오디오 처리 기술 및 효과, 또는 다른 유형의 처리를 포함할 수 있다. 일부 실시예에서, 필터링은 도 9와 관련하여 아래에서 더 상세히 논의되는 바와 같이 부대역 공간 처리 및 크로스토크 보상을 위한 필터링을 포함할 수 있다.
필터링은 주파수 도메인 또는 시간 도메인에서 수행될 수 있다. 일부 실시예에서, 중간 및 측면 성분은 시간 도메인에서 주파수 도메인으로 변환되고, 하이퍼 및/또는 잔차 성분은 주파수 도메인에서 생성되고, 필터링은 주파수 도메인에서 수행되고, 필터링된 성분들은 시간 도메인으로 변환된다. 다른 실시예에서, 하이퍼 및/또는 잔차 성분은 시간 도메인으로 변환되고, 필터링은 시간 도메인에서 이들 성분에 대해 수행된다.
오디오 처리 시스템은 필터링된 하이퍼/잔차 성분들 중 하나 이상을 사용하여 좌측 출력 채널(예컨대, 좌측 출력 채널(121)) 및 우측 출력 채널(예컨대, 우측 출력 채널(123))을 생성한다(850). 예를 들어, M/S에서 L/R로의 변환은, 필터링된 하이퍼 중간 성분, 필터링된 잔차 중간 성분, 필터링된 하이퍼 측면 성분, 또는 필터링된 잔차 측면 성분 중 적어도 하나로부터 생성된 중간 성분(예컨대, 처리된 중간 성분(131)) 또는 측면 성분(예컨대, 처리된 측면 성분(139))을 사용하여 수행될 수 있다. 다른 예에서는, 필터링된 하이퍼 중간 성분 또는 필터링된 잔차 중간 성분이 M/S-L/R 변환을 위한 중간 성분으로 사용될 수 있거나, 필터링된 하이퍼 측면 성분 또는 잔차 측면 성분이 M/S-L/R 변환을 위한 측면 성분으로 사용될 수 있다.
직교 성분 부대역 공간 및 크로스토크 처리
도 9는 하나 이상의 실시예에 따른, 하이퍼 중간, 잔차 중간, 하이퍼 측면, 또는 잔차 측면 성분 중 적어도 하나를 사용하는 크로스토크 처리에 대한 보상 및 부대역 공간 처리를 위한 프로세스의 흐름도이다. 크로스토크 처리는 크로스토크 제거 또는 크로스토크 시뮬레이션을 포함할 수 있다. 부대역 공간 처리는 스피커의 위치에 대응하는 공간 내의 특정 지점이 아니라 넓은 영역으로부터 청취자에게 사운드가 전달된다는 인식을 생성하는 것(예컨대, 사운드스테이지 향상)과 같이 향상된 공간 검출 능력을 가진 오디오 콘텐츠를 제공함으로써 청취자에게 보다 몰입감 있는 청취 경험을 제공하기 위해 수행된다. 크로스토크 시뮬레이션은 대측 크로스토크를 갖는 스피커 경험을 시뮬레이션하기 위해 헤드폰으로의 오디오 출력에 사용될 수 있다. 크로스토크 제거는 크로스토크 간섭의 영향을 제거하기 위해 스피커로의 오디오 출력에 사용될 수 있다. 크로스토크 보상은 크로스토크 제거 또는 크로스토크 시뮬레이션으로 인한 스펙트럼 결함을 보상한다. 프로세스는 더 적은 단계 또는 추가 단계를 포함할 수 있으며, 단계들은 다른 순서로 수행될 수 있다. 하이퍼 및 잔차 중간/측면 성분들은 다른 목적을 위해 다른 방식으로 조작할 수 있다. 예를 들어, 크로스토크 보상의 경우, 오로지 하이퍼 중간 성분(M1)(많은 영화 콘텐츠에서 보컬 대화 에너지의 대부분이 발생하는 곳)에서의 크로스토크 처리로 인한 스펙트럼 아티팩트를 제거하기 위한 노력의 일환으로, 하이퍼 중간 성분(M1)에만 표적화된 부대역 필터링이 적용될 수 있다. 크로스토크 처리가 있거나 없는 사운드스테이지 향상의 경우, 잔차 중간 성분(M2) 및 잔차 측면 성분(S2)에 표적화된 부대역 이득이 적용될 수 있다. 예를 들어, 최종 L/R 신호에서 지각적 음량의 급격한 전반적 변경을 생성하지 않으면서 이득의 관점에서 이들 성분 사이의 거리를 증가시키면서(적절히 수행되면 공간 검출 능력을 증가시킬 수 있음) 또한 하이퍼 중간(M1) 성분(예컨대, 보컬 에너지의 대부분을 종종 포함하는 신호 부분)의 감쇠를 방지하기 위해, 잔차 중간 성분(M2)은 감쇠될 수 있고 잔차 측면 성분(S2)는 반대로 증폭될 수 있다.
오디오 처리 시스템은 좌측 및 우측 채널을 포함하는 입력 오디오 신호를 수신한다(910). 일부 실시예에서, 입력 오디오 신호는 다수의 좌우 채널 쌍을 포함하는 다중 채널 오디오 신호일 수 있다. 각각의 좌우 채널 쌍은 좌측 및 우측 입력 채널에 대해 본 명세서에서 논의된 바와 같이 처리될 수 있다.
오디오 처리 시스템은 수신된 입력 오디오 신호에 크로스토크 처리를 적용한다(920). 크로스토크 처리는 크로스토크 시뮬레이션과 크로스토크 제거 중 적어도 하나를 포함한다.
단계들(930 내지 960)에서, 오디오 처리 시스템은 하이퍼 중간, 하이퍼 측면, 잔차 중간, 또는 잔차 측면 성분 중 하나 이상을 사용하여 크로스토크 처리에 대한 부대역 공간 처리 및 크로스토크 보상을 수행한다. 일부 실시예에서, 크로스토크 처리는 단계들(930 내지 960)에서의 처리 후에 수행될 수 있다.
오디오 처리 시스템은 (예컨대, 크로스토크 처리된) 오디오 신호로부터 중간 성분 및 측면 성분을 생성한다(930).
오디오 처리 시스템은 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 및 잔차 측면 성분 중 적어도 하나를 생성한다(940). 오디오 처리 시스템은 위에 나열된 성분들 중 적어도 하나 및/또는 모두를 생성할 수 있다.
오디오 처리 시스템은 오디오 신호에 부대역 공간 처리를 적용하도록 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분 및 잔차 측면 성분 중 적어도 하나의 부대역을 필터링한다(950). 각 부대역은 임계 대역 세트에 의해 정의될 수 있는 것과 같은 주파수 범위를 포함할 수 있다. 일부 실시예에서, 부대역 공간 처리는 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 및 잔차 측면 성분 중 적어도 하나의 부대역을 시간 지연시키는 것을 더 포함한다.
오디오 처리 시스템은 입력 오디오 신호의 크로스토크 처리로 인한 스펙트럼 결함을 보상하도록 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 및 잔차 측면 성분 중 적어도 하나를 필터링한다(960). 스펙트럼 결함은 크로스토크 처리의 아티팩트로서 발생하는 미리 결정된 임계값(예컨대, 10dB)을 초과하는 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분, 또는 잔차 측면 성분의 주파수 응답 플롯의 피크 또는 트로프를 포함할 수 있다. 스펙트럼 결함은 추정된 스펙트럼 결함일 수 있다.
일부 실시예에서, 단계(950)에서의 부대역 공간 처리 및 단계(960)에서의 크로스토크 보상을 위한 스펙트럼적 직교 성분들의 필터링은 필터링을 위해 선택된 각각의 스펙트럼적 직교 성분에 대한 단일 필터링 동작으로 통합될 수 있다.
일부 실시예에서, 부대역 공간 처리 또는 크로스토크 보상을 위한 하이퍼/잔차 중간/측면 성분들의 필터는, 이득 적용, 진폭 또는 지연 기반 패닝, 바이노럴 처리 잔향, 압축 및 제한과 같은 동적 범위 처리, 코러스 및/또는 플랜징을 포함하는 선형 또는 비선형 오디오 처리 기술 및 효과, 보컬 또는 악기 스타일 전달, 변환 또는 재합성에 대한 머신 러닝 기반 접근법, 또는 하이퍼 중간 성분, 잔차 중간 성분, 하이퍼 측면 성분 및 잔차 측면 성분 중 하나를 사용하는 다른 처리 유형과 같은 다른 목적을 위한 필터링과 관련하여 수행될 수 있다.
필터링은 주파수 도메인 또는 시간 도메인에서 수행될 수 있다. 일부 실시예에서, 중간 및 측면 성분은 시간 도메인에서 주파수 도메인으로 변환되고, 하이퍼 및/또는 잔차 성분은 주파수 도메인에서 생성되고, 필터링은 주파수 도메인에서 수행되고, 필터링된 성분은 시간 도메인으로 변환된다. 다른 실시예에서, 하이퍼 및/또는 잔차 성분은 시간 도메인으로 변환되고, 필터링은 시간 도메인에서 이들 성분에 대해 수행된다.
오디오 처리 시스템은 필터링된 하이퍼 중간 성분으로부터 좌측 출력 채널 및 우측 출력 채널을 생성한다(970). 일부 실시예에서, 좌측 및 우측 출력 채널은 추가적으로, 필터링된 잔차 중간 성분, 필터링된 하이퍼 측면 성분, 및 필터링된 잔차 측면 성분 중 적어도 하나에 기초한다.
예시적 직교 성분 오디오 처리
도 10 내지 도 19는 하나 이상의 실시예에 따른, 예시적인 백색 잡음 신호의 중간 및 측면 성분의 스펙트럼 에너지를 도시하는 플롯이다.
도 10은 강한 좌측 패닝된 백색 잡음 신호(white noise signal panned hard left)(1000)의 플롯을 도시한다. 좌우 백색 잡음 신호는 정전력 사인/코사인 팬 법칙을 사용하여 중간 성분(1005) 및 측면 성분(1010)으로 변환되고 강한 좌측 패닝된다. 백색 잡음 신호가 강한 좌측 패닝될 때(1000), 한 쌍의 좌측 및 우측 스피커 사이에 위치한 사용자는 사운드가 좌측 스피커에서 및/또는 그 주위에서 발생하는 것으로 인식할 것이다. 백색 잡음 신호의 좌측 입력 채널과 우측 입력 채널로 분리되는 백색 잡음 신호는 L/R-M/S 변환기 모듈(107)을 사용하여 중간 성분(1005) 및 측면 성분(1010)으로 변환될 수 있다. 도 10에 도시된 바와 같이, 백색 잡음 신호가 강한 좌측 패닝될 때(100), 중간 성분(1005)과 측면 성분(1010)은 둘 다 거의 동일한 양의 에너지를 갖는다. 유사하게, 백색 잡음 신호가 강한 우측 패닝될 때(도 10에는 도시되지 않음), 중간 및 측면 성분은 거의 동일한 양의 에너지를 갖는다.
도 11은 중앙 좌측 패닝된 백색 잡음 신호(1100)의 플롯을 도시한다. 백색 잡음 신호가 공통 정전력 사인/코사인 팬 법칙을 사용하여 중앙 좌측 패닝될 때(1100), 한 쌍의 좌측 및 우측 스피커 사이에 위치한 사용자는 사운드가 사용자의 앞쪽과 좌측 스피커 사이의 중간에서 발생하는 것으로 인식할 것이다. 도 11은 중앙 좌측 패닝된 백색 잡음 신호(1100)의 중간 성분(1105) 및 측면 성분(1110)을 도시할 뿐만 아니라 강한 좌측 패닝된 백색 잡음 신호(1000)를 도시한다. 강한 좌측 패닝된 백색 잡음 신호(1000)에 비해, 중간 성분(1105)은 대략 3dB만큼 증가하고 측면 성분(1110)은 대략 6dB만큼 감소한다. 백색 잡음 신호가 중앙 우측 패닝될 때, 중간 성분(1105) 및 측면 성분(1110)은 도 11에 도시된 것과 유사한 에너지를 가질 것이다.
도 12는 중앙 패닝된 백색 잡음 신호(white noise signal panned center)(1200)의 플롯을 도시한다. 백색 잡음 신호가 공통 정전력 사인/코사인 팬 법칙을 사용하여 중앙 패닝될 때(1200), 한 쌍의 좌우 스피커 사이에 위치한 사용자는 사운드가 사용자의 앞(예컨대, 좌측 및 우측 스피커 사이)에서 발생하는 것으로 인식할 것이다. 도 12에 도시된 바와 같이, 중앙 패닝된 백색 잡음 신호(1200)는 중간 성분(1205)만을 갖는다.
위에 있는 도 10, 도 11 및 도 12의 예로부터, 비록 도 12에 도시된 바와 같이 중앙 패닝된 사운드(즉, 좌측 및 우측 채널이 동일한 경우)에 대한 신호에서는 중간 성분이 유일한 에너지를 포함하지만, 도 10 및 도 11에 도시된 바와 같이 원래의 L/R 스트림의 사운드가 통상적으로 중앙에서 벗어난 것으로 인식되는 시나리오(즉, 중앙의 좌측 또는 우측 패닝된 사운드)에서는 측면 성분 에너지도 존재함을 알 수 있다.
특히, 대부분의 L/R 오디오 사용 사례를 나타내는 위의 세 가지 시나리오는 측면 성분이 유일한 에너지를 포함하는 시나리오를 포함하지 않는다. 이것은 좌측 채널과 우측 채널이 180도 위상차(즉, 부호 반전)를 가질 경우에만 해당는데, 이는 음악 및 엔터테인먼트를 위한 2채널 오디오에서는 드문 일이다. 따라서, 중간 성분은 사실상 모든 2채널 좌측/우측 오디오 스트림에 보편적이고 중앙 패닝된 콘텐츠에서도 유일한 에너지를 포함하는 반면, 측면 성분은 중앙 패닝된 콘텐츠를 제외한 모든 콘텐츠에 존재하지만 신호의 유일한 에너지로서의 역할을 하는 일은 극히 드물다.
직교 성분 처리는 서로에 대해 스펙트럼적으로 "직교"인 중간 및 측면 성분의 부분을 분리시키고 이에 대해 동작한다. 즉, 직교 성분 처리를 사용하여, 사운드스테이지의 중앙에 존재하는 에너지에만 대응하는 중간 성분의 부분(즉, 하이퍼 중간 성분)은 분리될 수 있고, 마찬가지로 사운드스테이지의 중앙에 존재하지 않는 에너지에만 대응하는 측면 성분의 부분(즉, 하이퍼 측면 성분)은 분리될 수 있다. 개념적으로, 하이퍼 중간 성분은 스피커 및 헤드폰 둘 다에서 사운드스테이지 중앙에서 감지되는 얇은 사운드 기둥에 대응하는 에너지이다. 또한, 간단한 스칼라를 사용하여, 이 기둥의 "얇은" 정도를 제어하여 하이퍼 중간에서 중간까지와 하이퍼 측면에서 측면까지 보간 공간(interpolation space)을 제공할 수 있다. 또한, 하이퍼 중간/측면 성분 신호를 도출하는 것에 대한 부산물로서, 하이퍼 중간 또는 하이퍼 측면 성분과 함께 결합되어 원래의 완전한 중간 및 측면 성분을 형성하는 잔차 신호(예컨대, 잔차 중간 및 측면 성분)에 대해 동작하는 것도 가능하다. 중간 및 측면의 이 네 가지 하위 성분 각각은, 간단한 이득 스테이징에서 멀티 밴드 EQ, 사용자 지정 및 고유한 효과에 이르는 모든 동작 방식과 독립적으로 처리될 수 있다.
도 13 내지 도 19는 백색 잡음 신호의 직교 성분 처리를 도시한다. 도 13은, 직교 성분 처리 없이, 중앙 패닝되고 20 ~ 100Hz에서 대역 통과된 백색 잡음 신호(1305)(예컨대, 8차 버터워스 필터를 사용함) 및 강한 좌측 패닝되고 5000 ~ 10000Hz에서 대역 통과된 백색 잡음 신호(1310)(예컨대, 8차 버터워스 필터를 사용함)의 플롯을 도시한다. 플롯은 패닝된 백색 잡음 신호(1305 및 1310)의 각각에 대한 중간 성분(1315) 및 측면 성분(1320)을 도시한다. 중앙 패닝된 백색 잡음 신호(1305)는 중간 성분(1315)에만 에너지를 갖는 반면, 강한 좌측 패닝된 백색 잡음 신호는 중간 성분(1315)과 측면 성분(1320)에서 동일한 양의 에너지를 갖는다. 이는 도 10 및 도 12에 도시된 결과와 유사하다.
도 14는 측면 성분(1320)의 에너지가 제거된 도 13의 패닝된 백색 잡음 신호(1305, 1310)를 도시한다. 신호(1305)의 백색 잡음의 중앙 패닝된 저대역은 변경되지 않는다. 신호(1310)의 백색 잡음의 강한 좌측 패닝된 고대역은 이제 제로 측면 에너지를 갖는 반면 중간 성분(1315)에 의해 표현된 에너지 부분이 여전히 존재한다. 측면 에너지가 제거되더라도, 신호(1310)에 의해 도시된 바와 같이 중간 신호에 존재하는 비중앙 패닝된 에너지가 여전히 존재한다.
도 15는 직교 성분 처리를 사용하는 도 13의 패닝된 백색 잡음 신호(1500)를 도시한다. 특히, 직교 성분 처리는 하이퍼 중간 성분(1510)를 분리하고 오디오 신호의 다른 에너지를 제거하기 위해 사용된다. 여기서, 강한 좌측 패닝된 신호는 제거되고 중앙 패닝된 신호(1500)만 남는다. 이는 하이퍼 중간 성분(1510)이 신호에서 사운드스테이지의 가장 중앙을 차지하는 에너지만을 분리한 결과물이고 다른 것은 없음을 보여준다.
오디오 신호의 하이퍼 중간 성분을 분리할 수 있기 때문에, 원래 신호의 어떤 요소가 다양한 M1/M2/S1/S2 성분이 되는지를 제어하도록 오디오 신호를 조작할 수 있다. 이 전처리 조작은 단순한 진폭 및 지연 조정에서 더 복잡한 필터링 기술에 이르기까지 다양하다. 그런 다음, 이러한 전처리 조작은 원래의 사운드스테이지를 복원하기 위해 이후에 반전될 수 있다.
도 16은 직교 성분 처리를 사용하는 도 13의 패닝된 백색 잡음 신호(1600)의 다른 실시예를 도시한다. L/R 오디오 신호는, (예컨대, 도 13의 신호(1310)에 의해 도시된 바와 같은) 강한 좌측 패닝된 고대역 백색 잡음을 사운드스테이지의 중앙에 배치하고 (예컨대, 도 13에서 신호(1305)에 의해 도시된 바와 같은) 중앙 패닝된 저대역 잡음을 중앙으로부터 멀리 이동시키는 방식으로 회전된다. 그러면, 강한 좌측 패닝되고 5000 ~ 10000Hz에서 대역 통과된 원래의 백색 잡음 신호가 추출되고, 이는 회전된 L/R 신호의 하이퍼 중간 성분(1610)을 분리함으로써 추가로 처리될 수 있다.
도 17은 역상관된 백색 잡음 신호(1700)를 도시한다. 입력 백색 잡음 신호(1700)는 우측 채널 성분(1710) 및 좌측 채널 성분(1720)을 포함하는 2채널 직교 백색 잡음 신호일 수 있다. 플롯은 또한 백색 잡음 신호로부터 생성된 중간 성분(1730) 및 측면 성분(1740)을 보여준다. 좌측 채널 성분(1720)의 스펙트럼 에너지는 우측 채널 성분(1710)의 스펙트럼 에너지와 매칭되고, 중간 성분(1730)의 스펙트럼 에너지는 측면 성분(1740)의 스펙트럼 에너지와 매칭된다. 중간 성분(1730) 및 측면 성분(1740)은 우측 채널 성분(1710) 및 좌측 채널 성분(1720)보다 신호 레벨이 약 3dB 더 낮다.
도 18은 중간 성분(1730)이 하이퍼 중간 성분(1810)과 잔차 중간 성분(1820)으로 분해된 것을 도시한다. 중간 성분(1730)은 사운드스테이지에서 입력 오디오 신호의 비공간 정보를 나타낸다. 하이퍼 중간 성분(1810)은 사운드스테이지의 바로 중앙에서 발견되는 비공간 정보의 하위 성분을 포함하고, 잔차 중간 성분(1820)은 나머지 비공간 정보이다. 전형적인 스테레오 오디오 신호에서, 하이퍼 중간 성분(1810)은 대화 또는 보컬과 같은 오디오 신호의 주요 특징을 포함할 수 있다. 도 18에서, 잔차 중간 성분(1820)은 중간 성분(1730)보다 대략 3dB 더 낮고, 하이퍼 중간 성분(1810)은 중간 성분(1730)보다 대략 8-9dB 더 낮다.
도 19는 측면 성분(1740)이 하이퍼 측면 성분(1910)와 잔차 측면 성분(1920)으로 분해된 것을 도시한다. 측면 성분(1740)은 사운드스테이지에서 입력 오디오 신호의 공간 정보를 나타낸다. 하이퍼 측면 성분(1910)은 사운드스테이지의 에지에서 발견되는 공간 정보의 하위 성분을 포함하고, 잔차 측면 성분(1920)은 나머지 공간 정보이다. 전형적인 스테레오 오디오 신호에서, 잔차 측면 성분(1920)은, 바이노럴 처리, 패닝 기술, 잔향 및/또는 역상관 프로세스의 효과와 같은, 처리로 인한 주요 특징을 포함한다. 도 19에 도시된 바와 같이, 측면 성분(1740), 하이퍼 측면 성분(1910) 및 잔차 측면 성분(1920) 사이의 관계는 중간 성분(1730), 하이퍼 중간 성분(1810) 및 잔차 측면 성분(1820) 사이의 관계와 유사하다.
컴퓨팅 머신 아키텍처
도 20은 하나 이상의 실시예에 따른 컴퓨터 시스템(2000)의 블록도이다. 컴퓨터 시스템(2000)은 오디오 처리 시스템을 구현하는 회로의 예이다. 칩셋(2004)에 결합된 적어도 하나의 프로세서(2002)가 도시되어 있다. 칩셋(2004)은 메모리 제어기 허브(2020) 및 입력/출력(I/O) 제어기 허브(2022)를 포함한다. 메모리(2006) 및 그래픽 어댑터(2012)가 메모리 제어기 허브(2020)에 결합되고, 디스플레이 디바이스(2018)가 그래픽 어댑터(2012)에 결합된다. 저장 디바이스(2008), 키보드(2020), 포인팅 디바이스(2014), 및 네트워크 어댑터(2016)가 I/O 제어기 허브(2022)에 결합된다. 컴퓨터 시스템(2000)은 다양한 유형의 입력 또는 출력 디바이스를 포함할 수 있다. 컴퓨터 시스템(2000)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 일부 실시예에서 메모리(2006)는 프로세서(2002)에 직접 결합된다.
저장 디바이스(2008)는, 하드 드라이브, CD-ROM(Compact Disk Read-Only Memory), DVD, 또는 솔리드 스테이트 메모리 디바이스와 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 메모리(2006)는 프로세서(2002)에 의해 사용되는 프로그램 코드(하나 이상의 명령어로 구성됨) 및 데이터를 보유한다. 프로그램 코드는 도 1 내지 도 19를 사용하여 설명된 처리 양태에 대응한다.
포인팅 디바이스(2014)는 컴퓨터 시스템(2000)에 데이터를 입력하기 위해 키보드(2010)와 함께 사용된다. 그래픽 어댑터(2012)는 디스플레이 디바이스(2018) 상에 이미지 및 기타 정보를 표시한다. 일부 실시예에서, 디스플레이 디바이스(2018)는 사용자 입력 및 선택을 수신하기 위한 터치 스크린 기능을 포함한다. 네트워크 어댑터(2016)는 컴퓨터 시스템(2000)을 네트워크에 결합시킨다. 컴퓨터 시스템(2000)의 일부 실시예는 도 20에 도시된 것과 상이한 및/또는 다른 구성요소를 갖는다.
회로는 비일시적 컴퓨터 판독가능 매체에 저장된 프로그램 코드를 실행하는 하나 이상의 프로세서를 포함할 수 있으며, 프로그램 코드는, 하나 이상의 프로세서에 의해 실행될 때, 오디오 처리 시스템 또는 오디오 처리 시스템의 모듈을 구현하도록 하나 이상의 프로세서를 구성한다. 오디오 처리 시스템 또는 오디오 처리 시스템의 모듈을 구현하는 회로의 다른 예는 ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), 또는 다른 유형의 컴퓨터 회로와 같은 집적 회로를 포함할 수 있다.
추가 고려사항
개시된 구성의 예시적 이점 및 장점은, 디바이스 및 관련 오디오 렌더링 시스템에 맞춰 조정되는 향상된 오디오 시스템 뿐만 아니라 사용 사례 정보(예컨대, 오디오 신호가 게임이 아닌 음악 재생에 사용됨을 나타냄)와 같은 디바이스 OS에 의해 이용 가능하게 되는 다른 관련 정보로 인한 동적 오디오 향상을 포함한다. 향상된 오디오 시스템은 디바이스에 통합되거나(예컨대, 소프트웨어 개발 키트를 사용함) 요청 시 액세스할 수 있도록 원격 서버에 저장될 수 있다. 이러한 방식으로, 디바이스는 오디오 렌더링 시스템 또는 오디오 렌더링 구성에 특정되는 오디오 향상 시스템의 유지 관리에 저장 또는 처리 리소스를 할애할 필요가 없다. 일부 실시예에서, 향상된 오디오 시스템은 이용 가능한 디바이스 특정 렌더링 정보의 다양한 레벨에 걸쳐 효과적인 오디오 향상이 적용될 수 있도록 렌더링 시스템 정보에 대한 다양한 레벨의 질의를 가능하게 한다.
본 명세서 전반에 걸쳐, 복수의 인스턴스가 단일 인스턴스로서 설명된 구성요소, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개별 동작은 별도의 동작으로 도시되고 설명되지만, 개별 동작들 중 하나 이상은 동시에 수행될 수 있으며, 동작은 설명된 순서대로 수행될 필요는 없다. 예시적인 구성에서 별도의 구성요소들로서 제시된 구조 및 기능은 결합된 구조 또는 구성요소로 구현될 수 있다. 유사하게, 단일 구성요소로서 제시된 구조 및 기능은 별도의 구성요소들로 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본원의 주제 범위에 속한다.
본 명세서에서 특정 실시예는 로직 또는 다수의 구성요소, 모듈, 또는 메커니즘을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예컨대, 머신 판독가능 매체 또는 전송 신호에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. 하드웨어 모듈은 특정 동작을 수행할 수 있는 유형의 유닛이며 특정 방식으로 구성되거나 배열될 수 있다. 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예컨대, 독립형 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예컨대, 프로세서 또는 프로세서 그룹)은 소프트웨어(예컨대, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에 설명된 특정 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
본 명세서에 설명된 예시적인 방법의 다양한 동작은 관련 동작을 수행하도록 일시적으로 구성되거나(예컨대, 소프트웨어에 의해) 영구적으로 구성된 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든 이러한 프로세서는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현 모듈을 구성할 수 있다. 일부 예시적 실시예에서, 본 명세서에서 언급된 모듈은 프로세서-구현 모듈을 포함할 수 있다.
유사하게, 본 명세서에 설명된 방법은 적어도 부분적으로 프로세서로 구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서 또는 프로세서-구현 하드웨어 모듈에 의해 수행될 수 있다. 특정 동작의 성능은 단일 머신 내에 상주할 뿐만 아니라 다수의 머신에 걸쳐 배포되는 하나 이상의 프로세서에 분산될 수 있다. 일부 예시적 실시예에서 프로세서 또는 프로세서들은 단일 위치(예를 들어, 가정 환경 내에, 사무실 환경 내에 또는 서버 팜으로서)에 위치할 수 있는 반면, 다른 실시예에서 프로세서는 다수의 위치에 걸쳐 분산될 수 있다.
달리 구체적으로 언급되지 않는 한, "처리하는", "컴퓨팅하는", "계산하는", "결정하는", "제시하는", "표시하는" 등과 같은 단어를 사용하는 본 명세서에서의 논의는, 하나 이상의 메모리(예컨대, 휘발성 메모리, 비휘발성 메모리 또는 이들의 조합), 레지스터, 또는 정보를 수신, 저장, 전송 또는 표시하는 다른 머신 구성요소 내에서 물리적(예컨대, 전자적, 자기적 또는 광학적) 양으로 표현되는 데이터를 조작 또는 변환하는 머신(예컨대, 컴퓨터)의 동작 또는 프로세스를 지칭할 수 있다.
본 명세서에서 사용될 때, "일 실시예" 또는 "실시예"에 대한 임의의 언급은 실시예와 관련하여 설명된 특정 요소, 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함되는 것을 의미한다. 명세서의 다양한 위치에서 "일 실시예에서"라는 문구의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예는 "결합된" 및 "접속된"이라는 표현을 이들의 파생어와 함께 사용하여 설명될 수 있다. 이러한 용어는 서로 동의어로 의도된 것이 아님을 이해해야 한다. 예를 들어, 일부 실시예는 2개 이상의 요소가 서로 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "접속된"이라는 용어를 사용하여 설명될 수 있다. 다른 예에서, 일부 실시예는 2개 이상의 요소가 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나, "결합된"이라는 용어는 둘 이상의 요소가 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 상호 작용하는 것을 의미할 수도 있다. 실시예는 이러한 맥락에서 제한되지 않는다.
본 명세서에 사용될 때, "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", "갖는다", "갖는" 또는 이들의 임의의 다른 변형은 비배타적인 포함을 커버하도록 의도된다. 예를 들어, 요소의 목록을 포함하는 프로세스, 방법, 물품 또는 장치는 반드시 그러한 요소만으로 제한되지 않으며, 명시적으로 나열되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 고유하지 않은 다른 요소를 포함할 수 있다. 또한, 달리 명시적으로 언급되지 않는 한, "또는"은 배타적 또는이 아닌 포괄적 또는을 나타낸다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 충족된다: A는 참이고(또는 존재하고) B는 거짓임(또는 존재하지 않음), A는 거짓이고(또는 존재하지 않고) B는 참임(또는 존재함), A와 B는 모두 참임(또는 존재함).
또한, "a" 또는 "an"의 사용은 본 명세서의 실시예의 요소 및 구성요소를 설명하기 위해 사용된다. 이것은 단지 편의를 위해 그리고 본 발명의 일반적인 의미를 제공하기 위해 수행된다. 이 설명은 하나 또는 적어도 하나를 포함하는 것으로 읽혀져야 하며, 달리 의미하는 것이 분명하지 않는 한 단수는 복수도 포함한다.
이 설명의 어떤 부분은 정보에 대한 동작의 알고리즘 및 기호 표현의 관점에서 실시예를 설명한다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 기술자가 자신의 작업 내용을 해당 기술 분야의 다른 사람에게 효과적으로 전달하는 데 일반적으로 사용된다. 이러한 동작은 기능적으로, 계산적으로 또는 논리적으로 설명되지만, 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한 일반성을 잃지 않으면서 이러한 동작 배열을 모듈로 지칭하는 것이 때로는 편리하다는 것이 입증되었다. 설명된 동작 및 관련 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 설명된 단계, 동작 또는 프로세스 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈에 의해 단독으로 또는 다른 디바이스와 함께 사용하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 설명된 단계, 동작, 또는 프로세스 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 구현된다.
실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템 버스에 결합될 수 있는 비일시적 유형의(tangible) 컴퓨터 판독가능 저장 매체, 또는 전자 명령어를 저장하기에 적합한 임의의 타입의 매체에 저장될 수 있다. 또한, 명세서에서 언급된 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계를 사용하는 아키텍처일 수 있다.
실시예는 또한 본 명세서에 설명된 컴퓨팅 프로세스에 의해 산출되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 생성된 정보를 포함할 수 있는데, 여기서 정보는 비일시적 유형의 컴퓨터 판독가능 저장 매체에 저장되며, 컴퓨터 프로그램 제품 또는 본 명세서에 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
본 개시물을 읽을 때, 당업자는 본 명세서에 개시된 원리를 통해 디바이스-특정 메타데이터를 사용하는 오디오 향상을 위한 프로세스 및 시스템에 대한 또 다른 대안적인 구조적 및 기능적 설계를 이해할 것이다. 따라서, 특정 실시예 및 애플리케이션이 예시되고 설명되었지만, 개시된 실시예는 본 명세서에 개시된 정확한 구성 및 구성요소에 제한되지 않는다는 것을 이해해야 한다. 첨부된 청구범위에 정의된 사상 및 범위를 벗어나지 않으면서 본 명세서에 개시된 방법 및 장치의 배열, 동작 및 세부사항에서 당업자에게 자명할 다양한 수정, 변경 및 변형이 이루어질 수 있다.
마지막으로, 명세서에 사용된 언어는 주로 가독성 및 교육 목적으로 선택되었으며, 특허권을 기술하거나 제한하기 위해 선택된 것이 아닐 수 있다. 따라서, 특허권의 범위는 이러한 상세한 설명이 아니라 이에 기초하여 출원에 대해 발행되는 임의의 청구항에 의해 제한되는 것으로 의도된다. 따라서, 실시예의 개시는 다음의 청구범위에 제시되는 특허권의 범위를 제한하는 것이 아닌 예시하기 위한 것이다.

Claims (78)

  1. 오디오 신호를 처리하기 위한 시스템으로서,
    회로를 포함하되, 상기 회로는,
    상기 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 성분 및 측면 성분을 생성하고,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 측면 성분의 스펙트럼 에너지를 제거하고, 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 측면 성분의 크기를 감산함으로써, 하이퍼 중간 성분(hyper mid component)을 생성하고,
    상기 하이퍼 중간 성분을 필터링하고,
    상기 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  2. 제1항에 있어서,
    상기 회로는 또한, 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 더 구성되는,
    시스템.
  3. 제1항에 있어서,
    상기 회로가 상기 하이퍼 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 중간 성분의 부대역(subband)의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 구성되는 것을 포함하는,
    시스템.
  4. 제1항에 있어서,
    상기 회로가 상기 하이퍼 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 중간 성분에 동적 범위 처리(dynamic range processing)를 적용하도록 구성되는 것을 포함하는,
    시스템.
  5. 제1항에 있어서,
    상기 회로가 상기 하이퍼 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 구성되는 것을 포함하는,
    시스템.
  6. 제1항에 있어서,
    상기 회로가 상기 하이퍼 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 구성되는 것을 포함하는,
    시스템.
  7. 제1항에 있어서,
    상기 회로는 또한,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분(residual mid component)을 생성하고,
    상기 잔차 중간 성분을 필터링하고,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  8. 제7항에 있어서,
    상기 회로가 상기 잔차 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 중간 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 구성되는 것을 포함하는,
    시스템.
  9. 제7항에 있어서,
    상기 회로가 상기 잔차 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 중간 성분에 동적 범위 처리를 적용하도록 구성되는 것을 포함하는,
    시스템.
  10. 제7항에 있어서,
    상기 회로가 상기 잔차 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 구성되는 것을 포함하는,
    시스템.
  11. 제7항에 있어서,
    상기 회로가 상기 잔차 중간 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 구성되는 것을 포함하는,
    시스템.
  12. 제7항에 있어서,
    상기 회로는 또한 상기 중간 성분에 푸리에 변환을 적용하여 상기 중간 성분을 상기 주파수 도메인으로 변환하도록 구성되고,
    상기 회로가 상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분을 생성하도록 구성되는 것은 상기 회로가 상기 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 중간 성분의 크기를 감산하도록 구성되는 것을 포함하는,
    시스템.
  13. 제1항에 있어서,
    상기 회로는 또한,
    상기 하이퍼 중간 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 상기 하이퍼 중간 성분을 시간 도메인으로 변환하고,
    상기 중간 성분을 시간 지연시켜 지연된 중간 성분을 생성하고,
    상기 시간 도메인의 상기 지연된 중간 성분에서 상기 시간 도메인의 상기 하이퍼 중간 성분을 감산하여 잔차 중간 성분을 생성하고,
    상기 잔차 중간 성분을 필터링하고,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  14. 제1항에 있어서,
    상기 회로는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 하이퍼 측면 성분을 필터링하고,
    상기 필터링된 하이퍼 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  15. 제14항에 있어서,
    상기 회로는 또한 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 구성되고,
    상기 회로가 상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하도록 구성되는 것은 상기 회로가 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 중간 성분의 크기를 감산하도록 구성되는 것을 포함하는,
    시스템.
  16. 제14항에 있어서,
    상기 회로가 상기 하이퍼 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 구성되는 것을 포함하는,
    시스템.
  17. 제14항에 있어서,
    상기 회로가 상기 하이퍼 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 측면 성분에 동적 범위 처리를 적용하도록 구성되는 것을 포함하는,
    시스템.
  18. 제14항에 있어서,
    상기 회로가 상기 하이퍼 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 구성되는 것을 포함하는,
    시스템.
  19. 제14항에 있어서,
    상기 회로가 상기 하이퍼 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 하이퍼 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 구성되는 것을 포함하는,
    시스템.
  20. 제1항에 있어서,
    상기 회로는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하고,
    상기 잔차 측면 성분을 필터링하고,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  21. 제20항에 있어서,
    상기 회로가 상기 잔차 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 구성되는 것을 포함하는,
    시스템.
  22. 제20항에 있어서,
    상기 회로가 상기 잔차 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 측면 성분에 동적 범위 처리를 적용하도록 구성되는 것을 포함하는,
    시스템.
  23. 제20항에 있어서,
    상기 회로가 상기 잔차 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 구성되는 것을 포함하는,
    시스템.
  24. 제20항에 있어서,
    상기 회로가 상기 잔차 측면 성분을 필터링하도록 구성되는 것은 상기 회로가 상기 잔차 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 구성되는 것을 포함하는,
    시스템.
  25. 제20항에 있어서,
    상기 회로는 또한 상기 측면 성분에 푸리에 변환을 적용하여 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 구성되고,
    상기 회로가 상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하도록 구성되는 것은, 상기 회로가 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 측면 성분의 크기를 감산하도록 구성되는 것을 포함하는,
    시스템.
  26. 제1항에 있어서,
    상기 회로는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 하이퍼 측면 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 상기 하이퍼 측면 성분을 시간 도메인으로 변환하고,
    상기 측면 성분을 시간 지연시켜 지연된 측면 성분을 생성하고,
    상기 시간 도메인의 상기 지연된 측면 성분에서 상기 시간 도메인의 상기 하이퍼 측면 성분을 감산하여 잔차 측면 성분을 생성하고,
    상기 잔차 측면 성분을 필터링하고,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  27. 저장된 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 적어도 하나의 프로세서에 의해 실행될 때,
    오디오 신호의 좌측 채널 및 우측 채널로부터 중간 성분 및 측면 성분을 생성하고,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 측면 성분의 스펙트럼 에너지를 제거하고, 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 측면 성분의 크기를 감산함으로써, 하이퍼 중간 성분을 생성하고,
    상기 하이퍼 중간 성분을 필터링하고,
    상기 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  28. 제27항에 있어서,
    상기 프로그램 코드는 또한, 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  29. 제27항에 있어서,
    상기 하이퍼 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 하이퍼 중간 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 상기 적어도 하나의 프로세서를 더 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  30. 제27항에 있어서,
    상기 하이퍼 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 하이퍼 중간 성분에 동적 범위 처리를 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  31. 제27항에 있어서,
    상기 하이퍼 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 하이퍼 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  32. 제27항에 있어서,
    상기 하이퍼 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 하이퍼 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  33. 제27항에 있어서,
    상기 프로그램 코드는 또한,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분을 생성하고,
    상기 잔차 중간 성분을 필터링하고,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  34. 제33항에 있어서,
    상기 잔차 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 중간 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  35. 제33항에 있어서,
    상기 잔차 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 중간 성분에 동적 범위 처리를 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  36. 제33항에 있어서,
    상기 잔차 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  37. 제33항에 있어서,
    상기 잔차 중간 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  38. 제33항에 있어서,
    상기 프로그램 코드는 또한 상기 중간 성분에 푸리에 변환을 적용하여 상기 중간 성분을 상기 주파수 도메인으로 변환하도록 상기 적어도 하나의 프로세서를 구성하고,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분을 생성하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 중간 성분의 크기를 감산하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  39. 제27항에 있어서,
    상기 프로그램 코드는 또한,
    상기 하이퍼 중간 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 상기 하이퍼 중간 성분을 시간 도메인으로 변환하고,
    상기 중간 성분을 시간 지연시켜 지연된 중간 성분을 생성하고,
    상기 시간 도메인의 상기 지연된 중간 성분에서 상기 시간 도메인의 상기 하이퍼 중간 성분을 감산하여 잔차 중간 성분을 생성하고,
    상기 잔차 중간 성분을 필터링하고,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  40. 제27항에 있어서,
    상기 프로그램 코드는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 하이퍼 측면 성분을 필터링하고,
    상기 필터링된 하이퍼 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  41. 제40항에 있어서,
    상기 프로그램 코드는 또한 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 상기 적어도 하나의 프로세서를 구성하고,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 중간 성분의 크기를 감산하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  42. 제40항에 있어서,
    상기 하이퍼 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는, 상기 하이퍼 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 상기 적어도 하나의 프로세서를 구성하는 프로그램 코드를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  43. 제40항에 있어서,
    상기 하이퍼 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는, 상기 하이퍼 측면 성분에 동적 범위 처리를 적용하도록 상기 적어도 하나의 프로세서를 구성하는 프로그램 코드를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  44. 제40항에 있어서,
    상기 하이퍼 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는, 상기 하이퍼 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 상기 적어도 하나의 프로세서를 구성하는 프로그램 코드를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  45. 제40항에 있어서,
    상기 하이퍼 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는, 상기 하이퍼 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 상기 적어도 하나의 프로세서를 구성하는 프로그램 코드를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  46. 제27항에 있어서,
    상기 프로그램 코드는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하고,
    상기 잔차 측면 성분을 필터링하고,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  47. 제46항에 있어서,
    상기 잔차 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  48. 제46항에 있어서,
    상기 잔차 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 측면 성분에 동적 범위 처리를 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  49. 제46항에 있어서,
    상기 잔차 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  50. 제46항에 있어서,
    상기 잔차 측면 성분을 필터링하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 잔차 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  51. 제46항에 있어서,
    상기 프로그램 코드는 또한 상기 측면 성분에 푸리에 변환을 적용하여 상기 측면 성분을 상기 주파수 도메인으로 변환하도록 상기 적어도 하나의 프로세서를 구성하고,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하도록 상기 적어도 하나의 프로세서를 구성하는 상기 프로그램 코드는 또한, 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 측면 성분의 크기를 감산하도록 상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  52. 제27항에 있어서,
    상기 프로그램 코드는 또한,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하고,
    상기 하이퍼 측면 성분에 역 푸리에 변환을 적용하여 주파수 도메인의 상기 하이퍼 측면 성분을 시간 도메인으로 변환하고,
    상기 측면 성분을 시간 지연시켜 지연된 측면 성분을 생성하고,
    상기 시간 도메인의 상기 지연된 측면 성분에서 상기 시간 도메인의 상기 하이퍼 측면 성분을 감산하여 잔차 측면 성분을 생성하고,
    상기 잔차 측면 성분을 필터링하고,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하도록
    상기 적어도 하나의 프로세서를 구성하는,
    비일시적 컴퓨터 판독가능 매체.
  53. 오디오 신호를 처리하기 위한 방법으로서,
    회로에 의해,
    상기 오디오 신호의 좌측 채널 및 우측 채널로부터 중간 성분 및 측면 성분을 생성하는 단계와,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 측면 성분의 스펙트럼 에너지를 제거하고, 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 측면 성분의 크기를 감산함으로써, 하이퍼 중간 성분(hyper mid component)을 생성하는 단계와,
    상기 하이퍼 중간 성분을 필터링하는 단계와,
    상기 필터링된 하이퍼 중간 성분을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하는 단계를 포함하는,
    방법.
  54. 제53항에 있어서,
    상기 회로에 의해, 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하는 단계를 더 포함하는,
    방법.
  55. 제53항에 있어서,
    상기 하이퍼 중간 성분을 필터링하는 단계는 상기 하이퍼 중간 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하는 단계를 더 포함하는,
    방법.
  56. 제53항에 있어서,
    상기 하이퍼 중간 성분을 필터링하는 단계는 상기 하이퍼 중간 성분에 동적 범위 처리를 적용하는 단계를 포함하는,
    방법.
  57. 제53항에 있어서,
    상기 하이퍼 중간 성분을 필터링하는 단계는 상기 하이퍼 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하는 단계를 포함하는,
    방법.
  58. 제53항에 있어서,
    상기 하이퍼 중간 성분을 필터링하는 단계는 상기 하이퍼 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하는 단계를 포함하는,
    방법.
  59. 제53항에 있어서,
    상기 회로에 의해,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분을 생성하는 단계와,
    상기 잔차 중간 성분을 필터링하는 단계와,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하는 단계를 더 포함하는,
    방법.
  60. 제59항에 있어서,
    상기 잔차 중간 성분을 필터링하는 단계는 상기 잔차 중간 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하는 단계를 포함하는,
    방법.
  61. 제59항에 있어서,
    상기 잔차 중간 성분을 필터링하는 단계는 상기 잔차 중간 성분에 동적 범위 처리를 적용하는 단계를 포함하는,
    방법.
  62. 제59항에 있어서,
    상기 잔차 중간 성분을 필터링하는 단계는 상기 잔차 중간 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하는 단계를 포함하는,
    방법.
  63. 제59항에 있어서,
    상기 잔차 중간 성분을 필터링하는 단계는 상기 잔차 중간 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하는 단계를 포함하는,
    방법.
  64. 제59항에 있어서,
    상기 중간 성분에 푸리에 변환을 적용하여 상기 중간 성분을 상기 주파수 도메인으로 변환하는 단계를 더 포함하되,
    상기 중간 성분의 스펙트럼 에너지로부터 상기 하이퍼 중간 성분의 스펙트럼 에너지를 제거함으로써 잔차 중간 성분을 생성하는 단계는 상기 주파수 도메인의 상기 중간 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 중간 성분의 크기를 감산하는 단계를 포함하는,
    방법.
  65. 제53항에 있어서,
    상기 회로에 의해,
    상기 하이퍼 중간 성분에 역 푸리에 변환을 적용하여 상기 주파수 도메인의 상기 하이퍼 중간 성분을 시간 도메인으로 변환하는 단계와,
    상기 중간 성분을 시간 지연시켜 지연된 중간 성분을 생성하는 단계와,
    상기 시간 도메인의 상기 지연된 중간 성분에서 상기 시간 도메인의 상기 하이퍼 중간 성분을 감산하여 잔차 중간 성분을 생성하는 단계와,
    상기 잔차 중간 성분을 필터링하는 단계와,
    상기 필터링된 잔차 중간 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하는 단계를 더 포함하는,
    방법.
  66. 제53항에 있어서,
    상기 회로에 의해,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하는 단계와,
    상기 하이퍼 측면 성분을 필터링하는 단계와,
    상기 필터링된 하이퍼 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하는 단계를 더 포함하는,
    방법.
  67. 제66항에 있어서,
    상기 회로에 의해, 상기 중간 성분 및 상기 측면 성분에 푸리에 변환을 적용하여 상기 중간 성분 및 상기 측면 성분을 상기 주파수 도메인으로 변환하는 단계를 더 포함하되,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하는 단계는 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 중간 성분의 크기를 감산하는 단계를 포함하는,
    방법.
  68. 제66항에 있어서,
    상기 하이퍼 측면 성분을 필터링하는 단계는 상기 하이퍼 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하는 단계를 포함하는,
    방법.
  69. 제66항에 있어서,
    상기 하이퍼 측면 성분을 필터링하는 단계는 상기 하이퍼 측면 성분에 동적 범위 처리를 적용하는 단계를 포함하는,
    방법.
  70. 제66항에 있어서,
    상기 하이퍼 측면 성분을 필터링하는 단계는 상기 하이퍼 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하는 단계를 포함하는,
    방법.
  71. 제66항에 있어서,
    상기 하이퍼 측면 성분을 필터링하는 단계는 상기 하이퍼 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하는 단계를 포함하는,
    방법.
  72. 제53항에 있어서,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하는 단계와,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하는 단계와,
    상기 잔차 측면 성분을 필터링하는 단계와,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하는 단계를 더 포함하는,
    방법.
  73. 제72항에 있어서,
    상기 잔차 측면 성분을 필터링하는 단계는 상기 잔차 측면 성분의 부대역의 이득 조정 또는 시간 지연 중 적어도 하나를 수행하는 단계를 더 포함하는,
    방법.
  74. 제72항에 있어서,
    상기 잔차 측면 성분을 필터링하는 단계는 상기 잔차 측면 성분에 동적 범위 처리를 적용하는 단계를 더 포함하는,
    방법.
  75. 제72항에 있어서,
    상기 잔차 측면 성분을 필터링하는 단계는 상기 잔차 측면 성분의 주파수 종속 진폭 또는 주파수 종속 지연을 조정하는 단계를 더 포함하는,
    방법.
  76. 제72항에 있어서,
    상기 잔차 측면 성분을 필터링하는 단계는 상기 잔차 측면 성분에 머신 러닝 기반 스타일 전달, 변환 또는 재합성을 적용하는 단계를 더 포함하는,
    방법.
  77. 제72항에 있어서,
    상기 측면 성분에 푸리에 변환을 적용하여 상기 측면 성분을 상기 주파수 도메인으로 변환하는 단계를 더 포함하되,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 하이퍼 측면 성분의 스펙트럼 에너지를 제거함으로써 잔차 측면 성분을 생성하는 단계는 상기 주파수 도메인의 상기 측면 성분의 크기에서 상기 주파수 도메인의 상기 하이퍼 측면 성분의 크기를 감산하는 단계를 더 포함하는,
    방법.
  78. 제53항에 있어서,
    상기 측면 성분의 스펙트럼 에너지로부터 상기 중간 성분의 스펙트럼 에너지를 제거함으로써 하이퍼 측면 성분을 생성하는 단계와,
    상기 하이퍼 측면 성분에 역 푸리에 변환을 적용하여 상기 주파수 도메인의 상기 하이퍼 측면 성분을 시간 도메인으로 변환하는 단계와,
    상기 측면 성분을 시간 지연시켜 지연된 측면 성분을 생성하는 단계와,
    상기 시간 도메인의 상기 지연된 측면 성분에서 상기 시간 도메인의 상기 하이퍼 측면 성분을 감산하여 잔차 측면 성분을 생성하는 단계와,
    상기 잔차 측면 성분을 필터링하는 단계와,
    상기 필터링된 잔차 측면 성분을 사용하여 상기 좌측 출력 채널 및 상기 우측 출력 채널을 생성하는 단계를 더 포함하는,
    방법.
KR1020227015442A 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리 KR102660704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247013048A KR20240060678A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962913661P 2019-10-10 2019-10-10
US62/913,661 2019-10-10
US201962939364P 2019-11-22 2019-11-22
US62/939,364 2019-11-22
US16/983,817 US11432069B2 (en) 2019-10-10 2020-08-03 Spectrally orthogonal audio component processing
US16/983,827 2020-08-03
US16/983,817 2020-08-03
US16/983,827 US11032644B2 (en) 2019-10-10 2020-08-03 Subband spatial and crosstalk processing using spectrally orthogonal audio components
PCT/US2020/045669 WO2021071576A1 (en) 2019-10-10 2020-08-10 Spectrally orthogonal audio component processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247013048A Division KR20240060678A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리

Publications (2)

Publication Number Publication Date
KR20220076518A KR20220076518A (ko) 2022-06-08
KR102660704B1 true KR102660704B1 (ko) 2024-04-24

Family

ID=75382323

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020247013048A KR20240060678A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리
KR1020227015445A KR20220080146A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분들을 사용하는 부대역 공간 및 크로스토크 처리
KR1020227015442A KR102660704B1 (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020247013048A KR20240060678A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분 처리
KR1020227015445A KR20220080146A (ko) 2019-10-10 2020-08-10 스펙트럼적 직교 오디오 성분들을 사용하는 부대역 공간 및 크로스토크 처리

Country Status (7)

Country Link
US (4) US11432069B2 (ko)
EP (2) EP4042721A4 (ko)
JP (3) JP7410282B2 (ko)
KR (3) KR20240060678A (ko)
CN (2) CN114846820B (ko)
TW (2) TWI750781B (ko)
WO (2) WO2021071576A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11432069B2 (en) * 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing
US11832079B2 (en) * 2021-03-30 2023-11-28 Harman Becker Automotive Systems Gmbh System and method for providing stereo image enhancement of a multi-channel loudspeaker setup
US20230022072A1 (en) 2021-07-08 2023-01-26 Boomcloud 360 Inc. Colorless generation of elevation perceptual cues using all-pass filter networks
US12047758B2 (en) 2022-01-20 2024-07-23 Qualcomm Incorporated Audio ground switch channel crosstalk cancellation technique

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211167A1 (en) * 2017-05-18 2018-11-22 Nokia Technologies Oy Spatial audio processing

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118876A (en) * 1995-09-07 2000-09-12 Rep Investment Limited Liability Company Surround sound speaker system for improved spatial effects
US8619998B2 (en) 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP4315180B2 (ja) 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US20080232601A1 (en) 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
US8064624B2 (en) 2007-07-19 2011-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for generating a stereo signal with enhanced perceptual quality
EP2144228A1 (en) * 2008-07-08 2010-01-13 Siemens Medical Instruments Pte. Ltd. Method and device for low-delay joint-stereo coding
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
UA101542C2 (ru) 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
EP2438593A2 (en) * 2009-06-05 2012-04-11 Koninklijke Philips Electronics N.V. Processing of audio channels
JP5493817B2 (ja) * 2009-12-17 2014-05-14 沖電気工業株式会社 エコーキャンセラ
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
JP5604275B2 (ja) 2010-12-02 2014-10-08 富士通テン株式会社 相関低減方法、音声信号変換装置および音響再生装置
US9031268B2 (en) 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
EP2544466A1 (en) 2011-07-05 2013-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral subtractor
WO2013145156A1 (ja) 2012-03-28 2013-10-03 パイオニア株式会社 音声信号処理装置及び音声信号処理プログラム
WO2014164361A1 (en) * 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
US9288601B2 (en) * 2013-05-28 2016-03-15 Audio Design Experts, Inc. Broad sound loudspeaker system
US9883318B2 (en) * 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
US9398394B2 (en) * 2013-06-12 2016-07-19 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
WO2015062649A1 (en) 2013-10-30 2015-05-07 Huawei Technologies Co., Ltd. Method and mobile device for processing an audio signal
US9654894B2 (en) 2013-10-31 2017-05-16 Conexant Systems, Inc. Selective audio source enhancement
JP6251809B2 (ja) 2013-12-13 2017-12-20 アンビディオ，インコーポレイテッド サウンドステージ拡張用の装置及び方法
WO2016023581A1 (en) 2014-08-13 2016-02-18 Huawei Technologies Co.,Ltd An audio signal processing apparatus
US10063984B2 (en) * 2014-09-30 2018-08-28 Apple Inc. Method for creating a virtual acoustic stereo system with an undistorted acoustic center
US9794721B2 (en) 2015-01-30 2017-10-17 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
EP3067886A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
EP3067889A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
JP6620235B2 (ja) 2015-10-27 2019-12-11 アンビディオ，インコーポレイテッド サウンドステージ拡張のための機器及び方法
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
NZ750171A (en) * 2016-01-18 2022-04-29 Boomcloud 360 Inc Subband spatial and crosstalk cancellation for audio reproduction
CA3011694C (en) 2016-01-19 2019-04-02 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers
CA2985019C (en) 2016-02-17 2022-05-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
JP2020508590A (ja) 2017-02-17 2020-03-19 アンビディオ，インコーポレイテッド マルチチャネル・オーディオ信号をダウンミックスするための装置及び方法
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10511909B2 (en) 2017-11-29 2019-12-17 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US10674266B2 (en) * 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US10547926B1 (en) * 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
US10547927B1 (en) * 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US11432069B2 (en) * 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211167A1 (en) * 2017-05-18 2018-11-22 Nokia Technologies Oy Spatial audio processing

Also Published As

Publication number Publication date
WO2021071577A1 (en) 2021-04-15
JP2024026465A (ja) 2024-02-28
CN114830693A (zh) 2022-07-29
TW202115715A (zh) 2021-04-16
US11032644B2 (en) 2021-06-08
EP4042721A1 (en) 2022-08-17
US11432069B2 (en) 2022-08-30
KR20240060678A (ko) 2024-05-08
US20210112339A1 (en) 2021-04-15
US20240397263A1 (en) 2024-11-28
CN114846820B (zh) 2024-11-15
KR20220076518A (ko) 2022-06-08
US20210112340A1 (en) 2021-04-15
TWI750781B (zh) 2021-12-21
US12149901B2 (en) 2024-11-19
JP7410282B2 (ja) 2024-01-09
WO2021071576A1 (en) 2021-04-15
CN114846820A (zh) 2022-08-02
TW202116077A (zh) 2021-04-16
EP4042719A4 (en) 2023-10-18
KR20220080146A (ko) 2022-06-14
EP4042721A4 (en) 2023-11-29
US20220408188A1 (en) 2022-12-22
EP4042719A1 (en) 2022-08-17
JP7437493B2 (ja) 2024-02-22
TWI765325B (zh) 2022-05-21
JP2022551873A (ja) 2022-12-14
JP2022551872A (ja) 2022-12-14

Similar Documents

Publication Publication Date Title
KR102660704B1 (ko) 스펙트럼적 직교 오디오 성분 처리
JP7370415B2 (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
CN111492669B (zh) 用于相反朝向跨耳扬声器系统的串扰消除
JP6865885B2 (ja) サブバンド空間オーディオエンハンスメント
US20240357314A1 (en) Colorless generation of elevation perceptual cues using all-pass filter networks

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20220509

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230629

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240122

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240422

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240422

End annual number: 3

Start annual number: 1

PG1601 Publication of registration