KR101710544B1 - 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치 - Google Patents

스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치 Download PDF

Info

Publication number
KR101710544B1
KR101710544B1 KR1020147000054A KR20147000054A KR101710544B1 KR 101710544 B1 KR101710544 B1 KR 101710544B1 KR 1020147000054 A KR1020147000054 A KR 1020147000054A KR 20147000054 A KR20147000054 A KR 20147000054A KR 101710544 B1 KR101710544 B1 KR 101710544B1
Authority
KR
South Korea
Prior art keywords
signal
channel
stereo
input
spectral
Prior art date
Application number
KR1020147000054A
Other languages
English (en)
Other versions
KR20140021055A (ko
Inventor
크리스티안 울레
스테판 피나우어
패트릭 갬프
올리버 헬무트
피터 프로카인
크리스티안 슈퇴클마이어
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베.
Publication of KR20140021055A publication Critical patent/KR20140021055A/ko
Application granted granted Critical
Publication of KR101710544B1 publication Critical patent/KR101710544B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호를 발생시키는 장치가 제공된다. 상기 장치는 중간-사이드 정보에 기반하여 변경 정보를 발생시키는 변경 정보 발생기(110)을 포함한다. 게다가, 상기 장치는 제2사이드 채널을 얻기 위해 변경 정보에 기반하여 제2입력 채널을 조작하도록 구성되고 제1사이드 채널을 얻기 위해 변경 정보에 기반하여 제1입력 채널을 조작하도록 구성되는 신호 조작기(120)을 포함한다. 상기 변경 정보 발생기(110)는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 가중 발생기(116)를 포함한다.

Description

스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치{METHOD AND APPARATUS FOR DECOMPOSING A STEREO RECORDING USING FREQUENCY-DOMAIN PROCESSING EMPLOYING A SPECTRAL WEIGHTS GENERATOR}
본 발명은 오디오 프로세싱 특히 주파수-영역 처리를 이용하여 스테레오 레코딩을 분해하기 위한 방법 및 장치에 관련된다.
오디오 처리는 수년간 발전되어 왔다. 특히, 써라운드 시스템은 더욱 중요해지고 있다. 그러나, 대부분의 음악 레코딩들은 여전히 멀티-채널 신호에 따라서가 아니라 스테레오 신호에 따라 전송되고 인코딩된다. 서라운드 시스템들이 다수의 확성기들, 예를 들어, 네개 또는 다섯개의 스피커들, 을 포함하기 때문에, 오직 두개의 입력 신호들만이 이용가능할 때, 신호들이 다수의 확성기들에 제공되어야 하는 것이 많은 연구들의 주제였다.
이 문맥에서, 서라운드 사운드 시스템, 즉 업믹싱,을 이용하는 재생에 대해 스테레오 신호들의 포맷 변환은 중요한 역할을 한다. "m-to-n"업믹싱 용어는, n > m 일 때, n-채널들을 갖는 오디오 신호에 m-채널 오디오 신호의 변환을 설명한다. 업믹싱의 두개의 개념들은 널리 알려져 있다 : 여기서 주목되는, 어떠한 부가 정보의 이용 없이 가이드되지 않은 ("블라인드(blind)") 업믹싱 및 업믹스 프로세스를 가이딩하는 추가 정보를 갖는 업믹싱.
문헌에서, 업믹스 프로세스에 대한 두개의 다른 접근들이 보고된다. 이러한 개념들은 직접(다이렉트)/주변(ambient) 접근 및 "in-the-band"-접근이다. 직접(다이렉트)/환경-기반 기술의 핵심 구성요소는 멀티-채널 서라운드 사운드 신호의 후방 채널들로 입력되는 주변 신호의 추출이다. 주변 사운드들은, 백그라운드 노이즈 및 인공적으로 의도된 효과 사운드(예를 들어 비닐 치는 소리), 환경 사운드(예를 들어, 비), 청중 사운드(예를 들어, 박수), 실내 반향, (실제) 청취 환경의 인상을 형성하는 것들이다. 후방 채널들을 이용한 주변음의 재생은 청취자에 의해("사운드에 둘러싸이는") 환경의 인상을 떠올리게 한다. 추가적으로, 다이렉트 사운드 소스들은 스테레오 파노라마에서 그들의 위치에 따라 전방 채널들 중에 분배된다.
"in-the-band" 접근은 모든 이용가능한 확성기들 주변에서 모든 사운드들(다이렉트 사운드 뿐만 아니라 주변 사운드들)을 위치시키는 것을 목표로 한다. 업믹스된 포맷을 재생할 때 지각되는 사운드 소스들의 위치들은 이상적으로 스테레오 입력 신호에서 그들의 지각된 위치들의 기능이다. 이러한 접근은 제안된 신호 프로세싱을 이용하여 실행될 수 있다.
주파수-영역에서 업믹싱에 대한 다양한 접근들이 과거에 개발되어 왔다 [9, 10]. 그것들은 사운드 소스들의 공간적 위치들에 기반하여 분해 및 다이렉트 및 주변 신호 구성요소에 입력 신호의 분해를 의도한다. 주변 신호 구성요소들은 왼쪽 및 오른쪽 채널 사이의 상호-채널 일치의 측정에 기반하여 식별된다. 방향-기반 분해는 스펙트럼 계수들의 크기의 유사성에 기반하여 달성된다. 특허 출원 US 2009/0080666 은 스펙트럼 가중을 이용하녀 주변 신호를 추출하는 방법을 설명한다. US 2010/0030563은 업믹싱의 응용을 위해 주변 신호를 추출하는 방법을 설명한다. 상기 방법은 스펙트럼 감산을 이용한다. 시간-주파수 영역 표현은, 바람직하게는 비-네거티브 매트릭스 인수화를 이용하여 계산된, 그것의 압축된 버젼 및 입력 신호의 시간-주파수-영역 표현의 차이로부터 얻어진다.
US 2010/0296672 는 벡터-기반 신호 분해를 이용하여 주파수-영역 업믹스 방법을 설명한다. 상기 분해는 다이렉트/주변-신호 분해[13]에 대비하여 중심에 위치된 채널의 추출을 목표로 한다. 중심 채널에 대한 출력 신호는 왼쪽 및 오른쪽 입력 채널 신호들에 공통된 모든 정보를 포함하여 계산된다. 중심 채널 신호들 및 입력 신호들의 잔류 신호는 왼쪽 및 오른쪽 출력 채널 신호들에 대해 계산된다.
본 발명의 목적은 제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 추가 채널들을 발생시키는 개선된 개념을 제공하는 것이다.
본 발명의 목적은 1항에 따른 스테레오 사이드(side) 신호를 발생시키는 장치, 10항에 따른 스테레오 중간 신호를 발생시키는 장치, 12항에 따른 스테레오 사이드 신호를 발생시키는 방법, 13항에 따른 스테레오 중간 신호를 발생시키는 방법 및 15항에 따른 컴퓨터 프로그램에 의해 달성된다.
제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호를 발생시키는 장치가 제공된다. 상기 장치는 중간-사이드 정보에 기반하여 변경 정보를 발생시키는 변경 정보 발생기를 포함한다. 게다가, 상기 장치는 상기 제1사이드 채널을 얻기 위해 변경 정보에 기반하여 제1입력 채널을 조작하도록 구성되고 상기 제2사이드 채널을 얻기 위해 상기 변경 정보에 기반하여 상기 제2입력 채널을 조작하도록 구성되는 신호 조작기를 포함한다.
본 발명의 실시예들은 다음 첨부된 도면들을 참조하여 설명된다.
도 1은 실시예에 따른 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면.
도 1a는 실시예에 따른 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면이고, 여기서 조작 정보 발생기는 스펙트럼 감산기를 포함한다.
도 1b는 실시예에 따른 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면이고, 여기서 변경 정보 발생기는 스펙트럼 가중 발생기를 포함한다.
도 2는 실시예에 따른 스펙트럼 감산기를 도시하는 도면.
도 3은 실시예에 따른 변경 정보 발생기를 도시하는 도면.
도 4는 실시예에 따른 스펙트럼 감산을 수행하기 위해 스테레오 중간 신호 및 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면.
도 5는 또다른 실시예에 따란 스테레오 중간 신호 및 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면.
도 6은 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면이며, 여기서 상기 장치는 실시예에 따라 스펙트럼 가중 발생기를 포함한다.
도 7은 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면이며, 여기서 상기 장치는 또다른 실시예에 따라 스펙트럼 가중 발생기를 포함한다.
도 8은 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면이며, 여기서 상기 장치는 추가 실시예에 따라 스펙트럼 가중 발생기를 포함한다.
도 9는 변경 정보 발생기를 도시하는 도면이며 여기서 상기 장치는 실시예에 따라 조작 발생기 및 스펙트럼 가중 발생기를 포함한다.
도 10은 실시예에 따라 스테레오 중간 신호를 발생시키는 장치를 도시하는 도면.
도 10a는 실시예에 따라 스테레오 중간 신호를 발생시키는 장치를 도시하며, 여기서 조작 정보 발생기는 스펙트럼 감산기를 포함한다.
도 10b는 실시예에 따라 스테레오 중간 신호를 발생시키는 장치를 도시하는 도면이며, 여기서 변경 정보 발생기는 스펙트럼 가중 발생기를 포함한다.
도 11은 스테레오 중간 신호들 및 스테레오 사이드 신호들에 대한 예제 이득(example gain)을 도시하는 도면.
도 12는 스테레오 중간 신호들 및 스테레오 사이드 신호들에 대한 스펙트럼 가중의 결과들을 도시하는 도면.
도 13은 추가 실시예에 따라 스테레오 사이드 신호를 발생시키기 위한 장치를 도시하는 도면.
도 14는 추가 실시예에 따라 스테레오 사이드 신호를 발생시키는 장치를 도시하는 도면.
도 15는 실시예에 따라 업믹서를 도시하는 도면.
도 16은 제안된 신호 처리의 출력을 이용하여 예시적 4채널 입체 음향의(quadraphonic) 재생을 도시하는 도면.
도 17은 5채널을 갖는 재생에 적합한 멀티-채널 신호를 발생시키기 위한 프로세싱을 도시하는 블록 다이어그램을 나타내는 도면.
도 18은 M-S 분해의 블록 다이어그램을 나타내는 도면.
도 19는 스펙트럼 가중을 나타내는 블록 다이어그램을 나타내는 도면.
도 20은 음성 향상에서 이용되는 때의 일반적 스펙트럼 가중을 나타내는 도면.
제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호를 발생시키는 장치가 제공된다. 상기 장치는 중간-사이드 정보에 기반하여 변경 정보를 발생시키는 변경 정보 발생기를 포함한다. 게다가, 상기 장치는 상기 제1사이드 채널을 얻기 위해 변경 정보에 기반하여 제1입력 채널을 조작하도록 구성되고 상기 제2사이드 채널을 얻기 위해 상기 변경 정보에 기반하여 상기 제2입력 채널을 조작하도록 구성되는 신호 조작기를 포함한다.
조작 정보 발생기는 제1 및 제2입력 채널 및 모노 사이드 신호 또는 모노 중간 신호 사이의 차이를 표시하는 차이 값을 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 감산기(subtractor)를 포함할 수 있다. 또는, 변경 정보 발생기는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 가중 발생기를 포함할 수 있다.
중간-사이드 정보는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호 사이의 관계 및/또는 스테레오 입력 신호의 모노 사이드 신호, 스테레오 입력 신호의 모노 중간 신호일 수 있다. 실시예에서, 변경 정보 발생기는 중간-사이드(mid-side) 정보에 따라 스테레오 입력 신호의 모노 사이드 신호 또는 스테레오 입력 신호의 모노 중간 신호에 기반하여 변경 정보를 발생시키도록 구성된다.
실시예에 따라, 스테레오 레코딩은 종래의 중간-사이드(M-S) 분해와 대비되게, 양쪽이 모두 스테레오 신호들인 사이드 및 중간 신호로 분해된다. 신호 분리는 즉 스펙트럼 감산 또는 스펙트럼 가중인, 주파수-영역 프로세싱(처리)와 협력하는 종래의 M-S 프로세싱에서처럼 위상 취소(phase cancellation)를 이용하여 적용될 수 있다. 유도된 신호들은 추가 재생 채널들과 함께 오디오 신호들의 재생에 대해 적용될 수 있다.
실시예에 따른 장치는 스테레오 중간 신호 및 스테레오 사이드 신호로 2-채널 스테레오 레코딩을 분해한다. 스테레오 사이드 신호는 두개의 주요 특징을 갖는다. 먼저, 중심에 패닝된(panned) 것들을 제외하고 모든 신호 구성요소들을 포함한다. 이러한 관점에서, 스테레오 신호들의 중간-사이드 프로세싱으로부터 알려진 사이드 신호에 유사하다. 사실, 그것은 종래의 M-S 분해로부터 유도된 사이드 신호처럼 동일한 신호 구성요소들을 포함한다.
종래의 사이드 신호와 비교하여 제안된 스테레오 사이드 신호 사이의 중요한 차이는 스테레오 특성에 의해 설명된다: 모노인, 종래의 사이드 신호와 대비하여, 스테레오 사이드 신호는 2-채널 스테레오 신호이다. 스테레오 사이드 신호의 왼쪽 채널은, 입력 신호에서 왼쪽 측면에 패닝된, 모든 신호 구성요소를 포함한다. 스테레오 신호의 오른쪽 채널은 오른쪽 측면에 패닝된 모든 신호 구성요소들을 포함한다. 스테레오 중간 신호는 양쪽 입력 채널들에 존재하는 모든 구성요소들을 포함하는 스테레오 신호이다. 그것은 2-채널 스테레오 신호이고 스테레오 사이드 신호에 비교하여 입력 신호에 비교하여 더 적은 스테레오 정보를 포함하지만, 그것은 종래의 중간 신호같이 단성적(모노포닉, monophonic) 신호이다. 그것은 종래의 중간 신호처럼 그러나 원래의 스테레오 정보와 함께 동일한 신호 구성요소들을 포함한다.
실시예에 따라, 변경 정보 발생기는 스펙트럼 감산기를 포함한다. 스펙트럼 감산기는 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호의 가중된 크기 값 또는 크기 값으로부터 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보를 발생시키도록 구성된다. 또는 스펙트럼 감산기는 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값으로부터 스테레오 입력 신호의 모노 사이드 신호 EH는 모노 중간 신호의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보를 발생시키도록 구성된다.
게다가, 변경 정보 발생기는 크기 결정기를 포함할 수 있다. 크기 결정기는, 수신된 크기 입력 신호처럼, 스펙트럼 영역에서 표현되는, 모노 사이드 신호 또는 모노 중간 신호, 제1입력 채널, 제2입력 채널 중 적어도 하나를 수신하도록 구성될 수 있다. 게다가 크기 결정기는 각 수신된 크기 입력 신호의 적어도 하나의 크기 값을 결정하도록 구성될 수 있고, 스펙트럼 감산기에 각 수신된 크기 입력 신호의 적어도 하나의 크기 값을 입력하도록 구성될 수 있다.
실시예에서, 스펙트럼 감산기는 제1스펙트럼 감산 유닛 및 제2스펙트럼 감산 유닛을 포함하며, 여기서 상기 크기 결정기는 모노 중간 신호 및 제1 및 제2입력 채널을 수신하도록 배치되며, 여기서 상기 크기 결정기는 제1입력 채널의 제1크기 값, 제2입력 채널의 제2크기 값 및 모노 중간 신호의 제3크기 값을 결정하도록 구성되며, 여기서 크기 결정기는 제1, 제2 및 제3 크기 값을 스펙트럼 감산기에 입력하도록 구성된다. 제1스펙트럼 감산 유닛은 제1스테레오 사이드 신호의 제1스테레오 사이드 크기를 얻기 위해 모노 중간 신호의 제3크기 값 및 제1입력 채널의 제1크기 값에 기반하여 제1스펙트럼 감산을 수행하도록 구성되며, 여기서 상기 제2스펙트럼 감산 유닛은 제2스테레오 사이드 신호의 제2스테레오 사이드 크기 값을 얻기 위해 모노 중간 신호의 제3크기 값 및 제2입력 채널의 제2크기 값에 기반하여 제2스펙트럼 감산을 수행하도록 구성된다.
제1스펙트럼 감산 유닛은 다음 공식을 적용하는 것에 의해 제1스펙트럼 감산을 수행하도록 구성될 수 있다.
Figure 112014000222252-pct00001
= |Xl(f)| - w |M1(f)|
여기서
Figure 112014000222252-pct00002
는 스펙트럼 감산의 결과가 양(positive)일 때 제1스테레오 사이드 크기 스펙트럼을 표시하며, 여기서 |Xl(f)|는 제1입력 채널의 제1크기 스펙트럼을 표시하며, 여기서 |M1(f)|는 모노 중간 신호의 제3크기 스펙트럼을 표시하며 여기서 w 는 0 ≤ w ≤ 1 범위에서 스칼라 인수(scalar factor)를 표시한다. 제2스펙트럼 감산 유닛은 다음 공식을 적용하는 것에 의해 제2스펙트럼 감산을 수행하도록 구성될 수 있다.
Figure 112014000222252-pct00003
r(f) = |Xr(f)| - w |M1(f)|
여기서
Figure 112014000222252-pct00004
r(f)는 스펙트럼 감산의 결과가 양(positive)일 때 제2스테레오 사이드 크기 스펙트럼을 표시하며, 여기서 |Xr(f)| 는 제1입력 채널의 제2크기 스펙트럼을 표시하며, |M1(f)|는 모노 중간 신호의 제3크기 스펙트럼을 표시하며 여기서 w 는 0 ≤ w ≤ 1 범위에서 스칼라 인수(scalar factor)를 표시한다.
실시예에서, 신호 조작기는 위상 추출기 및 결합기를 포함할 수 있다. 위상 추출기는 제1입력 채널 및 제2입력 채널을 수신하도록 배치될 수 있고, 여기서 위상 추출기는 제1스테레오 사이드 위상 값에 따라 제1입력 채널의 제1위상 값을 제2스테레오 사이드 위상 값에 따라 제2입력 채널의 제2위상 값을 결정하도록 구성된다. 위상 추출기는 결합기로 제1스테레오 사이드 위상 값 및 제2스테레오 사이드 위상 값을 입력하도록 구성될 수 있고, 여기서 상기 제1스펙트럼 감산 유닛은 결합기로 제1스테레오 사이드 크기 값을 입력하도록 구성되고, 여기서 상기 제스펙트럼 감산 유닛은 결합기로 제2스테레오 사이드 위상 값을 입력하도록 구성된다. 상기 결합기는 제1사이드 채널의 제1스펙트럼의 제1복소계수를 얻기 위해 제1스펙트럼 사이드 위상 값 및 제1스테레오 사이드 크기 값을 결합하도록 구성될 수 있다. 게다가, 상기 결합기는 제2사이드 채널의 제2스펙트럼의 제2복소계수를 얻기 위해 제2스테레오 사이드 위상 값 및 제2스테레오 사이드 크기 값을 결합하도록 구성될 수 있다.
실시예에 따라, 변경 정보 발생기는 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키기 위한 스펙트럼 가중 발생기를 포함하고, 여기서 제1스펙트럼 가중 인수는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 의존한다.
변경 정보 발생기는 크기 결정기를 더 포함할 수 있다. 크기 결정기는 스펙트럼 영역에서 표현되는 모노 중간 신호를 수신하도록 구성될 수 있다. 크기 결정기는 스펙트럼 영역에서 표현되는 모노 중간 신호를 수신하도록 구성될 수 있고, 여기서 크기 결정기는 크기 사이드 값에 따라 모노 사이드 신호의 크기 값을 결정하도록 구성되고 여기서 크기 결정기는 크기 중간 값에 따라 모노 중간 신호의 크기 값을 결정하도록 구성된다. 크기 결정기는 스펙트럼 가중 발생기로 크기 중간 값 및 크기 사이드 값을 입력하도록 구성될 수 있다. 스펙트럼 가중 발생기는 제2숫자로(second number)에 대한 제1숫자(first number)의 비율에 기반하여 제1스펙트럼 가중 인수를 발생시키도록 구성될 수 있고, 여기서 제1숫자는 크기 사이드 값에 의존하여, 제2숫자는 크기 사이드 값 및 크기 중간 값에 의존한다.
추가 실시예에서, 스펙트럼 가중 발생기는 다음 공식에 따라 변경 인수를 발생시키도록 구성된다.
Figure 112014000222252-pct00005

여기서 |S(f)|는 모노 사이드 신호의 크기 값을 표시하고, 여기서 |M(f)|는 모노 중간 신호의 크기 값을 표시하고, 여기서 α,β,γ 및 δ는 스칼라 인수들이다. 실시예에서, α 및 β는 0보다 더 크고(α > 0; β > 0); γ 및 δ는 0≤γ≤1 및 0≤δ≤1에서 선택된다. 바람직하게는, 4≥α>0 및 4≥β>0이다.
게다가, 스펙트럼 가중 발생기는 다음 공식에 따라 변경 인수를 발생시키도록 구성될 수 있고:
Figure 112014000222252-pct00006
또는,
Figure 112014000222252-pct00007

와 함께,
여기서 스펙트럼 가중 발생기는 다음 공식에 따라 변경 인수를 발생시키도록 구성되고:
Figure 112014000222252-pct00008

여기서 |S(f)|는 상기 모노 사이드 신호의 크기 스펙트럼을 표시하며, 여기서 |M(f)| 는 상기 모노 사이드 신호의 크기 스펙트럼을 표시하며, 여기서
Figure 112014000222252-pct00009
는 상기 제1입력 신호의 크기 스펙트럼을 표시하며, 여기서 |Xr(f)|는 상기 제1입력 채널의 크기 스펙트럼을 표시하며, 여기서 M(f)는 상기 모노 중간 신호를 표시하며, 여기서 α,β,γ,δ 및 η는 스칼라 인수이다.
실시예에 따라, 변경 정보 발생기는 중간-사이드 정보에 따라 스테레오 입력 신호의 모노 사이드 신호에 또는 스테레오 입력 신호의 모노 중간 신호에 기반하여 변경 정보를 발생시키도록 구성된다. 모노 중간 신호는 제1 및 제2입력 채널을 더하는 것으로부터 도출되는 합산 신호에 의존할 수도 있다. 모노 사이드 신호는 제1입력 채널로부터 제2입력 채널을 감산하는 것으로부터 도출되는 차이 신호(difference signal)에 의존할 수도 있다.
게다가, 상기 장치는 채널 발생기를 더 포함할 수도 있고, 여기서 채널 발생기는 제1 및 제2입력 채널에 기반하여 모노 사이드 신호 또는 모노 중간 신호를 발생시키도록 구성된다.
게다가, 상기 장치는 역 변형 유닛 및 시간 영역에서 스펙트럼 영역으로 스테레오 입력 신호의 제1및 제2입력 채널을 변형하기 위한 변형 유닛을 더 포함할 수 있다. 신호 조작기는 스펙트럼 영역에서 표현되는 스테레오 사이드 신호를 얻기 위해 스펙트럼 영역에서 표현되는 제2입력 채널 및 스펙트럼 영역에서 표현되는 제1입력 채널을 조작하도록 구성될 수 있다. 역 변형 유닛은 스펙트럼 영역에서 표현되는 스테레오 사이드 신호를 스펙트럼 영역에서 시간 영역으로 변형하도록 구성될 수 있다.
실시예에서, 상기 장치는 제1중간 채널 및 제2중간 채널을 갖는 스테레오 중간 신호를 발생시키도록 구성될 수 있다. 제1중간 채널은 제1스테레오 입력 채널 및 제1사이드 채널 사이의 차이에 기반하여 발생될 수 있다. 제2중간 채널은 제2사이드 채널 및 제2스테레오 입력 채널 사이의 차이에 기반하여 발생될 수 있다.
또다른 실시예에 따라, 제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1중간 채널 및 제2중간 채널을 갖는 스테레오 중간 신호를 발생시키는 장치가 제공된다. 상기 장치는 중간-사이드 정보에 기반하여 변경 정보를 발생시키는 변경 정보 발생기, 및 제1중간 채널을 얻기 위해 변경 정보에 기반하여 제1입력 채널을 조작하도록 구성되고 제2중간 채널을 얻기 위해 변경 정보에 기반하여 제2입력 채널을 조작하도록 구성되는 신호 조작기를 포함한다.
실시예에 따라, 변경 정보 발생기는 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 가중 발생기를 포함할 수 있다. 제1스펙트럼 가중 인수는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 의존할 수 있다. 변경 정보 발생기는 크기 결정기는 더 포함할 수 있으며, 여기서 크기 결정기는 크기 사이드 값에 따라 스펙트럼 영역에서 표현되는 모노 사이드 신호의 크기 값을 결정하도록 구성되며, 여기서 크기 결정기는 크기 중간 값에 따라 스펙트럼 영역에서 표현되는 모노 중간 신호의 크기 값을 결정하도록 구성된다. 크기 결정기는 스펙트럼 가중 발생기로 크기 중간 값 및 크기 사이드 값을 입력하도록 구성될 수 있다. 스펙트럼 가중 발생기는 제1숫자 대 제2숫자의 비율에 기반하여 제1스펙트럼 가중 인수를 발생시키도록 구성될 수 있고, 여기서 상기 제1숫자는 크기 사이드 값에 의존하고, 여기서 상기 제2숫자는 크기 중간 값 및 크기 사이드 값에 의존한다.
스펙트럼 가중 발생기는 다음 공식에 따라 변경 인수를 발생시키도록 구성될 수 있다.
Figure 112014000222252-pct00010

여기서 |M(f)|는 모노 중간 신호의 크기 스펙트럼을 표시하고, 여기서 |S(f)|는 모노 사이드 신호의 크기 스펙트럼을 표시하고 여기서 α,β,γ,δ 및 η는 스칼라 인수이다. 실시예에서, α 및 β는 0보다 더 크고(α > 0; β > 0); γ 및 δ는 0≤γ≤1 및 0≤δ≤1에서 선택된다. 바람직하게는, 4≥α>0 및 4≥β>0이다.
배경(Background)
본 발명의 바람직한 실시예가 설명되기 전에, 설명될 관련된 개념들은, 특히 M-S 프로세싱에서, 스펙트럼 감산 및 스펙트럼 가중의 기초들이 설명될 것이다.
먼저, 중간-사이드(Mid-Side) 프로세싱이 더 자세하게 설명된다. 설명을 위해, 어떻게 스테레오 사이드 및 중간 신호들이 계산되는지, 종래 M-S 프로세싱의 기초들이 간략히 검토된다. 2-채널 스테레오 신호 x(t)는 왼쪽 및 오른쪽 채널에 대해, 각각, 시간 지수 t를 가지고, 두개의 신호들 xl(t) 및 xr(t)에 의해 표현될 수 있다. 왼쪽 및 오른쪽 용어는 각각, 왼쪽 및 오른쪽 귀에(확성기 또는 헤드폰들을 이용하여) 표현되는, 또는 오디오 재생 시스템에서 각각 왼쪽 또는 오른쪽 채널에 의해 각각 재생되는, 이러한 신호들을 결국 나타낸다.
스테레오 신호가 N 소스 신호들의 혼합이라고 가정하면, zi, i=1,...,N,xl(t) 및 xr(t)는 다음으로 쓰여질 수 있다.
Figure 112014000222252-pct00011

Figure 112014000222252-pct00012

hli(t), hri(t)가 어떻게 소스들이 스테레오 신호로 혼합되는지를 특징으로 하는 전달 기능이며, * 는 컨벌루션(convolution) 작업이고, nl(t), nr(t) 는 비상관 주변 신호들(uncorrelated ambient signals)이다. 오직 진폭 패닝만을 이용하여 믹싱하는 경우에, 이는 종종 스튜디오 레코딩의 경우이고, 양 hli(t) 및 hri(t)는 스칼라(scalars)이다. 이 믹싱 프로세스의 출력은 문헌에서 난해한 혼합물과 대비하여 즉각적인 혼합물로 알려져있다.(hli(t) 및 hri(t)가 하나보다 큰 길이인 경우) 주변 용어들 nl(t), nr(t)를 버리고, 즉각적인 믹싱(mixing)을 위한 신호 모델은, 혼합물 및 소스 신호들의 인식된 방향을 결정하는 믹싱 인수 0≤ai(t)≤1 와 함께, 다음으로 쓰여질 수 있다.
Figure 112014000222252-pct00013

Figure 112014000222252-pct00014

다음에 따라서 중간 신호 m1(t) (또한 합산 신호로도 언급됨) 및 사이드 신호 s1(t) (또한 차이 신호로도 언급됨)가 xl(t) 및 xr(t)로부터 계산되는 곳에서, 신호의 M-S 표현을 이용할 때 신호 x(t)=[xl(t) xr(t)]에 포함된 것처럼 동일 정보가 제공된다.
Figure 112014000222252-pct00015

Figure 112014000222252-pct00016

첨자 1이 이러한 신호들이 단선율(monophonic)이라는 것을 가리키도록 이용된다. M-S 신호는, 양 사이드 및 중간 신호가 각각 프로세스되고, 코딩되고 또는 전송되는 곳에서 다양한 응용들에 대해 이점이 있다. 그러한 응용들은 사운드 레코딩, 인공 스테레오포닉 이미지 향상, 가상 확성기 재생에 대한 오디오 코딩, 확성기에 대한 양이(binaural) 재생 및 4차원 입체음향 재생이다.
주어진 M-S 표현, 신호들 xl(t) 및 xr(t)는 다음에 따라서 계산될 수 있다.
Figure 112014000222252-pct00017
Figure 112014000222252-pct00018

도 18에서, M-S 분해가 도시된다.
양 표현들은 동일 정보를 포함한다. 방정식 (5) 및 (6)에서 일반화한 가중 0.5는 선택적이고 다른 가중이 가능하다는 것에 주의하여야 하며, 여기서 보여지는 가중은 입력 신호들에 동일한 신호들을 산출하는 방정식 (5) 내지 (8)을 적용하는 것을 보장한다는 것이다. 다른 가중을 이용하는 것은 유사한 또는 스케일된 신호들을 산출할 수 있다.
신호 모델로부터 방정식 (3) 및 (4)는 신호 s1(t)가 모노 신호인 그리고 패닝된(panned) 오프-중심(off-center)(음 위상을 갖는 것들 중 몇몇)인 신호 구성요소들만을 포함한다는 것을 따른다. 중간 신호 m1(t) 는 s1(t)에서 그것들을 제외한 모든 신호들을 포함한다. Michael Gerzon의 말에서 설명된 것처럼, "M 은 스테레오 스테이지의 중간에 대한 정보를 포함하는 신호이고, 반면 S는 사이드(sides)에 관한 정보만을 포함한다". 둘 다 단선율 신호들이다. 진폭 패닝된 다이렉트 사운드들이 스테레오 파노라마에서 그들의 위치상에 의존하는 사이드 신호에서 감쇠될 때, 반향(reverbration) 및 다른 주변 신호들같은 비상관 신호 구성요소들은 (0 상관(correlatin)에 대해) 3dB만큼 중간 신호에서 감쇠된다. 이러한 감쇠들(attenuatins)은 왼쪽 및 오른쪽 채널에서 사이드 구성요소들 사이의 위상 취소(phase cancellation)에 의해 야기된다.
다음에서, 스펙트럼 감산 및 스펙트럼 가중은 더 자세히 설명된다.
스펙트럼 감산은 음성 향상 및 노이즈 감소를 위해 잘 알려진 방법이다. 음성 커뮤니케이션에서 추가 노이즈의 효과들을 감소시키는 것이 [2] Boll에 의해 (아마 최초로) 제안되었다. 상기 프로세싱은, 입력 신호의 연속적인(가능하게는 중첩하는) 부분들의 짧은 프레임들의 스펙트럼들이 처리되는 곳에서, 주파수-영역에서 수행된다.
기본 원리는 입력 신호들의 크기 스펙트럼들로부터 간섭하는 노이즈 신호의 크기 스펙트럼들의 추정을 감산하는 것이며, 이는 간섭하는 노이즈 신호 및 요구되는 음성 신호의 혼합으로 가정된다.
스펙트럼 가중(또는 단기 스펙트럼 감쇠 [3])은 오디오 신호 프로세싱의 다양한 응용에서 공통적으로 이용되며, 예를 들어 음성 향상 [4] 및 블라인드 소스 분리가 있다. 스펙트럼 감산처럼, 이러한 프로세싱의 목적은 입력 신호 x(t)가 d(t) 및 n(t)의 추가 혼합물인 곳에서 요구되는 신호 d(t)를 분리하거나 또는 간섭 신호 n(t)를 감쇠시키는 것이다.
Figure 112014000222252-pct00019

이 프로세싱(처리)는 도 19에서 도시된다. 신호 프로세싱은 주파수 영역에서 수행된다. 그래서, 입력 신호 x(t)는 시간 지수 k 및 주파수 대역 지수 f와 함께, 다중 주파수 대역들 X(f, k)를 가지고 신호 표현을 유도하기 위한 필터 뱅크 또는 어떠한 다른 수단들, 단기 푸리에 변형(STFT)를 이용하여 변형된다. 입력 신호들의 주파수-영역 표현은 서브-대역 신호들이 시간-변화 가중 G(f, k)를 가지고 스케일되는 것처럼 처리된다.
Figure 112014000222252-pct00020
가중은 높은 신호-대-노이즈 비율(SNR)에 대해 큰 크기를 갖고, 작은 SNRs에 대해 낮은 값들을 갖는 입력 신호 표현 X(f, k)으로부터 계산된다. 가중 G(f, k)의 계산을 위해, 일반적 시간- 및 주파수 의존, 또는 N(f, k) 또는 S(f, k)의 SNR의 추정(estimate)이 요구된다. 음성 프로세싱 응용들에서, 노이즈의 추정은 비-음성 활동 [2, 5] 동안 또는 최소 통계[6]를 이용하여, 즉 각 서브-대역에서 로컬 최소값의 트랙킹에 기반하여, 또는 노이즈 소스 근처의 제2마이크로폰을 이용하여 계산된다.
가중 작업 Y(f, k)의 결과는 출력 신호의 주파수-영역 표현이다. 출력 시간 신호 y(t)는, 예를 들어 역 STFT처럼, 주파수-영역 변형의 역 프로세싱을 이용하여 계산된다. 종종, 가중 G(f, k)는, X에 따라 동일 위상 정보를 갖는 출력 스펙트럼들 Y를 산출하는 실수값으로 선택된다. 다양한 이득 규칙들, 예를 들어 어떻게 가중 G(f, k)가 계산되는지가, 존재하며, 예를 들어, 바이너 필터링(Wiener filtering) 및 스펙트럼 감산으로부터 유도된다. 다음에서, 스펙트럼 가중을 유도하기 위해 상이한 방법들이 설명된다. s 및 n은 상호간에 직교한다고 가정되고, 즉
Figure 112014000222252-pct00021
이다.
다음에서, 바이너 필터링이 더 자세히 설명된다. 간섭 신호 Pnn 및 요구되는 신호 Pdd의 (예를 들어, STFT 계수들로부터 유도된) 파워 스펙트럼 밀도(PSD)의 주어진 추정들에서, 스펙트럼 가중은 평균 제곱 오차(mean squared error)를 최소화하는 것에 의해 유도된다.
Figure 112014000222252-pct00022
(11a)
Figure 112014000222252-pct00023
스펙트럼 가중을 이용하여 스펙트럼 감산이 이제 설명된다. 스펙트럼 가중은 Pyy=Pxx-Pnn, 즉
Figure 112014000222252-pct00024
로 계산된다.
대안적으로, 실수값 스펙트럼 가중은 |Y| = |X| - |N| 를 도출하는 것으로 유도될 수 있고, 가중들과 함께, 스펙트럼 크기 감산에 대해 종종 언급되며,
Figure 112014000222252-pct00025
|D| 는 d(t)의 크기 스펙트럼이다.
|N| 은 n(t)의 크기 스펙트럼이다. 스펙트럼 가중 규칙의 일반화가 이제 설명된다. 세 파라미터 α,β 그리고γ 를 도입하는 것에 의해 STSA 필터의 일반화된 공식이 유도되며, α 및 β는 감쇠의 강도를 제어하는 지수이며 γ는 노이즈 과대평가 인수이다.
Figure 112014000222252-pct00026
방정식 (15)는 위에서 설명된 노이즈 억제 규칙들의 일반화된 공식이고, α=2,β=2가 스펙트럼 감산에 대응하고 α=2,β=1은 바이너 필터링(Wiener filtering)에 대응한다. (에너지 대신) 크기의 스펙트럼 감산은 셋팅 α=1,β=1에 의해 실현된다. 파라미터
Figure 112014000222252-pct00027
는 노이즈 추정 방법의 가능한 편향들을 설명하고 노이즈의 양을 제어한다.
도 20에서, 일반적 스펙트럼 가중은 음성 향상에서 이용되는 때, SNR의 기능에 따라 설명된다. 예를 들어, 에프레임-말라 추정기(the Ephraim-Malah estimator) [7] 또는 소프트-결정/변화 감쇠 알고리즘(the Soft-Decision/Variable Attenuation algorithm) (SDVA) [8]처럼, 서브-대역 SNR과 함께 가중이 단순 증가하는 공통 특성을 갖는, 다른 이득 규칙들의 다양성이 발견될 수 있다.
실제 실시예들에서, 스펙트럼 가중은 아티팩트들(artifacts)을 감소시키기 위해 0보다 큰 최소 값에 의해 일반적으로 경계지어진다. 상이한 이득 규칙들이 상이한 주파수 범위들 [4]에서 적용될 수 있다. 결과 이득들은 아티팩트들을 줄이기 위해 주파수 축 및 시간 축 양쪽을 따라 매끄러워질 수 있다. 일반적으로, 제1순서 저역-통과 필터(leaky intergrator)는 시간 축을 따라 부드러워지는데 이용되고 제로 위상 저역-통과 필터는 주파수 축을 따라 적용된다.
실시예들 ( Embodiments ):
도 1은 실시예에 따라 제1입력 채널 Xl(f) 및 제2입력 채널 Xr(f)을 갖는 스테레오 입력 신호로부터 제1사이드 채널 Sl(f) 및 제2사이드 채널 Sr(f)을 갖는 스테레오 사이드 신호를 발생시키는 장치를 도시한다. 상기 장치는 중간-사이드 정보 midSideInf 에 기반하여 변경 정보 modInf 를 발생시키는 변경 정보 발생기(110)을 포함하는 장치이다. 게다가, 상기 장치는 제2사이드 채널 Sr(f)을 얻기 위해 변경 정보 modInf에 기반하여 제2입력 채널 Xr(f)를 조작하도록 구성되고 제1사이드 채널 Sl(f)을 얻기 위해 변경 정보 modInf 에 기반하여 제1입력 채널 Xl(f)를 조작하도록 구성되는 신호 조작기(120)을 포함한다.
예를 들어, 변경 정보 발생기(110)는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호 사이의 관계 및/또는 스테레오 입력 신호의 모노 사이드 신호, 스테레오 입력 신호의 모노 중간 신호에 관련된 중간-사이드 정보 midSideInf 에 기반하여 변경 정보 modInf를 발생시키도록 구성될 수 있다. 모노 중간 신호는 제1 및 제2입력 채널 Xl(f), Xr(f)을 더하는 것으로부터 도출되는 합산 신호에 의존할 수 있다. 모노 사이드 신호는 제1입력 채널로부터 제2입력 채널을 감산하는 것으로부터 도출되는 차이 신호에 의존할 수 있다. 예를 들어, 모노 중간 신호는 다음 공식에 따라 계산될 수 있다:
M1(f) = 1/2 (Xl(f)+ Xr(f)) (15a)
모노 사이드 신호는, 예를 들어, 다음 공식에 따라 계산될 수 있다:
S1(f) = 1/2 (Xl(f) - Xr(f)) (15b)
도 1a는 실시예에 따라 스테레오 사이드 신호를 발생시키는 장치를 도시하며, 여기서 조작 정보 발생기(110)는 스펙트럼 감산기(115)를 포함한다. 스펙트럼 감산기(115)는 제1 또는 제2입력 채널 및 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호 사이의 차이를 표시하는 차이 값을 발생시키는 것에 의해 변경 정보 modInf를 발생시키도록 구성된다. 예를 들어, 스펙트럼 감산기(115)는 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호의 가중된 크기 값 또는 크기 값으로부터 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보 modInf를 발생시키도록 구성될 수 있다. 또는, 스펙트럼 감산기(115)는 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값으로부터 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보 modInf를 발생시키도록 구성될 수 있다.
도 1b는 실시예에 따라 스테레오 사이드 신호를 발생시키는 장치를 도시하며, 여기서 변경 정보 발생기(110)는 스테레오 입력 신호의 모노 사이드 신호에 그리고 모노 중간 신호에 의존하는 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보 modInf 를 발생시키는 스펙트럼 가중 발생기(116)을 포함한다. 도 2는 실시예에 따라 스펙트럼 감산기(210)을 도시한다. 제1크기 스펙트럼 제1입력 채널의 크기 스펙트럼 |Xl(f)|, 제2입력 채널의 크기 스펙트럼 |Xr(f)| 및 스테레오 입력 신호의 모노 중간 신호의 제3크기 스펙트럼 |M1(f)|은 스펙트럼 감산기(210)에 입력된다.
스펙트럼 감산기(210)의 제1스펙트럼 감산 유닛(215)은 제1스펙트럼 |Xl(f)|으로부터 가중 인수 w(w는 범위 0 ≤ w ≤ 1에서 스칼라 인수를 표시한다)에 의해 가중되는 제3스펙트럼 |M1(f)| 을 감산하며, 예를 들어 가중 인수 w에 의해 가중된 제3크기 스펙트럼 |M1(f)|의 제1크기 값은 제1크기 스펙트럼 |Xl(f)|의 제1크기 값으로부터 스펙트럼적으로 감산되고; 가중 인수 w에 의해 가중된 제3크기 스펙트럼 |M1(f)|의 제2크기 값은 제1크기 스펙트럼 |Xl(f)|의 제2크기 값으로부터 스펙트럼적으로 감산되는; 등등이다. 이에 의해, 복수의 제1크기 사이드 값들은 변경 정보에 의해 얻어진다. 제1크기 사이드 값들은 스펙트럼 감산의 결과가 양일 때 스테레오 사이드 신호의 제1사이드 채널의 크기 스펙트럼
Figure 112014000222252-pct00028
의 크기 값들이다. 이와 같이, 제1스펙트럼 감산 유닛(215)은 다음 공식을 적용하도록 구성된다.
Figure 112014000222252-pct00029
= |Xl(f)| - w|M1(f)| (16)
유사하게, 스펙트럼 감산기(210)의 제2스펙트럼 감산 유닛(218)은 제2스펙트럼 |Xr(f)|으로부터 가중 인수 w(w는 범위 0≤w≤1범위에서 스칼라 인수를 표시한다)에 의해 가중되는 제3스펙트럼 |M1(f)|을 감산하며, 예를 들어 가중 인수 w에 의해 가중된 제3크기 스펙트럼 |M1(f)| 의 제1크기 값은 제2크기 스펙트럼 |Xr(f)|의 제2크기 값으로부터 스펙트럼적으로 감산되고; 가중 인수 w에 의해 가중되는 제3크기 스펙트럼 |M1(f)|의 제2크기 값은 제2크기 스펙트럼 |Xr(f)|의 제2크기 값으로부터 스펙트럼적으로 감산되는; 등등이다. 이와 같이, 복수의 제2크기 사이드 값들은 변경 정보에 따라 얻어지고, 여기서스펙트럼 감산이 양(positive)일 때 제2크기 사이드 값들은 스테레오 사이드 신호의 제2사이드 채널의 크기 스펙트럼
Figure 112014000222252-pct00030
r(f)의 크기 값들이다. 이에 의해, 제2스펙트럼 감산 유닛(218)은 다음 공식을 적용하도록 구성된다 :
Figure 112014000222252-pct00031
r(f) = |Xr(f)| - w |M1(f)| (17)
도 3은 실시예에 따라 변경 정보 발생기를 도시한다. 변경 정보 발생기는 스펙트럼 감산기(210) 및 크기 결정기를 포함한다. 크기 결정기(305)는 스테레오 입력 신호의 모노 중간 신호 M1(f) 및 제 1 Xl(f) 및 제2 Xr(f)입력 채널을 수신하도록 구성된다. 제1입력 채널 Xl(f)의 제1크기 스펙트럼 |Xl(f)| 의 제1크기 값, 제2입력 채널 Xr(f) 의 제2크기 스펙트럼 |Xr(f)| 의 제2크기 값 및 모노 중간 신호 M1(f) 의 제3크기 스펙트럼 |M1(f)| 의 제3크기 값이 크기 결정기에 의해 결정된다. 크기 결정기(305)는 제1, 제2 및 제3크기 값을 스펙트럼 감산기(210)에 입력한다. 스펙트럼 감산기는 제1사이드 채널 Sl(f) 의 크기 스펙트럼
Figure 112014000222252-pct00032
l(f)의 제1스테레오 사이드 크기 값 및 제2사이드 채널 Sr(f).의 크기 스펙트럼
Figure 112014000222252-pct00033
r(f) 의 제2스테레오 사이드 크기 값을 발생시키도록 구성되는 도 2에 따른 스펙트럼 감산기일 수 있다.
도 4는 실시예에 따라 스펙트럼 감산을 수행하는 장치를 도시한다. 시간 영역에서 표현되는 제1입력 채널 xl(t) 및 제2입력 채널 xr(t) 은 변형 유닛(transform unit, 405)에 설정된다. 변형 유닛(405)은 제1스펙트럼-영역 입력 채널 Xl(f) 및 제2스펙트럼-영역 입력 채널 Xr(f)을 얻기 위해 시간 영역에서 스펙트럼 영역으로 제1 및 제2시간-영역 입력 채널 xl(t), xr(t)을 변형하도록 구성된다. 스펙트럼-영역 입력 채널들 Xl(f), Xr(f)은 채널 발생기(408)로 입력된다. 채널 발생기(408)은 모노-중간 신호 M1(f)를 발생시키도록 구성된다. 모노-중간 신호 M1(f) 다음 공식에 따라 발생될 수 있다:
M1(f) = 1/2 (Xl(f)+Xr(f)) (17a)
채널 발생기(408)은 발생된 중간 신호 M1(f)로부터 크기 값들을 추출하는 제1크기 추출기(411)로 발생된 중간 신호 M1(f) 를 입력한다. 게다가, 제1입력 채널 Xl(f) 은 제1입력 채널 Xl(f)의 크기 값들을 추출하는 제2크기 추출기(412)로 변형 유닛(405)에 의해 입력된다. 게다가, 변형 유닛(405)는 제2입력 채널로부터 크기 값들을 추출하는 제3크기 추출기(413)으로 제2입력 채널 Xr(f) 을 입력한다. 변형 유닛(405)는 또한 제1입력 채널 Xl(f)로부터 위상 값들을 추출하는 제1위상 추출기(421)로 제1입력 채널 xl(f) 을 입력한다. 게다가, 변형 유닛(405)는 제2입력 채널로부터 위상 값들을 추출하는 제2위상 추출기(422)로 제2입력 채널 Xr(f) 을 입력한다.
제1크기 추출기(411)로 돌아가, 발생된 모노-중간 신호 |M1(f)| 의 크기 값들은 제1감산기(431)로 입력된다. 게다가, 추출된 크기 값들 |Xl(f)| 은 제1감산기(431)로 입력된다. 제1감산기(431)는 발생된 중간-신호의 크기 값 및 제1입력 채널의 크기 값 사이의 차이 값을 발생시킨다. 발생된 중간 신호의 크기는 가중될 수 있다. 예를 들어, 제1감산기는 공식 16에 따라 차이 값을 계산할 수 있다.
Figure 112014000222252-pct00034
= |Xl(f)| - w |M1(f)| (16)
유사하게, 제3크기 추출기(413)은 제2감산기(432)로 크기 값들 |Xr(f)| 을 입력한다. 게다가, 크기 값들 |M1(f)| 은 제2감산기(432)로 입력될 수도 있다. 제1감산 유닛(431)에 유사하게, 제2감산 유닛(432)은 발생된 중간 신호에 의해 크기 값들 및 크기 값들 |Xr(f)| 을 감산하는 것에 의해 제2사이드 채널의 크기 값을 발생시킨다. 제2감산 유닛(432)는, 예를 들어, 다음 공식을 이용할 수 있다:
Figure 112014000222252-pct00035
r(f) = |Xr(f)| - w |M1(f)| (17)
제1감산 유닛(431)은 제1결합기(441)로 발생된 크기 값
Figure 112014000222252-pct00036
을 입력한다. 게다가, 제1위상 추출기(421)는 제1결합기(441)로 제1입력 채널 Xl(f) 의 추출된 위상 값을 입력한다. 제1결합기(441)는 제1위상 추출기(421)에 의해 전달되는 위상 값 및 제1감산 유닛(421)에 의해 발생되는 크기 값을 결합하는 것에 의해 제1사이드 채널의 스펙트럼-영역 값을 발생시킨다.
Figure 112014000222252-pct00037
Figure 112014000222252-pct00038
Figure 112014000222252-pct00039
(18)
Figure 112014000222252-pct00040
의 값들 중 몇몇이 음수라면, 공식
Figure 112014000222252-pct00041
Figure 112014000222252-pct00042
Figure 112014000222252-pct00043
을 적용하는 것은
Figure 112014000222252-pct00044
및
Figure 112014000222252-pct00045
의 절대값의 결합을 도출하며, 여기서
Figure 112014000222252-pct00046
는 π에 의해 이동된다.
유사하게, 제2감산 유닛(432)는 제2결합기(442)로 제2사이드 신호의 발생된 크기 값
Figure 112014000222252-pct00047
r(f)을 입력한다. 제2위상 추출기(422)는 제2결합기(442)로 제2입력 채널 Xr(f) 의 추출된 위상 값을 입력한다. 제2결합기는 제2사이드 채널을 얻기 위해 위상 추출기(422)에 의해 전달되는 위상 값 및 제2감산 유닛(432)에 의해 전달되는 제2크기 값을 결합하도록 구성된다. 예를 들어, 제2결합기(442)는 다음 공식을 이용할 수 있다:
Figure 112014000222252-pct00048
Figure 112014000222252-pct00049
r(f)
Figure 112014000222252-pct00050
(19)
Figure 112014000222252-pct00051
r(f) 의 값들 중 몇몇이 음수인 경우, 공식
Figure 112014000222252-pct00052
Figure 112014000222252-pct00053
r(f)
Figure 112014000222252-pct00054
를 적용하는 것은
Figure 112014000222252-pct00055
r(f) 및
Figure 112014000222252-pct00056
의 절대 값의 결합을 도출하며, 여기서
Figure 112014000222252-pct00057
는 π만큼 위상이 이동된다. 제1결합기(441)는 스펙트럼-영역에서 표현되는 발생된 제1사이드 신호를 역 변형 유닛(450)으로 입력한다. 역 변형 유닛(450)은 제1시간-영역 사이드 신호를 얻기 위해 스펙트럼-영역에서 시간 영역으로 제1스펙트럼-영역 사이드 채널을 변형한다. 게다가, 역 변형 유닛(450)은 제2결합기(442)로부터 스펙트럼 영역에서 표현되는 제2사이드 채널을 수신한다. 역 변형 유닛(450)은 시간-영역 제2사이드 채널을 얻기 위해 스펙트럼 영역에서 시간-영역으로 제2스펙트럼-영역 사이드 채널을 변형한다. 이미 설명된대로, 제1 및 제2사이드 채널의 크기 값들은 다음 공식에 따라 제1감산 유닛(431) 및 제2감산 유닛(432)에 의해 발생될 수 있다.
Figure 112014000222252-pct00058
= |Xl(f)| - w |M1(f)| (16)
Figure 112014000222252-pct00059
r(f) = |Xr(f)| - w |M1(f)| (17)
스칼라 인수 0≤w≤1은 분리의 정도를 제어한다. 스펙트럼 감산의 결과는 스테레오 신호들
Figure 112014000222252-pct00060
및
Figure 112014000222252-pct00061
r(f)의 크기 스펙트럼들이다. 시간 신호 m(t) = [ml(t) mr(t)] 는 입력 신호로부터 스테레오 사이드 신호를 감산하는 것에 의해 계산된다.
Figure 112014000222252-pct00062
Figure 112014000222252-pct00063
.
중간 신호가 시간 신호들을 감산하는 것에 의해 계산된다는 사실은, 오직 두개의 역 주파수 변형들이 요구된다. 파라미터 w는 바람직하게는 1에 가깝게 선택되지만, 주파수-의존적일 수 있다.
도 5는 이러한 개념들을 이용하는 실시예에 따른 장치를 도시한다.
상기 장치는 제1스펙트럼-영역 입력 채널 Xl(f)을 얻기 위해 시간 영역에서 스펙트럼 영역으로 제1시간-영역 입력 채널 xl(t) 을 변형하도록 구성되는 제1변형 유닛(501), 제2스펙트럼-영역 입력 채널 Xr(f)을 얻기 위해 시간 영역에서 스펙트럼 영역으로 제2시간-영역 입력 채널 xr(t) 을 변형하도록 구성되는 제2변형 유닛(502)을 더 포함한다.
상기 장치는 도 4의 장치의 채널 발생기(508), 제1(511) 및 제2(512) 및 제3(513) 크기 추출기, 제1(521) 및 제2(522) 위상 추출기, 채널 발생기(408)에 대응할 수 있는, 제1(531) 및 제2(532) 감산 유닛 및 제1(541) 및 제2(542) 결합기, 제1(411), 제2(412) 및 제3(413) 크기 추출기, 제1(421) 및 제2(422) 위상 추출기, 제1(431) 및 제2(431) 감산 유닛 및 제1(441) 및 제2(442) 결합기를 각각 더 포함한다.
게다가, 상기 장치는 제1역 변형 유닛(551)을 포함한다. 게다가, 상기 장치는 제2 역 변형 유닛(552)를 포함한다. 상기 제2 역 변형 유닛(552)는 제2결합기(542)로부터 스펙트럼 영역에서 표현되는 발생된 제2사이드 채널을 수신한다. 제2 역 변형 유닛(552)은 제2시간-영역 사이드 채널 sr(t)을 얻기 위해 스펙트럼 영역에서 시간-영역으로 제2스펙트럼-영역 사이드 채널 Sr(f) 을 변형한다. 게다가, 상기 장치는 제1중간 채널 발생기(561)을 포함한다. 상기 제1중간 채널 발생기(561)는 공식 20을 적용하여 시간 영역에서 스테레오 중간 신호의 제1중간 채널 ml(t) 을 발생시킨다.
Figure 112014000222252-pct00064
게다가, 상기 장치는 제2중간 채널 발생기(562)를 포함한다. 제2중간 채널 발생기(562)는 공식(21)을 적용하여 시간 영역에서 스테레오 중간 신호의 제1중간 채널 mr(t) 을 발생시킨다.
Figure 112014000222252-pct00065

Figure 112014000222252-pct00066

비록 위 방정식이 스페그럼 감산에서 얻어지는 것처럼 실제 가중을 갖는 동일 결과들을 도출하더라도(그러나 대부분 스펙트럼 가중을 계산하기 위한 분할 때문에 더 큰 계산적 부하와 함께), 스펙트럼 가중 접근은 그것이 다음에서 설명되는 유사한 특징들을 갖는 상이한 결과들을 이끄는 프로세싱을 매개변수화하는 더 큰 가능성들을 제공하기에 이점이 있다.
스펙트럼 가중을 이용하는 신호 분해는 더 자세히 설명된다. 이 실시예에 따른 개념의 이유는 스펙트럼 가중이 M-S 구성으로부터 유도되는 곳에서, 왼쪽 및 오른쪽 채널 신호들 xl(t) 및 xr(t)에 대해 스펙트럼 가중을 적용하는 것이다. M-S 분해의 중간 결과는, 중간-사이드 비율(MSR)을 언급하는 다음에서, 시간-주파수 타일(tile) 당 중간 및 사이드 신호의 비율이다. 이 MSR은 스펙트럼 가중을 계산하는데 이용될 수 있지만, 이는 MSR의 개념 없이 가중이 대안적으로 게산될 수 있다는 것이 주목되어야 한다. 이 경우, MSR은 방법의 기본 아이디어를 설명하는 목적으로 주로 기능한다. 스테레오 중간-신호 m(t)=[ml(t) mr(t)]를 계산하기 위해, 가중은 MSR에 단선율로 관련되는 것으로 선택된다. 스테레오 사이드 신호 s(t)=[sl(t) sr(t)]를 계산하기 위해, 상기 가중은 MSR의 역에 단선적으로(monotonically) 관련된 것이 선택된다.
실시예에서, 변경 정보 발생기는 스펙트럼 가중 발생기를 포함한다. 도 6은 그런 실시예에 따른 장치를 도시한다. 상기 장치는 신호 조작기(620) 및 변경 정보 발생기(610)을 포함한다. 변경 정보 발생기는 스펙트럼 가중 발생기(615)를 포함한다. 신호 조작기(620)는 스테레오 입력 신호의 제2입력 채널 Xr(f) 을 조작하기 위해 제2조작 유닛(622) 및 스테레오 신호의 제1입력 채널 Xl(f) 의 조작을 위한 제1조작 유닛(621)을 포함한다. 도 6의 스펙트럼 가중 발생기(615)는 스테레오 입력 신호의 모노 사이드 신호 S1(f) 및 모노 중간 신호 M1(f) 를 수신한다. 스펙트럼 가중 발생기(615)는 스테레오 입력 신호의 모노 사이드 신호 S1(f) 에 그리고 모노 중간 신호 M1(f) 에 기반하여 스펙트럼 가중 인수 Gs(f) 를 결정하도록 구성된다. 신호 조작기(620)는 변경 정보에 따라 발생된 스펙트럼 가중 인수 Gs(f) 를 변경 정보 발생기(620)로 입력한다. 변경 유닛 발생기(620)의 제1변경 유닛(621)은 스테레오 사이드 신호의 제1사이드 채널 Sl(f) 을 얻기 위해 발생된 스펙트럼 가중 인수 Gs(f) 에 기반하여 스테레오 입력 신호의 제1입력 채널 Xl(f) 을 조작하도록 구성된다.
또다른 실시예가 도 7에서 도시된다. 도 6의 장치처럼, 도 7의 장치는 신호 조작기(720) 및 변경 정보 발생기(710)을 포함한다. 변경 정보 발생기는 스펙트럼 가중 발생기(715)를 포함한다. 신호 조작기(720)는 스테레오 입력 신호의 제2입력 채널 Xr(f) 을 조작하도록 제2조작 유닛 및 스테레오 신호의 제1입력 채널 Xl(f) 을 조작하는 제1조작 유닛(721)을 포함한다. 도 7의 실시예의 신호 조작기(720)는 스테레오 사이드 신호의 제 1 사이드 채널 Sl(f) 및 제2 사이드 채널 Sr(f) 을 얻기 위해 동일하게 발생된 스펙트럼 가중 인수 Gs(f) 에 기반하여 제2입력 채널 Xr(f) 뿐만 아니라 제1입력 채널 Xl(f) 을 조작하도록 구성된다.
추가 실시예는 도 8에서 도시된다. 도 6의 장치처럼, 도 8의 장치는 신호 조작기(820) 및 변경 정보 발생기(810)을 포함한다. 변경 정보 발생기는 스펙트럼 가중 발생기(815)를 포함한다. 신호 조작기(820)는 스테레오 입력 신호의 제2입력 채널 Xr(f) 을 조작하는 제2조작 유닛(822) 및 스테레오 신호의 제1입력 채널 Xl(f) 을 조작하는 제1조작 유닛(821)을 포함한다. 스펙트럼 가중 발생기(815)는 둘 이상의 스펙트럼 가중 인수를 발생시키도록 구성된다. 게다가, 변경 정보 발생기(820)의 제1조작 유닛(821)은 발생된 제1스펙트럼 가중 인수에 기반하여 제1입력 채널을 조작하도록 구성된다. 변경 정보 발생기(820)의 제2조작 유닛(822)은 발생된 제2스펙트럼 가중 인수에 기반하여 제2입력 채널을 조작하도록 더 구성된다.
도 9는 실시예에 따라 변경 정보 발생기(910)을 도시한다. 변경 정보 발생기(910)는 스펙트럼 가중 발생기(915) 및 크기 결정기(912)를 포함한다. 크기 결정기(912)는 스펙트럼 영역에서 표현되는 모노 중간 신호 M1(f) 를 수신하도록 구성된다. 게다가, 크기 결정기(912)는 스펙트럼 영역에서 표현되는 모노 사이드 신호 S1(f) 를 수신하도록 구성된다. 크기 결정기(912)는 크기 사이드 값에 따라 모노 사이드 신호 S1(f) 의 스펙트럼의 크기 값 |S1(f)| 을 결정하도록 구성된다. 게다가, 크기 결정기(912)는 크기 중간 값에 따라 모노 중간 신호 M1(f) 의 스펙트럼의 크기 값 |M1(f)| 을 결정하도록 구성된다.
크기 결정기(912)는 크기 사이드 값 및 크기 중간 값을 스펙트럼 가중 발생기(915)로 입력하도록 구성된다. 스펙트럼 가중 발생기(915)는 제1숫자 대 제2숫자의 비율에 기반하여 제1스펙트럼 가중 인수를 발생시키도록 구성되고, 여기서 제1숫자는 크기 사이드 값에 의존하고, 여기서 제2숫자는 크기 중간 값 및 크기 사이드 값에 의존한다. 예를 들어, 제1스펙트럼 가중 인수 Gs(f) 는 다음 공식에 따라 계산될 수 있다:
Figure 112014000222252-pct00067

여기서 α,β,γ,δ 및 η는 스칼라 인수들이다. 다음에서, 스펙트럼 가중의 계산이 더 자세히 설명된다. 그러한 스펙트럼 가중들은, 표 1에 따라 간섭 신호 n(t) 및 요구 신호 d(t)를 대체하는 것에 의해, "배경기술" 부분에서 스펙트럼 가중 및 스펙트럼 감산의 컨텍스트에서 설명되었듯이 위에서 설명된 이득 규칙들 중 하나를 이용하여 유도될 수 있다.
요구되는 신호 간섭자
스테레오 사이드 신호 s(t) m(t)
스테레오 중간 신호 m(t) s(t)
표 1. 스펙트럼 가중을 계산하는데 이용되는 신호들에 대해 M-S 신호들을 할당.
예를 들어, 스테레오 사이드 신호 s(t)=[sl(t) sr(t)] 는 방정식 (23), (24) 및 (25)에 따라 계산될 수 있다.
Figure 112014000222252-pct00068

Sl(f) = Gs(f) Xl(f) (24)
Sr(f) = Gs(f) Xr(f) (25)
추가 파라미터 δ는 분해 프로세스에서 스테레오 사이드 신호 구성요소들의 임팩트(impact)를 제어하기 위해 도입된다.
주파수 변형은 신호 쌍 [xl(t) xr(t)] 또는 [m(t) s(t)]에 대해서만 각각 계산될 필요가 있고, 위쪽 쌍(upper pair)은 방정식 (5) 및 (6) 에 따라 감산 및 합산에 의해 유도된다.
유사한 방식으로, 스테레오 중간 신호 m(t)=[ml(t) mr(t)]는 방정식 (26), (27) 및 (28)에 따라 계산될 수 있다.
Figure 112014000222252-pct00069
.
Ml(f) = Gm(f) Xl(f) (27)
Mr(f) = Gm(f) Xr(f) (28)
도 10은 제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1중간 채널 Ml(f) 및 제2중간 채널 Mr(f) 를 갖는 스테레오 중간 신호를 발생시키는 장치를 도시한다. 상기 장치는 제2입력 중간 채널 Mr(f)을 얻기 위해 변경 정보 modInf 에 기반하여 제2입력 채널 Xr(f) 을 조작하도록 구성되고 제1중간 채널 Ml(f) 을 얻기 위해 변경 정보에 기반하여 제1입력 채널 Xl(f) 을 조작하도록 구성되는 신호 조작기(1020), 중간-사이드 정보 midSideInf 에 기반하여 변경 정보 modInf2를 발새시키기 위한 변경 정보 발생기 (1010)을 포함한다.
도 10a는 실시예에 따라 스테레오 중간 신호를 발생시키기 위한 장치를 도시하고, 여기서 조작 정보 발생기(1010)는 스펙트럼 감산기(1015)를 포함한다. 스펙트럼 감산기(1015)는 제1 또는 제2입력 채널 및 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호 사이의 차이를 표시하는 차이 값을 발생시키는 것에 의해 변경 정보 modInf2 를 발생시키도록 구성된다. 예를 들어, 스펙트럼 감산기(1015)는 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호의 가중된 크기 값 또는 크기 값으로부터 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보 modInf2를 발생시키도록 구성될 수 있다. 또는, 스펙트럼 감산기(1015)는 제1 또는 제2입력 채널의 가중된 크기 값 또는 크기 값으로부터 스테레오 입력 신호의 모노 사이드 신호 또는 모노 중간 신호의 가중된 크기 값 또는 크기 값을 감산하는 것에 의해 변경 정보 modInf2를 발생시키도록 구성될 수 있다.
도 10b는 실시예에 따라 스테레오 중간 신호를 발생시키는 장치를 도시하며, 여기서 변경 정보 발생기(1010)는 스테레오 입력 신호의 모노 사이드 신호에 그리고 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보 modInf2를 발생시키는 스펙트럼 가중 발생기(1016)을 포함한다. 변경 정보 발생기는 예를 들어 공식 26에 따라 변경 정보 modInf2를 발생시킬 수 있다.
Figure 112014000222252-pct00070

방정식 26에서 보여진 가중에 대한 대안은
Figure 112014000222252-pct00071
을 도출하는, Gs(f) + Gm(f) = 1인 다운믹스 호환성(downmix compatibility)에 대한 기준으로부터 가중을 유도하는 것이다.
위에서 언급된 방법의 확장은 시간-주파수 빈(bin)이 한쪽 측면에 강하게 패닝된 경우에도 이득 기능(23)이 1과 동일한 가중을 도출하지 않는다는 관찰에 의해 동기부여된다. 이는 분모(denominator)가 분자(numerator)보다 언제나 크다는 사실의 결과이며, 이는 양쪽, 왼쪽 및 오른쪽 스펙트럼 계수가 0이라면 중간-신호가 오직 0으로 접근하기 때문이다. 강하게-패닝된 신호 구성요소들에 대해 Gs(f)=1를 달성하기 위해, 방정식 (23)은
Figure 112014000222252-pct00072
(30)
로 수정될 수 있다.
방정식(30)에서의 변경은 강하게 패닝된 통합 이득을 도출한다. 대안적으로, 방정식 (31) 및 (32)는 η=0에 대해 방정식 (23) η=1에 대해 방정식 (30)을 도출하는 파라미터 η을 갖는 이득 공식들을 보여준다.
Figure 112014000222252-pct00073
와 함께
Q(f) = ηmin [
Figure 112014000222252-pct00074
, |Xr(f)| ] + (1 - η) M(f) (32)
위에서 설명된 스펙트럼 가중은 모든 경우에 다운믹스 호환성을 보장하지는 않으며, 즉
Figure 112014000222252-pct00075

Figure 112014000222252-pct00076
이다.
만약 에너지 보존 분리가 요구되는 경우, 가중(weights)은
Figure 112014000222252-pct00077
(35)
이고, 이는
Figure 112014000222252-pct00078
(36)
을 각각 계산하는 것에 의해 해결될 수 있고,
Figure 112014000222252-pct00079
(37)
예처럼, 다른 가중 인수들을 계산하고 위에서 설명된 것처럼, 선택될 필요가 있다.
선택적으로, 추가 상수 스케일링 인수는 감산 전에 이득 기능 중 하나에 적용될 수 있다.
다운믹스 호환성을 갖는 4차운 입체음향 재생의 예에 대해, 파라미터들은
Figure 112014000222252-pct00080
(38)
로 설정될 수 있다.
스펙트럼 가중 Gs(f) 1.5dB에 의해 스케일링되고 처음으로 계산된다. 스테레오 중간 신호에 대한 이득들은 Gm(f) = 1 - Gs(f)에 따라 계산된다. 이득 기능들은 도 11에서 패닝 파라미터의 기능에 따라 도시된다. 도 11에서, 스테레오 사이드 신호들(실선)에 대한 예시 이득들 및 스테레오 중간 신호들(쇄선)이 도시된다. 이득들은 보상적, 즉 분리는 다운믹스 호환적이라는 것이 보여진다. 각 한쪽으로 패닝되는 신호 구성요소들은 스테레오 중간 신호에서 감쇠되고, 중앙으로 패닝되는 신호 구성요소들은 스테레오 사이드 신호에서 감쇠된다. 사이에서 패닝되는 신호 구성요소들은 양쪽 신호들에서 나타난다. 이득 기능들은 도 12에서 패닝 파라미터의 기능에 따라 도시된다. 도 12는 왼쪽(실선) 및 오른쪽 채널(쇄선)에 대해 스테레오 사이드 신호(위쪽 도면) 및 스테레오 중간 신호들(아래쪽 도면)에 대한 스펙트럼 가중의 결과를 도시한다.
도 13은 추가 실시예에 따라 스테레오 사이드 신호를 발생시키는 장치를 도시한다. 상기 장치는 변형 유닛(1203), 변형 정보 발생기(1310), 신호 조작기(1320) 및 역 변형 유닛(1325)를 포함한다. 스테레오 입력 신호의 제1입력 채널 xl(t) 및 제2입력 채널 xr(t) 및 스테레오 입력 신호의 중간 신호 m1(t) 및 사이드 신호 s1(t) 이 변형 유닛(1305)로 입력된다. 변형 유닛은 단기 푸리에 변형 유닛(STFT 유닛)일 수 있고, 필터 뱅크, 또는 시간 지수 k 및 주파수 대역 지수 f를 가지고 다중 주파수 대역 X(f, k)와 함께 신호 표현을 유도하는 다른 어떤 장치들일 수 있다. 변형 유닛은 중간 신호 시간 영역에서 표현되는 mid1(t), 사이드 신호 s1(t), 제1입력 채널 xl(t) 및 제2입력 채널 xr(t) 을 스펙트럼 영역 신호들로, 특히 스펙트럼 영역 중간 신호 M1(f), 스펙트럼-영역 사이드 신호 S1(f), 스펙트럼 영역 제1입력 채널 Xl(f) 및 스펙트럼 영역 제2입력 채널 Xr(f)로 변형한다. 스펙트럼-영역 중간 신호 M1(f) 및 스펙트럼-영역 사이드 신호 S1(f) 는 중간-사이드 정보에 따라 변경 정보 발생기(1310)로 입력된다.
변경 정보 발생기(1310)는 스펙트럼-영역 모노 중간 신호 M1(f) 및 모노-사이드 신호 S1(f) 에 기반하여 변경 정보 modInf를 발생시킨다. 도 13의 변경 정보 발생기는 제1입력 채널 Xl(f) 및/또는 제2입력 채널 Xr(f) 을 쇄선 연결 라인들 1312 및 1314에 의해 표시되는 것에 따라 설명한다. 예를 들어, 변경 정보 발생기(1310)는 모노 중간 신호 M1(f), 제1입력 채널 Xl(f) 및 제2입력 채널 Xr(f)에 기반하여 변경 정보를 발생시킬 수 있다.
변경 발생기(1310)는 그 후 신호 조작기(1320)에 발생된 변경 정보 modInf를 넘긴다. 게다가, 변형 유닛(1305)는 제1스펙트럼-영역 입력 채널 Xl(f) 및 제2스펙트럼-영역 입력 채널 Xr(f) 을 신호 조작기(1320)로 입력한다. 신호 조작기(1320)는 신호 조작기(1320)에 의해 역 변형 유닛(1325)로 입력되는 제1스펙트럼 영역 사이드 채널 Sl(f) 및 제2스펙트럼 영역 사이드 채널 Sr(f) 을 얻기 위해 변경 정보 modInf에 기반하여 제1입력 채널을 조작하도록 구성된다. 역 변형 유닛(1325)은 제1시간-영역 사이드 채널 sl(t)를 얻기 위해, 제1스펙트럼-영역 사이드 채널 Sl(f) 을 시간-영역으로 변형하도록, 제2시간-영역 사이드 채널 sr(t)을 얻기 위해, 제2스펙트럼-영역 사이드 채널 Sr(f) 을 시간 영역으로 변환하도록, 각각 구성된다.
도 14는 추가 실시예에 따른 스테레오 사이드 신호를 발생시키는 장치를 도시한다. 도 14에 의해 도시되는 상기 장치는 도 14의 장치가 제1 및 제2입력 채널 Xl(f), Xr(f)로부터 모노-사이드 신호 S1(f) 및/또는 모노 중간 신호 M1(f)를 발생시키기 위해, 그리고 제1입력 채널 Xl(f) 및 제2입력 채널 Xr(f)을 수신하도록 구성되는, 채널 발생기(1307)을 더 포함한다는 점에서 도 13의 장치와 다르다. 예를 들어, 모노 중간 신호 M1(f) 는 다음 공식에 따라 발생될 수 있다.
M1(f) = 1/2 (Xl(f) + Xr(f)).
모노-중간 신호 S1(f) 은, 예를 들어, 다음 공식에 따라 발생될 수 있다.
S1(f) = 1/2 (Xl(f) - Xr(f)).
제안된 방법의 이유는 요구되는 신호들, 즉 입력 신호 x(t)=[xl(t) xr(t)]를 프로세싱하는 것에 의해 m(t) = [ml(t) mr(t)] and s=[sl(t) sr(t)],의 크기 스펙트럼의 추정을 계산하기 위함이고, m1(t) 및 s1(t) 의 주파수-영역 표현이 요구되는 신호 구성요소들을 포함한다는 이점을 취한다.
하나의 실시예에서, 스펙트럼 감산이 이용된다. 입력 신호들의 스펙트럼들은 4차원 입체음향 중간 신호의 스펙트럼들을 이용하여 변경된다. 또다른 실시예에서, 스펙트럼 가중이 이용되며, 여기서 가중은 4차원 입체음향 중간 신호 및 4차원 입체음향 사이드 신호를 이용하여 유도된다.
실시예에 따라, 신호들은 중간 및 사이드 신호에 따라 유사한 특성들을 갖고, 그러나 신호들 각각이 개별적으로 들을 때 스테레오 신호를 손실하지 않으면서 계산될 것이다. 이는 또다른 실시예에서 스펙트럼 가중을 이용하여 하나의 실시예에서 스펙트럼 감산을 이용하여 달성된다. 또다른 실시예에 따라, 업믹서는 두개의 업믹서 입력 채널드을 갖는 스테레오 신호로부터 적어도 네개의 업믹스 채널들을 발생시키도록 제공된다.
업믹서는 제2업믹서 채널에 따라 제2사이드 채널을 발생시키기 위해, 제1업믹서 채널에 따라 제1사이드 채널을 발생시키기 위해상기 설명된 실시예들 중 하나에 따른 스테레오 사이드 신호를 발생시키는 장치를 포함한다. 업믹서는 제1결합 유닛 및 제2결합 유닛을 더 포함한다. 제1결합 유닛은 제3업믹서 채널에 따라 제1중간 채널을 얻도록 제1입력 채널 및 제1사이드 채널을 결합하도록 구성된다. 게다가, 제2결합 유닛은 제4업믹서 채널에 따라 제2사이드 채널 및 제2입력 채널을 결합하도록 구성된다.
도 15는 실시예에 따른 업믹서는 도시한다. 업믹서는 스테레오 사이드 신호(1510), 제1중간 채널 발생기 및 제2중간 채널 발생기(1530)을 발생시키는 장치를 포함한다. 제1입력 채널 Xl(f)은 제1중간 채널 발생기(152)로 그리고 스테레오 사이드 신호(1510)을 발생시키는 장치로 입력된다. 게다가, 제2입력 채널 X(f) 는 제2중간 채널 발생기(1530)로 그리고 스테레오 사이드 신호(1510)을 발생시키는 장치로 입력된다. 게다가, 스테레오 사이드 신호(1510)을 발생시키는 장치는 제1중간 채널 발생기(1520)로 발생된 제1사이드 채널 Sl(f) 를 입력하며, 게다가 제2중간 채널 발생기(1530)로 발생된 제2사이드 채널 Sr(f) 을 입력한다. 제1사이드 채널 Sl(f) 은 업믹서에 의해 발생되는 제1업믹서 채널에 따라 출력된다. 제2사이드 채널 Sr(f) 은 업믹서에 의해 발생되는 제2업믹서 채널에 따라 출력된다. 제1중간 채널 발생기(1520)는 스테레오 중간 신호 Ml(f)의 제1채널을 얻기 위해 발생된 제1사이드 채널 Sl(f) 및 제1입력 채널 Xl(f) 을 결합한다. 예를 들어, 중간 채널 발생기(1520)는 다음 공식을 이용할 수 있다:
Ml(f) = Xl(f) - Sl(f).
게다가, 제2결합 유닛은 스테레오 중간 신호의 제2채널 Mr(f) 을 얻기 위해 중간 채널 발생기(1530)에 의해 제2입력 채널 Xr(f) 및 스테레오 사이드 신호의 제2채널 Sr(f) 을 결합시킨다. 예를 들어, 제2결합 유닛은 다음 공식을 이용할 수 있다:
Mr(f) = Xr(f) - Sr(f).
스테레오 중간 신호 Ml(f) 의 제1채널 및 스테레오 중간 신호 Mr(f) 의 제2채널은 각각 제3 및 제4업믹서 채널에 따라 출력된다. 보여질 수 있는 것처럼, 스테레오 중간 신호 및 스테레오 사이드 신호의 존재는 서라운드 사운드 시스템을 이용한 재생에 대해 스테레오 신호의 업믹스의 응용에 대한 이점이 있다. 스테레오 사이드 및 스테레오 중간 신호의 하나의 가능한 응용은 도 16에서 보여진것처럼 4차원 사운드 재생이다. 그것은 스테레오 중간 신호들 및 스테레오 사이드 신호들로 입력되는 네개의 채널들을 포함한다.
위에서 설명된대로 4차원 재생의 예시적 응용은 스테레오 사이드 신호 및 스테레오 중간 신호의 특징에 대한 좋은 설명이다. 요구되는 프로세싱은 4차원 입체음향보다 다른 포맷들을 가지고 오디오 신호를 재생하도록 더 확장될 수 있다. 그 이상의 출력 채널 신호들이 스테레오 사이드 신호 및 스테레오 중간 신호를 먼저 분리하고, 그들 중 하나 또는 양쪽에 다시 설명된 프로세싱을 적용하는 것에 의해 계산된다. 예를 들어, ITU-R BS.775 [1] 에 따른 5 채널들을 이용하여 재생을 위한 신호는 입력 신호에 따라 스테레오 중간 신호와 함께 신호 분해를 반복하는 것에 의해 유도될 수 있다.
도 17은 중심 C, 왼쪽 L, 오른쪽 R, 서라운드 왼쪽 SL 및 서라운드 오른쪽 SR 채널과 함께 다섯개 채널들과 함께 재생을 위해 적합한 멀티-채널 신호를 발생시키는 프로세싱의 블록도를 도시한다.
위에서-설명된 방법들 및 장치들은 스테레오 사이드 신호 및/또는 스테레오 중간 신호로 스테레오 입력 신호를 분해하기 위해 제시된다. 스펙트럼 감산 또는 스펙트럼 가중은 스펙트럼 분리를 위해 적용된다. MS 분해는 각 시간-주파수 타일(tile)이 스테레오 중간 신호 및 스테레오 사이드 신호 각각에 기여하는 정도를 계산하기 위해 필요한 방향-기반 정보를 산출한다. 그러한 신호들은 서라운드 사운드 시스템들에 의해 재생을 위한 스테레오 신호들의 업믹싱의 응용을 위해 이용된다.
비록 몇몇 관점들은 장치들의 문맥에서 설명되지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다. 발명의 분해된 신호는 디지털 저장 매체에 저장될 수도 있고 또는 인터넷 같은 유선 전송 매체 또는 무선 전통 매체처럼 전송 매체에서 전송될 수도 있다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다.
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 비-일시적 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드로 컴퓨터 프로그램 결과물에서 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 결과물이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 그 자체에 포함하는 데이터 캐리어이다.(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체)
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.
[참고문헌]
[1] International Telecommunication Union, Radiocommunication Assembly, "Multichannel stereophonic sound system with and without accompanying picture" Recommendation ITU-R.BS.775-2, 2006, Geneva, Switzerland.
[2] S. Boll, "Suppression of acoustic noise in speech using spectral subtraction" IEEE Trans. on Accoustics, Speech, and Signal Processing, vol. 27, no.2, pp. 113-120, 1979
[3] O. Cappe, "limination of the musical noise phenomenon with the Ephraim-Malah noise suppressor" IEEE Trans. On Speech and Audio Processing, vol. 2, pp. 345-349, 1994.
[4] G. Schmidt, "Single-channel noise suppression based on spectral weighting" Eurasip Newsletter, 2004.
[5] M. Berouti, R. Schwartz, and J. Makhoul, "Enhancement of speech corrupted by acoustic noise" in Proc. of the IEEE Int. Conf. On Acoustics, Speech, and Signal Processing, ICASSP, 1979
[6] R. Martin, "Spectral subtraction based on minimum statistics" in Proc. of EUSIPCO, Edinburgh, UK, 1994
[7] Y. Ephraim and D. Malah, "Speech enhancement using a minimum mean-square error short-time spectral amplitude estimator" in Proc. of the IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, ICASSP, 1984
[8] E George,"Single-sensor speech enhancement using a soft-decision/variable attenuation algorithm" in Proc. Of the IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, ICASSP, 1995.
[9] C. Avendano and J.-M. Jot, "frequency-domain approach to multi-channel upmix" J. Audio Eng. Soc., vol. 52, 2004.
[10] C. Faller, "Multiple-loudspeaker playback of stereo signals" J. Audio Eng. Soc., vol. 54, 2006.
[11] C. Uhle, J. Herre, S. Geyersberger, F. Ridderbusch, A. Walter and O. Moser, "Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program" US Patent Applicatin 2009/0080666, 2009.
[12] C. Uhle, J. Herre, A. Walther, O. Hellmuth, and C. Janssen, "Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program" US Patent Application 2010/0030563, 2010.
[13] E. Vickers, "Two-to-three channel upmix for center channel derivation" US Patent Application 2010/0296672, 2010.

Claims (15)

  1. 제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호를 발생시키기 위한 장치에 있어서,
    변경 정보를 발생시키기 위한 변경 정보 발생기(110; 610; 710; 810; 910; 1310); 및
    상기 제1사이드 채널을 얻기 위해 변경 정보에 기반하여 상기 제1입력 채널을 조작하고 상기 제2사이드 채널을 얻기 위해 변경 정보에 기반하여 상기 제2입력 채널을 조작하는 신호 조작기(120; 620; 720; 820; 1320);를 포함하며,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 상기 스테레오 입력 신호의 모노 사이드 신호에 그리고 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 가중 발생기(116; 615; 715; 815; 915)를 포함하는, 스테레오 사이드 신호를 발생시키기 위한 장치.
  2. 제1항에 따른 장치에 있어서,
    상기 신호 조작기(120; 620; 720; 820; 1320)는 상기 제2사이드 채널을 얻기 위해 변경 정보에 따라 상기 제1스펙트럼 가중 인수에 기반하여 상기 제2입력 채널을 조작하는 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  3. 제1항에 따른 장치에 있어서,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 상기 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 상기 제1스펙트럼 가중 인수를 발생시키는 것에 의해 상기 변경 정보를 발생시키는 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)를 포함하며,
    여기서 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)는 상기 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 제2스펙트럼 가중 인수를 발생시키며,
    여기서 상기 신호 조작기(120; 620; 720; 820; 1320)는 상기 제2사이드 채널을 얻기 위해 변경 정보에 따라 상기 제2스펙트럼 가중 인수에 기반하여 상기 제2입력 채널을 조작하는 것을 특징으로 하는, 스테레오 사이드 신호를 발생시키기 위한 장치.
  4. 제1항에 따른 장치에 있어서,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 상기 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 상기 제1스펙트럼 가중 인수를 발생시키는 것에 의해 상기 변경 정보를 발생시키는 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)를 포함하며,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 크기 결정기(912)를 더 포함하며,
    여기서 상기 크기 결정기(912)는 스펙트럼 영역에서 표현되는 모노 중간 신호를 수신하도록 구성되며, 상기 크기 결정기는 스펙트럼 영역에서 표현되는 모노 사이드 신호를 수신하도록 구성되며,
    여기서 상기 크기 결정기(912)는 크기 사이드 값에 따라 상기 모노 사이드 신호의 크기 값을 결정하도록 구성되며, 여기서 상기 크기 결정기(912)는 크기 중간 값에 따라 상기 모노 중간 신호의 크기 값을 결정하도록 구성되며,
    여기서 상기 크기 결정기(912)는 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)로 상기 크기 사이드 값 및 상기 크기 중간 값을 입력하도록 구성되며,
    상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)는 제2숫자에 제1숫자의 비율에 기반하여 상기 제1스펙트럼 가중 인수를 발생시키도록 구성되며, 여기서 상기 제1숫자는 상기 크기 사이드 값에 의존하고, 여기서 상기 제2숫자는 상기 크기 중간 값 및 상기 크기 사이드 값에 의존하는 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  5. 제1항에 따른 장치에 있어서,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 상기 스테레오 입력 신호의 상기 모노 사이드 신호 및 상기 모노 중간 신호에 기반하여 상기 제1스펙트럼 가중 인수를 발생시키는 것에 의해 상기 변경 정보를 발생시키는 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)를 포함하며,
    여기서 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)는 공식:
    Figure 112016103610361-pct00081

    에 따라 변경 인수를 발생시키도록 구성되며,

    또는, 여기서 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)는 공식:
    Figure 112016103610361-pct00082

    에 따라 상기 변경 인수를 발생시키도록 구성되며,

    또는, 상기 스펙트럼 가중 발생기(116; 615; 715; 815; 915)는 공식:
    Figure 112016103610361-pct00083

    와 함께,
    Figure 112016103610361-pct00084

    에 따라 상기 변경 인수를 발생시키도록 구성되며,

    여기서 |S(f)|는 상기 모노 사이드 신호의 크기 스펙트럼을 표시하며, 여기서 |M(f)| 는 상기 모노 사이드 신호의 크기 스펙트럼을 표시하며, 여기서
    Figure 112016103610361-pct00085
    는 제1입력 신호의 크기 스펙트럼을 표시하며, 여기서 |Xr(f)|는 상기 제2입력 채널의 크기 스펙트럼을 표시하며, 여기서 M(f)는 상기 모노 중간 신호를 표시하며, 여기서 α,β,γ,δ 및 η는 스칼라 인수인 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  6. 제2항에 따른 장치에 있어서,
    여기서 상기 변경 정보 발생기(110; 610; 710; 810; 910; 1310)는 상기 스테레오 입력 신호의 모노 사이드 신호 또는 스테레오 입력 신호의 모노 중간 신호에 기반하여 변경 정보를 발생시키도록 구성되며, 여기서 모노 중간 신호는 상기 제1 및 제2입력 채널을 더하는 것으로부터 도출되는 합산 신호에 의존하며, 여기서 상기 모노 사이드 신호는 상기 제1입력 채널로부터 상기 제2입력 채널을 감산하는 것으로부터 도출되는 차이 신호상에 의존하는 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  7. 제2항에 따른 장치에 있어서,
    여기서 상기 장치는 채널 발생기(561, 562)를 더 포함하며, 여기서 상기 채널 발생기는 상기 제1 및 상기 제2입력 채널에 기반하여 모노 중간 신호 또는 모노 사이드 신호를 발생시키도록 구성되는 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  8. 제2항에 따른 장치에 있어서,
    여기서 상기 장치는 :
    시간 영역에서 스펙트럼 영역으로 상기 스테레오 입력 신호의 상기 제1 및 제2입력 채널을 변형하는 변형 유닛(1305); 및
    역 변환 유닛(1325);을 더 포함하며,
    여기서 상기 신호 조작기(120; 620; 720; 820; 1320)는 상기 스펙트럼 영역에서 표현되는 상기 스테레오 사이드 신호를 얻기 위해 상기 스펙트럼 영역에서 표현되는 상기 제2입력 채널 및 상기 스펙트럼 영역에서 표현되는 상기 제1입력 채널을 조작하도록 구성되며,
    여기서 상기 역 변환 유닛(1325)는 상기 스펙트럼 영역에서 상기 시간 영역으로 상기 스펙트럼 영역에서 표현되는 상기 스테레오 사이드 신호를 변형하도록 구성되는 것을 특징으로 하는 스테레오 사이드 신호를 발생시키기 위한 장치.
  9. 제1항에 따른 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호(1510)을 발생시키기 위한 장치;
    여기서 제1항에 따른 상기 장치는 제1업믹서 채널에 따라 상기 제1사이드 채널을 발생시키도록 구성되고, 여기서 상기 장치는 제2업믹서 채널에 따라 상기 제2사이드 채널을 발생시키도록 구성되며,
    상기 제1사이드 채널 및 제1스테레오 입력 채널 사이의 차이에 기반하여 제3업믹서 채널에 따라 제1중간 채널을 발생시키기 위한 제1중간 채널 발생기(1520); 및
    상기 제2사이드 채널 및 제2스테레오 입력 채널 사이의 차이에 기반하여 제4업믹서 채널에 따라 제2중간 채널을 발생시키기 위한 제2중간 채널 발생기(1530);를 포함하는 업믹서.
  10. 변경 정보를 발생시키는 변경 정보 발생기(1010); 및
    제1중간 채널을 얻기 위해 상기 변경 정보에 기반하여 제1입력 채널을 조작하도록 구성되며 제2중간 채널을 얻기 위해 상기 변경 정보에 기반하여 제2입력 채널을 조작하도록 구성되는 신호 조작기(1020);를 포함하며,
    여기서 상기 변경 정보 발생기는 스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 스펙트럼 가중 발생기를 포함하는,
    제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1중간 채널 및 제2중간 채널을 갖는 스테레오 중간 신호를 발생시키는 장치.
  11. 제10항에 따른 장치에 있어서,
    여기서 상기 변경 정보 발생기는 크기 결정기를 더 포함하며,
    여기서 상기 크기 결정기는 크기 사이드 값에 따라 스펙트럼 영역으로 표현되는 모노 사이드 신호의 크기 값을 결정하도록 구성되며, 여기서 상기 크기 결정기는 크기 중간 값에 따라 스펙트럼 영역에서 표현되는 모노 중간 신호의 크기 값을 결정하도록 구성되며,
    여기서 상기 크기 결정기는 상기 스펙트럼 가중 발생기로 상기 크기 사이드 값 및 상기 크기 중간 값을 입력하도록 구성되며,
    여기서 상기 스펙트럼 가중 발생기는 제2숫자에 대한 제1숫자의 비율에 기반하여 제1스펙트럼 가중 인수를 발생시키도록 구성되고, 여기서 상기 제1숫자는 상기 크기 사이드 값에 의존하며, 여기서 상기 제2숫자는 상기 크기 사이드 값 및 상기 크기 중간 값에 의존하는 것을 특징으로 하는 스테레오 중간 신호를 발생시키는 장치.
  12. 스테레오 입력 신호의 중간-사이드 신호에 그리고 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 단계;
    제1사이드 채널을 얻기 위해 상기 변경 정보에 기반하여 제1입력 채널을 조작하는 단계;
    제2사이드 채널을 얻기 위해 상기 변경 정보에 기반하여 제2입력 채널을 조작하는 단계;
    제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1사이드 채널 및 제2사이드 채널을 갖는 스테레오 사이드 신호를 발생시키는 방법.
  13. 스테레오 입력 신호의 모노 사이드 신호에 그리고 모노 중간 신호에 기반하여 제1스펙트럼 가중 인수를 발생시키는 것에 의해 변경 정보를 발생시키는 단계;
    제1중간 채널을 얻기 위해 상기 변경 정보에 기반하여 제1입력 채널을 조작하는 단계; 및
    제2중간 채널을 얻기 위해 상기 변경 정보에 기반하여 제2입력 채널을 조작하는 단계;
    제1입력 채널 및 제2입력 채널을 갖는 스테레오 입력 신호로부터 제1중간 채널 및 제2중간 채널을 갖는 스테레오 중간 신호를 발생시키는 방법.
  14. 제13항에 따른 방법에 있어서,
    여기서 변경 정보를 발생시키는 단계는:
    스테레오 입력 신호의 모노 사이드 신호 및 모노 중간 신호에 의존하는, 제1스펙트럼 가중 인수를 발생시키는 것에 의해 상기 변경 정보를 발생시키는 단계;
    크기 사이드 값에 따라 스펙트럼 영역에서 표현되는 모노 사이드 신호의 크기 값을 결정하는 단계;
    크기 중간 값에 따라 스펙트럼 영역에서 표현되는 모노 중간 신호의 크기 값을 결정하는 단계;
    스펙트럼 가중 발생기로 크기 중간 값 및 크기 사이드 값을 입력하는 단계;
    제2숫자에 대한 제1숫자의 비율에 기반하여 상기 제1스펙트럼 가중 인수를 발생시키는 단계;를 포함하며,
    여기서 상기 제1숫자는 상기 크기 사이드 값에 의존하며, 상기 제2숫자는 상기 크기 중간 값 및 상기 크기 사이드 값에 의존하는 스테레오 중간 신호를 발생시키는 방법.
  15. 컴퓨터 또는 프로세서 상에서 실행될 때, 제12항 내지 제14항 중 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체.
KR1020147000054A 2011-07-05 2012-07-03 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치 KR101710544B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504588P 2011-07-05 2011-07-05
US61/504,588 2011-07-05
EP11186715A EP2544465A1 (en) 2011-07-05 2011-10-26 Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator
EP11186715.6 2011-10-26
PCT/EP2012/062932 WO2013004698A1 (en) 2011-07-05 2012-07-03 Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator

Publications (2)

Publication Number Publication Date
KR20140021055A KR20140021055A (ko) 2014-02-19
KR101710544B1 true KR101710544B1 (ko) 2017-02-27

Family

ID=47262892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000054A KR101710544B1 (ko) 2011-07-05 2012-07-03 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치

Country Status (15)

Country Link
US (1) US9883307B2 (ko)
EP (4) EP2544465A1 (ko)
JP (1) JP5906312B2 (ko)
KR (1) KR101710544B1 (ko)
CN (1) CN103650538B (ko)
AU (1) AU2012280392B2 (ko)
BR (1) BR112013032824B1 (ko)
CA (1) CA2840132C (ko)
ES (2) ES2552996T3 (ko)
HK (1) HK1197959A1 (ko)
MX (1) MX2013014723A (ko)
PL (2) PL2730102T3 (ko)
RU (1) RU2601189C2 (ko)
TR (1) TR201906465T4 (ko)
WO (2) WO2013004697A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3503095A1 (en) 2013-08-28 2019-06-26 Dolby Laboratories Licensing Corp. Hybrid waveform-coded and parametric-coded speech enhancement
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
CN105989852A (zh) 2015-02-16 2016-10-05 杜比实验室特许公司 分离音频源
US10217468B2 (en) * 2017-01-19 2019-02-26 Qualcomm Incorporated Coding of multiple audio signals
EP3382703A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
EP3518562A1 (en) * 2018-01-29 2019-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels
US10547926B1 (en) * 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
US11432069B2 (en) * 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140105A2 (en) 2009-06-05 2010-12-09 Koninklijke Philips Electronics N.V. Processing of audio channels

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3280258A (en) * 1963-06-28 1966-10-18 Gale B Curtis Circuits for sound reproduction
DE19742655C2 (de) * 1997-09-26 1999-08-05 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Codieren eines zeitdiskreten Stereosignals
US6405163B1 (en) * 1999-09-27 2002-06-11 Creative Technology Ltd. Process for removing voice from stereo recordings
US7254239B2 (en) * 2001-02-09 2007-08-07 Thx Ltd. Sound system and method of sound reproduction
US7970144B1 (en) * 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
DE102004042819A1 (de) * 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
FR2886503B1 (fr) * 2005-05-27 2007-08-24 Arkamys Sa Procede pour produire plus de deux signaux electriques temporels distincts a partir d'un premier et d'un deuxieme signal electrique temporel
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
DE102006050068B4 (de) 2006-10-24 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
US8064624B2 (en) * 2007-07-19 2011-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for generating a stereo signal with enhanced perceptual quality
WO2009039897A1 (en) 2007-09-26 2009-04-02 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
US8705769B2 (en) 2009-05-20 2014-04-22 Stmicroelectronics, Inc. Two-to-three channel upmix for center channel derivation
ES2950751T3 (es) * 2010-04-13 2023-10-13 Fraunhofer Ges Forschung Codificador de audio o vídeo, decodificador de audio o vídeo y métodos relacionados para procesar señales de audio o vídeo multicanal usando una dirección de predicción variable

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140105A2 (en) 2009-06-05 2010-12-09 Koninklijke Philips Electronics N.V. Processing of audio channels

Also Published As

Publication number Publication date
RU2601189C2 (ru) 2016-10-27
JP2014523174A (ja) 2014-09-08
CA2840132C (en) 2016-07-12
TR201906465T4 (tr) 2019-05-21
BR112013032824B1 (pt) 2021-03-09
HK1197959A1 (en) 2015-02-27
WO2013004697A1 (en) 2013-01-10
BR112013032824A2 (pt) 2017-01-31
PL2730102T3 (pl) 2016-02-29
EP2730102A1 (en) 2014-05-14
MX2013014723A (es) 2014-05-27
EP2730103B1 (en) 2019-04-17
WO2013004698A1 (en) 2013-01-10
PL2730103T3 (pl) 2019-10-31
EP2730103A1 (en) 2014-05-14
KR20140021055A (ko) 2014-02-19
US20140119545A1 (en) 2014-05-01
ES2552996T3 (es) 2015-12-03
ES2726801T3 (es) 2019-10-09
EP2730102B1 (en) 2015-09-09
CN103650538A (zh) 2014-03-19
JP5906312B2 (ja) 2016-04-20
AU2012280392B2 (en) 2015-07-02
CA2840132A1 (en) 2013-01-10
CN103650538B (zh) 2017-02-15
US9883307B2 (en) 2018-01-30
EP2544465A1 (en) 2013-01-09
AU2012280392A1 (en) 2014-01-16
EP2544466A1 (en) 2013-01-09
RU2014103797A (ru) 2015-08-10

Similar Documents

Publication Publication Date Title
KR101710544B1 (ko) 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치
JP5149968B2 (ja) スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法
JP6637014B2 (ja) 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法
JP5081838B2 (ja) オーディオ符号化及び復号
US8588427B2 (en) Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
US20120039477A1 (en) Audio signal synthesizing
KR20080078882A (ko) 입체 오디오 신호 디코딩
KR20120109627A (ko) 다운믹스 신호 및 공간 파라미트릭 정보로부터 다이렉트/앰비언스 신호를 추출하기 위한 장치 및 방법
EP2834813A1 (en) Multi-channel audio encoder and method for encoding a multi-channel audio signal
Kinoshita et al. Blind upmix of stereo music signals using multi-step linear prediction based reverberation extraction
US20220036911A1 (en) Apparatus, method or computer program for generating an output downmix representation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 4