KR101132485B1 - 오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법 - Google Patents

오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR101132485B1
KR101132485B1 KR1020067010706A KR20067010706A KR101132485B1 KR 101132485 B1 KR101132485 B1 KR 101132485B1 KR 1020067010706 A KR1020067010706 A KR 1020067010706A KR 20067010706 A KR20067010706 A KR 20067010706A KR 101132485 B1 KR101132485 B1 KR 101132485B1
Authority
KR
South Korea
Prior art keywords
mpeg
impulse responses
proto
room
parameter
Prior art date
Application number
KR1020067010706A
Other languages
English (en)
Other versions
KR20070037431A (ko
Inventor
져르겐 슈미디트
클라우스 엘리츠-그림
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20070037431A publication Critical patent/KR20070037431A/ko
Application granted granted Critical
Publication of KR101132485B1 publication Critical patent/KR101132485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/066—MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specifed by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/115—FIR impulse, e.g. for echoes or room acoustics, the shape of the impulse response is specified in particular according to delay times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

MPEG-4 표준에 적합한 룸 특성을 갖는 사운드 신호들의 재생을 위한, 실제의, 예를 들어, 측정된 룸 임펄스 응답들의 전송 및 사용은, 다중의 연속하는 제어 파라미터 필드들(15, 16, 17, 18), 특히 파라미터[128] 어레이에 임펄스 응답들을 삽입함으로써 가능하게 된다. 제1 제어 파라미터 필드(15)는 후속 필드들의 넘버 및 콘텐츠에 관한 정보를 포함한다. 사운드 신호들의 프리젠테이션을 위해서, 연속하는 제어 파라미터 필드들의 콘텐츠가 분리되어, 노드(12)의 추가 메모리에 저장되고, 룸 특성의 추정 동안 사용된다.
사운드 신호, 잔향, MPEG-4 표준, 제어 파라미터 필드, 임펄스 응답

Description

오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법{METHOD FOR CODING AND DECODING IMPULSE RESPONSES OF AUDIO SIGNALS}
본 발명은 오디오 신호의 임펄스 응답의 코딩 및 디코딩을 위한 방법 및 장치에 관한 것으로서, 특히, MPEG-4 오디오 표준에 따른 오디오 오브젝트로서 인코딩된 사운드 소스들의 프리젠테이션을 기술하기 위한 것이다.
자연적 잔향(natural reverberation) 또는 약자로 잔향은, 규정된(confined) 룸에서 표면으로부터의 반사들로부터 나오는 사운드의 점진적 감쇠 이펙트(effect)이다. 사운드 소스로부터 퍼져 나오는 사운드는 벽 표면들에 부딪치고, 이들로부터 다양한 각으로 반사된다. 이러한 반사들의 일부는 바로 감지되지만, 다른 반사들은 감지될 때까지 다른 표면들에 계속 반사된다. 단단하고 두꺼운 표면들은 사운드를 적당히 감쇄하여 반사하지만, 더 약한 표면들은 훨씬 더 많은 사운드, 특히, 고주파 성분들을 흡수한다. 룸 크기, 복잡성, 벽들의 각, 표면들의 성질, 룸 콘텐츠의 조합이 룸의 사운드 특성 및 이에 따른 잔향을 정의한다.
잔향은 시불변(time-invariant) 이펙트이기 때문에, 기록 또는 재생 동안 오디오 신호에 룸 임펄스 응답을 인가함으로써 생성될 수 있다. 룸 임펄스 응답은, 잔향 형태의 순간적인 전체-주파수의 사운드 버스트(burst)에 대한 룸의 응답으로 서 이해될 수 있고, 일반적으로 노이즈를 감쇠시키는 것으로 인식된다. 디지털화된(digitized) 룸 임펄스 응답이 사용가능하다면, 디지털 신호 처리는, 임의의 디지털화된 "드라이(dry)" 사운드에 정확한 룸 특성을 부가할 수 있다. 또한, 단지 상이한 룸 임펄스 응답들을 활용함으로써 오디오 신호를 상이한 공간들에 배치하는 것이 가능하다.
이러한 룸 특성을 갖는 사운드 신호들의 재생을 위해, 실제의, 예를 들어, 측정된 룸 임펄스 응답을 전송 및 사용하는 것이 최근 수년간 연구 및 개발의 목적이 되어 왔다. MPEG-4 오디오 및 시스템 표준 ISO/IEC 14496에서 정의된 바와 같은 MPEG-4의 사용에 있어서, 긴 임펄스 응답들을 전송하는 것이 다음과 같은 문제점들로 인해 어렵다는 것이 밝혀졌다.
1. 룸 임펄스 응답은 MPEG-4 '샘플 덤프들(dumps)'로서 MPEG-4 재생기로 로딩될 수 있고, 이는, 적절한 MIDI 및 SA 프로파일들을 갖는 MIDI를 포함하는 전체 구조화된 오디오(full Structured Audio;SA, MPEG-4 오디오 프로그래밍 언어)의 구현을 요구하는 기술이다. 이 솔루션은, 코드에 대한 매우 높은 요구성, 복잡성, 및 실행 전력을 가지며, 따라서 오늘날 MPEG-4 재생기에 대해 사용불가능하고, 이후의 장치들에서도 사용할 수 없을 것이다.
2. 특히 가상 현실 애플리케이션들에 대해 정의되는, 'DirectiveSound' 노드를 사용함으로써 합성 룸 임펄스 응답을 사용하도록 하는 것은, 이러한 파라메트릭(parametric) 합성 룸 임펄스 응답들이 실제 측정된 룸 임펄스 응답들과 상당히 다르고, 훨씬 더 적은 자연적 사운드를 갖는다는 단점을 갖는다.
3. 실제 룸 임펄스 응답의 전송 및 사용을 위해 특별히 설계된 새로운 노드를 부가하는 것은, 최선의 솔루션들 1. 및 2. 이외의 상술한 기존의 가능한 문제점들로 인해, 그리고 새로운 노드들의 도입이 가능한 회피되기 때문에 바람직하지 못하다.
4. 룸 임펄스 응답의 전송과 오디오 신호들 자체에 대해 동일한 코딩을 부여하는 것은 이치에 맞지 않는다. 일반적인 MPEG 오디오 인코딩 기법들은 사이코어코스틱(psychoacoustic) 현상의 이점을 취하고, 이 기법들은 특히 지각될 수 없는 오디오 신호 부분들을 억제함으로써 오디오 데이터 레이트를 감소시키기에 적합하다. 그러나, 룸 임펄스 응답들이 인간의 청각에 관련되지 않고, 룸의 특성에 관련되기 때문에, 룸 임펄스에 사이코어코스틱을 적용하는 것은 왜곡(falsification)을 가져온다.
본 발명은, 오디오 신호들의 임펄스 응답을 코딩하는 방법을 상세하는 것을 목적으로 하고, 이 방법은 MPEG-4 표준에 대한 호환성을 가지면서도, 상술한 문제점들을 극복하는 것이다. 이러한 목적은 청구항 1에 상세된 방법에 의해 달성된다.
본 발명은 다음 사실에 대한 인식에 기초한다. MPEG-4 시스템 표준에서, 소위 AudioFX 노드 및 AudioFXProto 솔루션은 오디오 이펙트들을 기술하기 위해 정의된다. AudioFX 노드에서 128 부동 소수점 값들의 어레이가 획득된다. 파라미터[128]로 불리는 AudioFXProto 솔루션은, 오디오 이펙트의 제어를 위한 파라미터들을 제공하는데 사용된다. 이들 파라미터는 이펙트의 기간 동안 고정되거나, 예를 들어, 페이딩(fading)과 같은 시간 의존적 이펙트들을 가능하게 하기 위해 매 프레임마다 갱신될 수 있다. 상세된 바와 같은 파라미터[128] 어레이의 사용은, 프레임당 소정 양의 제어 파라미터들의 전송으로 제한된다. 확장된 신호들의 전송은 128의 값으로 제한되기 때문에 불가능하고, 이는 광범위한 임펄스 응답을 위해서는 너무 제한된 것이다.
따라서, 오디오 신호들의 임펄스 응답을 코딩하는 본 발명에 따른 방법은, 사운드 소스의 임펄스 응답이 생성되고, 상기 생성된 임펄스 응답을 나타내는 파라미터들이 다중의 연속하는 제어 파라미터 필드들, 특히, 연속하는 파라미터[128] 어레이들에 삽입되고, 여기에서 제1 제어 파라미터 필드는 후속 필드들의 넘버 및 콘텐츠에 관한 정보를 포함하는 것으로서 구성된다.
또한, 본 발명은 오디오 신호들의 임펄스 응답을 디코딩하는 대응 방법을 상세하는 것을 목적으로 한다. 이러한 목적은 청구항 6에 상세된 방법에 의해 달성된다.
원리적으로, 오디오 신호들의 임펄스 응답을 디코딩하는 본 발명에 따른 방법은, 임펄스 응답들을 나타내는 파라미터들이 다중의 연속하는 제어 파라미터 필드들, 특히, 연속하는 파라미터[128] 어레이들로부터 분리되고, 여기에서 제1 제어 파라미터 필드는 후속 필드들의 넘버 및 콘텐츠에 관한 정보를 포함하는 것으로서 구성된다. 분리된 파라미터들은 노드의 추가 메모리에 저장되고, 저장된 파라미터들은 룸 특성의 추정(calculation) 동안 사용된다.
본 발명의 또 다른 유익한 실시예들은 종속 청구항들, 다음의 설명 및 도면으로부터 얻어진다.
본 발명의 예시적 실시예는 도 1에 기초해서 설명되고, 도 1은, 본 발명에 따른 연속하는 제어 파라미터 필드들을 사용해서 AudioFXProto 솔루션의 예시적 BIFS 씬(scene)을 개략적으로 도시한다.
도 1에 도시된 BIFS 씬은, MPEG-4 2진 스트림(1) 및 MPEG-4 디코더의 3개의 프로세싱층(2, 3, 4)을 도시한다. 역다중화/디코딩(Demux/Decode) 층(2)은, 각각의 오디오 디코더들(5, 6, 7), 예를 들어, G723 또는 AAC 디코더에 3개의 오디오 신호 스트림들을 공급함으로써 3개의 오디오 신호 스트림들을 디코딩하고, BIFS 디코더(8)를 사용함으로써 BIFS 스트림을 디코딩한다. 디코딩된 BIFS 스트림은 Audio BIFS 층(3)을 예시 및 구성하고, Audio BIFS 층(3)의 노드들, 및 그 위의 BIFS 층(4) 내에도 신호 처리를 위한 정보를 제공한다. 디코더들(5, 6, 7)로부터 나온 디코딩된 오디오 신호 스트림들은 오디오 소스(Audio Source) 노드들(9, 10, 11)에 대한 오디오 입력으로서 제공된다. 오디오 소스 노드(11)에서 나온 신호는, Sound2D 노드(14)를 통해 AudioMix 노드(13)에 의해 다운믹스된(downmixed) 신호들을 출력으로 공급하기 전에, AudioFXProto(12)에 룸 임펄스 응답을 적용시킴으로써 추가의 이펙트를 획득한다. 연속하는 블록들(15, 16, 17, 18)로서 도 1에서 표시되는 다중의 연속하는 파라미터[128] 필드들은, 완전한 룸 임펄스 응답의 전송을 위해 사용되고, 여기에서, 제1 블록(15)은 룸 임펄스 응답의 각 부분들을 포함하는 후속 파라미터[128] 필드들의 넘버와 같은 일반적인 정보를 포함한다. AudioFXProto의 구현에서, 완전한 룸 임펄스 응답은 신호 처리의 개시 전에 다시 모아져야만 한다.
이 MPEG-4 특정 실시예의 이해를 용이하게 하기 위해서, 본 발명의 실시예를 보다 상세하게 설명하기 전에, 다음에서는 관련 MPEG-4 상세들에 대해 간략하게 설명된다.
MPEG-4는 오디오 오브젝트들의 표현을 지원함으로써 광범위한 종류의 응용들을 용이하게 한다. 오디오 오브젝트들의 조합을 위해서, 추가의 정보 - 소위 씬 설명 - 는 공간 및 시간에서의 배치를 결정하고, 코딩된 오디오 오브젝트들과 함께 전송된다. 전송 후에, 오디오 오브젝트들은 개별적으로 디코딩되고, 이후에 청취자들에게 제공될 단일의 표현을 제공하기 위해서 씬 설명을 사용해서 합성된다.
효율성을 위해서, MPEG-4 시스템 표준 ISO/IEC 14496은, 2진 표현, 소위 장면용 이진 정보(BIFS;Binary Information for Scenes)의 씬 설명을 인코딩하는 방법을 정의한다. 이에 대응하여, 오디오 처리를 위해 결정된 BIFS의 서브셋은 소위 AudioBIFS이다. 씬 설명은 계층적으로 구조화되어, 그래프로 표현될 수 있고, 여기에서 그래프의 리프 노드(leaf-node)는 개별 오브젝트를 형성하고, 다른 노드들은 예를 들어, 위치 배치, 크기 결정, 이펙트들 등의 처리를 설명한다. 개별 오브젝트들의 형태 및 동작은 씬 설명 노드들내의 파라미터들을 사용하여 제어될 수 있다.
소위 AudioFX 노드는, 오디오 프로그래밍 언어 "구조화된 오디오(SA)"에 기 초해서 오디오 이펙트를 설명하기 위해 정의된다. 구조화된 오디오를 적용하는 것은, 높은 처리 전력을 요구하고, 구조화된 오디오 컴파일러(compiler) 또는 해석기를 필요로 하고, 이는 제품의 응용을 제한하고, 여기에서는 처리 전력 및 구현의 복잡성이 제한된다.
그러나, MPEG-4 시스템 표준에 정의된 Proto 메카니즘을 사용함으로써 간소화(simplification)가 달성될 수 있다. AudioFXProto 솔루션은 소비자 제품들에 대해 맞춰져서, 재생기들이 구조화된 오디오 기능 없이도 기본 오디오 이펙트들을 사용할 수 있도록 한다. PROTO는 AudioFX 노드를 캡슐화할 것이고, 이에 따라, 구조화된 오디오 기능을 갖는 개선된 MPEG-4 재생기들이 SA 토큰 스트림들을 바로 디코딩할 수 있게 된다. 더 간단한 소비자 재생기들은 이펙트들만을 식별하고, 사용가능하다면, 내부 이펙트 표현들로부터 이 이펙트들을 개시시킨다. AudioFXProto 솔루션의 일 필드는 파라미터[128] 필드이다. 이 필드는 보통 이펙트의 실시간 제어를 위한 파라미터들을 포함한다. 이제, 본 발명은 이 파라미터[128] 필드에 대해 다중의 연속하는 필드 갱신들을 사용하고, 이 파라미터[128] 필드는, 128의 부동 소수점 값보다 큰 길이를 갖는 복잡한 시스템 파라미터, 예를 들어, 룸 임펄스 응답들이 일 이펙트에서 사용가능하게 하기 위해서, 128의 부동 소수점 값(32 비트의 부동 소수점)의 데이터 블록 길이로 제한된다. 제1 파라미터[128] 필드는 후속 필드들의 넘버 및 콘텐츠에 관한 정보를 포함한다. 이는, 디폴트에 의해 단 하나의 파라미터[128] 필드로만 수행되는, 필드 갱신의 확장을 나타내는 것이다. 따라서, 임의의 길이의 데이터를 전송할 수 있다. 그 다음, 이들 데이터는 추가 메모리에 저장될 수 있고, 이펙트의 추정 동안 사용될 수 있다. 원리적으로, 전송된 데이터의 수를 가능한 작게 유지하기 위해서, 동작 동안 필드의 소정 부분만을 각각 대체 또는 수정할 수도 있다.
상세하게, MPEG-4 씬에 자연 룸 임펄스 응답을 적용시키기 위한 특정 AudioFXProto는 audioNaturalReverb로 불리며, 다음의 파라미터들을 포함한다.
제1 파라미터[ ] 필드:
Figure 112006038768428-pct00001
후속 파라미터[ ] 필드:
Figure 112006038768428-pct00002
audioNaturalReverb PROTO는 상이한 사운드 채널들의 임펄스 응답들을 사용하여, 잔향 효과를 생성한다. 이들 임펄스 응답은 매우 길 수 있기 때문에(대형 교회 또는 회관에서는 수 초일 수 있기 때문에), 하나의 파라미터[ ] 어레이는 완전한 데이터 세트를 전송하기에 충분하지 않다. 따라서, 대량의 연속하는 파라미터[ ] 어레이들이 다음 방식으로 사용된다.
파라미터[ ] 의 제1 블록은 다음의 파라미터[ ] 필드들에 관한 정보를 포함한다:
numParamsFields 필드는, 사용될 후속 파라미터[ ] 필드들의 넘버를 결정한다. NaturalReverb PROTO는 이 필드들을 저장하기 위한 충분한 메모리를 제공해야만 한다.
numImpResp는 임펄스 응답의 넘버를 정의한다.
reverbChannels 필드는 입력 채널들에 대한 임펄스 응답의 매핑(mapping)을 정의한다.
impulseResponseCoding 필드는 임펄스 응답이 어떻게 코딩될 지를 나타낸다(아래 표 참조).
Figure 112006038768428-pct00003
케이스 1은 희소(sparse) 임펄스 응답의 길이를 줄이기 위해 유용할 수 있다.
룸 임펄스 응답의 스케일러블(scalable) 전송을 가능하게 하기 위해서 추가 값들이 정의될 수 있다. 브로드캐스트 모드에서의 유익한 일 예에서는, 룸 임펄스 응답들의 단 버전(short version)들을 빈번하게 전송하여, 긴 시퀀스를 덜 빈번하게 전송할 수 있다. 또 다른 유익한 예는, 룸 임펄스 응답의 제1 부분을 빈번하게 전송하고, 룸 임펄스 응답의 이후(later) 부분들을 덜 빈번하게 전송하는 인터리브 모드(interleaved mode)이다.
필드들은 제1 파라미터[ ] 어레이를 다음과 같이 매핑할 수 있다:
Figure 112006038768428-pct00004
Figure 112006038768428-pct00005
후속 파라미터[ ] 필드들은 다음과 같이 numImpResp 연속하는 임펄스 응답들을 포함한다:
impulseResponseLength는 후속하는 impulseResponse의 길이를 제공한다.
impulseResponseLength 및 impulseResponse는 numImpResp 번만큼 반복된다.
필드들은 다음과 같이 후속 파라미터[ ] 어레이들에 매핑될 것이다:
Figure 112006038768428-pct00006
특정 파라미터들에 따른 잔향을 계산하기 위해서, 상이한 방법들이 적용될 수 있으며, 이에 따라 잔향 사운드 신호가 출력되게 된다.
본 발명은, MPEG-4 표준에서의 제어 파라미터 길이 제한을 극복하는 것에 근거하여, 사운드 신호들의 재생 동안 광범위한 룸 임펄스 응답들의 전송 및 사용을 가능하게 한다. 그러나, 본 발명은, 유사한 제한들을 갖는 MPEG-4 표준의 다른 시스템들 또는 다른 함수들에 적용될 수 있다.

Claims (11)

  1. 오디오 신호들의 임펄스 응답들을 코딩하는 방법으로서 - 상기 임펄스 응답들은 특정의 룸 특성(a certain room characteristic)에 따른 사운드 신호들의 재생(reproduction)을 가능하게 함 -
    하나 이상의 임펄스 응답들의 전송을 위해 MPEG-4 BIFS 스트림의 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들을 이용하는 단계를 포함하며,
    상기 이용하는 단계는,
    후속 MPEG-4 PROTO 파라미터 필드들(following MPEG-4 PROTO params fields)에 관한 정보를, 상기 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들 중 제1 MPEG-4 PROTO 파라미터 필드에 삽입하는 단계 - 상기 정보는 이용될 상기 후속 MPEG-4 PROTO 파라미터 필드들의 넘버, 및 전송될 임펄스 응답들의 넘버를 포함함 -; 및
    상기 임펄스 응답의 길이 정보 및 상기 임펄스 응답을 나타내는 샘플들을, 상기 임펄스 응답들 각각에 대한 상기 후속 MPEG-4 PROTO 파라미터 필드들에 삽입하는 단계를 포함하는
    코딩 방법.
  2. 삭제
  3. 제1항에 있어서, 룸 임펄스 응답들의 스케일러블(scalable) 전송이 인에이블되는 코딩 방법.
  4. 제3항에 있어서, 브로드캐스트 모드에서, 룸 임펄스 응답들의 단 버전(short version)들은, 긴 시퀀스(a long sequence)가 전송되는 것보다 더 빈번하게 전송되는 코딩 방법.
  5. 제3항에 있어서, 인터리브 모드(an interleaved mode)에서, 룸 임펄스 응답들의 제1 부분은, 룸 임펄스 응답들의 이후(later) 부분이 전송되는 것보다 더 빈번하게 전송되는 코딩 방법.
  6. 오디오 신호들의 임펄스 응답들을 디코딩하는 방법으로서 - 상기 임펄스 응답들은 특정의 룸 특성에 따른 사운드 신호들의 재생을 가능하게 함 -,
    MPEG-4 BIFS 스트림의 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들 내의 하나 이상의 임펄스 응답들을 수신하는 단계 - 상기 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들 중 제1 MPEG-4 PROTO 파라미터 필드는 후속 MPEG-4 RROTO 파라미터 필드들에 관한 정보를 포함하고, 상기 정보는 이용된 상기 후속 MPEG-4 PROTO 파라미터 필드들의 넘버, 및 전송된 임펄스 응답들의 넘버를 포함하며, 상기 후속 MPEG-4 PROTO 파라미터 필드들은 상기 임펄스 응답들 각각에 대해 상기 임펄스 응답의 길이 정보 및 상기 임펄스 응답을 나타내는 샘플들을 포함함 -;
    상기 제1 MPEG-4 PROTO 파라미터 필드에서의 상기 정보, 및 상기 후속 MPEG-4 PROTO 파라미터 필드들에서의 상기 길이 정보에 기초하여 상기 하나 이상의 임펄스 응답들을 나타내는 상기 샘플들을 상기 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들로부터 분리시키는 단계;
    상기 룸 특성에 따른 잔향 효과(a reverberation effect)의 계산을 위해 상기 분리된 샘플들이 나타내는 상기 하나 이상의 임펄스 응답들을 이용하는 단계
    를 포함하는 디코딩 방법.
  7. 삭제
  8. 제6항에 있어서, 룸 임펄스 응답들의 스케일러블 전송에 후속하여, 상기 룸 임펄스 응답들이 수신되는 디코딩 방법.
  9. 제8항에 있어서, 브로드캐스트 모드에서, 상기 룸 임펄스 응답들의 단 버전들은, 긴 시퀀스가 수신되는 것보다 더 빈번하게 수신되는 디코딩 방법.
  10. 제8항에 있어서, 인터리브 모드에서, 상기 룸 임펄스 응답들의 제1 부분은, 상기 룸 임펄스 응답들의 이후 부분이 수신되는 것보다 더 빈번하게 수신되는 디코딩 방법.
  11. 오디오 신호들의 임펄스 응답들을 코딩하는 장치로서 - 상기 임펄스 응답들은 특정의 룸 특성에 따른 사운드 신호들의 재생을 가능하게 함 - ,
    코딩된 오디오 신호와 연관된 하나 이상의 임펄스 응답들의 전송을 위해 MPEG-4 BIFS 스트림의 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들을 인코딩하는 MPEG-4 인코더를 포함하며,
    상기 MPEG-4 인코더는,
    후속 MPEG-4 PROTO 파라미터 필드들에 관한 정보를, 상기 다중의 연속하는 MPEG-4 PROTO 파라미터 필드들 중 제1 MPEG-4 PROTO 파라미터 필드에 삽입하고 - 상기 정보는 이용될 상기 후속 MPEG-4 PROTO 파라미터 필드들의 넘버, 및 전송될 임펄스 응답들의 넘버를 포함함 -; 및
    상기 임펄스 응답들의 길이 정보 및 상기 임펄스 응답들을 나타내는 샘플들을, 상기 임펄스 응답들 각각에 대한 상기 후속 MPEG-4 PROTO 파라미터 필드들에 삽입하는, 코딩 장치.
KR1020067010706A 2003-12-02 2004-11-18 오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법 KR101132485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03027638.0 2003-12-02
EP03027638 2003-12-02
PCT/EP2004/013123 WO2005055193A1 (en) 2003-12-02 2004-11-18 Method for coding and decoding impulse responses of audio signals

Publications (2)

Publication Number Publication Date
KR20070037431A KR20070037431A (ko) 2007-04-04
KR101132485B1 true KR101132485B1 (ko) 2012-03-30

Family

ID=34639271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067010706A KR101132485B1 (ko) 2003-12-02 2004-11-18 오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법

Country Status (8)

Country Link
US (1) US7894610B2 (ko)
EP (1) EP1690251B1 (ko)
JP (1) JP4813365B2 (ko)
KR (1) KR101132485B1 (ko)
CN (1) CN1886781B (ko)
BR (1) BRPI0416577A (ko)
TW (1) TWI350476B (ko)
WO (1) WO2005055193A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002716B2 (en) * 2002-12-02 2015-04-07 Thomson Licensing Method for describing the composition of audio signals
TWI335146B (en) * 2005-10-31 2010-12-21 Sk Telecom Co Ltd Audio data packet format, method for decoding audio data packet format, method for correcting codec setup error, and mobile communication terminal adapted to correct codec setup error
WO2019078034A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN111164673B (zh) 2017-10-20 2023-11-21 索尼公司 信号处理装置、方法和程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343131B1 (en) 1997-10-20 2002-01-29 Nokia Oyj Method and a system for processing a virtual acoustic environment
US6959096B2 (en) 2000-11-22 2005-10-25 Technische Universiteit Delft Sound reproduction system
US7158843B2 (en) 2000-06-30 2007-01-02 Akya Holdings Limited Modular software definable pre-amplifier

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63289597A (ja) * 1988-03-11 1988-11-28 ソニー株式会社 残響付加装置
JP3033357B2 (ja) * 1992-09-08 2000-04-17 ヤマハ株式会社 効果付与装置
DE69526926T2 (de) * 1994-02-01 2003-01-02 Qualcomm Inc Lineare vorhersage durch impulsanregung
CN1179226A (zh) * 1995-03-22 1998-04-15 艾利森电话股份有限公司 基于合成的分析的线性预测语音编码器
US5751901A (en) * 1996-07-31 1998-05-12 Qualcomm Incorporated Method for searching an excitation codebook in a code excited linear prediction (CELP) coder
US6833840B2 (en) * 2000-02-14 2004-12-21 Optibase Ltd PROTO implementation in MPEG-4
US20030169887A1 (en) * 2002-03-11 2003-09-11 Yamaha Corporation Reverberation generating apparatus with bi-stage convolution of impulse response waveform
JP4019753B2 (ja) * 2002-03-12 2007-12-12 ヤマハ株式会社 残響付与装置、残響付与方法、プログラムおよび記録媒体
JP4263869B2 (ja) * 2002-03-11 2009-05-13 ヤマハ株式会社 残響付与装置、残響付与方法、プログラムおよび記録媒体
JP4055054B2 (ja) * 2002-05-15 2008-03-05 ソニー株式会社 音響処理装置
JP2005157278A (ja) * 2003-08-26 2005-06-16 Victor Co Of Japan Ltd 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343131B1 (en) 1997-10-20 2002-01-29 Nokia Oyj Method and a system for processing a virtual acoustic environment
US7158843B2 (en) 2000-06-30 2007-01-02 Akya Holdings Limited Modular software definable pre-amplifier
US6959096B2 (en) 2000-11-22 2005-10-25 Technische Universiteit Delft Sound reproduction system

Also Published As

Publication number Publication date
CN1886781B (zh) 2011-05-04
US7894610B2 (en) 2011-02-22
US20070140501A1 (en) 2007-06-21
WO2005055193A1 (en) 2005-06-16
JP4813365B2 (ja) 2011-11-09
KR20070037431A (ko) 2007-04-04
CN1886781A (zh) 2006-12-27
BRPI0416577A (pt) 2007-01-30
EP1690251A1 (en) 2006-08-16
JP2007513370A (ja) 2007-05-24
TWI350476B (en) 2011-10-11
TW200525416A (en) 2005-08-01
EP1690251B1 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
JP6879979B2 (ja) オーディオ信号を処理するための方法、信号処理ユニット、バイノーラルレンダラ、オーディオエンコーダおよびオーディオデコーダ
US10334380B2 (en) Binaural audio processing
KR100924576B1 (ko) 바이노럴 큐 코딩 방법 등을 위한 개별 채널 시간 엔벌로프정형
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
WO2015056383A1 (ja) オーディオエンコード装置及びオーディオデコード装置
US9570082B2 (en) Method, medium, and apparatus encoding and/or decoding multichannel audio signals
US11200906B2 (en) Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information
WO2008039045A1 (en) Apparatus for processing mix signal and method thereof
KR20090104674A (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US20070297624A1 (en) Digital audio encoding
KR101132485B1 (ko) 오디오 신호의 임펄스 응답의 코딩 및 디코딩 방법
RU2383941C2 (ru) Способ и устройство для кодирования и декодирования аудиосигналов
KR100891667B1 (ko) 믹스 신호의 처리 방법 및 장치
KR20050121412A (ko) 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어컨텐츠 부호화 장치 및 복호화 장치
KR100891670B1 (ko) 신호 처리 방법 및 장치
KR20080050229A (ko) 믹스신호 제어 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee