KR101065704B1 - 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치 - Google Patents

오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR101065704B1
KR101065704B1 KR1020087026605A KR20087026605A KR101065704B1 KR 101065704 B1 KR101065704 B1 KR 101065704B1 KR 1020087026605 A KR1020087026605 A KR 1020087026605A KR 20087026605 A KR20087026605 A KR 20087026605A KR 101065704 B1 KR101065704 B1 KR 101065704B1
Authority
KR
South Korea
Prior art keywords
signal
information
downmix signal
downmix
channel
Prior art date
Application number
KR1020087026605A
Other languages
English (en)
Other versions
KR20090009842A (ko
Inventor
윤성용
방희석
이현국
김동수
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090009842A publication Critical patent/KR20090009842A/ko
Application granted granted Critical
Publication of KR101065704B1 publication Critical patent/KR101065704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

음상이 각 오브젝트 오디오 신호에 있어서 소정의 위치에 위치될 수 있도록, 오디오 신호가 인코딩 또는 디코딩될 수 있는 오디오 인코딩 방법 및 장치 그리고 오디오 디코딩 방법 및 장치가 제공된다. 상기 오디오 디코딩 방법은, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 단계; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 채널 기반 부가정보를 생성하는 단계; 디코릴레이트 된 채널 신호를 이용하여 상기 다운믹스 신호를 처리하는 단계; 및 상기 채널 기반 부가정보 및 상기 처리된 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계를 포함한다.

Description

오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치{METHODS AND APPARATUSES FOR ENCODING AND DECODING OBJECT-BASED AUDIO SIGNALS}
본 발명은 음상(sound image)이 각 오브젝트 오디오 신호에 있어서 소정의 위치에 위치될 수 있는 오디오 인코딩 방법 및 장치 그리고 오디오 디코딩 방법 및 장치에 관한 것이다.
일반적으로, 멀티채널 오디오 인코딩(multi-channel audio encoding) 및 디코딩(decoding) 기술에 있어서, 멀티채널 신호의 다채널 신호들은 더 작은 수의 채널 신호들로 다운믹스(downmix)되고, 원 채널 신호(original channel signal)들에 관한 부가정보(side information)가 전송되며, 원 멀티채널 신호와 동일한 정도의 다채널들을 갖는 멀티채널 신호로 복원된다.
오브젝트 기반 오디오 인코딩 및 디코딩 기술은, 수개의 음원(sound source)들을 더 작은 수의 음원 신호들로 다운믹스하고 원래 음원에 관한 부가정보를 전송하는 점에서, 멀티채널 오디오 인코딩 및 디코딩 기술과 기본적으로 유사하다. 그러나, 오브젝트 기반 오디오 인코딩 및 디코딩 기술에 있어서, 채널 신호의 기본적인 성분들(예컨대, 악기 또는 사람 목소리의 소리)인 오브젝트 신호는, 멀티채널 오디오 인코딩 및 디코딩 기술의 채널 신호와 동일하게 취급되어 코딩될 수 있다.
즉, 오브젝트 기반 오디오 인코딩 및 디코딩 기술의 경우, 각 오브젝트 신호는 코딩될 개체로서 간주된다. 이와 관련하여, 멀티채널 오디오 코딩 동작이 코딩될 채널 신호의 성분들의 수와 상관없이 채널간 정보(inter-channel information)에 기초하여 간단히 실행된다는 점에서, 오브젝트 기반 오디오 인코딩 및 디코딩 기술은 멀티채널 오디오 인코딩 및 디코딩 기술과 다르다.
기술적 문제
본 발명은 각 오브젝트 오디오 신호에 대하여 소정의 위치에 음상이 위치될 수 있도록 오디오 신호들이 인코딩되거나 디코딩되는 오디오 인코딩 방법 및 장치 그리고 오디오 디코딩 방법 및 장치를 제공한다.
기술적 해결책
본 발명의 일태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 단계; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 채널 기반 부가정보를 생성하는 단계; 디코릴레이트 된 채널 신호를 이용하여 상기 다운믹스 신호를 처리하는 단계; 및 상기 처리된 다운믹스 신호 및 상기 채널 기반 부가정보를 이용하여 멀티채널 오디오 신호를 생성하는 단계를 포함한 오디오 디코딩 방법이 제공된다.
본 발명의 다른 태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 디멀티플렉서(demultiplexer); 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 채널 기반 부가정보를 생성하는 파라미터 컨버팅부; 상기 다운믹스 신호가 스테레오 다운믹스 신호인 경우, 디코릴레이트 된 다운믹스 신호에 의해 상기 다운믹스 신호를 수정하는 다운믹스 프로세싱부; 및 상기 다운믹스 프로세싱부 및 상기 채널 기반 부가정보에 의해 얻은 수정된 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 멀티채널 디코딩부를 포함한 오디오 디코딩 장치가 제공된다.
본 발명의 또 다른 태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 단계; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 하나 이상의 프로세싱 파라미터 및 채널 기반 부가정보를 생성하는 단계; 상기 채널 기반 부가정보 및 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계; 및 상기 프로세싱 파라미터를 이용하여 상기 멀티채널 오디오 신호를 수정하는 단계를 포함한 오디오 디코딩 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 디멀티플렉서; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 하나 이상의 프로세싱 파라미터 및 채널 기반 부가정보를 생성하는 파라미터 컨버팅부; 상기 채널 기반 부가정보 및 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 멀티채널 디코딩부; 및 상기 프로세싱 파라미터를 이용하여 상기 멀티채널 오디오 신호를 수정하는 채널 프로세싱부를 포함한 오디오 디코딩 장치가 제공된다.
본 발명의 또 다른 태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 단계; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 채널 기반 부가정보를 생성하는 단계; 디코릴레이트 된 채널 신호를 이용하여 상기 다운믹스 신호를 처리하는 단계; 및 상기 채널 기반 부가정보 및 스와핑(swapping)에 의해 얻은 상기 처리된 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계를 포함한 오디오 디코딩 방법을 기록한 컴퓨터가 읽을 수 있는 기록 매체가 제공된다.
본 발명의 또 다른 태양에 따르면, 오디오 신호로부터 오브젝트 기반 부가정보 및 다운믹스 신호를 추출하는 단계; 상기 다운믹스 신호를 렌더링하기 위한 제어 정보 및 오브젝트 기반 부가정보에 기초하여 하나 이상의 프로세싱 파라미터 및 채널 기반 부가 정보를 생성하는 단계; 상기 채널 기반 부가정보 및 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계; 및 상기 프로세싱 파라미터를 이용하여 상기 멀티채널 오디오 신호를 수정하는 단계를 포함한 오디오 디코딩 방법을 기록한 컴퓨터가 읽을 수 있는 기록 매체가 제공된다.
이로운 효과
각 오브젝트 오디오 신호에 대하여 소정의 위치에 음상들이 위치될 수 있도록 오디오 신호들이 인코딩되거나 디코딩될 수 있는 오디오 인코딩 방법 및 장치 그리고 오디오 디코딩 방법 및 장치가 제공된다.
본 발명은 하기의 상세한 설명 및 첨부된 도면으로부터 더 완전히 이해될 것이며, 하기 상세한 설명 및 도면은 예시적이며 이에 의해 본 발명이 제한되는 것은 아니다.
도 1은 일반적인 오브젝트 기반 오디오 인코딩/디코딩 시스템의 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 3은 본 발명의 제 2 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 4는 서로 독립된 진폭 차이 및 시간 차이의 음상의 정위(localization)에의 영향을 설명하기 위한 그래프이다.
도 5는 미리 정해진 위치에 음상들을 위치시키는데 요구되는 진폭 차이 및 시간 차이 간의 대응(correspondance)에 관한 함수의 그래프이다.
도 6은 조화 정보를 포함하는 제어 데이터의 포맷을 도시한 도면이다.
도 7은 본 발명의 제 3 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 8은 도 7에 도시된 상기 오디오 디코딩 장치에 이용될 수 있는 아티스틱 다운믹스 게인(ADG; artistic downmix gain)의 블록도이다.
도 9는 본 발명의 제 4 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 10은 본 발명의 제 5 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 11은 본 발명의 제 6 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 12는 본 발명의 제 7 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 13는 본 발명의 제 8 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 14는 도 13에 도시된 상기 오디오 디코딩 장치에 의한 프레임에의 3차 원(3D) 정보의 적용을 설명하기 위한 도식이다.
도 15는 본 발명의 제 9 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 16은 본 발명의 제 10 실시예에 따른 오디오 디코딩 장치의 블록도이다.
도 17 내지 19는 본 발명의 일실시예에 따른 오디오 디코딩 방법을 설명하기 위한 도식이다.
도 20은 본 발명의 일실시예에 따른 오디오 인코딩 장치의 블록도이다.
상기 발명을 실행하기 위한 최적의 모드
이하에서는, 본 발명의 예시적인 실시예들이 도시된 첨부된 도면을 참조하여, 본 발명을 상세히 개시한다.
본 발명에 따른 오디오 인코딩 방법 및 장치 그리고 오디오 디코딩 방법 및 장치는 오브젝트 기반 오디오 처리 동작에 적용될 수 있으나, 본 발명은 이에 한정되지 않는다. 다시 말해서, 상기 오디오 인코딩 방법 및 장치 그리고 상기 오디오 디코딩 방법 및 장치는 오브젝트 기반 오디오 처리 동작 외에도 수많은 신호 처리 동작들에 적용될 수 있다.
도 1은 일반적인 오브젝트 기반 오디오 인코딩/디코딩 시스템의 블록도이다. 일반적으로, 오브젝트 기반 오디오 인코딩 장치에 입력된 오디오 신호들은 멀티채널 신호의 채널들과 일치하지 않으나 독립된 오브젝트 신호들이다. 이와 관련하여, 오브젝트 기반 오디오 인코딩 장치는 멀티채널 신호의 채널 신호들이 입력되는 멀티채널 오디오 인코딩 장치와 구별된다.
예컨대, 5.1 채널 신호의 프론트 레프트(front left) 채널 신호 및 프론트 라이트(front right) 채널 신호와 같은 채널 신호들은 멀티채널 오디오 신호로 입력될 수 있는 반면, 채널 신호들보다 더 작은 개체(entity)인 사람 목소리 또는 악기의 소리(바이올린 또는 피아노의 소리)와 같은 오브젝트 오디오 신호들은 오브젝트 기반 오디오 인코딩 장치에 입력될 수 있다.
도 1을 참조하면, 오브젝트 기반 오디오 인코딩/디코딩 시스템은 오브젝트 기반 오디오 인코딩 장치 및 오브젝트 기반 오디오 디코딩 장치를 포함한다. 상기 오브젝트 기반 오디오 인코딩 장치는 오브젝트 인코딩부(100)를 포함하고, 상기 오브젝트 기반 오디오 디코딩 장치는 오브젝트 디코딩부(111) 및 렌더링부(renderer, 113)를 포함한다.
상기 오브젝트 인코딩부(100)는 N개의 오브젝트 오디오 신호들을 수신하고, 에너지 차이, 위상 차이 및 상관값(correlation value)과 같은 상기 N개의 오브젝트 오디오 신호들로부터 추출된 많은 수의 정보를 포함한 부가정보 및 하나 이상의 채널들을 갖는 오브젝트 기반 다운믹스 신호를 생성한다. 상기 부가정보 및 상기 오브젝트 기반 다운믹스 신호는 하나의 비트스트림으로 통합되고, 상기 비트스트림은 상기 오브젝트 기반 디코딩 장치에 전송된다.
상기 부가정보는 채널 기반 오디오 코딩을 실행하는지 오브젝트 기반 오디오 코딩을 실행하는지를 나타내는 플래그를 포함할 수 있어 상기 부가정보의 상기 플래그에 기초하여 오브젝트 기반 오디오 코딩을 실행하는지 채널 기반 오디오 코딩을 실행하는지가 결정될 수 있다. 상기 부가정보는 오브젝트 신호에 관한 엔벨로프 정보(envelope information), 그룹핑 정보(grouping information), 무음 기간 정보(silent period information) 및 지연 정보(delay information)도 포함할 수 있다. 상기 부가정보는 오브젝트 레벨 차이 정보(object level differences information), 오브젝트 간 상호 상관 정보(inter-object cross correlation information), 다운믹스 이득 정보, 다운믹스 채널 레벨 차이 정보 및 절대적 오브젝트 에너지 정보를 포함할 수도 있다.
상기 오브젝트 디코딩부(111)는 상기 오브젝트 기반 오디오 인코딩 장치로부터 상기 부가정보 및 상기 오브젝트 기반 다운믹스 신호를 수신하고, 상기 오브젝트 기반 다운믹스 신호 및 상기 부가정보에 기초하여 상기 N개의 오브젝트 오디오 신호들의 특성과 동일한 특성을 갖는 오브젝트 신호들을 복원시킨다. 상기 오브젝트 디코딩부(111)에 의해 생성된 상기 오브젝트 신호들은 멀티채널 공간 내의 소정의 위치에 아직 할당되지 않는다. 따라서, 상기 렌더링부(113)는 상기 오브젝트 디코딩부(111)에 의해 생성된 상기 오브젝트 신호들 각각을 멀티채널 공간 내의 미리 정해진 위치에 할당하고, 상기 오브젝트 신호들의 레벨들을 결정하여 상기 렌더링부(113)에 의해 지정된 각각의 대응하는 위치로부터 상기 오브젝트 신호들이 상기 렌더링부(113)에 의해 결정된 각각의 대응하는 레벨들로 재생되도록 한다. 상기 오브젝트 디코딩부(111)에 의해 생성된 상기 오브젝트 신호들 각각에 관한 제어 정보는 오버 타임(over time)을 바꿀 수 있으므로, 상기 오브젝트 디코딩부(111)에 의해 생성된 상기 오브젝트 신호들의 레벨들 및 상기 공간 위치들은 상기 제어 정보에 따라 바뀔 수 있다.
도 2는 본 발명의 제 1 실시예에 따른 오디오 디코딩 장치(120)의 블록도이다. 도 2를 참조하면, 상기 오디오 디코딩 장치(120)는 오브젝트 디코딩부(121), 렌더링부(123) 및 파라미터 컨버팅부(125)를 포함한다. 상기 오디오 디코딩 장치(120)는 입력된 비트스트림으로부터의 부가정보 및 다운믹스 신호를 추출하는 디멀티플렉서(demultiplexer)(도시되지 않음)를 포함할 수도 있고, 이는 본 발명의 다른 실시예들에 따른 모든 오디오 디코딩 장치들에 적용될 것이다.
상기 오브젝트 디코딩부(121)는 상기 파라미터 컨버팅부(125)에 의해 제공된 수정된(modified) 부가정보 및 다운믹스 신호에 기초하여 많은 오브젝트 신호들을 생성한다. 상기 렌더링부(123)는 멀티채널 공간 내의 미리 정해진 위치에 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들 각각을 할당하고, 제어 정보에 따라 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들의 레벨들을 결정한다. 상기 파라미터 컨버팅부(125)는 상기 부가정보와 상기 제어 정보를 결합시킴으로써 상기 수정된 부가정보를 생성한다. 이어서, 상기 파라미터 컨버팅부(125)는 상기 수정된 부가정보를 상기 오브젝트 디코딩부(121)에 전송한다.
상기 오브젝트 디코딩부(121)는 상기 수정된 부가정보 내의 상기 제어 정보를 분석함으로써 적절한 디코딩을 실행할 수 있다.
예컨대, 제 1 오브젝트 신호 및 제 2 오브젝트 신호가 멀티채널 공간 내의 동일한 위치에 할당되고 같은 레벨을 갖는다는 것을 상기 제어 정보가 가리킨다면, 일반적인 오디오 디코딩 장치는 상기 제 1 및 제 2 오브젝트 신호들을 개별적으로 디코딩할 수 있고, 이어서 믹싱/렌더링 동작을 통해 멀티채널 공간 내에 이들을 배 치할 수 있다.
반면, 상기 오디오 디코딩 장치(120)의 상기 오브젝트 디코딩부(121)는 상기 수정된 부가정보 내의 상기 제어 정보로부터, 상기 제 1 및 제 2 오브젝트 신호들이 멀티채널 공간 내의 동일한 위치에 할당되고, 이들이 하나의 음원인 것처럼 동일한 레벨을 갖는다는 것을 알 수 있다. 따라서, 상기 오브젝트 디코딩부(121)는 상기 제 1 및 제 2 오브젝트 신호들을 개별적으로 디코딩하지 않고 하나의 음원으로 취급하여 이들을 디코딩한다. 결과적으로, 디코딩의 복잡도는 감소한다. 게다가, 처리될 필요가 있는 음원수의 감소로 인해, 믹싱/렌더링의 복잡도도 감소한다.
복수의 오브젝트 신호들은 동일한 공간 위치에 거의 할당되지 않기 때문에, 상기 오디오 디코딩 장치(120)는 오브젝트 신호들의 수가 출력 채널의 수보다 많은 상황에서 유용하게 이용될 수 있다.
또한, 상기 오디오 디코딩 장치(120)는 상기 제 1 오브젝트 신호 및 상기 제 2 오브젝트 신호가 멀티채널 공간 내의 동일한 위치에 할당되지만 다른 레벨을 갖는 상황에서 이용될 수 있다. 이 경우에, 상기 오디오 디코딩 장치(120)는 상기 제 1 및 제 2 오브젝트 신호들을 개별적으로 디코딩하여 상기 디코딩된 제 1 및 제 2 오브젝트 신호들을 상기 렌더링부(123)에 전송하는 대신에, 상기 제 1 및 제 2 오브젝트 신호들을 하나로 취급하여 상기 제 1 및 제 2 오브젝트 신호들을 디코딩한다. 더 상세하게는, 상기 오브젝트 디코딩부(121)는 상기 수정된 부가정보 내의 제어 정보로부터 상기 제 1 및 제 2 오브젝트 신호들의 레벨 간의 차이에 관한 정보를 획득할 수 있고, 상기 획득된 정보에 기초하여 상기 제 1 및 제 2 오브젝트 신 호들을 디코딩할 수 있다. 결과적으로, 상기 제 1 및 제 2 오브젝트 신호들이 다른 레벨을 가질지라도, 상기 제 1 및 제 2 오브젝트 신호들은 하나의 음원인 것처럼 디코딩될 수 있다.
또한, 상기 오브젝트 디코딩부(121)는 상기 제어 정보에 따라 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들의 레벨들을 조절할 수 있다. 이어서, 상기 오브젝트 디코딩부(121)는 레벨이 조절된 상기 오브젝트 신호들을 디코딩할 수 있다. 따라서, 상기 렌더링부(123)는 상기 오브젝트 디코딩부(121)에 의해 공급된 상기 디코딩된 오브젝트 신호들의 레벨을 조절할 필요는 없으나, 상기 오브젝트 디코딩부(121)에 의해 공급된 상기 디코딩된 오브젝트 신호들을 멀티채널 공간 내에 단순히 배치한다. 요컨대, 상기 오브젝트 디코딩부(121)가 상기 제어 정보에 따라 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들의 레벨을 조절하기 때문에, 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들의 레벨을 추가적으로 조절할 필요없이 상기 렌더링부(123)는 멀티채널 공간 내에 상기 오브젝트 디코딩부(121)에 의해 생성된 상기 오브젝트 신호들을 쉽게 배치할 수 있다. 그러므로, 믹싱/렌더링의 복잡도를 감소시키는 것이 가능하다.
도 2의 실시예에 따르면, 상기 오디오 디코딩 장치(120)의 오브젝트 디코딩부는 상기 제어 정보의 분석을 통해 디코딩 동작을 적절하게 실행할 수 있어 디코딩의 복잡도 및 믹싱/렌더링의 복잡도를 감소시킬 수 있다. 상기 오디오 디코딩 장치(120)에 의해 실행된 상술한 방법들의 조합이 이용될 수 있다.
도 3은 본 발명의 제 2 실시예에 따른 오디오 디코딩 장치(130)의 블록도이 다. 도 3을 참조하면, 상기 오디오 디코딩 장치(130)는 오브젝트 디코딩부(131) 및 렌더링부(133)를 포함한다. 상기 오디오 디코딩 장치(130)는 부가정보를 상기 오브젝트 디코딩부(131)뿐만 아니라 상기 렌더링부(133)에 공급하는 특징을 갖는다.
상기 오디오 디코딩 장치(130)는 무음 기간에 상응하는 오브젝트 신호가 있는 경우에도 디코딩 동작을 효과적으로 실행할 수 있다. 예컨대, 제 2 내지 제 4 오브젝트 신호들은 악기가 연주되는 동안의 음악 연주 기간에 대응할 수 있고, 상기 제 1 오브젝트 신호는 반주가 연주되는 동안의 무음 기간에 대응할 수 있다. 이 경우에, 복수의 오브젝트 신호들 중 어느 것이 무음 기간에 대응하는 지를 나타내는 정보가 부가정보에 포함될 수 있고, 상기 부가정보는 상기 오브젝트 디코딩부(131)뿐만 아니라 상기 렌더링부(133)에 공급될 수 있다.
상기 오브젝트 디코딩부(131)는 무음 기간에 대응하는 오브젝트 신호를 디코딩하지 않음으로써 디코딩의 복잡도를 최소화할 수 있다. 상기 오브젝트 디코딩부(131)는 0 값에 대응하는 오브젝트 신호를 설정하고 상기 오브젝트 신호의 레벨을 상기 렌더링부(133)에 전송한다. 일반적으로, 0 값을 갖는 오브젝트 신호들은 0이 아닌 값을 갖는 오브젝트 신호들로 동일하게 취급되어 믹싱/렌더링 동작이 행해지는 수가 있다.
반면에, 상기 오디오 디코딩 장치(130)는 복수의 오브젝트 신호들 중 어느 것이 무음 기간에 상응하는 지를 나타내는 정보를 포함하는 부가정보를 상기 렌더링부(133)에 전송하며, 따라서 무음 기간에 대응하는 오브젝트 신호가 상기 렌더링부(133)에 의해 실행되는 믹싱/렌더링 동작이 행해지는 것을 막을 수 있다. 그러므 로, 상기 오디오 디코딩 장치(130)는 믹싱/렌더링의 복잡도의 불필요한 증가를 막을 수 있다.
상기 렌더링부(133)는 스테레오 장면(stereo scene)에 각 오브젝트 신호의 음상을 위치시키기 위해 제어 정보 내에 포함된 믹싱 파라미터 정보를 이용할 수 있다. 상기 믹싱 파라미터 정보는 오직 진폭 정보를 포함하거나 진폭 정보와 시간 정보를 모두 포함할 수 있다. 상기 믹싱 파라미터 정보는 스테레오 음상의 정위(localization)뿐만 아니라 이용자에 의한 공간 음질의 심리음향 인지에 영향을 미칠 수 있다.
예컨대, 시간 패닝 방법(time panning method) 및 진폭 패닝 방법(amplitude panning method) 각각을 이용하여 생성되고 2-채널 스테레오 스피커를 이용하여 동일한 위치에 재생된 두 개의 음상을 비교하면, 상기 진폭 패닝 방법이 음상의 정확한 정위에 기여하고, 상기 시간 패닝 방법이 공간의 심오한 느낌을 갖는 자연적인 소리를 제공할 수 있는지가 인정된다. 따라서, 멀티채널 공간에 오브젝트 신호들을 배치하기 위해 상기 렌더링부(133)가 상기 진폭 패닝 방법만을 이용한다면, 상기 렌더링부(133)는 각 음상을 정확하게 배치할 수 있지만, 상기 시간 패닝 방법을 이용하는 경우만큼 소리의 심오한 느낌을 제공할 수 없다. 이용자들은 음원의 종류에 따라 음상의 정확한 정위보다 소리의 심오한 느낌을 더 좋아할 수 있고, 그 반대일 수도 있다.
도 4(a) 및 4(b)는 2-채널 스테레오 스피커로 신호의 재생을 실행함에 있어서 음상의 정위 상의 시간 차이 및 강도(진폭 차이)의 영향을 설명한다. 도 4(a) 및 4(b)를 참조하면, 음상은 서로 독립적인 진폭 차이 및 시간 차이에 따라 미리 정해진 각도에 위치될 수 있다. 예컨대, 약 8 dB의 진폭 차이 또는 약 8 dB의 진폭 차이와 등가인 약 0.5 ms의 시간 차이는 20°의 각도로 음상을 위치시키기 위해 이용될 수 있다. 그러므로, 오직 진폭 차이만이 믹싱 파라미터 정보로서 제공될지라도, 음상의 정위 동안 상기 진폭 차이를 상기 진폭 차이와 등가인 시간 차이로 변환함으로써 다른 특성들을 갖는 다양한 소리들을 얻는 것이 가능하다.
도 5는 10°, 20° 및 30°각도에 음상을 위치시키는데 필요한 진폭 차이와 시간 차이 사이의 대응에 관한 함수를 도시한다. 도 5에 도시된 상기 함수는 도 4(a) 및 4(b)에 기초하여 얻어질 수 있다. 도 5를 참조하면, 다양한 진폭 차이-시간 차이 조합들이 미리 정해진 위치에 음상을 위치시키기 위해 제공될 수 있다. 예컨대, 20°의 각도에 음상을 위치시키기 위해 8 dB의 진폭 차이가 믹싱 파라미터 정보로서 제공된다고 가정한다. 도 5에 도시된 함수에 따라, 또한 3 dB의 진폭 차이와 0.3 ms의 시간 차이의 조합을 이용하여 음상은 20°의 각도에 위치될 수 있다. 이 경우에, 진폭 차이 정보뿐만 아니라 시간 차이 정보가 믹싱 파라미터 정보로서 제공될 수 있고, 이로 인해 공간의 느낌(feeling of space)을 향상시킬 수 있다.
그러므로, 믹싱/렌더링 동작 동안 이용자가 원하는 특성을 갖는 소리들을 생성하기 위해, 믹싱 파라미터 정보는 진폭 패닝과 시간 패닝 중에 상기 이용자에게 알맞은 것이 실행될 수 있도록 적절히 변환될 수 있다. 즉, 믹싱 파라미터 정보가 오직 진폭 차이 정보를 포함하고, 상기 이용자가 공간의 심오한 느낌을 갖는 소리 를 희망한다면, 상기 진폭 차이 정보는 심리음향적 데이터를 참조하여 상기 진폭 차이 정보와 등가인 시간 차이 정보로 변환될 수 있다. 또한, 상기 이용자가 공간의 심오한 느낌을 갖는 소리 및 음상의 정확한 정위를 희망한다면, 상기 진폭 차이 정보는 원래의 진폭 정보와 등가인 시간 차이 정보와 진폭 차이 정보의 조합으로 변환될 수 있다. 또한, 믹싱 파라미터 정보가 오직 시간 차이 정보를 포함하고, 이용자가 음상의 정확한 정위를 선호한다면, 상기 시간 차이 정보는 상기 시간 차이 정보와 등가인 진폭 차이 정보로 변환되거나, 음상 정위의 정확성 및 공간의 느낌 모두를 향상시킴으로써 이용자의 선호를 만족시킬 수 있는 진폭 차이 정보와 시간 차이 정보의 조합으로 변환될 수 있다.
또한, 믹싱 파라미터 정보가 진폭 차이 정보 및 시간 차이 정보를 포함하고 이용자가 음상의 정확한 정위를 선호한다면, 상기 진폭 차이 정보와 상기 시간 차이 정보의 조합은 원래의 진폭 차이 정보와 시간 차이 정보의 조합과 등가인 진폭 차이 정보로 변환될 수 있다. 반면에, 믹싱 파라미터 정보가 진폭 차이 정보 및 시간 차이 정보를 포함하고 이용자가 공간 느낌의 향상을 선호한다면, 상기 진폭 차이 정보와 상기 시간 차이 정보의 조합은 상기 진폭 차이 정보와 상기 원래 시간 시간 차이 정보의 조합과 등가인 시간 차이 정보로 변환될 수 있다. 도 6에 있어서, 제어 정보는 하나 이상의 오브젝트 신호에 관한 믹싱/렌더링 정보 및 조화 정보를 포함할 수 있다. 상기 조화 정보는 피치(pitch) 정보, 기본 주파수 정보, 하나 이상의 오브젝트 신호에 관한 우세 주파수 밴드 정보 및 상기 오브젝트 신호 각각의 각 서브밴드의 에너지 및 스펙트럼의 설명 중 적어도 하나 이상을 포함할 수 있다.
서브밴드부에서의 렌더링 동작을 실행하는 렌더링부의 해상도가 충분하지 않기 때문에, 상기 조화 정보는 렌더링 동작 동안 오브젝트 신호를 처리하는데 이용될 수 있다.
상기 조화 정보가 하나 이상의 오브젝트 신호에 관한 피치 정보를 포함한다면, 상기 오브젝트 신호 각각의 이득은 콤 필터(comb filter) 또는 역 콤 필터(inverse comb filter)를 이용하여 미리 정해진 주파수 도메인을 약화시키거나 강화시킴으로써 조절될 수 있다. 예컨대, 복수의 오브젝트 신호들 중 하나가 음성 신호(vocal signal)라면, 상기 오브젝트 신호는 상기 음성 신호만을 오직 약화시킴으로써 가라오케로서 이용될 수 있다. 또한, 상기 조화 정보가 하나 이상의 오브젝트 신호에 관한 우세 주파수 도메인 정보를 포함한다면, 우세 주파수 도메인을 약화시키거나 강화시키는 처리가 실행될 수 있다. 또한, 상기 조화 정보가 하나 이상의 오브젝트 신호에 관한 스펙트럼 정보를 포함한다면, 상기 오브젝트 신호 각각의 이득은 서브밴드 경계에 의해 제한됨이 없이 약화 또는 강화를 실행함으로써 제어될 수 있다.
도 7은 본 발명의 또다른 실시예에 따른 오디오 디코딩 장치(140)의 블록도이다. 도 7을 참조하면, 상기 오디오 디코딩 장치(140)는 오브젝트 디코딩부 및 렌더링부 대신에 멀티채널 디코딩부(141)를 이용하고 상기 오브젝트 신호들이 멀티채널 공간 내에 적당하게 배치된 후에 다수의 오브젝트 신호들을 디코딩한다.
더 상세하게는, 상기 오디오 디코딩 장치(140)는 멀티채널 디코딩부(141) 및 파라미터 컨버팅부(145)를 포함한다. 상기 멀티채널 디코딩부(141)는 상기 파라미터 컨버팅부(145)에 의해 제공된 채널 기반 부가정보인 공간 파라미터 정보 및 다운믹스 신호에 기초하여 멀티채널 공간 내에 그 오브젝트 신호가 이미 배치된 멀티채널 신호를 생성한다. 상기 파라미터 컨버팅부(145)는 오디오 인코딩 장치(도시되지 않음)에 의해 전송된 제어 정보 및 부가정보를 분석하고, 상기 분석 결과에 기초한 공간 파라미터 정보를 생성한다. 더 상세하게는, 상기 파라미터 컨버팅부(145)는 플레이백 구성 정보(playback setup information) 및 믹싱 정보를 포함하는 제어 정보 및 부가정보를 결함시킴으로써 공간 파라미터 정보를 생성한다. 즉, 상기 파라미터 컨버팅부(145)는 상기 부가정보와 상기 제어 정보의 조합을 OTT(One-To-Two) box 또는 TTT(Two-To-Three) box에 대응하는 공간 데이터로의 변환을 실행한다.
상기 오디오 디코딩 장치(140)는 오브젝트 기반 디코딩 동작 및 믹싱/렌더링 동작이 통합되도록 멀티채널 디코딩을 실행할 수 있어서 각 오브젝트 신호의 디코딩을 스킵(skip)할 수 있다. 그러므로, 디코딩 및/또는 믹싱/렌더링의 복잡도를 감소시키는 것이 가능하다.
예컨대, 10개의 오브젝트 신호들이 존재하고, 상기 10개의 오브젝트 신호들에 기초하여 획득된 멀티채널 신호가 5.1 채널 스피커 재생 시스템에 의해 재생되어지는 경우, 일반적인 오브젝트 기반 오디오 디코딩 장치는 다운믹스 신호 및 부가정보에 기초한 10개의 오브젝트 신호들에 대응하여 디코딩된 신호들을 개별적으로 생성하고, 이어서 상기 오브젝트 신호들이 5.1 채널 스피커 환경에 적합하게 될 수 있도록 멀티채널 공간 내에 10개의 오브젝트 신호들을 적절히 배치함으로써 5.1 채널 신호를 생성한다. 그러나, 5.1 채널 신호의 생성 동안 10개의 오브젝트 신호들을 생성하는 것은 비효율적이고, 이 문제는 생성된 멀티채널 신호의 채널들의 수와 오브젝트 신호들의 수 사이의 차이가 증가할수록 더 심해진다.
반면에, 도 7의 실시예에 따르면, 상기 오디오 디코딩 장치(140)는 부가정보 및 제어 정보에 기초한 5.1 채널 신호에 적합한 공간 파라미터 정보를 생성하고, 상기 공간 파라미터 정보 및 다운믹스 신호를 멀티채널 디코딩부(141)에 공급한다. 이어서, 상기 멀티채널 디코딩부(141)는 상기 공간 파라미터 정보 및 상기 다운믹스 신호에 기초한 5.1 채널 신호를 생성한다. 다시 말해서, 출력될 채널들의 수가 5.1 채널인 경우, 상기 오디오 디코딩 장치(140)는 10개의 오브젝트 신호를 생성할 필요 없이 다운믹스 신호에 기초한 5.1 채널 신호를 신속하게 생성할 수 있고, 따라서 복잡도에 관해서 일반적인 오디오 디코딩 장치보다 더 효과적이다.
오디오 인코딩 장치에 의해 전송된 제어 정보 및 부가정보의 분석을 통해, OTT box 및 TTT box 각각에 대응하는 공간 파라미터 정보를 계산하는데 필요한 계산량이, 각 오브젝트 신호의 디코딩 후에 믹싱/렌더링 동작을 실행하는데 필요한 계산량보다 적은 경우에, 상기 오디오 디코딩 장치(140)는 효율적인 것으로 생각된다.
상기 오디오 디코딩 장치(140)는 부가정보 및 제어 정보의 분석을 통해 공간 파라미터 정보를 생성하기 위한 모듈을 일반적인 멀티채널 오디오 디코딩 장치에 부가함으로써 간단히 얻어질 수 있고, 따라서 일반적인 멀티채널 오디오 디코딩 장 치와 호환성을 유지할 수 있다. 또한, 엔벨로프 셰이퍼(envelope shaper), 서브밴드 시간 처리(STP; sub-band temporal processing) 툴 및 디코릴레이터(decorrelator)와 같은 일반적인 멀티채널 오디오 디코딩 장치의 현존하는 툴을 이용하여 상기 오디오 디코딩 장치(140)는 음질을 향상시킬 수 있다. 주어진 이 모든 것을 통해, 일반적인 멀티채널 오디오 디코딩 방법의 모든 이점들은 오브젝트 오디오 디코딩 방법에 쉽게 적용될 수 있다는 결론이 나온다.
상기 파라미터 컨버팅부(145)에 의해 상기 멀티채널 디코딩부(141)에 전송된 공간 파라미터 정보는 전송되는데 적합하도록 압축될 수 있다. 또한, 상기 공간 파라미터 정보는 일반적인 멀티채널 인코딩 장치에 의해 전송된 데이터의 포맷과 동일한 포맷을 가질 수 있다. 즉, 상기 공간 파라미터 정보는 호프만 디코딩 동작(Huffman decoding operation) 또는 파일럿 디코딩 동작(pilot decoding operation)이 행해질 수 있고, 따라서 압축되지 않은 공간 큐 데이터(cue data)로서 각 모듈에 전송될 수 있다. 호프만 디코딩 동작은 상기 공간 파라미터 정보를 원격 위치의 멀티채널 오디오 디코딩 장치에 전송하는데 적합하고, 파일럿 디코딩 동작은 멀티채널 오디오 디코딩 장치가 압축된 공간 큐 데이터를 디코딩 동작에 쉽게 이용될 수 있는 압축되지 않은 공간 큐 데이터로 변환될 필요가 없기 때문에 편리하다.
부가정보 및 제어 정보의 분석에 기초한 공간 파라미터 정보의 구성은 다운믹스 신호와 상기 공간 파라미터 정보 사이의 지연을 야기할 수 있다. 이를 어드레스를 지정하기 위해, 상기 다운믹스 신호 및 상기 공간 파라미터 정보가 서로 동기 화될 수 있도록 추가적인 버퍼가 다운믹스 신호 또는 공간 파라미터 정보를 위해 제공될 수 있다. 그러나, 이들 방법은, 추가적인 버퍼를 제공하는 요구때문에 불편하다. 또한, 부가정보는 다운믹스 신호와 공간 파라미터 정보 사이의 지연 발생의 가능성을 고려하여 다운믹스 신호에 앞서 전송될 수 있다. 이 경우에, 상기 부가정보와 제어 정보를 결합함으로써 얻어진 공간 파라미터 정보는 조절될 필요는 없지만 쉽게 이용될 수 있다.
다운믹스 신호의 복수의 오브젝트 신호가 다른 레벨을 갖는 경우, 상기 다운믹스 신호를 바로 보상할 수 있는 ADG 모듈이 상기 오브젝트 신호의 상대적인 레벨을 결정할 수 있고, 상기 오브젝트 신호들 각각은 채널 레벨 차이 정보, 채널간 상관(ICC; inter-channel correlation) 정보 및 채널 예측 계수(CPC; channel predicion coefficient)와 같은 공간 큐 데이터를 이용하여 멀티채널 공간 내의 미리 정해진 위치에 할당될 수 있다.
예컨대, 미리 정해진 오브젝트 신호가 멀티채널 공간 내의 미리 정해진 위치에 할당되고, 다른 오브젝트 신호들보다 더 높은 레벨을 갖는다는 것을 제어 정보가 가리킨다면, 일반적인 멀티채널 디코딩부는 다운믹스 신호 채널의 에너지 사이의 차이를 계산하고, 상기 다운믹스 신호를 상기 계산의 결과에 기초하여 많은 출력 채널들로 분할할 수 있다. 그러나, 일반적인 멀티채널 디코딩부는 다운믹스 신호 내의 특정한 소리의 볼륨을 늘리거나 줄일 수 없다. 다시 말해서, 일반적인 멀티채널 디코딩부는 다운믹스 신호를 많은 출력 채널들에 간단히 분배하며, 따라서 다운믹스 신호 내의 소리 볼륨을 늘리거나 줄일 수 없다.
오브젝트 인코딩부에 의해 생성된 다운믹스 신호의 다수의 오브젝트 신호들 각각을 제어 정보에 따라 멀티채널 공간 내의 미리 정해진 위치에 할당하는 것은 비교적 쉽다. 그러나, 미리 정해진 오브젝트 신호의 진폭을 늘리거나 줄이기 위해 특별한 기술이 요구된다. 다시 말해서, 오브젝트 인코딩부에 의해 생성된 다운믹스 신호를 그 자체로 이용한다면, 상기 다운믹스 신호의 각각의 오브젝트 신호의 진폭을 줄이는 것은 어렵다.
그러므로, 본 발명의 실시예에 따라, 오브젝트 신호의 상대적인 진폭이 도 8에 도시된 ADG 모듈을 이용하여 제어 정보에 따라 바뀔 수 있다. 더 상세하게는, 오브젝트 인코딩부에 의해 전송된 다운믹스 신호의 복수의 오브젝트 신호들 중의 어느 하나의 진폭은 ADG 모듈(147)을 이용하여 증가되거나 감소될 수 있다. 상기 ADG 모듈(147)에 의해 실행된 보상에 의해 얻어진 다운믹스 신호는 멀티채널 디코딩될 수 있다.
다운믹스 신호의 오브젝트 신호들의 상대적인 진폭이 상기 ADG 모듈(147)을 이용하여 적절히 조절된다면, 일반적인 멀티채널 디코딩부를 이용하여 오브젝트 디코딩을 실행하는 것이 가능하다. 오브젝트 인코딩부에 의해 생성된 다운믹스 신호가 모노 또는 스테레오 신호 또는 3 이상의 채널을 갖는 멀티채널 신호라면, 상기 다운믹스 신호는 상기 ADG 모듈(147)에 의해 처리될 수 있다. 오브젝트 인코딩부에 의해 생성된 다운믹스 신호가 2 이상의 채널을 갖고, ADG 모듈(147)에 의해 조절될 필요가 있는 미리 정해진 오브젝트 신호가 상기 다운믹스 신호의 하나의 채널에서만 존재한다면, 상기 ADG 모듈(147)은 상기 다운믹스 신호의 모든 채널들에 적용되 는 대신, 미리 정해진 오브젝트 신호를 포함하는 채널에만 적용될 수 있다. 상술한 방법으로 상기 ADG 모듈(147)에 의해 처리된 다운믹스 신호는 상기 멀티채널 디코딩부의 구조를 수정할 필요 없이 일반적인 멀티채널 디코딩부를 이용하여 쉽게 처리될 수 있다.
최종 출력 신호가 멀티채널 스피커에 의해 재생될 수 있는 멀티채널 신호가 아니라 바이노럴(binaural) 신호인 경우일 때조차, 상기 ADG 모듈(147)은 상기 최종 출력 신호의 오브젝트 신호들의 상대적인 진폭들을 조절하는데 이용될 수 있다.
상기 ADG 모듈(147)의 이용 대신, 다수의 오브젝트 신호들의 생성 동안 각 오브젝트 신호에 적용될 이득값을 특정하는 이득 정보가 제어 정보 내에 포함될 수 있다. 이를 위해, 일반적인 멀티채널 디코딩부의 구조는 수정될 수 있다. 존재하는 멀티채널 디코딩부 구조의 수정을 필요로 할지라도, 이 방법은 ADG를 계산하고 각 오브젝트 신호를 보상할 필요없이, 디코딩 동작 동안 각 오브젝트 신호에 이득값을 적용함으로써 디코딩의 복잡도를 줄이는데 있어서 편리하다.
도 9는 본 발명의 제 4 실시예에 따른 오디오 디코딩 장치(150)의 블록도이다. 도 9를 참조하면, 상기 오디오 디코딩 장치(150)는 바이노럴 신호를 생성하는 특징을 갖는다.
더 상세하게는, 상기 오디오 디코딩 장치(150)는 멀티채널 바이노럴 디코딩부(151), 제 1 파라미터 컨버팅부(157) 및 제 2 파라미터 컨버팅부(159)를 포함한다.
상기 제 2 파라미터 컨버팅부(159)는 오디오 인코딩 장치에 의해 공급된 제 어 정보 및 부가정보를 분석하고, 상기 분석의 결과에 기초하여 공간 파라미터 정보를 구성한다. 상기 제 1 파라미터 컨버팅부(157)는 머리전달함수(HRTF; head-related transfer function) 파라미터와 같은 3차원(3D) 정보를 상기 공간 파라미터 정보에 추가함으로써, 상기 멀티채널 바이노럴 디코딩부(151)에 의해 이용될 수 있는 바이노럴 파라미터 정보를 구성한다. 상기 멀티채널 바이노럴 디코딩부(151)는 가상 3D 파라미터 정보를 다운믹스 신호에 적용함으로써 가상 3D 신호를 생성한다.
제 1 파라미터 컨버팅부(157) 및 제 2 파라미터 컨버팅부(159)는 상기 부가정보, 상기 제어 정보 및 상기 HRTF 파라미터를 수신하는 단일 모듈, 즉 파라미터 변환 모듈(155)로 교체될 수 있고, 상기 부가정보, 상기 제어 정보 및 상기 HRTF 파라미터에 기초한 바이노럴 파라미터 정보를 구성한다.
일반적으로, 헤드폰으로 10개의 오브젝트 신호들을 포함한 다운믹스 신호의 재생을 위한 바이노럴 신호를 생성하기 위해, 오브젝트 신호는 상기 다운믹스 신호 및 부가정보에 기초한 10개의 오브젝트 신호에 대응하는 각각의 10개의 디코딩된 신호들을 생성해야만 한다. 그 후에, 렌더링부는 5-채널 스피커 환경에 적합하도록 제어 정보를 참조하여 멀티채널 공간 내의 미리 정해진 위치에 상기 10개의 오브젝트 신호들 각각을 할당한다. 그 후에, 상기 렌더링부는 5-채널 스피커를 이용하여 재생될 수 있는 5-채널 신호를 생성한다. 그 후에, 상기 렌더링부는 HRTF 파라미터들을 상기 5-채널 신호에 적용하여 2-채널 신호를 생성한다. 요컨대, 상술한 일반적인 오디오 디코딩 방법은 10개의 오브젝트 신호들을 재생하는 단계, 상기 10개의 오브젝트 신호들을 5-채널 신호로 변환하는 단계 및 상기 5-채널 신호에 기초한 2-채널 신호를 생성하는 단계를 포함하며, 따라서 효과적이지 않다.
반면에, 상기 오디오 디코딩 장치(150)는 오브젝트 오디오 신호에 기초하여 헤드폰을 이용하여 재생될 수 있는 바이노럴 신호를 쉽게 생성할 수 있다. 게다가, 상기 오디오 디코딩 장치(150)는 부가정보 및 제어 정보의 분석을 통해 공간 파라미터 정보를 구성하며, 따라서 일반적인 멀티채널 바이노럴 디코딩부를 이용하여 바이노럴 신호를 생성할 수 있다. 더욱이, 부가정보, 제어 정보 및 HRTF 파라미터를 수신하는 통합된 파라미터 컨버팅부가 장치되는 경우 조차 상기 오디오 디코딩 장치(150)는 일반적인 멀티채널 바이노럴 디코딩부를 여전히 이용할 수 있고, 상기 부가정보, 상기 제어 정보 및 상기 HRTF 파라미터에 기초한 바이노럴 파라미터 정보를 구성할 수 있다.
도 10은 본 발명의 제 5 실시예에 따른 오디오 디코딩 장치(160)의 블록도이다. 도 10을 참조하면, 상기 오디오 디코딩 장치(160)는 다운믹스 프로세싱부(161), 멀티채널 디코딩부(163) 및 파라미터 컨버팅부(165)를 포함한다. 상기 다운믹스 프로세싱부(161) 및 상기 파라미터 컨버팅부(163)는 단일 모듈(167)로 교체될 수 있다.
상기 파라미터 컨버팅부(165)는 상기 멀티채널 디코딩부(163)에 의해 이용될 수 있는 공간 파라미터 정보 및 상기 다운믹스 프로세싱부(161)에 의해 이용될 수 있는 파라미터 정보를 생성한다. 상기 다운믹스 프로세싱부(161)는 다운믹스 신호에 전처리 동작을 실행하고, 상기 전처리 동작에 의해 생성된 다운믹스 신호를 상 기 멀티채널 디코딩부(163)에 전송한다. 상기 멀티채널 디코딩부(163)는 상기 다운믹스 프로세싱부(161)에 의해 전송된 상기 다운믹스 신호에 디코딩 동작을 실행하여 스테레오 신호, 바이노럴 스테레오 신호 또는 멀티채널 신호를 출력한다. 상기 다운믹스 프로세싱부(161)에 의해 실행된 전처리 동작의 예들은 필터링을 이용하여 시간 도메인 또는 주파수 도메인으로 다운믹스 신호의 변환 또는 수정을 포함한다.
상기 오디오 디코딩 장치(160)에 입력된 다운믹스 신호가 스테레오 신호라면, 상기 멀티채널 디코딩부(163)는 다수의 채널 중 하나인 레프트 채널에 대응하는 상기 다운믹스 신호의 성분을 다수의 채널 중 또 다른 하나인 라이트 채널에 맵핑할 수 없기 때문에, 상기 다운믹스 신호는 상기 멀티채널 디코딩부(163)에 입력되기 전에 상기 다운믹스 프로세싱부(161)에 의해 실행된 다운믹스 전처리될 수 있다. 그러므로, 상기 레프트 채널로 분류된 오브젝트 신호의 위치를 상기 라이트 채널의 방향으로 이동시키기 위해, 상기 오디오 디코딩 장치(160)에 입력된 상기 다운믹스 신호는 상기 다운믹스 프로세싱부(161)에 의해 전처리될 수 있고, 상기 전처리된 다운믹스 신호는 상기 멀티채널 디코딩부(163)에 입력될 수 있다.
스테레오 다운믹스 신호의 전처리는 부가정보로 및 제어 정보로부터 획득된 전처리한 정보에 기초하여 실행될 수 있다.
도 11은 본 발명의 제 6 실시예에 따른 오디오 디코딩 장치(170)의 블록도이다. 도 11을 참조하면, 상기 오디오 디코딩 장치(170)는 멀티채널 디코딩부(171), 채널 프로세싱부(173) 및 파라미터 컨버팅부(175)를 포함한다.
상기 파라미터 컨버팅부(175)는 상기 멀티채널 디코딩부(173)에 의해 이용될 수 있는 공간 파라미터 정보 및 상기 채널 프로세싱부(173)에 의해 이용될 수 있는 파라미터 정보를 생성한다. 상기 채널 프로세싱부(173)는 상기 멀티채널 디코딩부(173)에 의해 출력된 신호에 후처리 동작을 실행한다. 멀티채널 디코딩부(173)에 의해 출력된 상기 신호의 예들은 스테레오 신호, 바이노얼 스테레오 신호 및 멀티채널 신호를 포함한다.
상기 포스트 프로세싱부(173)에 의해 실행된 후처리(post-processing) 동작의 예들은 출력 신호의 각 채널 또는 모든 채널들의 수정 및 변환을 포함한다. 예컨대, 부가정보가 미리 정해진 오브젝트 신호에 관한 기본 주파수 정보를 포함한다면, 상기 채널 프로세싱부(173)는 상기 기본 주파수 정보를 참조하여 상기 미리 정해진 오브젝트 신호로부터 조화 성분들을 제거할 수 있다. 멀티채널 오디오 디코딩 방법은 가라오케 시스템에 이용되기에 충분히 효과적이지 않을 수 있다. 그러나, 음성 오브젝트 신호들에 관한 기본 주파수 정보가 부가정보 내에 포함되고, 상기 음성 오브젝트 신호들의 조화 성분들이 후처리 동작 동안 제거된다면, 도 11의 상기 실시예를 이용하는 고성능 가라오케 시스템을 실현하는 것이 가능하다. 도 11의 실시예는 음성 오브젝트 신호를 제외한 오브젝트 신호들에 적용될 수도 있다. 예컨대, 도 11의 실시예를 이용하여 미리 정해진 악기의 소리를 제거하는 것이 가능하다. 또한, 도 11의 실시예를 이용하여 오브젝트 신호들에 관한 기본 주파수 정보를 이용하여 미리 정해진 조화 성분들을 증폭하는 것이 가능하다.
상기 채널 프로세싱부(173)는 다운믹스 신호에 추가적인 효과 처리(effect processing)를 실행할 수 있다. 또한, 상기 채널 프로세싱부(173)는 상기 추가적인 효과 처리에 의해 얻은 신호를 상기 멀티채널 디코딩부(171)에 의해 출력한 신호에 부가할 수 있다. 상기 채널 프로세싱부(173)는 필요할 때마다 오브젝트의 스펙트럼을 변화시키거나 다운믹스 신호를 수정할 수 있다. 다운믹스 신호에의 반사와 같은 효과 처리 동작을 직접적으로 실행하고 상기 이펙트 처리 동작에 의해 얻어진 신호를 상기 멀티채널 디코딩부(171)에 전송하는 것이 적절하지 않다면, 상기 다운믹스 프로세싱부(173)는 상기 다운믹스 신호에 대한 이펙트 프로세싱을 실행하는 대신에, 상기 이펙트 프로세싱 동작에 의해 얻은 상기 신호를 상기 멀티채널 디코딩부(171)의 출력에 부가할 수 있다.
상기 오디오 디코딩 장치(170)는 상기 채널 프로세싱부(173)뿐만 아니라 다운믹스 프로세싱부를 포함하도록 제작될 수 있다. 이 경우에, 상기 다운믹스 프로세싱부는 상기 멀티채널 디코딩부(173) 앞에 배치될 수 있고, 상기 채널 프로세싱부(173)는 상기 멀티채널 디코딩부(173) 뒤에 배치될 수 있다.
도 12는 본 발명에 따른 제 7 실시예에 따른 오디오 디코딩 장치(210)의 블록도이다. 도 12를 참조하면, 상기 오디오 디코딩 장치(210)는 오브젝트 디코딩부 대신에 멀티채널 디코딩부(213)를 이용한다.
더 상세하게는, 상기 오디오 디코딩 장치(210)는 멀티채널 디코딩부(213), 트랜스코딩부(215), 렌더링부(217) 및 3D 정보 데이터베이스(219)를 포함한다.
상기 렌더링부(217)는 제어 정보에 포함된 인덱스 데이터에 대응하는 3D 정보에 기초하여 복수의 오브젝트 신호들의 3D 위치들을 결정한다. 상기 트랜스코딩부(215)는 상기 렌더링부(217)에 의해 적용된 3D 정보에 다수의 오브젝트 오디오 신호들에 관한 위치 정보를 합성함으로써 채널 기반 부가정보를 생성한다. 상기 멀티채널 디코딩부(213)는 상기 채널 기반 부가정보를 다운믹스 신호에 적용함으로써 3D 신호를 출력한다.
HRTF는 3D 정보로서 이용될 수 있다. HRTF는 임의 위치에서의 음원과 고막 사이의 음파의 전송을 설명하고, 음원의 고도 및 방향에 따라 변하는 값을 돌려보내는 전달 함수이다. 방향성을 갖지 않는 신호가 HRTF를 이용하여 필터링되면, 상기 신호는 특정한 방향으로부터 재생되는 것처럼 들릴 수 있다.
입력 비트스트림이 수신되는 경우, 상기 오디오 디코딩 장치(210)는 디멀티플렉서(도시되지 않음)를 이용하여 상기 입력 비트스트림으로부터 오브젝트 기반 파라미터 정보 및 오브젝트 기반 다운믹스 신호를 추출한다. 그 후, 상기 렌더링부(217)는 복수의 오브젝트 오디오 신호들의 위치를 결정하는데 이용되는 제어 정보로부터 인덱스 데이터를 추출하고, 상기 3D 정보 데이터베이스(219)로부터 추출된 인덱스 데이터에 대응하는 3D 정보를 회수한다.
더 상세하게는, 오디오 디코딩 장치(210)에 의해 이용되는 제어 정보에 포함된 믹싱 파라미터 정보는, 3D 정보를 검색하는데 필요한 레벨 정보뿐만 아니라 인덱스 데이터도 포함할 수 있다. 상기 믹싱 파라미터 정보는 상기 레벨 정보 및 상기 시간 정보를 적절하게 결합함으로써 얻어진 하나 이상의 파라미터들, 위치 정보 및 채널들 사이의 시간 차이에 관한 시간 정보를 포함할 수도 있다.
오브젝트 오디오 신호의 위치는 디폴트(default) 믹싱 파라미터 정보에 따라 초기에 결정될 수 있고, 이용자가 원하는 위치에 대응하는 3D 정보를 상기 오브젝 트 오디오 신호에 적용함으로써 나중에 바뀔 수 있다. 또한, 이용자가 3D 효과를 몇 개의 오브젝트 오디오 신호들에 적용하기를 원한다면, 이용자가 3D 효과를 적용하기를 원하지 않는 다른 오브젝트 오디오 신호에 관한 시간 정보 및 레벨 정보는 믹싱 파라미터 정보로서 이용될 수 있다.
상기 렌더링부(217)에 의해 HRTF와 같은 3D 정보가 적용되는 다수의 오브젝트 신호들의 위치 정보와 오디오 인코딩 장치에 의해 전송된 N개의 오브젝트 신호들에 관한 오브젝트 기반 파라미터 정보를 합성함으로써 상기 트랜스코딩부(215)는 M개의 채널에 관한 채널 기반 부가정보를 생성한다.
멀티채널 디코딩부(213)는 상기 트랜스코딩부(215)에 의해 공급된 채널 기반 부가정보 및 다운믹스 신호에 기초한 오디오 신호를 생성하고, 상기 채널 기반 부가정보에 포함된 3D 정보를 이용하여 3D 렌더링 동작을 실행함으로써 3D 멀티채널 신호를 생성한다.
도 13은 본 발명의 제 8 실시예에 따른 오디오 디코딩 장치(220)의 블록도이다. 도 13을 참조하면, 상기 오디오 디코딩 장치(220)는 트랜스코딩부(225)가 채널 기반 부가정보와 3D 정보를 개별적으로 멀티채널 디코딩부(223)에 전송한다는 점에서 도 12에 도시된 오디오 디코딩 장치(210)와 다르다. 다시 말해서, 상기 오디오 디코딩 장치(210)의 트랜스코딩부(215)는 3D 정보를 포함한 채널 기반 부가정보를 상기 멀티채널 디코딩부(213)에 전송하는 반면, 상기 오디오 디코딩 장치(220)의 트랜스코딩부(225)는 N개의 오브젝트 신호들에 관한 오브젝트 기반 파라미터 정보로부터 M개의 채널들에 관한 채널 기반 부가정보를 얻고, 상기 N개의 오브젝트 신 호 각각에 적용된 3D 정보를 상기 멀티채널 디코딩부(223)에 전송한다.
도 14를 참조하면, 채널 기반 부가정보 및 3D 정보는 복수의 프레임 인덱스 등을 포함할 수 있다. 따라서, 상기 멀티채널 디코딩부(223)는 3D 정보 및 채널 기반 부가정보 각각의 프레임 인덱스를 참조한 3D 정보 및 채널 기반 부가정보를 동기화할 수 있으며, 따라서 3D 정보를 상기 3D 정보에 대응하는 비트스트림의 프레임에 적용할 수 있다. 예컨대, 인덱스 2를 갖는 3D 정보는 인덱스 2를 갖는 프레임 2의 시작부에 적용될 수 있다.
채널 기반 부가정보 및 3D 정보는 모두 프레임 인덱스를 포함하기 때문에, 상기 3D 정보가 시간을 초과해 갱신될지라도, 상기 3D 정보가 적용될 채널 기반 부가정보의 시간적 위치를 효과적으로 결정하는 것이 가능하다. 다시 말해서, 트랜스코딩부(225)는 채널 기반 부가정보 내에 다수의 프레임 인덱스들 및 3D 정보를 포함하며, 따라서 멀티채널 디코딩부(223)는 채널 기반 부가정보와 3D 정보를 쉽게 동기화할 수 있다.
상기 다운믹스 프로세싱부(231), 트랜스코딩부(235), 렌더링부(237) 및 상기 3D 정보 데이터베이스는 단일 모듈(239)로 교체될 수 있다.
도 15는 본 발명의 제 9 실시예에 따른 오디오 디코딩 장치(230)의 블록도이다. 도 15를 참조하면, 상기 오디오 디코딩 장치(230)는 다운믹스 프로세싱부(231)를 더 포함함으로써 도 14에 도시된 오디오 디코딩 장치(220)와 구별된다.
더 상세하게는, 상기 오디오 디코딩 장치(230)는 트랜스코딩부(235), 렌더링부(237), 3D 정보 데이터베이스(239), 멀티채널 디코딩부(233) 및 상기 다운믹스 프로세싱부(231)를 포함한다. 상기 트랜스코딩부(235), 상기 렌더링부(237), 상기 3D 정보 데이터베이스(239) 및 상기 멀티채널 디코딩부(233)는 도 14에 도시된 그 각각의 대응되는 것과 동일하다. 상기 다운믹스 프로세싱부(231)는 위치 조절을 위해 스테레오 다운믹스 신호에 전처리 동작을 실행한다. 상기 3D 정보 데이터베이스(239)는 상기 렌더링부(237)와 통합될 수 있다. 미리 정해진 효과를 다운믹스 신호에 적용하기 위한 모듈도 상기 오디오 디코딩 장치(230) 내에 제공될 수 있다.
도 16은 본 발명의 제 10 실시예에 따른 오디오 디코딩 장치(240)의 블록도이다. 도 16을 참조하면, 상기 오디오 디코딩 장치(240)는 다점 제어부 콤바이너(241)를 포함함으로써 도 15에 도시된 오디오 디코딩 장치(230)와 구별된다.
즉, 상기 오디오 디코딩 장치(230)처럼 상기 오디오 디코딩 장치(240)는 다운믹스 프로세싱부(243), 멀티채널 디코딩부(244), 트랜스코딩부(245), 렌더링부(247) 및 3D 정보 데이터베이스(249)를 포함한다. 다점 제어부 콤바이너(241)는 오브젝트 기반 인코딩에 의해 얻은 복수의 비트스트림을 결합하여 단일 비트스트림을 얻는다. 예컨대, 제 1 오디오 신호를 위한 제 1 비트스트림과 제 2 오디오 신호를 위한 제 2 비트스트림이 입력되는 경우, 상기 다점 제어부 콤바이너(241)는 상기 제 1 비트스트림으로부터 제 1 다운믹스 신호를 추출하고, 제 2 비트스트림으로부터 제 2 다운믹스 신호를 추출하고, 상기 제 1 및 제 2 다운믹스 신호들을 결합시킴으로써 제 3 다운믹스 신호를 생성한다. 게다가, 상기 다점 제어부 콤바이너(241)는 상기 제 1 비트스트림으로부터 제 1 오브젝트 기반 부가정보를 추출하고, 제 2 비트스트림으로부터 제 2 오브젝트 기반 부가정보를 추출하며, 제 1 오브 젝트 기반 부가정보와 제 2 오브젝트 기반 부가정보를 결합함으로써 제 3 오브젝트 기반 부가정보를 생성한다. 그 후에, 상기 다점 제어부 콤바이너(241)는 제 3 다운믹스 신호와 제 3 오브젝트 기반 부가정보를 결합함으로써 비트스트림을 생성하고, 상기 생성된 비트스트림을 출력한다.
그러므로, 각 오브젝트 신호를 인코딩 또는 디코딩하는 경우에 비해, 본 발명의 제 10 실시예에 따르는 경우, 2 이상의 통신 상대방에 의해 전송된 신호까지 효과적으로 처리하는 것이 가능하다.
상기 다점 제어부 콤바이너(241)가, 복수의 비트스트림으로부터 개별적으로 추출되고, 다른 압축 코덱으로 결합된 복수의 다운믹스 신호들을 단일의 다운믹스 신호 내에 통합하도록 하기 위해서, 상기 다운믹스 신호들은 다운믹스 신호들의 압축 코덱의 종류에 따라 미리 정해진 주파수 도메인의 신호 또는 펄스 코드 변조(PCM; pulse code modulation) 신호로 변환될 필요가 있고, 상기 변환에 의해 얻은 신호 또는 상기 PCM 신호는 함께 결합될 필요가 있으며, 상기 결합에 의해 얻어진 신호는 미리 정해진 압축 코덱을 이용하여 변환될 필요가 있을 수 있다. 이 경우에, 상기 다운믹스 신호가 미리 정해진 주파수 도메인의 신호 또는 PCM 신호에 통합되는지에 따라 지연이 발생할 수 있다. 그러나, 지연은 디코딩부에 의해 정확히 추정될 수 없다. 그러므로, 지연은 비트스트림에 포함되고, 상기 비트스트림과 함께 전송될 필요가 있을 수 있다. 지연은 PCM 신호 내의 지연 샘플의 수 또는 미리 정해진 주파수 도메인 내의 지연 샘플의 수를 나타낼 수 있다.
일반적인 멀티채널 코딩 동작(예컨대, 5.1 채널 또는 7.1 채널 코딩 동작) 동안 일반적으로 처리된 입력 신호들의 수와 비교하여 오브젝트 기반 오디오 코딩 동작 동안에 많은 입력 신호들이 가끔 처리될 필요가 있을 수 있다. 그러므로, 오브젝트 기반 오디오 코딩 방법은 일반적인 채널 기반 멀티채널 오디오 코딩 방법에 비해 더 높은 비트레이트를 요한다. 그러나, 오브젝트 기반 오디오 코딩 방법은 채널 신호보다 더 작은 수의 오브젝트 신호의 처리를 수반하기 때문에, 오브젝트 기반 오디오 코딩 방법을 이용하여 동적인 출력 신호를 생성하는 것이 가능하다.
본 발명의 일실시예에 따른 오디오 인코딩 방법은 도 17 내지 20을 참조하여 이하 상세히 설명될 것이다.
오브젝트 기반 오디오 인코딩 방법에 있어서, 오브젝트 신호들은 사람의 목소리 또는 악기 소리와 같은 개별적인 소리를 나타내도록 정의될 수 있다. 또한, 현악기(예컨대, 바이올린, 비올라 및 첼로)의 소리와 같은 유사한 특성들을 갖는 소리들, 동일한 주파수 밴드를 가진 소리들 또는 그 음원들의 방향 및 각에 따라 동일한 카테고리로 분류되는 소리들은 함께 그룹지어질 수 있고, 동일한 오브젝트 신호들에 의해 정의될 수 있다. 또한, 오브젝트 신호들은 상술한 방법들의 조합을 이용하여 정의될 수 있다.
다수의 오브젝트 신호들은 다운믹스 신호 및 부가정보로서 전송될 수 있다. 전송될 정보가 생성되는 동안, 다운믹스 신호 또는 다운믹스 신호의 복수의 오브젝트 신호 각각의 에너지 또는 파워는 다운믹스 신호의 엔벨로프를 검출할 목적으로 처음부터 계산된다. 상기 계산의 결과는 상기 오브젝트 신호들 또는 상기 다운믹스 신호를 전송하는데 이용될 수 있거나, 상기 오브젝트 신호들의 레벨들의 비를 계산 하는데 이용될 수 있다.
선형 예측 코딩(LPC; linear predictive coding) 알고리즘이 비트레이트를 더 낮추기 위해 이용될 수 있다. 더 상세하게는, 신호의 엔벨로프를 나타내는 많은 LPC 계수들은 상기 신호의 분석을 통해 생성되고, 상기 신호에 관한 엔벨로프 정보를 전송하는 대신에 상기 LPC 계수들이 전송된다. 이 방법은 비트레이트에 있어서 효과적이다. 그러나, 상기 LPC 계수들은 상기 신호의 실제 인벨로프와 어긋나기가 매우 쉽기 때문에, 이 방법은 오류 정정(error correction) 같은 추가 프로세스를 요한다. 요컨대, 신호의 엔벨로프 정보를 전송하는 것을 수반하는 방법은 고음질을 보장할 수 있으나 전송될 필요가 있는 정보량의 상당한 증가를 야기한다. 반면에, LPC 계수들의 이용을 수반하는 방법은 전송될 필요가 있는 정보량을 줄일 수 있으나, 오류 정정과 같은 추가적인 프로세스가 필요하고 음질 저하를 야기한다.
본 발명의 일실시예에 따라, 이들 방법들의 조합이 이용될 수 있다. 다시 말해서, 신호의 엔벨로프는 신호의 파워 또는 에너지 또는 인덱스값 또는 상기 신호의 파워 또는 에너지에 대응하는 LPC 계수와 같은 다른 값으로 표현될 수 있다.
신호에 관한 엔벨로프 정보는 시간 섹션 또는 주파수 섹션의 유닛들에서 얻을 수 있다. 더 상세하게는, 도 17을 참조하면, 신호에 관한 엔벨로프 정보는 프레임의 유닛들에서 얻어질 수 있다. 또한, 신호가 QMF(quadrature mirror filter) 뱅크와 같은 필터 뱅크를 이용하여 주파수 밴드 구조로 표현된다면, 신호에 관한 엔벨로프 정보는 주파수 서브밴드들, 주파수 서브밴드보다 더 작은 개체인 주파수 서브밴드 파티션들, 주파수 서브밴드의 그룹들 또는 주파수 서브밴드 파티션의 그룹 들의 유닛들에서 얻어질 수 있다. 또한, 상기 프레임 기반 방법, 상기 주파수 서브밴드 기반 방법 및 상기 주파수 서브밴드 파티션 기반 방법의 조합이 본 발명의 범위 내에서 이용될 수 있다.
또한, 신호의 저주파 성분들이 상기 신호의 고주파 성분들보다 일반적으로 더 많은 정보를 갖는다고 주어지면, 신호의 저주파 성분들과 관련된 엔벨로프 정보는 그 자체로서 전송될 수 있는 반면, 상기 신호의 고주파 성분들에 관한 엔벨로프 정보가 LPC 계수 또는 다른 값으로 표현될 수 있고, 상기 신호의 고주파 성분들에 관한 엔벨로프 정보 대신에 상기 LPC 계수 또는 다른 값들이 전송될 수 있다. 그러나, 신호의 저주파 성분들은 상기 신호의 고주파 성분들보다 더 많은 정보를 반드시 가지는 건 아닐 수 있다. 그러므로, 상술한 방법은 환경에 따라 유연하게 적용될 수 있다.
본 발명의 실시예에 따라, 시간/주파수 축 상에 도미넌트로 나타나는 신호의 일부(이하 주요부로 함)에 대응하는 인덱스 데이터 또는 엔벨로프 정보는 전송될 수 있고, 상기 신호의 도미넌트가 아닌 부분에 대응하는 인덱스 데이터 및 엔벨로프 정보는 모두 전송되지 않을 수 있다. 또한, 상기 신호의 도미넌트 부분의 에너지 및 파워를 나타내는 값들(예컨대, LPC 계수)이 전송될 수 있고, 상기 신호의 도미넌트가 아닌 부분에 대응하는 이러한 값들은 전송되지 않을 수 있다. 또한, 상기 신호의 도미넌트 부분에 대응하는 인덱스 데이터 또는 엔벨로프 정보는 전송될 수 있고, 상기 신호의 도미넌트가 아닌 부분의 에너지 또는 파워를 나타내는 값들도 전송될 수 있다. 또한, 상기 신호의 도미넌트가 아닌 부분이 상기 신호의 도미넌트 부분에 관한 정보에 기초하여 추정될 수 있도록, 상기 신호의 도미넌트 부분에만 관련된 정보가 전송될 수 있다. 또한, 상술한 방법의 조합이 이용될 수 있다.
예컨대, 도 18을 참조하면, 신호가 도미넌트 기간과 도미넌트가 아닌 기간으로 나누어진다면, 상기 신호에 관한 정보는 (a) 내지 (d)로 표기된 바와 같이 4가지 다른 방법으로 전송될 수 있다.
다운믹스 신호 및 부가정보의 조합으로서 다수의 오브젝트 신호들을 전송하기 위해, 디코딩 동작의 일부로서 예컨대, 상기 오브젝트 신호의 레벨의 비를 고려하여, 상기 다운믹스 신호는 복수의 성분으로 나눠질 것이 요구된다. 상기 다운믹스 신호의 성분 사이의 독립성을 보장하기 위해, 디코릴레이션 동작이 추가적으로 실행될 필요가 있다.
오브젝트 기반 코딩 방법에서 코딩 유닛들인 오브젝트 신호들은 멀티채널 코딩 방법에서 코딩 유닛들인 채널 신호들보다 더 독립성을 갖는다. 다시 말해서, 채널 신호는 오브젝트 신호를 포함하며, 따라서 디코릴레이트 될 필요가 있다. 반면에, 오브젝트 신호들은 서로 독립적이며, 따라서 채널 분리가 디코릴레이션 동작의 요구 없이 오브젝트 신호들의 특성들을 단순히 이용하여 쉽게 실행될 수 있다.
더 상세하게는, 도 19를 참조하면, 오브젝트 신호 A, B 및 C는 주파수 축 상에 도미넌트로 차례로 나타난다. 이 경우에, 상기 오브젝트 신호 A, B 및 C의 레벨의 비에 따라 다운믹스 신호를 많은 신호들로 나누고 디코릴레이션을 수행할 필요가 없다. 대신에, 상기 오브젝트 신호 A, B 및 C의 도미넌트 기간에 관한 정보가 전송될 수 있거나, 이득값이 상기 오브젝트 신호 A, B 및 C 각각의 각 주파수 성분 에 적용되어 디코릴레이션을 스킵할 수 있다. 그러므로, 계산량을 줄이는 것이 가능하며, 그렇지 않았다면 디코릴레이션에 필요한 부가정보에 의해 요구되었을지 모를 양만큼 비트레이트를 줄이는 것이 가능하다.
요컨대, 상기 다운믹스 신호의 오브젝트 신호의 비의 비율에 따라 다운믹스 신호를 나눔으로써 얻어진 다수의 신호들 사이의 독립성을 보장하기 위해 실행되는 디코릴레이션을 스킵하기 위해, 각 오브젝트 신호를 포함한 주파수 도메인에 관한 정보가 부가정보로서 전송될 수 있다. 또한, 상이한 이득값들이 각 오브젝트 신호가 도미넌트로 나타나는 동안인 도미넌트 기간 및 각 오브젝트 신호가 보다 적게 도미넌트로 나타나는 동안인 도미넌트가 아닌 기간에 적용될 수 있으며, 따라서, 상기 도미넌트 기간에 관한 정보는 부가정보로서 주로 제공될 수 있다. 또한, 상기 도미넌트 기간에 관한 상기 정보는 부가정보로서 전송될 수 있고, 도미넌트가 아닌 기간에 관한 정보는 전송되지 않을 수 있다. 또한, 디코릴레이션 방법의 대안인 상술된 방법의 조합이 이용될 수 있다.
디코릴레이션 방법의 대안인 상술한 방법들은 모든 오브젝트 신호 또는 쉽게 구별 가능한 도미넌트 기간들을 갖는 오직 일부의 오브젝트 신호만에 적용될 수 있다. 또한, 디코릴레이션 방법의 대안인 상술한 방법들은 프레임 유닛들에 가변적으로 적용될 수 있다.
잔여 신호를 이용한 오브젝트 오디오 신호들의 인코딩이 이하 상세히 설명될 것이다.
일반적으로, 오브젝트 기반 오디오 코딩 방법에 있어서, 다수의 오브젝트 신 호들이 인코딩되고, 상기 인코딩의 결과물들이 다운믹스 신호와 부가정보의 조합으로써 전송된다. 이어서, 다수의 오브젝트 신호가 상기 부가정보에 따라 디코딩을 통해 상기 다운믹스 신호로부터 복원되고, 상기 복원된 오브젝트 신호들이 예컨대, 제어 정보에 따라 이용자의 요청으로 적절히 혼합되어 최종 채널 신호가 생성된다. 오브젝트 기반 오디오 코딩 방법은 믹서(mixer)의 도움으로 제어 정보에 따라 출력 채널 신호를 자유롭게 바꾸는 것을 일반적으로 목표로 한다. 그러나, 오브젝트 기반 오디오 코딩 방법은 제어 정보와 무관하게 미리 정의된 방법으로 채널 출력을 생성하는데 이용될 수도 있다.
이를 위해, 부가정보는 다운믹스 신호로부터 다수의 오브젝트 신호들을 얻는데 필요한 정보뿐만 아니라 채널 신호를 생성하는데 필요한 믹싱 파라미터 정보를 포함할 수 있다. 따라서, 믹서의 도움 없이 최종 채널 출력 신호를 생성하는 것이 가능하다. 이 경우에, 잔여 코딩과 같은 알고리즘이 음질을 향상시키기 위해 이용될 수 있다.
일반적인 잔여 코딩 방법은 신호를 코딩하고, 상기 코딩된 신호와 상기 원 신호 사이의 오류, 즉 잔여 신호를 코딩하는 것을 포함한다. 디코딩 동작 동안, 상기 코딩된 신호는 상기 코딩된 신호와 상기 원 신호 사이의 오류를 보상함과 동시에 디코딩되며, 이로써 가능한 한 원 신호와 유사한 신호를 복원한다. 상기 코딩된 신호와 상기 원 신호 사이의 오류가 일반적으로 적기 때문에, 잔여 코딩을 실행하는데 추가적으로 필요한 정보의 양을 줄이는 것이 가능하다.
디코딩부의 최종 채널 출력이 고정된다면, 최종 채널 신호를 생성하는데 필 요한 믹싱 파라미터 정보뿐만 아니라 잔여 코딩 정보가 부가정보로서 제공될 수 있다. 이 경우에, 음질을 향상시키는 것이 가능하다.
도 20은 본 발명의 일실시예에 따른 오디오 인코딩 장치(310)의 블록도이다. 도 20을 참조하면, 상기 오디오 인코딩 장치(310)는 잔여 신호를 이용하는 특징을 갖는다.
더 상세하게는, 상기 오디오 인코딩 장치(310)는 인코딩부(311), 디코딩부(313), 제 1 믹서(315), 제 2 믹서(319), 가산기(317) 및 비트스트림 생성기(321)를 포함한다.
제 1 믹서(315)는 원 신호에 믹싱 동작을 실행하고, 제 2 믹서(319)는 인코딩 동작을 실행함으로써 얻어진 신호에 믹싱 동작을 실행하며, 이어서 원 신호에 디코딩 동작을 실행한다. 가산기(317)는 제 1 믹서(315)에 의해 출력된 신호와 제 2 믹서(319)에 의해 출력된 신호 사이의 잔여 신호를 계산한다. 비트스트림 생성기(321)는 부가정보에 잔여 신호를 더하고 더한 결과물을 전송한다. 이 방법으로, 음질을 향상시키는 것이 가능하다.
잔여 신호의 계산은 신호의 모든 부분에 또는 신호의 저주파수 부분만을 위해 적용될 수 있다. 또한, 잔여 신호의 계산은 프레임 대 프레임에 기초한 도미넌트 신호들을 포함하는 주파수 도메인에 오직 가변적으로 적용될 수 있다. 또한, 상술한 방법의 조합이 이용될 수 있다.
잔여 신호 정보를 포함한 부가정보의 양이 잔여 신호 정보를 포함하지 않은 부가정보의 양보다 더 많기 때문에, 잔여 신호의 계산은 음질에 직접 영향을 주는 신호의 일부 부분에만 적용될 수 있으며, 이로써 비트레이트의 과도한 증가를 막을 수 있다. 본 발명은 컴퓨터가 읽을 수 있는 기록 매체 상에 쓰여진 컴퓨터가 읽을 수 있는 코드로서 실현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체들은 컴퓨터가 읽을 수 있는 방법으로 데이터가 저장된 기록 장치의 일종일 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예들은 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광학 데이터 저장 장치 및 캐리어 웨이브(carrier wave)(예컨대, 인터넷을 통한 데이터 전송)를 포함한다. 상기 컴퓨터가 읽을 수 있는 기록 매체는, 컴퓨터가 읽을 수 있는 코드가 그곳에 쓰여지고, 분산된 방법으로 그곳으로부터 실행되도록, 네트워크에 연결된 복수의 컴퓨터 시스템으로 분배될 수 있다. 본 발명을 실현하는데 필요한 기능적 프로그램, 코드, 코드 단편은 이 분야에서 통상의 지식 가진 자에 의해 쉽게 해석될 수 있다.
상술한 바와 같이, 본 발명에 따르면, 오브젝트 기반 오디오 인코딩 및 디코딩 방법의 이점들로부터 이득을 얻음으로써, 음상이 각 오브젝트 오디오 신호을 위해 위치된다. 따라서, 오브젝트 오디오 신호의 재생을 통해 더 실제적인 소리들을 제공하는 것이 가능하다. 게다가 본 발명은 쌍방향 게임들에 적용될 수 있으며, 따라서 이용자에게 더 현실적인 가상 현실 경험을 제공할 수 있다.
본 발명은 그 바람직한 실시예에 관해 특히 도시되고 설명되지만, 설명 및 형태에 있어서의 수많은 변화가 다음의 청구항에 의해 정의된 바와 같이 본 발명의 범위 및 사상을 벗어나지 않고 이뤄질 수 있다는 것은 이 분야에서 통상의 지식을 가진 자에게 이해될 것이다.

Claims (21)

  1. 적어도 하나로 구성되는 다운믹스 신호와 적어도 하나의 오브젝트 신호가 다운믹스 신호로 다운믹스될 때 생성되는 오브젝트 기반 부가 정보를 수신하는 단계;
    적어도 하나의 오브젝트 신호의 위치 또는 레벨을 제어하기 위한 제어 정보를 수신하는 단계;
    상기 오브젝트 기반 부가 정보와 상기 제어 정보를 이용하여 다운믹스 프로세싱 정보를 생성하는 단계;
    상기 다운믹스 프로세싱 정보를 이용하여, 상기 다운믹스 신호를 수정된 다운믹스 신호로 생성하는 단계;
    상기 오브젝트 기반 부가 정보와 상기 제어 정보를 기초로 채널 기반 부가 정보를 생성하는 단계;
    상기 수정된 다운믹스 신호와 채널 기반 부가 정보를 이용하여 멀티채널 오디오 신호를 생성하는 단계;
    상기 다운믹스 신호와 상기 수정된 다운믹스 신호는 오른쪽 채널과 왼쪽 채널로 구성되며, 상기 다운믹스 신호는 상기 수정된 다운믹스 신호와 채널 수가 동일한 것을 특징으로 하는 오디오 디코딩 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 수정된 다운믹스 신호는 상기 다운믹스 신호에 효과 부가(effect addition) 를 실행하여 생성된 것을 특징으로 하는 오디오 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 수정된 다운믹스 신호를 생성하는 단계는, 시간 도메인 또는 주파수 도메인 중의 어느 하나로 상기 다운믹스 신호를 수정하는 단계를 더 포함하는 것을 특징으로 하는 오디오 디코딩 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 적어도 하나로 구성되는 다운믹스 신호와 적어도 하나의 오브젝트 신호가 다운믹스 신호로 다운믹스될 때 생성되는 오브젝트 기반 부가 정보를 수신하는 디멀티플렉서;
    적어도 하나의 오브젝트 신호의 위치 또는 레벨을 제어하기 위한 제어 정보를 수신하고, 상기 오브젝트 기반 부가 정보와 상기 제어 정보를 기초로 채널 기반 부가 정보를 생성하는 파라미터 컨버터;
    상기 오브젝트 기반 부가 정보와 상기 제어 정보를 이용하여 다운믹스 프로세싱 정보를 생성하고, 상기 다운믹스 프로세싱 정보를 이용하여, 상기 다운믹스 신호를 수정된 다운믹스 신호로 생성하는 다운믹스 프로세서;
    상기 수정된 다운믹스 신호와 채널 기반 부가 정보를 이용하여 멀티채널 오디오 신호를 생성하는 멀티채널 디코더;
    상기 다운믹스 신호와 상기 수정된 다운믹스 신호는 오른쪽 채널과 왼쪽 채널로 구성되며, 상기 다운믹스 신호는 상기 수정된 다운믹스 신호와 채널 수가 동일한 것을 특징으로 하는 오디오 디코딩 장치.
  9. 제 8 항에 있어서,
    상기 수정된 다운믹스 신호는 상기 다운믹스 신호에 효과 부가(effect addition) 를 실행하여 생성된 것을 특징으로 하는 오디오 디코딩 장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 다운믹스 프로세서는 시간 도메인 또는 주파수 도메인 중의 어느 하나로 상기 다운믹스 신호를 수정하는 것을 특징으로 하는 오디오 디코딩 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 적어도 하나로 구성되는 다운믹스 신호와 적어도 하나의 오브젝트 신호가 다운믹스 신호로 다운믹스될 때 생성되는 오브젝트 기반 부가 정보를 수신하는 단계;
    적어도 하나의 오브젝트 신호의 위치 또는 레벨을 제어하기 위한 제어 정보를 수신하는 단계;
    상기 오브젝트 기반 부가 정보와 상기 제어 정보를 이용하여 다운믹스 프로세싱 정보를 생성하는 단계;
    상기 다운믹스 프로세싱 정보를 이용하여, 상기 다운믹스 신호를 수정된 다운믹스 신호로 생성하는 단계;
    상기 오브젝트 기반 부가 정보와 상기 제어 정보를 기초로 채널 기반 부가 정보를 생성하는 단계;
    상기 수정된 다운믹스 신호와 채널 기반 부가 정보를 이용하여 멀티채널 오디오 신호를 생성하는 단계;
    상기 다운믹스 신호와 상기 수정된 다운믹스 신호는 오른쪽 채널과 왼쪽 채널로 구성되며, 상기 다운믹스 신호는 상기 수정된 다운믹스 신호와 채널 수가 동일한 것을 특징으로 하는 오디오 디코딩 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터가 읽을 수 있는 기록 매체.
  21. 삭제
KR1020087026605A 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치 KR101065704B1 (ko)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US84829306P 2006-09-29 2006-09-29
US60/848,293 2006-09-29
US82980006P 2006-10-17 2006-10-17
US60/829,800 2006-10-17
US86330306P 2006-10-27 2006-10-27
US60/863,303 2006-10-27
US86082306P 2006-11-24 2006-11-24
US60/860,823 2006-11-24
US88071407P 2007-01-17 2007-01-17
US60/880,714 2007-01-17
US88094207P 2007-01-18 2007-01-18
US60/880,942 2007-01-18
US94837307P 2007-07-06 2007-07-06
US60/948,373 2007-07-06

Publications (2)

Publication Number Publication Date
KR20090009842A KR20090009842A (ko) 2009-01-23
KR101065704B1 true KR101065704B1 (ko) 2011-09-19

Family

ID=39230400

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020087026604A KR100987457B1 (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR1020087026607A KR101069266B1 (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR1020087026605A KR101065704B1 (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR1020087026606A KR20090013178A (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020087026604A KR100987457B1 (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR1020087026607A KR101069266B1 (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087026606A KR20090013178A (ko) 2006-09-29 2007-10-01 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치

Country Status (10)

Country Link
US (7) US7979282B2 (ko)
EP (4) EP2071564A4 (ko)
JP (4) JP5238707B2 (ko)
KR (4) KR100987457B1 (ko)
AU (4) AU2007300810B2 (ko)
BR (4) BRPI0711104A2 (ko)
CA (4) CA2646045C (ko)
MX (4) MX2008012251A (ko)
RU (1) RU2551797C2 (ko)
WO (4) WO2008039041A1 (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
US8208641B2 (en) * 2006-01-19 2012-06-26 Lg Electronics Inc. Method and apparatus for processing a media signal
US8285556B2 (en) 2006-02-07 2012-10-09 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
EP2071564A4 (en) 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
BRPI0715312B1 (pt) 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais
MY145497A (en) * 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
JP5023662B2 (ja) * 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
EP2095365A4 (en) * 2006-11-24 2009-11-18 Lg Electronics Inc METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF
EP2122613B1 (en) 2006-12-07 2019-01-30 LG Electronics Inc. A method and an apparatus for processing an audio signal
CN101632117A (zh) * 2006-12-07 2010-01-20 Lg电子株式会社 用于解码音频信号的方法和装置
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
EP2109861B1 (en) 2007-01-10 2019-03-13 Koninklijke Philips N.V. Audio decoder
US8639498B2 (en) * 2007-03-30 2014-01-28 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
KR100942142B1 (ko) * 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
BRPI0816557B1 (pt) * 2007-10-17 2020-02-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Codificação de áudio usando upmix
US8219409B2 (en) * 2008-03-31 2012-07-10 Ecole Polytechnique Federale De Lausanne Audio wave field encoding
KR101061128B1 (ko) 2008-04-16 2011-08-31 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
WO2009128663A2 (en) 2008-04-16 2009-10-22 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8326446B2 (en) 2008-04-16 2012-12-04 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
WO2010008198A2 (en) 2008-07-15 2010-01-21 Lg Electronics Inc. A method and an apparatus for processing an audio signal
CN102100009B (zh) * 2008-07-15 2015-04-01 Lg电子株式会社 处理音频信号的方法和装置
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
WO2010013450A1 (ja) * 2008-07-29 2010-02-04 パナソニック株式会社 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
US8233629B2 (en) * 2008-09-04 2012-07-31 Dts, Inc. Interaural time delay restoration system and method
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding
MX2011011399A (es) 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
GB2466674B (en) 2009-01-06 2013-11-13 Skype Speech coding
GB2466670B (en) * 2009-01-06 2012-11-14 Skype Speech encoding
GB2466672B (en) * 2009-01-06 2013-03-13 Skype Speech coding
US20100191534A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated Method and apparatus for compression or decompression of digital signals
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010090019A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 結合装置、遠隔通信システム及び結合方法
EP2395504B1 (en) * 2009-02-13 2013-09-18 Huawei Technologies Co., Ltd. Stereo encoding method and apparatus
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
KR101387808B1 (ko) * 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101123698B1 (ko) 2009-07-30 2012-03-15 삼성전자주식회사 프로세스 카트리지 및 이를 구비한 화상형성장치
KR101842411B1 (ko) 2009-08-14 2018-03-26 디티에스 엘엘씨 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
KR101599884B1 (ko) * 2009-08-18 2016-03-04 삼성전자주식회사 멀티 채널 오디오 디코딩 방법 및 장치
BR112012007138B1 (pt) 2009-09-29 2021-11-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
US9305550B2 (en) * 2009-12-07 2016-04-05 J. Carl Cooper Dialogue detector and correction
CN102792378B (zh) * 2010-01-06 2015-04-29 Lg电子株式会社 处理音频信号的设备及其方法
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
CN103119846B (zh) * 2010-09-22 2016-03-30 杜比实验室特许公司 利用对白水平归一化对音频流进行混合
WO2012040897A1 (en) * 2010-09-28 2012-04-05 Huawei Technologies Co., Ltd. Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
US9165558B2 (en) 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
KR20120132342A (ko) * 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
US9754595B2 (en) 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
KR101783962B1 (ko) * 2011-06-09 2017-10-10 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
WO2013192111A1 (en) 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
AU2013284703B2 (en) 2012-07-02 2019-01-17 Sony Corporation Decoding device and method, encoding device and method, and program
AU2013284705B2 (en) 2012-07-02 2018-11-29 Sony Corporation Decoding device and method, encoding device and method, and program
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9564138B2 (en) * 2012-07-31 2017-02-07 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
KR101660004B1 (ko) 2012-08-03 2016-09-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티채널 다운믹스/업믹스 케이스들에 대해 매개변수 개념을 이용한 멀티-인스턴스 공간-오디오-오브젝트-코딩을 위한 디코더 및 방법
KR102033985B1 (ko) * 2012-08-10 2019-10-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법
US20140114456A1 (en) * 2012-10-22 2014-04-24 Arbitron Inc. Methods and Systems for Clock Correction and/or Synchronization for Audio Media Measurement Systems
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
CN105074818B (zh) 2013-02-21 2019-08-13 杜比国际公司 音频编码系统、用于产生比特流的方法以及音频解码器
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
CN105264600B (zh) 2013-04-05 2019-06-07 Dts有限责任公司 分层音频编码和传输
KR20140123015A (ko) 2013-04-10 2014-10-21 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
KR102058619B1 (ko) * 2013-04-27 2019-12-23 인텔렉추얼디스커버리 주식회사 예외 채널 신호의 렌더링 방법
CN110223702B (zh) 2013-05-24 2023-04-11 杜比国际公司 音频解码系统和重构方法
CN109712630B (zh) 2013-05-24 2023-05-30 杜比国际公司 包括音频对象的音频场景的高效编码
RU2630754C2 (ru) 2013-05-24 2017-09-12 Долби Интернешнл Аб Эффективное кодирование звуковых сцен, содержащих звуковые объекты
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
WO2015012594A1 (ko) * 2013-07-23 2015-01-29 한국전자통신연구원 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더
EP3055998A1 (en) 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
JP6299202B2 (ja) * 2013-12-16 2018-03-28 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
KR101641645B1 (ko) * 2014-06-11 2016-07-22 전자부품연구원 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템
JP6306958B2 (ja) * 2014-07-04 2018-04-04 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
US10341799B2 (en) * 2014-10-30 2019-07-02 Dolby Laboratories Licensing Corporation Impedance matching filters and equalization for headphone surround rendering
EP3254456B1 (en) 2015-02-03 2020-12-30 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
CN111866022B (zh) 2015-02-03 2022-08-30 杜比实验室特许公司 感知质量比会议中原始听到的更高的后会议回放系统
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
EP3516560A1 (en) 2016-09-20 2019-07-31 Nuance Communications, Inc. Method and system for sequencing medical billing codes
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
EP3869826A4 (en) 2018-10-16 2022-03-16 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
JP7326824B2 (ja) 2019-04-05 2023-08-16 ヤマハ株式会社 信号処理装置、及び信号処理方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3882280A (en) * 1973-12-19 1975-05-06 Magnavox Co Method and apparatus for combining digitized information
US5109417A (en) * 1989-01-27 1992-04-28 Dolby Laboratories Licensing Corporation Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio
EP0520068B1 (en) * 1991-01-08 1996-05-15 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
RU2121718C1 (ru) 1998-02-19 1998-11-10 Яков Шоел-Берович Ровнер Портативная музыкальная система для караоке и картридж для нее
US20050120870A1 (en) 1998-05-15 2005-06-09 Ludwig Lester F. Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications
JP3173482B2 (ja) 1998-11-16 2001-06-04 日本ビクター株式会社 記録媒体、及びそれに記録された音声データの音声復号化装置
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7020618B1 (en) * 1999-10-25 2006-03-28 Ward Richard E Method and system for customer service process management
US6845163B1 (en) * 1999-12-21 2005-01-18 At&T Corp Microphone array for preserving soundfield perceptual cues
US6351733B1 (en) 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US6849794B1 (en) * 2001-05-14 2005-02-01 Ronnie C. Lau Multiple channel system
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
JP2003186500A (ja) 2001-12-17 2003-07-04 Sony Corp 情報伝達システム、情報符号化装置および情報復号装置
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
CN100508026C (zh) 2002-04-10 2009-07-01 皇家飞利浦电子股份有限公司 立体声信号编码
BRPI0304542B1 (pt) 2002-04-22 2018-05-08 Koninklijke Philips Nv “Método e codificador para codificar um sinal de áudio de multicanal, sinal de áudio multicanal codificado, e, método e decodificador para decodificar um sinal de áudio de multicanal codificado”
EP1500084B1 (en) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
JP4187719B2 (ja) * 2002-05-03 2008-11-26 ハーマン インターナショナル インダストリーズ インコーポレイテッド マルチチャネル・ダウンミキシング装置
KR20050021484A (ko) 2002-07-16 2005-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
JP2004064363A (ja) 2002-07-29 2004-02-26 Sony Corp デジタルオーディオ処理方法、デジタルオーディオ処理装置およびデジタルオーディオ記録媒体
WO2004036549A1 (en) 2002-10-14 2004-04-29 Koninklijke Philips Electronics N.V. Signal filtering
US7395210B2 (en) 2002-11-21 2008-07-01 Microsoft Corporation Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform
AU2003298146B2 (en) 2002-12-02 2009-04-09 Interdigital Ce Patent Holdings Method for describing the composition of audio signals
KR20050121733A (ko) 2003-04-17 2005-12-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 발생
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CN1906664A (zh) 2004-02-25 2007-01-31 松下电器产业株式会社 音频编码器和音频解码器
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
CN1981326B (zh) 2004-07-02 2011-05-04 松下电器产业株式会社 音频信号解码装置和方法及音频信号编码装置和方法
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
JP4466242B2 (ja) 2004-07-13 2010-05-26 株式会社サタケ ペレット選別機
KR100658222B1 (ko) 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005008342A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Speichern von Audiodateien
WO2006126843A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
EP1946294A2 (en) 2005-06-30 2008-07-23 LG Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8359341B2 (en) 2005-12-10 2013-01-22 International Business Machines Corporation Importing content into a content management system using an e-mail application
EP1971978B1 (en) * 2006-01-09 2010-08-04 Nokia Corporation Controlling the decoding of binaural audio signals
CN101410891A (zh) * 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
EP1989920B1 (en) * 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
DE102007003374A1 (de) 2006-02-22 2007-09-20 Pepperl + Fuchs Gmbh Induktiver Näherungsschalter sowie Verfahren zum Betreiben eines solchen
ES2362920T3 (es) 2006-03-28 2011-07-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Método mejorado para la conformación de señales en reconstrucción de audio multicanal.
RU2407227C2 (ru) * 2006-07-07 2010-12-20 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Концепция для объединения множества параметрически кодированных аудиоисточников
BRPI0716854B1 (pt) * 2006-09-18 2020-09-15 Koninklijke Philips N.V. Codificador para codificar objetos de áudio, decodificador para decodificar objetos de áudio, centro distribuidor de teleconferência, e método para decodificar sinais de áudio
EP2071564A4 (en) 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
TW200930042A (en) * 2007-12-26 2009-07-01 Altek Corp Method for capturing image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Christof Faller, "Parametric Joint-Coding of Audio Sources" Audio Engineering Society 120th Convention, May 20-23 2006.*
Eric D. Scheirer, et al. "AudioBIFS: The MPEG-4 Standard for Effects Processing" Workshop on Digital Audio Effects Processing (DAFX'98), Nov. 1998.*

Also Published As

Publication number Publication date
MX2008012315A (es) 2008-10-10
US20090164222A1 (en) 2009-06-25
WO2008039043A1 (en) 2008-04-03
KR20090013178A (ko) 2009-02-04
CA2645908A1 (en) 2008-04-03
WO2008039039A1 (en) 2008-04-03
BRPI0711102A2 (pt) 2011-08-23
US8762157B2 (en) 2014-06-24
CA2645910A1 (en) 2008-04-03
BRPI0711104A2 (pt) 2011-08-23
US9792918B2 (en) 2017-10-17
AU2007300812B2 (en) 2010-06-10
CA2645909A1 (en) 2008-04-03
AU2007300814B2 (en) 2010-05-13
EP2070080A4 (en) 2009-10-14
AU2007300812A1 (en) 2008-04-03
CA2646045A1 (en) 2008-04-03
US20080140426A1 (en) 2008-06-12
KR20090013177A (ko) 2009-02-04
US8625808B2 (en) 2014-01-07
CA2645909C (en) 2012-12-11
RU2551797C2 (ru) 2015-05-27
CA2645908C (en) 2013-11-26
JP2010505140A (ja) 2010-02-18
US20090157411A1 (en) 2009-06-18
EP2071563A4 (en) 2009-09-02
WO2008039041A1 (en) 2008-04-03
JP5238706B2 (ja) 2013-07-17
AU2007300813A1 (en) 2008-04-03
KR100987457B1 (ko) 2010-10-13
CA2645910C (en) 2015-04-07
MX2008012246A (es) 2008-10-07
KR101069266B1 (ko) 2011-10-04
JP2010505328A (ja) 2010-02-18
KR20090026121A (ko) 2009-03-11
AU2007300814A1 (en) 2008-04-03
US20110196685A1 (en) 2011-08-11
US7987096B2 (en) 2011-07-26
JP2010505141A (ja) 2010-02-18
AU2007300810A1 (en) 2008-04-03
CA2646045C (en) 2012-12-11
JP2010505142A (ja) 2010-02-18
JP5238707B2 (ja) 2013-07-17
EP2071564A1 (en) 2009-06-17
US20160314793A1 (en) 2016-10-27
EP2071564A4 (en) 2009-09-02
MX2008012250A (es) 2008-10-07
JP4787362B2 (ja) 2011-10-05
US20090164221A1 (en) 2009-06-25
US8504376B2 (en) 2013-08-06
EP2070081A1 (en) 2009-06-17
MX2008012251A (es) 2008-10-07
AU2007300810B2 (en) 2010-06-17
AU2007300813B2 (en) 2010-10-14
JP5232789B2 (ja) 2013-07-10
EP2070081A4 (en) 2009-09-30
BRPI0711185A2 (pt) 2011-08-23
KR20090009842A (ko) 2009-01-23
RU2010141970A (ru) 2012-04-20
US20140303985A1 (en) 2014-10-09
WO2008039042A1 (en) 2008-04-03
US7979282B2 (en) 2011-07-12
BRPI0710923A2 (pt) 2011-05-31
US9384742B2 (en) 2016-07-05
EP2070080A1 (en) 2009-06-17
EP2071563A1 (en) 2009-06-17

Similar Documents

Publication Publication Date Title
KR101065704B1 (ko) 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150824

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160824

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170814

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 9