KR101496193B1 - 출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치 - Google Patents

출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치 Download PDF

Info

Publication number
KR101496193B1
KR101496193B1 KR1020087003599A KR20087003599A KR101496193B1 KR 101496193 B1 KR101496193 B1 KR 101496193B1 KR 1020087003599 A KR1020087003599 A KR 1020087003599A KR 20087003599 A KR20087003599 A KR 20087003599A KR 101496193 B1 KR101496193 B1 KR 101496193B1
Authority
KR
South Korea
Prior art keywords
channel
hierarchical
data
decoder
audio
Prior art date
Application number
KR1020087003599A
Other languages
English (en)
Other versions
KR20080037672A (ko
Inventor
에릭 지. 피. 슈이예르스
제럴드 에이치. 호토
하이코 푸른하겐
울프강 에이. 쉴드바흐
홀거 홀리치
한스 엠. 케이. 크졸링
카를 제이. 로덴
Original Assignee
코닌클리케 필립스 엔.브이.
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이., 돌비 인터네셔널 에이비 filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20080037672A publication Critical patent/KR20080037672A/ko
Application granted granted Critical
Publication of KR101496193B1 publication Critical patent/KR101496193B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)
  • Amplifiers (AREA)

Abstract

오디오 인코더(109)는 계층적인 인코딩 구조를 갖고 하나 이상의 오디오 채널들뿐만 아니라 파라미터 오디오 인코딩 데이터를 포함하는 데이터 스트림을 발생시킨다. 인코더(109)는 데이터 스트림으로 디코더 트리 구조 데이터를 삽입하는 인코딩 구조 프로세서(305)를 포함한다. 디코더 트리 구조 데이터는 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 지시하는 적어도 하나의 데이터 값을 포함하고 특히 디코더에 의해 인가될 디코더 트리 구조들을 규정할 수 있다. 디코더(115)는 디코더 트리 구조 데이터에 응답하여 계층적인 디코더 구조를 발생시키는 디코더 구조 프로세서(405) 및 데이터 스트림을 수신하는 수신기(401)를 포함한다. 그 후, 디코드 프로세서(403)는 계층적인 디코더 구조를 이용하여 데이터 스트림으로부터 출력 오디오 채널들을 발생시킨다.
오디오 인코더, 인코딩 구조 프로세서, 디코더, 디코더 구조 프로세서, 출력 오디오 채널

Description

출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치{An apparatus and a method for generating output audio channels and a data stream comprising the output audio channels, a method and an apparatus of transmitting and receiving a data stream, and audio playing and recording devices}
본 발명은 계층적인 인코딩 구조들 및/또는 계층적인 디코더 구조들을 이용하는 오디오 인코딩 및/또는 디코딩에 관한 것이다.
오디오 처리 분야에서, 다수의 오디오 채널들을 또 다른 많은 수의 오디오 채널들로 변환시키는 것이 널리 공지되어 있다. 이와 같은 변환은 각종 이유들로 수행될 수 있다. 예를 들어, 오디오 신호는 또 다른 포맷으로 변환되어 향상된 사용자 경험을 제공할 수 있다. 예를 들어, 전통적인 스테레오 레코딩들은 단지 2개의 채널들만을 포함하는 반면, 현대의 진보된 오디오 시스템들은 전형적으로 대중적인 5.1 서라운드 사운드 시스템들에서처럼 5개 또는 6개의 채널들을 사용한다. 따라서, 2개의 스테레오 채널들은 5개 또는 6개의 채널들로 변환되어 진보된 오디오 시스템의 이점을 완전히 이용하게 한다.
채널 변환에 대한 또 다른 이유는 코딩 효율성이다. 예를 들어, 스테레오 오디오 신호들은 오디오 신호의 공간 특성들을 설명하는 파라미터 비트 스트림과 결합되는 단일 채널 오디오 신호들로서 인코딩될 수 있다는 것이 밝혀졌다. 디코더는 매우 만족할만한 정확도로 스테레오 오디오 신호들을 재생할 수 있다. 이 방식에서, 실질적인 비트 레이트를 절감할 수 있다.
오디오 신호들의 공간 특성들을 설명하기 위하여 사용될 수 있는 여러 파라미터들이 존재한다. 한 가지 이와 같은 파라미터로는 스테레오 신호들을 위한 좌 채널 및 우 채널 간의 교차 상관과 같은 채널간 교차-상관이다. 또 다른 파라미터는 채널들의 전력 비이다. 소위 (파라미터) 공간 오디오 (엔)코더들에서, 이들 및 다른 파라미터들은 원래 오디오 신호로부터 추출되어 감소된 수의 채널들, 예를 들어 단일 채널만을 갖는 오디오 신호, 그리고 원래 오디오 신호의 공간 특성들을 설명하는 파라미터들의 세트를 발생시킨다. 소위 (파라미터) 공간 오디오 디코더들에서, 원래 오디오 신호는 복원된다.
공간 오디오 코딩은 다채널 오디오 재료를 효율적으로 코딩하기 위하여 최근에 도입된 기술이다. 공간 오디오 코딩에서, M-채널 오디오 신호는 N-채널 오디오 신호, 그리고 대응하는 공간 파라미터들의 세트로서 설명되고, 통상적으로 N이 M보다 작다. 그러므로, 공간 오디오 인코더에서, M-채널 신호는 N-채널 신호로 다운-믹스(down-mix)되고 공간 파라미터들은 추출된다. 디코더에서, N-채널 신호 및 공간 파라미터들은 M-채널 신호를 (인식적으로) 복원하도록 사용된다.
이와 같은 공간 오디오 코딩은 인코더 및 디코더에서 표준 유닛들을 포함하는 캐스케이드된(cascaded) 또는 트리(tree)-기반의 계층적 구조를 이용하는 것이 바람직하다. 인코더에서, 이들 표준 유닛들은 2 대 1, 3 대 1, 3 대 2 등의 다운-믹서들과 같이 더 적은 수의 채널들에 채널들을 결합하는 다운-믹서들일 수 있지만, 디코더에서 대응 표준 유닛들은 1 대 2, 2 대 3 업-믹서(up-mixer)들과 같이 더 많은 수의 채널들로 채널들을 분할하는 업-믹서들일 수 있다.
그러나, 이와 같은 방법이 지닌 문제는 디코더 구조가 인코더의 구조와 정합해야 한다는 것이다. 이는 표준화된 인코더 및 디코더 구조를 이용함으로써 성취될 수 있지만, 이와 같은 방법은 유연성이 없고 성능을 차선으로 하는 경향이 있다.
그러므로, 개선된 시스템이 유용하고, 특히 유연성을 증가시키며, 복잡성을 감소시키며 및/또는 성능을 개선시키는 시스템이 유용하다.
따라서, 본 발명은 단독으로 또는 임의의 조합으로 상술된 단점들 중 하나 이상을 완화, 경감 또는 제거하는 것을 바람직하게 추구한다.
본 발명의 제 1 특징에 따르면, 다수의 출력 오디오 채널들을 발생시키기 위한 장치가 제공되는데, 상기 장치는: 다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 수단으로서, 상기 데이터 스트림은 계층적인 디코더 구조를 위한 디코더 트리 구조 데이터를 더 포함하며, 상기 디코더 트리 구조 데이터는 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성들을 표시하는 적어도 하나의 데이터 값을 포함하는, 상기 데이터 스트림 수신 수단; 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 수단; 및 상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 수단을 포함한다.
본 발명은 오디오 채널들을 유연하게 생성시키고 특히 데이터 스트림을 발생시키기 위하여 사용되는 인코더 구조로 디코더 기능이 적응하도록 한다. 본 발명은, 예를 들어, 인코더가 복수-채널 신호에 적합한 인코딩 방법을 선택하도록 함과 동시에 인코더가 장치가 이에 자동적으로 적응하도록 한다. 본 발명은 개선된 품질 대 비트-레이트 비를 갖는 데이터 스트림을 허용할 수 있다. 특히, 본 발명은 계층적인 인코딩/디코딩 구조들로부터 성취가능한 개선된 오디오 품질을 제공하면서 자동 적응성 및/또는 높은 유연성 정도를 허용한다. 본 발명은 또한 계층적인 디코더 구조의 정보를 효율적으로 통신시킨다. 특히, 본 발명은 디코더 트리 구조 데이터를 위한 낮은 오버헤드를 허용할 수 있다. 본 발명은 수신된 비트-스트림에 자동적으로 적응하고 임의의 적절한 계층적인 인코딩 구조와 함께 사용될 수 있는 장치를 제공할 수 있다.
각 오디오 채널은 개별적인 오디오 신호를 지원할 수 있다. 데이터 스트림은 단일 비트-스트림일 수 있거나, 예를 들어 상이한 분산 채널들을 통해서 분산된 복수의 서브-비트-스트림의 조합일 수 있다. 데이터 스트림은 소정 크기의 데이터 파일에 대응하는 고정된 지속기간과 같은 제한된 지속기간을 가질 수 있다. 채널 분할 특성은 주어진 오디오 채널이 계층적인 층에서 얼마나 많은 채널들로 분할되는지를 나타내는 특성일 수 있다. 예를 들어, 채널 분할 특성은 주어진 오디오 채널이 분할되지 않는지 또는 2개의 오디오 채널들로 분할되는지를 반영할 수 있다.
디코더 트리 구조 데이터는 복수의 오디오 채널들의 계층적인 디코더 구조를 위한 데이터를 포함할 수 있다. 특히, 디코더 트리 구조 데이터는 다수의 입력 오디오 채널 각각을 위한 데이터 세트를 포함할 수 있다. 예를 들어, 디코더 트리 구조 데이터는 각 입력 신호를 위한 디코더 트리 구조를 위한 데이터를 포함할 수 있다.
본 발명의 일 선택적 특징에 따르면, 디코더 트리 구조 데이터는 복수의 데이터 값들을 포함하는데, 각 데이터 값은 계층적인 디코더 구조의 한 계층적인 층에서 한 채널에 대한 채널 분할 특성을 표시한다.
이는 장치가 데이터 스트림에 사용되는 인코딩에 적응하도록 하는 데이터의 효율적인 통신을 위하여 제공될 수 있다. 디코더 트리 구조 데이터는 특히 계층적인 디코더 구조에서 각 채널 분할 기능을 위한 하나의 데이터 값을 포함할 수 있다. 디코더 트리 구조 데이터는 또한 주어진 계층적인 층 신호를 위한 부가적인 채널 분할이 발생되지 않는다는 것을 나타내는 각 출력 채널을 위한 하나의 데이터 값을 포함할 수 있다.
본 발명의 일 선택적 특징에 따르면, 소정 데이터 값은 계층적인 층에서 채널을 위한 채널 분할이 없다는 것을 표시한다.
이는 장치가 데이터 스트림을 위하여 사용되는 인코딩에 효율적으로 그리고 신뢰할 수 있게 적응하도록 데이터의 효율적인 통신을 제공할 수 있다.
본 발명의 일 선택적 특징에 따르면, 소정의 데이터 값은 계층적인 층에서 채널을 위한 1 대 2 채널 분할을 표시한다.
이는 장치가 데이터 스트림에 사용되는 인코딩에 효율적으로 그리고 신뢰할 수 있게 적응하도록 하는 효율적인 데이터 통신을 제공한다. 특히, 이는 낮은 복잡도 표준 채널 분할 기능들을 이용하여 많은 계층적인 시스템들에 대해서 매우 효율적인 정보 전달을 허용할 수 있다.
본 발명의 일 선택적 특징에 따르면, 다수의 데이터 값들은 2진 데이터 값들이다.
이는 장치가 데이터 스트림에 사용되는 인코딩에 효율적으로 그리고 신뢰할 수 있게 적응하도록 하는 효율적인 데이터 통신을 제공할 수 있다. 특히, 이는 1 대 2 채널 분할 기능과 같은 하나의 특정 채널 분할 기능을 주로 이용하여 시스템들을 위한 매우 효율적인 정보 전달을 허용할 수 있다.
본 발명의 일 선택적 특징에 따르면, 하나의 소정 2진 데이터 값은 1 대 2 채널 분할을 표시하고 또 다른 소정 2진 데이터 값은 채널 분할이 없다는 것을 표시한다.
이는 장치가 데이터 스트림에 사용되는 인코딩에 효율적으로 그리고 신뢰할 수 있게 적응하도록 하는 효율적인 데이터 통신을 제공할 수 있다. 특히, 이는 저 복잡도 1 대 2 채널 분할 기능 정도를 기반으로 한 시스템들을 위한 매우 효율적인 정보 전달을 허용할 수 있다. 효율적인 디코딩은 저 복잡도 데이터에 응답하여 발생될 수 있는 저 복잡도 계층적인 디코더 구조에 의해 성취될 수 있다. 이 특징은 디코더 트리 구조 데이터의 통신을 위한 저 오버헤드를 허용할 수 있고 간단한 인코딩 기능에 의해 인코딩되는 데이터 스트림들에 특히 적합할 수 있다.
본 발명의 일 선택적 특징에 따르면, 데이터 스트림은 입력 채널들의 수의 표시를 더 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 디코더 구조의 정보의 더욱 효율적인 정보를 허용할 수 있다. 특히, 계층적인 디코더 구조를 발생시키는 수단은 입력 채널들의 수의 표시에 응답하여 그렇게 할 수 있다. 예를 들어, 많은 실제 상황들에서 다수의 입력 채널들은 데이터 스트림으로부터 유도될 수 있지만, 일부 특수한 경우들에서 오디오 및 파라미터들 데이터는 분리될 수 있다. 이와 같은 경우들에, 데이터 스트림 데이터가 조정될 수 있기 때문에(예를 들어, 스테레오로부터 모노까지 다운믹스됨) 입력 채널들의 수가 공지되면 유용할 수 있다.
본 발명의 일 선택적 특징에 따르면, 데이터 스트림은 출력 채널들의 수의 표시를 더 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 데이터 구조의 정보의 더욱 효율적인 인코딩을 허용할 수 있다. 특히, 계층적인 디코더 구조를 발생시키는 수단은 출력 채널들의 수의 표시에 응답하여 그렇게 할 수 있다. 또한, 이 표시는 디코더 트리 구조 데이터의 에러 체크로서 사용될 수 있다.
본 발명의 일 선택적 특징에 따르면, 데이터 스트림은 계층적인 디코더 구조에서 다수의 1 대 2 채널 분할 기능들의 표시를 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 데이터 구조의 정보의 더욱 효율적인 인코딩을허용할 수 있다. 특히, 계층적인 디코더 구조를 발생시키는 수단은 계층적인 디코더 구조에서 1 대 2 채널 분할 기능들의 수의 표시에 응답하여 그렇게 할 수 있다.
본 발명의 일 선택적 특징에 따르면, 데이터 스트림은 계층적인 디코더 구조에서 다수의 2 대 3 채널 분할 기능들의 표시를 더 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 데이터 구조의 정보의 더욱 효율적인 인코딩을 허용할 수 있다. 특히, 계층적인 디코더 구조를 발생시키는 수단은 계층적인 디코더 구조에서 2 대 3 채널 분할 기능들의 수의 표시에 응답하여 그렇게 할 수 있다.
본 발명의 일 선택적 특징에 따르면, 디코더 트리 구조 데이터는 2-대-3 채널 분할 기능의 존재에 응답하여 순서화된 복수의 디코더 트리 구조들을 위한 데이터를 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 데이터 구조의 정보의 더욱 효율적인 인코딩을허용할 수 있다. 특히, 이 특징은 2-대-3 채널 분할들이 루트(root) 층에서만 발생될 수 있는 시스템들에서 유용한 성능을 허용할 수 있다. 예를 들어, 계층적인 디코더 구조를 발생시키는 수단은 우선 단지 1-대-2 채널 분할 기능을 이용하여 나머지 구조의 발생보다 앞서 2개의 입력 채널들을 위한 2-대-3 분할 기능을 발생시킬 수 있다. 나머지 구조는 특히 2진 디코더 트리 구조 데이터에 응답하여 발생되어 필요로 되는 비트 레이트를 감소시킨다. 이 데이터 스트림은 복수의 디코더 트리 구조들의 순서화의 정보를 더 포함할 수 있다.
본 발명의 일 선택적 특징에 따르면, 적어도 하나의 입력 채널을 위한 디코더 트리 구조 데이터는, 각 2진 데이터 값이 2-대-3 분할 기능의 종속적인 층들을 위한 1-대-2 채널 분할 기능 또는 분리 기능이 없다는 것을 표시하는, 2진 데이터보다 앞서 루트 층에 존재하는 2-대-3 채널 분할 기능의 표시를 포함한다.
이는 디코딩 및 디코딩 구조의 발생을 용이하게 할 수 있으며 및/또는 디코더 트리 구조 데이터에서 계층적인 디코더 구조의 정보의 더욱 효율적인 인코딩을 허용할 수 있다. 특히, 이 특징은 2-대-3 채널 분할들이 루트 층에서 발생될 수 있는 시스템들에서 유용한 성능을 허용할 수 있다. 예를 들어, 계층적인 디코더 구조를 발생시키는 수단은 우선 단지 1 대 2 채널 분할 기능만을 사용하여 나머지 구조의 발생보다 앞서 입력 채널을 위한 2-대-3 분할 기능을 발생시킬 수 있다. 나머지 구조는 특히 2진 디코더 트리 구조 데이터에 응답하여 발생되어 필요로 되는 비트 레이트를 감소시킨다.
본 발명의 일 선택적 특징에 따르면, 데이터 스트림은 출력 채널들 중 적어도 하나를 위한 확성기 위치의 표시를 포함한다.
이는 용이한 디코딩을 허용하고 장치의 성능 및/또는 적응성을 개선시켜 유연성을 증가시킨다.
본 발명의 일 선택적 특징에 따르면, 계층적인 디코더 구조를 발생시키는 수단은 디코더 트리 구조 데이터에 응답하여 계층적인 층들의 채널 분할 기능들을 위한 승산(multiplication) 파라미터들을 결정하도록 구성된다.
이는 성능 및/또는 적응성/유연성을 개선시킨다. 특히, 이 특징은 계층적인 디코더 구조뿐만 아니라 채널 분할 기능들의 동작이 수신된 데이터 스트림에 적응하도록 할 수 있다. 승산 파라미터들은 매트릭스 승산 파라미터들일 수 있다.
본 발명의 일 선택적 특징에 따르면, 디코더 트리 구조는 적어도 하나의 계층적인 층에서 적어도 하나의 채널 분할 기능을 포함하는데, 상기 적어도 하나의 채널 분할 기능은: 데이터 스트림의 오디오 입력 채널로부터 직접 디코럴레이팅된(de-correlated) 신호를 발생시키는 디코럴레이션 수단; 디코럴레이팅된 신호 및 더 높은 계층적인 층으로부터 오디오 채널로부터 복수의 계층적인 층 출력 채널들을 발생시키는 적어도 하나의 채널 분할 유닛; 및 상기 디코더 트리 구조 데이터에 응답하여 디코럴레이션 필터 또는 채널 분할 유닛의 적어도 하나의 특성을 결정하는 수단을 포함한다.
이는 성능 및/또는 적응성/유연성을 개선시킨다. 특히, 이 특징은 디코딩 성능을 개선시키고 증가된 오디오 품질을 갖는 출력 채널들을 발생시킬 수 있는 계층적인 디코더 구조를 허용할 수 있다. 특히, 캐스케이드된 디코럴레이션 필터들에 의해 발생되는 디코럴레이션 신호들이 존재하지 않는 계층적인 디코더 구조가 성취될 수 있고 수신된 데이터 스트림에 동적으로 및 자동으로 구성될 수 있다.
디코럴레이션 필터는 (가령 또 다른 디코럴레이션 필터에 의해) 수정없이 특히 신호에 대해 임의의 사전 필터링 없이 데이터 스트림의 오디오 입력 채널을 수신한다. 디코럴레이션 필터의 이득은 특히 디코더 트리 구조 데이터에 응답하여 결정될 수 있다.
본 발명의 일 선택적 특징에 따르면, 디코럴레이션 수단은 레벨 보상된 오디오 신호를 발생시키기 위하여 오디오 입력 채널에 대한 오디오 레벨 보상을 수행하기 위한 레벨 보상 수단; 및 디코럴레이션 신호를 발생시키기 위하여 레벨 보상된 오디오 신호를 필터링하는 디코럴레이션 필터를 포함한다.
이는 품질을 개선시키며 및/또는 구현 방식을 용이하게 한다.
본 발명의 일 선택적 특징에 따르면, 레벨 보상 수단은 프리-매트릭스와의 매트릭스 승산을 포함한다. 이는 효율적으로 구현하도록 할 수 있다.
본 발명의 일 선택적 특징에 따르면, 프리-매트릭스 계수들은 단지 1 대 2 채널 분할 기능을 포함하는 계층적인 디코더 구조를 위한 적어도 하나의 단위 값을 갖는다.
이는 복잡도를 감소시킬 수 있고 구현을 효율적이게 한다. 계층적인 디코더 구조는 1-대-2 채널 분할 기능과 다른 기능을 갖지만 이 특징에 따라서 임의의 다른 채널 분할 기능을 포함하지 않을 것이다.
본 발명의 일 선택적 특징에 따르면, 이 장치는 더 높은 계층적인 층에서 채널 분할 기능의 파라미터들에 응답하여 적어도 하나의 계층적인 층에서 적어도 하나의 채널 분할 기능을 위한 프리-매트릭스를 결정하기 위한 수단을 더 포함한다.
이는 구현을 효율적이게 하며 및/또는 성능을 개선시킬 수 있다. 더 높은 계층적인 층에서 채널 분할 기능은 예를 들어 디코더 트리 구조의 루트 층에 위치되는 2-대-3 채널 분할 기능을 포함할 수 있다.
본 발명의 일 선택적 특징에 따르면, 이 장치는 적어도 하나의 계층적인 층에서 적어도 하나의 채널 분할 기능의 파라미터들에 응답하여 적어도 하나의 채널 분할 기능을 위한 채널 분할 매트릭스를 결정하기 위한 수단을 포함한다.
이는 구현을 효율적이게 하며 및/또는 성능을 개선시킬 수 있다. 이는 단지 1-대-2 채널 분할 기능을 포함하는 계층적인 디코더 트리 구조들에 특히 유용할 수 있다.
본 발명의 일 선택적 특징에 따르면, 이 장치는 더 높은 계층적인 층의 2-대-3 업믹서의 파라미터들에 응답하여 적어도 하나의 계층적인 층에서 적어도 하나의 채널 분할 기능을 위한 프리-매트릭스를 결정하기 위한 수단을 더 포함한다.
이는 구현을 효율적이게 하며 및/또는 성능을 개선시킬 수 있다. 디코더 트리 구조의 루트 층에서 2-대-3 채널 분할 기능을 포함하는 계층적인 디코더 트리 구조들에 특히 유용할 수 있다.
본 발명의 일 선택적 특징에 따르면, 프리-매트릭스를 결정하는 수단은 2-대-3 업믹서의 제 1 입력에 대응하는 제 1 서브-프리 매트릭스 및 2-대-3 업믹서의 제 2 입력에 대응하는 제 2 서브-프리-매트릭스 결정에 응답하여 적어도 하나의 채널 분할 기능을 위한 프리-매트릭스를 결정하도록 구성된다.
이는 구현을 효율적이게 하며 및/또는 성능을 개선시킨다. 이는 특히 디코더 트리 구조의 루트 층에서 2-대-3 채널 분할을 포함하는 계층적인 디코더 트리 구조들에 특히 유용하다
본 발명의 또 다른 특징에 따르면, 다수의 오디오 채널들을 포함하는 데이터 스트림을 발생시키는 장치가 제공되는데, 상기 장치는: 다수의 입력 오디오 채널들을 수신하는 수단; 파라미터 오디오 데이터 및 상기 다수의 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위하여 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 계층적인 인코딩 수단; 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 수단; 및 데이터 스트림에서 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 수단을 포함한다.
본 발명의 또 다른 특징에 따른 데이터 스트림은: 다수의 인코딩된 오디오 채널들; 파라미터 오디오 데이터; 및 계층적인 디코더 구조용 디코더 트리 구조 데이터로서, 상기 디코더 트리 구조 데이터는 계층적인 디코더 구조의 계층적인 층들에서 오디오 채널들을 위한 채널 분할 특성들을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함한다.
본 발명의 또 다른 특징에 따르면, 상술된 바와 같은 신호를 저장하는 저장 매체가 제공된다.
본 발명의 또 다른 특징에 따르면, 다수의 출력 오디오 채널들을 발생시키는 방법이 제공되는데, 상기 방법은: 다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 단계로서, 상기 데이터 스트림은 계층적인 디코더 구조를 위한 디코더 트리 구조 데이터를 더 포함하는데, 상기 디코더 트리 구조 데이터는 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는, 상기 데이터 스트림 수신 단계; 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 단계; 및 상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 다수의 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키는 방법이 제공되는데, 상기 방법은: 다수의 입력 오디오 채널들을 수신하는 단계; 계층적인 인코딩 수단이 파라미터 오디오 데이터 및 상기 다수의 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위하여 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 단계; 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 단계; 및 데이터 스트림에서 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조를 포함하는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 다수의 출력 오디오 채널들을 발생시키기 위한 수신기가 제공되는데, 상기 수신기는 다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 수단으로서, 상기 데이터 스트림은 계층적인 디코더 구조를 위한 디코더 트리 구조 데이터를 더 포함하며, 상기 디코더 트리 구조 데이터는 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성들을 표시하는 적어도 하나의 데이터 값을 포함하는, 수신 수단; 및 상기 디코더 트리 구조 데이터에 응답하여 계층적인 디코더 구조를 발생시키는 수단; 및 상기 계층적인 디코더 구조를 이용하여 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 수단을 포함한다.
본 발명의 또 다른 특징에 따르면, 다수의 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키는 송신기가 제공되는데, 상기 송신기는 다수의 입력 오디오 채널들을 수신하는 수단; 상기 다수의 출력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 발생시키기 위하여 상기 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 계층적인 인코딩 수단; 상기 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 수단; 및 상기 데이터 스트림에서 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 수단을 포함한다.
본 발명의 또 다른 특징에 따르면, 데이터 스트림을 발생시키기 위한 송신기 및 다수의 출력 오디오 채널들을 발생시키기 위한 수신기를 포함하는 송신 시스템에 있어서, 상기 송신기는 다수의 입력 오디오 채널들을 수신하는 수단, 상기 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 발생시키기 위하여 상기 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 계층적인 인코딩 수단, 상기 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 수단, 및 상기 데이터 스트림에서 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 수단, 및 상기 데이터 스트림을 상기 수신기에 송신하는 수단을 포함하고, 상기 수신기는 상기 데이터 스트림을 수신하는 수단, 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 수단, 및 상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 수단을 포함한다.
본 발명의 또 다른 특징에 따르면, 데이터 스트림을 수신하는 방법이 제공되는데, 상기 방법은 다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 단계로서, 상기 데이터 스트림은 계층적인 디코더 구조용 디코더 트리 구조 데이터를 더 포함하며, 상기 디코더 트리 구조 데이터는 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성들을 표시하는 적어도 하나의 데이터 값을 포함하는 수신 단계; 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 단계; 및 상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 다수의 출력 오디오 채널들을 포함하는 데이터 스트림을 송신하는 방법이 제공되는데, 상기 방법은 다수의 입력 오디오 채널들을 수신하는 단계; 상기 다수의 출력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 발생시키기 위하여 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 단계; 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 단계; 상기 데이터 스트림에서 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 단계; 및 상기 데이터 스트림을 송신하는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 데이터 스트림을 송신 및 수신하는 방법이 제공되는데, 상기 방법은 송신기(101)에서: 다수의 입력 오디오 채널들을 수신하는 단계; 상기 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 발생시키기 위하여 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하는 단계; 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 단계; 상기 데이터 스트림에서 상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 단계; 및 상기 데이터 스트림을 수신기로 송신하는 단계를 포함하고, 상기 방법은 수신기에서: 상기 데이터 스트림을 수신하는 단계; 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 단계; 및 상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 단계를 포함한다.
본 발명의 또 다른 특징에 따르면, 상술된 방법들 중 임의의 방법을 실행시키기 위한 컴퓨터 프로그램 제품이 제공된다.
본 발명의 또 다른 특징에 따르면, 상술된 바와 같은 장치를 포함하는 오디오 재생 장치가 제공된다.
본 발명의 또 다른 특징에 따르면, 상술된 바와 같은 장치를 포함하는 오디오 기록 장치가 제공된다.
본 발명의 이들 및 다른 특징들, 및 장점들이 후술되는 실시예들과 관련하여 명백해질 것이다.
본 발명의 실시예들이 첨부 도면들과 관련하여 예로서만 설명될 것이다.
도 1은 본 발명의 일부 실시예들에 따라서 오디오 신호의 통신을 위한 송신 시스템을 도시한 도면.
도 2는 본 발명의 일부 실시예들에서 사용될 수 있는 계층적인 인코더 구조의 예를 도시한 도면.
도 3은 본 발명의 일부 실시예들에 따른 인코더의 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따른 디코더의 예를 도시한 도면.
도 5는 본 발명의 일부 실시예들에서 사용될 수 있는 일부 계층적인 디코더의 예를 도시한 도면.
도 6은 루트에서 2-대-3 업믹서들을 갖는 계층적인 디코더 구조들의 예를 도시한 도면.
도 7은 다수의 디코더 트리 구조들을 포함하는 계층적인 디코더 구조들의 예를 도시한 도면.
도 8은 1 대 2 업믹서의 예를 도시한 도면.
도 9는 본 발명의 일부 실시예들에서 사용될 수 있는 일부 계층적인 디코더 구조들의 예를 도시한 도면.
도 10은 본 발명의 일부 실시예들에서 사용될 수 있든 일부 계층적인 디코더 구조들의 예를 도시한 도면.
도 11은 본 발명의 일부 실시예들에 따른 디코딩 방법의 예시적인 순서도.
도 12는 본 발명의 일부 실시예들에 따른 매트릭스 디코더 구조의 예를 도시한 도면.
도 13은 본 발명의 일부 실시예들에서 사용될 수 있는 계층적인 디코더 구조의 예를 도시한 도면.
도 14는 본 발명의 일부 실시예들에서 사용될 수 있는 계층적인 디코더 구조 의 예를 도시한 도면.
도 15는 본 발명이 일부 실시예들에 따른 오디오 신호를 송신 및 수신하는 방법을 도시한 도면.
이하의 설명은 다수의 저 복잡도 채널 다운-믹서(down-mixer)들 및 업-믹서(up-mixer)들을 이용하여 다채널 오디오 신호의 인코딩 및 디코딩에 적용될 수 있는 본 발명의 실시예들에 관한 것이다. 그러나, 본 발명은 이 출원에 제한되지 않는다는 것을 인지할 것이다. 당업자는 다운-믹서가 더 낮은 수의 오디오 채널들 및 부가적인 파라미터 데이터로 다수의 오디오 채널들을 결합시키도록 구성되고 업믹서가 더 낮은 수의 오디오 채널들 및 파라미터 데이터로부터 다수의 오디오 채널들을 발생시키도록 구성된다. 따라서, 업믹서는 채널 분할 기능을 제공한다.
도 1은 본 발명의 일부 실시예들에 따른 오디오 신호의 통신을 위한 송신 시스템(100)을 도시한 것이다. 이 송신 시스템(100)은 특히 인터넷일 수 있는 네트워크(105)를 통해서 수신기(103)에 결합되는 송신기(101)를 포함한다.
특정 예에서, 송신기(101)는 신호 기록 장치이고 수신기는 신호 플레이어 장치(103)이지만 다른 실시예들에서 송신기 및 수신기는 다른 애플리케이션들에 그리고 다른 목적들을 위하여 사용될 수 있다. 예를 들어, 송신기(101) 및/또는 수신기(103)는 상호코딩 기능의 부분일 수 있고 예를 들어 다른 신호 소스들 또는 수신지들에 인터페이스를 제공할 수 있다.
신호 기록 기능이 지원되는 특정 예에서, 송신기(101)는 샘플링 및 아날로그-대-디지털 변환에 의해 디지털 PCM 신호로 변환되는 아날로그 신호를 수신하는 디지타이저(digitizer)(107)를 포함한다.
송신기(101)는 인코딩 알고리즘에 따라서 PCM 신호를 인코딩하는 도 1의 인코더(109)에 결합된다. 인코더(100)는 인코딩된 신호를 수신하고 인터넷(105)과 인터페이스하는 네트워크 송신기(111)에 결합된다. 네트워크 송신기는 인코딩된 시호를 인터넷(105)을 통해서 수신기(103)로 송신할 수 있다.
수신기(103)는 인터넷(105)에 인터페이스하고 송신기(101)로부터 인코딩된 신호를 수신하도록 배열되는 네트워크 수신기(113)를 포함한다.
네트워크 수신기(111)는 디코더(115)에 결합된다. 디코더(115)는 인코딩된 신호를 수신하여 이를 디코딩 알고리즘에 따라서 디코딩한다.
신호 재생 기능이 지원되는 특정 예에서, 수신기(103)는 디코더(115)로부터 디코딩된 오디오 신호를 수신하여 이를 사용자에게 제공하는 신호 플레이어(117)를 더 포함한다. 특히, 신호 플레이어(113)는 디코딩된 오디오 신호를 출력하기 위하여 필요로 되는 스피커들, 디지털-대-아날로그 변환기, 증폭기들을 포함할 수 있다.
도 1의 예에서, 인코더(109) 및 디코더(115)는 작은 빌딩 블록들로 이루어지는 캐스케이드된 또는 트리-기반으로 한 구조를 이용한다. 따라서, 인코더(109)는 오디오 채널들이 계층적인 구조의 상이한 층들에서 점차적으로 처리되는 계층적인 인코딩 구조를 이용한다. 이와 같은 구조는 특히 고 오디오 품질로 인코딩하는데 유용하지만 상대적으로 저 복잡도와 용이하게 인코더(109)를 구현하도록 할 수 있다.
도 2는 본 발명의 일 부 실시예들에서 사용될 수 있는 계층적인 인코더 구조의 예를 도시한 것이다.
이 예에서, 인코더(109)는 좌측 프론트(1f), 좌측 서라운드(1s). 우측 프론트(rf), 우측 서라운드, 센터(c0) 및 서브우퍼(subwoofer) 또는 저 주파수 엔헨스먼트(1fe) 채널을 인코딩한다. 이 채널들은 우선 세그먼트되어 세그먼테이션 블록들(201)에서 주파수 도메인으로 변환된다. 이 결과의 주파수 도메인 신호들은 페어 와이즈를 단일 출력 채널로 2개의 입력 신호들을 다운 믹스하고 대응하는 파라미터들을 추출하는 2-대-1(TTO) 다운 믹서들(203)로 공급된다. 따라서, 3개의 TTO 다운-믹서들(203)은 6개의 입력 채널들을 3개의 오디오 채널들 및 파라미터들을 다운 믹스한다.
도 2에 도시된 바와 같이, TTO 다운-믹서들(203)의 출력은 다른 TTO 다운-믹서들(205, 207)을 위한 입력으로서 사용된다. 특히, TTO 다운-믹서들(203) 중 2개가 단일 채널에 대응하는 채널들을 결합시키는 제 4 TTO 다운-믹서(205)로 결합된다. TTO 다운-믹서들(203)의 제 3 다운-믹서는 나머지 2개의 채널들을 단일 채널(M)로 결합시키는 제 5 TTO 다운-믹서(207)로 결합되는 제 4 TTO 다운-믹서(205)와 함께 행해진다. 이 신호는 최종적으로 시간 도메인으로 다시 변환되어 인코딩된 다채널 오디오 비트스트림(m)을 발생시킨다.
TTO 다운-믹서들(203)은 인코딩 구조의 제 1 층을 포함하도록 간주될 수 있는데, 제 2 층은 제 4 TTO 다운-믹서(205)를 포함하고 제 3층은 제 4 TTO 다운-믹서(207)를 포함한다. 따라서, 다수의 오디오 채널들과 더 낮은 수의 오디오 채널들과의 조합은 계층적인 인코더 구조의 각 층에서 발생된다.
인코더(109)의 계층적인 인코딩 구조는 저 복잡도로 매우 효율적이고 고품질이 될 수 있다. 게다가, 계층적인 인코딩 구조는 인코딩되는 신호의 특성에 따라서 가변될 수 있다. 예를 들어, 간단한 스테레오 신호가 인코딩되면, 이는 단일 TTO 다운-믹서 및 단일 층만을 포함하는 계층적인 인코딩 구조에 의해 성취될 수 있다.
디코더(115)가 상이한 계층적인 인코딩 구조들을 이용하여 인코딩된 신호들을 취급하도록 하기 위하여, 특정 신호에 사용되는 계층적인 인코딩 구조에 적응하도록 할 수 있다. 특히, 디코더(115)는 인코더(109)의 계층적인 인코딩 구조에 정합하는 계층적인 디코더 구조를 갖도록 구성하는 기능을 포함한다. 그러나, 이와 같이 행하기 위하여, 디코더(115)에는 수신된 비트스트림을 인코딩하기 위하여 사용되는 계층적인 인코딩 구조의 정보가 제공된다.
도 3은 본 발명의 일부 실시예들에 따른 인코더(109)의 예를 도시한 도면이다.
인코더(109)는 다수의 입력 오디오 채널들을 수신하는 수신 프로세서(301)를 포함한다. 도 2의 특정 예에서, 인코더(109)는 6개의 입력 채널들을 수신한다. 수신 프로세서(301)는 계층적인 인코딩 구조를 갖는 인코드 프로세서(303)에 결합된다. 예로서, 인코드 프로세서(303)의 계층적인 인코딩 구조는 도 2에 도시된 것에 대응할 수 있다.
게다가, 인코드 프로세서(303)는 인코드 프로세서(303)에 의해 사용되는 계층적인 인코딩 구조를 결정하도록 구성되는 인코딩 구조 프로세서(305)에 결합된다. 인코드 프로세서(303)는 특히 구조 데이터를 인코딩 구조 프로세서(305)로 공급할 수 있다. 응답시, 인코딩 구조 프로세서(305)는 인코드 프로세서(303)에 의해 발생되는 인코딩된 신호를 디코딩하도록 디코더에 의해 사용되어야 하는 계층적인 디코더 구조를 표시하는 디코더 트리 구조 데이터를 발생시킨다.
디코더 트리 구조 데이터는 계층적인 인코딩 구조를 설명하는 데이터에 따라서 직접적으로 결정될 수 있거나 예를 들어 사용되어야 하는 계층적인 디코더 구조를 직접적으로 설명하는 데이터일 수 있다는 것을 알 수 있을 것이다(예를 들어, 이는 인코드 프로세서(303)의 구조에 대한 상보적인 구조를 설명할 수 있다).
디코더 트리 구조 데이터는 특히 계층적인 디코더 구조의 계층적인 층들에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함한다. 따라서, 디코더 트리 구조 데이터는 오디오 채널이 디코더에서 분할되어야 하는 장소에 대한 적어도 한 표시를 포함할 수 있다. 이와 같은 표시는 예를 들어 인코딩 구조가 다운-믹서를 포함하거나 등가적으로 업-믹서를 포함하여야 하는 디코더 트리 구조의 층의 표시일 수 있다.
인코드 프로세서(303) 및 인코딩 구조 프로세서(305)는 인코드 프로세서(303)로부터 인코딩된 오디오 및 인코딩 구조 프로세서(305)로부터 디코더 트리 구조 데이터를 포함하는 비트 스트림을 발생시키는 데이터 스트림 발생기(307)에 결합된다. 그 후, 이 데이터 스트림은 수신기(103)로 통신하기 위하여 네트워크 송신기(111)에 공급된다.
도 4는 본 발명의 일부 실시예들에 따른 디코더(115)의 예를 도시한다.
디코더(115)는 네트워크 수신기(113)로부터 송신되는 데이터 스트림을 수신하는 수신기(401)를 포함한다. 디코더(115)는 수신기(401)에 결합되는 디코드 프로세서(403) 및 디코더 구조 프로세서(405)를 더 포함한다.
수신기(401)는 디코더 트리 구조 데이터를 추출하고 이를 디코더 구조 프로세서(405)로 공급하는 반면에, 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 오디오 인코딩 데이터는 디코드 프로세서(403)로 공급된다.
디코더 구조 프로세서(405)는 수신된 디코더 트리 구조 데이터에 응답하여 계층적인 디코더 구조를 결정하도록 배열된다. 특히, 디코더 구조 프로세서(405)는 데이터 분할들을 규정하는 데이터 값들을 추출하고 인코드 프로세서(303)의 계층적인 인코딩 구조를 상보하는 계층적인 디코더 구조의 정보를 발생시킬 수 있다. 이 정보는 디코드 프로세서(403)로 공급되어, 이것이 규정된 계층적 디코더 구조에 부합하여 구성되도록 한다.
다음에, 디코드 프로세서(403)는 계층적인 디코더 구조를 이용하여 인코더(109)로의 원래 입력들에 대응하여 출력 채널들을 발생시키도록 진행한다.
따라서, 이 시스템은 오디오 신호들, 특히 다채널 오디오 신호들의 효율적이고 고품질의 인코딩, 디코딩 및 분포를 허용할 수 있다. 매우 유연한 시스템이 가능한데, 여기서 디코더들은 인코더들에 자동적으로 적응할 수 있음으로 이에 따라서 동일한 디코더들이 다수의 상이한 인코더들과 함께 사용될 수 있다.
디코더 트리 구조 데이터는 계층적인 디코더 구조의 상이한 계층적인 층들에서 오디오 채널들을 위한 채널 분할 특성들을 표시하는 데이터 값들을 이용하여 효율적으로 통신된다. 따라서, 디코더 트리 구조 데이터는 유연하며 고성능의 계층적인 인코딩 및 디코딩 구조들에 대해서 최적화된다.
예를 들어, 5.1 채널 신호(즉, 6개의 채널 신호)는 공가 파라미터들의 세트 더하기 스테레오 신호로서 인코딩될 수 있다. 이와 같은 인코딩은 간단한 TTO 또는 3-대-2(TTT) 다운-믹서들을 사용하는 많은 상이한 계층적인 인코딩 구조들에 의해 성취될 수 있음으로, 많은 상이한 계층적인 디코더 구조들은 1-대-2(OTT) 또는 2-대-3(TTT) 업-믹서들을 이용하여 가능하게 된다. 따라서, 대응하는 공간 비트 스트림을 디코딩하기 위하여, 디코더는 인코더에서 사용되는 계층적인 인코딩 구조를 알게 된다. 그 후, 하나의 직접적인 방법은 룩업 테이블로 인덱스에 의해 비트-스트림 내의 트리를 신호화 하는 것이다. 적절한 룩-업 테이블의 예는 다음일 수 있다.
트리 코드워드 트리
0...000 모노 대 5.1 베리언트(variant) A
0...001 모노 대 5.1 베리언트 B
0...010 스테레오 대 5.1 베리언트 A
... ...
1...111 ...
그러나, 이와 같은 룩업 테이블을 이용하면 가능한 사용될 수 있는 모든 계층적인 인코딩 구조들이 룩업 테이블에서 명시적으로 규정되어 하는 단점을 갖는다. 그러나, 이는 모든 디코더들/인코더들이 갱신된 룩업 테이블들을 수신하여 시스템으로 새로운 계층적인 인코딩 구조를 도입시키는 것을 필요로 한다. 이는 매우 바람직하지 않고 복잡한 연산 및 유연하지 못한 시스템을 초래한다.
대조적으로, 데이터 값들이 계층적인 디코더 구조의 상이한 층들에서 채널 분할들을 표시하는 디코더 트리 구조 데이터의 이용은 임의의 계층적인 디코더 구조를 설명할 수 있는 디코더 트리 구조 데이터의 간단한 일반적인 통신을 허용한다. 따라서, 새로운 인코딩 구조들은 대응하는 디코더들의 임의의 사전 통지를 필요로 함이 없이 손쉽게 사용될 수 있다.
따라서, 룩업 기반으로 한 방식과 대조적으로, 도 1의 시스템은 충분한 유연성을 유지하면서 임의 수의 입력 및 출력 채널들을 취급할 수 있다. 이는 비트 스트림에서 인코더/디코더 트리의 디스크립션을 규정함으로써 성취된다. 이 디스크립션으로부터, 디코더는 비트 스트림에서 인코딩된 다음 파라미터들을 어디서 그리고 어떻게 적용하는지를 유도할 수 있다.
디코더 트리 구조 데이터는 특히 각 데이터 값이 계층적인 디코더 구조의 하나의 계층적인 층에서 한 채널을 위한 채널 분할 특성을 표시하는 다수의 데이터 값들을 포함할 수 있다. 특히, 디코더 트리 구조 데이터는 계층적인 디코더 구조에 포함될 각 업-믹서를 위한 하나의 데이터 값을 포함할 수 있다. 게다가, 하나의 데이터 값은 추가로 분할되지 않는 각 채널을 위하여 포함될 수 있다. 따라서, 디코더 트리 구조 데이터의 데이터 값이 하나의 특정한 소정 데이터 값에 대응하는 값을 가지면, 이는 대응하는 채널이 추가로 분할되는 것이 아니라 실제로 디코더(115)의 출력 채널이라는 것을 표시할 수 있다.
일부 실시예들에서, 이 시스템은 TT0 다운-믹서들을 배타적으로 사용할 수 있고 디코더는 OTT 업-믹서들만을 이용하여 구현될 수 있는 인코더들만을 포함할 수 있다. 이와 같은 실시예에서, 데이터 값은 디코더의 각 채널을 위하여 포함될 수 있다. 게다가, 데이터 값은 2개의 가능한 값들 중 하나를 취할 수 있는데, 한 값은 채널이 분할되지 않는다는 것을 표시하고 다른 한 값은 채널이 OTT 업믹서에 의해 2개의 채널들로 분할된다는 것을 표시한다. 게다가, 디코더 트리 구조 데이터에서 데이터 값들의 순서는 어느 채널들이 분할되는지를 표시함으로써 계층적인 디코더 구조에서 OTT 업-믹서들의 위치를 표시할 수 있다. 따라서, 필요로 되는 계층적인 디코더 구조를 완전히 설명하는 간단한 2진 값들을 포함하는 디코더 트리 구조 데이터가 성취될 수 있다.
특정 예로서, 도 5의 디코더의 계층적인 디코더 구조의 비트스트링 디스크립션(bitstring description)의 유도가 설명될 것이다.
이 예에서, 인코더들은 단지 TTO 다운-믹서들만을 사용함으로써 디코더 트리가 2진 스트링에 의해 설명될 수 있다라고 가정하자. 도 5의 예에서, 단일 입력 오디오 채널은 OTT 업-믹서들을 이용하여 5개의 채널 출력 신호로 확장된다. 이 예에서, 4개의 층들의 깊이는 구별될 수 있는데, 0으로 표시되는 최초는 입력 신호의 층에 있고, 3으로 표시되는 최종은 출력 신호들의 층에 있다. 이 디스크립션에서 이들 층들은 층 경계들을 형성하는 업-믹서들을 갖는 오디오 채널들에 의해 특징지어지는데, 이 층들은 마찬가지로 업-믹서들에 의해 형성되거나 포함되도록 간주될 수 있다.
이 예에서, 도 5의 계층적인 디코더 구조는 다음 단계들에 의해 유도되는 비트 스트링 "111001000"에 의해 설명될 수 있다:
1- 층 0, t0에서 입력 신호는 분할된다(OTT 업 믹서 A), 따라서 층 0에서 모든 신호가 층 1로 이동되는 것으로 설명된다.
1- 층 1에서 제 1 신호(OTT 업-믹서 A의 최상부에서 나옴)는 분할된다(OTT 업-믹서 B).
1- 층 1에서 제 2 신호(OTT 업-믹서 A의 최하부에서 나옴)는 분할된다(OTT 업믹서 C), 층 1에서 모든 신호들은 층 2로 이동되는 것으로 설명된다.
0- 층 2에서 제 1 신호(OTT 업-믹서 B의 최상부)는 더이상 분할되지 않는다.
0- 층 2에서 제 2 신호(OTT 업-믹서 B의 최하부)는 더이상 분할되지 않는다.
1- 층 2에서 제 3 신호(OTT 업-믹서 C의 최상부)는 다시 분할된다.
0- 층 2에서 제 4 신호(OTT 업-믹서 D의 최하부)는 더이상 분할되지 않으며, 층 2에서 모든 신호들은 층 3으로 이동되는 것으로 설명된다.
0- 층 3에서 제 1 신호(OTT 업-믹서 D의 최상부)는 더이상 분할되지 않는다.
0- 층 3에서 제 2 신호(OTT 업-믹서 D의 최하부)는 더이상 분할되지 않으며, 모든 신호들은 설명되었다.
일부 실시예들에서, 인코딩은 단지 TTO 및 TTT 다운-믹서들만을 이용하는 것으로 제한될 수 있으므로, 이 디코딩은 단지 OTT 및 TTT 업-믹서들만을 이용하는 것으로 제한될 수 있다. TTT 업-믹서들이 많은 다양한 구성들로 사용될 수 있지만, 2개의 입력 신호들로부터 3개의 출력 신호들을 정확하게 추정하도록 하는 (파형) 예측이 사용되는 모드로 이들을 이용하는 것이 특히 유용하다. TTT 업-믹서들의 예측 특성으로 인해, 이들 업-믹서들을 위한 논리적인 위치는 트리의 루트에 있다. 이는 원래 파형을 파괴하는 OTT 업-믹서들의 결과인데, 이로 인해 예측이 부적합하게 된다. 따라서, 일부 실시예들에서, 디코더 구조에서만 사용되는 업-믹서들은 루트 층에서 OTT 업-믹서들 또는 TTT 업-믹서들이다.
그러므로, 이와 같은 시스템들에 대해서, 유니버셜 트리 디스크립션을 모두 허용하는 3가지 상이한 상황들이 구별될 수 있다.
1.) 루트로서 TTT 업-믹서를 갖는 트리들.
2) OTT 업-믹서들만으로 이루어진 트리들.
3) "엠프티(empty) 트리들", 즉 입력으로부터 출력 채널(들)로의 직접적인 맵핑.
도 6은 루트에서 TTT 업-믹서들을 갖는 계층적인 디코더 구조들의 예를 도시하고 도 7은 다수의 디코더 트리 구조들을 포함하는 계층적인 디코더 구조의 예를 도시한다. 도 7의 계층적인 디코더 구조는 상기 제안된 모든 3가지 예들에 따른 디코더 트리 구조들을 포함한다.
일부 실시예들에서, 디코더 트리 구조 데이터는 입력 채널이 TTT 업-믹서를 포함하는지 여부에 따라서 순서화된다. 디코더 트리 구조 데이터는 하부층들의 채널들이 OTT-업 믹서에 의해 분할되는지 더이상 분할되지 않는지의 2진 데이터 표시보다 앞서 루트 층에서 존재하는 TTT 업-믹서의 표시를 포함할 수 있다. 이는 비트 레이트 및 저 시그널링 비용들과 관련하여 수행 성능을 개선시킬 수 있다.
예를 들어, 디코더 트리 구조 데이터는 얼마나 많은 TTT 업-믹서들이 계층적인 디코더 구조에 포함되는지를 표시할 수 있다. 각 트리 구조가 루트 레벨에 위치되는 하나의 TTT 업-믹서만을 포함할 수 있기 때문에, 트리의 나머지는 상술된 바와 같은 2진 스트링에 의해 설명될 수 있다(즉, 트리가 단지 하부층들에 대한 OTT 업-믹서 트리이기 때문에, OTT 업-믹서 전용 계층적인 디코더 구조에 대해서 설명되는 바와 동일한 방법이 적용될 수 있다).
또한, 나머지 트리 구조들은 OTT 업믹서 전용 트리들 또는 또한 2진 스트링들에 의해 설명될 수 있는 엠프티 트리들이다. 다라서, 모든 트리들은 2진 데이터 값들에 의해 설명될 수 있고 2진 스트링의 해석은 트리가 어느 카테고리에 속하는지에 좌우될 수 있다. 이 정보는 디코더 트리 구조 데이터에서 트리의 위치에 의해 제공될 수 있다. 예를 들어, TTT-업 믹서를 포함하는 모든 트리들은 엠프티 트리들에 앞서 OTT-업 믹서 전용 트리들보다 앞서 디코더 트리 구조 데이터에서 우선 위치될 수 있다. 계층적인 디코더 구조에서 TTT 업-믹서들 및 OTT 업-믹서들의 수가 디코더 트리 구조 데이터에 포함되면, 디코더는 임의의 부가적인 데이터 없이도 구성될 수 있다. 따라서, 필요로 되는 디코더 구조 정보의 매우 효율적인 통신이 성취된다. 디코더 트리 구조 데이터를 통신시키는 오버헤드는 매우 낮게 유지될 수 있지만, 광범위의 다양한 계층적인 디코더 구조들을 설명할 수 있는 매우 유연한 시스템이 제공된다.
특정 예로서, 도 7의 디코더의 계층적인 디코더 구조들은 다음 공정에 의해 디코더 트리 구조 데이터로부터 유도될 수 있다.
- 입력 신호들의 수는 (가능한 인코딩된) 다운-믹스로부터 유도된다.
- 전체 트리의 OTT 업-믹서들 및 TTT 업-믹서들의 수는 디코더 트리 구조 데이터에서 신호화되어 이로부터 추출될 수 있다. 출력 신호들의 수는: #출력 신호들 = #입력 신호들 + #TTT 업-믹서들 + #OTT 업-믹서들로서 유도될 수 있다.
- 입력 채널들은 디코더 트리 구조 데이터에서 재맵핑되어, 먼저 재맵핑한 후, 상황 1)에 따른 트리들이 상황 2) 및 그 후 3)에 따라서 트리들보다 앞서 조우되도록 한다. 도 7의 예에서, 이는 순서 3, 0, 1, 2, 4가 되는데, 즉 신호 0은 재맵핑 후 신호 3이며, 신호 1은 재맵핑 후 신호 0 등이다.
- 각 TTT 업-믹서에 대해서, 3개의 OTT-전용 트리 디스크립션들은 상술된 방법을 이용하여 제공되는데, TTT 출력 채널당 하나의 OTT-전용 트리이다.
- 모든 나머지 입력 신호들에 대해서 OTT-전용 디스크립션들이 제공된다.
일부 실시예들에서, 출력 채널의 확성기 위치의 표시는 디코더 트리 구조 데이터에 포함된다. 예를 들어, 소정 확성기 위치들의 룩업 테이블은 예를 들어 다음과 같이 사용될 수 있다:
비트 스트링 (가상) 확성기 위치
0...000 좌(프론트)
0...001 우(프론트)
0...010 중앙
0...011 LFE
0...100 좌 서라운드
0...101 우 서라운드
0...110 중앙 서라운드
... ...
대안적으로, 확성기 위치들은 계층적인 방법을 이용하여 표현될 수 있다. 예를 들어, 몇개의 제 1 비트들은 x-축, 예를 들어, L, R, C를 규정하며, 또 다른 몇개의 비트들은 y-축, 예를 들어, 정면, 측면 서라운드를 규정하고 또 다른 몇개의 비트들은 z-축(고도)를 규정한다.
특정 예로서, 다음은 상술된 지침들에 따른 비트-스트림을 위한 예시적인 비트 스트림 신택스(syntax)를 제공한다. 이 예에서, 입력 및 출력 신호들의 수는 명시적으로 비트-스트림에서 코딩된다. 이와 같은 정보는 비트-스트림의 부분을 유효하게 하는데 사용될 수 있다.
Figure 112008011160180-pct00001
이 예에서, 각 OttTree는 이하에 예시되는 OttTreeDescription()에서 취급된다.
Figure 112008011160180-pct00002
상기 신택스에서, 볼드 포맷팅(bold formatting)은 비트 스트림으로부터 판독된 원소들을 표시하도록 사용된다.
계층적인 층의 개념은 이와 같은 디스크립션에서 필요로 되지 않는다는 것을 인지할 것이다. 예를 들어, "오픈 엔드들이 존재하는 한 비트들이 더 많이 나타난다는" 원리를 토대로 한 디스크립션이 또한 적용될 수 있다. 그러나, 데이터를 디코딩하기 위하여, 이 개념은 유용하다.
OTT 업-믹서가 존재하는지 여부를 표시하는 단일 비트들을 제외하면, 다음 데이터는 OTT 업-믹서에 포함된다.
- 디폴트 채널 레벨 차.
- OTT 업-믹서가 LFE(저주파수 인핸스먼트) OTT 업-믹서인지 여부, 즉 파라미터들이 단지 대역-제한되고 임의의 상관/코히어런스 데이터를 포함하지 않는지 여부.
게다가, 데이터는 어느 모드(파형 기반으로 한 예측, 에너지 기반으로 한 디스크립션 등)를 이용할지에 대한 TTT 업-믹서의 예에서와 같이 업-믹서들의 특정 특성들을 규정할 수 있다.
당업자에게 공지될 바와 같이, OTT-업 믹서는 디코럴레이팅된 신호를 이용하여 단일 채널을 2개의 채널들로 분할한다. 게다가, 디코럴레이팅된 신호는 단일 입력 채널 신호로부터 유도된다. 도 8은 이 방법에 따른 OTT 업-믹서의 예를 도시한다. 따라서, 도 5의 예시적인 디코더는 도 9의 다이어그램으로 표시될 수 있는데, 여기서 디코럴레이팅된 신호들을 발생시키는 디코럴레이터 블록들(de-correlator blocks)이 명시적으로 도시되어 있다.
그러나, 도시된 바와 같이, 이 방법은 디코럴레이터 블록들의 캐스케이딩을 발생시켜, 하부 층 OTT 업 믹서를 위한 디코럴레이팅된 신호가 또 다른 디코럴레이팅된 신호로부터 발생되는 입력 신호로부터 발생되도록 한다. 따라서, 루트 레벨에서 원래 입력 신호로부터 발생되는 것이 아니라, 하부층들의 디코럴레이팅된 신호들은 여러 디코럴레이션 블록들에 의해 처리된다. 각 디코럴레이션 블록이 디코럴레이션 필터를 포함하기 때문에, 이 방법은 디코럴레이팅된 신호(예를 들어, 트랜지언트들이 상당히 왜곡될 수 있다)의 "스미어링(smearing)"을 초래할 수 있다. 이는 출력 신호의 오디오 품질 저하를 초래한다.
따라서, 오디오 품질을 개선시키기 위하여, 디코더 업믹스에 적용되는 디코럴레이터들은 일부 실시예들에서 이동될 수 있어, 디코럴레이팅된 신호들의 캐스케이딩을 방지한다. 도 10은 도 9의 디코더 구조에 대응하는 디코더 구조의 예를 도시하지만, 디코럴레이터들은 입력 채널에 직접적으로 결합된다. 따라서, 디코럴레이터로의 입력으로서 선행 OTT 업-믹서의 출력을 취하는 대신에, 디코럴레이터 업믹서들은 이득 업-믹서들(GB, GC,및 GD)에 의해 사전처리되는 직접적으로 원래 입력 신호(t0)를 취한다. 이들 이득들은 디코럴레이터의 입력에서 전력이 도 9의 구조에서 디코럴레이터의 입력에서 성취되는 전력과 동일하도록 보장한다. 이 방식으로 얻어진 구조는 디코럴레이터들의 캐스케이드를 포함하지 않음으로써 오디오 품질을 개선시킨다.
이하에서, 디코더 트리 구조 데이터에 응답하여 계층적인 층들의 업-믹서들을 위한 매트릭스 승산 파라미터들을 결정하는 방법의 예가 설명될 것이다. 특히, 이 설명은 업-믹서들의 디코럴레이팅된 신호들을 발생시키기 위한 디코럴레이션 필터들이 디코딩 구조의 오디오 입력 채널들에 직접 연결되는 실시예들에 집중될 것이다. 따라서, 이 설명은 도 10에 도시된 바와 같은 인코더들의 실시예들에 집중될 것이다.
도 11은 본 발명의 일부 실시예들에 따라서 디코딩하는 방법에 대한 예시적인 순서도를 도시한 것이다.
단계(1101)에서, 양자화되고 코딩된 파라미터들은 수신된 비트-스트림으로부터 디코딩된다. 당업자가 인지하는 바와 같이, 이는 다음과 같은 종래의 파라미터 오디오 코딩 파라미터들의 다수의 벡터들을 발생시킬 수 있다.
Figure 112008011160180-pct00003
등.
각 벡터는 주파수 축에 따른 파라미터들을 나타낸다.
단계(1101)는 개별적인 업믹서들을 위한 매트릭스들이 디코딩된 파라미터 데이터로부터 결정되는 단계(1103)보다 앞서있다.
(주파수 독립) 일반화된 OTT 및 TTT 매트릭스들은 다음과 같이 각각 제공될 수 있다:
Figure 112008011160180-pct00004
Figure 112008011160180-pct00005
신호들(xi, di, 및 yi)는 입력 신호들, xi로부터 유도된 디코럴레이팅된 신호들 및 출력 신호들 각각을 표시한다. 매트릭스 엔트리들 Hij 및 Mij는 단계(1103)에서 유도된 파라미터들의 함수들이다.
그 후, 이 방법은 2개의 병렬 경로들로 분할되는데, 한 경로는 트리-프리 매트릭스 값들을 유도하는 것에 관한 것이며(단계(1105)) 한 경로는 트리-혼합 매트릭스 값들을 유도하는 것에 관한 것이다(단계 1107).
프리-매트릭스들은 디코럴레이션(de-correlation) 및 매트릭스 애플리케이션 전에 입력 신호에 인가되는 매트릭스 승산들에 대응한다. 특히, 프리-매트릭스들은 디코럴레이션 필터들 전에 입력 신호에 인가되는 이득 업-믹서들에 대응한다.
구체적으로, 직접 디코더 구현방식은 일반적으로 예를 들어 도 9에 적용된 바와 같은 디코럴레이션 필터들의 캐스케이드를 유도할 것이다. 상술된 바와 같이, 이 캐스케이딩을 방지하는 것이 바람직하다. 이와 같이 행하기 위하여, 디코럴레이션 필터들 모두는 도 10에 도시된 바와 동일한 계층적인 레벨로 이동된다. 디코럴레이팅된 신호(decorrelated signal)들이 도 9의 직접적인 경우에서 디코럴레이팅된 신호의 레벨과 동일한 적절한 에너지 레벨을 갖도록 조장하기 위하여, 프리-매트릭스들은 디코럴레이션 전에 적용된다.
예로서, 도 10의 이득(GB)은 다음과 같이 유도된다. 우선, 1-대-2 업-믹서가 입력 신호 전력을 1-대-2 업-믹서의 상부 및 하부 출력으로 분할한다. 이 특성은 채널간 강도 차(IID) 또는 채널간 레벨 차(ICLD) 파라미터들에서 반영된다. 그러므로, 이득(GB)은 1-대-2 업 믹서의 상부 및 하부 출력의 합에 의해 분할되는 상부 출력의 에너지 비로서 계산된다. IID 또는 ICLD 파라미터들이 시간 및 주파수-베리언트(variant) 일 수 있으며 이득은 또한 시간 및 주파수에 걸쳐서 가변될 수 있다는 것을 인지할 것이다.
혼합 매트릭스들은 부가적인 채널들을 발생시키기 위하여 업-믹서들에 의해 입력 신호에 적용되는 매트릭스들이다.
최종 프리 및 혼합-매트릭스 식들은 OTT 및 TTT 업-믹서들의 캐스케이드의 결과이다. 디코더 구조가 디코럴레이터들의 캐스케이드들을 방지하도록 보정되기 때문에, 이는 최종 식들을 결정할 때 고려되어야 한다.
실시예들에서, 단지 소정의 구성들이 사용되는 경우, 매트릭스 엔트리들(Hij 및 Mij) 간의 관계 및 최종 매트릭스 식들은 일정하고 표준 수정이 적용될 수 있다.
그러나, 상술된 더욱 유연하고 동적인 방법에 대해서, 프리 및 혼합-매트릭스 값들의 결정은 후술된 바와 같이 더욱 복잡한 방법들을 통해서 결정될 수 있다.
단계(1105)는 단계(1005)에서 유도된 프리-매트릭스들이 시간 도메인 신호를 주파수 도메인으로 변환시키도록 적용되는(단계 1113) 실제 주파수 그리드로 맵핑되는 단계(1109)보다 앞서 있다.
단계(1109)는 주파수 매트릭스 파라미터들의 보간이 보간될 수 있는 단계(1111)보다 앞서 있다. 특히, 파라미터들의 일시적 갱신이 단계(1113)의 시간 대 주파수 변환의 갱신에 대응하는지 여부에 따라서, 보간이 적용될 수 있다.
단계(1113)에서, 입력 신호들은 맵핑되고 임의로 보간된 프리-매트릭스들을 적용하기 위하여 주파수 도메인으로 변환된다.
단계(1115)는 단계(1111 및 1113)를 따르고 주파수 도메인 입력 신호들에 프리-매트릭스들을 적용하는 것을 포함한다. 실제 매트릭스 애플리케이션은 매트릭스 승산들의 세트이다.
단계(1115)는 단계(1115)의 매트릭스 애플리케이션으로부터 발생되는 신호들의 일부가 디코럴레이팅된 신호들을 발생시키기 위하여 디코럴레이션 필터로 공급되는 단계(1117)보다 앞서 있다.
동일한 방법이 혼합-매트릭스 식들을 유도하도록 적용된다.
특히, 단계(1107)는 단계(1107)에서 결정된 식들이 단계(1113)의 시간-대-주파수 변환의 주파수 그리드로 맵핑되는 단계(1119)보다 앞서있다.
단계(1119)는 파라미터들 및 변환의 일시적 갱신에 따라서 다시 혼합-매트릭스 값들이 임의로 보간되는 단계(1121)보다 앞서 있다.
따라서, 단계들(1115, 1117, 및 1121)에서 발생된 값들은 업-혼합 매트릭스 승산에 필요로 되는 파라미터들을 형성하고 이는 단계(1123)에서 수행된다.
단계(1123)는 이 결과의 출력이 다시 시간 도메인으로 변환되는 단계(1125)보다 앞서 있다.
도 11의 단계들(1115, 1117, 및 1123)에 대응하는 단계들은 도 12에 부가적으로 도시될 수 있다. 도 12는 본 발명의 일부 실시예들에 따른 매트릭스 디코더 구조의 예를 도시한다.
도 12는 입력 다운믹스 채널들이 다채널 출력을 재구성하도록 사용될 수 있는 방법을 도시한다. 상술된 바와 같이, 이 프로세스는 중간 디코럴레이션 유닛들과 2개의 매트릭스 승산에 의해 설명될 수 있다.
그러므로, 출력 채널들을 형성하기 위한 입력 채널들의 프로세싱은 다음에 따라서 설명될 수 있다:
Figure 112008011160180-pct00006
Figure 112008011160180-pct00007
여기서,
Figure 112013009316850-pct00008
는 디코럴레이터들로 진행하는 특정 수의 채널들에 특정수의 입력 채널들을 맵핑하는 2차원 매트릭스이고, 매 시간-슬롯(n)마다 그리고 매 서브대역(k)마다 규정된다.
Figure 112013009316850-pct00009
는 특정 수의 출력 채널들에 특정수의 전처리된 채널들을 맵핑하는 2차원 매트릭스이고, 매 시간-슬롯(n)마다 그리고 매 하이브리드 서브대역(k)마다 규정된다.
이하에서, 단계들(1105 및 1107)의 프리- 및 혼합-매트릭스 식들의 예는 후술되는 디코더 트리 구조 데이터로부터 발생될 수 있다.
첫째로, 단지 OTT 업믹서들만을 갖는 디코더 트리 구조들은 도 13의 예시적인 트리와 관련하여 고려될 것이다.
이 유형의 트리들에 대해서, 다수의 도움 변수들을 규정하는 것이 유용하다:
Figure 112008011160180-pct00010
는 각 OTT 업-믹서에 대해 조우되는 OTT 업믹서 인덱스들을 설명한다(즉, 이 예에서 4번째 OTT 업-믹서로 입력되는 신호는 Tree1 매트릭스에서 5번째 칼럼에 의해 제공된 바와 같이 0 번째 및 첫 번째 OTT-업믹서를 통과한다. 유사하게, 2번째 OTT 업-믹서로 입력되는 신호는 Tree1 매트릭스에서 3번째 칼럼에 의해 제공된 바와 같이 0 번째 OTT 박스를 통과한다, 등등).
Figure 112008011160180-pct00011
는 상부 또는 하부 경로가 각 OTT 업-믹서에 대해서 수행되는지 여부를 설명한다. 정의 부호는 상부 경로를 표시하고 부의 부호는 하부 경로를 표시한다.
매트릭스는 Tree1 매트릭스에 대응함으로 Tree1 매트릭스 내 특정 칼럼 및 로우가 특정 OTT 업-믹서를 가리킬 때,
Figure 112013009316850-pct00012
매트릭스 내 동일한 칼럼 및 로우는 특정 OTT 업-믹서가 특정 칼럼의 제 1 로우에 제공되는 OTT 업-믹서에 도달하도록 사용되는지를 표시한다. (즉, 이 예에서, 4번째 OTT 업-믹서로 입력되는 신호는 0번째 OTT 업 믹서의 상부 경로(
Figure 112013009316850-pct00013
매트릭스 내 3번째 로우, 5번째 칼럼으로 표시된 바와 같이) 첫번째 OTT 업-믹서의 하부 경로(
Figure 112013009316850-pct00014
매트릭스 내 2번째 로우, 5번째 칼럼으로 표시된 바와 같이)를 통과한다.
Figure 112008011160180-pct00015
는 각 OTT 업-믹서에 대한 트리의 깊이를 설명하고(즉, 이 예에서 업-믹서 0은 층 1에 있고 업-믹서 1 및 2는 층 2에 있고 업-믹서 3 및 4는 층 3에 있다);
Figure 112008011160180-pct00016
는 트리 내의 원소들의 수를 표시한다(즉, 이 예에서, 트리는 5개의 업-믹서들을 포함한다).
그 후, 디코럴레이팅된 신호들만을 위한 프리-매트릭스를 설명하는 템포러리 매트릭스(K1)은 다음에 따라서 정의된다:
Figure 112008011160180-pct00017
여기서
Figure 112008011160180-pct00018
는 OTT 박스의 상부 또는 하부 출력이 사용되는지 여부에 따라서 Tree1 (i, p)로 표시되는 OTT 업-믹서에 대한 이득 값이고, 여기서
삭제
Figure 112013009316850-pct00019
이고
Figure 112013009316850-pct00020
, 여기서
Figure 112013009316850-pct00021
이다.
IID 값들은 비트스트림으로부터 얻어지는 채널간 강도 차 값들이다.
그 후, 최종 프리-혼합 매트릭스 M1은 다음과 같이 구성된다.
Figure 112008011160180-pct00022
프리-혼합 매트릭스의 목적은, OTT 박스들 이전에, 도 13에서의 OTT 업-믹서에 포함되는 디코럴레이터들을 이동시킬 수 있도록 한다는 것을 상기하라. 그러므로, 프리-혼합 매트릭스는 OTT 업-믹서에서 모든 디코럴레이터들에 대한 "드라이(dry)" 입력 신호를 공급할 필요가 있는데, 여기서 입력 신호들은 디코럴레이터가 트리 앞에 이동시키기 전 위치된 트리 내의 특정 지점에서 가졌던 레벨을 갖는다.
또한, 프리-매트릭스만이 디코럴레이터들로 진행하는 신호들에 대한 사전-이득을 적용하고 디코럴레이터 신호들 및 "드라이" 다운믹스 신호의 혼합이 이하에 설명될 혼합-매트릭스 (M2)에서 발생되며, 프리-혼합 매트릭스의 제 1 원소는 M2 매트릭스에 직접 결합되는 출력을 제공한다(도 12 참조, 여기서 m/c 라인은 이를 도시한다).
OTT 업-믹서 전용 트리가 현재 관측되고 있는 경우, OTT 업-믹서 제로에서 디코럴레이터로 진행하는 신호가 정확하게 다운믹스 입력 신호이기 때문에 프리-매트릭스 벡터(M1)의 제 2 원소는 1이 될 것이고 고 이를 위하여 이미 트리 내에 가장 먼저 존재하기 때문에 OTT 업-믹서가 전체 트리 앞에서 디코럴레이터를 이동시키는데 아무런 차이가 없게 된다는 것이 명백하다.
게다가, 디코럴레이터들로의 입력 벡터가
Figure 112013009316850-pct00023
로 제공되고 도 13 및 도 12와
Figure 112013009316850-pct00024
매트릭스에서 원소들이 유도되는 방식을 관찰하면, M1의 제 1 로우는 도 12의 m개의 신호에 대응하고 다음 로우들은 OTT 박스 (0,...,4)의 디코럴레이터 입력 신호에 대응한다. 그러므로,
Figure 112013009316850-pct00025
벡터는 다음과 같이 될 것이다.
Figure 112008011160180-pct00026
여기서 en은 도 13에서 n번째 OTT 박스로부터의 디코럴레이터 출력을 표시한다.
지금부터, 혼합 매트릭스(M2)를 관찰하면, 이 매트릭스의 원소들은 유사하게 공제될 수 있다. 그러나, 이 매트릭스에 대해서, 이 목적은 드라이 신호를 이득 조정하고 이를 관련 디코럴레이터 출력들과 혼합하기 위한 것이다. 트리 내 각 OTT 업-믹서가 다음에 의해 설명될 수 있다는 점을 상기하라.
Figure 112008011160180-pct00027
여기서, Y1은 OTT 박스의 상부 출력이고 Y2는 하부이고 X는 드라이 입력 신호이고 Q는 디코럴레이터 신호이다.
출력 채널들이 매트릭스 승산
Figure 112013009316850-pct00028
에 의해 형성되고
Figure 112013009316850-pct00029
벡터가 다운믹스 신호와 도 12로 표시된 바와 같은 디코럴레이터들의 출력의 조합으로서 형성되기 때문에, M2 매트릭스의 각 로우는 특정 출력 채널을 형성하도록 혼합되어야 하는 상이한 디코럴레이터들 및 다운믹스 신호가 얼마나 많은지를 나타낸다.
예로서, 혼합 매트릭스 M2 의 제 1 로우가 관찰될 수 있다.
Figure 112008011160180-pct00030
M2 내의 제 1 로우의 제 1 원소는 "m" 신호의 기여도(contribution)에 대응하고 OTT 업-믹서 0, 1, 및 3의 상부 출력들에 의해 제공된 출력에 대한 기여도이다. 상기 H 매트릭스가 제공되면, 이는 H110, H111, H113 에 대응하는데, 그 이유는 OTT 박스의 상부 출력을 위한 드라이 신호의 량이 OTT 업-믹서의 H11 원소에 의해 제공되기 때문이다.
제 2 원소는 상기에 따라서 OTT 업-믹서(0)에 위치되는 디코럴레이터(D1)의 기여도에 대응한다. 그러므로, 이의 기여도는 H110, H113, H120이다. 이는 H120 원소가 OTT 업-믹서(0)로부터의 디코럴레이터 출력을 제공하기 때문에 입증되고, 그 신호는 다음에 드라이 신호의 부분으로서 OTT 업-믹서(1 및 3)을 통과함으로써 H110 및 H113 원소들에 따라서 이득 조정된다.
유사하게, 제 3 원소는 상기에 따라서 OTT 업-믹서(1)에 위치되는 디코럴레이터(D2)의 기여도에 대응한다. 그러므로, 이의 기여도는 H120 및 H113이다.
제 5 원소는 상기 표기법에 따라서 OTT 업-믹서(3)에 위치되는 디코럴레이터(D3)의 기여도에 대응한다. 그러므로, 이의 기여도는 H123이다.
제 1 로우의 제 4 및 제 6 원소는 제로인데, 그 이유는 매트릭스 내 제 1 로우에 대응하는 출력 채널의 부분에 대한 디코럴레이터(D4 또는 D6)의 기여도는 없기 때문이다.
상기 예시된 예는 매트릭스 원소들이 OTT 업-믹서 매트릭스 원소들(H)의 곱들로서 공제될 수 있다는 것을 입증한다.
일반적인 트리에 대한 혼합-매트릭스(M2)를 유도하기 위하여, 매트릭스(M1)에 대한 것으로서 유사한 절차가 유도될 수 있다. 우선, 다음의 헬퍼 변수들(helper variables)이 유도된다.
매트릭스 Tree는 신호가 각 출력 채널에 도달하도록 통과하여야만 하는 OTT 업-믹서들의 인덱스들을 설명하는 매 출력 채널에 대한 칼럼을 유지한다.
Figure 112008011160180-pct00031
매트릭스 Tree sign는 트리내 각 업-믹서에 대한 표시자를 유지하여 상부(1) 또는 하부(-1) 경로가 현재 출력 채널에 도달하도록 사용되는 경우를 표시한다.
Figure 112008011160180-pct00032
Tree depth 벡터는 특정 출력 채널에 도달하도록 통과되어야 하는 업-믹서들의 수를 유지한다.
Figure 112008011160180-pct00033
Tree elements 벡터는 전체 트리의 매 서브 트리에서 업-믹서들의 수를 유지한다.
Figure 112008011160180-pct00034
상기 규정된 표기법이 시그널링될 수 있는 모든 트리들을 설명하는데 충분하다라고 하면, M2 매트릭스는 정의될 수 있다. 1 입력 채널로부터 N개의 출력 채널들을 생성하는 서브-트리(k)에 대한 매트릭스는 다음에 따라서 정의된다.
Figure 112008011160180-pct00035
Figure 112008011160180-pct00036
에 대해서,
여기서
Figure 112008011160180-pct00037
여기서 H 원소들은 인덱스 Tree(p,j)를 갖는 OTT 업-믹서에 대응하는 파라미터들에 의해 정의된다.
이하에서, 루트 레벨에서 TTT 업-믹서들을 포함하는 더욱 일반적인 트리는 예를 들어 도 14의 디코더 구조와 같이 추정된다. 2개의 변수들(M1i 및 M2i)를 포함하는 업-믹서들은 OTT 트리들을 표시함으로 반드시 단일 OTT 업-믹서들일 필요는 없다. 게다가, 최초로 TTT 업-믹서들은 디코럴레이팅된 신호를 사용하지 않는데, 즉 TTT 매트릭스는 3 ×2 매트릭스로서 설명될 수 있다.
Figure 112008011160180-pct00038
이들 가정하에서 그리고 제 1 TTT 업-믹서에 대한 최종 프리 및 혼합-매트릭스들을 유도하기 위하여, 프리-혼합 매트릭스들의 2개의 세트들이 각 OTT 트리에 대해서 유도되는데, 하나는 TTT 업-믹서의 제 1 입력 신호에 대하 프리-매트릭싱을 설명하고 하나는 TTT 업-믹서의 제 2 입력 신호에 대한 프리-매트릭싱을 설명한다. 프리-매트릭싱 블록들 및 디코럴레이션의 적용 후, 신호들은 합산될 수 있다.
따라서, 출력 신호들은 다음과 같은 유도될 수 있다.
Figure 112008011160180-pct00039
최종적으로, TTT 업-믹서가 디코럴레이션을 사용하는 경우에, 디코럴레이팅된 신호의 기여도는 포스트-프로세스의 형태로 부가될 수 있다. TTT 업-믹서 디코럴레이팅된 신호가 유도된 후, 각 출력 신호에 대한 기여도는 다음 각 OTT 업-믹서의 IIDs에 의해 확산되는 [M13, M23, M33] 벡터에 의해 제공된 기여도를 간단화한다.
도 15는 본 발명의 일부 실시예들에 따라서 오디오 신호를 송, 수신하는 방법을 도시한다.
이 방법은 송신기가 다수의 입력 오디오 채널들을 수신하는 단계(1501)에서 개시된다.
단계(1501)는 송신기가 다수의 입력 오디오 채널들을 파라미터적으로 인코딩하여 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 발생시키는 단계(1503)보다 앞서 있다.
단계(1503)는 계층적인 인코딩 수단에 대응하여 계층적인 디코더 구조를 결정하는 단계(1505)보다 앞서 있다.
단계(1505)는 데이터 스트림 내 계층적인 디코더 구조의 계층적인 층에서 오디오 채널을 위한 채널 분할 특성을 표시하는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 포함하는 단계(1507)보다 앞서 있다.
단계(1507)는 송신기가 수신기로 데이터 스트림을 송신하는 단계(1509)보다 앞서 있다.
단계(1509)는 수신기가 데이터 스트림을 수신하는 단계(1511)보다 앞서 있다.
단게(1511)는 수신기에 의해 사용될 계층적인 디코더 구조가 디코더 트리 구조 데이터에 응답하여 결정하는 단계(1513)보다 앞서 있다.
단계(1513)는 수신기가 계층적인 디코더 구조를 이용하여 데이터 스트림으로부터 다수의 출력 오디오 채널들을 발생시키는 단계(1515)보다 앞서 있다.
간결성을 위한 상기 설명은 상이한 기능적인 유닛들 및 프로세서들과 관련하여 본 발명의 실시예들을 설명한다는 것을 알 수 있을 것이다. 그러나, 상이한 기능 유닛들 또는 프로세서들 간의 임의의 적절한 기능 분포는 본 발명으로부터 벗어남이 없이 사용될 수 있다는 것이 명백할 것이다. 예를 들어, 각 프로세서들 또는 제어기들에 의해 수행되도록 도시된 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 그러므로, 특정 기능 유닛들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 조직을 표시하는 것이 아니라 설명된 기능을 제공하기 위한 적절한 수단에 대한 참조들로서만 도시될 것이다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합들을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 소자들 및 구성요소들은 물리적으로, 기능적으로 그리고 논리적으로 임의의 적절한 방식으로 구현될 수 있다. 실제로, 이 기능은 단일 유닛, 다수의 유닛들 또는 다른 기능적인 유닛들의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현되거나 상이한 유닛들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분포될 수 있다.
본 발명이 일부 실시예들과 관련하여 서술되었지만, 본원에 설명된 특정 형태로 제한되지 않도록 한다. 오히려, 본 발명의 범위는 첨부한 청구범위들에 의해서만 제한된다. 게다가, 이 특징은 특정 실시예들과 관련하여 서술되었지만, 당업자는 서술된 실시예들의 각종 특징들이 본 발명에 따라서 결합될 수 있다는 것을 인식할 것이다. 청구범위들에서, 용어 포함하다는 다른 소자들 또는 단계들의 존재를 배제하지 않는다.
게다가, 개별적으로 목록화되었지만 다수의 수단, 소자들 또는 방법 단계들이 예를 들어 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 게다가, 개별적인 특징들이 상이한 청구범위들에 포함될 수 있지만, 이들은 유용하게 결합될 수 있고 상이한 청구범위들에 포함은 특징들의 조합이 가능하며 및/또는 유용하지 않다는 것을 의미하지 않는다. 또한, 청구범위들의 하나의 카테고리의 특징의 포함은 이 카테고리로의 제한을 의미하는 것이 아니라 적절한 대로 다른 청구항 카테고리들에 마찬가지로 적용될 수 있다는 것을 표시한다. 게다가, 청구항들의 특징들의 순서는 이 특징들이 동작되는 임의의 특정 순서를 의미하는 것이 아니고 특히 이 방법 청구항에서 개별적인 단계들의 순서는 이 단계들이 이 순서로 수행되어야 한다는 것을 의미하지 않는다. 오히려, 이 단계들은 임의의 적절한 순서로 수행될 수 있다. 게다가, 단수 참조들을 복수를 배제하지 않는다. 따라서, "하나의", "제 1", "제 2" 등에 대한 참조들은 복수를 배제하지 않는다. 청구항들에서 참조 부호들은 단지 명확한 예로서 제공되고 어쨌든 청구항들의 범위를 제한하는 것으로서 해석되지 않는다.

Claims (36)

  1. 다수의 출력 오디오 채널들을 발생시키기 위한 장치에 있어서:
    다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 수단(401)으로서, 상기 데이터 스트림은 계층적인 디코더 구조를 위한 디코더 트리 구조 데이터를 더 포함하고, 상기 디코더 트리 구조 데이터는 상기 계층적인 디코더 구조의 보다 낮은 계층적인 층에서의 오디오 채널에 대한 채널 분할 특성들을 나타내는 적어도 하나의 데이터 값을 포함하는, 상기 데이터 스트림 수신 수단(401);
    상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 수단(405)으로서, 상기 계층적인 디코더 구조는 상기 보다 낮은 계층적인 층 및 보다 높은 계층적인 층을 가지는, 상기 계층적인 디코더 구조를 발생시키는 수단(405); 및
    상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 수단(403)을 포함하고,
    상기 계층적인 디코더 구조는 상기 보다 낮은 계층적인 층에서 적어도 하나의 채널 분할 기능을 포함하며, 상기 적어도 하나의 채널 분할 기능은:
    상기 데이터 스트림의 입력 오디오 채널로부터 직접적으로 디코럴레이팅된 신호(de-correlated signal)를 발생시키고;
    상기 디코럴레이팅된 신호 및 상기 보다 낮은 계층적인 층으로부터의 오디오 채널로부터 상기 보다 높은 계층적인 층에 대한 복수의 출력 채널들을 발생시키고;
    상기 디코더 트리 구조 데이터에 응답하여 상기 채널 분할 특성이 상기 보다 낮은 계층적인 층에 존재하는지의 여부를 결정하는 것을 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  2. 제 1 항에 있어서,
    상기 디코더 트리 구조 데이터는 복수의 데이터 값들을 포함하며, 각 데이터 값은 상기 계층적인 디코더 구조의 하나의 계층적인 층에서 하나의 채널을 위한 채널 분할 특성을 나타내는, 다수의 출력 오디오 채널들 발생 장치.
  3. 제 2 항에 있어서,
    채널 분할 특성을 나타내는 각각의 데이터 값은 상기 데이터 값이 아무런 채널 분할도 나타내지 않을 때, 상기 계층적인 층에서 상기 채널에 대한 아무런 채널 분할도 나타내지 않는 미리 결정된 데이터 값을 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  4. 제 2 항에 있어서,
    채널 분할 특성을 나타내는 각각의 데이터 값은 상기 데이터 값이 1-대-2 채널 분할을 나타낼 때, 상기 계층적인 층에서 상기 채널에 대한 1-대-2 채널 분할을 나타내는 미리 결정된 데이터 값을 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  5. 제 2 항에 있어서,
    상기 복수의 데이터 값들은 2진 데이터 값들인, 다수의 출력 오디오 채널들 발생 장치.
  6. 제 5 항에 있어서,
    상기 2진 데이터 값들 중 제 1의 2진 데이터 값은 1-대-2 채널 분할을 나타내고, 상기 2진 데이터 값들 중 미리 결정된 다른 제 2의 2진 데이터 값은 아무런 채널 분할도 나타내지 않는, 다수의 출력 오디오 채널들 발생 장치.
  7. 제 1 항에 있어서,
    상기 데이터 스트림은 상기 다수의 입력 채널들의 지시를 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  8. 제 1 항에 있어서,
    상기 데이터 스트림은 상기 다수의 출력 채널들의 지시를 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  9. 제 1 항에 있어서,
    상기 데이터 스트림은 상기 계층적인 디코더 구조에서 다수의 1-대-2 채널 분할 기능들의 지시를 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  10. 제 1 항에 있어서,
    상기 데이터 스트림은 상기 계층적인 디코더 구조에서 다수의 2-대-3 채널 분할 기능들의 지시를 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  11. 제 1 항에 있어서,
    상기 디코더 트리 구조 데이터는 2-대-3 채널 분할 기능의 존재에 응답하여 배열된 복수의 디코더 트리 구조들을 위한 데이터를 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  12. 제 1 항에 있어서,
    적어도 하나의 입력 채널을 위한 상기 디코더 트리 구조 데이터는 2진 데이터보다 먼저 루트(root) 층에 존재하는 2-대-3 채널 분할 기능의 지시를 포함하고, 각 2진 데이터 값은 아무런 분할 기능도 나타내지 않거나 상기 2-대-3 분할 기능의 종속층들에 대한 1-대-2 채널 분할 기능을 나타내는, 다수의 출력 오디오 채널들 발생 장치.
  13. 제 1 항에 있어서,
    상기 데이터 스트림은 상기 출력 채널들 중 적어도 하나에 대한 확성기 위치의 지시를 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  14. 제 1 항에 있어서,
    상기 계층적인 디코더 구조를 발생시키는 수단(405)은 상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 층들의 채널 분할 기능들에 대한 승산(multiplication) 파라미터들을 결정하도록 구성되는, 다수의 출력 오디오 채널들 발생 장치.
  15. 삭제
  16. 제 1 항에 있어서,
    레벨 보상된 오디오 신호를 발생시키기 위해 상기 오디오 입력 채널 상에 오디오 레벨 보상을 수행하기 위한 레벨 보상 수단; 및
    상기 디코럴레이팅된 신호를 발생시키기 위해 상기 레벨 보상된 오디오 신호를 필터링하는 디코럴레이션 필터를 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  17. 제 16 항에 있어서,
    상기 레벨 보상 수단은 프리-매트릭스(pre-matrix)와의 매트릭스 승산을 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  18. 제 17 항에 있어서,
    상기 프리-매트릭스의 계수들은 1-대-2 채널 분할 기능만을 포함하는 계층적인 디코더 구조에 대한 적어도 하나의 단일 값(unity value)을 갖는, 다수의 출력 오디오 채널들 발생 장치.
  19. 제 17 항에 있어서,
    보다 높은 계층적인 층 내의 채널 분할 기능의 파라미터들에 응답하여, 상기 적어도 하나의 계층적인 층에서 상기 적어도 하나의 채널 분할 기능에 대한 상기 프리-매트릭스를 결정하기 위한 수단을 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  20. 제 17 항에 있어서,
    상기 장치는 상기 적어도 하나의 계층적인 층에서 상기 적어도 하나의 채널 분할 기능의 파라미터들에 응답하여, 상기 적어도 하나의 채널 분할 기능에 대한 채널 분할 매트릭스를 결정하기 위한 수단을 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  21. 제 17 항에 있어서,
    보다 높은 계층적인 층의 2-대-3 채널 분할 기능의 파라미터들에 응답하여, 상기 적어도 하나의 계층적인 층에서 상기 적어도 하나의 채널 분할 기능에 대한 상기 프리-매트릭스를 결정하기 위한 수단을 더 포함하는, 다수의 출력 오디오 채널들 발생 장치.
  22. 제 21 항에 있어서,
    상기 프리-매트릭스를 결정하기 위한 수단은 2-대-3 업-믹서(up-mixer)의 제 1 입력에 대응하는 제 1 서브-프리-매트릭스(sub-pre-matrix) 및 상기 2-대-3 업-믹서의 제 2 입력에 대응하는 제 2 서브-프리-매트릭스를 결정하는 것에 응답하여, 상기 적어도 하나의 채널 분할 기능에 대한 상기 프리-매트릭스를 결정하도록 구성되는, 다수의 출력 오디오 채널들 발생 장치.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 다수의 출력 오디오 채널들을 발생시키는 방법에 있어서:
    다수의 입력 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 데이터 스트림을 수신하는 단계(1511)로서, 상기 데이터 스트림은 계층적인 디코더 구조를 위한 디코더 트리 구조 데이터를 더 포함하고, 상기 디코더 트리 구조 데이터는 상기 계층적인 디코더 구조의 보다 낮은 계층적인 층에서 오디오 채널에 대한 채널 분할 특성들을 나타내는 적어도 하나의 데이터 값을 포함하는, 상기 데이터 스트림 수신 단계(1511);
    상기 디코더 트리 구조 데이터에 응답하여 상기 계층적인 디코더 구조를 발생시키는 단계(1513)로서, 상기 계층적인 디코더 구조는 상기 보다 낮은 계층적인 층 및 보다 높은 계층적인 층을 가지는, 상기 계층적인 디코더 구조를 발생시키는 단계(1513); 및
    상기 계층적인 디코더 구조를 이용하여 상기 데이터 스트림으로부터 상기 다수의 출력 오디오 채널들을 발생시키는 단계(1515)를 포함하고,
    상기 계층적인 디코더 구조는 상기 보다 낮은 계층적인 층에서 적어도 하나의 채널 분할 기능을 포함하며, 상기 적어도 하나의 채널 분할 기능은:
    상기 데이터 스트림의 입력 오디오 채널로부터 직접적으로 디코럴레이팅된 신호를 발생시키고;
    상기 디코럴레이팅된 신호 및 상기 보다 낮은 계층적인 층으로부터의 오디오 채널로부터 상기 보다 높은 계층적인 층에 대한 복수의 출력 채널들을 발생시키고;
    상기 디코더 트리 구조 데이터에 응답하여 상기 채널 분할 특성이 상기 보다 낮은 계층적인 층에 존재하는지의 여부를 결정하는 것을 포함하는, 다수의 출력 오디오 채널들을 발생시키는 방법.
  27. 삭제
  28. 제 1 항에 따른 장치를 포함하는, 다수의 출력 오디오 채널들을 발생시키기 위한 수신기(103).
  29. 삭제
  30. 데이터 스트림을 발생시키기 위한 송신기(101) 및 제 28 항에 따른 수신기(103)를 포함하는 전송 시스템에 있어서,
    상기 송신기(101)는:
    다수의 입력 오디오 채널들을 수신하는 수단(301);
    상기 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 상기 데이터 스트림을 발생시키기 위하여 상기 다수의 입력 오디오 채널들을 파라미터에 의해 인코딩하는 계층적 인코딩 수단(303);
    상기 계층적 인코딩 수단에 대응하는 계층적인 디코더 구조를 결정하는 수단(305);
    상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널에 대한 채널 분할 특성을 나타내는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 상기 데이터 스트림에 포함시키는 수단(307); 및
    상기 데이터 스트림을 상기 수신기(103)에 송신하는 수단(111)을 포함하는, 전송 시스템.
  31. 제 26 항에 따른 다수의 출력 오디오 채널들을 발생시키는 방법의 단계들을 포함하는, 데이터 스트림을 수신하는 방법.
  32. 삭제
  33. 데이터 스트림을 송신 및 수신하는 방법에 있어서:
    송신기(101)에서의,
    다수의 입력 오디오 채널들을 수신하는 단계(1501);
    상기 다수의 오디오 채널들 및 파라미터 오디오 데이터를 포함하는 상기 데이터 스트림을 발생시키기 위하여 상기 다수의 입력 오디오 채널들을 파라미터에 의해 인코딩하는 단계(1503);
    계층적 인코딩 수단에 대응하는 계층적인 디코더 구조를 결정하는 단계(1505);
    상기 계층적인 디코더 구조의 계층적인 층에서 오디오 채널에 대한 채널 분할 특성을 나타내는 적어도 하나의 데이터 값을 포함하는 디코더 트리 구조 데이터를 상기 데이터 스트림에 포함시키는 단계(1507); 및
    상기 데이터 스트림을 수신기에 송신하는 단계(1509)를 포함하고,
    수신기(103)에서의,
    제 31 항에 따른 방법의 단계들을 포함하는, 데이터 스트림 송신 및 수신 방법.
  34. 제 26 항, 제 31 항, 및 제 33 항 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
  35. 제 1 항에 따른 장치를 포함하는 오디오 재생 장치.
  36. 삭제
KR1020087003599A 2005-07-14 2006-07-07 출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치 KR101496193B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05106466.5 2005-07-14
EP05106466 2005-07-14
PCT/IB2006/052309 WO2007007263A2 (en) 2005-07-14 2006-07-07 Audio encoding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020107024547A Division KR101492826B1 (ko) 2005-07-14 2006-07-07 다수의 출력 오디오 채널들을 생성하기 위한 장치 및 방법과, 그 장치를 포함하는 수신기 및 오디오 재생 디바이스, 데이터 스트림 수신 방법, 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20080037672A KR20080037672A (ko) 2008-04-30
KR101496193B1 true KR101496193B1 (ko) 2015-02-26

Family

ID=37467582

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107024547A KR101492826B1 (ko) 2005-07-14 2006-07-07 다수의 출력 오디오 채널들을 생성하기 위한 장치 및 방법과, 그 장치를 포함하는 수신기 및 오디오 재생 디바이스, 데이터 스트림 수신 방법, 및 컴퓨터 판독가능 기록매체
KR1020087003599A KR101496193B1 (ko) 2005-07-14 2006-07-07 출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107024547A KR101492826B1 (ko) 2005-07-14 2006-07-07 다수의 출력 오디오 채널들을 생성하기 위한 장치 및 방법과, 그 장치를 포함하는 수신기 및 오디오 재생 디바이스, 데이터 스트림 수신 방법, 및 컴퓨터 판독가능 기록매체

Country Status (14)

Country Link
US (1) US7966191B2 (ko)
EP (2) EP2088580B1 (ko)
JP (2) JP5097702B2 (ko)
KR (2) KR101492826B1 (ko)
CN (2) CN102013256B (ko)
AT (2) ATE433182T1 (ko)
BR (1) BRPI0613469A2 (ko)
DE (1) DE602006007139D1 (ko)
ES (2) ES2327158T3 (ko)
HK (1) HK1154984A1 (ko)
MX (1) MX2008000504A (ko)
PL (2) PL1902443T3 (ko)
RU (2) RU2418385C2 (ko)
WO (1) WO2007007263A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492826B1 (ko) * 2005-07-14 2015-02-13 코닌클리케 필립스 엔.브이. 다수의 출력 오디오 채널들을 생성하기 위한 장치 및 방법과, 그 장치를 포함하는 수신기 및 오디오 재생 디바이스, 데이터 스트림 수신 방법, 및 컴퓨터 판독가능 기록매체
JP5113051B2 (ja) 2005-07-29 2013-01-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
JP5113151B2 (ja) 2006-04-03 2013-01-09 エルジー エレクトロニクス インコーポレイティド メディア信号処理装置及びその方法
RU2466469C2 (ru) * 2007-01-10 2012-11-10 Конинклейке Филипс Электроникс Н.В. Аудиодекодер
EP2093757A4 (en) * 2007-02-20 2012-02-22 Panasonic Corp MULTIPLEX DECODING DEVICE, MULTIPLEX DECODING METHOD, PROGRAM, AND SEMICONDUCTOR INTEGRATED CIRCUIT
US20100106271A1 (en) 2007-03-16 2010-04-29 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
EP2511903A3 (en) * 2007-10-22 2012-11-28 Electronics and Telecommunications Research Institute Multi-object audio decoding method and apparatus thereof
EP4293665A3 (en) * 2008-10-29 2024-01-10 Dolby International AB Signal clipping protection using pre-existing audio gain metadata
KR20110022251A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
CA2778368C (en) 2009-10-20 2016-01-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using an iterative interval size reduction
CN102667920B (zh) * 2009-12-16 2014-03-12 杜比国际公司 Sbr比特流参数缩混
CN102142924B (zh) * 2010-02-03 2014-04-09 中兴通讯股份有限公司 一种多用途语音频编码传输方法和装置
CA2826018C (en) 2011-03-28 2016-05-17 Dolby Laboratories Licensing Corporation Reduced complexity transform for a low-frequency-effects channel
WO2014126688A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
BR112015018522B1 (pt) * 2013-02-14 2021-12-14 Dolby Laboratories Licensing Corporation Método, aparelho e meio não transitório que tem um método armazenado no mesmo para controlar a coerência entre canais de sinais de áudio com upmix.
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
RU2628177C2 (ru) * 2013-05-24 2017-08-15 Долби Интернешнл Аб Способы кодирования и декодирования звука, соответствующие машиночитаемые носители и соответствующие устройство кодирования и устройство декодирования звука
TWI671734B (zh) * 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
CA2926243C (en) 2013-10-21 2018-01-23 Lars Villemoes Decorrelator structure for parametric reconstruction of audio signals
RU2648947C2 (ru) 2013-10-21 2018-03-28 Долби Интернэшнл Аб Параметрическая реконструкция аудиосигналов
EP2866475A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
EP3540732B1 (en) * 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
US10567903B2 (en) * 2015-06-24 2020-02-18 Sony Corporation Audio processing apparatus and method, and program
US10416954B2 (en) 2017-04-28 2019-09-17 Microsoft Technology Licensing, Llc Streaming of augmented/virtual reality spatial audio/video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003090208A1 (en) * 2002-04-22 2003-10-30 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
WO2004008805A1 (en) 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298478B2 (ja) * 1997-11-10 2002-07-02 日本電気株式会社 Ｍｐｅｇ復号装置
JPH11330980A (ja) * 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 復号装置及びその復号方法、並びにその復号の手順を記録した記録媒体
JP2001268697A (ja) * 2000-03-22 2001-09-28 Sony Corp データ伝送システム、データ伝送装置、データ伝送方法
US6996523B1 (en) * 2001-02-13 2006-02-07 Hughes Electronics Corporation Prototype waveform magnitude quantization for a frequency domain interpolative speech codec system
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR100571824B1 (ko) * 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
CN1906664A (zh) * 2004-02-25 2007-01-31 松下电器产业株式会社 音频编码器和音频解码器
KR101183862B1 (ko) * 2004-04-05 2012-09-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 신호를 처리하기 위한 방법 및 디바이스, 인코더 장치, 디코더 장치 및 오디오 시스템
KR20070007851A (ko) * 2004-04-28 2007-01-16 마츠시타 덴끼 산교 가부시키가이샤 계층 부호화 장치 및 계층 부호화 방법
KR101492826B1 (ko) * 2005-07-14 2015-02-13 코닌클리케 필립스 엔.브이. 다수의 출력 오디오 채널들을 생성하기 위한 장치 및 방법과, 그 장치를 포함하는 수신기 및 오디오 재생 디바이스, 데이터 스트림 수신 방법, 및 컴퓨터 판독가능 기록매체
JP5321820B2 (ja) * 2009-04-23 2013-10-23 セイコーエプソン株式会社 用紙搬送装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
WO2003090208A1 (en) * 2002-04-22 2003-10-30 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
WO2004008805A1 (en) 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HERRE, J. et al. The Reference Model Architecture for MPEG Spatial Audio Coding. Proceeding of Audio Engineering Society 118th Convention. 2005.05.28. (제1면 내지 제13면) *
HERRE, J. et al. The Reference Model Architecture for MPEG Spatial Audio Coding. Proceeding of Audio Engineering Society 118th Convention. 2005.05.28. (제1면 내지 제13면)*

Also Published As

Publication number Publication date
ATE523877T1 (de) 2011-09-15
EP2088580B1 (en) 2011-09-07
RU2010137467A (ru) 2012-03-20
BRPI0613469A2 (pt) 2012-11-06
CN101223575B (zh) 2011-09-21
EP2088580A2 (en) 2009-08-12
JP5269039B2 (ja) 2013-08-21
KR20080037672A (ko) 2008-04-30
ES2374309T3 (es) 2012-02-15
RU2008105556A (ru) 2009-08-20
ATE433182T1 (de) 2009-06-15
DE602006007139D1 (de) 2009-07-16
EP1902443A2 (en) 2008-03-26
PL1902443T3 (pl) 2009-12-31
RU2461078C2 (ru) 2012-09-10
KR20100134084A (ko) 2010-12-22
MX2008000504A (es) 2008-03-07
CN102013256A (zh) 2011-04-13
CN102013256B (zh) 2013-12-18
EP2088580A3 (en) 2009-08-19
HK1154984A1 (en) 2012-05-04
JP5097702B2 (ja) 2012-12-12
US20080255856A1 (en) 2008-10-16
JP2009501354A (ja) 2009-01-15
US7966191B2 (en) 2011-06-21
WO2007007263A3 (en) 2007-03-29
ES2327158T3 (es) 2009-10-26
KR101492826B1 (ko) 2015-02-13
EP1902443B1 (en) 2009-06-03
CN101223575A (zh) 2008-07-16
RU2418385C2 (ru) 2011-05-10
JP2011059711A (ja) 2011-03-24
WO2007007263A2 (en) 2007-01-18
PL2088580T3 (pl) 2012-07-31

Similar Documents

Publication Publication Date Title
KR101496193B1 (ko) 출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치
US7961890B2 (en) Multi-channel hierarchical audio coding with compact side information
KR101356586B1 (ko) 다중 채널 오디오 신호를 생성하기 위한 디코더, 수신기 및 방법
JP5260665B2 (ja) ダウンミックスを用いたオーディオコーディング
US8433583B2 (en) Audio decoding
US9966080B2 (en) Audio object encoding and decoding
KR100737302B1 (ko) 호환성 다중-채널 코딩/디코딩
US20140100856A1 (en) Apparatus and method for coding and decoding multi object audio signal with multi channel
JP6479786B2 (ja) オーディオ信号のパラメトリック再構成
EP1866913A1 (en) Audio encoding and decoding
US8626503B2 (en) Audio encoding and decoding
KR20160003572A (ko) 다채널 오디오 신호 처리 방법 및 장치
KR20160101692A (ko) 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 6