KR20070108302A - 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치 - Google Patents

오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20070108302A
KR20070108302A KR1020060067705A KR20060067705A KR20070108302A KR 20070108302 A KR20070108302 A KR 20070108302A KR 1020060067705 A KR1020060067705 A KR 1020060067705A KR 20060067705 A KR20060067705 A KR 20060067705A KR 20070108302 A KR20070108302 A KR 20070108302A
Authority
KR
South Korea
Prior art keywords
audio data
payloads
data
bsac
encoding
Prior art date
Application number
KR1020060067705A
Other languages
English (en)
Inventor
김중회
오은미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060095040A priority Critical patent/KR100813269B1/ko
Priority to EP20120164102 priority patent/EP2477189A1/en
Priority to PCT/KR2006/004098 priority patent/WO2007043808A1/en
Priority to CN200680038064.4A priority patent/CN101288117B/zh
Priority to EP12006689.9A priority patent/EP2555187B1/en
Priority to US11/546,435 priority patent/US8212693B2/en
Priority to EP06799181A priority patent/EP1949369B1/en
Priority to CN2006800382156A priority patent/CN101288309B/zh
Priority to US11/546,433 priority patent/US8055500B2/en
Priority to EP06799178A priority patent/EP1949693B1/en
Priority to CN2011102209802A priority patent/CN102237094B/zh
Priority to KR1020060099425A priority patent/KR100851972B1/ko
Priority to PCT/KR2006/004102 priority patent/WO2007043811A1/en
Publication of KR20070108302A publication Critical patent/KR20070108302A/ko
Priority to US13/487,600 priority patent/US20120239409A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 BSAC(Bit Sliced Arithmetic Coding) 기법을 이용하여 오디오 데이터를 부호화하는 방법 및 장치, 오디오 데이터를 복호화하는 방법 및 장치에 관한 것으로, 오디오 데이터와 상기 오디오 데이터의 확장 데이터의 BSAC 페이로드들을 그 중요도에 따라 그룹핑하여 재배치하고, 이것들 중 일부 그룹을 버리고, 나머지 그룹을 전송함으로써 원음 재생에 오디오 데이터의 상위 계층보다 더 중요한 역할을 하는 확장 데이터를 우선적으로 전송할 수 있다.

Description

오디오 데이터의 확장에 대한 스케러빌러티를 지원하는 부호화 방법 및 장치, 그 복호화 방법 및 장치{Encoding method and apparatus for supporting scalability for the extension of audio data, decoding method and apparatus thereof}
도 1은 본 발명의 바람직한 일 실시예에 따른 BSAC 신택스를 도시한 도면이다.
도 2는 도 1에 도시된 "extension type"의 값들의 예들을 도시한 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 오디오 데이터 부호화 장치의 구성도이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 BSAC 신택스를 도시한 도면이다.
도 5는 도 4에 도시된 "extension type"의 값들의 예들을 도시한 도면이다.
도 6은 도 3에 도시된 무손실 부호화부(34)의 구성도이다.
도 7은 도 6에 도시된 BSAC 부호화부들(62-65) 각각의 구성도이다.
도 8은 본 발명의 바람직한 실시예들에 적용되는 BSAC 기법을 도시한 도면이다.
도 9는 본 발명의 바람직한 실시예들에 적용되는 SBR 기법을 도시한 도면이 다.
도 10은 본 발명의 바람직한 일 실시예에 따른 서브프레임의 포맷의 일례를 도시한 도면이다.
도 12는 본 발명의 바람직한 일 실시예에 따른 서브프레임의 포맷의 다른 예를 도시한 도면이다.
도 13은 도 3에 도시된 비트 스트림 처리/전송부(35)의 구성도이다.
도 14는 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 엘리먼터리 스트림 버림의 일례를 도시한 도면이다.
도 15는 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 엘리먼터리 스트림 버림의 다른 예를 도시한 도면이다.
도 16은 도 3에 도시된 비트 스트림 처리/전송부(35)의 다른 구성도이다.
도 17은 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 BSAC 페이로드 절단의 일례를 도시한 도면이다.
도 18은 본 발명의 바람직한 일 실시예에 따른 오디오 데이터 복호화 장치의 구성도이다.
도 19는 도 18에 도시된 비트 스트림 수신/처리부(181)의 구성도이다.
도 20은 도 18에 도시된 비트 스트림 수신/처리부(181)의 다른 구성도이다.
도 21은 도 18에 도시된 무손실 복호화부(182)의 구성도이다.
도 22는 도 21에 도시된 BSAC 복호화부들(211-214) 각각의 구성도이다.
도 23a-23b는 본 발명의 바람직한 일 실시예에 따른 무손실 부호화 방법의 흐름도이다.
도 24는 본 발명의 바람직한 일 실시예에 따른 비트 스트림 처리/전송 방법의 흐름도이다.
도 25는 본 발명의 바람직한 일 실시예에 따른 다른 비트 스트림 처리/전송 방법의 흐름도이다.
도 26은 본 발명의 바람직한 일 실시예에 따른 비트 스트림 수신/처리 방법의 흐름도이다.
도 27은 본 발명의 바람직한 일 실시예에 따른 다른 비트 스트림 수신/처리 방법의 흐름도이다.
도 28a-28b는 본 발명의 바람직한 일 실시예에 따른 무손실 복호화 방법의 흐름도이다.
도 29는 본 발명의 바람직한 일 실시예에 따른 extended_bsac_sbr_data(nch, crc_flag)의 신택스를 도시한 도면이다.
도 30은 본 발명의 바람직한 일 실시예에 따른 bsac_sbr_data(nch, bs_amp_res)의 신택스를 도시한 도면이다.
도 31은 본 발명의 바람직한 일 실시예에 따른 extended_bsac_data()의 신택스를 도시한 도면이다.
도 32는 본 발명의 바람직한 다른 일 실시예에 따른 extended_bsac_data()의 신택스를 도시한 도면이다.
도 33은 본 발명의 바람직한 일 실시예에 따른 신택스에서 사용된 용어를 정 의한 테이블을 도시한 것이다.
본 발명은 오디오 데이터를 부호화하는 방법 및 장치, 오디오 데이터를 복호화하는 방법 및 장치에 관한 것으로, 특히 BSAC(Bit Sliced Arithmetic Coding) 기법을 이용하여 오디오 데이터를 부호화하는 방법 및 장치, 오디오 데이터를 복호화하는 방법 및 장치에 관한 것이다.
도 1은 본 발명의 바람직한 일 실시예에 따른 BSAC 신택스를 도시한 도면이다.
도 1을 참조하면, "bsac_base_element()"는 기본 계층에 해당하는 오디오 데이터를 나타내고, "bsac_layer_element(layer)"는 상위 계층에 해당하는 오디오 데이터를 나타낸다. 따라서, 참조 번호 11은 BSAC 기법에 따라 오디오 데이터를 계층적으로 부호화한다는 것을 나타낸다.
"zero code"는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 32 비트 부호로서, 산술 복호화의 종료에 필요하며 32 개의 연속된 0 값들로 구성된다. "extension type"은 오디오 데이터의 확장 데이터의 확장 타입을 나타내는 8 비트 부호로서 도 2에 도시된 값들로 구성된다.
도 2는 도 1에 도시된 "extension type"의 값들의 예들을 도시한 도면이다.
도 2를 참조하면, "extension type"의 값 "1111 1111"은 오디오 데이터의 확 장 데이터가 BSAC 기법에 따라 오디오 데이터의 채널을 확장하기 위한 데이터임을 나타낸다. "extension type"의 값 "1111 0000"은 오디오 데이터의 확장 데이터가 BSAC 기법에 따라 오디오 데이터의 채널을 확장하고, SBR 기법에 따라 오디오 데이터의 대역폭을 확장하기 위한 데이터임을 나타낸다. "extension type"의 값 "1111 0001"은 오디오 데이터의 확장 데이터가 BSAC 기법에 따라 오디오 데이터의 채널을 확장하고, SBR 기법에 따라 오디오 데이터의 대역폭을 확장하고, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터임을 나타낸다. 따라서, 참조 번호 12는 상기된 "extension type"의 값이 지시하는 부호화 기법에 따라 오디오 데이터의 확장 데이터를 부호화한다는 것을 나타낸다.
그런데, 오디오 데이터의 확장 데이터 부호화의 압축 효율 및 복원 신뢰도를 높이기 위하여, 오디오 데이터를 BSAC 기법에 따라 부호화하고, 오디오 데이터의 채널을 확장하기 위한 데이터를 BSAC 기법과 SBR 기법을 함께 사용하여 부호화하고자 하는 경우에 상기된 종래의 방식은 이것에 대한 솔루션을 제공하지 못한다는 문제점이 있었다. 즉, 종래의 방식은 오디오 데이터의 확장성에 한계가 있었다. 나아가, 종래에는 오디오 데이터의 대역별 중요도 이외에 확장 데이터의 중요도도 함께 고려하여 스케일러블하게 전송할 수 있는 솔루션을 제공하고 있지 않았다.
본 발명이 이루고자 하는 기술적 과제는 오디오 데이터의 확장성을 강화하고, 종래의 BSAC 부호화 방식도 지원할 수 있는 역 호환(backward compatibility)을 제공하는 장치 및 방법을 제공하는데 있다. 또한, 본 발명이 이루고자 하는 기 술적 과제는 오디오 데이터의 대역별 중요도 이외에 확장 데이터의 중요도도 함께 고려하여 스케일러블하게 전송할 수 있는 솔루션을 제공하는 장치 및 방법을 제공하는데 있다. 또한, 상기된 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 이것은 본 발명이 속하는 기술 분야에서 통상을 지식을 가진 자들라면 아래의 기재로부터 명확하게 이해될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 부호화 방법은 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 단계; 상기 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 단계; 및 상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 부호화 장치는 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 부호화부; 상기 부호화부에 의해 부호화된 결과인 페이로드들을 그룹핑하여 재배치하는 처리부; 및 상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 전송부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 부호화 방법은 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 단계; 상기 (a) 단계에서 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및 상기 절단된 페이로드들을 전송하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 다른 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 부호화 장치는 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 부호화부; 상기 부호화부에 의해 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및 상기 절단된 페이로드들을 전송하는 전송부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 복호화 방법은 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 단계; 상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 복호화 장치는 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 수신부; 상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 복호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 복호화 방법은 일부가 절단된 페이로드들을 수신하는 단계; 상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 복호화 장치는 일부가 절단된 페이로드들을 수신하는 수신부; 상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 복호화부를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한 다.
도 3은 본 발명의 바람직한 일 실시예에 따른 오디오 데이터 부호화 장치의 구성도이다.
도 3을 참조하면, 본 실시예에 따른 오디오 데이터 부호화 장치는 시간/주파수 변환부(31), 심리 음향 모델(32), 양자화부(33), 무손실 부호화부(34), 및 비트 스트림 처리/전송부(35)로 부호화한다.
시간/주파수 변환부(31)는 시간 영역의 오디오 데이터를 주파수 영역의 오디오 데이터로 변환한다. 보다 상세하게 설명하면, 시간/주파수 변환부(31)는 시간 영역의 오디오 데이터를 MDCT(Modified Discrete Cosine Transform)를 이용하여 주파수 영역의 오디오 데이터로 변환한다.
심리 음향 모델(32)은 주파수 공간 변환부()에 의해 변환된 결과인 주파수 영역의 오디오 데이터의 서브밴드들 각각에 대해서 어떤 주파수의 오디오 데이터에 의해 마스크되어 들을 수 없는 마스킹 임계값(masking threshold)을 계산한다.
양자화부(33)는 심리 음향 모델(32)에서 계산된 마스킹 임계값에 기초하여 주파수 공간 변환부()에 의해 변환된 결과인 주파수 영역의 오디오 데이터의 서브밴드들 각각에 비트 개수를 할당하고, 이 할당된 비트에 따라 오디오 데이터를 양자화한다.
상기된 시간/주파수 변환부(31), 심리 음향 모델(32), 및 양자화부(33)는 현재까지 제안된 MPEG 오디오 부호화 방식 중 대표적인 툴(tool)만을 간략하게 설명한 것에 불과하며, 상기된 부호화 방식 이외에도 양자화 잡음을 줄이기 위한 TNS(Temporal Noise Shaping), 스테레오 신호의 채널간 중복 정보를 제거하여 압축 효율을 향상시키기 위한 MS 스테레오 등의 다양한 툴들이 추가될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
무손실 부호화부(34)는 도 4에 도시된 BSAC 신택스에 따라 양자화부(33)에 의해 양자화된 오디오 데이터를 무손실 부호화한다. 보다 상세하게 설명하면, 무손실 부호화부(34)는 도 4에 도시된 신택스에 따라 BSAC 기법, BSAC 기법과 SBR 기법을 병합한 기법(이하 "BSAC+SBR 기법"이라 함), BSAC+SBR 기법에 CRC(Cyclic Redundancy Checking) 코드를 삽입하는 기법(이하 "BSAC+SBR+CRC 기법"이라 함), BSAC 다채널에 SBR 기법을 병합한 기법(이하 "BSAC 다채널+SBR 기법"이라 함), BSAC 다채널, BSAC 다채널에 SBR 기법과 CRC 기법을 병합한 기법(이하 "BSAC 다채널+SBR+CRC 기법"이라 함) 중 적어도 하나 이상의 부호화 기법에 따라 오디오 데이터를 부호화한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 BSAC 신택스를 도시한 도면이다.
도 4를 참조하면, "bsac_base_element()"는 기본 계층에 해당하는 오디오 데이터를 나타내고, "bsac_layer_element(layer)"는 상위 계층에 해당하는 오디오 데이터를 나타낸다. 따라서, 참조 번호 41은 BSAC 기법에 따라 오디오 데이터를 계층적으로 부호화한다는 것을 나타낸다.
"zero code"는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 32 비트 부호로서, 32 개의 연속된 0 값들로 구성된다. "syncword"는 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 4 비트 부호로서 4 개의 연속 1 값들로 구성된다. "extension type"은 오디오 데이터의 확장 데이터의 확장 타입을 나타내는 4 비트 부호로서 도 5에 도시된 값들로 구성된다. "bits_to_decode()"는 헬퍼 함수(helper function)로서, 현재 "bsac_raw_data_block()"에서 아직 복호화되지 않은 비트의 수를 리턴한다.
도 5는 도 4에 도시된 "extension type"의 값들의 예들을 도시한 도면이다.
도 5를 참조하면, "extension type"의 값 "1111"은 오디오 데이터의 확장 데이터가 BSAC 기법에 따라 오디오 데이터의 채널을 확장하기 위한 데이터임을 나타낸다. "extension type"의 값 "0000"은 오디오 데이터의 확장 데이터가 BSAC+SBR 기법에 따라 오디오 데이터의 대역폭을 확장하기 위한 데이터임을 나타낸다. "extension type"의 값 "0001"은 오디오 데이터의 확장 데이터가 BSAC+SBR+CRC 기법에 따라 오디오 데이터의 대역폭을 확장하고, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터임을 나타낸다.
"extension type"의 값 "1110"은 오디오 데이터의 확장 데이터가 BSAC+SBR 기법에 따라 오디오 데이터의 채널 및 대역폭을 확장하기 위한 데이터임을 나타낸다. "extension type"의 값 "1101"은 오디오 데이터의 확장 데이터가 BSAC+SBR+CRC 기법에 따라 오디오 데이터의 채널 및 대역폭을 확장하고, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터임을 나타낸다. 따라서, 참조 번호 42는 상기된 "extension type"의 값이 지시하는 부호화 기법에 따라 오디오 데이터의 확장 데이터를 부호화한다는 것을 나타낸다.
"extension type"의 값이 "default"일 경우, 도 31 또는 도 32에 도시된 "extended_bsac_data()"를 수행한다. "extended_bsac_data()"는 디코더에 의하여 폐기될 페이로드를 포함하는 신택스상의 요소로서 추가로 확장을 위한 것이다. 도 31 및 32에 도시된 "extended_bsac_data()"룰 살펴보면 다음과 같다. "extended_bsac_sbr_data()" 또는 "extended_bsac_data()"의 초기 길이에 해당하는 'count'의 값을 중간변수 'cnt'에 할당한다. 만일 'cnt'의 값이 '255'라면, "extended_bsac_sbr_data()" 또는 "extended_bsac_data()"의 증분 길이(incremental length)에 해당하는 'esc_count'에서 1을 감산한 값을 'cnt'에 가산한다. 'nibble_payload'는 디코더에 의하여 폐기될 니블(nibble)에 해당한다. 'byte_payload'는 디코더에 의하여 폐기될 바이트(byte)에 해당한다.
"extension type"의 값이 "0000", "0001", "1110", "1101" 경우 사용되는 도 29에 도시된 "extended_bsac_sbr_data(nch,crc_flag)"를 살펴보면 다음과 같다. 중간변수 'num_sbr_bits'에 '0'을 할당한다. "extended_bsac_sbr_data()" 또는 "extended_bsac_data()"의 초기 길이에 해당하는 'count'의 값을 중간변수 'cnt'에 할당한다. 'num_sbr_bits'에 '4'를 가산한다. 만일 'cnt'의 값이 '15'라면, "extended_bsac_sbr_data()" 또는 "extended_bsac_data()"의 증분 길이에 해당하는 'esc_count'에서 '1'을 감산한 값을 'cnt'에 가산하고, 'num_sbr_bits'에 '8'을 가산한다. 'crc_flag'를 이용하여 에러를 검사하여야 하는지 여부를 판단하고, 만일 에러를 판단해야 한다면 SBR 확장 데이터의 주기적인 잉여 검사합(cyclic redundancy checksum)에 해당하는 'bs_sbr_crc_bits'를 읽고 'num_sbr_bits'에 10 을 가산한다. 여기서, 수학식 'G10(x)=x^10+x^9+x^5+x^4+x+1'에 의하여 CRC 코드가 정의되며, CRC 계산을 위한 초기값은 '0'이다. 'num_sbr_bits'에 '1'을 가산한다. SBR 헤더가 있는지 여부를 나타내는 'bs_header_flag'를 이용하여 SBR 헤더가 있는지 여부를 판단한다. 만일 SBR 헤더가 있는 것으로 판단되면, SBR 헤더에 포함된 신택스상 요소인 'sbr_header ()'에서 리턴되는 값을 'num_sbr_bits'에 가산한다. 도 30에 도시된 ER BSAC의 SBR 데이터에 포함된 신택스상 요소인 bsac_sbr_data(nch, bs_amp_res)에서 리턴되는 값을 'num_sbr_bits'에 가산한다. bsac_sbr_data(nch, bs_amp_res)는 'nch'가 1일 경우 SBR 싱글 채널 요소의 데이터를 포함하는 신택스상 요소인 sbr_single_channel_element()를 수행하고, 'nch'가 2일 경우 SBR 채널 페어 요소channel pair element)의 데이터를 포함하는 신택스상 요소인 sbr_channel_pair_element()를 수행한다. 'cnt'의 값에 8을 승산한 후 'num_sbr_bits'를 감산하여 'num_align_bits'에 할당한다. 'bs_fill_bits'는 바이트 정렬 비트에 해당한다.
이외에도 현재 보류된(reserved) 값들 "0010" ~ "1100" 중 어느 하나를 지정함으로써 오디오 데이터의 확장 데이터가 오디오 데이터의 메타 데이터임을 나타내게 할 수도 있고, 오디오 데이터의 필 엘리먼트임을 나타내게 할 수도 있다. 여기에서, 오디오 데이터의 메타 데이터의 예로는 오디오 데이터의 제목, 가사 등을 들 수 있고, 오디오 데이터의 필 엘리먼트란 MPEG 규격 상의 소정의 패킷 사이즈를 준수하기 위하여 비트 스트림에 추가되는 의미 없는 비트들을 말한다.
나아가, 오디오 데이터의 확장 데이터가 이상에서 열거된 확장 타입 이외의 다른 확장 타입을 위한 데이터임을 나타내게 할 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 만약, "extension type"의 값이 "1101"이라면, "extended_bsac_raw_data_block()"은 BSAC+SBR+CRC 기법에 따라 오디오 데이터의 확장 데이터를 계층적으로 부호화하고, 이 확장 데이터의 기본 계층에 해당하는 데이터의 주파수 대역과 상위 계층에 해당하는 데이터의 주파수 대역의 상관 관계에 관한 정보를 부호화하고, 이 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성한다는 것을 나타낸다. "extension type"의 값이 "1101"이 아닌 다른 값인 경우에도 마찬가지일 것이다.
도 6은 도 3에 도시된 무손실 부호화부(34)의 구성도이다.
도 6을 참조하면, 도 3에 도시된 무손실 부호화부(34)는 채널 분리부(61), 제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 및 제 N BSAC 부호화부(65)로 구성된다.
채널 분리부(61)는 양자화부(33)에 의해 양자화된 오디오 데이터가 다채널(multichannel) 오디오 데이터인 경우, 다채널 오디오 데이터를 각 채널 별로 분리하고, 이와 같이 각 채널 별로 분리된 오디오 데이터를 다채널 개수만큼의 BSAC 부호화부들로 출력한다. 만약, 채널 분리부(61)는 양자화부(33)에 의해 양자화된 오디오 데이터가 다채널 오디오 데이터가 아닌 모노/스테레오 오디오 데이터인 경우, 모노/스테레오 오디오 데이터를 그대로 제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 및 제 N BSAC 부호화부(65) 중 어느 하나로 출력한다.
제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 및 제 N BSAC 부호화부(65) 각각은 채널 분리부(61)로부터 입력된 오디오 데이터를 계층적으로 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다.
특히, 제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 제 N BSAC 부호화부(65) 각각은 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터를 계층적으로 부호화하는 과정을 필수적으로 수행하고, BSAC 기법에 따라 이 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하는 과정과 BSAC+SBR 기법에 따라 이 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하는 과정 중 적어도 하나 이상을 수행한다.
제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 제 N BSAC 부호화부(65) 각각은 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터를 계층적으로 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다. 본 실시예에서, 적어도 하나 이상의 확장 데이터란 오디오 데이터의 채널을 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 데이터 중 적어도 하나 이상을 말한다. 상기된 것 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
특히, 제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 제 N BSAC 부호화부(65) 각각은 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터를 계층적으로 부호화하는 과정을 필수적으로 수행하고, BSAC 기법에 따라 이 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하는 과정과 BSAC+SBR 기법에 따라 이 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하는 과정 중 적어도 하나 이상을 수행한다.
예를 들어, 본 실시예에서의 오디오 데이터가 5.1 채널 오디오 데이터이고, 채널 분리부(61)가 제 1 BSAC 부호화부(62)로 전면 좌측(front left) 채널(이하 "FL 채널"이라 함)의 오디오 데이터 및 전면 우측(front right) 채널(이하 "FR 채널"이라 함)의 오디오 데이터를 출력하고, 제 2 BSAC 부호화부(63)로 서라운드 좌측(surround left) 채널(이하 "SL 채널"이라 함)의 오디오 데이터 및 서라운드 우측(surround right) 채널(이하 "SR 채널"이라 함)의 오디오 데이터를 출력하고, 제 3 BSAC 부호화부(64)로 센터 채널(이하 "C 채널"이라 함)의 오디오 데이터를 출력하고, 제 N BSAC 부호화부(65)로 서브 우퍼 채널(이하 "LFE(Low Frequency Effect) 채널"이라 함)의 오디오 데이터를 출력한다면, 제 1 BSAC 부호화부(62), 제 2 BSAC 부호화부(63), 제 3 BSAC 부호화부(64), ..., 제 N BSAC 부호화부(65)는 다음과 같이 동작한다. 특히, 제 1 BSAC 부호화부(62) 및 제 2 BSAC 부호화부(63)는 스테레오 부호화기이고, 제 3 BSAC 부호화부(64) 및 제 N BSAC 부호화부(65)는 모노 부호 화기이다.
제 1 BSAC 부호화부(62)는 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터를 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)에 로부터 입력된 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다.
제 2 BSAC 부호화부(63)는 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터를 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)에 로부터 입력된 SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다.
제 3 BSAC 부호화부(64)는 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 C 채널의 오디오 데이터를 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)에 로부터 입력된 C 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다.
제 N BSAC 부호화부(65)는 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 LFE 채널의 오디오 데이터를 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 채널 분리부(61)에 로부터 입력된 LFE 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화한다.
도 7은 도 6에 도시된 BSAC 부호화부들(62-65) 각각의 구성도이다.
도 7을 참조하면, 도 6에 도시된 BSAC 부호화부들(62-65) 각각은 다운 샘플러(71), BSAC(Bit Slicing Arithmetic Coding) 부호화부(72), zero_code 삽입부(73), sync_word 삽입부(74), extension_type 삽입부(75), SBR(Spectral Band Replication) 부호화부(76), 및 CRC 삽입부(77)로 구성된다.
다운 샘플러(71)는 양자화부(33)로부터 입력된 FR 채널의 오디오 데이터 및 FL 채널을 다운 샘플링한다. 보다 상세하게 설명하면, 다운 샘플러(71)는 오디오 데이터를 오디오 데이터의 원래 샘플링 주파수 Fs를 이 샘플링 주파수보다 작은 주파수, 예를 들면 Fs/2로 샘플링한다.
BSAC 부호화부(72)는 BSAC 기법에 따라 채널 분리부(61)로부터 입력된 오디오 데이터를 계층적으로 부호화한다. 보다 상세하게 설명하면, BSAC 부호화부(72)는 오디오 데이터 중 기본 계층에 해당하는 주파수 대역의 데이터를 가장 먼저 부호화하고, 기본 계층의 다음 상위 계층에 해당하는 주파수 대역의 데이터를 그 다음으로 부호화하고, 이것을 나머지 모든 계층에 해당하는 주파수 대역의 데이터의 부호화가 완료될 때까지 반복한다.
특히, 본 실시예에서는 인간의 귀에 민감한 주파수 대역인 저주파수 대역폭을 기본 계층으로 하고, 고주파수 대역일수록 상위 계층으로 한다. 또한, 본 실시 예에서는 하위 계층일수록 비트율(bit rate)을 낮게 할당함으로서 인간의 청취에 가장 큰 영향을 끼치는 기본 계층 등 하위 계층의 전송 신뢰도를 높이고, 아주 열악한 전송 환경에서도 무리 없이 전송될 수 있도록 한다. 또한, 오디오 데이터의 전송 환경에 부합하도록 상위 계층의 개수 및 비트율을 결정함으로서 FGS(Fine Grain Scalability)를 제공한다.
도 8은 본 발명의 바람직한 실시예들에 적용되는 BSAC 기법을 도시한 도면이다.
도 8을 참조하면, BSAC 부호화부(72)는 각 계층에 해당하는 주파수 대역들 X[i], X[i+1], X[i+2], ..., X[i+j] 각각의 오디오 데이터를 비트 단위로 분할하고, 이와 같이 분할된 비트들 중 중요도가 가장 높은 최상위 비트들을 가장 먼저 부호화하고, 그 다음으로 중요도가 높은 상위 비트들을 부호화하고, 이것을 나머지 분할된 비트들 모두에 대한 부호화가 완료될 때까지 반복한다. BSAC 부호화부(72)는 이와 같은 방식으로 모든 계층에 대해 부호화를 수행한다.
즉, BSAC 부호화부(72)는 BSAC 기법에 따라 모든 계층들의 오디오 데이터 중 보다 더 하위 계층의 오디오 데이터를 먼저 부호화하고, 각 계층의 오디오 데이터의 비트 스트림 중 보다 더 상위 비트를 먼저 부호화한다.
zero_code 삽입부(73)는 BSAC 부호화()에 의한 오디오 데이터의 부호화가 완료되면, 이 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드인 zero_code를 생성하고, BSAC 부호화부(72)에 의한 오디오 데이터의 부호화 부분 다음에 이 zero_code를 삽입한다.
sync_word 삽입부(74)는 BSAC 부호화()에 의한 오디오 데이터의 부호화가 완료되고, 오디오 데이터의 확장 데이터가 존재하면, 이 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드인 sync_word를 생성하고, zero_code 삽입부(73)에 의해 삽입된 zero_code 다음에 이 sync_word를 삽입한다.
extension_type 삽입부(75)는 BSAC 부호화()에 의한 오디오 데이터의 부호화가 완료되고, 오디오 데이터의 확장 데이터가 존재하면, 이 확장 데이터의 확장 타입을 나타내는 코드인 extension type를 생성하고, sync_word 삽입부(74)에 의해 삽입된 sync_word 다음에 이 extension type을 삽입한다.
만약, 상기된 확장 데이터 이외에 다른 확장 데이터가 존재하는 경우라면, extension_type 삽입부(75)는 상기된 확장 데이터의 부호화 부분 다음에 다른 확장 데이터의 확장 타입을 나타내는 extension_type를 삽입하고, BSAC 부호화부들(62-65) 중 어느 하나는 이 extension_type이 나타내는 부호화 기법에 따라 다른 확장 데이터를 부호화한다. 이것은 나머지 모든 확장 데이터의 부호화가 완료될 때까지 반복적으로 수행된다.
본 실시예에서, 확장 타입이란 확장 데이터가 오디오 데이터를 어떠한 용도로 확장하기 위한 데이터인지를 나타내는 코드로서, 이것에 의해 확장 데이터의 부호화 기법이 지정되고, 추가적인 채널의 오디오 데이터에 대한 부호화 등 다른 BSAC 부호화기에 의한 부호화가 요구되는지가 지정된다. 이러한 확장 타입은 MPEG 동영상 제조자에 의해 수동적으로 설정될 수도 있고, MPEG 동영상의 전송 환경 등을 참조하여 자동적으로 설정될 수도 있다.
SBR 부호화부(76)는 extension_type 삽입부(75)에 의해 생성된 extension_type이 BSAC+SBR 기법 또는 BSAC+SBR+CRC 기법을 나타내는 경우, SBR 기법에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화한다. 보다 상세하게 설명하게 설명하면, SBR 부호화부(76)는 상위 계층에 해당하는 고주파수 대역의 오디오 데이터를 부호화하지 않고, 기본 계층에 해당하는 저주파수 대역의 오디오 데이터와 상위 계층에 해당하는 고주파수 대역의 오디오 데이터의 상관 관계(correlation)에 관한 정보만을 부호화한다. 특히, SBR 부호화부(76)는 일반적인 엔트로피 부호화 방식, 예를 들면 허프만 코딩(huffman coding) 방식을 사용한다.
도 9는 본 발명의 바람직한 실시예들에 적용되는 SBR 기법을 도시한 도면이다.
도 9를 참조하면, 본 실시예들에 적용되는 SBR 기법은 오디오 데이터의 저주파수 대역과 고주파수 대역간에는 강한 상관 관계가 존재한다는 특성을 이용하여 기본 계층에 해당하는 저주파수 대역의 오디오 데이터로부터 상위 계층에 해당하는 고주파수 대역의 오디오 데이터를 추정하는 기법을 말한다.
즉, SBR 부호화부(76)는 기본 계층의 오디오 데이터와 기본 계층의 최대 주파수 f1과 오디오 데이터의 최대 주파수 fn 사이에 존재하는 주파수 대역의 오디오 데이터의 상관 관계를 나타내는 정보를 부호화한다. 오디오 데이터의 최대 주파수 fn은 최상위 계층의 최대 주파수 fk와 동일할 수도 있고, 그 보다 더 클 수도 있다. 일반적으로, 원본 오디오 데이터 중 최상위 계층에도 포함되지 않은 오디오 데 이터가 존재하는 경우에 오디오 데이터의 최대 주파수 fn은 최상위 계층의 최대 주파수 fk보다 더 크게 된다.
특히, SBR 부호화부(76) 또는 BSAC 부호화부(72) 외의 다른 BSAC 부호화부는 도 4에 도시된 신택스에 따라 extension_type이 삽입된 부분 다음에 이 extension_type이 나타내는 부호화 기법에 따라 SBR 부호화부(76)에 의해 부호화된 부분, 다른 BSAC 부호화부에 의해 부호화된 부분 중 적어도 하나 이상을 삽입한다.
CRC 삽입부(77)는 extension_type 삽입부(75)에 의해 생성된 extension_type이 BSAC+SBR+CRC 기법을 나타내는 경우, 채널 분리부(61)로부터 입력된 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하고, BSAC 페이로드 중 소정 부분에 삽입한다.
도 10은 본 발명의 바람직한 일 실시예에 따른 서브프레임의 포맷의 일례를 도시한 도면이다.
도 10을 참조하면, 본 실시예에 따른 서브프레임들은 무손실 부호화(34)에 의해 부호화된 결과인 각 계층의 BSAC 페이로드로 구성된다. 특히, 도 1에 도시된 신택스를 따르는 종래의 BSAC 페이로드들(101)과 도 4에 도시된 신택스를 따르는 BSAC 페이로드들(102)은 종래의 8 비트의 extension type이 4 비트의 sync_word와 4 비트의 extension_type으로 분리되어 표시된다는 점에서 차이가 있다. 이에 따라, 종래에는 오디오 데이터의 채널을 확장하는 다채널 오디오 데이터 모두에 대해 하나의 extension_type이 할당되었으나, 본 실시예에서는 C 채널, SL/SR 채널, 및 LFE 채널마다 extension_type이 할당된다.
도 11은 본 발명의 바람직한 일 실시예에 따른 서브프레임의 포맷의 다른 예를 도시한 도면이다.
도 11을 참조하면, 도 1에 도시된 신택스를 따르는 종래의 BSAC 페이로드들(111)과 도 4에 도시된 신택스를 따르는 BSAC 페이로드들(112)은 종래의 8 비트의 extension type이 4 비트의 sync_word와 4 비트의 extension_type으로 분리되어 표시된다는 점에서 차이가 있다.
상기된 바와 같이, 본 실시예에 따른 4 비트의 sync_word와 4 비트의 extension_type은 종래의 8 비트의 extension type을 분리해 놓은 것일 뿐, 4 비트의 sync_word와 4 비트의 extension_type를 합치면 종래의 8비트의 extension type이 되기 때문에 본 실시예는 도 1에 도시된 신택스를 따르는 종래의 BSAC 부호화 방식도 지원할 수 있는 역 호환(backward compatibility)을 제공한다.
도 12는 본 발명의 바람직한 일 실시예에 따른 서브프레임의 포맷의 다른 예를 도시한 도면이다.
도 12를 참조하면, 도 1에 도시된 신택스를 따르는 종래의 BSAC 페이로드들(121)과 도 4에 도시된 신택스를 따르는 BSAC 페이로드들(122)은 종래의 8 비트의 extension type이 4 비트의 sync_word와 4 비트의 extension_type으로 분리되어 표시된다는 점에서 차이가 있다. 그런데, 종래에는 오디오 데이터의 두 개의 확장 데이터 중 하나는 FL 채널 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터이고, 다른 하나는 FL 채널 및 FR 채널의 오디오 데이터의 채널을 확장하기 위한 데이터, 즉 C 채널의 오디오 데이터인 경우를 표시할 수 있는 방법이 없었다.
왜냐하면, 종래에는 8 비트의 extension type이 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타냄과 동시에 오디오 데이터의 확장 데이터의 확장 타입을 나타내기 때문에 이것은 오로지 하나의 확장 타입만을 나타낼 수밖에 없었다. 그러나, 본 실시예에서는 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드와 오디오 데이터의 확장 데이터의 확장 타입을 나타내는 코드가 각각 분리되어 있어, 4 비트의 sync_word 이후에 4 비트의 extension_type이 반복적으로 나타날 수 있다. 이에 따라, 본 실시예에서는 적어도 하나 이상의 확장 데이터 각각에 대하여 서로 다른 확장 타입을 나타낼 수 있게 되었다.
비트 스트림 처리/전송부(35)는 무손실 부호화부(34)에 의해 부호화된 결과인 BSAC 페이로드들을 처리함으로서 소정의 패킷들을 생성하고, 이 패킷의 형태로 비트 스트림을 전송한다.
본 실시예에 따르면, FGS 기능을 지원하는 BSAC 페이로드의 전송 방식에는 다음과 같은 두 가지가 있다. 하나는 BSAC 액세스 단위(access unit)를 위하여 엘리먼터리 스트림(elementary stream)을 버리는(drop) 것이다. MPEG 규격에서, 액세스 단위란 엘리먼터리 스트림 내의 독립적으로 접근 가능한 부분을 말하며, 타이밍 정보가 포함될 수 있는 가장 작은 데이터 단위이다. 다른 하나는 오디오 데이터를 제공하는 서버 측, 즉 오디오 데이터 부호화 장치 측에서 BSAC 페이로드를 절단하는(truncate) 것이다. 전자는 동기 계층(sync layer) 및 전달 계층(delivery layer)상에서 발생하는 반면, 후자는 압축 계층(compression layer)상에서 발생한다. 특히, 상기된 두 가지 방법들이 동시에 사용될 수도 있다. 전자는 도 13에 도 시된 장치에 의해 구현될 수 있고, 후자는 도 16에 도시된 장치에 의해 구현될 수 있다.
도 13은 도 3에 도시된 비트 스트림 처리/전송부(35)의 구성도이다.
도 13을 참조하면, 도 3에 도시된 비트 스트림 처리/전송부(35)는 BSAC 페이로드 처리부(131), ES 생성부(132), ES 우선 순위 할당부(133), SL 패킷 생성부(134), SL 우선 순위 할당부(135), 및 전송부(136)로 구성된다.
BSAC 페이로드의 전송 방식들 중 전자의 경우, BSAC 페이로드 처리부(131)는 무손실 부호화부(34)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 BSAC 페이로드들 중 일부가 하나의 그룹이 되도록 BSAC 페이로드들을 그룹핑하여 재배치(interleave)한다.
ES 생성부(132)는 BSAC 페이로드 처리부(131)에 의해 그룹핑되어 재배치된 BSAC 페이로드들로부터 압축 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 엘리먼터리 스트림들을 생성한다. 압축 계층은 무손실 부호화부(34)에 의해 부호화된 결과를 수신하고, 이것으로부터 엘리먼터리 스트림들을 생성하는 계층을 말한다.
ES 우선 순위 할당부(133)는 ES 생성부(132)에 의해 생성된 엘리먼터리 스트림들에 우선 순위(priority)를 할당한다. 보다 상세하게 설명하면, ES 우선 순위 할당부(133)는 오디오 데이터 복호화 장치로 우선적으로 전송하고자 하는 순서에 기초하여 엘리먼터리 스트림들 각각에 우선 순위를 할당한다. 이에 따라, ES 생성부(132)에 의해 생성된 엘리먼터리 스트림들 각각은 ES 기술자(descriptor) 내에 특정된 우선 순위를 갖게 된다.
SL 패킷 생성부(134)는 ES 생성부(132)에 의해 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다. SL 계층은 엘리먼터리 스트림들을 조작(adapt)하여 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기 정보 등을 제공하는 SL 패킷들을 생성하는 계층을 말한다.
SL 우선 순위 할당부(135)는 SL 패킷 생성부(134)에 의해 생성된 SL 패킷들 각각에 우선 순위를 할당한다. 보다 상세하게 설명하면, SL 우선 순위 할당부(135)는 오디오 데이터 복호화 장치로 우선적으로 전송하고자 하는 순서에 기초하여 SL 패킷들 각각에 우선 순위를 할당한다. 아래에서 기재된 바와 같이, 엘리먼터리 스트림들 각각에 할당된 우선 순위와 SL 패킷들 각각에 할당된 우선 순위는 다수의 엘리먼트 스트림들이 동기 계층 및 전달 계층에서의 스케일러블한 전송을 위하여 버려지는 것을 가능하게 한다.
전송부(136)는 ES 우선 순위 할당부(133)에 의해 할당된 엘리먼터리 스트림들 각각의 우선 순위 및 SL 우선 순위 할당부(135)에 의해 할당된 SL 패킷들 각각의 우선 순위에 기초하여 SL 패킷들 중 일부 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다. 보다 상세하게 설명하면, 전송부(136)는 오디오 데이터 부호화 장치와 복호화 장치간의 전송 환경을 고려하여 SL 패킷들의 전송을 위한 전체 비트 레이트를 결정하고, 이 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 14는 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 엘리먼터리 스트림 버림의 일례를 도시한 도면이다.
도 14에 도시된 예는 오디오 데이터의 확장 데이터가 오디오 데이터의 채널을 확장하기 위한 데이터인 경우에 오디오 데이터 및 확장 데이터를 스케일러블(scalable)하게 전송하기 위한 예이다. 즉, 다채널 오디오 데이터에 해당하는 BSAC 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 14를 참조하면, 서브프레임의 개수는 2로 설정되어 있다. 또한, 우선 순위가 낮은 4 개의 SL 패킷들이 버려진다. 이와 같이 버려진 패킷들은 오디오 데이터의 확장 데이터에 해당하는 C 채널 및 서라운드 채널의 오디오 데이터의 BSAC 페이로드들 중 상위 계층에 해당한다. 이것은 다채널 오디오 데이터의 채널들 각각에 대해서 저주파수 대역에 해당하는 하위 계층 쪽이 우선적으로 전송될 수 있도록 함으로써 각 채널의 오디오 데이터가 고르게 재생될 수 있도록 하기 위함이다.
도 14의 경우, BSAC 페이로드 처리부(131)는 오디오 데이터의 BSAC 페이로드들 중 일부와 오디오 데이터의 채널을 확장하기 위한 데이터의 BSAC 페이로드들 중 일부가 하나의 그룹이 되도록 무손실 부호화부(34)에 의한 부호화 결과인 BSAC 페이로드들을 그룹핑하여 재배치(interleave)한다.
예를 들어, 본 실시예에서의 오디오 데이터가 5.1 채널 오디오 데이터인 경우라면, BSAC 페이로드 처리부(131)는 제 1 BSAC 부호화부(62)에 의해 부호화된 결과인 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계 층 쪽(LL0_0)과 제 2 BSAC 부호화부(63)에 의해 부호화된 결과인 SL 채널 및 SR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL1_0)이 하나의 그룹이 되도록 그룹핑하여 재배치한다.
또한, BSAC 페이로드 처리부(131)는 제 1 BSAC 부호화부(62)에 의해 부호화된 결과인 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽(LL0_1)과 제 2 BSAC 부호화부(63)에 의해 부호화된 결과인 SL 채널 및 SR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽(LL1_1)이 하나의 그룹이 되도록 그룹핑하여 재배치한다.
ES 생성부(132)는 BSAC 페이로드 처리부(131)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 BSAC 페이로드들(LL0_0) 및 BSAC 페이로드들(LL1_0)들로부터 0 번째 엘리먼터리 스트림을 생성한다. 이어서, ES 우선 순위 할당부(133)는 ES 생성부(132)에 의해 생성된 0 번째 엘리먼터리 스트림()에 우선 순위 9를 할당한다. 이어서, SL 패킷 생성부(134)는 ES 생성부(132)에 의해 생성된 0 번째 엘리먼터리 스트림으로부터 2 개의 SL 패킷들을 생성한다. 이어서, SL 우선 순위 할당부(135)는 SL 패킷 생성부(134)에 의해 생성된 SL 패킷들 각각에 우선 순위 0, 0을 할당한다. 도 14에 도시된 다른 BSAC 페이로드들에 대해서도 상기된 바와 마찬가지로 처리된다.
전송부(136)는 SL 패킷들의 전송을 위한 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 4 개의 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 15는 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 엘리먼터리 스트림 버림의 다른 예를 도시한 도면이다.
도 15에 도시된 예는 스테레오 오디오 데이터의 확장 데이터가 오디오 데이터의 대역폭을 확장하기 위한 데이터인 경우에 오디오 데이터 및 확장 데이터를 스케일러블(scalable)하게 전송하기 위한 예이다. 즉, BSAC+SBR 기법에 따라 부호화된 결과인 BSAC 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 15를 참조하면, 서브프레임의 개수는 2로 설정되어 있다. 또한, 우선 순위가 낮은 2 개의 SL 패킷들이 버려진다. 이와 같이 버려진 패킷들은 첫 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽과 두 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽에 해당한다. 이것은 버려지는 SL 패킷들을 증가시킴으로써 전송되어야 할 전체 비트 레이트를 감소시킬 수 있도록 하기 위함이다. 상위 계층에 해당하는 고주파수 대역은 SBR 툴에 의해 복원될 수 있기 때문에 전체 비트 레이트의 감소에 비해 복원 음질의 품질의 저하는 미미하게 된다.
도 15의 경우, BSAC 페이로드 처리부(131)는 첫 번째 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부와 두 번째 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부가 하나의 그룹이 되고, 첫 번째 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 두 번째 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드가 하나의 그룹의 되도록 무손실 부호화부(34)에 의한 부호화 결과인 BSAC 페이로드들 을 그룹핑하여 재배치한다.
예를 들어, 본 실시예에서의 오디오 데이터가 스테레오 오디오 데이터인 경우라면, BSAC 페이로드 처리부(131)는 제 1 BSAC 부호화부(62)에 의해 부호화된 결과인 첫 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL0_0)과 두 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL1_0)이 하나의 그룹이 되도록 그룹핑하여 재배치한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다.
또한, BSAC 페이로드 처리부(131)는 제 1 BSAC 부호화부(62)에 의해 부호화된 결과인 첫 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드(LL0_3)과 두 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드(LL1_3)이 하나의 그룹이 되도록 그룹핑하여 재배치한다.
ES 생성부(132)는 BSAC 페이로드 처리부(131)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 BSAC 페이로드들(LL0_0) 및 BSAC 페이로드들(LL1_0)로부터 0 번째 엘리먼터리 스트림을 생성한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다.
또한, ES 생성부(132)는 BSAC 페이로드 처리부(131)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 BSAC 페이로드들(LL0_3) 및 BSAC 페이로드들(LL1_3)로부터 3 번째 엘리먼터리 스트림을 생성한다.
이어서, ES 우선 순위 할당부(133)는 ES 생성부(132)에 의해 생성된 0 번째 엘리먼터리 스트림()에 우선 순위 9를 할당한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다. 또한, ES 우선 순위 할당부(133)는 ES 생성부(132)에 의해 생성된 3 번째 엘리먼터리 스트림()에 우선 순위 3을 할당한다.
이어서, SL 패킷 생성부(134)는 ES 생성부(132)에 의해 생성된 엘리먼터리 스트림들 각각으로부터 SL 패킷들 두개를 생성한다. 이어서, SL 우선 순위 할당부(135)는 SL 패킷 생성부(134)에 의해 생성된 SL 패킷들 각각에 우선 순위를 할당한다. 이어서, 전송부(136)는 SL 패킷들의 전송을 위한 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 SL 패킷들 두 개를 버리고, 나머지 SL 패킷들을 전송한다.
도 16은 도 3에 도시된 비트 스트림 처리/전송부(35)의 다른 구성도이다.
도 16을 참조하면, 도 3에 도시된 비트 스트림 처리/전송부(35)는 BSAC 페이로드 처리부(161), ES 생성부(162), SL 패킷 생성부(163), 및 전송부(164)로 구성된다.
BSAC 페이로드 처리부(161)는 오디오 데이터 부호화 장치와 복호화 장치간의 전송 환경을 고려하여, 예를 들면 역-채널(back-channel)로부터의 페이로드에 의해 결정될 수 있는 계층들의 개수를 고려하여 무손실 부호화부(34)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 BSAC 페이로드들 중 일부를 절단한다.
특히, BSAC 페이로드 처리부(161)는 경량 서버 처리("light-weight server processes")로서 BSAC 페이로드들 중 일부를 절단한다. 본 실시예에서 경량 서버 처리란 BSAC 페이로드들 중 일부를 절단하기 위하여 필요한 비트 스트림의 파싱(parsing) 등의 추가적인 처리를 말하며, 전자의 방식과 비교될 때 BSAC 페이로드의 처리 및 전송이 단순해졌기 때문에 경량이란 용어가 사용되었다.
또한, BSAC 페이로드 처리부(161)는 오디오 데이터의 BSAC 페이로드들 중 일부만을 절단하며, 오디오 데이터의 확장 데이터의 BSAC 페이로드들을 절단하지는 않는다. 따라서, BSAC 페이로드 처리부(161)는 비트 스트림을 파싱함으로써 오디오 데이터의 BSAC 페이로드들과 확장 데이터의 BSAC 페이로드들을 구별하고, 이 구별에 기초하여 확장 데이터의 BSAC 페이로드가 아닌 BSAC 페이로드들 중 일부만을 절단한다.
이와 같은 구별에는 zero_code와 sync_word가 사용된다. 즉, BSAC 페이로드 처리부(161)는 zero_code와 sync_word을 사용하여 확장 데이터의 BSAC 페이로드를 식별하고, 확장 데이터의 BSAC 페이로드가 아닌 BSAC 페이로드들 중 일부만을 절단한다. 또한, BSAC 페이로드 처리부(161)는 오디오 데이터 복호화 장치가 zero_code와 sync_word을 체크하는 것에 의하여 전송된 ES로부터 BSAC 액세스 단위를 추출할 수 있도록 하기 위하여 이 zero_code와 sync_word를 절단된 BSAC 페이로드의 끝에 연결한다. 확장 데이터의 BSAC 페이로드들이 없는 경우에는 상기된 바와 같은 구별이 필요 없게 되어 더 간단하게 된다.
또한, BSAC 페이로드 처리부(161)는 오디오 데이터 부호화 장치와 복호화 장 치간의 전송 환경을 고려하여 타겟 비트 레이트를 결정하고, 이 타겟 비트 레이트에 기초하여 타겟 계층들의 개수를 계산하고, 이 타겟 계층들의 개수에 맞추어 BSAC 페이로드들 중 일부를 절단한다.
ES 생성부(162)는 BSAC 페이로드 처리부(161)에 의해 절단된 BSAC 페이로드들로부터 압축 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 하나의 엘리먼터리 스트림을 생성하고, 확장 데이터의 BSAC 페이로드들로부터 다른 엘리먼터리 스트림을 생성한다. 이어서, SL 패킷 생성부(163)는 ES 생성부(162)에 의해 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다. 전송부(164)는 SL 패킷 생성부(163)에 의해 생성된 SL 패킷들을 전송한다. 상기된 바와 같이, ES 생성부(162), SL 패킷 생성부(163), 및 전송부(164)는 본 실시예에 따른 스케일러블 전송을 위하여 특별한 처리를 하지는 않는다.
도 17은 도 3에 도시된 비트 스트림 처리/전송부(35)에서의 BSAC 페이로드 절단의 일례를 도시한 도면이다.
도 17에 도시된 예는 스테레오 오디오 데이터의 확장 데이터가 이 오디오 데이터의 대역폭을 확장하기 위한 데이터인 경우에 오디오 데이터 및 확장 데이터를 스케일러블하게 전송하기 위한 예이다. 즉, BSAC+SBR 기법에 따라 부호화된 결과인 BSAC 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 17을 참조하면, 서브프레임의 개수는 2로 설정되어 있다. 이 경우, BSAC 페이로드 처리부(161)는 첫 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드(LL0_0) 중 일부를 절단하고, 두 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드(LL1_0) 중 일부를 절단한다. 또한, ES 생성부(162)는 BSAC 페이로드 처리부(161)에 의해 절단된 BSAC 페이로드들(LL0_0, LL1_0)로부터 0 번째 엘리먼터리 스트림을 생성하고, 오디오 데이터의 대역폭을 확장하기 위한 데이터(LL0_1, LL1_1)로부터 1 번째 엘리먼터리 스트림을 생성한다.
도 18은 본 발명의 바람직한 일 실시예에 따른 오디오 데이터 복호화 장치의 구성도이다.
도 18을 참조하면, 본 실시예에 따른 오디오 데이터 복호화 장치는 비트 스트림 수신/처리부(181), 무손실 복호화부(182), 역양자화부(183), 및 주파수/시간 변환부(184)로 구성된다.
비트 스트림 수신/처리부(181)는 소정의 패킷의 형태로 비트 스트림을 수신하고, 이 비트 스트림을 처리함으로서 원래의 BSAC 페이로드들을 복원한다.
도 19는 도 18에 도시된 비트 스트림 수신/처리부(181)의 구성도이다.
도 19를 참조하면, 도 18에 도시된 비트 스트림 수신/처리부(181)는 수신부(191), ES 복원부(192), 및 BSAC 페이로드 복원부(193)로 구성된다. 도 19에 도시된 이와 같은 구성에 의하여 엘리먼터리 스트림을 버리는 방식이 구현될 수 있다.
수신부(191)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 그룹핑되어 재배치된 BSAC 페이로드들 중 일부를 포함하는 SL 패킷들을 수신한다. 특히, 본 실 시예에 따르면, 수신부(191)는 어느 하나의 서브프레임에 속하는 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 BSAC 페이로드들 중 일부를 하나의 그룹으로 수신한다.
도 14에 도시된 예의 경우, 수신부(191)는 오디오 데이터의 각 계층의 BSAC 페이로드들 중 하위 계층 쪽과 이 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 BSAC 페이로드들 중 하위 계층 쪽을 하나의 그룹으로 수신하고, 오디오 데이터의 각 계층의 BSAC 페이로드들 중 상위 계층 쪽과 이 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 BSAC 페이로드들 중 상위 계층 쪽을 하나의 그룹으로 수신한다.
또한, 도 15에 도시된 예의 경우, 수신부(191)는 어느 하나의 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부를 하나의 그룹으로 수신하고, 어느 하나의 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 하나의 그룹으로 수신한다.
ES 복원부(202)는 SL 계층상에서 수신부(191)에 의해 수신된 SL 패킷들을 파싱함으로써 도 3에 도시된 오디오 데이터 부호화 장치에 의해 그룹핑되어 재배치된 BSAC 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들을 복원한다. 여기에서, SL 계층은 SL 패킷들로부터 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기 정보 등을 추출하는 등 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기에 필요한 동작들을 실행하는 계층을 말한다.
BSAC 페이로드 복원부(193)는 압축 계층상에서 SL 계층 처리부()에 의해 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 BSAC 페이로드들을 복원한다. 즉, BSAC 페이로드 복원부(193)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 그룹핑되어 재배치된 BSAC 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들로부터 원래 형태의 BSAC 페이로드들을 복원한다. 압축 계층은 엘리먼터리 스트림들로부터 BSAC 페이로드들의 복호화 작업에 필요한 동작들을 실행하는 계층을 말한다.
특히, BSAC 페이로드 복원부(193)는 SL 계층 처리부()에 의해 복원된 엘리먼터리 스트림들에 포함된 BSAC 페이로드들의 헤더 정보에 포함된, 도 3에 도시된 오디오 데이터 부호화 장치에 의해 BSAC 페이로드들이 그룹핑되어 재배치된 정보를 참조하여 BSAC 페이로드들의 각 계층의 개수, 길이 및 순서 등을 획득하고, 이것을 이용하여 상기된 바와 같이 하나의 그룹으로 수신된 BSAC 페이로드들을 역-재배치(de-interleave)함으로써 어느 하나의 서브프레임을 복원하고, 다른 서브프레임을 복원한다.
도 14에 도시된 예의 경우, BSAC 페이로드 복원부(193)는 상기된 바와 같이 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 오디오 데이터의 각 계층의 BSAC 페이로드를 복원하고, 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 BSAC 페이로드를 복원한다.
또한, 도 15에 도시된 예의 경우, BSAC 페이로드 복원부(193)는 상기된 바와 같이 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 오디오 데이터의 각 계층의 BSAC 페이로드를 복원하고, 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 복원한다.
도 20은 도 18에 도시된 비트 스트림 수신/처리부(181)의 다른 구성도이다.
도 20을 참조하면, 도 20에 도시된 비트 스트림 수신/처리부(181)는 수신부(201), ES 복원부(202), 및 BSAC 페이로드 복원부(203)로 구성된다. 도 20에 도시된 이와 같은 구성에 의하여 BSAC 페이로드를 절단하는 방식이 구현될 수 있다.
수신부(201)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 일부가 절단된 BSAC 페이로드들 및 오디오 데이터의 확장 데이터의 BSAC 페이로드를 포함하는 SL 패킷들을 수신한다.
ES 복원부(202)는 SL 계층상에서 수신부(191)에 의해 수신된 SL 패킷들을 파싱함으로써 도 3에 도시된 오디오 데이터 부호화 장치에 의해 일부가 절단된 BSAC 페이로드들을 포함하는 엘리먼터리 스트림을 복원하고, 오디오 데이터의 확장 데이터의 BSAC 페이로드를 포함하는 엘리먼터리 스트림을 복원한다.
BSAC 페이로드 복원부(203)는 압축 계층상에서 SL 계층 처리부()에 의해 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 BSAC 페이로드들을 복원한다. 즉, BSAC 페이로드 복원부(203)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 오디오 데이터의 BSAC 페이로드들 중 일부가 절단되고, 오디오 데이터의 확장 데이터의 BSAC 페이로드는 절단되지 않은 BSAC 페이로드들로부터 원래 형태의 BSAC 페이로드들을 복원한다.
특히, BSAC 페이로드 복원부(203)는 SL 계층 처리부()에 의해 복원된 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 BSAC 페이로드들 및 다른 엘리먼터리 스트림에 속하는 확장 데이터의 BSAC 페이로드로부터 일부가 절단된 BSAC 페이로드들 및 확장 데이터의 BSAC 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
도 15에 도시된 예의 경우, BSAC 페이로드 복원부(203)는 오디오 데이터의 BSAC 페이로드들 중 일부가 절단되고, 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단되지 않은 BSAC 페이로드들로부터 원래 형태의 BSAC 페이로드들을 복원한다. 보다 상세하게 설명하면, BSAC 페이로드 복원부(203)는 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 BSAC 페이로드들 및 다른 엘리먼터리 스트림에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 그 일부가 절단된 BSAC 페이로드들 및 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
도 21은 도 18에 도시된 무손실 복호화부(182)의 구성도이다.
도 21을 참조하면, 도 18에 도시된 무손실 복호화부(182)는 제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(212), 제 3 BSAC 복호화부(213), ..., 제 N BSAC 복호화부(214), 및 채널 합성부(215)로 구성된다.
제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(142), 제 3 BSAC 복호화부(213), ..., 제 N BSAC 복호화부(214) 각각은 BSAC 기법에 따라 무손실 복호화 부(182)는 비트 스트림 수신/처리부(181)에 의해 복원된 각 계층의 BSAC 페이로드에 포함된 오디오 데이터를 계층적으로 복호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 복호화 기법에 따라 비트 스트림 수신/처리부(181)에 의해 복원된 BSAC 페이로드에 포함된 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다. 본 실시예에서, 적어도 하나 이상의 확장 데이터란 오디오 데이터의 채널을 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 데이터 중 적어도 하나 이상을 말한다. 상기된 것 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
특히, 제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(212), 제 3 BSAC 복호화부(213), ..., 제 N BSAC 복호화부(214) 각각은 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 오디오 데이터를 계층적으로 복호화하는 과정을 필수적으로 수행하고, BSAC 기법에 따라 이 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 복호화하는 과정과 BSAC+SBR 기법에 따라 이 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하는 과정 중 적어도 하나 이상을 수행한다.
도 14에 도시된 예와 같이, 오디오 데이터의 확장 데이터가 이 오디오 데이터의 채널을 확장하기 위한 데이터인 경우, 제 1 BSAC 복호화부(211)는 비트 스트림 수신/처리부(181)에 의해 복원된 어느 하나의 서브프레임에 포함된 오디오 데이 터를 복호화하고, 제 2 BSAC 복호화부(212)는 다른 서브프레임에 포함된 오디오 데이터의 채널을 확장하기 위한 데이터를 복호화한다.
예를 들어, 본 실시예에서의 오디오 데이터가 5.1 채널 오디오 데이터이고, 비트 스트림 수신/처리부(181)가 제 1 BSAC 복호화부(211)로 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터를 출력하고, 제 2 BSAC 복호화부(212)로 SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터를 출력하고, 제 3 BSAC 복호화부(213)로 C 채널의 오디오 데이터를 출력하고, 제 N BSAC 복호화부(214)로 LFE 채널의 오디오 데이터를 출력한다면, 제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(212), 제 3 BSAC 복호화부(213), ..., 제 N BSAC 복호화부(214)는 다음과 같이 동작한다. 특히, 제 1 BSAC 복호화부(211) 및 제 2 BSAC 복호화부(212)는 스테레오 복호화기이고, 제 3 BSAC 복호화부(213) 및 제 N BSAC 복호화부(214)는 모노 복호화기이다.
제 1 BSAC 복호화부(211)는 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터를 복호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 복호화 기법에 따라 비트 스트림 수신/처리부(181)에 의해 입력된 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다.
제 2 BSAC 복호화부(212)는 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터를 복호화하 고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 복호화 기법에 따라 비트 스트림 수신/처리부(181)에 의해 입력된 SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다.
제 3 BSAC 복호화부(213)는 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 C 채널의 오디오 데이터를 복호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 복호화 기법에 따라 비트 스트림 수신/처리부(181)에 의해 입력된 C 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다.
제 N BSAC 복호화부(214)는 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 LFE 채널의 오디오 데이터를 복호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 복호화 기법에 따라 비트 스트림 수신/처리부(181)에 의해 입력된 LFE 채널의 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다.
채널 합성부(215)는 제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(212), 제 3 BSAC 복호화부(213), ..., 제 N BSAC 복호화부(214)에 의해 복호화된 각 채널의 오디오 데이터를 합성함으로서 다채널 오디오 데이터를 복원한다. 다만, 채널 합성부(215)는 제 1 BSAC 복호화부(211), 제 2 BSAC 복호화부(212), 제 3 BSAC 복호화 부(213), ..., 제 N BSAC 복호화부(214) 중 어느 하나에 의해서만 복호화된 오디오 데이터를 입력받은 경우에는 그대로 역양자화부(183)로 출력한다.
도 22는 도 21에 도시된 BSAC 복호화부들(211-214) 각각의 구성도이다.
도 22를 참조하면, 도 6에 도시된 BSAC 복호화부들(211-214) 각각은 BSAC 복호화부(221), zero_code 검출부(222), sync_word 검출부(223), extension_type 검출부(224), SBR 복호화부(225), CRC 검출부(226), 및 데이터 합성부(227)로 구성된다.
BSAC 복호화부(221)는 BSAC 기법에 따라 비트 스트림 수신/처리부(181)로부터 입력된 오디오 데이터를 계층적으로 복호화한다. 보다 상세하게 설명하면, BSAC 복호화부(221)는 오디오 데이터 중 기본 계층에 해당하는 주파수 대역의 데이터를 가장 먼저 복호화하고, 기본 계층의 다음 상위 계층에 해당하는 주파수 대역의 데이터를 그 다음으로 복호화하고, 이것을 나머지 모든 계층에 해당하는 주파수 대역의 데이터의 복호화가 완료될 때까지 반복한다. 즉, BSAC 복호화부(221)는 BSAC 기법에 따라 모든 계층들의 오디오 데이터 중 보다 더 하위 계층의 오디오 데이터를 먼저 복호화하고, 각 계층의 오디오 데이터의 비트 스트림 중 보다 더 상위 비트를 먼저 복호화한다.
zero_code 검출부(222)는 비트 스트림 수신/처리부(181)로부터 입력된 오디오 데이터의 부호화 부분 다음에서 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드인 zero_code를 검출한다.
sync_word 검출부(223)는 zero_code 검출부(222)에 의해 zero_code가 검출되 면, 이 zero_code 다음에서 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드인 sync_word를 검출한다.
extension_type 검출부(224)는 sync_word 검출부(223)에 의해 sync_word가 검출되면, 이 sync_word 다음에 오디오 데이터의 확장 데이터의 확장 타입을 나타내는 코드인 extension type을 검출한다.
만약, 상기된 확장 데이터 이외에 다른 확장 데이터가 존재하는 경우라면, extension_type 검출부(224)는 상기된 확장 데이터의 부호화 부분 다음에 다른 확장 데이터의 확장 타입을 나타내는 extension_type를 검출하고, 상기된 BSAC 복호화부들(211-214) 중 어느 하나는 이 extension_type이 나타내는 부호화 기법에 따라 다른 확장 데이터를 복호화한다. 이것은 나머지 모든 확장 데이터의 복호화가 완료될 때까지 반복적으로 수행된다.
SBR 복호화부(225)는 extension_type 검출부(224)에 의해 extension_type이 검출되면, 이 extension_type이 BSAC+SBR 기법 또는 BSAC+SBR+CRC 기법을 나타내는 경우, SBR 기법에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화한다. 보다 상세하게 설명하게 설명하면, SBR 복호화부(225)는 기본 계층에 해당하는 저주파수 대역의 오디오 데이터와 상위 계층에 해당하는 고주파수 대역의 오디오 데이터의 상관 관계에 관한 정보만을 복호화한다. 또한, SBR 복호화부(225)는 기본 계층에 해당하는 저주파수 대역의 오디오 데이터를 고주파수 대역으로 복사하는 전위 과정을 수행하고, 상기 복호화에 의해 복원된 저주파수 대역과 고주파수 대역의 상관 정보를 이 용하여 이 전위 과정에서 누락된 고주파수 성분을 보상한다. 예를 들어, 저주파수 대역과 고주파수 대역의 상관 정보가 저주파수 대역과 고주파수 대역의 포락선(envelope)의 상관에 관한 정보라면, SBR 복호화부(225)는 이 상관 정보를 이용하여 고주파수 대역의 포락선을 조정한다. 특히, SBR 복호화부(225)는 일반적인 엔트로피 복호화 방식, 예를 들면 허프만 디코딩 방식을 사용한다.
도 15에 도시된 예와 같이, 오디오 데이터의 확장 데이터가 이 오디오 데이터의 대역폭을 확장하기 위한 데이터인 경우, BSAC 복호화부(221)는 비트 스트림 수신/처리부(181)에 의해 복원된 어느 하나의 서브프레임에 포함된 오디오 데이터를 복호화하고, SBR 복호화부(225)는 다른 서브프레임에 포함된 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화한다.
특히, 도 17에 도시된 예와 같이, 일부가 절단된 BSAC 페이로드들에 포함된 오디오 데이터를 복호화하는 경우, SBR 복호화부(225)는 그 일부가 절단된 BSAC 페이로드들의 헤더 정보에 포함된 오디오 데이터의 길이 정보와 오디오 데이터의 실제 길이를 비교함으로써 그 일부가 절단되었는지 여부를 판단하고, 이 판단 결과에 기초하여 그 일부를 복원한다. 또한, SBR 복호화부(225)는 zero_code 검출부(222) 및 sync_word 검출부(223)에 의해 검출된 zero-code와 sync-code로부터 확장 데이터의 부호화 부분의 시작 지점을 식별하고, BSAC 페이로드의 헤더 정보에 포함된 확장 데이터의 길이 정보에 기초하여 확장 데이터의 부호화 부분의 종료 지점을 식별하고, 이 식별에 기초하여 확장 데이터를 복호화한다.
CRC 검출부(226)는 extension_type 검출부(224)에 의해 extension_type이 검 출되면, 이 extension_type이 BSAC+SBR+CRC 기법을 나타내는 경우, 비트 스트림 수신/처리부(181)로부터 입력된 BSAC 페이로드로부터 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 검출한다.
데이터 합성부(227)는 BSAC 복호화부(221)에 의해 복호화된 데이터 및 SBR 복호화부(225)에 의해 복호화된 데이터를 합성한다. 특히, 데이터 합성부(227)는 BSAC 복호화부(221)에 의해 복호화된 데이터 및 SBR 복호화부(225)에 의해 복호화된 데이터가 서로 중복되는 부분이 존재하면, BSAC 복호화부(221)에 의해 복호화된 데이터를 우선시하여 데이터를 합성한다.
역양자화부(183)는 무손실 복호화부(182)에 의해 복호화된 데이터를 역양자화한다.
주파수/시간 변환부(184)는 역양자화부(183)에 의해 역양자화된 주파수 영역의 오디오 데이터를 시간 영역의 오디오 데이터로 변환한다. 보다 상세하게 설명하면, 시간/주파수 변환부(31)는 시간 영역의 오디오 데이터를 IMDCT(Inverse Modified Discrete Cosine Transform)를 이용하여 주파수 영역의 오디오 데이터로 변환한다.
도 23a-23b는 본 발명의 바람직한 일 실시예에 따른 무손실 부호화 방법의 흐름도이다.
도 23a-23b를 참조하면, 본 실시예에 따른 무손실 부호화 방법은 도 3에 도시된 무손실 부호화부(34)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 무손실 부호화부(34)에 관하여 이상 에서 기술된 내용은 본 실시예에 따른 무손실 부호화 방법에도 적용된다.
2301 단계에서 무손실 부호화부(34)는 양자화부(33)에 의해 양자화된 오디오 데이터를 각 채널 별로 분리한다.
2302 단계에서 무손실 부호화부(34)는 2301 단계에서의 분리 결과인 FR 채널의 오디오 데이터 및 FL 채널의 오디오 데이터를 다운 샘플링한다.
2303 단계에서 무손실 부호화부(34)는 BSAC 기법에 따라 2302 단계에서 다운 샘플링된 오디오 데이터를 계층적으로 부호화한다.
2304 단계에서 무손실 부호화부(34)는 2303 단계에서의 오디오 데이터의 부호화가 완료된 경우에는 2305 단계로 진행하고, 완료되지 않는 경우에는 2303 단계로 돌아간다.
2305 단계에서 무손실 부호화부(34)는 이 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드인 zero_code를 생성하고, 2303 오디오 데이터의 부호화 부분 다음에 이 zero_code를 삽입한다.
2306 단계에서 무손실 부호화부(34)는 오디오 데이터의 확장 데이터가 존재하는 경우에는 2307 단계로 진행하고, 존재하지 않는 경우에는 종료한다.
2307 단계에서 무손실 부호화부(34)는 이 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드인 sync_word를 생성하고, 2305 단계에서 삽입된 zero_code 다음에 이 sync_word를 삽입한다.
2308 단계에서 무손실 부호화부(34)는 이 확장 데이터의 확장 타입을 나타내는 코드인 extension type를 생성하고, 2307 단계에서 삽입된 sync_word 다음에 이 extension type을 삽입한다.
2309 단계에서 무손실 부호화부(34)는 2307 단계에서 생성된 extension_type이 "1111"인 경우에는 2310으로 진행하고, 아닌 경우에는 2311 단계로 진행한다.
2310 단계에서 무손실 부호화부(34)는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 부호화하고, 2319 단계로 진행한다.
2311 단계에서 무손실 부호화부(34)는 "0000"인 경우에는 2312 단계로 진행하고, 아닌 경우에는 2313 단계로 진행한다.
2312 단계에서 무손실 부호화부(34)는 SBR 방식에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고, 2319 단계로 진행한다.
2313 단계에서 무손실 부호화부(34)는 "0001"인 경우에는 2314 단계로 진행하고, 아닌 경우에는 2315 단계로 진행한다.
2314 단계에서 무손실 부호화부(34)는 SBR 방식에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고, 이 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하고, BSAC 페이로드 중 소정 부분에 삽입하고, 2319 단계로 진행한다.
2315 단계에서 무손실 부호화부(34)는 "1110"인 경우에는 2316 단계로 진행하고, 아닌 경우에는 2317 단계로 진행한다.
2316 단계에서 무손실 부호화부(34)는 FL 채널의 오디오 데이터 및 FR 채널의 오디오의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 부호화한다. 또한, 2316 단계에서 무손실 부호화부(34)는 이와 함께 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, C 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, LFE 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고, 2319 단계로 진행한다.
2317 단계에서 무손실 부호화부(34)는 "1101"인 경우에는 2318 단계로 진행하고, 아닌 경우에는 종료한다.
2318 단계에서 무손실 부호화부(34)는 FL 채널의 오디오 데이터 및 FR 채널의 오디오의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 부호화한다. 또한, 2318 단계에서 무손실 부호화부(34)는 이와 함께 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, C 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, LFE 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화한다. 또한, 2312 단계에서 무손실 부호화부(34)는 이와 함께 이 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하고, BSAC 페이로드 중 소정 부분에 삽입하고, 2319 단계로 진행한다.
도 6-7에 도시된 바와 같이, 본 실시예에서는 2302-2308 단계와 2310 단계, 2312 단계, 2314 단계, 2316 단계, 2318 단계 각각이 병렬적으로 처리되는 것으로 구현하고 있으나, 직렬적으로 처리되는 것으로 구현될 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 다만, 상기된 바와 같이 병렬적으로 처리되는 것으로 구현되는 경우에는 2309-2317 단계에서의 처리 순서는 시간적 처리 순서를 나타내는 것이 아니라, 2307 단계에서 생성된 extension_type의 값에 따른 병렬적 처리를 나타낼 뿐이다.
2319 단계에서 무손실 부호화부(34)는 다른 확장 데이터가 존재하는 경우에는 2308 단계로 돌아가고, 존재하지 않는 경우에는 종료한다.
도 24는 본 발명의 바람직한 일 실시예에 따른 비트 스트림 처리/전송 방법의 흐름도이다.
도 24를 참조하면, 본 실시예에 따른 비트 스트림 처리/전송 방법은 도 3에 도시된 비트 스트림 처리/전송부(35)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 비트 스트림 처리/전송부(35)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 처리/전송 방법에도 적용된다.
2401 단계에서 비트 스트림 처리/전송부(35)는 무손실 부호화부(34)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 BSAC 페이로드들 중 일부가 하나의 그룹이 되도록 BSAC 페이로드들을 그룹핑하여 재배치한다.
2402 단계에서 비트 스트림 처리/전송부(35)는 2401 단계에서 그룹핑되어 재배치된 BSAC 페이로드들로부터 압축 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 엘리먼터리 스트림들을 생성한다.
2403 단계에서 비트 스트림 처리/전송부(35)는 2402 단계에서 생성된 엘리먼터리 스트림들에 우선 순위를 할당한다.
2404 단계에서 비트 스트림 처리/전송부(35)는 2403 단계에서 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다.
2405 단계에서 비트 스트림 처리/전송부(35)는 2404 단계에서 생성된 SL 패킷들 각각에 우선 순위를 할당한다.
2406 단계에서 비트 스트림 처리/전송부(35)는 2403 단계 및 2405 단계에서 할당된 우선 순위에 기초하여 SL 패킷들 중 일부 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 25는 본 발명의 바람직한 일 실시예에 따른 다른 비트 스트림 처리/전송 방법의 흐름도이다.
도 25를 참조하면, 본 실시예에 따른 다른 비트 스트림 처리/전송 방법은 도 3에 도시된 비트 스트림 처리/전송부(35)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 비트 스트림 처리/전송부(35)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 다른 비트 스트림 처리/전송 방법에도 적용된다.
2501 단계에서 비트 스트림 처리/전송부(35)는 오디오 데이터 부호화 장치와 복호화 장치간의 전송 환경을 고려하여, 예를 들면 역-채널로부터의 페이로드에 의해 결정될 수 있는 계층들의 개수를 고려하여 무손실 부호화부(34)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 BSAC 페이로드들 중 일부를 절단한다.
2502 단계에서 비트 스트림 처리/전송부(35)는 2502 단계에서 절단된 BSAC 페이로드들로부터 압축 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 하나의 엘리먼터리 스트림을 생성하고, 확장 데이터의 BSAC 페이로드들로부터 다른 엘리먼터리 스트림을 생성한다.
2503 단계에서 비트 스트림 처리/전송부(35)는 2502 단계에서 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 BSAC 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다.
2504 단계에서 비트 스트림 처리/전송부(35)는 2503 단계에서 생성된 SL 패킷들을 전송한다.
도 26은 본 발명의 바람직한 일 실시예에 따른 비트 스트림 수신/처리 방법의 흐름도이다.
도 26을 참조하면, 본 실시예에 따른 비트 스트림 수신/처리 방법은 도 18에 도시된 비트 스트림 수신/처리부(181)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 18에 도시된 비트 스트림 수신/처리부(181)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 수신/ 처리 방법에도 적용된다.
2601 단계에서 비트 스트림 수신/처리부(181)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 그룹핑되어 재배치된 BSAC 페이로드들 중 일부를 포함하는 SL 패킷들을 수신한다.
2602 단계에서 비트 스트림 수신/처리부(181)는 2601 단계에서 수신된 SL 패킷들을 파싱함으로써 도 3에 도시된 오디오 데이터 부호화 장치에 의해 그룹핑되어 재배치된 BSAC 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들을 복원한다.
2603 단계에서 비트 스트림 수신/처리부(181)는 2602 단계에서 복원된 엘리먼터리 스트림들에 포함된 BSAC 페이로드들의 헤더 정보에 포함된, 도 3에 도시된 오디오 데이터 부호화 장치에 의해 BSAC 페이로드들이 그룹핑되어 재배치된 정보를 참조하여 BSAC 페이로드들의 각 계층의 개수, 길이 및 순서 등을 획득한다.
2604 단계에서 비트 스트림 수신/처리부(181)는 2603 단계에서 획득된 정보를 이용하여 엘리먼터리 스트림들에 포함된 BSAC 페이로드들을 역-재배치함으로써 원래-형태의 BSAC 페이로들을 복원한다.
도 27은 본 발명의 바람직한 일 실시예에 따른 다른 비트 스트림 수신/처리 방법의 흐름도이다.
도 27을 참조하면, 본 실시예에 따른 다른 비트 스트림 수신/처리 방법은 도 18에 도시된 비트 스트림 수신/처리부(181)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 18에 도시된 비트 스트림 수신/처리부(181)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 다른 비트 스 트림 수신/처리 방법에도 적용된다.
2701 단계에서 비트 스트림 수신/처리부(181)는 도 3에 도시된 오디오 데이터 부호화 장치에 의해 일부가 절단된 BSAC 페이로드들 및 오디오 데이터의 확장 데이터의 BSAC 페이로드를 포함하는 SL 패킷들을 수신한다.
2702 단계에서 비트 스트림 수신/처리부(181)는 2701 단계에서 수신된 SL 패킷들을 파싱함으로써 도 3에 도시된 오디오 데이터 부호화 장치에 의해 일부가 절단된 BSAC 페이로드들을 포함하는 엘리먼터리 스트림을 복원하고, 오디오 데이터의 확장 데이터의 BSAC 페이로드를 포함하는 엘리먼터리 스트림을 복원한다.
2703 단계에서 비트 스트림 수신/처리부(181)는 2702 단계에서 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 BSAC 페이로드들을 복원한다. 특히, 2703 단계에서 비트 스트림 수신/처리부(181)는 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 BSAC 페이로드들 및 다른 엘리먼터리 스트림에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 그 일부가 절단된 BSAC 페이로드들 및 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
도 28a-28b는 본 발명의 바람직한 일 실시예에 따른 무손실 복호화 방법의 흐름도이다.
도 28a-28b를 참조하면, 본 실시예에 따른 무손실 복호화 방법은 도 13에 도시된 무손실 복호화부(132)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 13에 도시된 무손실 복호화부(132)에 관하 여 이상에서 기술된 내용은 본 실시예에 따른 무손실 복호화 방법에도 적용된다.
2801 단계에서 무손실 복호화부(132)는 BSAC 기법에 따라 비트 스트림 디포맷터(131)로부터 입력된 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터를 계층적으로 복호화한다.
2802 단계에서 무손실 복호화부(132)는 비트 스트림 디포맷터(131)로부터 입력된 오디오 데이터의 복호화 부분 다음에서 오디오 데이터의 복호화 부분이 종결됨을 나타내는 코드인 zero_code를 검출하고, 그 결과 zero_code가 검출된 경우에는 2803 단계로 진행하고, 검출되지 않은 경우에는 종료한다.
2803 단계에서 무손실 복호화부(132)는 2802 단계에서 검출된 zero_code 다음에서 오디오 데이터의 확장 데이터의 복호화 부분이 시작됨을 나타내는 코드인 sync_word를 검출하고, 그 결과 sync_word가 검출된 경우에는 2804 단계로 진행하고, 검출되지 않은 경우에는 종료한다.
2804 단계에서 무손실 복호화부(132)는 2803 단계에서 검출된 sync_word 다음에 오디오 데이터의 확장 데이터의 확장 타입을 나타내는 코드인 extension type을 검출하고, 그 결과 extension type이 검출된 경우에는 2805 단계로 진행하고, 검출되지 않은 경우에는 종료한다.
2805 단계에서 무손실 복호화부(132)는 2804 단계에서 검출된 extension_type이 "1111"인 경우에는 2806으로 진행하고, 아닌 경우에는 2807 단계로 진행한다.
2806 단계에서 무손실 복호화부(132)는 FL 채널의 오디오 데이터 및 FR 채널 의 오디오 데이터의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 복호화하고, 다른 확장 데이터가 존재하는지를 확인하기 위하여 2804 단계로 진행한다.
2807 단계에서 무손실 복호화부(132)는 2804 단계에서 검출된 extension_type이 "0000"인 경우에는 2808 단계로 진행하고, 아닌 경우에는 2809 단계로 진행한다.
2808 단계에서 무손실 복호화부(132)는 SBR 방식에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하고, 다른 확장 데이터가 존재하는지를 확인하기 위하여 2804 단계로 진행한다.
2809 단계에서 무손실 복호화부(34)는 2804 단계에서 검출된 extension_type이 "0001"인 경우에는 2810 단계로 진행하고, 아닌 경우에는 2811 단계로 진행한다.
2810 단계에서 무손실 복호화부(34)는 SBR 방식에 따라 기본 계층에 해당하는 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하고, 이 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하고, BSAC 페이로드 중 소정 부분에 삽입하고, 다른 확장 데이터가 존재하는지를 확인하기 위하여 2804 단계로 진행한다.
2811 단계에서 무손실 복호화부(34)는 2804 단계에서 검출된 extension_type 이 "1110"인 경우에는 2812 단계로 진행하고, 아닌 경우에는 2813 단계로 진행한다.
2812 단계에서 무손실 복호화부(34)는 FL 채널의 오디오 데이터 및 FR 채널의 오디오의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 복호화한다. 또한, 2812 단계에서 무손실 복호화부(34)는 이와 함께 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, C 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, LFE 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하고, 다른 확장 데이터가 존재하는지를 확인하기 위하여 2804 단계로 진행한다.
2813 단계에서 무손실 복호화부(34)는 2804 단계에서 검출된 extension_type이 "1101"인 경우에는 2814 단계로 진행하고, 아닌 경우에는 종료한다.
2814 단계에서 무손실 복호화부(34)는 FL 채널의 오디오 데이터 및 FR 채널의 오디오의 채널을 확장하기 위한 데이터, 즉 SL 채널의 오디오 데이터, SR 채널의 오디오 데이터, C 채널의 오디오 데이터, LFE 채널의 오디오 데이터를 계층적으로 복호화한다. 또한, 2814 단계에서 무손실 복호화부(34)는 이와 함께 FL 채널의 오디오 데이터 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, SL 채널의 오디오 데이터 및 SR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, C 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터, LFE 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화한다. 또한, 1612 단계에서 무손실 복호화부(34)는 이와 함께 이 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하고, BSAC 페이로드 중 소정 부분에 삽입하고, 다른 확장 데이터가 존재하는지를 확인하기 위하여 2804 단계로 진행한다.
도 21-22에 도시된 바와 같이, 본 실시예에서는 2801-2804 단계와 2806 단계, 2808 단계, 2810 단계, 2812 단계, 2814 단계 각각이 병렬적으로 처리되는 것으로 구현하고 있으나, 직렬적으로 처리되는 것으로 구현될 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 다만, 상기된 바와 같이 병렬적으로 처리되는 것으로 구현되는 경우에는 2805-2814 단계에서의 처리 순서는 시간적 처리 순서를 나타내는 것이 아니라, 2804 단계에서 검출된 extension_type의 값에 따른 병렬적 처리를 나타낼 뿐이다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따르면, BSAC 기법에 따라 오디오 데이터를 부호화하고, BSAC 기법, BSAC+SBR 기법, BSAC+SBR+CRC 기법, BSAC 다채널 기법, BSAC 다채널+SBR 기법, BSAC 다채널+SBR+CRC 기법 중 적어도 하나 이상의 부호화 기법에 따라 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하고, 또한 이와 같은 방식으로 복호화함으로서 BSAC 기법의 특성인 FGS를 그대로 지원하면서도 오디오 데이터의 확장성을 거의 무한하게 하였다는 효과가 있다.
또한, 본 발명에 따르면, 종래의 8 비트의 extension type으로부터 분리된 확장 데이터의 부호화 부분이 시작됨을 나타내는 4 비트의 sync_word 및 확장 데이터의 확장 타입을 나타내는 4 비트의 extension_type를 제안함으로써 도 1에 도시된 신택스를 따르는 종래의 BSAC 부호화 방식도 지원할 수 있는 역 호환(backward compatibility)을 제공하였다는 효과가 있다.
또한, 본 발명에 따르면, 오디오 데이터와 상기 오디오 데이터의 확장 데이 터의 BSAC 페이로드들을 그 중요도에 따라 그룹핑하여 재배치하고, 이것들 중 일부 그룹을 버리고, 나머지 그룹을 전송함으로써 원음 재생에 오디오 데이터의 상위 계층보다 더 중요한 역할을 하는 확장 데이터를 우선적으로 전송할 수 있다는 효과가 있다.
또한, 본 발명에 따르면, 오디오 데이터와 오디오 데이터의 확장 데이터를 부호화하고, 오디오 데이터의 페이로드들의 일부를 절단하고, 오디오 데이터의 절단된 페이로드들과 확장 데이터의 페이로드 전부를 전송함으로써 오디오 데이터의 전체 비트 레이트를 대폭 감소시키면서도 복원 음질의 품질의 저하를 미미하게 할 수 있다는 효과가 있다. 결론적으로, 본 발명은 오디오 데이터의 대역별 중요도 이외에 확장 데이터의 중요도도 함께 고려하여 스케일러블하게 전송할 수 있는 솔루션을 제공하고 있다.

Claims (48)

  1. (a) 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 단계;
    (b) 상기 (a) 단계에서 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 단계; 및
    (c) 상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부가 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 부호화 방법.
  3. 제 1 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하고,
    상기 (b) 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 하위 계층 쪽과 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 하위 계층 쪽이 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 부호화 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하고,
    상기 (b) 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 상위 계층 쪽과 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 상위 계층 쪽이 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 부호화 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 (b) 단계는 어느 하나의 서브프레임에 속하는 오디오 데이터의 페이로드들 중 일부와 다른 서브프레임에 속하는 오디오 데이터의 페이로드들 중 일부가 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 부호화 방법.
  6. 제 1 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 (b) 단계는 어느 하나의 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드가 하나의 그룹의 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 부호화 방법.
  7. 제 1 항에 있어서,
    (c) 상기 그룹핑하여 배치된 페이로드들의 그룹들 각각에 우선 순위를 할당하는 단계를 더 포함하고,
    상기 (d) 단계는 상기 할당된 우선 순위에 기초하여 상기 일부 그룹을 버리는 것을 특징으로 하는 부호화 방법.
  8. 제 1 항에 있어서,
    상기 그룹핑하여 재배치된 페이로드들로부터 엘리먼터리 스트림들을 생성하는 단계; 및
    상기 생성된 엘리먼터리 스트림들로부터 SL(Sync Layer) 패킷들을 생성하는 단계를 더 포함하고,
    상기 (c) 단계는 상기 생성된 SL 패킷들 중 일부 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송하는 것을 특징으로 하는 부호화 방법.
  9. 제 1 항에 있어서,
    상기 (a) 단계는 어느 하나의 부호화 기법에 따라 상기 오디오 데이터를 부호화하고, 적어도 하나 이상의 부호화 기법에 따라 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 것을 특징으로 하는 부호화 방법.
  10. 제 1 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 부호화 장치와 상기 오디오 데이터의 복호화 장치간의 전송 환경을 고려하여 상기 페이로드들 중 일부 그룹을 버리는 것을 특징으로 하는 부호화 방법.
  11. 제 1 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 부호화부;
    상기 부호화부에 의해 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 처리부; 및
    상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 전송부를 포함하는 것을 특징으로 하는 부호화 장치.
  13. (a) 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 단계;
    (b) 상기 (a) 단계에서 부호화된 결과인 페이로드들의 일부를 절단하는 단 계; 및
    (c) 상기 절단된 페이로드들을 전송하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
  14. 제 13 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 상기 확장 데이터의 페이로드는 절단하지 않는 것을 특징으로 하는 부호화 방법.
  15. 제 13 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 (b) 단계는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단하지 않는 것을 특징으로 하는 부호화 방법.
  16. 제 13 항에 있어서,
    상기 (b) 단계는 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 다른 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고,
    상기 절단된 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계를 더 포 함하는 것을 특징으로 하는 부호화 방법.
  17. 제 13 항에 있어서,
    어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 엘리먼터리 스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.
  18. 제 13 항에 있어서,
    상기 절단된 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계;
    상기 생성된 엘리먼터리 스트림으로부터 SL 패킷들을 생성하는 단계를 더 포함하고,
    상기 (c) 단계는 상기 생성된 SL 패킷들을 전송하는 것을 특징으로 하는 부호화 방법.
  19. 제 13 항에 있어서,
    상기 확장 데이터의 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계;
    상기 생성된 엘리먼터리 스트림으로부터 SL 패킷들을 생성하는 단계를 더 포함하고,
    상기 (c) 단계는 상기 생성된 SL 패킷들을 전송하는 것을 특징으로 하는 부 호화 방법.
  20. 제 13 항에 있어서,
    상기 (b) 단계는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드와 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드를 사용하여 상기 확장 데이터의 부호화 부분을 식별하고, 상기 식별에 기초하여 절단하는 것을 특징으로 하는 부호화 방법.
  21. 제 13 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 부호화 장치와 상기 오디오 데이터의 복호화 장치간의 전송 환경을 고려하여 상기 페이로드들의 일부를 절단하는 것을 특징으로 하는 부호화 방법.
  22. 제 13 항 내지 제 21 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 부호화하는 부호화부;
    상기 부호화부에 의해 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및
    상기 절단된 페이로드들을 전송하는 전송부를 포함하는 것을 특징으로 하는 부호화 장치.
  24. (a) 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 단계;
    (b) 상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및
    (c) 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  25. 제 24 항에 있어서,
    상기 (a) 단계는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 하나의 그룹으로 수신하고,
    상기 (b) 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치(de-interleave)함으로써 상기 어느 하나의 서브프레임을 복원하고, 상기 다른 서브프레임을 복원하는 것을 특징으로 하는 복호화 방법.
  26. 제 25 항에 있어서,
    상기 (c) 단계는 상기 복원된 어느 하나의 서브프레임에 포함된 오디오 데이터를 복호화하고, 상기 다른 서브프레임에 포함된 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 복호화 방법.
  27. 제 25 항에 있어서,
    상기 (c) 단계는 상기 복원된 어느 하나의 서브프레임에 포함된 오디오 데이터를 복호화하고, 상기 다른 서브프레임에 포함된 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 복호화 방법.
  28. 제 24 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 하위 계층 쪽과 상기 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 하위 계층 쪽을 하나의 그룹으로 수신하고,
    상기 (b) 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드를 복원하는 것을 특징으로 하는 복호화 방법.
  29. 제 24 항에 있어서,
    상기 (a) 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 상위 계층 쪽과 상기 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 상위 계층 쪽을 하나의 그룹으로 수신하고,
    상기 (b) 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드를 복원하는 것을 특징으로 하는 복호화 방법.
  30. 제 24 항에 있어서,
    상기 (a) 단계는 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부와 다른 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 하나의 그룹으로 수신하고, 상기 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 상기 다른 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 하나의 그룹으로 수신하고,
    상기 (b) 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 대역폭을 확장하기 위한 데이터의 페이로드를 복원하는 것을 특징으로 하는 복호화 방법.
  31. 제 24 항에 있어서,
    상기 (a) 단계는 상기 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 SL(Sync Layer) 패킷들을 수신하고,
    상기 수신된 SL 패킷들을 파싱함으로써 엘리먼터리 스트림들을 복원하는 단계를 더 포함하고,
    상기 (b) 단계는 상기 복원된 엘리먼터리 스트림들을 파싱함으로써 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 복호화 방법.
  32. 제 24 항에 있어서,
    상기 (c) 단계는 어느 하나의 부호화 기법에 따라 상기 오디오 데이터를 부호화하고, 적어도 하나 이상의 부호화 기법에 따라 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 것을 특징으로 하는 복호화 방법.
  33. 제 24 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 부호화 장치에 의해 그룹핑되어 재배치된 정보에 기초하여 상기 페이로드들을 복원하는 것을 특징으로 하는 복호화 방법.
  34. 제 24 항 내지 제 33 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  35. 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 수신부;
    상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 복호화 방법.
  36. (a) 일부가 절단된 페이로드들을 수신하는 단계;
    (b) 상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및
    (c) 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  37. 제 36 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 페이로드들 중 일부가 절단되고, 상기 확장 데이터의 페이로드는 절단되지 않은 페이로드들로부터 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 복호화 방법.
  38. 제 36 항에 있어서,
    상기 (b) 단계는 상기 오디오 데이터의 페이로드들 중 일부가 절단되고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단되지 않은 페이로드들로부터 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 복호화 방법.
  39. 제 36 항에 있어서,
    상기 (c) 단계는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화함으로써 상기 일부를 복원하는 것을 특징으로 하는 복호화 방법.
  40. 제 36 항에 있어서,
    상기 일부가 절단된 페이로드들의 헤더 정보에 포함된 상기 오디오 데이터의 길이 정보와 상기 오디오 데이터의 실제 길이를 비교함으로써 상기 일부가 절단되었는지 여부를 판단하는 단계를 더 포함하고,
    상기 (c) 단계는 상기 판단 결과에 기초하여 상기 일부를 복원하는 것을 특징으로 하는 복호화 방법.
  41. 제 36 항에 있어서,
    상기 (c) 단계는 상기 복원된 페이로드들에 포함된 오디오 데이터를 계층적으로 복호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 복호화 방법.
  42. 제 36 항에 있어서,
    상기 (b) 단계는 어느 하나의 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 확장 데이터의 페이로드로부터 상기 일부가 절단된 페이로드들 및 상기 확장 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 부호화 방법.
  43. 제 36 항에 있어서,
    상기 (b) 단계는 어느 하나의 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 상기 일부가 절단된 페이로드들 및 상기 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 복호화 방법.
  44. 제 36 항에 있어서,
    상기 (a) 단계는 상기 일부가 절단된 페이로드들을 포함하는 SL 패킷들 및 상기 확장 데이터의 페이로드를 포함하는 SL 패킷들을 수신하고,
    상기 수신된 SL 패킷들을 파싱함으로써 상기 일부가 절단된 페이로드들을 포함하는 엘리먼터리 스트림 및 상기 확장 데이터의 페이로드를 포함하는 엘리먼터리 스트림을 복원하는 단계를 더 포함하고,
    상기 (b) 단계는 상기 복원된 엘리먼터리 스트림들을 파싱함으로써 상기 일부가 절단된 페이로드들 및 상기 확장 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 복호화 방법.
  45. 제 36 항에 있어서,
    상기 (c) 단계는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드와 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드를 검출함으로써 상기 확장 데이터의 부호화 부분의 시작 지점을 식별하고, 상기 식별에 기초 하여 상기 확장 데이터를 복호화하는 것을 특징으로 하는 부호화 방법.
  46. 제 36 항에 있어서,
    상기 (c) 단계는 상기 확장 데이터의 길이 정보에 기초하여 상기 확장 데이터의 부호화 부분의 종료 지점을 식별하고, 상기 식별에 기초하여 상기 확장 데이터를 복호화하는 것을 특징으로 하는 부호화 방법.
  47. 제 36 항 내지 제 46 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  48. 일부가 절단된 페이로드들을 수신하는 수신부;
    상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 복호화 방법.
KR1020060067705A 2005-10-12 2006-07-19 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치 KR20070108302A (ko)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020060095040A KR100813269B1 (ko) 2005-10-12 2006-09-28 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치
CN2006800382156A CN101288309B (zh) 2005-10-12 2006-10-12 处理/发送以及接收/处理比特流的方法和设备
US11/546,433 US8055500B2 (en) 2005-10-12 2006-10-12 Method, medium, and apparatus encoding/decoding audio data with extension data
CN200680038064.4A CN101288117B (zh) 2005-10-12 2006-10-12 对音频数据和扩展数据进行编码/解码的方法和设备
EP12006689.9A EP2555187B1 (en) 2005-10-12 2006-10-12 Method and apparatus for encoding/decoding audio data and extension data
US11/546,435 US8212693B2 (en) 2005-10-12 2006-10-12 Bit-stream processing/transmitting and/or receiving/processing method, medium, and apparatus
EP06799181A EP1949369B1 (en) 2005-10-12 2006-10-12 Method and apparatus for encoding/decoding audio data and extension data
EP20120164102 EP2477189A1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
PCT/KR2006/004098 WO2007043808A1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
EP06799178A EP1949693B1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
CN2011102209802A CN102237094B (zh) 2005-10-12 2006-10-12 处理/发送比特流以及接收/处理比特流的方法和设备
KR1020060099425A KR100851972B1 (ko) 2005-10-12 2006-10-12 오디오 데이터 및 확장 데이터 부호화/복호화 방법 및 장치
PCT/KR2006/004102 WO2007043811A1 (en) 2005-10-12 2006-10-12 Method and apparatus for encoding/decoding audio data and extension data
US13/487,600 US20120239409A1 (en) 2005-10-12 2012-06-04 Bit-stream processing/transmitting and/or receiving/processing method, medium, and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US72615905P 2005-10-14 2005-10-14
US60/726,159 2005-10-14
KR1020060049082 2006-05-30
KR20060049082 2006-05-30

Publications (1)

Publication Number Publication Date
KR20070108302A true KR20070108302A (ko) 2007-11-09

Family

ID=39063195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060067705A KR20070108302A (ko) 2005-10-12 2006-07-19 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20070108302A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR20140026279A (ko) * 2012-08-22 2014-03-05 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법
KR20140097555A (ko) * 2011-12-02 2014-08-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 기하학 기반 공간 오디오 코딩 스트림들을 병합하기 위한 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR20140097555A (ko) * 2011-12-02 2014-08-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 기하학 기반 공간 오디오 코딩 스트림들을 병합하기 위한 장치 및 방법
US9484038B2 (en) 2011-12-02 2016-11-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for merging geometry-based spatial audio coding streams
KR20140026279A (ko) * 2012-08-22 2014-03-05 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법

Similar Documents

Publication Publication Date Title
KR100917464B1 (ko) 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
EP1101289B1 (en) Method for inserting auxiliary data in an audio data stream
US6807528B1 (en) Adding data to a compressed data frame
US6295009B1 (en) Audio signal encoding apparatus and method and decoding apparatus and method which eliminate bit allocation information from the encoded data stream to thereby enable reduction of encoding/decoding delay times without increasing the bit rate
JP5006315B2 (ja) オーディオ信号のエンコーディング及びデコーディング方法及び装置
EP1949693B1 (en) Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
EP1949369B1 (en) Method and apparatus for encoding/decoding audio data and extension data
KR100891688B1 (ko) 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
US20070168183A1 (en) Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore
JPH07199993A (ja) 音響信号の知覚符号化
KR20070070137A (ko) 오디오 데이터 부호화 및 복호화 장치와 방법
WO2005094125A1 (en) Frequency-based coding of audio channels in parametric multi-channel coding systems
US20080288263A1 (en) Method and Apparatus for Encoding/Decoding
JP2009514008A5 (ko)
US20060235683A1 (en) Lossless encoding of information with guaranteed maximum bitrate
KR100528325B1 (ko) 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치
TW201040941A (en) Embedding and extracting ancillary data
KR20070108302A (ko) 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20040053501A (ko) 스테레오 오디오 부호화 방법, 그 장치, 복호화 방법 및그 장치
KR100923301B1 (ko) 대역 확장 기법을 이용한 오디오 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
KR20080066537A (ko) 부가정보를 가지는 오디오신호의 부호화/복호화 방법 및장치
KR100813269B1 (ko) 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치
EP1420401A1 (en) Method and apparatus for converting a compressed audio data stream with fixed frame length including a bit reservoir feature into a different-format data stream
JP4539180B2 (ja) 音響復号装置及び音響復号方法