KR20070040718A - 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치 - Google Patents

비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치 Download PDF

Info

Publication number
KR20070040718A
KR20070040718A KR1020060095040A KR20060095040A KR20070040718A KR 20070040718 A KR20070040718 A KR 20070040718A KR 1020060095040 A KR1020060095040 A KR 1020060095040A KR 20060095040 A KR20060095040 A KR 20060095040A KR 20070040718 A KR20070040718 A KR 20070040718A
Authority
KR
South Korea
Prior art keywords
payloads
audio data
data
encoding
payload
Prior art date
Application number
KR1020060095040A
Other languages
English (en)
Other versions
KR100813269B1 (ko
Inventor
김중회
오은미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060067705A external-priority patent/KR20070108302A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060095040A priority Critical patent/KR100813269B1/ko
Priority to EP20120164102 priority patent/EP2477189A1/en
Priority to CN2006800382156A priority patent/CN101288309B/zh
Priority to EP06799178A priority patent/EP1949693B1/en
Priority to PCT/KR2006/004098 priority patent/WO2007043808A1/en
Priority to US11/546,435 priority patent/US8212693B2/en
Priority to CN2011102209802A priority patent/CN102237094B/zh
Publication of KR20070040718A publication Critical patent/KR20070040718A/ko
Publication of KR100813269B1 publication Critical patent/KR100813269B1/ko
Application granted granted Critical
Priority to US13/487,600 priority patent/US20120239409A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Communication Control (AREA)

Abstract

본 발명은 BSAC(Bit Sliced Arithmetic Coding)과 같이 계층적으로 오디오 데이터를 부호화/복호화하는 방법 및 장치에 관한 것으로, 오디오 데이터와 확장 데이터의 페이로드들을 그 중요도에 따라 그룹핑하여 재배치하고, 이것들 중 일부 그룹을 버리고, 나머지 그룹을 전송함으로써 원음 재생에 오디오 데이터의 상위 계층보다 더 중요한 역할을 하는 확장 데이터를 우선적으로 전송할 수 있다.

Description

비트 스트림 처리/전송 방법 및 장치, 비트 스트림 수신/처리 방법 및 장치{Method and apparatus for processing/transmitting bit stream, and method and apparatus for receiving/processing bit stream}
도 1은 본 발명에 의한 비트 스트림 처리/전송 장치의 일 실시예를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 일 예를 개념도로 도시한 것이다.
도 3은 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 다른 예를 개념도로 도시한 것이다.
도 4는 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 또 다른 일 예를 개념도로 도시한 것이다.
도 5는 본 발명에 의한 비트 스트림 처리/전송 장치의 다른 일 실시예를 블록도로 도시한 것이다.
도 6은 본 발명에 의한 비트 스트림 처리/전송 장치에서 페이로드 절단의 일 예를 개념도로 도시한 것이다.
도 7은 본 발명에 의한 비트 스트림 수신/처리 장치의 일 실시예를 블록도로 도시한 것이다.
도 8은 본 발명에 의한 비트 스트림 수신/처리 장치의 다른 일 실시예를 블록도로 도시한 것이다.
도 9는 본 발명에 의한 비트 스트림 처리/전송 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 10은 본 발명에 의한 비트 스트림 처리/전송 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 11은 본 발명에 의한 비트 스트림 수신/처리 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 12는 본 발명에 의한 비트 스트림 수신/처리 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
본 발명은 오디오 데이터를 부호화/복호화하는 방법 및 장치에 관한 것으로, 특히 BSAC(Bit Sliced Arithmetic Coding) 방식과 같이 계층적으로 오디오 데이터를 부호화/복호화하는 방법 및 장치에 관한 것이다.
FGS 기능을 지원하는 BSAC 페이로드의 전송 방식에는 다음과 같은 두 가지가 있다. 첫째, BSAC 액세스 단위(access unit)를 위하여 엘리먼터리 스트림(elementary stream)을 버리는(drop) 것이다. 여기서, 액세스 단위란 엘리먼터리 스트림 내의 독립적으로 접근 가능한 부분을 말하며, 타이밍 정보가 포함될 수 있는 가장 작은 데이터 단위이다. 둘째, 오디오 데이터를 제공하는 서버 측, 즉 부호화 장치 측에서 BSAC 페이로드를 절단하는(truncate) 것이다. 전자는 동기 계층(sync layer) 및 전달 계층(delivery layer)상에서 발생하는 반면, 후자는 압축 계층(compression layer)상에서 발생한다. 특히, 전술된 두 가지 방식들을 동시에 사용할 수도 있다.
이러한 전송 방식에 의하여 오디오 데이터를 부호화 장치에서 계층적으로 부호화함으로써 비트 스트림을 복호화 장치로 전송할 경우, 종래에는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등과 같은 오디오 데이터를 확장하여 구현할 수 있는 확장 데이터를 계층적으로 부호화된 오디오 데이터와 동시에 효율적으로 전송할 수 있는 솔루션을 제공하고 있지 않는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는 오디오 데이터의 확장성을 강화하고, 종래의 계층적으로 부호화하는 방식도 지원할 수 있는 역 호환(backward compatibility)을 제공하는 장치 및 방법을 제공하는데 있다. 또한, 본 발명이 이루고자 하는 기술적 과제는 오디오 데이터의 대역별 중요도 이외에 확장 데이터의 중요도도 함께 고려하여 스케일러블하게 전송할 수 있는 솔루션을 제공하는 장치 및 방법을 제공하는데 있다. 또한, 상기된 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 이것은 본 발명이 속하는 기술 분야에서 통상을 지식을 가진 자들라면 아래의 기재로부터 명확하게 이해될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 비트 스트림 처리/전송 방법은 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 단계; 상기 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 단계; 및 상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 비트 스트림 처리/전송 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비트 스트림 처리/전송 장치는 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 부호화부; 상기 부호화부에 의해 부호화된 결과인 페이로드들을 그룹핑하여 재배치하는 처리부; 및 상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 전송부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 비트 스트림 처리/전송 방법은 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 단계; 상기 부호화하는 단계에서 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및 상기 절단된 페이로드들을 전송하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 비트 스트림 처리/전송 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비트 스트림 처리/전송 장치는 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 부호화부; 상기 부호화부에 의해 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및 상기 절단된 페이로드들을 전송하는 전송부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비트 스트림 수신/처리 방법은 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 단계; 상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 비트 스트림 수신/처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비트 스트림 수 신/처리 장치는 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 수신부; 상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 복호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 비트 스트림 수신/처리 방법은 일부가 절단된 페이로드들을 수신하는 단계; 상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 비트 스트림 수신/처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 비트 스트림 수신/처리 장치는 일부가 절단된 페이로드들을 수신하는 수신부; 상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및 상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 복호화부를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명에 의한 비트 스트림 처리/전송 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 비트 스트림 처리/전송 장치는 부호화부(100), 페이로드 처리부(110), ES 생성부(120), ES 우선 순위 할당부(130), SL 패킷 생성부(140), SL 우선 순위 할당부(150), 및 전송부(160)를 포함하여 이루어진다.
부호화부(100)는 오디오 데이터와 오디오 데이터의 확장 데이터를 계층적으로 부호화한다. 여기서, 오디오 데이터는 BSAC 방식에 의하여 부호화할 수 있다. 오디오 데이터의 확장 데이터에는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 있다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다. 오디오 데이터의 확장 데이터를 부호화함에 있어서, 부호화부(100)는 전술된 오디오 데이터의 확장 데이터의 예 가운데 적어도 하나 이상을 포함하여 부호화할 수 있다.
페이로드의 전송 방식들 중 액세스 단위(access unit)를 위하여 엘리먼터리 스트림(elementary stream)을 버리는(drop) 경우, 페이로드 처리부(110)는 부호화부(100)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부가 하나의 그룹이 되도록 페이로드들을 그룹핑하여 재배치(interleave)한다. MPEG 규격에서, 액세스 단위란 엘리먼터리 스트림 내의 독립적으로 접근 가능한 부분을 말하며, 타이밍 정보가 포함될 수 있는 가장 작은 데이터 단위이다.
ES 생성부(120)는 페이로드 처리부(110)에 의해 그룹핑되어 재배치된 페이로 드들로부터 압축 계층상에서의 페이로드들의 그룹들에 해당하는 엘리먼터리 스트림들을 생성한다. 압축 계층은 부호화부(100)에 의해 부호화된 결과를 수신하고, 이것으로부터 엘리먼터리 스트림들을 생성하는 계층을 말한다.
ES 우선 순위 할당부(130)는 ES 생성부(120)에 의해 생성된 엘리먼터리 스트림들에 우선 순위(priority)를 할당한다. 보다 상세하게 설명하면, ES 우선 순위 할당부(130)는 복호화단으로 우선적으로 전송하고자 하는 순서에 기초하여 엘리먼터리 스트림들 각각에 우선 순위를 할당한다. 이에 따라, ES 생성부(120)에 의해 생성된 엘리먼터리 스트림들 각각은 ES 기술자(descriptor) 내에 특정된 우선 순위를 갖게 된다.
SL 패킷 생성부(140)는 ES 생성부(120)에 의해 생성된 엘리먼터리 스트림들로부터 동기 계층(SL, Sync Layer) 상에서의 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다. 동기 계층은 엘리먼터리 스트림들을 조작(adapt)하여 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기 정보 등을 제공하는 SL 패킷들을 생성하는 계층을 말한다.
SL 우선 순위 할당부(150)는 SL 패킷 생성부(140)에 의해 생성된 SL 패킷들 각각에 우선 순위를 할당한다. 보다 상세하게 설명하면, SL 우선 순위 할당부(150)는 복호화단으로 우선적으로 전송하고자 하는 순서에 기초하여 SL 패킷들 각각에 우선 순위를 할당한다. ES 우선 순위 할당부(130)에서 엘리먼터리 스트림들 각각에 할당된 우선 순위와 SL 우선 순위 할당부(150)에서 SL 패킷들 각각에 할당된 우선 순위는 다수의 엘리먼트 스트림들이 동기 계층 및 전달 계층에서의 스케 일러블한 전송을 위하여 버려지는 것을 가능하게 한다.
전송부(160)는 ES 우선 순위 할당부(130)에 의해 할당된 엘리먼터리 스트림들 각각의 우선 순위 및 SL 우선 순위 할당부(150)에 의해 할당된 SL 패킷들 각각의 우선 순위에 기초하여 SL 패킷들 중 일부 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다. 보다 상세하게 설명하면, 전송부(160)는 부호화단과 복호화단간의 전송 환경을 고려하여 SL 패킷들의 전송을 위한 전체 비트 레이트를 결정하고, 이 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 2는 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 일 예를 개념도로 도시한 것이다.
도 2에 도시된 예는 오디오 데이터의 확장 데이터가 오디오 데이터의 채널을 멀티채널로 확장하기 위한 데이터인 경우에 BSAC 오디오 데이터 및 확장 데이터를 스케일러블(scalable)하게 전송하기 위한 예이다. 즉, BSAC channel extention'에 해당하는 BSAC 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 2에 도시된 예에서는 서브프레임의 개수가 2개로 설정되어 있고, 우선 순위가 낮은 4개의 SL 패킷들이 버려진다. 그러나 본 발명에 의하여 실시할 경우 서브프레임의 개수는 2개에 한정하지 않고 적어도 하나 이상의 서브프레임을 이용하여 실시할 수 있으며, 버려지는 SL 패킷의 개수도 경우에 따라 변할 수 있다. 이와 같이 버려진 패킷들은 오디오 데이터의 확장 데이터에 해당하는 C(Center) 채널 및 SL(Surround Left)/SR(Surround Right) 채널의 오디오 데이터의 BSAC 페이로드들 중 상위 계층에 해당한다. 이것은 멀티채널 오디오 데이터의 채널들 각각에 대해서 저주파수 대역에 해당하는 하위 계층 쪽이 우선적으로 전송될 수 있도록 함으로써 각 채널의 오디오 데이터가 고르게 재생될 수 있도록 하기 위함이다.
도 2의 경우, 페이로드 처리부(110)는 오디오 데이터의 BSAC 페이로드들 중 일부와 오디오 데이터의 채널을 확장하기 위한 데이터의 페이로드들 중 일부가 하나의 그룹이 되도록 부호화부(100)에 의한 부호화 결과인 페이로드들을 그룹핑하여 재배치(interleave)한다.
예를 들어, 본 실시예에서의 오디오 데이터가 5.1 채널 오디오 데이터인 경우라면, 페이로드 처리부(110)는 FL(Front Left) 채널 및 FR(Front Right) 채널에 대하여 부호화부(100)에서 부호화된 결과인 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 페이로드 중 하위 계층 쪽(LL0_0)과 SL 채널 및 SR 채널에 대하여 부호화부(100)에서 부호화된 결과인 SL 채널 및 SR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL1_0)이 하나의 그룹이 되도록 그룹핑하여 재배치한다.
또한, 페이로드 처리부(110)는 FL 채널 및 FR 채널에 대하여 부호화부(100)에 의해 부호화된 결과인 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽(LL0_1)과 SL 채널 및 SR 채널에 대하여 부호화부(100)에 의해 부호화된 결과인 SL 채널 및 SR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층 쪽(LL1_1)이 하나의 그룹이 되도록 그룹핑하여 재배치한다.
ES 생성부(120)는 페이로드 처리부(110)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 페이로드들(LL0_0) 및 페이로드들(LL1_0)들로부터 0번째 엘리먼터리 스트림을 생성한다. 이어서, ES 우선 순위 할당부(130)는 ES 생성부(120)에 의해 생성된 0번째 엘리먼터리 스트림에 우선 순위 9를 할당한다. 그리고 SL 패킷 생성부(140)는 ES 생성부(120)에 의해 생성된 0번째 엘리먼터리 스트림으로부터 2 개의 SL 패킷들을 생성한다. 다음으로, SL 우선 순위 할당부(150)는 SL 패킷 생성부(140)에 의해 생성된 SL 패킷들 각각에 우선 순위 0을 할당한다. 도 2에 도시된 다른 페이로드들에 대해서도 상기된 바와 마찬가지로 처리된다.
전송부(160)는 SL 패킷들의 전송을 위한 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 4개의 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 3은 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 다른 예를 개념도로 도시한 것이다.
도 3에 도시된 예는 스테레오 오디오 데이터의 확장 데이터가 오디오 데이터의 대역폭을 확장하기 위한 데이터인 경우에 오디오 데이터 및 확장 데이터를 스케일러블(scalable)하게 전송하기 위한 예이다. 즉, BSAC SBR enhancement'에 따라 부호화된 결과인 BSAC 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 3에 도시된 예에서는 서브프레임의 개수가 2개로 설정되어 있고, 우선 순위가 낮은 2개의 SL 패킷들이 버려진다. 그러나 본 발명에 의하여 실시할 경우 서브프레임의 개수는 2개에 한정하지 않고 적어도 하나 이상의 서브프레임을 이용하 여 실시할 수 있으며, 버려지는 SL 패킷의 개수도 경우에 따라 변할 수 있다. 이와 같이 버려진 패킷들은 첫 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층과 두 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 BSAC 페이로드 중 상위 계층에 해당한다. 이것은 버려지는 SL 패킷들을 증가시킴으로써 전송되어야 할 전체 비트 레이트를 감소시킬 수 있도록 하기 위함이다. 상위 계층에 해당하는 고주파수 대역은 SBR 툴에 의해 복원될 수 있기 때문에 전체 비트 레이트의 감소에 비해 복원 음질의 품질의 저하는 미미하게 된다.
도 3의 경우, 페이로드 처리부(110)는 첫 번째 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부와 두 번째 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부가 하나의 그룹이 되고, 첫 번째 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 두 번째 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드가 하나의 그룹의 되도록 부호화부(100)에 의한 부호화 결과인 BSAC 페이로드들을 그룹핑하여 재배치한다.
예를 들어, 본 실시예에서의 오디오 데이터가 스테레오 오디오 데이터인 경우라면, 페이로드 처리부(110)는 FL 채널 및 FR 채널에 대하여 부호화부(100)에 의해 부호화된 결과인 첫 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL0_0)과 두 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 각 계층의 BSAC 페이로드 중 하위 계층 쪽(LL1_0)이 하나의 그룹이 되도록 그룹핑하여 재배치한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다.
또한, 페이로드 처리부(110)는 FL 채널 및 FR 채널에 대해 부호화부(100)에 의해 부호화된 결과인 첫 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터의 BSAC 페이로드(LL0_3)과 두 번째 서브프레임에 속하는 FL 채널 및 FR 채널의 오디오 데이터의 대역폭을 확장하기 위한 데이터의 BSAC 페이로드(LL1_3)가 하나의 그룹이 되도록 그룹핑하여 재배치한다.
ES 생성부(120)는 페이로드 처리부(110)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 BSAC 페이로드들(LL0_0) 및 BSAC 페이로드들(LL1_0)로부터 0번째 엘리먼터리 스트림을 생성한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다.
또한, ES 생성부(120)는 페이로드 처리부(110)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 페이로드들(LL0_3) 및 페이로드들(LL1_3)로부터 3번째 엘리먼터리 스트림을 생성한다.
이어서, ES 우선 순위 할당부(130)는 ES 생성부(120)에 의해 생성된 0번째 엘리먼터리 스트림에 우선 순위 9를 할당한다. FL 채널 및 FR 채널의 오디오 데이터의 나머지 계층들에 대해서도 마찬가지로 처리된다. 또한, ES 우선 순위 할당부(130)는 ES 생성부(120)에 의해 생성된 3번째 엘리먼터리 스트림에 우선 순위 3을 할당한다.
이어서, SL 패킷 생성부(140)는 ES 생성부(120)에 의해 생성된 엘리먼터리 스트림들 각각으로부터 SL 패킷들 두개를 생성한다. 이어서, SL 우선 순위 할당부(150)는 SL 패킷 생성부(140)에 의해 생성된 SL 패킷들 각각에 우선 순위를 할당한다. 그리고 전송부(160)는 SL 패킷들의 전송을 위한 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 SL 패킷들 두 개를 버리고, 나머지 SL 패킷들을 전송한다.
도 4는 본 발명에 의한 비트 스트림 처리/전송 장치에서 엘리먼터리 스트림 버림의 또 다른 일 예를 개념도로 도시한 것이다.
도 4에 도시된 예는 오디오 데이터의 확장 데이터가 오디오 데이터의 채널을 확장하기 위한 데이터인 경우에 BSAC 오디오 데이터 및 확장 데이터를 스케일러블하게 전송하기 위한 예이다. 즉, 'BSAC channel extention with SBR'을 스케일러블하게 전송하기 위한 예이다.
도 4에 도시된 예에서는 우선 순위가 낮은 4개의 SL 패킷들이 버려진다. 그러나 본 발명에 의하여 실시할 경우 서브프레임의 개수는 1개에 한정하지 않고 적어도 하나 이상의 서브프레임을 이용하여 실시할 수 있으며, 버려지는 SL 패킷의 개수도 경우에 따라 변할 수 있다.
도 4의 경우, 페이로드 처리부(110)는 오디오 데이터의 BSAC 페이로드들 중 일부, 오디오 데이터의 채널을 멀티채널 확장하기 위한 데이터의 페이로드들 중 일부 및 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드들이 하나의 그룹이 되도록 부호화부(100)에 의한 부호화 결과인 페이로드들을 그룹핑하여 재배치(interleave)한다.
ES 생성부(120)는 페이로드 처리부(110)에서의 그룹핑 및 재배치로 인하여 하나의 그룹이 된 페이로드들(LL0_0)로부터 0번째 엘리먼터리 스트림을 생성한다. 이어서, ES 우선 순위 할당부(130)는 ES 생성부(120)에 의해 생성된 0번째 엘리먼터리 스트림에 우선 순위 9를 할당한다. 그리고 SL 패킷 생성부(140)는 ES 생성부(120)에 의해 생성된 0번째 엘리먼터리 스트림으로부터 2개의 SL 패킷들을 생성한다. 다음으로, SL 우선 순위 할당부(150)는 SL 패킷 생성부(140)에 의해 생성된 SL 패킷들 각각에 우선 순위 0 및 1을 할당한다. 도 4에 도시된 다른 페이로드들에 대해서도 상기된 바와 동일한 방식에 의해 처리된다.
전송부(160)는 SL 패킷들의 전송을 위한 전체 비트 레이트에 맞추어 엘리먼터리 스트림들 각각의 우선 순위로부터 SL 패킷들 각각의 우선 순위를 뺀 값이 작은 순서대로 4 개의 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다.
도 5는 본 발명에 의한 비트 스트림 처리/전송 장치의 다른 일 실시예를 블록도로 도시한 것으로서, 상기 비트 스트림 처리/전송 장치는 부호화부(500), 페이로드 처리부(161), ES 생성부(162), SL 패킷 생성부(163), 및 전송부(164)로 구성된다.
부호화부(500)는 오디오 데이터와 오디오 데이터의 확장 데이터를 계층적으로 부호화한다. 여기서, 오디오 데이터는 BSAC 방식에 의하여 부호화할 수 있다. 오디오 데이터의 확장 데이터에는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 있다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다. 오디오 데이터의 확장 데이터를 부호화함에 있어서, 부호화부(500)는 전술된 오디오 데이터의 확장 데이터의 예 가운데 적어도 하나 이상을 포함하여 부호화할 수 있다.
페이로드 처리부(510)는 부호화단과 복호화단간의 전송 환경을 고려하여, 예를 들면 역-채널(back-channel)로부터의 페이로드에 의해 결정될 수 있는 계층들의 개수를 고려하여 부호화부(500)에 의한 부호화 결과인 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 절단한다.
특히, 페이로드 처리부(510)는 경량 서버 처리("light-weight server processes")로서 페이로드들 중 일부를 절단한다. 본 실시예에서 경량 서버 처리란 페이로드들 중 일부를 절단하기 위하여 필요한 비트 스트림의 파싱(parsing) 등의 추가적인 처리를 말하며, BSAC 페이로드의 전송 방식들 중 액세스 단위를 위하여 엘리먼터리 스트림을 버리는 방식과 비교될 때 페이로드의 처리 및 전송이 단순해졌기 때문에 경량이란 용어가 사용되었다.
또한, 페이로드 처리부(510)는 오디오 데이터의 페이로드들 중 일부만을 절단하며, 오디오 데이터의 확장 데이터의 페이로드들을 절단하지는 않는다. 따라서, 페이로드 처리부(510)는 비트 스트림을 파싱함으로써 오디오 데이터의 페이로드들과 확장 데이터의 페이로드들을 구별하고, 이 구별에 기초하여 확장 데이터의 페이로드가 아닌 페이로드들 중 일부만을 절단한다.
BSAC에서는 이와 같은 구별에는 zero_code 와 sync_word 가 사용된다. 즉, 페이로드 처리부(510)는 zero_code 와 sync_word 을 사용하여 확장 데이터의 페이로드를 식별하고, 확장 데이터의 페이로드가 아닌 페이로드들 중 일부만을 절단한다. 또한, 페이로드 처리부(510)는 오디오 데이터 복호화 장치가 zero_code 와 sync_word 을 체크하는 것에 의하여 전송된 ES로부터 액세스 단위를 추출할 수 있도록 하기 위하여 이 zero_code 와 sync_word 를 절단된 페이로드의 끝에 연결한다. 확장 데이터의 페이로드들이 없는 경우에는 상기된 바와 같은 구별이 필요 없게 되어 더 간단하게 된다.
또한, 페이로드 처리부(510)는 부호화단과 복호화단간의 전송 환경을 고려하여 타겟 비트 레이트를 결정하고, 이 타겟 비트 레이트에 기초하여 타겟 계층들의 개수를 계산하고, 이 타겟 계층들의 개수에 맞추어 페이로드들 중 일부를 절단한다.
ES 생성부(520)는 페이로드 처리부(510)에 의해 절단된 페이로드들로부터 압축 계층상에서의 페이로드들의 그룹들에 해당하는 하나의 엘리먼터리 스트림을 생성하고, 확장 데이터의 페이로드들로부터 다른 엘리먼터리 스트림을 생성한다. 이어서, SL 패킷 생성부(540)는 ES 생성부(520)에 의해 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다. 전송부(560)는 SL 패킷 생성부(540)에 의해 생성된 SL 패킷들을 전송한다. 상기된 바와 같이, ES 생성부(520), SL 패킷 생성부(540), 및 전송부(560)는 본 실시예에 따른 스케일러블 전송을 위하여 특별한 처리를 하지는 않는다.
도 6은 본 발명에 의한 비트 스트림 처리/전송 장치에서 페이로드 절단의 일 예를 개념도로 도시한 것이다.
도 6에 도시된 예는 스테레오 오디오 데이터의 확장 데이터가 이 오디오 데이터의 대역폭을 확장하기 위한 데이터인 경우에 오디오 데이터 및 확장 데이터를 스케일러블하게 전송하기 위한 예이다. 즉, BSAC SBR enhancement'에 따라 부호화된 결과인 페이로드들을 스케일러블하게 전송하기 위한 예이다.
도 6을 참조하면, 서브프레임의 개수는 2로 설정되어 있다. 이 경우, 페이로드 처리부(510)는 첫 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 페이로드(LL0_0) 중 일부를 절단하고, 두 번째 서브프레임에 속하는 스테레오 오디오 데이터의 각 계층의 페이로드(LL1_0) 중 일부를 절단한다. 또한, ES 생성부(162)는 페이로드 처리부(510)에 의해 절단된 페이로드들(LL0_0, LL1_0)로부터 0 번째 엘리먼터리 스트림을 생성하고, 오디오 데이터의 대역폭을 확장하기 위한 데이터(LL0_1, LL1_1)로부터 첫 번째 엘리먼터리 스트림을 생성한다.
도 7은 본 발명에 의한 비트 스트림 수신/처리 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 비트 스트림 수신/처리 장치는 수신부(700), ES 복원부(710), 페이로드 복원부(720) 및 복호화부(730)를 포함하여 이루어진다. 도 7에 도시된 이와 같은 구성에 의하여 엘리먼터리 스트림을 버리는 방식이 구현될 수 있다.
수신부(700)는 입력단자 IN을 통하여 소정의 패킷의 형태로 비트 스트림을 수신함으로써 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 그룹핑되어 재배 치된 페이로드들 중 일부를 포함하는 SL 패킷들을 수신한다. 특히, 본 실시예에 따르면, 수신부(700)는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 하나의 그룹으로 수신한다.
도 2에 도시된 예의 경우, 수신부(700)는 오디오 데이터의 각 계층의 BSAC 페이로드들 중 하위 계층과 이 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 하위 계층을 하나의 그룹으로 수신하고, 오디오 데이터의 각 계층의 페이로드들 중 상위 계층 쪽과 이 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 상위 계층 쪽을 하나의 그룹으로 수신한다.
또한, 도 3에 도시된 예의 경우, 수신부(700)는 어느 하나의 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부와 다른 서브프레임에 속하는 오디오 데이터의 BSAC 페이로드들 중 일부를 하나의 그룹으로 수신하고, 어느 하나의 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 하나의 그룹으로 수신한다.
ES 복원부(710)는 SL 계층상에서 수신부(700)에 의해 수신된 SL 패킷들을 파싱함으로써 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들을 복원한다. 여기서, SL 계층은 SL 패킷들로부터 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기 정보 등을 추출하는 등 오디오 데이터 부호화 장치와 오디오 데이터 복호화 장치간의 동기에 필요한 동작들을 실행하는 계층을 말한다.
페이로드 복원부(720)는 압축 계층상에서 ES 복원부(710)에 의해 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 페이로드들을 복원한다. 즉, 페이로드 복원부(720)는 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들로부터 원래 형태의 페이로드들을 복원한다. 압축 계층은 엘리먼터리 스트림들로부터 페이로드들의 복호화 작업에 필요한 동작들을 실행하는 계층을 말한다.
특히, 페이로드 복원부(720)는 ES 복원부(710)에 의해 복원된 엘리먼터리 스트림들에 포함된 페이로드들의 헤더 정보에 포함된, 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 페이로드들이 그룹핑되어 재배치된 정보를 참조하여 페이로드들의 각 계층의 개수, 길이 및 순서 등을 획득하고, 이것을 이용하여 상기된 바와 같이 하나의 그룹으로 수신된 페이로드들을 역-재배치(de-interleave)함으로써 어느 하나의 서브프레임을 복원하고, 다른 서브프레임을 복원한다.
도 2에 도시된 예의 경우, 페이로드 복원부(720)는 상기된 바와 같이 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 오디오 데이터의 각 계층의 BSAC 페이로드를 복원하고, 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 BSAC 페이로드를 복원한다.
또한, 도 3에 도시된 예의 경우, 페이로드 복원부(720)는 상기된 바와 같이 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 오디오 데이터의 각 계층의 BSAC 페이로드를 복원하고, 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 복원한다.
복호화부(730)는 페이로드 복원부(720)에서 복원된 각 계층의 페이로드에 포함된 오디오 데이터를 계층적으로 복호화한다. 또한, 복호화부(730)는 페이로드 복원부(720)에서 복원된 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 적어도 하나 이상 포함된 오디오 데이터의 확장 데이터를 복호화한다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
도 8은 본 발명에 의한 비트 스트림 수신/처리 장치의 다른 일 실시예를 블록도로 도시한 것으로서, 상기 비트 스트림 수신/처리 장치는 수신부(800), ES 복원부(810), 페이로드 복원부(820) 및 복호화부(830)를 포함하여 이루어진다. 도 7에 도시된 이와 같은 구성에 의하여 엘리먼터리 스트림을 버리는 방식이 구현될 수 있다. 도 8에 도시된 이와 같은 구성에 의하여 페이로드를 절단하는 방식이 구현될 수 있다.
수신부(800)는 입력단자 IN을 통하여 소정의 패킷의 형태로 비트 스트림을 수신함으로써 도 1에 도시된 부호화 장치에 의해 일부가 절단된 페이로드들 및 오디오 데이터의 확장 데이터의 페이로드를 포함하는 SL 패킷들을 수신한다. 특히, 본 실시예에 따르면, 수신부(700)는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 하나의 그룹으로 수신한다.
ES 복원부(810)는 SL 계층상에서 수신부(800)에 의해 수신된 SL 패킷들을 파싱함으로써 도 1에 도시된 부호화 장치에 의해 일부가 절단된 페이로드들을 포함하는 엘리먼터리 스트림을 복원하고, 오디오 데이터의 확장 데이터의 페이로드를 포함하는 엘리먼터리 스트림을 복원한다.
페이로드 복원부(820)는 압축 계층상에서 ES 복원부(810)에 의해 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 페이로드들을 복원한다. 즉, 페이로드 복원부(820)는 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 오디오 데이터의 페이로드들 중 일부가 절단되고, 오디오 데이터의 확장 데이터의 페이로드는 절단되지 않은 페이로드들로부터 원래 형태의페이로드들을 복원한다.
특히, 페이로드 복원부(820)는 ES 복원부(810)에 의해 복원된 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 확장 데이터의 페이로드로부터 일부가 절단된 페이로드들 및 확장 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
복호화부(830)는 페이로드 복원부(820)에서 복원된 각 계층의 페이로드에 포함된 오디오 데이터를 계층적으로 복호화한다. 또한, 복호화부(830)는 페이로드 복원부(820)에서 복원된 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 적어도 하나 이상 포함된 오디오 데이터의 확장 데이터를 복호화한다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
도 3에 도시된 예의 경우, 페이로드 복원부(820)는 오디오 데이터의 페이로드들 중 일부가 절단되고, 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단되지 않은 페이로드들로부터 원래 형태의 페이로드들을 복원한다. 보다 상세하게 설명하면, 페이로드 복원부(820)는 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 그 일부가 절단된 페이로드들 및 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
도 9는 본 발명에 의한 비트 스트림 처리/전송 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 9를 참조하면, 본 실시예에 따른 비트 스트림 처리/전송 방법은 도 1에 도시된 비트 스트림 처리/전송 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 비트 스트림 처리/전송 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 처리/전송 방법에도 적용된다.
먼저, 오디오 데이터와 오디오 데이터의 확장 데이터를 계층적으로 부호화한다(제900단계). 여기서, 오디오 데이터는 BSAC 방식에 의하여 부호화할 수 있다. 오디오 데이터의 확장 데이터에는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 있다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다. 오디오 데이터의 확장 데이터를 부호화함에 있어서, 제900단계에서는 전술된 오디오 데이터의 확장 데이터의 예 가운데 적어도 하나 이상을 포함하여 부호화할 수 있다.
제900단계에서 부호화 결과인 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부가 하나의 그룹이 되도록 페이로드들을 그룹핑하여 재배치한다(제910단계).
제910단계에서 그룹핑되어 재배치된 페이로드들로부터 압축 계층상에서의 페이로드들의 그룹들에 해당하는 엘리먼터리 스트림들을 생성한다(제920단계).
제920단계에서 생성된 엘리먼터리 스트림들에 우선 순위를 할당한다(제930단계).
제930단계에서 생성된 엘리먼터리 스트림들로부터 동기 계층상에서의 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다(제940단계).
제940단계에서 생성된 SL 패킷들 각각에 우선 순위를 할당한다(제950단계).
제930단계 및 제950단계에서 할당된 우선 순위에 기초하여 SL 패킷들 중 일부 SL 패킷들을 버리고, 나머지 SL 패킷들을 전송한다(제960단계).
도 10은 본 발명에 의한 비트 스트림 처리/전송 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 10을 참조하면, 본 실시예에 따른 비트 스트림 처리/전송 방법은 도 5에 도시된 비트 스트림 처리/전송 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 5에 도시된 비트 스트림 처리/전송 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 처리/전송 방법에도 적용된다.
먼저, 오디오 데이터와 오디오 데이터의 확장 데이터를 계층적으로 부호화한다(제1000단계). 여기서, 오디오 데이터는 BSAC 방식에 의하여 부호화할 수 있다. 오디오 데이터의 확장 데이터에는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 있다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다. 오디오 데이터의 확장 데이터를 부호화함에 있어서, 제1000단계에서는 전술된 오디오 데이터의 확장 데이터의 예 가운데 적어도 하나 이상을 포함하여 부호화할 수 있다.
제1000단계 후에, 부호화단과 복호화단 간의 전송 환경을 고려하여, 예를 들면 역-채널로부터의 페이로드에 의해 결정될 수 있는 계층들의 개수를 고려하여 제1000단계에서 부호화된 결과인 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 절단한다(제1010단계).
제1010단계에서 절단된 페이로드들로부터 압축 계층상에서의 페이로드들의 그룹들에 해당하는 하나의 엘리먼터리 스트림을 생성하고, 확장 데이터의 페이로드들로부터 다른 엘리먼터리 스트림을 생성한다(제1020단계).
제1020단계에서 생성된 엘리먼터리 스트림들로부터 SL 계층상에서의 페이로드들의 그룹들에 해당하는 SL 패킷들을 생성한다(제1030단계).
제1030단계에서 생성된 SL 패킷들을 전송한다(제1040단계).
도 11은 본 발명에 의한 비트 스트림 수신/처리 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 11을 참조하면, 본 실시예에 따른 비트 스트림 수신/처리 방법은 도 7에 도시된 비트 스트림 수신/처리 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 비트 스트림 수신/처리 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 수신/처리 방법에도 적용된다.
먼저, 도 1 및 5에 도시된 비트 스트림 처리/전송 장치에 의해 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 SL 패킷들을 수신한다(제1100단계).
제1100단계에서 수신된 SL 패킷들을 파싱함으로써 도 1에 도시된 비트 스트림 처리/전송 장치에 의해 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 엘리먼터리 스트림들을 복원한다(제1110단계).
제1110단계에서 복원된 엘리먼터리 스트림들에 포함된 페이로드들의 헤더 정보에 포함된, 도 1 및 5에 도시된 비트 스트림 처리/전송 장치에 의해 페이로드들이 그룹핑되어 재배치된 정보를 참조하여 페이로드들의 각 계층의 개수, 길이 및 순서 등을 획득한다(제1120단계).
제1130단계에서 획득된 정보를 이용하여 엘리먼터리 스트림들에 포함된 페이 로드들을 역-재배치함으로써 원래-형태의 페이로드들을 복원한다(제1130단계).
제1130에서 복원된 각 계층의 페이로드에 포함된 오디오 데이터 및 오디오 데이터의 확장 데이터를 계층적으로 복호화한다(제1140단계). 오디오 데이터의 확장 데이터는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 적어도 하나 이상 포함된 오디오 데이터의 확장 데이터를 복호화한다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
도 12는 본 발명에 의한 비트 스트림 수신/처리 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 12를 참조하면, 본 실시예에 따른 비트 스트림 수신/처리 방법은 도 7에 도시된 비트 스트림 수신/처리 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 비트 스트림 수신/처리 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 비트 스트림 수신/처리 방법에도 적용된다.
먼저, 도 1 및 5에 도시된 비트 스트림 처리/전송 장치에 의해 일부가 절단된 페이로드들 및 오디오 데이터의 확장 데이터의 페이로드를 포함하는 SL 패킷들을 수신한다(제1200단계).
제1200단계에서 수신된 SL 패킷들을 파싱함으로써 도 1 및 5에 도시된 비트 스트림 처리/전송 장치에 의해 일부가 절단된 페이로드들을 포함하는 엘리먼터리 스트림을 복원하고, 오디오 데이터의 확장 데이터의 페이로드를 포함하는 엘리먼터리 스트림을 복원한다(제1210단계).
제1210단계에서 복원된 엘리먼터리 스트림들을 파싱함으로서 원래 형태의 페이로드들을 복원한다(제1220단계). 특히, 본 실시예에 따른 비트 스트림 수신/처리 방법은 어느 하나의 엘리먼터리 스트림에 속하는 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 그 일부가 절단된 페이로드들 및 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원한다.
제1220에서 복원된 각 계층의 페이로드에 포함된 오디오 데이터 및 오디오 데이터의 확장 데이터를 계층적으로 복호화한다(제1230단계). 오디오 데이터의 확장 데이터는 오디오 데이터의 채널을 멀티 채널로 확장하기 위한 데이터, 오디오 데이터의 대역폭을 확장하기 위한 데이터, 오디오 데이터의 전송 에러를 체크하기 위한 CRC 코드를 생성하기 위한 데이터 등이 적어도 하나 이상 포함된 오디오 데이터의 확장 데이터를 복호화한다. 여기서, 오디오 데이터의 확장 데이터는 상기된 확장 데이터 이외에도 오디오 데이터의 메타 데이터, 오디오 데이터의 필 엘리먼트 등도 포함될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동 작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따르면, 오디오 데이터와 확장 데이터의 페이로드들을 그 중요도에 따라 그룹핑하여 재배치하고, 이것들 중 일부 그룹을 버리고, 나머지 그룹을 전송함으로써 원음 재생에 오디오 데이터의 상위 계층보다 더 중요한 역할을 하는 확장 데이터를 우선적으로 전송할 수 있는 효과를 갖는다.
또한, 본 발명에 따르면, 오디오 데이터와 오디오 데이터의 확장 데이터를 부호화하고, 오디오 데이터의 페이로드들의 일부를 절단하고, 오디오 데이터의 절단된 페이로드들과 확장 데이터의 페이로드 전부를 전송함으로써 오디오 데이터의 전체 비트 레이트를 대폭 감소시키면서도 복원 음질의 품질의 저하를 미미하게 할 수 있는 효과를 갖는다. 결론적으로, 본 발명은 오디오 데이터의 대역별 중요도 이외에 확장 데이터의 중요도도 함께 고려하여 스케일러블하게 전송할 수 있는 솔루션을 제공하고 있다.

Claims (48)

  1. 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 단계;
    상기 부호화하는 단계에서 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 단계; 및
    상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 단계를 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  2. 제1항에 있어서,
    상기 재배치하는 단계는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부가 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  3. 제1항에 있어서,
    상기 부호화하는 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하고,
    상기 재배치하는 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 하위 계층 쪽과 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 하위 계층 쪽이 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  4. 제1항에 있어서,
    상기 부호화하는 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 계층적으로 부호화하고,
    상기 재배치하는 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 상위 계층 쪽과 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 상위 계층 쪽이 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  5. 제1항에 있어서,
    상기 부호화하는 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 재배치하는 단계는 어느 하나의 서브프레임에 속하는 오디오 데이터의 페이로드들 중 일부와 다른 서브프레임에 속하는 오디오 데이터의 페이로드들 중 일부가 하나의 그룹이 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  6. 제1항에 있어서,
    상기 부호화하는 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 재배치하는 단계는 어느 하나의 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드가 하나의 그룹의 되도록 상기 페이로드들을 그룹핑하여 재배치하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  7. 제1항에 있어서,
    상기 그룹핑하여 배치된 페이로드들의 그룹들 각각에 우선 순위를 할당하는 단계를 더 포함하고,
    상기 전송하는 단계는 상기 할당된 우선 순위에 기초하여 상기 일부 그룹을 버리는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  8. 제1항에 있어서,
    상기 그룹핑하여 재배치된 페이로드들로부터 엘리먼터리 스트림들을 생성하는 단계; 및
    상기 생성된 엘리먼터리 스트림들로부터 동기 계층 패킷들을 생성하는 단계를 더 포함하고,
    상기 전송하는 단계는 상기 생성된 동기 계층 패킷들 중 일부 동기 계층 패 킷들을 버리고, 나머지 동기 계층 패킷들을 전송하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  9. 제1항에 있어서,
    상기 부호화하는 단계는 어느 하나의 부호화 기법에 따라 상기 오디오 데이터를 부호화하고, 적어도 하나 이상의 부호화 기법에 따라 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  10. 제1항에 있어서,
    상기 재배치하는 단계는 전송 환경을 고려하여 상기 페이로드들 중 일부 그룹을 버리는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  11. 제1항 내지 제10항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 부호화부;
    상기 부호화부에 의해 부호화된 결과인 페이로드들을 그룹핑하여 재배치(interleave)하는 처리부; 및
    상기 그룹핑되어 재배치된 페이로드들 중 일부 그룹을 버리고, 나머지 그룹을 전송하는 전송부를 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 장치.
  13. 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 단계;
    상기 부호화하는 단계에서 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및
    상기 절단된 페이로드들을 전송하는 단계를 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  14. 제13항에 있어서,
    상기 절단하는 단계는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 상기 확장 데이터의 페이로드는 절단하지 않는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  15. 제13항에 있어서,
    상기 부호화하는 단계는 상기 오디오 데이터를 계층적으로 부호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 부호화하고,
    상기 절단하는 단계는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단하지 않는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  16. 제13항에 있어서,
    상기 절단하는 단계는 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고, 다른 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 절단하고,
    상기 절단된 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  17. 제13항에 있어서,
    어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 다른 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 엘리먼터리 스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  18. 제13항에 있어서,
    상기 절단된 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계;
    상기 생성된 엘리먼터리 스트림으로부터 동기 계층 패킷들을 생성하는 단계를 더 포함하고,
    상기 전송하는 단계는 상기 생성된 동기 계층 패킷들을 전송하는 것을 특징 으로 하는 비트 스트림 처리/전송 방법.
  19. 제13항에 있어서,
    상기 확장 데이터의 페이로드들로부터 엘리먼터리 스트림을 생성하는 단계;
    상기 생성된 엘리먼터리 스트림으로부터 동기 계층 패킷들을 생성하는 단계를 더 포함하고,
    상기 전송하는 단계는 상기 생성된 동기 계층 패킷들을 전송하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  20. 제13항에 있어서,
    상기 절단하는 단계는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드와 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드를 사용하여 상기 확장 데이터의 부호화 부분을 식별하고, 상기 식별에 기초하여 절단하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  21. 제13항에 있어서, 상기 절단하는 단계는
    전송 환경을 고려하여 상기 페이로드들의 일부를 절단하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  22. 제13항 내지 제21항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 부호화부;
    상기 부호화부에 의해 부호화된 결과인 페이로드들의 일부를 절단하는 단계; 및
    상기 절단된 페이로드들을 전송하는 전송부를 포함하는 것을 특징으로 하는 비트 스트림 처리/전송 장치.
  24. 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 단계;
    상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 단계를 포함하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  25. 제24항에 있어서,
    상기 수신하는 단계는 어느 하나의 서브프레임에 속하는 페이로드들 중 일부와 다른 서브프레임에 속하는 페이로드들 중 일부를 하나의 그룹으로 수신하고,
    상기 복원하는 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배 치(de-interleave)함으로써 상기 어느 하나의 서브프레임을 복원하고, 상기 다른 서브프레임을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  26. 제25항에 있어서,
    상기 복호화하는 단계는 상기 복원된 어느 하나의 서브프레임에 포함된 오디오 데이터를 복호화하고, 상기 다른 서브프레임에 포함된 상기 오디오 데이터의 채널을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  27. 제25항에 있어서,
    상기 복호화하는 단계는 상기 복원된 어느 하나의 서브프레임에 포함된 오디오 데이터를 복호화하고, 상기 다른 서브프레임에 포함된 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  28. 제24항에 있어서,
    상기 수신하는 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 하위 계층 쪽과 상기 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 하위 계층 쪽을 하나의 그룹으로 수신하고,
    상기 복원하는 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치 함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드를 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  29. 제24항에 있어서,
    상기 수신하는 단계는 상기 오디오 데이터의 각 계층의 페이로드들 중 상위 계층과 상기 오디오 데이터의 채널을 확장하기 위한 데이터의 각 계층의 페이로드들 중 상위 계층을 하나의 그룹으로 수신하고,
    상기 복원하는 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 채널을 확장하기 위한 데이터의 각 계층의 페이로드를 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  30. 제 24 항에 있어서,
    상기 수신하는 단계는 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부와 다른 서브프레임에 속하는 상기 오디오 데이터의 페이로드들 중 일부를 하나의 그룹으로 수신하고, 상기 어느 하나의 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드와 상기 다른 서브프레임에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드를 하나의 그룹으로 수신하고,
    상기 복원하는 단계는 상기 하나의 그룹으로 수신된 페이로드들을 역-재배치함으로써 상기 오디오 데이터의 각 계층의 페이로드를 복원하고, 상기 대역폭을 확장하기 위한 데이터의 페이로드를 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  31. 제 24 항에 있어서,
    상기 수신하는 단계는 상기 그룹핑되어 재배치된 페이로드들 중 일부를 포함하는 동기 계층 패킷들을 수신하고,
    상기 수신된 동기 계층 패킷들을 파싱함으로써 엘리먼터리 스트림들을 복원하는 단계를 더 포함하고,
    상기 복원하는 단계는 상기 복원된 엘리먼터리 스트림들을 파싱함으로써 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  32. 제24항에 있어서,
    상기 복호화하는 단계는 어느 하나의 부호화 기법에 따라 상기 오디오 데이터를 부호화하고, 적어도 하나 이상의 부호화 기법에 따라 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 부호화하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  33. 제24항에 있어서,
    상기 복원하는 단계는 부호화단에 의해 그룹핑되어 재배치된 정보에 기초하여 상기 페이로드들을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  34. 제24항 내지 제33항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  35. 그룹핑되어 재배치된 페이로드들 중 일부를 수신하는 수신부;
    상기 그룹핑되어 재배치된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  36. 일부가 절단된 페이로드들을 수신하는 단계;
    상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 단계; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 확장 데이터를 복호화하는 단계를 포함하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  37. 제36항에 있어서,
    상기 복원하는 단계는 상기 오디오 데이터의 페이로드들 중 일부가 절단되고, 상기 확장 데이터의 페이로드는 절단되지 않은 페이로드들로부터 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  38. 제36항에 있어서,
    상기 복원하는 단계는 상기 오디오 데이터의 페이로드들 중 일부가 절단되고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드는 절단되지 않은 페이로드들로부터 상기 원래 형태의 페이로드들을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  39. 제36항에 있어서,
    상기 복호화하는 단계는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화함으로써 상기 일부를 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  40. 제36항에 있어서,
    상기 일부가 절단된 페이로드들의 헤더 정보에 포함된 상기 오디오 데이터의 길이 정보와 상기 오디오 데이터의 실제 길이를 비교함으로써 상기 일부가 절단되 었는지 여부를 판단하는 단계를 더 포함하고,
    상기 복호화하는 단계는 상기 판단 결과에 기초하여 상기 일부를 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  41. 제36항에 있어서,
    상기 복호화하는 단계는 상기 복원된 페이로드들에 포함된 오디오 데이터를 계층적으로 복호화하고, 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터를 복호화하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  42. 제36항에 있어서,
    상기 복원하는 단계는 어느 하나의 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 확장 데이터의 페이로드로부터 상기 일부가 절단된 페이로드들 및 상기 확장 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  43. 제36항에 있어서,
    상기 복원하는 단계는 어느 하나의 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 일부가 절단된 페이로드들 및 다른 엘리먼터리 스트림에 속하는 상기 오디오 데이터의 대역폭을 확장하기 위한 데이터의 페이로드로부터 상기 일부가 절단 된 페이로드들 및 상기 대역폭을 확장하기 위한 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  44. 제36항에 있어서,
    상기 수신하는 단계는 상기 일부가 절단된 페이로드들을 포함하는 SL 패킷들 및 상기 확장 데이터의 페이로드를 포함하는 동기 계층 패킷들을 수신하고,
    상기 수신된 동기 계층 패킷들을 파싱함으로써 상기 일부가 절단된 페이로드들을 포함하는 엘리먼터리 스트림 및 상기 확장 데이터의 페이로드를 포함하는 엘리먼터리 스트림을 복원하는 단계를 더 포함하고,
    상기 복원하는 단계는 상기 복원된 엘리먼터리 스트림들을 파싱함으로써 상기 일부가 절단된 페이로드들 및 상기 확장 데이터의 페이로드를 포함하는 어느 하나의 서브프레임을 복원하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
  45. 제 36 항에 있어서,
    상기 복호화하는 단계는 오디오 데이터의 부호화 부분이 종결됨을 나타내는 코드와 오디오 데이터의 확장 데이터의 부호화 부분이 시작됨을 나타내는 코드를 검출함으로써 상기 확장 데이터의 부호화 부분의 시작 지점을 식별하고, 상기 식별에 기초하여 상기 확장 데이터를 복호화하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  46. 제36항에 있어서,
    상기 복호화하는 단계는 상기 확장 데이터의 길이 정보에 기초하여 상기 확장 데이터의 부호화 부분의 종료 지점을 식별하고, 상기 식별에 기초하여 상기 확장 데이터를 복호화하는 것을 특징으로 하는 비트 스트림 처리/전송 방법.
  47. 제36항 내지 제46항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  48. 일부가 절단된 페이로드들을 수신하는 수신부;
    상기 일부가 절단된 페이로드들로부터 원래 형태의 페이로드들을 복원하는 복원부; 및
    상기 복원된 페이로드들에 포함된 오디오 데이터와 상기 오디오 데이터의 적어도 하나 이상의 확장 데이터를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 비트 스트림 수신/처리 방법.
KR1020060095040A 2005-10-12 2006-09-28 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치 KR100813269B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020060095040A KR100813269B1 (ko) 2005-10-12 2006-09-28 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치
PCT/KR2006/004098 WO2007043808A1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
CN2006800382156A CN101288309B (zh) 2005-10-12 2006-10-12 处理/发送以及接收/处理比特流的方法和设备
EP06799178A EP1949693B1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
EP20120164102 EP2477189A1 (en) 2005-10-12 2006-10-12 Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
US11/546,435 US8212693B2 (en) 2005-10-12 2006-10-12 Bit-stream processing/transmitting and/or receiving/processing method, medium, and apparatus
CN2011102209802A CN102237094B (zh) 2005-10-12 2006-10-12 处理/发送比特流以及接收/处理比特流的方法和设备
US13/487,600 US20120239409A1 (en) 2005-10-12 2012-06-04 Bit-stream processing/transmitting and/or receiving/processing method, medium, and apparatus

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US72531705P 2005-10-12 2005-10-12
US60/725,317 2005-10-12
US72615905P 2005-10-14 2005-10-14
US60/726,159 2005-10-14
KR1020060049081 2006-05-30
KR1020060049082 2006-05-30
KR20060049081 2006-05-30
KR20060049082 2006-05-30
KR1020060067705 2006-07-19
KR1020060067705A KR20070108302A (ko) 2005-10-14 2006-07-19 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치
KR1020060095040A KR100813269B1 (ko) 2005-10-12 2006-09-28 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070040718A true KR20070040718A (ko) 2007-04-17
KR100813269B1 KR100813269B1 (ko) 2008-03-13

Family

ID=37943002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060095040A KR100813269B1 (ko) 2005-10-12 2006-09-28 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100813269B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249613B1 (ko) * 2009-11-11 2013-04-01 한국전자통신연구원 비디오 스트리밍을 위한 네트워크 적응형 가변 스트림 계층화 장치 및 방법
WO2021187651A1 (ko) * 2020-03-20 2021-09-23 엘지전자 주식회사 오디오 스트리밍 서비스를 제공하는 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003281128A1 (en) 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
KR100923301B1 (ko) * 2003-03-22 2009-10-23 삼성전자주식회사 대역 확장 기법을 이용한 오디오 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
KR100975522B1 (ko) * 2003-10-28 2010-08-13 삼성전자주식회사 스케일러블 오디오 복/부호화 방법 및 장치
KR100571824B1 (ko) 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249613B1 (ko) * 2009-11-11 2013-04-01 한국전자통신연구원 비디오 스트리밍을 위한 네트워크 적응형 가변 스트림 계층화 장치 및 방법
WO2021187651A1 (ko) * 2020-03-20 2021-09-23 엘지전자 주식회사 오디오 스트리밍 서비스를 제공하는 장치 및 그 방법
US11218532B2 (en) 2020-03-20 2022-01-04 Lg Electronics Inc. Apparatus and method for providing audio streaming service

Also Published As

Publication number Publication date
KR100813269B1 (ko) 2008-03-13

Similar Documents

Publication Publication Date Title
EP1949693B1 (en) Method and apparatus for processing/transmitting bit-stream, and method and apparatus for receiving/processing bit-stream
US8055500B2 (en) Method, medium, and apparatus encoding/decoding audio data with extension data
AU2021240111B2 (en) Layered coding for compressed sound or sound field representations
US11626119B2 (en) Layered coding for compressed sound or sound field representations
US20080288263A1 (en) Method and Apparatus for Encoding/Decoding
KR100813269B1 (ko) 비트 스트림 처리/전송 방법 및 장치, 비트 스트림수신/처리 방법 및 장치
KR20070108302A (ko) 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치
EA043574B1 (ru) Многоуровневое декодирование сжатых представлений звука или звукового поля
KR20170025504A (ko) Usac 오디오 스트림을 전송하기 위한 오디오 신호 전송 장치 및 방법
EA038833B1 (ru) Многоуровневое кодирование сжатых представлений звука или звукового поля

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee