KR100881312B1 - 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치 - Google Patents

멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치 Download PDF

Info

Publication number
KR100881312B1
KR100881312B1 KR1020070064422A KR20070064422A KR100881312B1 KR 100881312 B1 KR100881312 B1 KR 100881312B1 KR 1020070064422 A KR1020070064422 A KR 1020070064422A KR 20070064422 A KR20070064422 A KR 20070064422A KR 100881312 B1 KR100881312 B1 KR 100881312B1
Authority
KR
South Korea
Prior art keywords
spatial information
signal
packet
downmix signal
information
Prior art date
Application number
KR1020070064422A
Other languages
English (en)
Other versions
KR20090000391A (ko
Inventor
김희영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020070064422A priority Critical patent/KR100881312B1/ko
Publication of KR20090000391A publication Critical patent/KR20090000391A/ko
Application granted granted Critical
Publication of KR100881312B1 publication Critical patent/KR100881312B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 멀티채널 오디오 신호 부호화/복호화 방법과 장치 및 그를 이용한 인터넷 프로토콜(IP, Internet Protocol) 디스플레이 장치에 관한 것이다. 그 복호화 방법은 실시간 전송 프로토콜(RTP, Realtime Transport Protocol)에 의해 전송된 패킷을 입력받는 단계; 입력된 패킷으로부터 다운믹스 신호 및 복수의 채널들에 대한 공간 정보를 추출하는 단계; 및 추출된 다운믹스 신호 및 공간 정보를 이용하여 멀티 채널 신호를 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 멀티 채널 신호를 다운믹스 신호와 공간 정보로 부호화하여 각각 실시간 전송 프로토콜에 따른 패킷으로 생성해 전송함으로써, IPTV와 같은 인터넷 프로토콜을 이용한 디스플레이 장치에서 멀티 채널 오디오 신호의 실시간 재생이 가능하도록 할 수 있다.
Figure R1020070064422
멀티채널, 오디오, 다운믹스, 공간정보, IPTV, RTP

Description

멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치, 그를 이용한 인터넷 프로토콜 디스플레이 장치{Apparatus and Method for encoding/decoding multi-channel audio signal, and IPTV thereof}
도 1은 멀티 채널 신호의 부호화 및 복호화 장치의 개략적인 구성을 나타내는 블록도이다
도 2는 본 발명에 따른 멀티 채널 신호의 부호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 3은 RTP(Realtime Transport Protocol) 헤더의 구성에 대한 일실시예를 나타내는 도면이다.
도 4는 공간 정보를 포함하는 패킷의 구성에 대한 제1 실시예를 나타내는 도면이다.
도 5는 공간 정보를 포함하는 패킷의 구성에 대한 제2 실시예를 나타내는 도면이다.
도 6은 본 발명에 따른 멀티 채널 신호의 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
본 발명은 부호화/복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 멀티 채널 신호를 부호화하여 IPTV와 같은 인터넷 프로토콜(IP, Internet Protocol)을 이용한 디스플레이 장치에서 재생할 수 있도록 하는 멀티 채널 오디오 신호의 부호화/복호화 방법과 장치 및 그를 이용한 인터넷 프로토콜 디스플레이 장치에 관한 것이다.
IPTV(Internet Protocol TeleVision)는 초고속 인터넷망을 이용하여 제공되는 양방향 텔레비전 서비스로서, 초고속 인터넷을 이용하여 정보 서비스, 동영상 콘텐츠 및 방송 등을 텔레비전 수상기로 제공하는 서비스를 말한다.
IPTV를 이용하면 시청자가 자신이 편리한 시간에 보고 싶은 프로그램을 선택하여 볼 수 있으며, 인터넷과 디스플레이 장치의 융합이라는 점에서 디지털 컨버전스의 한 유형이라고 할 수 있다.
IPTV와 같은 인터넷 프로토콜을 이용한 디스플레이 장치의 경우, 초고속 인터넷망을 이용해 고화질의 동영상 또는 고음질의 오디오 등의 멀티미디어의 실시간 전송 및 재생이 가능하다.
본 발명은 복수의 채널들을 가지는 멀티 채널 신호를 IPTV 등과 같은 인터넷 프로토콕 디스플레이 장치에서 재생 가능하도록, 상기 멀티 채널 신호를 효율적으로 압축할 수 있는 부호화/복호화 방법과 장치 및 그를 이용한 인터넷 프로토콜 디스플레이 장치를 제공하는 것을 목적으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 방법은, 실시간 전송 프로토콜(RTP, Realtime Transport Protocol)에 의해 전송된 패킷을 입력받는 단계; 상기 입력된 패킷으로부터 다운믹스 신호 및 복수의 채널들에 대한 공간 정보를 추출하는 단계; 및 상기 추출된 다운믹스 신호 및 공간 정보를 이용하여 멀티 채널 신호를 복호화하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 부호화 방법은, 상기 멀티 채널 신호를 그보다 적은 수의 채널을 가지는 다운믹스 신호로 다운믹스하고, 상기 복수의 채널들에 대한 공간 정보를 생성하는 단계; 상기 다운믹스 신호를 부호화하는 단계; 및 실시간 전송 프로토콜(RTP, Realtime Transport Protocol)을 이용하여, 상기 부호화된 다운믹스 신호를 포함하는 제1 패킷(packet) 및 상기 공간 정보를 포함하는 제2 패킷을 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 장치는, 실시간 전송 프로토콜에 의해 전송된 패킷들을 입력받아, 상기 입력된 패킷들 중 제1 패킷으로부터 부호화된 다운믹스 신호를 추출하고 및 제2 패킷으로부터 복수의 채널들에 대한 공간 정보를 추출하는 비트언팩킹부; 상기 부호화된 다운믹스 신호를 복호화하는 다운믹스디코더; 및 상기 복호화된 다운믹스 신호 및 상기 추출된 공간 정보를 이용하여 멀티 채널 신호를 복호화하는 멀티채널디코더를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 부호화 장치는, 상기 멀티 채널 신호를 그보다 적은 수의 채널을 가지는 다운믹스 신호로 다운믹스하고, 상기 복수의 채널들에 대한 공간 정보를 생성하는 멀티채널인코더; 상기 다운믹스 신호를 부호화하는 오디오인코더; 및 실시간 전송 프로토콜을 이용하여, 상기 부호화된 다운믹스 신호를 포함하는 제1 패킷 및 상기 공간 정보를 포함하는 제2 패킷을 생성하는 비트팩킹부를 포함하는 것을 특징으로 한다.
상기 본 발명에 의한 복호화 장치는 인터넷 프로토콜을 이용한 디스플레이 장치에 구비되는 것이 바람직하다.
상기 본 발명에 의한 부호화/복호화 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 부호화/복호화 방법과 장치 및 그를 이용한 인터넷 프로토콜 디스플레이 장치에 대해 보다 상세하게 설명한다.
도 1은 멀티 채널 신호의 부호화 및 복호화 장치의 개략적인 구성을 블록도로 도시한 것이다.
멀티채널인코더(100)는 복수의 채널들을 가지는 멀티 채널 신호를 이용하여 다운믹스 신호 및 상기 복수의 채널에 대한 공간 정보를 생성한다.
멀티채널인코더(100)의 구성에 대한 일실시예로, 멀티채널인코더(110)는 다운믹스부(101)와 공간정보생성부(102)를 포함하여 이루어질 수 있다. 다운믹스부(101)는 입력되는 멀티 채널 신호를 그 보다 적은 수의 채널을 가지는, 바람직하게는 스테레오 또는 모노의 다운믹스(downmix) 신호로 다운 믹스한다. 공간정보생 성부(102)는 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하는데 필요한 상기 복수의 채널들에 대한 공간 정보(spatial information)를 생성한다.
상기 공간 정보는 멀티 채널들 중 두 채널 간 에너지 차이를 나타내는 CLD(Channel Level Difference), 두 채널 신호로부터 세 채널 신호를 생성하기 위해 사용되는 예측 계수인 CPC(Channel Prediction Coefficient), 두 채널 간 상관 관계(correlation)를 나타내는 ICC(Inter Channel Correlation) 및 두 채널간 시간 차를 나타내는 CTD(Channel Time Difference) 등을 포함할 수 있다.
멀티채널인코더(100)는 외부에서 다운믹스된 임의 다운믹스(artistic downmix) 신호를 입력받을 수도 있으며, 이 경우 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 생성하여 상기 임의 다운믹스 신호와 함께 복호화 장치로 전송할 수 있다.
또한, 멀티채널인코더(100)는 2 이상의 멀티 채널 디코더에서 복호화 가능한 형태의 호화형 다운믹스 신호를 복호화 장치로 전송할 수도 있다. 상기 호환형 다운믹스 신호는 어느 하나의 멀티 채널 디코더에 최적화되어 생성된 다운믹스 신호이나, 호환 처리를 통해 상기 멀티 채널 디코더 이외에 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환 가능한 신호이다.
멀티채널디코더(110)는 입력되는 다운믹스 신호와 복수의 채널들에 대한 정보를 가지는 공간 정보를 이용하여 멀티 채널 신호를 복원한다.
상기 멀티채널인코더(100) 및 멀티채널디코더(110)의 동작에 대한 일실시예로서, MPEG surround 표준에 기재된 복호화/부호화 방법이 사용될 수도 있다.
도 2는 본 발명에 따른 멀티 채널 신호의 부호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 멀티채널인코더(200), 다운믹스인코더(210), 제1 팩킹부(220) 및 제2 팩킹부(230)를 포함하여 이루어진다. 이하, 도 2에 도시된 부호화 장치의 동작 중 도 1을 참조하여 설명한 동작에 대해서는 상세한 설명을 생략하기로 한다.
멀티채널인코더(200)는 입력되는 멀티 채널 신호를 이용해 다운믹스 신호 및 공간 정보를 생성한다.
다운믹스인코더(210)는 멀티채널인코더(200)로부터 출력되는 다운믹스 신호를 압축 부호화한다. 다운믹스인코더(210)는 다운믹스 신호를 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 코딩 방법을 이용해 부호화할 수 있다.
제1 팩킹부(220)는 상기 부호화된 다운믹스 신호를 포함하는 다운믹스 패킷을 생성하고, 제2 팩킹부(230)는 상기 공간 정보를 포함하는 공간정보 패킷을 생성하며, 상기 생성된 제1, 2 패킷은 복호화 장치로 함께 전송된다.
제1, 2 팩킹부(220, 230)는 상기 부호화된 다운믹스 신호 및 공간 정보를 실시간 전송 프로토콜(RTP, Realtime Transport Protocol)의 포맷에 따라 패킷화하는 것이 바람직하다.
실시간 전송 프로토콜(RTP)은 RTP는 실시간 데이터를 전송하는 응용들을 지원하기 위한 사용자 간 전송 서비스로서, 오디오, 비디오 및 시뮬레이션 데이터와 같은 실시간 데이터를 멀티캐스트 또는 유니캐스트 네트워크를 이용하는 단말 대 단말 네트워크 전송을 위한 프로토콜이다.
실시간 전송 프로토콜(RTP)의 데이터 전송 기능은 제어 프로토콜, 예를 들어 RTCP에 의해 확장될 수 있으며, 상기 제어 프로토콜은 데이터의 전달 상황을 감시하며, 최소한의 제어 기능과 매체 식별 기능을 제공한다.
실시간 전송 프로토콜(RTP)은 별개의 독립 계층으로 구현되기보다는 특정 응용에서 요구되는 정보를 제공하여 프로토콜의 처리가 응용의 처리 과정으로 통합될 수 있도록 할 수 있다. 따라서 기존의 프로토콜들과는 달리 실시간 전송 프로토콜(RTP)은 응용의 필요에 따라 헤더를 변경하거나 추가하여 응용에 맞는 프로토콜이 되도록 할 수 있다.
상기 RTP 패킷은 사용자 데이터그램 프로토콜(UDP,User Datagram Protocol)를 이용하여 전달될 수 있다. 상기 사용자 데이터그램 프로토콜(UDP)는 인터넷상에서 서로 정보를 주고받을 때 정보를 보낸다는 신호나 받는다는 신호 절차를 거치지 않고, 보내는 쪽에서 일방적으로 데이터를 전달하는 통신 프로토콜이다.
또한, 실시간 전송 프로토콜(RTP)은 연동성을 보장하기 위해서 다양한 오디오 및 비디오 인코딩 형식에 대한 RTP 프로파일(profile)과 페이로드(payload) 포맷을 정의한다.
제1 팩킹부(220)는 다운믹스인코더(210)에서 부호화된 다운믹스 신호를 실시간 전송 프로토콜(RTP)에서 정의된 페이로드 포맷에 따라 패킷화한다. 예를 들어, 다운믹스인코더(210)가 MPEG-4 AAC, MPEG-4 HE-AAC 또는 MPEG-4 BSAC 등 MPEG-4 오디오 코딩 기술을 이용하여 상기 다운믹스 신호를 부호화하는 경우, 제1 팩킹 부(220)는 RFC3016(RTP Payload Format for MPEG-4 Audio/Visual Streams) 또는 RFC3640(RTP Payload Format for Transport of MPEG-4 Elementary Streams)와 같이 기존에 정의된 PTP 페이로드 포맷을 이용하여 상기 부호화된 다운믹스 신호를 포함하는 패킷을 생성할 수 있다.
실시간 전송 프로토콜(RTP)에 따라 생성된 패킷, 예를 들어 다운믹스 패킷 또는 공간정보 패킷은 RTP 헤더를 포함하며, 상기 RTP 헤더는 매체들 간의 동기화에 이용되는 타이밍 정보와 패킷에 포함된 매체에 대한 정보와 압축 형식을 표현하는 페이로드 형식에 대한 정보를 포함할 수 있다.
도 3은 상기 RTP 헤더의 구성에 대한 일실시예를 도시한 것으로, 도시된 RTP 헤더 뒤에 특정 정보 또는 데이터가 붙게 된다.
도 3을 참조하면, RTP 패킷의 상위 12바이트는 고정되어 있으며, CSRC 필드는 혼합기(Mixer)가 삽입됐을 경우에만 존재하는 것이 바람직하다. 도 3에 도시된 RTP 헤더의 각 필드는 다음과 같은 정보를 포함할 수 있다.
Version(V)는 실시간 전송 프로토콜의 버젼에 대한 정보를 가지는 2 비트의 필드로서, 버젼이 2.0인 경우 2의 값을 가질 수 있다. Padding(P) 필드는 1비트로, 1 값을 가지면 패킷에 하나 이상의 채워넣기 바이트가 포함되어 있음을 나타낸다. Extension(X) 필드는 1비트로, 1 값을 가지면 고정 헤더 이후에 정확히 하나의 확장 헤더가 등장함을 의미한다. CSRC Count(CC) 필드는 4비트로, 헤더 이후에 나열되는 CSRC 식별자의 수를 나타낸다.
Marker(M) 필드는 1비트로, 패킷 스트림 내에서 프레임 경계와 같은 중요한 이벤트들을 표시하는데 이용될 수 있다. Payload Type(PT) 필드는 7비트로, RTP 페이로드의 타입을 나타낸다. Sequence Number(SN) 필드는 16비트로 송신되는 각 RTP 패킷에 대해 1씩 증가하는 값을 가진다. 수신 측에서는 패킷 분실을 검출하거나 패킷의 순서를 맞추는데 이용될 수 있다.
Timestamp는 32비트의 필드로서, RTP 데이터 패킷의 첫번째 바이트의 샘플링 순간을 나타낸다. 시계의 주파수는 페이로드의 데이터 형식에 종속되고 형식을 정의하는 프로파일이나 페이로드 형식 문서에 정적으로 명시된다. 초기값은 순번과 마찬가지로 무작위 수로 설정될 수 있다.
Synchronization Source(SSRC) Identifier 필드는 32비트로, 동기화 소스를 나타낸다. 이 값은 같은 RTP 세션 내에서 같은 SSRC를 가진 동기화 소스가 두개 이상 나타나지 않도록 무작위로 선택된다.
Contributing Source(CSRC) Identifiers 필드에는 0에서 15목록까지 포함될 수 있으며 각 목록은 32비트를 차지한다. CSRC는 현 패킷에 포함된 페이로드에 기여한 제공 소스들을 나타낸다. 제공 소스가 15개 이상일 경우에도 15개의 제공 소스만 기록된다. 이 필드는 혼합기에 의해 삽입되고 각 목록은 혼합되는 모든 소스들의 SSRC 식별자이다.
Marker 비트와 PT 필드는 프로파일에 종속된 정보를 수송하지만 고정 헤더에 할당되어 있다. 그 이유는 많은 응용들이 그것들을 필요로 할 것이고 이렇게 제공하지 않으면 그 값들을 위해 또 다른 32비트를 확장해야 하기 때문이다.
본 발명에 따른 부호화 장치의 경우, 공간 정보는 채널 당 4kbps 정도의 작 은 크기를 가지므로, 상기 공간 정보는 작은 부분으로 쪼개어(fragment) 패킷화하지 아니한다. 그에 따라, 공간 정보를 포함하는 패킷의 경우, RTP 헤더의 상기 Marker(M) 필드는 0의 값을 가지도록 하는 것이 바람직하다.
PT 필드는 프로파일에서 재정의할 수 있으며 Marker 비트가 있는 경우는 이 필드의 최상위 비트에 기록되어야 한다. 이 외의 특정 페이로드 형식을 위해 필요한 정보들은 패킷의 페이로드 섹션에 기록된다.
상기한 바와 같이 RTP 헤더는 변경 또는 확장이 가능하다. 예를 들어, 특정 응용에서 페이로드 형식과 무관한 부가적인 기능이 필요하면 그 응용이 따르는 프로파일에서 고정 헤더의 SSRC필드 이후에 바로 추가 헤더 필드를 정의할 수 있다.
도 4는 공간 정보를 포함하는 패킷의 구성에 대한 제1 실시예를 도시한 것으로, 도시된 바와 같이 상기 공간정보 패킷의 구성은 기존의 실시간 전송 프로토콜(RTP) 포맷과 다르게 새로이 정의되는 것이 바람직하다.
도 4를 참조하면, 공간정보 패킷은 상기에서 설명한 RTP 헤더 이외에, 공간 정보에 대한 구성 데이터(configuration data)를 가지는 SpatialSpecificConfig()와 공간 정보 데이터를 프레임 단위로 가지는 SpatialFrame()으로 구성될 수 있다.
다음의 표 1은 SpatialSpecificConfig()의 신텍스(syntax)에 대한 일실시예를 나타낸 것이다.
Figure 112007047334697-pat00001
다음의 표 2은 SpatialFrame()의 신텍스(syntax)에 대한 일실시예를 나타낸 것이다.
Figure 112007047334697-pat00002
상기 표 1 및 표 2에 나타난 신텍스에 대한 구체적인 설명은 MPEG surround 표준에 상세히 기재되어 있으므로 생략하기로 한다.
또한, 공간정보 패킷은 상기 패킷이 SpatialSpecificConfig()를 포함하는지 여부에 대한 식별자로서 siHdrFlag()를 포함할 수 있다. 도 4에 도시된 바와 같이 공간정보 패킷이 SpatialSpecificConfig()를 포함하는 경우에는 상기 식별자가 1의 값을 가지며, 도 5에 도시된 바와 같이 공간정보 패킷이 SpatialSpecificConfig()를 포함하지 않는 경우에는 상기 식별자가 0의 값을 가질 수 있다.
복호화 장치에서 상기 다운믹스 패킷에 포함된 다운믹스 신호와 공간정보 패킷에 포함된 공간정보를 합성하여 멀티 채널 신호를 복원하기 위해, 상기 다운믹스 패킷의 RTP 헤더에 포함된 timestamp 필드와 상기 공간정보 패킷의 RTP 헤더에 포함된 timestamp 필드는 서로 동일하게 적용되는 것이 바람직하다. 즉, 상기 다운믹스 신호와 공간정보는 프레임 단위로 일대일 대응되므로, 프레임 단위의 동기를 맞추기 위해 각각의 timestamp 필드가 가지는 샘플링 시점에 대한 정보가 서로 동기화되도록 하는 것이 바람직하다.
또한, 본 발명에 따른 부호화 장치는 복호화 장치의 멀티 채널 신호 재생 가능 여부에 대한 정보를 입력받아, 상기 복호화 장치가 멀티 채널 신호를 재생할 수 없는 경우에는 공간정보를 포함하는 패킷은 전송하지 아니하고 상기 다운믹스 신호를 포함하는 패킷만을 복호화 장치로 전송하여, 복호화 장치가 스테레오 또는 모노의 오디오 신호를 재생하도록 할 수 있다.
본 발명에 따른 복호화 장치는 상기에서 설명한 부호화 장치의 동작에 역과정을 수행함으로써 멀티 채널 신호를 복원할 수 있다.
도 6은 본 발명에 따른 멀티 채널 신호의 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 제1 언팩킹부(300), 제2 언팩킹부(310), 다운믹스디코더(320) 및 멀티채널디코더(330)를 포함하여 이루어진다.
제1 언팩킹부(300)는 부호화 장치로부터 전송된 다운믹스 패킷으로부터 부호화된 다운믹스 신호를 추출하고, 제2 언팩킹부(310)는 전송된 공간정보 패킷으로부터 공간 정보를 추출한다.
다운믹스디코더(320)는 상기 추출된 다운믹스 신호에 대해 부호화 장치에서 다운믹스인코더(210) 에 의해 수행된 부호화 과정의 역과정을 수행하여, 상기 다운믹스 신호를 복호화 한다. 예를 들어, 다운믹스디코더(320)는 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 디코딩 방법을 이용해 다운믹스인코더(210)는 상기 다운믹스 신호를 복호화할 수 있다.
멀티채널디코더(330)는 상기 추출된 복수의 채널에 대한 정보를 가지는 공간 정보를 이용하여 상기 다운믹스 신호를 멀티 채널 신호로 복원한다. 상기 다운믹스 신호와 공간 정보의 동기를 맞추기 위해, 멀티채널디코더(330)는 각각의 RTP 헤더의 timestamp 필드에 포함된 샘플링 시점 정보를 이용할 수 있다. 예를 들어, 멀티채널디코더(330)는 다운믹스 신호를 멀티 채널 신호로 복원 시, 상기 timestamp 필드를 체크하여 상기 다운믹스 신호의 timestamp 필드에 포함된 샘플링 시점 정보와 일치하는 정보를 가지는 공간 정보를 참조할 수 있다.
본 발명에 따른 복호화 장치는 부호화 장치로부터 전송된 다운믹스 패킷에 손실이 있어 멀티 채널 신호 복원이 불가능한 경우, 그에 대응되는 공간 정보 패킷을 폐기하도록 할 수 있다. 또한, 부호화 장치로부터 전송된 공간정보 패킷에 손실이 있는 경우에는, 다운믹스디코더(320)로부터 출력되는 다운믹스 신호만으로 스테레오 또는 모노의 오디오 신호를 재생하도록 할 수 있다.
상기한 바와 같이, 패킷의 손실 여부는 RTP 헤더의 Sequence Number(SN) 필드를 확인함으로써 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
상술한 바와 같은 본 발명에 의하면, 멀티 채널 신호를 다운믹스 신호와 공간 정보로 부호화하여 각각 실시간 전송 프로토콜에 따른 패킷으로 생성해 전송함으로써, IPTV와 같은 인터넷 프로토콜을 이용한 디스플레이 장치에서 멀티 채널 오디오 신호의 실시간 재생이 가능하도록 할 수 있다.

Claims (18)

  1. 멀티 채널 신호를 복원하는 복호화 방법에 있어서,
    실시간 전송 프로토콜(RTP, Realtime Transport Protocol)에 의해 전송된 제1, 2 패킷을 입력받는 단계;
    상기 입력된 제1, 2 패킷으로부터 다운믹스 신호 및 복수의 채널들에 대한 공간 정보를 각각 추출하며, 상기 입력된 제1, 2패킷 중 적어도 하나로부터 상기 다운믹스 신호와 공간 정보의 샘플링(sampling) 시점에 대한 정보를 추출하는 단계;
    상기 추출된 샘플링 시점에 대한 정보를 이용하여 상기 다운 믹스 신호와 공간 정보를 동기화하는 단계; 및
    상기 동기화된 다운믹스 신호 및 공간 정보를 이용하여 멀티 채널 신호를 복호화하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  2. 제1항에 있어서, 상기 제2 패킷은
    상기 공간 정보에 대한 구성 데이터(configuration data)를 가지는 제1 영역; 및 프레임 단위의 상기 공간 정보를 가지는 제2 영역 중 적어도 하나를 포함하는 것을 특징으로 하는 복호화 방법.
  3. 제2항에 있어서, 상기 제2 패킷은
    상기 제1 영역의 포함 여부에 대한 식별자를 포함하는 것을 특징으로 하는 복호화 방법.
  4. 제1항에 있어서, 상기 샘플링 시점에 대한 정보는
    상기 제1, 2 패킷의 RTP 헤더에 포함되는 것을 특징으로 하는 복호화 방법.
  5. 제1항에 있어서,
    상기 추출된 공간 정보에 오류가 있는 경우, 상기 다운믹스 신호를 이용하여 모노 또는 스테레오 신호를 재생하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  6. 복수의 채널들을 가지는 멀티 채널 신호를 부호화하는 방법에 있어서,
    상기 멀티 채널 신호를 그보다 적은 수의 채널을 가지는 다운믹스 신호로 다운믹스하고, 상기 복수의 채널들에 대한 공간 정보를 생성하는 단계;
    상기 다운믹스 신호를 부호화하는 단계; 및
    실시간 전송 프로토콜(RTP, Realtime Transport Protocol)을 이용하여, 상기 부호화된 다운믹스 신호를 포함하는 제1 패킷(packet) 및 상기 공간 정보를 포함하는 제2 패킷을 생성하는 단계를 포함하고,
    상기 제1, 2 패킷은 샘플링(sampling) 시점에 대한 정보를 각각 포함하는 것을 특징으로 하는 부호화 방법.
  7. 제6항에 있어서,
    상기 부호화된 다운믹스 신호는 실시간 전송 프로토콜의 페이로드(RTP payload) 포맷에 따라 상기 제1 패킷에 포함되는 것을 특징으로 하는 부호화 방법.
  8. 제6항에 있어서, 상기 제2 패킷은
    상기 공간 정보에 대한 구성 데이터(configuration data)의 포함 여부에 대한 식별자를 포함하는 것을 특징으로 하는 부호화 방법.
  9. 제6항에 있어서, 상기 제1, 2 패킷은
    상기 패킷의 샘플링(sampling) 시점에 대한 정보를 가지는 타임 스탬프(time stamp) 필드를 각각 포함하고,
    상기 제1, 2 패킷의 타임 스탬프 필드는 프레임 단위로 동기화되는 것을 특징으로 하는 부호화 방법.
  10. 제6항에 있어서,
    상기 생성된 패킷을 전송받을 복호화 장치가 멀티 채널 오디오 신호를 재생할 수 없는 경우, 상기 생성된 패킷들 중 제1 패킷만을 상기 복호화 장치로 전송하는 것을 특징으로 하는 부호화 방법.
  11. 멀티 채널 신호를 복원하는 복호화 장치에 있어서,
    실시간 전송 프로토콜에 의해 전송된 제1, 2 패킷으로부터 부호화된 다운믹스 신호 및 공간 정보를 각각 추출하고, 상기 제1, 2 패킷 중 적어도 하나로부터 상기 다운믹스 신호와 공간 정보의 샘플링 시점에 대한 정보를 추출하는 비트언팩킹부;
    상기 부호화된 다운믹스 신호를 복호화하는 다운믹스디코더;
    상기 추출된 샘플링 시점 정보를 이용하여 상기 복호화된 다운믹스 신호와 상기 추출된 공간 정보를 동기화하는 동기화부; 및
    상기 동기화된 다운믹스 신호 및 공간 정보를 이용하여 멀티 채널 신호를 복호화하는 멀티채널디코더를 포함하는 것을 특징으로 하는 복호화 장치.
  12. 제11항에 있어서, 상기 제2 패킷은
    상기 공간 정보에 대한 구성 데이터(configuration data)의 포함 여부에 대한 식별자를 포함하는 것을 특징으로 하는 복호화 장치.
  13. 제11항에 있어서,
    상기 추출된 공간 정보에 오류가 있는 경우, 상기 다운믹스 신호를 이용하여 모노 또는 스테레오 신호를 재생하는 재생부를 포함하는 것을 특징으로 하는 복호화 장치.
  14. 복수의 채널들을 가지는 멀티 채널 신호를 부호화하는 장치에 있어서,
    상기 멀티 채널 신호를 그보다 적은 수의 채널을 가지는 다운믹스 신호로 다운믹스하고, 상기 복수의 채널들에 대한 공간 정보를 생성하는 멀티채널인코더;
    상기 다운믹스 신호를 부호화하는 오디오인코더; 및
    실시간 전송 프로토콜을 이용하여, 상기 부호화된 다운믹스 신호를 포함하는 제1 패킷 및 상기 공간 정보를 포함하는 제2 패킷을 생성하는 비트팩킹부를 포함하고,
    상기 제1, 2 패킷 중 적어도 하나는 상기 다운믹스 신호 및 공간 정보의 샘플링 시점에 대한 정보를 포함하는 것을 특징으로 하는 부호화 장치.
  15. 제14항에 있어서, 상기 제2 패킷은
    상기 공간 정보에 대한 구성 데이터(configuration data)의 포함 여부에 대한 식별자를 포함하는 것을 특징으로 하는 부호화 장치.
  16. 제14항에 있어서,
    상기 생성된 패킷을 전송받을 복호화 장치가 멀티 채널 오디오 신호를 재생할 수 없는 경우, 상기 생성된 패킷들 중 제1 패킷만을 상기 복호화 장치로 전송하는 것을 특징으로 하는 부호화 장치.
  17. 제11항 내지 제13항 중 어느 한 항에 기재된 복호화 장치를 구비하는 것을 특징으로 하는 인터넷 프로토콜(Internet Protocol) 디스플레이 장치.
  18. 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070064422A 2007-06-28 2007-06-28 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치 KR100881312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070064422A KR100881312B1 (ko) 2007-06-28 2007-06-28 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070064422A KR100881312B1 (ko) 2007-06-28 2007-06-28 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20090000391A KR20090000391A (ko) 2009-01-07
KR100881312B1 true KR100881312B1 (ko) 2009-02-03

Family

ID=40483585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070064422A KR100881312B1 (ko) 2007-06-28 2007-06-28 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR100881312B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060122734A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법
KR20070037984A (ko) * 2005-10-04 2007-04-09 엘지전자 주식회사 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR20070043651A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060122734A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법
KR20070037984A (ko) * 2005-10-04 2007-04-09 엘지전자 주식회사 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR20070043651A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치

Also Published As

Publication number Publication date
KR20090000391A (ko) 2009-01-07

Similar Documents

Publication Publication Date Title
CA2871578C (en) Method and apparatus for transceiving data for multimedia transmission system
EP2628297B1 (en) Method for synchronizing multimedia flows and corresponding device
RU2509378C2 (ru) Способ и устройство для формирования выровненного многоканального аудиосигнала
US8422564B2 (en) Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
KR101340762B1 (ko) 지상파 디지털 멀티미디어 방송 서비스의 인터넷 프로토콜패킷 재전송 방법
EP2695162B1 (en) Audio encoding method and system for generating a unified bitstream decodable by decoders implementing different decoding protocols
van der Meer et al. RTP payload format for transport of MPEG-4 elementary streams
CN106796797B (zh) 发送设备、发送方法、接收设备和接收方法
WO2012034442A1 (zh) 实现可伸缩视频编码业务同步发送、接收的系统和方法
CN103873888A (zh) 一种媒体文件直播方法及直播源服务器
KR100358119B1 (ko) 디지털 데이터 방송 서비스를 위한 데이터 스트리밍 장치및 그 방법
JP2020182221A (ja) 受信装置、受信方法、送信装置および送信方法
EP2276192A2 (en) Method and apparatus for transmitting/receiving multi - channel audio signals using super frame
CN102254560B (zh) 一种移动数字电视录像中的音频处理方法
KR100753540B1 (ko) 비쥬얼 라디오의 방송방법, 이를 위한 인코더,디코더 및 이 디코더를 사용하는 수신기
CN103177725A (zh) 用于输送对齐的多通道音频的方法和设备
JP4391412B2 (ja) ディジタルストリームの動的多重化方法
KR100881312B1 (ko) 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
CN103474076A (zh) 用于输送对齐的多通道音频的方法和设备
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법
KR20080023902A (ko) 지상파 디지털 멀티미디어 방송 서비스의 인터넷 프로토콜패킷 재전송 장치
KR20100060449A (ko) 수신 시스템 및 오디오 데이터 처리 방법
Meer et al. RFC3640: RTP Payload Format for Transport of MPEG-4 Elementary Streams
Schmidt et al. Rtp payload format for mpeg-4 audio/visual streams

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee