KR20060057943A - 비동기식 오디오 스트림 처리 방법 및 장치 - Google Patents

비동기식 오디오 스트림 처리 방법 및 장치 Download PDF

Info

Publication number
KR20060057943A
KR20060057943A KR1020040097141A KR20040097141A KR20060057943A KR 20060057943 A KR20060057943 A KR 20060057943A KR 1020040097141 A KR1020040097141 A KR 1020040097141A KR 20040097141 A KR20040097141 A KR 20040097141A KR 20060057943 A KR20060057943 A KR 20060057943A
Authority
KR
South Korea
Prior art keywords
adts
stream
frame
pes packet
pes
Prior art date
Application number
KR1020040097141A
Other languages
English (en)
Other versions
KR100640476B1 (ko
Inventor
유훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040097141A priority Critical patent/KR100640476B1/ko
Priority to US11/268,891 priority patent/US8605599B2/en
Priority to JP2005337691A priority patent/JP4413852B2/ja
Priority to EP05025578A priority patent/EP1662484B1/en
Priority to CNB2005101233368A priority patent/CN100477798C/zh
Priority to DE602005012662T priority patent/DE602005012662D1/de
Publication of KR20060057943A publication Critical patent/KR20060057943A/ko
Application granted granted Critical
Publication of KR100640476B1 publication Critical patent/KR100640476B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/11—Arrangements for counter-measures when a portion of broadcast information is unavailable
    • H04H60/12—Arrangements for counter-measures when a portion of broadcast information is unavailable wherein another information is substituted for the portion of broadcast information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

본 발명은 비동기식 오디오 PES(Packetized Elementary Stream) 스트림의 PES 패킷들 중에 손상된 PES 패킷을 검출하고, 손상된 PES 패킷내의 ADTS(Audio Data Transport Stream) 프레임 각각을 미리 정해진 대체 ADTS 프레임으로 대체하여 AAC(Advanced Audio Coding) 스트림을 복원한다.
오디오 스트림, 비동기식 오디오 PES(Packetized Elementary Stream), AAC(Advanced Audio Coding), ADTS(Audio Data Transport Stream), 위성 DMB(Digital Multimedia Broadcasting).

Description

비동기식 오디오 스트림 처리 방법 및 장치{A METHOD AND APPARATUS FOR PROCESSING ASYNCHRONOUS AUDIO STREAM}
도 1은 위성 DMB에서의 오디오 스트림 구성 예시도,
도 2는 에러 패킷이 존재할 경우의 복원된 AAC 스트림 예시도,
도 3은 본 발명의 실시예에 따른 오디오 스트림 처리 장치를 포함한 블록구성도,
도 4는 본 발명의 실시예에 따른 비동기식 오디오 PES 데이터 처리 흐름도,
도 5는 본 발명의 실시예에 따른 AAC 스트림 복원 예시도.
본 발명은 오디오 스트림(audio stream)을 복원(restore)하는 방법 및 장치에 관한 것으로, 특히 비동기식 오디오 PES(Packetized Elementary Stream) 스트림으로부터 AAC(Advanced Audio Coding) 스트림을 복원하는 방법 및 장치에 관한 것이다.
위성 DMB(Digital Multimedia Broadcasting)에서는 오디오 데이터를 정해진 전송 스트림으로 만들어 방송 채널로 전송한다. 이를 도 1을 참조하여 살펴본다. 먼저 오디오 PCM(Pulse Coded Modulation) 스트림(100)의 오디오 PCM 데이터를 MPEG-2(Moving Picture Expert Group-2) AAC(Advanced Audio Coding) + SBR(Spectral Band Replication) 코덱(CODEC: Coder-Decoder)을 사용하여 압축 부호화하고, ADTS(Audio Data Transport Stream) 헤더(header)를 부가하여 AAC 스트림(102)을 구성한다. PCM 스트림(100)은 각각 48㎑로 표본화(sampling)된 2,048 샘플(sample)의 PCM 데이터로 이루어지는 PCM 프레임(frame)들로 이루어진다. AAC 스트림(102)은 PCM 프레임들이 각각 압축 부호화되고 ADTS 헤더가 부가된 ADTS 프레임들로 이루어진다. 도 1에서 AAC 스트림(102)의 ADTS 프레임 각각의 ADTS 헤더를 'A'로 나타내었다.
상기한 AAC 스트림(102)은 ISO(International Organization for Standardization)/IEC(International Organization for Standardization) 13818-1에 따라 일정 크기마다 분할되고 분할된 스트림(114)에 헤더(112)가 부가되어 PES(Packetized Elementary Stream) 패킷들이 만들어진다. 이러한 PES 패킷들로 PES 스트림(104)이 구성된다. 도 1에서 PES 스트림(104)의 PES 패킷 각각의 PES 헤더(112)를 'P'로 나타내었다.
상기 PES 스트림(104)은 또다시 일정 크기마다 분할되고 분할된 스트림(118)에 헤더(116)가 부가되어 TS(transport Stream) 패킷들이 만들어진다. 이러한 TS 패킷들로 TS 스트림(106)이 구성된다.
상기 도 1에서 PCM 스트림(100)의 각 PCM 프레임의 선두에 기입된 t0∼t5는 시간 정보 값으로 오디오 정보가 디코더에게 언제 표현되어야 할 지에 대한 정보를 알려주는 값이다. 이 시간 정보는 타임 스탬프(time stamp) 형태로 PES 헤더 데이터의 일부로 포함된다.
현재의 위성 DMB에 있어서 오디오 데이터를 TS 패킷에 실어 보낼 때 고정 크기인 TS 패킷에 최대한 많은 양의 오디오 데이터를 실기 위해서 PES 패킷을 구성할 때 AAC 스트림의 ADTS 헤더와 PES 헤더 간의 동기를 맞추지 않고 있다. 도 1에서 PES 패킷의 헤더(112)에 ADTS 헤더 A가 항상 바로 뒤이어지지는 않음을 알 수 있다. 이 방법은 비 동기식 PES 방식이라고 불려지고 있고 오디오 데이터를 TS패킷에 최대한 많이 실을 수 있는 장점이 있다.
그러나 비 동기식 PES 방식은 에러(error)가 발생한 TS 패킷에 대한 처리가 되지 않으면 도 2와 같은 형태로 AAC 스트림이 복원된다. 도 2는 TS 스트림(200)에서 2개의 TS 패킷(206,208)이 에러로 인해 손상(corrupt)되었다고 가정하였을 때, 이 TS 스트림(200)으로부터 PES 스트림(202)을 거쳐 AAC 스트림(204)이 복원되는 예를 보인 것이다. 손상된 TS 패킷들(206,208)을 가지는 TS 스트림(200)으로부터 얻어지는 PES 스트림(202)도 손상된 TS 패킷들(206,208)에 해당하는 손상된 PES 데이터(210,212)를 포함한다. 즉, PES 스트림(202)은 TS 스트림(200)에 에러가 없었다면 도 1의 PES 스트림(104)처럼 복원되어야 하지만, 손상된 TS 패킷들(206,208)에 해당하는 손상된 PES 데이터(210,212)를 포함하게 된다.
이에 따라 PES 스트림(202)으로부터 복원되는 AAC 스트림(204)도 도 1의 AAC 스트림(102)처럼 복원되지 못하고, 손상된 데이터(214,216)를 포함한다. 손상된 데이터(214,216) 중에는 ADTS 헤더에 해당하는 데이터(218)도 포함될 수 있다.
상기한 바와 같이 에러로 인해 손상된 데이터가 포함된 AAC 스트림은 오디오 코덱에 문제를 야기시킨다. 이 뿐만 아니라 도 2의 예처럼 ADTS 헤더에 있는 크기에 관한 정보가 있는 필드(218)가 손상되면 오디오 코덱으로서는 치명적인 에러를 발생시킬 수 있다.
또한 이러한 에러를 방지하기 위해 손상된 PES 데이터를 버리게 되면 시간 정보도 더불어 버려지게 된다. 그러면 오디오가 빠르게 재생되는 문제도 야기되고, 서로 다른 ADTS 데이터가 앞 뒤로 붙어 오디오 코덱에 심각한 영향을 준다.
따라서 본 발명은 비동기식 오디오 PES 스트림에서 에러로 인해 손상된 PES 패킷이 발생하는 경우에도 오디오 음질을 높이고 시스템의 안정성을 향상시킬 수 있는 오디오 스트림 처리 방법 및 장치를 제공한다.
또한 본 발명은 비동기식 오디오 PES 스트림에서 에러로 인해 손상된 PES 패킷의 AAC 프레임을 최적으로 복원할 수 있는 오디오 스트림 처리 방법 및 장치를 제공한다.
또한 본 발명은 복원된 오디오 데이터를 저장할 때 신택스(syntax)적으로 완전한 구조를 제공함으로써 외부로 오디오 스트림이 저장되었을 때도 안정성을 보장할 수 있는 오디오 스트림 처리 방법 및 장치를 제공한다.
본 발명은 비동기식 오디오 PES 스트림의 PES 패킷들 중에 손상된 PES 패킷을 검출하고, 손상된 PES 패킷내의 ADTS 프레임 각각을 미리 정해진 대체 ADTS 프레임으로 대체하여 AAC 스트림을 복원함을 특징으로 한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 3은 본 발명의 실시예에 따른 블록 구성도로서, 본 발명의 실시예에 따라 AAC 스트림 복원부(302)와 시스템 오디오 스트림 생성부(304)와 링 버퍼(306)를 포함하는 오디오 스트림 처리 장치를 적용한 블록 구성도를 보인 것이다. TS 역다중화기(demultiplexer)(300)는 TS 스트림으로부터 PES 스트림을 복원하여 AAC 스트림 복원부(302)에 인가한다. 이 PES 스트림은 에러로 인해 손상된 데이터가 존재할 수 있다. AAC 스트림 복원부(302)는 PES 스트림으로부터 AAC 스트림을 복원하는데, 에러로 인해 손상된 PES 패킷이 있을 경우에 손상된 PES 데이터를 처리하여 후술하는 바와 같이 신택스(syntax)에 맞게 AAC 스트림을 복원한다.
상기한 AAC 스트림 복원부(302)의 PES 데이터 처리를 도 4와 도 5를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 비동기식 오디오 PES 데이터 처리 흐름도를 보인 것으로, AAC 스트림 복원부(302)의 처리를 (400)∼(426)단계로 보인 것이다. 도 5는 손상된 PES 패킷을 가지는 PES 스트림(202)으로부터 손상된 AAC 스트림(204)이 아니라 온전한 AAC 스트림(500)을 복원하는 예를 보인 것이다.
상기 도 4를 참조하면, 먼저 AAC 스트림 복원부(302)는 (400)단계에서 TS 역다중화기(300)로부터 PES 데이터를 가져와서 (402)단계에서 현재의 PES 데이터가 손상된 PES 패킷인지 여부를 검사한다. 만일 손상된 PES 패킷이라면 해당 PES 패킷을 (404)단계에서 폐기한 후, 상기 (400)단계로 되돌아간다.
상기 (402)단계에서 현재의 PES 패킷이 손상된 PES 패킷이 아닌 온전한 PES 패킷인 것으로 확인되면, (406)단계에서 현재의 PES 패킷으로부터 타임 스탬프를 획득(get)한다. 다음에 (408)단계에서 현재의 PES 패킷에서 첫번째 ADTS 헤더를 검색(serach)한다. 이때 현재의 PES 패킷에 프리픽스(prefix) 프레임이 있다면 일시 저장해 놓는다. 다음에 (410)단계에서 현재의 PES 패킷에 잔여(residual) 프레임의 존재 여부를 검사한다.
도 5에서는 프리픽스 프레임을 참조 부호 506으로 나타내었고 잔여 프레임을 참조 부호 504으로 나타내었다. 즉, 프리픽스 프레임(506)은 현재의 PES 패킷에서 PES 헤더 P 와 첫번째 ADTS 프레임의 헤더 A 사이에 존재할 수 있는 분할된 ADTS 프레임을 의미하고, 잔여 프레임(504)은 이전의 온전한 PES 패킷의 마지막 부분에 존재할 수 있는 분할된 ADTS 프레임을 의미한다. 잔여 프레임(504)과 프리픽스 프레임(506)은 AAC 스트림으로부터 PES 스트림을 만들 때, 하나의 ADTS 프레임이 2개의 PES 패킷에 걸쳐 분할되는 경우에 발생한다. 현재 PES 패킷에 프리픽스 프레임(506)이 존재하는 경우에는 상기한 바와 같이 (408)단계에서 일시 저장되어 후술하는 바와 같이 현재의 PES 패킷으로부터 ADTS 프레임을 복원하는데 사용되고, 잔여 프레임(504)이 존재하는 경우에는 후술하는 (424)단계에서 저장되어 다음의 PES 패 킷으로부터 ADTS 프레임을 복원하는데 사용된다.
상기 (410)단계에서 잔여 프레임이 존재한다면, (418)단계에서 잔여 프레임과 프리픽스 프레임을 합병(merge)하여 저장한다. 도 5의 AAC 스트림(500)을 보면 PES 스트림(202)의 잔여 프레임(504)과 프리픽스 프레임(506)에 각각 해당하는 잔여 프레임(508)과 프리픽스 프레임(510)이 합병되어 하나의 ADTS 프레임에 포함됨을 알 수 있다.
상기 (410)단계에서 잔여 프레임이 존재하지 않는다면, (412)단계에서 현재 PES 패킷이 최초 패킷인가를 검사한다. 이는 현재의 PES 패킷은 PES 스트림 중에 맨 처음의 PES 패킷, 예를 들어 DMB 방송 수신의 경우라면 처음으로 수신된 PES 패킷인가를 검사하는 것이다.
상기 (412)단계에서 현재의 PES 패킷이 최초가 아니라면 (414)단계에서 손실된 ADTS 프레임 개수를 산출한다. 이때 손실된 ADTS 프레임의 개수는 이전의 온전한 PES 패킷과 현재의 PES 패킷 간에 손상된 PES 패킷으로 인해 손실된 개수를 의미한다. 손실된 ADTS 프레임의 위치와 개수는 손상된 PES 패킷의 앞, 뒤에 각각 인접한 온전한 PES 패킷의 타임 스탬프 값을 이용하면 알 수 있다. 즉, 온전한 PES 패킷의 헤더에 있는 타임 스탬프를 이용한다면, 오디오 신호의 표본화 주파수를 알면 ADTS 프레임 하나당 시간 간격을 알 수 있으므로 손상된 PES 패킷 안에 포함된 ADTS 프레임의 개수를 파악할 수 있다.
상기 손상된 PES 패킷의 뒤에 인접한 온전한 PES 패킷은 만일 현재의 PES 패킷의 앞에 있었던 PES 패킷이 손상된 패킷이었다면 현재의 PES 패킷이 해당하는데, 상기 (406)단계에서 획득된 현재의 PES 패킷의 타임 스탬프를 후술하는 (426)단계에서 저장해 놓음으로써 다음에 손상된 PES 패킷이 이어진다면 그에 뒤이어지는 온전한 PES 패킷 처리시에 손실된 ADTS 프레임을 복원하는데 이용할 수 있게 된다.
이후 상기한 바와 같이 산출된 개수만큼 손실된 ADTS 프레임 각각을 (416)단계에서 미리 정해진 대체 ADTS 프레임으로 대체함으로써 복원하여 저장한다. 손실된 ADTS 프레임을 대체하는 ADTS 데이터로는 여러 가지 방법이 있을 수 있다. 예를 들어 묵음을 압축한 ADTS 프레임을 미리 저장해 놓았다가 손실된 ADTS 프레임으로 대체할 수 있다. 또한 백색 잡음을 압축한 ADTS 프레임을 미리 저장해 놓았다가 손실된 ADTS 프레임으로 대체할 수 있다. 그리고 손상된 PES 패킷의 앞에 인접된 온전한 PES 패킷으로부터 복원되었던 온전한 ADTS 프레임을 저장해 놓았다가 ADTS 프레임으로 대체할 수 있다.
이와 달리 한 두 프레임의 ADTS 데이터가 손실된 경우에는 바로 이전의 온전한 ADTS 프레임으로 대체하는 반면에, 다수의 ADTS 프레임이 연속으로 손실된 경우에는 묵음을 압축한 ADTS 프레임이나 백색 잡음을 압축한 ADTS 프레임으로 대체하는 방법을 사용할 수도 있다. 다수의 ADTS 프레임이 연속으로 손실된 경우에는 손실된 ADTS 프레임의 오디오 데이터가 바로 이전의 온전한 ADTS 프레임과 차이가 클 수 있으므로, 이 경우에는 묵음을 압축한 ADTS 프레임이나 백색 잡음을 압축한 ADTS 프레임으로 대체하는 것이 바람직하기 때문이다.
이후 (420)단계에서 손상된 PES 패킷과 현재의 PES 패킷 내의 ADTS 프레임 개수를 산출한 후, 산출된 개수만큼 ADTS 프레임을 (422)단계에서 저장한다. 이때 손상된 PES 패킷에 대한 ADTS 프레임들은 상기한 대체 ADTS 프레임으로 대체하여 저장하고, 현재의 PES 패킷에 대한 ADTS 프레임들은 정상적으로 저장한다.
다음에 (424)단계에서 잔여 프레임을 저장함과 아울러 (426)단계에서 현재의 타임 스탬프를 저장하여, 다음의 손상된 PES 패킷이 뒤이어지고 그에 뒤이어지는 온전한 PES 패킷 처리시에 손실된 것으로 확인되는 ADTS 프레임을 복원하는데 사용할 수 있도록 한 후, 상기 (400)단계로 되돌아가서 다음의 PES 패킷에 대한 처리를 시작한다.
따라서 PES 패킷 안에 있는 ADTS 프레임에 대해서 신택스상 에러없이 복원을 할 뿐만 아니라 손실된 ADTS 프레임을 적절히 대체하게 된다.
상기한 바와 같이 복원된 AAC 스트림은 시스템 오디오 스트림 생성부(304)에 인가된다. 그러면 시스템 오디오 스트림 생성부(304)는 AAC 스트림의 ADTS 프레임들 각각에 도 5처럼 헤더 H를 부가하여 시스템 오디오 스트림(502)을 생성하여 링 버퍼(ring buffer)(306)에 저장한다. 이때 시스템 오디오 스트림(502)의 헤더 H 들 각각에는 시간 정보가 포함된다. 시스템 오디오 스트림 생성부(304)는 손상된 PES 패킷에 대해서도 앞,뒤의 온전한 PES 패킷의 타임 스탬프에 근거하여 얻어진 시간 정보를 이용하여 전술한 도 1에 나타낸 원래의 시간 정보 t0∼t5를 시스템 오디오 스트림(502)에 정상적으로 포함시킬 수 있다.
상기한 바와 같이 시스템 오디오 스트림이 링 버퍼(306)에 저장됨으로써, 시스템 오디오 스트림의 프레임들이 순환적으로 저장 및 독출되게 된다. 이에 따라 AAC 스트림 복원부(302)에서 손실된 ADTS 프레임을 복원하는데 소요되는 시간, 즉 손상된 PES 패킷에 뒤이어지는 온전한 PES 패킷이 나타날 때까지 ADTS 프레임이 출력이 지연되는 시간을 버퍼링할 수 있게 된다. 이처럼 링 버퍼(306)에 저장된 시스템 오디오 스트림은 오디오 코덱(308)에 의해 재생되거나 기록부(310)에 의해 레코딩(recording)될 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위 내에서 이루어질 수 있다. 특히 본 발명이 실시예에서는 위성 DMB에 있어서의 예를 들어 설명하였으나, 위성 DMB가 아니라해도 비동기식 PES 오디오 스트림을 처리하는 경우라면 마찬가지로 적용된다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 한정되는 것이 아니며 특허청구범위와 특허청구범위의 균등한 것에 의하여 정하여져야 한다.
상술한 바와 같이 본 발명은 따라서 PES 패킷 안에 있는 ADTS 프레임에 대해서 신택스상 에러없이 복원을 할 뿐만 아니라 손실된 ADTS 프레임을 적절히 대체함으로써, 위성 DMB 방송 중에 에러가 발생했을 경우에 발생하는 오디오 잡음을 제거할 수 있으며, 코덱 및 시스템 안정성에 크게 기여하게 된다.
또한 에러 환경 하에서 방송 녹화할 때에도 신택스상 결점없는 파일로 저장이 가능하여 녹화된 오디오 데이터를 재생할 때 시스템에 안정성을 제공한다.

Claims (10)

  1. 비동기식 오디오 PES(Packetized Elementary Stream) 스트림으로부터 AAC(Advanced Audio Coding) 스트림을 복원하는 방법에 있어서,
    상기 PES 스트림의 PES 패킷들 중에 손상된 PES 패킷을 검출하는 과정과,
    상기 손상된 PES 패킷내의 ADTS(Audio Data Transport Stream) 프레임 각각을 미리 정해진 대체 ADTS 프레임으로 대체하여 상기 AAC 스트림을 복원하는 과정을 구비함을 특징으로 하는 오디오 스트림 처리 방법.
  2. 제1항에 있어서, 상기 복원 과정이,
    상기 손상된 PES 패킷을 폐기하는 과정과,
    상기 손상된 PES 패킷의 앞에 인접된 온전한 PES 패킷에 포함되어 있는 타임 스탬프와, 상기 손상된 PES 패킷의 뒤에 인접된 온전한 PES 패킷에 포함되어 있는 타임 스탬프에 근거하여, 상기 손상된 PES 패킷에 의해 손실된 ADTS 프레임 개수를 산출하는 과정과,
    상기 산출된 개수만큼 상기 손실된 ADTS 프레임 각각을 상기 대체 ADTS 프레임으로 대체하는 과정을 포함함을 특징으로 하는 오디오 스트림 처리 방법.
  3. 제1항 또는 제2항에 있어서, 상기 대체 ADTS 프레임이, 묵음을 압축한 ADTS 프레임과, 백색 잡음을 압축한 ADTS 프레임 중에 어느 하나로 정해짐을 특징으로 하는 오디오 스트림 처리 방법.
  4. 제1항 또는 제2항에 있어서, 상기 대체 ADTS 프레임이, 묵음을 압축한 ADTS 프레임과, 백색 잡음을 압축한 ADTS 프레임과, 상기 손상된 PES 패킷의 앞에 인접된 온전한 PES 패킷으로부터 복원된 온전한 ADTS 프레임 중에 어느 하나로 정해짐을 특징으로 하는 오디오 스트림 처리 방법.
  5. 제4항에 있어서, 상기 대체 과정이,
    상기 산출된 개수가 미리 정해진 수보다 크면, 상기 손실된 ADTS 프레임 각각을 상기 묵음을 압축한 ADTS 프레임과 백색 잡음을 압축한 ADTS 프레임 중에 정해진 ADTS 프레임으로 대체하는 과정과,
    상기 산출된 개수가 상기 미리 정해진 수보다 크지 않으면, 상기 손실된 ADTS 프레임 각각을 상기 온전한 ADTS 프레임으로 대체하는 과정을 포함함을 특징으로 하는 오디오 스트림 처리 방법.
  6. 비동기식 오디오 PES(Packetized Elementary Stream) 스트림을 처리하는 장치에 있어서,
    상기 PES 스트림의 PES 패킷들 중에 손상된 PES 패킷내의 ADTS(Audio Data Transport Stream) 프레임 각각을 미리 정해진 대체 ADTS 프레임으로 대체하여 상기 AAC 스트림을 복원하는 AAC 스트림 복원부와,
    상기 AAC 스트림의 ADTS 프레임 각각에 시간 정보를 가지는 헤더를 부가하여 시스템 오디오 스트림을 생성하는 시스템 오디오 스트림 생성부와,
    상기 시스템 오디오 스트림을 버퍼링하는 링 버퍼를 구비함을 특징으로 하는 오디오 스트림 처리 장치.
  7. 제6항에 있어서, 상기 AAC 스트림 복원부가, 상기 손상된 PES 패킷의 앞에 인접된 온전한 PES 패킷에 포함되어 있는 타임 스탬프와, 상기 손상된 PES 패킷의 뒤에 인접된 온전한 PES 패킷에 포함되어 있는 타임 스탬프에 근거하여, 상기 손상된 PES 패킷에 의해 손실된 ADTS 프레임 개수를 산출하고, 상기 산출된 개수만큼 상기 손실된 ADTS 프레임 각각을 상기 대체 ADTS 프레임으로 대체함을 특징으로 하는 오디오 스트림 처리 장치.
  8. 제6항 또는 제7항에 있어서, 상기 대체 ADTS 프레임이, 묵음을 압축한 ADTS 프레임과, 백색 잡음을 압축한 ADTS 프레임 중에 어느 하나로 정해짐을 특징으로 하는 오디오 스트림 처리 장치.
  9. 제6항 또는 제7항에 있어서, 상기 대체 ADTS 프레임이, 묵음을 압축한 ADTS 프레임과, 백색 잡음을 압축한 ADTS 프레임과, 상기 손상된 PES 패킷의 앞에 인접된 온전한 PES 패킷으로부터 복원된 온전한 ADTS 프레임 중에 어느 하나로 정해짐을 특징으로 하는 오디오 스트림 처리 장치.
  10. 제9항에 있어서, 상기 AAC 스트림 복원부가,
    상기 산출된 개수가 미리 정해진 수보다 크면, 상기 손실된 ADTS 프레임 각각을 상기 묵음을 압축한 ADTS 프레임과 백색 잡음을 압축한 ADTS 프레임 중에 정해진 ADTS 프레임으로 대체하고,
    상기 산출된 개수가 상기 미리 정해진 수보다 크지 않으면, 상기 손실된 ADTS 프레임 각각을 상기 온전한 ADTS 프레임으로 대체함을 특징으로 하는 오디오 스트림 처리 장치.
KR1020040097141A 2004-11-24 2004-11-24 비동기식 오디오 스트림 처리 방법 및 장치 KR100640476B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020040097141A KR100640476B1 (ko) 2004-11-24 2004-11-24 비동기식 오디오 스트림 처리 방법 및 장치
US11/268,891 US8605599B2 (en) 2004-11-24 2005-11-08 Method and apparatus for processing asynchronous audio stream
JP2005337691A JP4413852B2 (ja) 2004-11-24 2005-11-22 非同期式オーディオストリームを処理するための方法及び装置
EP05025578A EP1662484B1 (en) 2004-11-24 2005-11-23 Method and apparatus for processing asynchronous audio stream
CNB2005101233368A CN100477798C (zh) 2004-11-24 2005-11-23 用于处理异步音频流的方法和设备
DE602005012662T DE602005012662D1 (de) 2004-11-24 2005-11-23 Verfahren und Vorrichtung zur Verarbeitung asynchroner Audioströme

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040097141A KR100640476B1 (ko) 2004-11-24 2004-11-24 비동기식 오디오 스트림 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060057943A true KR20060057943A (ko) 2006-05-29
KR100640476B1 KR100640476B1 (ko) 2006-10-30

Family

ID=35998489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040097141A KR100640476B1 (ko) 2004-11-24 2004-11-24 비동기식 오디오 스트림 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US8605599B2 (ko)
EP (1) EP1662484B1 (ko)
JP (1) JP4413852B2 (ko)
KR (1) KR100640476B1 (ko)
CN (1) CN100477798C (ko)
DE (1) DE602005012662D1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026790A (ko) * 2012-08-23 2014-03-06 현대모비스 주식회사 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076847A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 復号器及び信号処理システム
US8538764B2 (en) * 2008-10-06 2013-09-17 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for delivery of aligned multi-channel audio
US20100118722A1 (en) * 2008-11-12 2010-05-13 Chalet Technology System And Method For Providing Data Streaming And Timing Information With Missing Package Recovery
US9031850B2 (en) * 2009-08-20 2015-05-12 Gvbb Holdings S.A.R.L. Audio stream combining apparatus, method and program
EP4322536A1 (en) 2021-08-05 2024-02-14 Samsung Electronics Co., Ltd. Electronic device and method for multimedia playback in electronic device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3079894B2 (ja) 1994-06-14 2000-08-21 松下電器産業株式会社 音声復号化装置
SE9500858L (sv) * 1995-03-10 1996-09-11 Ericsson Telefon Ab L M Anordning och förfarande vid talöverföring och ett telekommunikationssystem omfattande dylik anordning
US5579317A (en) 1995-08-15 1996-11-26 Lsi Logic Corporation Packet error propagation for MPEG transport demultiplexers
ATE196960T1 (de) * 1997-04-23 2000-10-15 Fraunhofer Ges Forschung Verfahren zum verschleiern von fehlern in einem audiodatenstrom
US6931198B1 (en) * 1998-07-15 2005-08-16 Sony Corporation Apparatus and method for downloading desired data signal to user-selectable storage unit
US6357028B1 (en) * 1999-03-19 2002-03-12 Picturetel Corporation Error correction and concealment during data transmission
EP1056297A3 (en) 1999-05-24 2002-10-02 Agilent Technologies, Inc. (a Delaware corporation) Multimedia decoder with error detection
JP2001111610A (ja) 1999-10-01 2001-04-20 Toshiba Corp 情報データ伝送システムの受信装置
US6915263B1 (en) 1999-10-20 2005-07-05 Sony Corporation Digital audio decoder having error concealment using a dynamic recovery delay and frame repeating and also having fast audio muting capabilities
GB2358558B (en) * 2000-01-18 2003-10-15 Mitel Corp Packet loss compensation method using injection of spectrally shaped noise
JP2001204032A (ja) 2000-01-20 2001-07-27 Nec Corp Ｍｐｅｇ復号装置
JP2002335230A (ja) 2001-05-11 2002-11-22 Victor Co Of Japan Ltd 音声符号化信号の復号方法、及び音声符号化信号復号装置
JP2003037794A (ja) 2001-07-26 2003-02-07 Matsushita Electric Ind Co Ltd デジタル放送受信再生装置
CN1323532C (zh) * 2001-11-15 2007-06-27 松下电器产业株式会社 错误隐蔽装置和方法
JP2003218932A (ja) * 2001-11-15 2003-07-31 Matsushita Electric Ind Co Ltd エラー隠蔽装置及び方法
US7321559B2 (en) 2002-06-28 2008-01-22 Lucent Technologies Inc System and method of noise reduction in receiving wireless transmission of packetized audio signals
JP2004109362A (ja) 2002-09-17 2004-04-08 Pioneer Electronic Corp フレーム構造のノイズ除去装置、フレーム構造のノイズ除去方法およびフレーム構造のノイズ除去プログラム
JP4003948B2 (ja) 2002-10-07 2007-11-07 株式会社日立製作所 デジタル放送コンテンツの送信側装置、受信側装置、放送システム及び放送方法
WO2004043068A1 (en) * 2002-11-04 2004-05-21 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140026790A (ko) * 2012-08-23 2014-03-06 현대모비스 주식회사 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법

Also Published As

Publication number Publication date
JP2006174433A (ja) 2006-06-29
CN1780403A (zh) 2006-05-31
US20060122823A1 (en) 2006-06-08
EP1662484B1 (en) 2009-02-11
EP1662484A2 (en) 2006-05-31
JP4413852B2 (ja) 2010-02-10
US8605599B2 (en) 2013-12-10
CN100477798C (zh) 2009-04-08
KR100640476B1 (ko) 2006-10-30
DE602005012662D1 (de) 2009-03-26
EP1662484A3 (en) 2007-11-14

Similar Documents

Publication Publication Date Title
US20070067472A1 (en) Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format
KR100969731B1 (ko) 데이터의 중요도에 따라 변형된 데이터 스트림을 생성하는장치 및 그 데이터 스트림을 해석하는 장치
EP2329654B1 (en) Devices of digital video reception and output having error detection and concealment circuitry and techniques
CA2739118C (en) Reconstruction of errored media streams in a communication system
JP2009537081A (ja) フレーム情報表を用いたフレームレベルのマルチメディア復号
JP4413852B2 (ja) 非同期式オーディオストリームを処理するための方法及び装置
US20060062312A1 (en) Video demultiplexer and decoder with efficient data recovery
US6889183B1 (en) Apparatus and method of regenerating a lost audio segment
US20090225791A1 (en) Ip stream communicating system, ip stream receiving apparatus and reception processing timing sync method for use in ip stream receiving apparatus
ITTO20060668A1 (it) Metodo per riprodurre una sequenza audio e/o video, dispositivo di riproduzione ed apparecchio riproduttore che lo utilizzano
JP2007295578A (ja) 音声データのフレームを含む音声ストリームを通す複数の通信モジュールを含む通信システムのための方法
JP2001025014A (ja) 圧縮されたマルチメディア通信を復号化するための、並びにマルチメディア通信の品質を評価するための方法及び装置
US20080049846A1 (en) IP stream tramsmitting/receiving system, IP stream receiving device and receiving process timing synchronization method used for the same
TWI471012B (zh) 用於存取單元串流之傳輸技術概念
KR20010024033A (ko) 코드화된 데이터를 디멀티플렉스하는 장치
JP2001508968A (ja) オーディオ圧縮
JPH10262015A (ja) 多重伝送方法およびシステム並びにそこで用いる音声ジッタ吸収方法
JP4242581B2 (ja) データ変換装置
KR100760260B1 (ko) 타이밍정보의 효율적 전송을 위한 전송스트림 생성 장치및 그 방법과, 그를 이용한 디엠비 전송 시스템
RU2407175C2 (ru) Способы обеспечения защиты в сетях связи с коммутацией пакетов и устройства для их осуществления
KR100710383B1 (ko) 디지털 멀티미디어 방송 수신기능을 갖는 단말기 및 이를 이용한 디지털 스트림 데이터 디코딩 방법
JP2005039674A (ja) データ送信装置、データ受信装置及びデータ送受信装置
JPH10174065A (ja) 画像音声多重化データ編集方法およびその装置
JP3716977B2 (ja) 動画像ファイル生成装置
KR0178731B1 (ko) 디지탈 오디오신호의 에러 보정방법 및 이를 이용한 서브밴드복호화장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee