KR20060110545A

KR20060110545A - 오디오 스트림 탐색 방법

Info

Publication number: KR20060110545A
Application number: KR1020050032876A
Authority: KR
Inventors: 김승현
Original assignee: 엘지전자 주식회사
Priority date: 2005-04-20
Filing date: 2005-04-20
Publication date: 2006-10-25
Also published as: KR100670449B1

Abstract

본 발명은 디지털 오디오 스트림에 있어서, 특히 다양한 포맷의 오디오 스트림을 탐색할 수 있도록 한 오디오 스트림 탐색 방법에 관한 것이다.

본 발명에 따른 오디오 스트림의 탐색 방법은, 오디오 스트림을 수신하는 단계; 수신된 오디오 스트림에서 ADIF 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계; 상기 ADIF 스트림 탐색결과, ADIF 스트림이 아니면 ADTS 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계; 상기 ADTS 스트림 탐색결과, ADTS 스트림이 아니면 입력 버퍼 파라미터를 리셋한 후 LATM으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 한다.

AAC, ADIF, ADTS, LATM

Description

오디오 스트림 탐색 방법{Searching method of audio stream}

도 1은 디지털 오디오 서비스 시스템 구성도.

도 2는 ADIF 시퀀스 구문을 나타낸 표.

도 3은 ADIF 헤더 구문을 나타낸 표.

도 4는 로 데이터 스트림(raw data stream)의 구문을 나타낸 표.

도 5는 ADTS 시퀀스 구문을 나타낸 표.

도 6은 ADTS 프레임 구문을 나타낸 표.

도 7은 ADTS 불변 헤더 구문을 나타낸 표.

도 8은 본 발명 실시 예에 따른 오디오 스트림 탐색 방법을 나타낸 플로우 챠트.

CD(Compact Disk)를 시초로 하여 발전된 디지털 오디오(Digital Audio)는 대 용량의 데이터를 효과적으로 전송 또는 저장하기 위해 오디오를 압축하여 저장 용량을 줄이는 기술이 개발되기 시작하였다. 1992년부터 MPEG(Moving Picture Experts Group) 주도 하에 오디오 부호화 방법이 국제 표준화되기 시작하였으며, 이외에도 Dolby, Sony, AT&T 등에서도 자체적인 오디오 부호화 방법을 개발하였다.

현재 널리 사용되고 있는 MP3는 MPEG-1,2 오디오 계층(Audio layer) 3을 지칭한다. 일반적으로 MP3는 CD와 유사한 음질을 유지하면서 더 적은 데이터만을 가지도록 부호화하는 방법들이 개발되어 지고 있다. 이러한 방법들은 전송대역을 효율적으로 사용하여야 하는 무선 환경에서 우선적으로 채택되어 사용되고 있으며, 그 활용범위는 점점 넓어져 가고 있는 추세이다.

스트림 서비스는 CDMA1x 및 EVDO 등의 무선 환경의 VOD(Video On Demand), AOD(Audio On Demand) 등에서 많이 사용되는 MPEG-2/4 AAC(Advanced Audio Coding)의 경우가 그 대표적인 예로서, 최근 발매되는 MP3 플레이어에 다중 오디오 복호화기로 AAC 또한 지원하는 제품들이 등장하고 있다.

이런 스트리밍 형태의 오디오 데이터가 사용하는 환경인 방송이나 유/무선 인터넷 등에서는 전파의 수신 상태나 인터넷 망의 상태에 따라서 수신되는 데이터의 질이 달라진다.

도 1은 일반적인 스트리밍 형태의 서비스 제공 환경을 나타낸 도면이다.

도 1을 참조하면, 스트리밍 서비스는 AOD와 같이 양방향 서비스나 방송과 같은 단방향 서비스 모두에서 가능하다.

유/무선 인터넷 환경하에서 AOD와 같은 서비스를 제공하는 경우, 서버(110) 에서는 스트리밍용 컨텐츠를 적절한 포맷으로 인코딩후, 압축된 비트 스트림을 RTP(Real Time Packet)에 따라 패킷화 한 뒤 UDP(User Datagram Protocol), IP(Internet Protocol)를 이용하여 사용자 단말기(100)에 전송한다.

그러면 사용자 단말기(100)에서는 이의 역순으로 IP, UDP, RTP 헤더를 분리하고 패킷을 풀어 스트리밍 데이터의 복호화를 수행한다. 또한 PMSB(Personal Multimedia Satellite Broadcasting)와 같은 위성 방송의 경우를 예로 들면 AOD서비스에서의 RTP패킷처럼 오디오 데이터를 TS(Transport Stream)라는 형태의 패킷 데이터로 가공해서 뿌려준다. 여기서, 상기 서버(110)는 스트리밍 데이터 서버로서, AOD/VOD 서버, 컴퓨터, 파일서버 등을 포함한다.

이러한 AOD나 VOD 서비스의 경우 상당히 제한된 대역폭 내에서 가능한 양질의 오디오/비디오 데이터를 제공해야 하기 때문에, 자연적으로 데이터 압축 기법을 적용하지 않을 수 없고, 이에 따라 다양한 압축 기법들이 AOD/VOD 서비스의 표준으로 사용되거나 거론되고 있다. 대역폭 사용을 최소화해서 경비를 줄인다는 면에서 보면 가장 낮은 비트율(Bit-rate)을 갖는 코덱(CODEC)이 선택되어야 하지만, 품질의 측면도 중요하기 때문에 서비스의 종류에 따라서 적절한 레벨의 것을 잘 선택해서 사용하는 것이 중요하다.

이러한 AOD/VOD 등의 방송 서비스에서 널리 사용되는 오디오 코덱으로 AAC가 있다. AAC는 MPEG-2부터 등장한 오디오 압축 국제 표준으로, 현재는 AAC Plus v2까지 나와 있는 상태이다. AAC 계열의 오디오 코덱은 압축 효율과 음질이 모두 우수한 편이기 때문에 AOD/VOD, DMB(Digital Multimedia Broadcasting) , PMSB(Personal Multimedia Satellite Broadcasting) 같은 서비스에 이용된다.

그런데, 이러한 AAC 데이터를 전송하는 방식에 있어서 몇 가지 포맷이 존재하고 있다. 일반적으로 아무런 헤더(header) 정보를 갖고 있지 않은 LATM(Low-overhead MPEG-4 Audio Transport Multiplex)과 맨 처음에만 헤더가 붙는 ADIF(Audio Data Interchange Format), 그리고 매 프레임마다 헤더가 붙는 ADTS(Audio Data Transport Stream) 포맷 등이 있다. 문제는 AOD/VOD 같은 서비스에서 오디오 데이터를 보낼 때 한가지 포맷으로만 전송되지 않고, 상기와 같은 다양한 포맷으로 전송이 되는 경우 오디오 디코더 단에서 정확히 어떤 포맷인가를 구분해 내는 것은 까다로운 일이 될 수 있다. 스트리밍의 경우 데이터 전송 중에 패킷이 손실이 될 수도 있고, 서버 자체에서 에러가 포함되거나 탐색 성공 조건과 거의 유사한 데이터를 갖는 비정상적인 데이터를 전송해 주는 경우도 있기 때문이다.

본 발명의 제 1목적은 오디오 스트림 정보를 이용하여 다양한 포맷 중에서 정확한 포맷을 찾아, 안정적인 디코딩을 수행할 수 있도록 함에 있다.

본 발명의 제 2목적은 AAC 코덱 시리즈 전반에 걸쳐 디코딩을 위한 포맷을 정확하게 탐색 할 수 있도록 함에 있다.

본 발명의 제 3목적은 LATM, ADIF, ADTS 스트림 포맷 각각에 대한 구분을 정확히 할 수 있도록 함에 있다.

상기한 목적 달성을 위한 본 발명에 따른 오디오 스트림의 탐색 방법은,

오디오 스트림을 수신하는 단계;

수신된 오디오 스트림에서 ADIF 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계;

상기 ADIF 스트림 탐색결과, ADIF 스트림이 아니면 ADTS 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계;

상기 ADTS 스트림 탐색결과, ADTS 스트림이 아니면 입력 버퍼 파라미터를 리셋한 후 LATM으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 한다.

바람직하게, 상기 ADIF 및 ADTS 스트림의 탐색은 스트림 ADIF 헤더 및 ADTS 헤더 유무로 탐색을 수행하는 것을 특징으로 한다.

바람직하게, 상기 ADIF 스트림에서의 디코딩 에러가 발생되면, 첫 프레임인지를 확인한 후, 그 확인결과 스트림의 첫 프레임이고 ADTS 헤더가 존재하면 입력버퍼 파라미터들을 리셋한 후, LATM으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 한다.

바람직하게, 상기 ADTS 스트림이 탐색되면, ADTS 플레그 변수를 ADTS 헤더를 찾았다고 세팅하고 디코딩을 시작하는 단계, 상기 디코딩시 에러가 발생되고 그 프레임이 첫 프레임이라면 입력버퍼 파라미터들을 리셋한 후 다시 LATM 스트림으로 디코딩을 시도하는 단계를 포함하는 것을 특징으로 한다.

바람직하게, 상기 LATM 스트림의 디코딩은 ADIF 스트림 및 ADTS 스트림이 아니고 수신 프레임이 첫 프레임이면 입력버퍼 파라미터들을 리셋한 후 LATM으로 디 코딩을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기와 같이 구성되는 본 발명 실시 예에 따른 오디오 스트림 탐색 방법에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.

본 발명은 유/무선 또는 인터넷을 이용한 AOD/VOD 서비스 수행시, 서버로부터 전송되는 여러 가지 AAC 스트림 포맷(LATM, ADIF, ADTS 등)을 오디오 스트림 정보만을 이용하여 코덱 내부에서 정확한 포맷을 찾아내고, 해당 포맷에 맞게 디코딩을 수행할 수 있게 하고자 한다.

이를 위해 서버로부터 전송되는 3가지 오디오 스트림 포맷(LATM, ADIF, ADTS)에 대한 구분을 하기 위해서 헤더 유무를 확인하게 된다. 여기서, 상기 오디오 스트림 포맷 중에서 두 포맷 ADIF 및 ADTS은 헤더 정보를 제공하고 있다. 두 가지의 포맷 중에서 ADTS는 매 프레임마다 헤더를 제공하고 있으며, ADIF는 각 스트림의 초기에 한 번만 헤더가 제공된다.

상기 ADIF 및 ADTS의 시퀀스(Sequence)와 헤더(header) 정보에 대해 설명하면 다음과 같다.

도 2는 ADIF 시퀀스의 구문(syntax)이다. 도 2에 나타난 바와 같이, ADIF 시퀀스는 ADIF 헤더(adif_header), 바이트 정렬(byte_aignment), 로 데이터 스트림(raw_data_stream)으로 구성된다.

도 3은 ADIF 헤더의 구문을 나타낸다. 도 3에 나타난 바와 같이, ADIF 헤더는 ADIF 아이디(ID), 저작권 관련 정보(copyright_id_present, copyright_id), 원본/복사본 여부에 관한 정보(original/copy), 홈 관련 정보(home), 비트 스트림 타입 정보(bit stream type), 비트 율 정보(bitrate), 구성정보(num_program_config_element), 버퍼 정보(adif_buffer_fullness), 프로그램 구성 정보(program_config_element) 등을 포함하고 있다. 상기 표 2에서 각 필드내에 병기된 수치는 해당 정보에 할당된 비트 수를 표현하고 있다.

도 4는 로우 데이터 스트림의 구문을 나타낸다. 도 4에 도시된 바와 같이, 로 데이터 스트림은 오디오 데이터가 존재하는 로 데이터 블록(raw_data_block)들로 이루어지며, 하나의 블록을 프레임이라고 한다.

도 5는 ADTS 시퀀스 구분을 나타내고 있다. 도 5에 도시된 바와 같이 ADTS 시퀀스 구문은 ADTS 프레임이 존재하며, 상기 ADTS 프레임은 도 6에 도시된 바와 같다.

도 6은 ADTS 프레임 구문을 나타낸다. 도 6에 도시된 바와 같이, ADTS 프레임에는 각 프레임마다 그 값이 변하지 않는 불변헤더(ADTS_fixed_header)와 각 프레임 고유의 수치를 저장하고 있는 가변헤더(ADTS_varialbe_header)로 나뉘어 진다. ADTS 프레임 종단에는 에러 체크 필드(ADTS_error_check)가 있고 에러 체크를 위한 정보(crc_chek)가 포함되고 있다.

도 7은 ADTS 불변 헤더의 구문이다. 도 7에 도시된 바와 같이, 불변헤더에는 싱크워드 정보(sync word), 아이디 정보(ID), 레이어 정보(layer), 프로텍션 정보(protection_absent), 프로파일 정보(profile), 샘플링 주파수 정보(sampling_freq._index), 프라이비트 정보(private_bit), 채널 구성정보(channel_config.), 원본/복사본 여부에 대한 정보(original/copy), 홈 정보(home) 등을 포함하고 있다.

한편, LATM의 경우는 도 4에 도시된 것 처럼, 특별한 헤더 정보가 없이 바로 로 데이터 스트림이 오게 된다.

이러한 3가지의 포맷을 구분하여 디코딩하는 방법은 도 8에 도시된 바와 같다.

도 8에 도시된 바와 같이, AAC 스트림이 수신되면(S11), 먼저 ADIF 스트림 헤더부터 탐색을 수행하게 된다(S12). 상기 탐색 결과 ADIF 헤더가 존재하면 로 데이터 스트림을 디코딩을 시작하게 된다(S13). 즉, ADIF 스트림 포맷의 경우는 초기에 4바이트가 ADIF임을 지시하는 아이디(ID)이다(도 3). 이에 따라 가장 먼저 ADIF 스트림인지를 탐색하고, ADIF 스트림이 맞다면 디코딩을 시작하게 된다.

상기 디코딩 결과에 따라 계속 디코딩을 수행할지, 아니면 다른 포맷에 대한 탐색을 할 것인가를 결정하게 되는데, 이때 디코딩 에러 유무를 확인하고(S14), 상기 디코딩 에러가 발생되지 않으면 ATDS 헤더 존재 여부를 확인하고(S15), ADTS 헤더가 존재하지 않으면 계속 디코딩을 수행하기 위해 AAC 스트림을 수신하는 단계(S11)로 리턴(Return)된다. 여기서, 상기 S15 단계에서는 디코딩 초기에 ADTS 헤더 존재 여부를 확인한 후 ATDS 헤더가 존재하면 ADTS 헤더 탐색으로 이동(A)하게 된 다.

그리고, 상기 S14 단계에서 디코딩 에러가 발생되면 첫 번째 프레임인지를 확인하고(S16), 첫 번째 프레임이 아니면 AAC 스트림을 수신하는 단계로 리턴되며, 첫 번째 프레임이라면 ADTS 헤더 존재 여부를 확인하게 된다(S17). 즉, ADTS 스트림은 매 프레임마다 헤더가 존재하므로 각 프레임에서의 ADTS 존재 여부를 확인하게 된다.

상기 S17단계에서의 확인결과, ADTS 헤더가 존재할 경우 즉, ADIF 프레임에 대한 디코딩 에러가 발생되고 첫 프레임일 경우 ADTS 헤더 유무를 알려주는 변수를 참조하여 변수가 0이 아니라면(즉, ADTS 헤더를 찾았다고 지시하는 경우), 헤더 탐색이 잘못된 경우로 판단하여 입력 버퍼를 관리하는 변수들을 리셋(Reset)하고(S18), 상기 수신 프레임을 LATM 스트림으로 인식하여 LATM 방식으로 디코딩을 시도한다. 그리고, 상기 S17 단계에서 ADTS 헤더가 존재하지 않으면 AAC 스트림을 수신하는 단계로 리턴된다.

한편, 상기 S12단계에서 ADIF 헤더가 탐색되지 않거나, 스트림 초기에 ADTS 헤더를 찾는 경우(A)에는 ADTS 헤더를 탐색하게 된다(S19). 이때, ADTS 헤더가 탐색되면 ADTS 헤더를 찾았다는 플레그 변수를 1로 세팅해주고, 디코딩을 시작한다(S13). 이때, 상기 플레그 변수의 세팅을 통해 수신되는 AAC 프레임에 대해 반복적으로 디코딩을 수행하게 된다. 이후, 디코딩 에러가 발생되면 첫 프레임인지를 확인하고, 첫 프레임이 아니면 새로운 데이터를 받게 되며, 첫 프레임이면 ADTS 헤더의 플레그 변수가 1로 세팅되었을 경우 잘못된 것으로 인식하여 입력버퍼 파라미터 들을 리셋한 후 LATM으로 디코딩을 수행하게 된다.

만약, 상기 ADTS 헤더가 아니면 스트림의 첫 프레임인지를 확인하고(S20), 그 확인결과 첫 프레임이라면 입력버퍼 파라미터들을 리셋한 후(S18) 다시 LATM 방식으로 디코딩을 시도하게 된다(S13). 첫 프레임이 아니라면 S11 단계로 이동하여 다시 새로운 데이터를 받아 탐색을 시작한다.

이러한 본 발명은 스트림 데이터 탐색을 위해 ADTS 헤더를 찾고 디코딩을 하다가 에러가 나는 경우에 첫 프레임이 아니라면 바로 새로운 데이터를 요구하고 다시 포맷을 탐색하는 구조로 진행하고 있다. 이럴 경우 기존에 입력 버퍼에 남아 있던 데이터는 유실되는 것을 해결 할 수 있도록, 에러를 처리하는 루틴 즉, 에러 보정과 입력 버퍼에 남아있는 데이터에 대한 재 탐색 과정을 함께 수행할 경우 더욱 안정적이고 나은 음질의 디코딩을 할 수 있다. 이는 국내 특허 출원번호 P04-0004349호에 참조하기로 한다.

이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명에 따른 오디오 스트림의 탐색 방법은, 스트리밍 또는 스토리지 매체에 저장되어 있는 AAC 오디오 데이터를 직접 플레이하는 경우, 다양한 포맷의 지원 때문에 발생하는 디코더의 불안정을 해결함으로써, 보다 안정적으로 디코딩을 수행할 수 있는 효과가 있다.

Claims

오디오 스트림을 수신하는 단계;

수신된 오디오 스트림에서 ADIF(Audio Data Interchange Format) 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계;

상기 ADIF 스트림 탐색결과, ADIF 스트림이 아니면 ADTS(Audio Data Transport Stream) 스트림을 탐색하고, ADIF 스트림이면 디코딩하는 단계;

상기 ADTS 스트림 탐색결과, ADTS 스트림이 아니면 입력 버퍼 파라미터를 리셋한 후 LATM(Low-overhead MPEG-4 Audio Transport Multiplex)으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 스트림 탐색 방법.
제 1항에 있어서,

상기 ADIF 및 ADTS 스트림의 탐색은 스트림 ADIF 헤더 및 ADTS 헤더의 유무로 탐색을 수행하는 것을 특징으로 하는 오디오 스트림 탐색 방법.
제 1항에 있어서,

상기 ADIF 스트림에서의 디코딩 에러가 발생되면, 첫 프레임인지를 확인한 후, 그 확인결과 스트림의 첫 프레임이고 ADTS 헤더가 존재하면 입력버퍼 파라미터들을 리셋한 후, LATM으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 스트림 탐색 방법.
제 1항에 있어서,

상기 ADTS 스트림이 탐색되면, ADTS 플레그 변수를 ADTS 헤더를 찾았다고 세팅하고 디코딩을 시작하는 단계, 상기 디코딩시 에러가 발생되고 그 프레임이 첫 프레임이라면 입력버퍼 파라미터들을 리셋한 후 다시 LATM 스트림으로 디코딩을 시도하는 단계를 포함하는 것을 특징으로 하는 오디오 스트림 탐색 방법.
제 1항에 있어서,

상기 LATM 스트림의 디코딩은 ADIF 스트림 및 ADTS 스트림이 아니고 수신 프레임이 첫 프레임이면 입력버퍼 파라미터들을 리셋한 후 LATM으로 디코딩을 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 스트림 탐색 방법.