KR101194902B1 - 데이터 재생장치 - Google Patents

데이터 재생장치 Download PDF

Info

Publication number
KR101194902B1
KR101194902B1 KR20067019247A KR20067019247A KR101194902B1 KR 101194902 B1 KR101194902 B1 KR 101194902B1 KR 20067019247 A KR20067019247 A KR 20067019247A KR 20067019247 A KR20067019247 A KR 20067019247A KR 101194902 B1 KR101194902 B1 KR 101194902B1
Authority
KR
South Korea
Prior art keywords
sampling frequency
frame data
data
output
frequency
Prior art date
Application number
KR20067019247A
Other languages
English (en)
Other versions
KR20070111954A (ko
Inventor
다다마사 도마
요시노리 마츠이
신야 가도노
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20070111954A publication Critical patent/KR20070111954A/ko
Application granted granted Critical
Publication of KR101194902B1 publication Critical patent/KR101194902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

스트림 내에서 대역확장 기능의 유효/무효가 전환되는 경우라도, 대역확장 기능의 유효/무효의 전환 위치에서 끊김이 없는 재생을 실현할 수 있는 데이터 재생장치를 제공한다. 데이터 재생장치(2000)는, 헤더 정보(Hdr)를 해석하여 기본 데이터의 주파수인 입력 주파수(FSin)를 취득하는 입력 주파수 취득부(2001)와, 입력 주파수(FSin)에 의거하여 소정의 처리를 행하고, 복호 프레임(Fdata)의 샘플링 주파수인 출력 주파수(FSout)를 결정하는 출력 주파수 결정부(2002)와, 복호 처리를 행하는 프레임에서 SBR 기능이 유효하면, 샘플 데이터를 입력 주파수(FSin)로 복호하고, 복호 결과에 대해 SBR 처리에 의해 샘플링 주파수를 출력 주파수(FSout)로까지 대역확장하고, SBR 기능이 유효하지 않으면, 입력 주파수(FSin)에서의 복호 결과를 출력 주파수(FSout)로 업 샘플링하는 복호부(2003)를 구비한다.

Description

데이터 재생장치{DATA REPRODUCTION DEVICE}
본 발명은, 동화상, 음성 등의 부호화 스트림의 다중화 데이터를 분리, 복호하여 재생하는 데이터 재생장치에 관한 것이다.
근년, 축적 미디어나 통신 네트워크의 대용량화, 혹은 전송기술의 진보에 따라, 동화나 음성 등의 부호화 멀티미디어 데이터를 취급하는 기기나, 서비스가 보급되어 왔다. 예를 들면, 방송분야에서는, 종래의 아날로그 방송 대신 디지털 부호화된 미디어 데이터의 방송이 개시되었다. 현재의 디지털 방송은, 고정 수신만을 대상으로 하고 있지만, 휴대전화 등의 이동체용 방송도 예정되어 있다. 또한, 통신분야에서도, 제3 세대의 휴대전화용 동화상 배송 서비스가 기동되는 등, 고정단말과 휴대단말의 쌍방에서 멀티 미디어 데이터를 취급하는 환경이 갖추어져 있다. 이들 배경을 감안하면, SD(Secure Digital) 카드 등의 메모리 카드, 혹은 DVD-RAM(Digital Versatile Disk-Rewritable) 등의 광디스크에, 방송이나 인터넷 경유로 수신한 콘텐츠 데이터를 기록하고, 기기간에서 콘텐츠 데이터를 공유한다는 사용방법의 보급이 예상된다.
여기서, 오디오 데이터의 부호화 방식의 대표 예로는, MPEG(Moving Picture Expert Group)로 규격화된 AAC(Advanced Audio Coding)규격이 있고, 디지털 방송, 혹은 제3 세대의 휴대단말에서의 동화 서비스 등으로 폭 넓게 사용되고 있다.
오디오 데이터의 부호화에서는, 일반적으로, 압축율이 높아질수록 재생대역의 상한 주파수 저하하여, 음질이 열화한다. 이는, 고주파수 성분의 부호화에 충분한 비트가 할당되지 않기 때문이다. 그래서, 이러한 고주파수 성분의 결락을 보충하기 위해, SBR(Spectral Band Replication)이라 불리는 유사적으로 대역을 확장하여 고주파수 성분을 생성하는 기술이 개발되고 있다. 구체적으로는, 저주파수 성분으로부터 고주파수 성분을 예측하기 위한 보조 정보를 스트림 내에 저장함으로써, 압축율을 올려 저비트 레이트화한 부호화 데이터에서도, 대역확장 처리를 실시함으로써 고음질로 재생할 수 있다. 여기서, 1프레임의 데이터에 포함되는 AAC의 부호화 데이터를 기본 데이터라 부르기로 하면, 프레임 데이터는 기본 데이터와 SBR 데이터로 구성된다. 일반적으로, SBR에 의해 기본 데이터의 2배의 대역까지 재현할 수 있으므로, 예를 들면, 16kHz의 기본 데이터로부터는 32kHz의 출력 데이터가 얻어진다. 또, 종래의 AAC에 더하여, SBR를 추가한 부호화 방식은, AAC-plus라 불린다. 여기서, AAC-plus의 프레임에 SBR 데이터가 포함되지 않을 때에는, AAC 데이터로서 복호한다. AAC-plus는 AAC와 호환성이 있기 때문에, AAC-plus의 복호부에서는 AAC의 부호화 데이터를 복호할 수 있다. 또한, AAC의 복호부에서도, AAC-plus의 SBR 데이터를 띄엄띄엄 읽음(skip reading)으로써, 기본 데이터만을 복호할 수 있다. 이하에서는, AAC-plus라 기술한 때에는 MPEG-2와 MPEG-4의 양방을 포함하여 취급하는 것으로 하고, 양자를 구별할 때는 MPEG-2 AAC, MPEG-4 AAC와 같이 기술한다.
상기 한 바와 같이, AAC-plus는, 저비트 레이트에서 특히 유효하기 때문에, 모바일용 서비스로의 전개가 예상되고 있고, 제3 세대 휴대단말, 혹은, 모바일용 지상 디지털 방송 등에 사용된다. 또, 모바일용 지상 디지털 방송에서는, MPEG-2 AAC가 사용된다. 도 1은, 모바일용 지상 디지털 방송의 개요를 나타내는 도면이다. 방송국으로부터는, MPEG-2의 TS(Transport Stream)에 다중화된 오디오 데이터 및 비디오 데이터가 송신된다. TS는, TS 패킷이라 불리는 188바이트 고정길이의 패킷의 패킷열이고, 휴대전화나 차재 단말 등에서는 이 TS 패킷을 수신한다. 여기서, TS에서는 오디오 데이터, 비디오 데이터 외에 프로그램 정보를 저장하는 섹션이라 불리는 데이터 단위가 송신되고, 수신 측에서는 섹션 내의 프로그램 정보를 해석하고 나서, 오디오 데이터, 비디오 데이터를 저장한 TS 패킷의 수신을 개시한다. 프로그램 정보를 나타내는 섹션은, PMT(Program Map Table)라 불린다.
AAC 혹은 AAC-plus의 부호화 데이터를 TS 패킷에 의해 전송할 때는, 부호화 데이터의 프레임은, MPEG-2의 ADTS(Audio Data Transport Stream) 프레임으로 변환하고 나서 전송된다. 도 2는, ADTS 프레임의 데이터 구조를 나타낸다. ADTS 프레임의 헤더부에는 페이로드에 저장되는 오디오 데이터의 샘플링 주파수, 채널수 등의 정보가 저장되고, ADTS 프레임의 페이로드부에는 AAC 혹은 AAC-plus의 1프레임의 데이터가 저장된다. ACC-plus의 경우, ADTS 헤더의 샘플링 주파수는 기본 데이터의 샘플링 주파수를 나타내기 때문에, 대역확장후의 샘플링 주파수를 ADTS 헤더로부터 취득할 수는 없다.
다음으로, 휴대단말에서 수신한 모바일용 지상 디지털 방송의 기록에 대해 설명한다. 휴대 단말용 디지털 방송의 개시에 따라 방송의 기록이 예상되는데, 기록시의 다중화 포맷으로는, 제3 세대 휴대단말과의 상호 접속성을 확보하는 관점으로부터, MP4 파일 포맷(이후, MP4라고 한다)의 사용이 상정된다. 여기서, MP4란, ISO/IEC JTC1/SC29/WG 11로 표준화된 파일 포맷이고, 제3 세대의 이동체 통신 시스템의 규격화를 목적으로 하는 국제 표준화 단체인 3GPP(Third Generation Partnership Project)에서, 무선에 의한 동화상 배송 규격으로 정해진 TS26.234(Transparent end-to-end packet switched streaming service)에 있어서 채용되어 있다. 3GPP 규격에서는, AAC로서 MPEG-4 AAC가 사용되는데, MPEG-4 AAC는 MPEG-2 AAC에 대해 후방 호환성을 갖기 때문에, MPEG-4 AAC에 대응한 단말이면, MPEG-2 AAC의 부호화 데이터를 정확하게 복호, 재생할 수 있다. 또한, MPEG-4 AAC 고유의 기능을 사용하고 있지 않은 MPEG-4 AAC의 부호화 데이터이면, MPEG-2 AAC에만 대응한 단말이어도 정확하게 복호, 재생하는 것이 가능하다.
이하에, MP4에서의 AU 데이터의 다중화 방법에 대해 설명한다. 여기서, AU란 비디오의 1픽처, 혹은 오디오의 1프레임에 상당한다. MP4에서는, 샘플이라 불리는 단위로 미디어 데이터를 취급하고, 1샘플은 1AU에 상당하고, 각 샘플에는 복호시각 순으로 1씩 증가하는 샘플번호가 매겨진다. 또, 샘플 단위의 헤더 정보나 미디어 데이터는, Box라 불리는 오브젝트 단위로 관리된다. 도 3(a)는 Box의 구조를 나타내고, 이하의 필드로 구성된다.
size: size 필드도 포함시킨 Box 전체의 사이즈
type Box의 식별자이고, 통상은 알파벳 4문자로 나타난다. 필드 길이는 4바 이트이고, MP4 파일 내에서 Box를 검색할 때는, 연속하는 4바이트 분의 데이터가 type 필드의 식별자와 일치하는지를 판정함으로써 행한다.
version: Box의 버전 번호
flags: Box마다 설정되는 플래그 정보
데이터: 헤더 정보나 미디어 데이터가 저장된다.
또, version과 flags는 필수가 아니기 때문에, Box에 따라서는 이들 필드는 존재하지 않는다. 이후, Box의 참조에는 type 필드의 식별자를 사용하는 것으로 하고, 예를 들면 type이 'moow'인 Box는, moov라고 한다. MP4 파일에서의 Box 구조를 도 3(b)에 나타낸다. MP4 파일은, ftyp, moov, mdat 혹은 moof로 구성되고, ftyp가 파일의 선두에 배치된다. ftyp는 MP4 파일을 식별하기 위한 정보를 포함하고, mdat에는 미디어 데이터가 저장된다. mdat에 포함되는 각 미디어 데이터는 트랙이라고 불리고, 각 트랙은 트랙 ID에 의해 식별된다. 다음으로, moov에는 mdat의 각 트랙에 포함되는 샘플에 대한 헤더 정보가 저장된다. moov 내에서는, 도 4(a)에 도시하는 바와 같이, Box가 계층적으로 배치되고, 오디오, 비디오 등의 각 미디어 트랙에 헤더 정보는 각각 따로 따로의 trak에 저장된다. trak 내에서도 Box가 계층적으로 배치되고, 샘플의 사이즈나 복호 시각, 표시개시 시간, 혹은 랜덤 액세스 가능한 샘플의 정보 등이 stbl 내의 각 Box에 저장된다(도 4(b)). 랜덤 액세스 가능한 샘플은 싱크 샘플이라 불리고, 싱크 샘플의 샘플 번호의 일람은 stb1 내의 stss에 의해 나타난다. 상기에서는, 트랙 내의 전 샘플의 헤더 정보를 moov에 저장하고 있었지만, 트랙을 분할하여 프레그먼트화 하고, 프레그먼트 단위 로 헤더 정보를 저장할 수도 있다. 트랙을 분할한 단위에 대한 헤더 정보는 moof에 의해 나타나고, 도 5는 프레그먼트화 한 MP4 파일의 예이고, mdat#1에 저장되는 샘플의 헤더 정보는 moof#1에 저장된다.
도 6은, 방송 데이터를 기록한 종래의 MP4 파일의 구조예를 나타내는 도면이다. 종래의 MP4 파일에서는, 수신한 AAC를 MPEG-2 AAC로서 기록한다. 따라서, moov 내에는, MP4 파일에서 기록되는 오디오의 트랙이, MPEG-2 AAC인 것을 나타내는 식별정보가 저장된다. 또한, AAC의 부호화 데이터가 MPEG-4 AAC와는 다르기 때문에, MP4 파일 내에 저장되는 부호화 데이터의 종류가 3GPP 규격 준거는 되지 않는다. 또, MPEG-2 AAC을 저장하는 MP4 파일의 헤더에서는, SBR 기능이 유효한지를 나타내는 식별정보는 존재하지 않고, AAC-plus에서의 기본 데이터의 주파수만이 나타난다.
또한, SD 등의 운용규격마다 정해진 종래의 브랜드를 사용하기 때문에, ftyp에 저장된 브랜드로부터는, MP4 파일에 지상 디지털 방송의 데이터가 기록되어 있는지를 판별할 수 없다.
도 7은, 종래의 MP4 파일을 재생하는 종래의 데이터 재생장치(1000)의 구성을 나타내는 블럭도이다. 데이터 재생장치(1000)는, 헤더 분리부(1001), 입력 주파수 취득부(1002), 복호부(1003) 및 출력부(1004)를 구비하고, 입력된 MP4 파일로부터 오디오와 비디오의 부호화 데이터를 분리하여 복호하고 재생한다(예를 들면, 특허문헌 1 참조.). 이하에서는, AAC 재생시의 동작에 대해 설명하고, 비디오의 재생동작에 대해서는 설명을 생략한다. 또, 오디오의 부호화 방식은 AAC 혹은 AAC-plus에 한정되는 것이 아니라, AC3나 MP3 혹은 그들 부호화 방식에 대역확장 기능을 부가한 방식 등이어도 된다.
헤더 분리부(1001)는 MP4 파일의 헤더를 분리하여, 오디오의 샘플링 주파수를 나타내는 정보를 적어도 포함하는 헤더 정보(Hdr)를 입력 주파수 취득부(1002)에 출력하고, mdat로부터 분리한 샘플 데이터를 복호부(1003)에 출력한다. 여기서, AAC-plus에서는, 샘플링 주파수로서 기본 데이터의 주파수가 나타난다. 입력 주파수 취득부(1002)는, 헤더 정보(Hdr)를 해석하여 기본 데이터의 주파수인 입력 주파수(FSin)를 취득하고, 복호부(1003)에 출력한다. 복호부(1003)는, 입력 주파수(FSin)에 의거하여 샘플 데이터(SplDat)를 복호하고, 복호 결과인 복호 프레임(Fdata)과, 복호 프레임(Fdata)의 샘플링 주파수인 출력 주파수(FSo)를 출력부(1004)에 출력한다. 출력부(1004)는, 출력 주파수(FSo)에 따라 복호 프레임(Fdata)를 출력한다.
특허문헌 1: 일본국 특허 공개공보 2003-114845호
그러나, 종래의 데이터 재생장치(1000)에서는, 출력부(1004)는, 샘플 데이터(SplDat)를 복호한 후에 복호 프레임(Fdata)의 출력 주파수(FSo)를 취득하게 되기 때문에, 이하의 과제가 있다.
도 8은, 종래의 데이터 재생장치(1000)로 MP4 파일을 재생할 때의 과제를 나타내는 도면이다. 도 8의 상단은, MP4 파일에 저장된 AAC-plus 스트림의 구조의 일례를 나타내고 있다. 이 예의 경우, 기본 데이터의 샘플링 주파수는 24kHz이고, 0초에서 10초까지와 20초에서 30초까지의 구간에서는 SBR 기능이 유효하고, 10초에 서 20초까지의 구간에서는 SBR 기능이 무효이다. 이때, 복호부(1003)에서의 복호 결과인 복호 프레임(Fdata)의 샘플링 주파수는 도 8의 하단과 같이 되어, 0초에서 10초까지와 20초에서 30초까지의 구간에서는 대역확장 처리에 의해 48kHz로 업 샘플링되고, 10초에서 20초까지의 사이는 입력 주파수인 24kHz 그대로 출력된다.
이때, 재생시각이 10초와 20초의 위치에서, 각각 복호 프레임(Fdata)의 샘플링 주파수가 전환되기 때문에, 출력부(1004)에서는 출력 주파수(FSo)의 전환 처리가 필요하게 된다. 출력 주파수(FSo)의 전환에는 일정한 시간이 걸리기 때문에, 결과적으로, 전환부분(1100)에서 재생이 끊기는 과제가 있다.
그래서, 본 발명은 상기의 사정을 감안하여 이루어진 것으로, 스트림 내에서 대역확장 기능의 유효/무효가 전환되는 경우라도, 이 대역확장 기능의 유효/무효의 전환 위치에서 끊김이 없는 재생을 실현할 수 있는 데이터 재생장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 때문에, 본 발명에 관한 데이터 재생장치는, 오디오 데이터가 부호화된 프레임 데이터와 상기 프레임 데이터의 일부 재생대역을 확장하기 위한 대역확장 정보를 포함하는 부호화 스트림을 재생하는 데이터 재생장치로써, 상기 부호화 스트림으로부터 상기 프레임 데이터의 기본 샘플링 주파수를 취득하는 취득수단과, 상기 프레임 데이터를 재생할 때의 출력 샘플링 주파수를, 상기 기본 샘플링 주파수에 의거하여, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 결정수단과, 상기 기본 샘플링 주파수로 상기 프레임 데이터를 복호함과 동시에, 상기 일부의 프레임 데이터에 대해서는, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역을 확장하고, 상기 일부 이외의 프레임 데이터에 대해서는, 상기 출력 샘플링 주파수가 상기 기본 샘플링 주파수와 다른 경우에, 상기 기본 샘플링 주파수로부터 상기 출력 샘플링 주파수로 업 샘플링하는 복호수단을 구비하는 것을 특징으로 한다. 이에 의해, 복수의 프레임 데이터로 구성되는 스트림 내에서 대역확장 기능의 유효/무효가 전환되는 경우라도, 출력 샘플링 주파수를 일정하게 할 수 있어, 이 대역확장 기능의 유효/무효의 전환 위치에서 끊김이 없는 재생을 실현할 수 있다.
또한, 상기 결정수단은, 상기 기본 샘플링 주파수가 소정의 값 이하인 경우에, 상기 출력 샘플링 주파수를, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정해도 된다.
또한, 상기 결정수단은, 상기 기본 샘플링 주파수가 특정의 값인 경우에만 ,상기 출력 샘플링 주파수를, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정해도 된다.
또한, 상기 취득수단은, 상기 대역확장 정보를 갖는 상기 프레임 데이터와, 갖지 않는 상기 프레임 데이터가 혼재할 가능성이 있는 것을 나타내는 식별정보를 상기 부호화 스트림으로부터 취득하고, 상기 결정수단은, 상기 기본 샘플링 주파수 및 상기 식별정보에 의거하여, 상기 출력 샘플링 주파수를 결정해도 된다. 이에 의해, 예를 들면, 제1 프레임 데이터 중에서 대응하는 제2 프레임 데이터를 갖는 부분과, 갖지 않는 부분이 혼재할 가능성이 없는 경우, 출력 샘플링 주파수를 간단히 결정할 수 있다.
또, 본 발명은, 이러한 데이터 재생장치로서 실현할 수 있을 뿐 아니라, 이러한 데이터 재생장치가 구비하는 특징적인 수단을 단계로 하는 데이터 재생방법으로써 실현하거나, 그들의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그와 같은 프로그램은, CD-ROM 등의 기록매체나 인터넷 등의 전송매체를 통해 배송할 수 있는 것은 말할 필요도 없다.
(발명의 효과)
본 발명에 관한 데이터 재생장치에 의하면, 스트림 내에서 대역확장 기능의 유효/무효가 전환되는 경우라도, 출력 샘플링 주파수를 일정하게 할 수 있어, 이 대역확장 기능의 유효/무효의 전환 위치에서 끊김이 없는 재생을 실현할 수 있다.
도 1은 1 세그 방송의 서비스 개요를 나타내는 도면이다.
도 2는 종래의 ADTS 프레임의 데이터 구조를 나타내는 도면이다.
도 3(a)(b)는 MP4의 Box 구조를 나타내는 도면이다.
도 4(a)(b)는 MP4에서의 moov의 계층구조를 나타내는 도면이다.
도 5는 MP4에서의 moof의 사용방법을 나타내는 도면이다.
도 6은 방송 데이터 중의 AAC 스트림을 기록한 종래의 MP4 파일의 구조예를 나타내는 도면이다.
도 7은 종래의 데이터 재생장치의 구성을 나타내는 블럭도이다.
도 8은 종래의 데이터 재생장치의 과제를 나타내는 도면이다.
도 9는 본 발명의 실시형태 1에 관한 데이터 재생장치의 구성을 나타내는 블럭도이다.
도 10은 본 발명의 실시형태 1에 관한 데이터 재생장치의 동작 개요를 나타내는 플로차트이다.
도 11는 본 발명의 실시형태 1에 관한 데이터 재생장치에서 출력 프레임의 샘플링 주파수를 결정하는 동작을 나타내는 플로차트이다.
도 12는 본 발명의 실시형태 1에 관한 데이터 재생장치에서의 MP4 파일의 재생예를 나타내는 도면이다.
도 13은 본 발명의 실시형태 1에 관한 데이터 재생장치에서, 샘플링 주파수이외의 헤더 정보에 의거하여 출력 프레임의 샘플링 주파수를 결정하는 동작을 나타내는 플로차트이다.
도 14는 본 발명의 실시형태 1에 관한 데이터 재생장치에 입력되는 MP4 파일의 구조예를 나타내는 도면이다.
도 15는 본 발명의 실시형태 1에 관한 데이터 재생장치에서, 트랙에 포함되는 프레임의 샘플링 주파수 및 채널수의 최대값에 의거하여, 출력 프레임의 샘플링 주파수 및 채널수를 결정하는 동작을 나타내는 플로차트이다.
도 16은 본 발명의 실시형태 1에 관한 데이터 재생장치를 사용한 서비스 예를 나타내는 도면이다.
도 17(a)～(c)는 각 실시형태의 데이터 재생장치에서의 데이터 재생방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기억매체에 대한 설명도이다.
*부호의 설명*
1001 헤더 분리부 2001 입력 주파수 취득부
2002 출력 주파수 결정부 2003 복호부
2004 출력부
이하, 본 발명의 실시형태에 대해, 도면을 참조하면서 설명한다.
(실시형태 1)
도 9는, 본 발명의 실시형태 1에 관한 데이터 재생장치(2000)의 구성을 나타내는 블럭도이다. 데이터 재생장치(2000)는, 입력된 AAC-plus의 트랙을 포함하는 MP4 파일로부터 AAC-plus의 샘플 데이터를 분리, 복호하여 재생하는 장치로, 헤더 분리부(1001), 입력 주파수 취득부(2001), 출력 주파수 결정부(2002), 복호부(2003) 및 출력부(2004)를 구비하고 있다. 또, 오디오의 부호화 방식은 AAC 혹은 AAC-plus에 한정되는 것이 아니라, AC3나 MP3 혹은 그들 부호화 방식에 대역확장 기능을 부가한 방식 등이어도 되고, 오디오 트랙이 복수 있어도 된다. 이하에서는, 오디오 트랙의 재생처리에 대해서만 설명하고, 비디오 트랙의 재생처리에 대해서는 설명을 생략하는데, 비디오 트랙의 부호화 방식으로는, 모바일용 지상 디지털 방송에서 사용되는 MPEG-4 AVC, 혹은, MPEG-4 Visual, H. 263, VC-1(SMPTE로 규격화된 부호화 방식) 등 다른 부호화 방식이어도 된다. 또한, 다중화 방식에 대해서도, AAC 혹은 AA C-plus 등의 부호화 데이터를 저장할 수 있는 포맷이면 되고, 예 를 들면, ASF(Advanced Systems Format, 마이크로 소프트사가 개발한 포맷)나 Quick Time(애플사가 개발한 포맷), 혹은 TS인 채로 기록해도 된다. TS에 의해 기록할 때는, TS 재생시, 혹은 기록한 TS를 IEEE1394 등의 규격에 따라 외부기기에 전송할 때에 참조하는 헤더 정보 등을 아울러 기록해도 된다. 여기서, TS 재생시에 참조하는 정보란, 랜덤 액세스 가능한 프레임의 어드레스 위치, 재생시각 등을 포함한다.
종래의 데이터 재생장치(1000)와의 차이는, SBR의 유효/무효의 전환 위치에서도 복호 프레임(Fdata)의 샘플링 주파수가 일정해지도록 샘플 데이터(SplDat)를 복호하는 점이다. 이하, 종래의 데이터 재생장치와 처리가 다른 점에 대해 주로 설명한다.
입력 주파수 취득부(2001)는, 헤더 정보(Hdr)를 해석하여 기본 데이터의 주파수인 입력 주파수(기본 샘플링 주파수)(FSin)를 취득하고, 출력 주파수 결정부(2002)에 출력한다. 출력 주파수 결정부(2002)는, 입력 주파수(FSin)에 의거하여 소정의 처리를 행하고, 복호 프레임(Fdata)의 샘플링 주파수인 출력 주파수(출력 샘플링 주파수)(FSout)를 결정하고, 복호부(2003)와 출력부(2004)에 출력한다. 복호부(2003)는 샘플 데이터(SplDat)를 복호하고, 복호 프레임(Fdata)의 샘플링 주파수가 FSout가 되도록, SplDat의 복호 결과를 필요에 따라 업 샘플링한다. 또한, 복호부(2003)는, 복호 처리를 행하는 프레임에서 SBR 기능이 유효하면, SBR 데이터(대역확장 정보)를 취득하고, 입력 주파수(FSin)에서 복호한 기본 데이터의 복호 결과에 대해 SBR 처리에 의해 샘플링 주파수를 출력 주파수(FSout)로까지 대역확장 을 행한다. 출력부(2004)는, 출력 주파수(FSout)와 동일한 주파수로 복호 프레임(Fdata)를 출력한다. 여기서, 출력부(2004)는, 복호 프레임(Fdata)의 입력에 앞서, 출력 주파수(FSout)를 취득할 수 있다.
도 10은, 데이터 재생장치(2000)의 동작을 나타내는 플로차트이다. 우선, 단계(1001)에서, 헤더 분리부(1001)는, 입력된 MP4 파일의 데이터로부터 헤더부와 페이로드부를 분리하여, 단계(1002)로 진행한다. 여기서, 헤더부란 ftyp, moov 혹은 moof 등을 가리키고, 페이로드부란 mdat을 가리킨다. 단계(1002)에서는, 입력 주파수 취득부(2001)는, 헤더를 해석하여 입력 주파수(FSin)를 취득한다. 다음으로, 단계(1003)에서는, 출력 주파수 결정부(2002)는 입력 주파수 취득부(2001)에 의해 취득된 입력 주파수(FSin)에 의거하여 출력 주파수(FSout)를 결정한다. 이어, 단계(1004)에서는, 입력 주파수(FSin)와 출력 주파수(FSout)가 같은지 판정하고, 같으면 단계(1008)로 진행하고, 다른 경우에는 단계(1005)로 진행한다. 단계(1005)에서는, 복호부(2003)는, 복호 처리를 행하는 프레임에서 SBR 기능이 유효한지 판정하고, 유효하면 단계(1007)로 진행하고, 유효하지 않으면 단계(1006)로 진행한다. 단계(1006)에서는, 복호부(2003)는, 입력 주파수(FSin)로 샘플 데이터를 복호하고, 복호 결과를 출력 주파수(FSout)에 업 샘플링하여, 단계(1009)로 진행한다.
여기서, 단계(1003)에서 출력 주파수(FSout)를 결정하는 처리는, 재생 개시시에만 행해도 된다.
또, 단계(1002)와 단계(1004)의 처리에 대해서도, 필요에 따라 행해도 된다. 예를 들면, MP4에서는 샘플 엔트리 단위로 입력 주파수(FSin)를 변경할 수 있는데, 트랙 내에 포함되는 샘플 엔트리가 1개이면, 트랙에서 입력 주파수(FSin)는 일정하다. 따라서, 단계(1002)와 단계(1004)는 트랙의 재생 개시시에만 행하면 된다. 한편, ADTS 프레임에 저장된 AAC-plus의 스트림이 TS에 의해 전송되는 등, AAC-plus의 프레임마다 입력 주파수(FSin)가 부가되는 케이스에서는, 단계(1002)와 단계(1004)를 프레임 단위로 행해도 된다. 이때, ADTS 프레임의 헤더와 페이로드를 분리하는 처리가 단계(1001)에 상당한다. 또한, TS 패킷화된 AAC, 혹은, AAC-plus의 데이터를 재생할 때에도, 별도 취득한 정보에 의해 입력 주파수(FSin)의 전환 단위가 지정될 때는, 지정된 단위마다 단계(1002)와 단계(1004)를 행해도 된다.
또, 샘플에서 SBR 기능이 유효한지는, 입력 주파수 취득부(2001) 혹은 출력 주파수(2002)에서 헤더 정보(Hdr)를 해석하여 결정해도 되고, 복호부(2003)에서 샘플 데이터를 해석하여 결정해도 된다. 헤더 정보(Hdr)로부터 취득할 때는, AAC-plus의 부호화 데이터가 저장된 트랙 내의 샘플 엔트리의 정보를 사용할 수 있다. 또한, MP4 파일의 브랜드 등에 의해, AAC-plus의 부호화 데이터에서 SBR이 유효한지를 나타낼 때는, 그들의 정보를 사용해도 된다.
단계(1007)에서는, 복호부(2003)는, 입력 주파수(FSin)에서 복호한 기본 데이터의 복호 결과에 대해 SBR 처리에 의해 샘플링 주파수를 출력 주파수(FSout)로까지 대역확장하고, 단계(1009)로 진행한다. 단계(1008)에서는, 복호부(2003)는, 입력 주파수(FSin)로 샘플 데이터를 복호하여, 단계(1009)로 진행한다. 마지막으로, 단계(1009)에서, 출력부(2004)는, 단계(1006), 단계(1007) 및 단계(1008)의 각 단계에서 얻어진 복호부로부터의 출력 결과를 재생한다.
또, 규격 혹은 실제의 운용 등에서 기본 데이터의 주파수가 고정으로 할 때는, 단계(1004) 및 단계(1008)의 처리를 생략해도 된다.
다음으로, 도 11를 참조하여, 단계(1003)에서의 출력 주파수(FSout)의 결정동작을 설명한다. 우선, 단계(1101)에서는, 출력 주파수 결정부(2002)는, 입력 주파수(FSin)가 소정의 값 이하인지 판정하고, 소정의 값 이하이면 단계(1102)로 진행하고, 소정의 값을 넘는 경우에는 단계(1103)로 진행한다. 단계(1103)에서는, 출력 주파수 결정부(2002)는, 출력 주파수(FSout)는 입력 주파수(FSin)와 동일하다고 결정한다. 단계(1102)에서는, 출력 주파수 결정부(2002)는, 출력 주파수(FSout)를 입력 주파수(FSin)의 2배로 한다고 결정한다. 여기서, 입력 주파수의 2배라는 것은, SBR에 의한 대역확장 처리에서는, 대역이 2배로 확장되기 때문이다. 또, 본 실시형태의 데이터 재생장치(2000)에서는, 단계(1101)에서의 상기 소정의 값을 24kHz로 설정한다. 이는 이하의 이유에 의한다. ARIB(Association of Radio Industries and Businesses, 전파 산업계)에서 규격화되고, 일본에서 실시되는 모바일용 지상 디지털 방송(이하, 1 세그 방송이라고 한다.)에서는, AAC의 샘플링 주파수는 24kHz나 48kHz의 2가지이다. 따라서, 샘플링 주파수가 24kHz인 경우에 48kHz로 업 샘플링하여 출력하면, 출력 주파수를 항상 48kHz로 유지할 수 있기 때문이다. 1 세그 방송에서는, SBR 기능이 유효한 경우에는, 기본 데이터의 샘플링 주파수는 24kHz 고정이다.
또, 단계(1101)에서는, 입력 주파수가 소정의 값인지에 의거하여 처리를 전 환해도 된다. 또한, 단계(1103)에서는, 출력 주파수(FSout)를 입력 주파수(Fsin)의 2배와는 다른 값으로 설정해도 되고, 미리 정한 소정의 값으로 설정해도 된다. 또, 단계(1101)에서의 소정의 값은, 서비스에 의존하여 24kHz 이외의 값으로 해도 된다.
도 12는, 데이터 재생장치(2000)에 의해, 도 8과 동일한 MP4 파일을 재생할 때의 재생상태를 나타내는 도면이다. 도 12의 하단은, 도 12의 상단에 나타내는 MP4 파일을 재생할 때에 복호부(2003)로부터 출력되는 복호 프레임(Fdata)의 샘플링 주파수를 나타내고 있다. 0초나 30초까지의 전 구간에 걸쳐, 기본 데이터의 샘플링 주파수인 입력 주파수(FSin)는 24kHz이기 때문에, 단계(1103)에서, 출력 주파수(FSout)가 24kHz의 2배인 48kHz로 설정된다. 이 때문에, 출력 주파수(FSout)는 48kHz로 일정해지기 때문에, 도 8의 하단에 나타나는 종래의 데이터 재생장치(1000)의 재생동작과는 달리, 재생시각이 10초와 20초의 위치에서도 샘플링 주파수의 전환은 발생하지 않고, 끊김이 없는 재생을 실현할 수 있다.
이하에서는, 상기에서 설명한 데이터 재생장치(2000)의 동작의 응용예에 대해 설명한다.
MP4는, 각종 운용 규격에 의해 채용되고 있는데, 운용 규격에 따라서는 MP4 파일에 저장되는 AAC-plus의 트랙에서, SBR를 유효로 할 수 있는지를 고정으로 하고 있다. 즉, SBR을 유효로 할 수 있는 경우에는, SBR의 유효/무효를 트랙 내에서 전환해도 되지만, SBR이 무효일 때는, 트랙 내의 전 프레임에서 SBR 기능이 무효이다. 도 13은, 트랙 내의 전 프레임에서 SBR을 유효로 할 수 있는지에 의거하여 출 력 주파수(FSout)의 결정 처리를 전환하는 동작예를 나타내는 플로차트이다. 단계(1201)에서는, MP4 파일 내의 트랙에서 SBR의 유효/무효가 전환되는 가능성이 있는 것을 나타내는 식별자가 존재하는지 판정하고, 식별자가 존재할 때는 단계(1101)로 진행하고, 식별자가 존재하지 않으면 단계(1103)로 진행한다. 단계(1201)에서 사용하는 식별자로는, MP4 파일에 기록된 AAC 혹은 AAC-plus의 트랙이, 1 세그 방송을 기록한 것인 것을 나타내는 정보를 이용하는 것이 가능하다. 1 세그 방송을 기록한 데이터인 것이 나타나면 단계(1101)로 진행하게 된다. 또, 식별정보는, ftyp로 나타나는 브랜드이어도 되고, moov 혹은 moof 내에 존재하는 다른 Box에 저장해도 된다. 예를 들면, SD 규격이면 sdvp라 불리는 Box를 독자 정의하고 있기 때문에, 해당 Box에서 1 세그 방송을 기록한 데이터인 것을 나타내어도 된다. 또한, ftyp 내의 브랜드는, compatible-brand 혹은 major-brand의 어느 것이어도 된다. compatible-brand에는 MP4 파일이 호환성을 갖는 브랜드의 일람이 나타나고, major-brand는 MP4 파일과 가장 호환성이 높은 브랜드를 나타낸다. 혹은, MP4 파일이란 다른 정보에 의해 통지해도 된다.
또, 브랜드 등 MP4 파일의 속성 정보를 나타내는 식별자에 의거하여, 단계(1003)에서의 출력 주파수(FSout)의 결정 처리를 전환해도 된다.
도 14는, 1 세그 방송의 데이터를 기록한 MP4 파일이 예를 나타내는 도면이다. ftyp의 compatible-brand에는 '1seg' 브랜드가 포함되고, '1seg' 브랜드를 검출함으로써 MP4 파일에는 1 세그 방송의 데이터가 포함된다고 판정할 수 있다. 또, 도 14의 MP4 파일에서는, MP4 파일 내의 트랙의 부호화 방식을 3GPP 등의 제3 세 대용 운용규격 준거로 하기 위해, 1 세그 방송의 MPEG-2 AAC의 데이터를 MPEG-4 AAC의 데이터로서 기록하고 있다. 이에 의해, AAC의 부호화 방식으로서 MPEG-2 AAC에만 대응한 단말에서도, ftyp에 '1seg' 브랜드가 포함되어 있으면, 부호화 데이터 자체는 MPEG-2 AAC 준거라 판정하고, 재생할 수 있다. 또한, 부호화 방식이 제3 세대 휴대용 운용규격에 준거하고 있기 때문에, 1 세그 방송 규격에서의 오디오와 비디오의 부호화 조건을 만족하는 데이터를 복호할 수 있는 제3 세대 휴대단말에서도 MP4 파일을 재생할 수 있다. 여기서, 상기 부호화 조건이란, 오디오이면 샘플링 주파수, 채널수, 비트 레이트 등, 비디오이면 화상 사이즈나 비트 레이트 등이다. MPEG-4 AAC의 데이터로서 기록할 때에 필요해지는 항목을 이하에 나타낸다.
우선, moov 내의 오디오 트랙의 부호화 방식을 나타내는 정보에서, MPEG-4 AAC인 것을 나타낸다. 또, MP4 파일에 MPEG-4 AAC의 트랙을 저장할 때에는, 트랙에서 SBR 기능이 유효한 샘플이 존재할 가능성이 있는지를 나타낼 수 있기 때문에, 해당 필드에서, SBR 기능이 유효한 샘플이 존재할 가능성이 있는 것을 나타낸다. 구체적으로는, stsd 내의 샘플 엔트리에서, MPEG-4 AAC의 부호화 데이터 내에 SBR 데이터가 포함되는지를 나타내는 플래그인 sbrPresentFlag를 '1' 혹은 '-1'로 설정한다. sbrPresentFlag가 '1'이면, SBR 데이터가 포함될 가능성이 있는 것이 명시적으로 나타나고, '-1'이면, SBR 데이터가 포함되는지는 부호화 데이터의 외부에서는 명시적으로는 나타나지 않게 된다. 따라서, 단계(1201)에서는, compatible-brand에 '1seg' 브랜드가 존재하면 단계(1101)로 진행하는 것으로 해도 되고, '1seg' 브랜드가 존재하여, 또한 sbrPresentFlag가 '1' 혹은 '-1'인 경우에만 단계(1101)로 진행하는 것으로 해도 된다. 또한, sbrPresentFlag가 '1' 혹은 '-1' 이면 단계(1101)로 진행되어도 된다. 또, sbrPresentFlag가 '1'이면 SBR가 반드시 유효한 것으로 하여 운용할 수도 있다.
도 15는, 복호 데이터(Fdata)의 샘플링 주파수를 일정하게 하는 다른 동작예를 나타내는 플로차트이다. 상기의 동작에서는, AAC-plus에서의 기본 데이터의 샘플링 주파수 및 AAC에서의 샘플의 샘플링 주파수는 FSin으로 나타나는 기지의 값이었다. 도 15의 예에서는, 이들 입력 샘플 데이터의 샘플링 주파수가 기지가 아니라, 대신에 최대값이 나타나는 점에서 상기 동작과 다르고, 예를 들면 AAC의 부호화 데이터의 주파수가 24kHz와 48kHz 사이에서 전환되는 케이스 등에 대응할 수 있다.
이하에서는, 복호 데이터(Fdata)에서의 채널수에 대해서도 일정하게 하는 것으로 하지만, 샘플링 주파수, 혹은 채널수의 어느 한쪽에 대해서만 복호부(2003)의 출력을 일정하게 하는 처리를 행해도 된다.
입력의 MP4 파일에서는, 오디오 트랙 내의 샘플에서의 샘플링 주파수의 최대값(FSmax)과, 채널수의 최대값(CHmax)이 나타난다. 여기서는, 오디오 트랙의 샘플 엔트리에 저장되는 샘플링 주파수와 채널수, 각각 샘플링 주파수의 최대값(FSmax)과 채널수의 최대값(CHmax)을 나타내는 것으로 한다.
우선, 단계(1301)에서는, 오디오의 샘플 엔트리를 해석하여, 샘플링 주파수의 최대값(FSmax)과 채널수의 최대값(CHmax)을 취득하고, 복호부(2003)에 입력한 다. 단계(1302)에서는, 복호부(2003)는 샘플링 주파수의 최대값(FSmax)과 샘플의 샘플링 주파수(FSspl)가 다른지를 판정하고, 다른 경우에는 단계(1303)로 진행하고, 동일하면 단계(1306)로 진행한다. 여기서, 샘플에서 SBR 기능이 유효할 때에는, 샘플링 주파수(FSspl)는 대역확장 후의 샘플링 주파수를 나타내는 것으로 한다. 단계(1303)에서는, 복호부(2003)는, 채널수의 최대값(CHmax)과 샘플의 채널수(CHspl)가 다른지를 판정하고, 다른 경우에는 단계(1304)로 진행하고, 동일하면 단계(1305)로 진행한다. 단계(1304)에서는 우선, 샘플링 주파수를 FSspl, 채널수를 CHspl로 하여 샘플 데이터를 복호한다. 그리고, 복호 결과를 샘플링 주파수의 최대값(FSmax)으로 업 샘플링하고, 채널수를 채널수의 최대값(FSmax)으로 변환하여 출력한다. 여기서, 예를 들면 모노럴을 스테레오로 변환할 때에는, 2채널 모두 동일한 데이터로 구성되는 스테레오 데이터로 하는 등 하여, 채널수를 변환한다. 한편, 단계(1305)에서는 우선, 샘플링 주파수를 FSspl, 채널수를 CHspl로 하여 샘플 데이터를 복호한다. 그리고, 복호 결과를 샘플링 주파수의 최대값(FSmax)으로 업 샘플링하고, 채널수는 채널수(CHspl) 그대로 출력한다.
또한, 단계(1306)에서는, 단계(1303)와 마찬가지로 복호부(2003)는, 채널수의 최대값(CHmax)과 샘플의 채널수(CHspl)가 다른지를 판정하고, 다른 경우에는 단계(1307)로 진행하고, 동일하면 단계(1308)로 진행한다. 단계(1307)에서는 우선, 샘플링 주파수를 FSspl, 채널수를 CHspl로 하여 샘플 데이터를 복호한다. 그리고, 복호 결과를 샘플링 주파수는 샘플링 주파수(FSspl) 그대로, 채널수를 채널수의 최대값(FSmax)으로 변환하여 출력한다. 한편, 단계(1308)에서는, 샘플링 주파수를 FSspl, 채널수를 CHspl로 하여 샘플 데이터를 복호하고, 출력한다. 즉, 출력 주파수(FSout)와 샘플의 샘플링 주파수(FSspl), 출력 채널수(CHout)와 샘플의 채널수(CHspl)가 각각 동일해진다.
또, 샘플링 주파수의 최대값(FSmax)과 채널수의 최대값(CHmax)은, 특별한 Box를 설치하는 등 하여, 샘플 엔트리와는 다른 장소에 저장해도 된다.
또, 상기에서는 1 세그 방송에 대해 서술했지만, 수신할 AAC 혹은 AAC-plus의 부호화 데이터는 1 세그 방송에 한정되는 것이 아니며, 또, 인터넷 경유로 수신한 데이터이어도 된다. 또, 방송이나 인터넷 경유로 수신한 패킷 데이터를 재생하고 나서 기록할 때에도, 상기의 방법을 적용할 수 있다.
또한, 기록 미디어에 대해서도, SD 카드에 한정되는 것이 아니라, 다른 불휘발 메모리나 하드 디스크 등이어도 된다.
여기까지는, 출력의 샘플링 주파수 혹은 채널수를 갖춤으로써, 이들 파라미터의 전환에 따른 재생의 끊김이나 노이즈의 발생 등 재생품질의 저하를 방지하는 방법에 대해 설명하였다. 이하에서는, 재생품질의 저하를 방지하는 다른 방법에 대해 설명한다.
첫째, 파라미터의 전환 위치에서 특수 효과를 사용함으로써, 청각상의 위화감을 저감할 수 있다. 예를 들면, 전환 위치 전에서는 서서히 음량을 내리고, 전환 위치 후에서는 서서히 음량을 올림으로써, 파라미터의 전환 위치에서는 음량이 내려가, 재생의 끊김이나 노이즈를 저감할 수 있다. 본 방법에서는, 미리 전환 위치를 특정할 필요가 있다. 파일 재생시에는, 예를 들면, 파일의 헤더 정보를 해석 하여 미리 전환 위치를 특정할 수 있다. 또한, 파일의 헤더 정보로부터 전환 위치를 특정할 수 없는 경우나, 데이터를 수신하면서 재생할 때 등에는, 소정의 프레임수의 데이터를 미리 버퍼링하면서 재생하여, 버퍼링된 프레임 내에 전환 위치가 존재하는지 판정할 수 있다. 또, 미리 전환 위치를 특정할 수 없더라도, 복호부에서 프레임을 복호할 때에 파라미터의 전환을 검출했을 때에는, 해당 프레임의 음량을 떨어뜨림과 동시에, 이후의 프레임에 대해서도 음량을 서서히 올려도 된다.
둘째, 채널수의 전환 위치 등 특정한 조건에서만 샘플링 주파수가 전환될 때에는, 샘플링 주파수 등의 전환 위치에서도 해당 파라미터에 의거하여 재생해도 된다. 예를 들면, 방송에서는 광고 부분만 2채널이 되고, 다른 부분은 모노럴로 하는 일이 있는데, 본편과 광고에서는 콘텐츠의 내용이 불연속이고, 파라미터의 전환에 따른 재생품질의 저하가 청각상 두드러지지 않는다고 간주할 수 있는 케이스가 있기 때문이다.
또, 본 실시형태에서는, 데이터 재생장치(2000)에 AAC-plus의 트랙을 포함하는 MP4 파일이 입력되는 경우를 예로 하여 설명을 행하고 있지만, 이에 한정되는 것은 아니다. 예를 들면, 1 세그 방송의 MPEG-2의 TS를 수신하고, 재생하는 경우에도 적용하는 것이 가능하다. 이 경우, 입력 주파수 취득부(2001)는, 도 2에 나타내는 것과 같은 ADTS 프레임의 헤더로부터, 페이로드에 저장되어 있는 오디오 데이터의 샘플링 주파수, 채널수 등을 취득하면 된다. AAC-plus의 경우, ADTS 헤더의 샘플링 주파수는 기본 데이터의 샘플링 주파수이다. 또한, 수신한 MPEG-2의 TS를 기록한 후, 기록한 MPEG-2의 TS를 재생하는 경우에도 마찬가지로 적용하는 것이 가능하다.
(실시형태 2)
여기서, 상기 실시형태 1에서 나타낸 데이터 재생장치를 이용한 시스템을 설명한다.
도 16은, 방송 및 통신에 의한 콘텐츠 배송 서비스를 실현하는 시스템의 전체구성을 나타내는 블럭도이다. 우선, 방송 데이터를 수신하는 케이스에 대해 서술한다. 휴대전화(ex105), 혹은 DVD 리코더 등의 디스크 리코더(ex104)는, 디지탈화된 부호화 미디어 데이터가 다중화된 TS 패킷열을 수신한다. 휴대전화(ex105)에서는, 수신한 TS 패킷열을 MP4로 변환하고 나서 SD 카드(ex106)에 기록한다. 기록한 MP4 파일은, 본 발명에 관한 데이터 재생장치를 구비한 휴대전화(ex105), 디스크 리코더(ex104), 혹은 도시하지 않은 퍼스널 컴퓨터 등으로 시청할 수 있다. 또한, MP4 파일을 전자 메일에 첨부하여, 휴대전화(exl05)로부터 무선 기지국(ex107)을 경유하여, 본 발명에 관한 데이터 재생장치를 구비한 다른 휴대전화(exl08)에 송신하고, 휴대전화(ex108)에서 MP4 파일을 시청할 수도 있다. 또, 전자메일 첨부가 아니라, HTTP(Hyper Text Transport Protocol) 및 TCP(Transmission Control Protocol) 등의 프로토콜을 사용하여, 휴대전화(ex105)로부터 휴대전화(ex108)에 다운로드 혹은 유사 스트리밍 배송해도 된다.
디스크 리코더(ex104)에서도, 수신한 TS 패킷열을 MP4로 변환하고, SD 카드, DVD 등의 광디스크, 혹은 하드 디스크에 기록할 수 있다. 또한, 기록한 MP4 파일을 휴대전화나 도시하지 않은 퍼스널 컴퓨터에 대해 다운로드, 혹은 유사 스트리밍 배송해도 된다.
콘텐츠 서버(ex102)로부터 인터넷 경유로 배송된 TS 패킷열을 휴대전화(exl05), 혹은 디스크 리코더(ex104)에서 수신할 때에도, 상기 방송 데이터를 수신했을 때와 마찬가지로 MP4 파일을 사용할 수 있다.
또한, TS에 관계없이, 인터넷 상의 스트리밍 배송 등으로 사용되는 RTP (Real-time Transport Protocol) 등의 protocol에 의해 송신된 데이터를 MP4로 기록할 때에도, 본 발명에 관한 데이터 재생장치를 적용할 수 있다.
(실시형태 3)
상기 각 실시형태에서 나타낸 데이터 재생장치에서의 데이터 재생방법을 실현하기 위한 프로그램을 플렉시블 디스크 등의 기억매체에 기록하도록 함으로써, 상기 각 실시형태에서 나타낸 처리를 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.
도 17은, 상기 각 실시형태의 데이터 재생장치에서의 데이터 재생방법을 플렉시블 디스크 등의 기록매체에 기록된 프로그램을 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 17(b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 나타내고, 도 17(a)는, 기록매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 그 디스크의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해 복수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16 섹터(Se)로 분할되어 있다. 따라서, 상기 프로 그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램이 기록되어 있다.
또한, 도 17(c)은, 플렉시블 디스크(FD)에 상기 프로그램의 기록재생을 행하기 위한 구성을 나타낸다. 데이터 재생장치에서의 데이터 재생방법을 실현하는 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램을 플렉시블 디스크 드라이브를 통해 기입한다. 또한, 플렉시블 디스크 내의 프로그램에 의해 상기 각 실시형태의 데이터 재생장치에서의 데이터 재생방법을 실현하는 데이터 재생방법을 컴퓨터 시스템 중에 구축하는 경우는, 플렉시블 디스크 드라이브 의해 프로그램을 플렉시블 디스크로부터 판독하여, 컴퓨터 시스템에 전송한다.
또, 상기 설명에서는, 기록매체로서 플렉시블 디스크를 이용하여 설명을 행했지만, 광디스크를 이용해도 동일하게 행할 수 있다. 또한, 기록매체는 이에 한하지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
또한, 도 9에 나타낸 블럭도의 각 기능 블록은 전형적으로는 집적회로인 LSI로서 실현된다. 이들은 개별로 1칩화 되어도 되고, 일부 또는 전부를 포함하도록 1칩화 되어도 된다(예를 들면, 메모리 이외의 기능 블럭이 1칩화 되어 있어도 된다.).
여기서는 LSI로 하였지만, 집적도의 차이에 따라 IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라 호칭되는 일도 있다.
또한, 집적 회로화의 수법은 LSI에 한하는 것이 아니라, 전용회로 또는 범용 프로세서로 실현해도 된다. LSI 제조후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규어러블 프로세서(re-configurable processor)를 이용해도 된다.
또, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI로 치환되는 집적 회로화의 기술이 등장하면, 당연히 그 기술을 이용하여 기능 블럭의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.
본 발명에 관한 데이터 재생장치는, 도중에 대역확장 기능의 유무, 혹은 샘플링 주파수나 채널수 등의 속성정보가 스트림 도중에 전환되는 오디오 데이터를 저장한 스트림을 재생할 때에, 속성정보의 전환 위치에서도 끊기는 일이 없는 재생을 실현할 수 있기 때문에, 예를 들면 디지털 방송을 수신하는 휴대단말, 카 네비게이션 등의 기기에서 특히 유효하다.

Claims (7)

  1. 오디오 데이터가 부호화된 프레임 데이터와 상기 프레임 데이터의 일부의 재생대역을 확장하기 위한 대역확장 정보를 포함하는 부호화 스트림을 재생하는 데이터 재생장치로서,
    상기 부호화 스트림으로부터 상기 프레임 데이터의 기본 샘플링 주파수를 취득하는 취득수단과,
    상기 프레임 데이터를 재생할 때의 출력 샘플링 주파수를 상기 기본 샘플링 주파수에 의거하여, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 결정수단과,
    상기 기본 샘플링 주파수로 상기 프레임 데이터를 복호함과 동시에, 상기 일부의 프레임 데이터에 대해서는, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역을 확장하고, 상기 일부 이외의 프레임 데이터에 대해서는, 상기 출력 샘플링 주파수가 상기 기본 샘플링 주파수와 다른 경우에, 상기 기본 샘플링 주파수로부터 상기 출력 샘플링 주파수로 업 샘플링하는 복호수단을 구비하며,
    상기 결정수단은, 상기 기본 샘플링 주파수가 소정의 값 이하인 경우에, 상기 출력 샘플링 주파수를 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 것을 특징으로 하는 데이터 재생장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 결정수단은, 상기 기본 샘플링 주파수가 특정한 값인 경우에만, 상기 출력 샘플링 주파수를 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 것을 특징으로 하는 데이터 재생장치.
  4. 청구항 1에 있어서,
    상기 취득수단은, 상기 대역확장 정보를 갖는 상기 프레임 데이터와 갖지 않는 상기 프레임 데이터가 혼재할 가능성이 있는 것을 나타내는 식별정보를 상기 부호화 스트림으로부터 취득하고,
    상기 결정수단은, 상기 기본 샘플링 주파수 및 상기 식별정보에 의거하여, 상기 출력 샘플링 주파수를 결정하는 것을 특징으로 하는 데이터 재생장치.
  5. 오디오 데이터가 부호화된 프레임 데이터와 상기 프레임 데이터의 일부의 재생대역을 확장하기 위한 대역확장 정보를 포함하는 부호화 스트림을 재생하는 데이터 재생방법으로서,
    상기 부호화 스트림으로부터 상기 프레임 데이터의 기본 샘플링 주파수를 취득하는 단계,
    상기 프레임 데이터를 재생할 때의 출력 샘플링 주파수를 상기 기본 샘플링 주파수에 의거하여, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 단계,
    상기 기본 샘플링 주파수로 상기 프레임 데이터를 복호함과 동시에, 상기 일부의 프레임 데이터에 대해서는, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역을 확장하고, 상기 일부 이외의 프레임 데이터에 대해서는, 상기 출력 샘플링 주파수가 상기 기본 샘플링 주파수와 다른 경우에, 상기 기본 샘플링 주파수로부터 상기 출력 샘플링 주파수로 업 샘플링하는 단계를 포함하며,
    상기 결정 단계에서는, 상기 기본 샘플링 주파수가 소정의 값 이하인 경우에, 상기 출력 샘플링 주파수를 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 것을 특징으로 하는 데이터 재생방법.
  6. 오디오 데이터가 부호화된 프레임 데이터와 상기 프레임 데이터의 일부의 재생대역을 확장하기 위한 대역확장 정보를 포함하는 부호화 스트림을 재생하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
    상기 부호화 스트림으로부터 상기 프레임 데이터의 기본 샘플링 주파수를 취득하는 취득 단계와,
    상기 프레임 데이터를 재생할 때의 출력 샘플링 주파수를 상기 기본 샘플링 주파수에 의거하여, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 결정 단계로서, 상기 기본 샘플링 주파수가 소정의 값 이하인 경우에, 상기 출력 샘플링 주파수를 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는, 결정 단계와,
    상기 기본 샘플링 주파수로 상기 프레임 데이터를 복호함과 동시에, 상기 일부의 프레임 데이터에 대해서는, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역을 확장하고, 상기 일부 이외의 프레임 데이터에 대해서는, 상기 출력 샘플링 주파수가 상기 기본 샘플링 주파수와 다른 경우에, 상기 기본 샘플링 주파수로부터 상기 출력 샘플링 주파수로 업 샘플링하는 복호 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  7. 오디오 데이터가 부호화된 프레임 데이터와 상기 프레임 데이터의 일부의 재생대역을 확장하기 위한 대역확장 정보를 포함하는 부호화 스트림을 재생하기 위한 집적회로로서,
    상기 부호화 스트림으로부터 상기 프레임 데이터의 기본 샘플링 주파수를 취득하는 취득수단과,
    상기 프레임 데이터를 재생할 때의 출력 샘플링 주파수를 상기 기본 샘플링 주파수에 의거하여, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 결정수단과,
    상기 기본 샘플링 주파수로 상기 프레임 데이터를 복호함과 동시에, 상기 일부의 프레임 데이터에 대해서는, 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역을 확장하고, 상기 일부 이외의 프레임 데이터에 대해서는, 상기 출력 샘플링 주파수가 상기 기본 샘플링 주파수와 다른 경우에, 상기 기본 샘플링 주파수로부터 상기 출력 샘플링 주파수로 업 샘플링하는 복호수단을 구비하며,
    상기 결정수단은, 상기 기본 샘플링 주파수가 소정의 값 이하인 경우에, 상기 출력 샘플링 주파수를 상기 대역확장 정보를 이용하여 상기 프레임 데이터의 재생대역이 확장되는 경우의 샘플링 주파수로 결정하는 것을 특징으로 하는 집적회로.
KR20067019247A 2005-02-24 2006-02-24 데이터 재생장치 KR101194902B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005049052 2005-02-24
JPJP-P-2005-00049052 2005-02-24
PCT/JP2006/303473 WO2006090852A1 (ja) 2005-02-24 2006-02-24 データ再生装置

Publications (2)

Publication Number Publication Date
KR20070111954A KR20070111954A (ko) 2007-11-22
KR101194902B1 true KR101194902B1 (ko) 2012-10-25

Family

ID=36927485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067019247A KR101194902B1 (ko) 2005-02-24 2006-02-24 데이터 재생장치

Country Status (6)

Country Link
US (1) US7970602B2 (ko)
EP (1) EP1860649B8 (ko)
JP (2) JP5107574B2 (ko)
KR (1) KR101194902B1 (ko)
DE (1) DE602006021402D1 (ko)
WO (1) WO2006090852A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4944484B2 (ja) * 2006-04-20 2012-05-30 キヤノン株式会社 再生装置、再生方法及びプログラム
US8326609B2 (en) * 2006-06-29 2012-12-04 Lg Electronics Inc. Method and apparatus for an audio signal processing
JP2009086018A (ja) * 2007-09-27 2009-04-23 Sanyo Electric Co Ltd 音楽再生回路
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US9247547B2 (en) * 2009-10-15 2016-01-26 Qualcomm Incorporated Downlink and uplink resource element mapping for carrier extension
US8542605B2 (en) * 2009-10-15 2013-09-24 Qualcomm Incorporated System and method for allocating resources in an extended bandwidth wireless network
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
US9117440B2 (en) 2011-05-19 2015-08-25 Dolby International Ab Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal
WO2012160782A1 (ja) * 2011-05-20 2012-11-29 パナソニック株式会社 ビットストリーム送信装置、ビットストリーム送受信システム、ビットストリーム受信装置、ビットストリーム送信方法、ビットストリーム受信方法及びビットストリーム
JP2013229860A (ja) * 2012-03-28 2013-11-07 Panasonic Corp 記録装置および記録システム
US20150066695A1 (en) * 2013-09-03 2015-03-05 Ebay Inc. Cross border trade entity visibility compliance system
WO2017018775A1 (ko) * 2015-07-28 2017-02-02 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법 및 방송 신호 수신 방법
US10021184B2 (en) * 2015-12-31 2018-07-10 Dropbox, Inc. Randomized peer-to-peer synchronization of shared content items

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130997A (ja) 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2004302259A (ja) 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
JP2005222014A (ja) 2004-01-08 2005-08-18 Matsushita Electric Ind Co Ltd 信号復号化装置及び信号復号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP2000155596A (ja) * 1998-11-24 2000-06-06 Hitachi Ltd オーディオデータの圧縮・伸長方法および復元装置
JP2000206998A (ja) * 1999-01-13 2000-07-28 Sony Corp 受信装置及び方法、通信装置及び方法
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
JP2003114845A (ja) 2001-10-03 2003-04-18 Hitachi Ltd メディア変換方法およびメディア変換装置
JP3913664B2 (ja) * 2001-11-14 2007-05-09 松下電器産業株式会社 符号化装置、復号化装置およびこれらを用いたシステム
CA2392640A1 (en) * 2002-07-05 2004-01-05 Voiceage Corporation A method and device for efficient in-based dim-and-burst signaling and half-rate max operation in variable bit-rate wideband speech coding for cdma wireless systems
CA2464408C (en) * 2002-08-01 2012-02-21 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing suppression
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
RU2005135650A (ru) * 2003-04-17 2006-03-20 Конинклейке Филипс Электроникс Н.В. (Nl) Синтез аудиосигнала
WO2004112021A2 (en) * 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. Receiving apparatus, sending apparatus and transmission system
JP2005024756A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 復号処理回路および移動端末装置
JP2006050387A (ja) * 2004-08-06 2006-02-16 Matsushita Electric Ind Co Ltd データ再生方法、およびデータ再生装置
US20080004883A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Scalable audio coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130997A (ja) 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JP2004302259A (ja) 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
JP2005222014A (ja) 2004-01-08 2005-08-18 Matsushita Electric Ind Co Ltd 信号復号化装置及び信号復号化方法

Also Published As

Publication number Publication date
US20090228283A1 (en) 2009-09-10
EP1860649A4 (en) 2009-07-15
US7970602B2 (en) 2011-06-28
WO2006090852A1 (ja) 2006-08-31
JP5107574B2 (ja) 2012-12-26
EP1860649B8 (en) 2011-10-05
EP1860649B1 (en) 2011-04-20
JP2012083767A (ja) 2012-04-26
EP1860649A1 (en) 2007-11-28
JPWO2006090852A1 (ja) 2008-07-24
KR20070111954A (ko) 2007-11-22
DE602006021402D1 (de) 2011-06-01

Similar Documents

Publication Publication Date Title
KR101194902B1 (ko) 데이터 재생장치
US7567584B2 (en) Multiplex scheme conversion apparatus
US10630997B2 (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9369718B2 (en) Decoding method, decoding apparatus, coding method, and coding apparatus using a quantization matrix
US8149923B2 (en) Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US11343549B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
US8189987B2 (en) Digital multimedia reproducing apparatus and method of providing digital multimedia broadcasting in the digital multimedia reproducing apparatus
JP2005229587A (ja) 多重化方式変換装置
US8548040B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit
JPWO2008117524A1 (ja) デジタル放送送信装置、デジタル放送受信装置およびデジタル放送送受信システム
US20120219069A1 (en) Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard
EP1162845A2 (en) Apparatus and method for information processing, and recording medium
KR20050052717A (ko) 오디오 원본 보존 트랜스코딩 시스템 및 방법
JP2006238003A (ja) 逆多重化装置
KR101171304B1 (ko) 디지털 방송 수신기에서의 데이터 저장장치 및 방법
JP7014157B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2004320394A (ja) デジタル放送送信システム，デジタル放送の受信装置，デジタル放送再生方法
JP5042182B2 (ja) 要約コンテンツ生成装置およびコンピュータプログラム
JP2006050387A (ja) データ再生方法、およびデータ再生装置
JP4735311B2 (ja) 音声処理装置
JP2007074671A (ja) Ｐｉｄ値検出回路、ストリームデータ受信機およびｐｉｄ値検出方法
JP2008301197A (ja) 再生装置及び再生方法
KR20060107083A (ko) Ｖｏｄ서비스에서 디코딩 에러 발생 시 오디오 신호의동기를 처리하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee