KR101073950B1 - 정보 처리 장치 및 정보 처리 방법, 및 기록 매체 - Google Patents

Abstract

본 발명은, 기본 스트림과 복수 단계의 확장 스트림을 포함하는 스트림을 처리하는 정보 처리 장치 및 정보 처리 방법, 및 데이터 구조에 관한 것이다. 송신 장치는, 오디오 스트림을 인코딩하여, 기본 스트림(BS), 제1 내지 제n 확장 스트림(Ext1 내지 ExtN)을 얻는다. 또한, 송신 장치는, 테이블(90, 91)을 참조하여, 각각 스트림의 종류마다 PID를 부여한 TS 패킷(92, 및 93-1 내지 93-n)과, 테이블의 TS 패킷(90, 91)을 생성하여, 수신 장치에 송신한다. 수신 장치는, 테이블의 TS 패킷(90, 91)을 참조하여, 자신이 처리할 수 있는 스트림의 종류를 판별하고, 자신이 처리할 수 있는 스트림에 관련된 PID가 부여되어 있는 TS 패킷을 선택하여, 디코딩한다. 본 발명은 인코딩나 디코딩를 행하는 송신 장치, 수신 장치에 적용할 수 있다.

정보 처리, 프로그램, 데이터 구조, 스트림, 인코딩, 디코딩, 버퍼, 오디오, 패킷, 동기 단위, 다중화, 스트림 확장

Description

정보 처리 장치 및 정보 처리 방법, 및 기록 매체 {INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM}

본 발명은, 정보 처리 장치 및 정보 처리 방법, 프로그램, 및 데이터 구조에 관한 것으로서, 특히, 기본 스트림과 복수 단계의 확장 스트림을 포함하는 스트림을 처리하는 정보 처리 장치 및 정보 처리 방법, 프로그램, 및 데이터 구조에 관한 것이다.

MPEG(Moving Picture Experts Group)2 오디오 스트림은, MPEG1 오디오 디코더에서도 재생할 수 있도록 후방호환성(backward compatibility)이 있다. 즉, MPEG2 오디오 스트림은, 기본 부분으로서의 MPEG1 오디오 스트림 부분과, 그것의 확장 부분으로서의 MPEG2 오디오 부분을 포함하는 구조가 되어 있다.

DVD(Digital Versatile Disc)비디오의 포맷에서는, MPEG2 오디오 스트림을 프로그램 스트림(Program Stream)으로 다중화하는 기술이 개시되어 있다(예를 들면, 비특허 문헌 1). 도 1은, DVD 비디오의 포맷에서의 프로그램 스트림(1)의 구조를 나타낸 도면이다. 도 1의 프로그램 스트림(1)에는, 비디오 팩(Video Pack)(11), MPEG2 오디오 팩(Audio Pack)(12), 및 복수개의 팩(Pack, 13-1 내지 13-j)(j는 임의의 자연수)가 포함되어 있다.

MPEG2 오디오 팩(12)에는, 팩 헤더(Pack Header)(21), PES(Packetized Elementary Stream) 패킷 헤더(22), MPEG1 오디오 데이터(Base)(23), PES 패킷 헤더(24), 및 MPEG2 오디오 데이터(Extension)(25)가 포함된다. 또한, MPEG2 오디오 팩(12)의 페이로드(payload)는, PES 패킷 헤더(22)와 MPEG1 오디오 데이터(23)로 이루어진 MPEG1 오디오의 PES 패킷, 및 PES 패킷 헤더(24)와 MPEG2 오디오 데이터(25)로 이루어진 MPEG2 오디오의 확장 부분의 PES 패킷을 가진다.

상기 MPEG2 오디오 팩(12)을 재생하는 경우, MPEG1 오디오 스트림만 디코딩할 수 있는 재생 장치(MPEG1에만 대응하는 재생 장치)는 MPEG1 오디오 스트림인 PES 패킷 헤더(22) 및 MPEG1 오디오 데이터(23)만을 분리하여 재생하고, MPEG2 오디오 스트림까지 디코딩할 수 있는 재생 장치(확장 오디오 스트림까지 재생할 수 있는 재생 장치)에서는, 기본과 확장의 양쪽의 오디오 스트림을 분리하여 재생한다. 구체적으로는, 후자의 재생 장치에서는, PES 패킷 헤더(22) 및 MPEG1 오디오 데이터(23) 외에, MPEG2 확장 오디오 스트림인 PES 패킷 헤더(24) 및 MPEG2 오디오 데이터(25)를 재생한다.

[비특허 문헌 1]: DVD Specification for Read-Only Disc Part3; Version1.1

그러나, 최근의 스트림에서의 확장성에 대해, 도 1에 나타낸 바와 같은 프로그램 스트림의 경우에는, 스트림 구조를 포맷으로서 결정해 버리므로, 새로운 오디오 스트림의 확장을 추가할 수 없는 과제가 있다.

이는, 확장성의 축소와 연결되는 것과 동시에, 재생 장치의 공통화를 실현하기 곤란한 과제가 있다.

또한, 오디오 스트림을 방송하는 경우, TS(Transport Stream)에 적용시켜서 방송하는 것이 일반적이지만, 도 1에 나타낸 바와 같은 프로그램 스트림의 부호화 방법으로는, TS에 적용하기에 적합하지 않다. 구체적으로는, 팩(예를 들면, 도 1의 MPEG2 오디오 팩(12))에 해당하는 TS 패킷은, 188바이트로서 비교적 작으므로, 이 중에서 기본 부분(MPEG1)과 확장 부분(MPEG2)의 2개의 PES 패킷을 다중화할 경우, 부호화 효율이 저하되는 문제점이 있다.

본 발명은 전술한 바와 같은 상황을 감안하여 이루어진 것이며, 기본 스트림과 복수 단계의 확장 스트림을 포함하는 스트림을 인코딩하고, 디코딩 가능하도록 한 것이다.

본 발명의 제1 정보 처리 장치는, 입력한 스트림을, 기본 스트림, 및 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림 중, 적어도 기본 스트림과 제1 확장 스트림을 포함하도록 인코딩하는 인코딩 수단과, 인코딩 수단에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하는 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블을 생성하는 테이블 생성 수단과, 인코딩 수단에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각에, 대응하는 ID를 부가하는 부가 수단과, 부가 수단에 의해 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림, 및 테이블을, 각각 TS 패킷으로 패킷화하는 패킷화 수단을 구비하는 것을 특징으로 한다.

본 발명의 제1 정보 처리 방법은, 입력한 스트림을, 기본 스트림, 및 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림 중, 적어도 기본 스트림과 제1 확장 스트림을 포함하도록 인코딩하는 인코딩 스텝과, 인코딩 스텝의 처리에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하는 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블을 생성하는 테이블 생성 스텝과, 인코딩 스텝의 처리에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각에, 대응하는 ID를 부가하는 부가 스텝과, 부가 스텝의 처리에 의해 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림, 및 테이블을, 각각 TS 패킷으로 패킷화하는 패킷화 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 입력한 스트림을, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 적어도 기본 스트림과 제1 확장 스트림을 포함하도록 인코딩하는 인코딩 스텝과, 인코딩 스텝의 처리에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하는 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블을 생성하는 테이블 생성 스텝과, 인코딩 스텝의 처리에 의해 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각에, 대응하는 ID를 부가하는 부가 스텝과, 부가 스텝의 처리에 의해 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림, 및 테이블을, 각각 TS 패킷으로 패킷화하는 패킷화 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제1 측면에 따르면, 입력한 스트림이, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 적어도 기본 스트림과 제1 확장 스트림을 포함하도록 인코딩되고, 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하는 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 적어도 기본 스트림과 제2 확장 스트림을 관련시킨 정보가 기재된 테이블이 생성되고, 인코딩된, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각에, 대응하는 ID가 부가되어 기본 스트림 및 제1 내지 제n 확장 스트림, 및 테이블이, 각각 TS 패킷으로 패킷화된다.

본 발명의 제2 정보 처리 장치는, 기본 스트림을 구성하는 TS 패킷, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷, 및 TS 패킷을 식별하는 ID와 TS 패킷으로 구성되는 기본 스트림 또는 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷을 포함하는 스트림을 입력하는 입력 수단과, 입력 수단에 의해 입력된 TS 패킷에 저장되어 있는 테이블을 참조하여, 자신이 처리할 수 있는 스트림의 종류를 판단하는 판단 수단과, 판단 수단에 의해 자신이 처리할 수 있는 것으로 판단된 스트림에 관련된 ID가 부여된 TS 패킷을 스트림으로부터 선택하는 선택 수단과, 선택 수단에 의해 선택된 TS 패킷을 디코딩하는 디코딩 수단을 구비하는 것을 특징으로 한다.

선택 수단에 의해 선택된 TS 패킷을 ID마다 버퍼링하는 버퍼 수단을 추가로 포함하도록 할 수 있다.

본 발명의 제2 정보 처리 방법은, 기본 스트림을 구성하는 TS 패킷, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷, 및 TS 패킷을 식별하는 ID와 TS 패킷으로 구성되는 기본 스트림 또는 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷을 포함하는 스트림을 입력하는 입력 스텝과, 입력 스텝의 처리에 의해 입력된 TS 패킷에 저장되어 있는 테이블을 참조하고, 자신이 처리할 수 있는 스트림의 종류를 판단하는 판단 스텝과, 판단 스텝의 처리에 의해 자신이 처리할 수 있는 것으로 판단된 스트림에 관련된 ID가 부여된 TS 패킷을 스트림으로부터 선택하는 선택 스텝과, 선택 스텝의 처리에 의해 선택된 TS 패킷을 디코딩하는 디코딩 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 기본 스트림을 구성하는 TS 패킷, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷, 및 TS 패킷을 식별하는 ID와 TS 패킷으로 구성되는 기본 스트림 또는 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷을 포함하는 스트림을 입력하는 입력 스텝과, 입력 스텝의 처리에 의해 입력된 TS 패킷에 저장되어 있는 테이블을 참조하고, 자신이 처리할 수 있는 스트림의 종류를 판단하는 판단 스텝과, 판단 스텝의 처리에 의해 자신이 처리할 수 있는 것으로 판단된 스트림에 관련된 ID가 부여된 TS 패킷을 스트림으로부터 선택하는 선택 스텝과, 선택 스텝의 처리에 의해 선택된 TS 패킷을 디코딩하는 디코딩 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제2 측면에 따르면, 기본 스트림을 구성하는 TS 패킷, 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷, 및 TS 패킷을 식별하는 ID와 TS 패킷으로 구성되는 기본 스트림 또는 제1 내지 제n 확장 스트림을 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷을 포함하는 스트림이 입력되고, 테이블이 참조되어, 자신이 처리할 수 있는 스트림의 종류가 판단되고, 자신이 처리할 수 있는 것으로 판단된 스트림에 관련된 ID가 부여된 TS 패킷이, 스트림으로부터 선택되고, 디코딩 된다.

본 발명의 제1 데이터 구조는, 전체 스트림에는, 기본 스트림을 구성하는 TS 패킷과, 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷과, 기본 스트림 또는 제1 내지 제n 확장 스트림을 구성하는 TS 패킷과, 이들 TS 패킷와 식별하는 ID를 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷이 포함되고, 기본 스트림을 구성하는 TS 패킷과 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 각각의 헤더에는, TS 패킷을 식별하는 ID가 포함되는 것을 특징으로 한다.

전체 스트림에 포함되는, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷은, 동일한 시각에 재생되는 TS 패킷이 연속되면서 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순으로 배역되어 있도록 할 수 있다.

본 발명의 제3 측면에 따르면, 전체 스트림에는, 기본 스트림을 구성하는 TS 패킷과, 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷과, 기본 스트림 또는 제1 내지 제n 확장 스트림을 구성하는 TS 패킷과, 이들 TS 패킷을 식별하는 ID를 관련시키는 정보가 기재된 테이블이 저장되어 있는 TS 패킷이 포함되고, 기본 스트림을 구성하는 TS 패킷과 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 각각의 헤더에는, TS 패킷을 식별하는 ID가 포함된다.

본 발명의 제3 정보 처리 장치는, 기본 스트림과 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 기본 스트림을 인코딩하는 인코딩 수단과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 수단에 의해 인코딩된 것에, 전체 스트림을 식별하기 위해 이용되는, 동일한 제1 ID를 부가하는 제1 부가 수단과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 수단에 의해 인코딩된 것에, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 수단과, 제1 부가 수단과 제2 부가 수단에 의해 제1 ID와 제2 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷에 패킷화하는 패킷화 수단을 구비하는 것을 특징으로 한다.

인코딩 수단은, 전체 스트림에 포함되는, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷을, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열되도록 인코딩할 수 있다.

인코딩 수단은, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우, 그 동기 단위에서, 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림과 기본 스트림을 인코딩할 수 있다.

인코딩 수단은, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우, 그 동기 단위에서, 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림과기본 스트림을 인코딩하고, 그 동기 단위에서, 제1 내지 제n 확장 스트림 중 존재하지 않는 확장 스트림은 인코딩하지 않도록 함으로써, 전체 스트림을 가변 비트 레이트로 인코딩할 수 있다.

본 발명의 제3 정보 처리 방법은, 기본 스트림과 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함되는 전체 스트림 중, 적어도 기본 스트림을 인코딩하는 인코딩 스텝과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 스텝의 처리에 의해 인코딩된 것에, 전체 스트림을 식별하기 위해 이용되는, 동일한 제1 ID를 부가하는 제1 부가 스텝과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 스텝의 처리에 의해 인코딩된 것에, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 스텝과, 제1 부가 스텝과 제2 부가 스텝의 처리에 의해 제1 ID와 제2 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷에 패킷화하는 패킷화 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 기본 스트림과 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 기본 스트림을 인코딩하는 인코딩 스텝과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 스텝의 처리에 의해 인코딩된 것에, 전체 스트림을 식별하기 위해 이용되는, 동일한 제1 ID를 부가하는 제1 부가 스텝과, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩 스텝의 처리에 의해 인코딩된 것에, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 스텝과, 제1 부가 스텝과 제2 부가 스텝의 처리에 의해 제1 ID와 제2 ID가 부가된, 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷에 패킷화하는 패킷화 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제4 측면에 따르면, 기본 스트림과 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 기본 스트림이 인코딩되고, 기본 스트림 및 제1 내지 제n 확장 스트림 중, 인코딩된 것에, 전체 스트림을 식별하기 위해 이용되는, 동일한 제1 1D가 부가되는 동시에, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID가 부가되고, 각각 TS 패킷으로 패킷화된다.

본 발명의 제4 정보 처리 장치는, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 수단과, 입력 수단에 의해 입력된 TS 패킷의 각각에 저장되어 있는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 전체 스트림으로부터 선택하는 선택 수단과, 선택 수단에 의해 선택된 TS 패킷을 디코딩하는 디코딩 수단을 구비한 것을 특징으로 한다.

입력 수단에는, 동일한 시각에 재생되는 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 연속되도록 하면서, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순으로 배열된 전체 스트림이 인력 되도록 할 수 있다.

입력 수단에 입력되는 전체 스트림에는, 적어도 인코딩되어 있는 기본 스트림이 포함되고, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림이 가변 비트 레이트로 인코딩되어 추가로 포함되도록 할 수 있다.

본 발명의 제4 정보 처리 방법은, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 스텝과, 입력 스텝의 처리에 의해 입력된 TS 패킷의 각각에 저장되어 있는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 전체 스트림으로부터 선택하는 선택 스텝과, 선택 스텝의 처리에 의해 선택된 TS 패킷을 디코딩하는 디코딩 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제4 프로그램은, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 스텝과, 입력 스텝의 처리에 의해 입력된 TS 패킷의 각각에 저장되어 있는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정의 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 전체 스트림으로부터 선택하는 선택 스텝과, 선택 스텝의 처리에 의해 선택된 TS 패킷을 디코딩하는 디코딩 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제5 측면에 따르면, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림이 입력되고, TS 패킷의 각각에 저장되어 있는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷가, 전체 스트림으로부터 선택되고, 디코딩 된다.

본 발명의 제2 데이터 구조는, 전체 스트림에는, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우에는, 그 동기 단위에서, 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림을 구성하는 TS 패킷이 포함되고, 기본 스트림을 구성하는 TS 패킷과 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 각각의 헤더에는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID가 포함되는 것을 특징으로 한다.

전체 스트림에 포함되는, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷은, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순으로 정열되어 있다.

전체 스트림에는, 적어도 기본 스트림이 포함되고, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림을 구성하는 TS 패킷의 개수가 가변이 되어 추가로 포함되도록 할 수 있다.

본 발명의 제6 측면에 따르면, 전체 스트림에는, 기본 스트림을 구성하는 TS 패킷과, 기본 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우에는, 그 동기 단위에 있어서, 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림을 구성하는 TS 패킷이 포함되고, 기본 스트림을 구성하는 TS 패킷과 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 각각의 헤더에는, 전체 스트림을 식별하기 위해 이용되는 제1 ID와, 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID가 포함된다.

[발명의 효과]

본 발명의 제1 측면에 따르면, 스트림의 확장에 대응한 처리를 행할 수 있다. 특히, 본 발명에 따르면, 스트림이 확장된 경우에도, 수신 측의 정보 처리 장치에 대응하도록 인코딩를 행할 수 있다.

본 발명의 제2 측면에 따르면, 스트림의 확장에 대응한 처리를 행할 수 있다. 특히, 본 발명에 따르면, 확장된 스트림이 입력된 경우에도, 자신의 처리 능력에 따라 디코딩할 수 있다.

본 발명의 제3 측면에 따르면, 스트림의 확장에 대응한 데이터 구조로 할 수 있다.

특히, 본 발명에 따르면, 스트림이 확장된 경우에도, 수신 측의 정보 처리 장치에 대응하는 데이터 구조로 형성할 수 있다.

본 발명의 제4 측면에 따르면, 스트림의 확장에 대응한 처리를 행할 수 있다. 특히, 본 발명에 따르면, 스트림이 확장된 경우에도, 수신 측의 정보 처리 장치에 대응하도록 인코딩를 행할 수 있다.

본 발명의 제5 측면에 따르면, 스트림의 확장에 대응한 처리를 행할 수 있다. 특히, 본 발명에 따르면, 확장된 스트림이 입력된 경우에도, 자신의 처리 능력에 따라 디코딩할 수 있다.

본 발명의 제6 측면에 따르면, 스트림의 확장에 대응한 데이터 구조로 형성할 수 있다. 특히, 본 발명에 따르면, 스트림이 확장된 경우에도, 수신 측의 정보 처리 장치에 대응하는 데이터 구조로 형성할 수 있다.

도 1은 DVD 비디오의 포맷에서의 프로그램 스트림의 구조를 나타낸 도면이다.

도 2는 본 발명을 적용한 제1 실시예의 송수신 시스템의 전체의 구성예를 나타낸 도면이다.

도 3은 도 2의 송신 장치의 구성예를 나타낸 블록도이다.

도 4는 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS의 구조를 설명하는 도면이다.

도 5는 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS의 구조를 설명하는 도면이다.

도 6은 도 3의 송신 장치에서의 TS 패킷 송신 처리를 설명하는 흐름도이다.

도 7은 PAT의 테이블의 예를 설명하는 도면이다.

도 8은 PMT의 테이블의 예를 설명하는 도면이다.

도 9는 TS 패킷 생성 처리를 설명하는 흐름도이다.

도 10은 도 2의 수신 장치의 구성예를 나타낸 블록도이다.

도 11은 기본 오디오 스트림만을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 12는 도 10의 수신 장치에서의 TS 패킷 수신 처리를 설명하는 흐름도이다.

도 13은 도 11의 오디오 스트림 처리부에서의 오디오 스트림 처리를 설명하는 흐름도이다.

도 14는 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 15는 기본 오디오 스트림과 제1, 제2 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 16은 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 17은 도 16의 오디오 스트림 처리부에서의 오디오 스트림 처리를 설명하는 흐름도이다.

도 18은 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 19는 TS 패킷의 순번을 설명하는 도면이다.

도 20은 본 발명을 적용한 제2 실시예의 송신 장치의 구성예를 나타낸 블록도이다.

도 21은 PMT의 테이블의 다른 예를 설명하는 도면이다.

도 22는 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS의 구조를 설명하는 도면이다.

도 23은 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS의 구조를 설명하는 도면이다.

도 24는 TS 패킷 생성 처리를 설명하는 흐름도이다.

도 25는 도 23에 대응하는 TS 패킷의 구조를 설명하는 도면이다.

도 26은 기본 오디오 스트림과 제1 확장 오디오 스트림을 다중화한 TS의 구조를 설명하는 도면이다.

도 27은 도 26에 대응하는 TS 패킷의 구조를 설명하는 도면이다.

도 28은 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 29는 TS 패킷의 순번을 설명하는 도면이다.

도 30은 도 28의 오디오 스트림 처리부에서의 오디오 스트림 처리를 설명하는 흐름도이다.

도 31은 도 28의 오디오 스트림 처리부에서의 오디오 스트림 처리를 설명하는 흐름도이다.

도 32는 기본 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 33은 TS 패킷의 순번을 설명하는 도면이다.

도 34는 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부의 구성예를 나타낸 도면이다.

도 35는 TS 패킷의 순번을 설명하는 도면이다.

도 36은 퍼스널 컴퓨터를 설명하는 도면이다.

도 37은 TS 패킷의 다른 구성예를 설명하는 도면이다.

[부호의 설명]

40: 송수신 시스템 41: 송신 장치

42: 수신 장치 71: 입력부

72: 오디오 인코더 73: 기본 버퍼

74-1 내지 74-n: 확장 버퍼 76: TS 패킷화부

77: 송신부

90 내지 92, 93-1 내지 93-n: TS 패킷

121: 수신부 122: 오디오 스트림 처리부

123: 출력부 151: 입력부

152: 필터 제어부 153: PID 필터

154: 기본 버퍼 155: 오디오 디코더

201: PID 필터 202: 확장 버퍼

203: 오디오 디코더 231: PID 필터

232: 오디오 디코더 261: PID 필터

262: 오디오 디코더 301: PID 필터

302: 버퍼 303: 오디오 디코더

310: 송신 장치 311: 추출 정보 부가부

312: TS 패킷화부 313: Sub_id 부가부

404: Sub_id 필터 제어부 405: Sub_id 필터

이하, 도 2 내지 도 19를 참조하여, 본 발명의 제1 실시예에 대하여 설명한다.

도 2는, 본 발명을 적용한 송수신 시스템의 전체의 구성예를 나타낸 도면이다.

상기 송수신 시스템(40)에는, 송신 장치(41)과 수신 장치(42)가 형성되어 있다. 송신 장치(41)는, 예를 들면, 방송국 등과 같이 복수개의 TS 패킷으로 이루어진 스트림을 송신하는 장치이며, 수신 장치(42)는, 예를 들면, 가정 내의 셋탑 박스 등의, 가정 내에 있어서 스트림을 수신하는 장치이다.

본 실시예에서는, 송신 장치(41)에서 오디오 스트림이 부호화되는 동시에, TS패킷화되어 송신되고, 수신 장치(42)에서, TS패킷가 수신되고, 복호되어 오디오 스트림이 취득된다.

도 3은, 도 2의 송신 장치(41)의 구성예를 나타낸 블록도이다.

송신 장치(41)에는, 입력부(71), 오디오 인코더(72), 기본 버퍼(73), 확장 버퍼(74-1 내지 74-n), 추출 정보 부가부(75), TS 패킷화부(76), 및 송신부(77)가 형성되어 있다. n은 1 이상의 임의의 자연수이다.

입력부(71)에는, 송신하는 오디오 스트림이 입력된다. 오디오 인코더(72)는, 오디오 스트림을 인코딩(부호화)한다. 도 3의 오디오 인코더(72)는, 제n단의 확장 오디오 스트림에 대응한 인코더이다. 즉 오디오 인코더(72)는, 오디오 스트림을, 기본 스트림 및 제1 단으로부터 제n 단까지의 복수 단계의 확장 오디오 스트림으로서 인코딩할 수 있다.

본 실시예에서는, 단수 n가 큰 값일수록, 확장성이 높고, 오디오의 재생 품질이 높아지고, 기능성이 높아진다. 오디오 인코더(72)는, 오디오 스트림을 기본 스트림과 제1 내지 제n 확장 스트림으로 인코딩하고, 각각 대응하는 기본 버퍼(73), 및 대응하는 단수의 확장 버퍼(74-1 내지 74-n)에 인코딩한 스트림을 공급한다. 예를 들면, 오디오 인코더(72)는, 코드한 기본 오디오 스트림(BS)을 기본 버퍼(73)에 공급하고, 인코딩 한 제1 확장 오디오 스트림(Ext1)을 확장 버퍼(74-1)에 공급하고, 인코딩한 제2 확장 오디오 스트림(Ext2)을 확장 버퍼(74-2)에 공급하고, 마찬가지로, 인코딩한 제n 확장 오디오 스트림(ExtN)을 확장 버퍼(74-n)에 공급한다. 여기서, 확장 오디오 스트림의 단수와 버퍼의 부호는 대응하고 있다. 그리고, 기본 오디오 스트림을 BS로 기술하고, 제1 내지 제n 확장 오디오 스트림을, 각각 Ext1 내지 ExtN으로 기술한다.

그리고, 본 실시예의 오디오 인코더(72)는, 오디오 스트림을, 기본 스트림 및 제1 내지 제n 확장 오디오 스트림으로 분리한 후, 각각을 인코딩하도록 해도 되고, 오디오 스트림을 인코딩한 결과, 기본 스트림 및 제1 내지 제n 확장 오디오 스트림이 출력되도록 해도 된다.

기본 버퍼(73)는, 기본 오디오 스트림을 저장(버퍼링)하고, 확장 버퍼(74-1 내지 74-n)는, 각각 제1 내지 제n 확장 오디오 스트림을 저장(버퍼링)한다. 그리고, TS 패킷화부(76)으로부터의 제어에 기초하여, 각각 기본 버퍼(73), 확장 버퍼(74-1 내지 74-n)에 저장되어 있는 오디오 스트림을 판독한다.

추출 정보 부가부(75)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림 중, 원하는 단수의 확장 오디오 스트림을 디코딩측에서 추출하기 위해, 추출 정보인 테이블을 생성한다. 상기 테이블에는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각각을 식별하는 ID(제1 실시예에 있어서는 PID(Packet Identification))와, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 관련시키는 정보가 기술되어 있다. 구체적으로는, 테이블은, PAT(Program Association Table)와 PMT(Program Map Table)에 의해 구성되어 있다. 그리고, 테이블의 상세한 것에 대해서는, 도 7과 도 8을 참조하여 후술한다. 추출 정보 부가부(75)는, 테이블을, TS 패킷화부(76)에 공급한다.

TS 패킷화부(76)는, 기본 버퍼(73), 및 확장 버퍼(74-1 내지 74-n)를 제어하여 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 취득하는 동시에, 추출 정보 부가부(75)로부터 공급된 테이블을 취득한다. 또 TS 패킷화부(76)는, 테이블을 TS 패킷화하거나, 테이블에 기초하여, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 각각 TS 패킷화한다(TS 패킷을 생성한다). 이 때, TS 패킷화부(76)는, 스트림의 종류(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림)를 식별하는 PID를 테이블에 기초하여 부가한다. TS 패킷화부(76)는, 생성한 TS 패킷을 송신부(77)에 공급한다. 송신부(77)는, TS 패킷을 송신한다. 이 때, 복수개의 TS 패킷이 연속하여 송신되므로, 결과로서(복수개의 TS 패킷으로 이루어진) 1개의 스트림이 송신되는 것이 된다.

상기 제1 실시예에 있어서는, PID는, MPEG의 TS를 구성하는 각 패킷(TS 패킷(트랜스포트 스트림 패킷))을 식별하기 위한 것이며, 각 패킷에는, 유일한 PID가 부여되도록 되어 있다. 즉, 수신 측의 수신 장치(42)에서, 원하는 단수의 확장 오디오 스트림의 패킷을 선택하기 위해서는, 그 패킷에 부여되어 있는 PID의 값이 필요하다.

다음에, 도 4와 도 5를 참조하여, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS(트랜스 보트 스트림)의 구조를 설명한다.

도 4의 예의 경우, TS는, 기본 오디오 스트림(81), 제1 확장 오디오 스트림(82-1) 내지 제n 확장 오디오 스트림(82-n)에 의해 구성되어 있다. 또한, 기본 오디오 스트림(81)과 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)은, 함께, 소정의 오디오 샘플수를 하나의 단위로 하여 부호화되어 있고, 각각의 단위마다 괄호로 나타낸 첨자로 단락지어 나타내고 있다. 구체적인 예로서는, 기본 오디오 스 트림(81)은, BS(1), BS(2), ···, BS(n)처럼, 복수개의 단위로 분리되어 부호화되어 있다. 또한, 첨자가 같은 것끼리, 예를 들면, BS(1), Ext1(1), Ext2(1), ·‥, ExtN(1)은, 동기하여 오디오 인코더(72)에 인코딩 되는 동시에, 동기하여 재생(디코딩)된다.

TS 패킷화부(76)는, 이들 기본 오디오 스트림(81)과 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)을, 도 5에 나타낸 바와 같이, 각각 별개의 PID(패킷 ID)의 TS 패킷으로 다중화한다. 하나의 TS 패킷에는, 예를 들면, 188바이트의 데이터가 저장된다.

도 5의 TS 스트림에는, PAT(Program Association Table)가 기재된 테이블의 TS 패킷(90), PMT(Program Map Table)가 기재된 테이블의 TS 패킷(91), PID = a0인 기본 오디오 스트림(BS)의 TS 패킷(92), PID = a1인 제1 확장 오디오 스트림(Ext1)의 TS 패킷(93-1), PID = a2인 제2 확장 오디오 스트림(Ext2)의 TS 패킷(93-2), ···, PID = aN인 제n 확장 오디오 스트림(ExtN)의 TS 패킷(93-n)이 포함되어 있다. 여기서, 테이블의 TS 패킷(91)은 소정의 주기마다 송신 장치(41)에 의해 송신되는 것이다.

본 실시예에서는, 재생 측의 수신 장치(42)는, 적어도, 기본 오디오 스트림(BS)을 디코딩하는 능력을 가진다고 가정한다. 또한, 재생 측의 수신 장치(42)가, 소정의 제m 단계(m은 1 이상의 자연수이며, m ≤ n이다)까지의 확장 오디오 스트림을 재생 가능한 경우, 수신 장치(42)는, 기본 오디오 스트림과 제1 내지 제m까지의 확장 오디오 스트림을 디코딩할 수 있다. 기본 오디오 스트림과 확장 오디오 스트림의 관계로서는, 예를 들어, n이 큰 값의 확장 오디오 스트림까지를 디코딩할 수 있는 만큼, 오디오의 재생 품질이 높아지거나, 기능성이 높아지게 된다.

다음에, 도 6의 흐름도를 참조하여, 도 3의 송신 장치(41)에서의, TS 패킷 송신 처리를 설명한다. 그리고, 이 처리는, 송신 장치(41)의 전원이 온되어 입력부(71)에 오디오 스트림이 입력되었을 때 개시된다.

스텝 S11에 있어서, 입력부(71)는 오디오 스트림의 입력을 받아들이고, 스텝 S12에 있어서, 받아들인 오디오 스트림을 오디오 인코더(72)에 출력한다.

스텝 S13에 있어서, 오디오 인코더(72)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 인코딩한다. 그 결과, 오디오 인코더(72)로부터는, 도 4에 나타내는 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림이, (세로로) 동기하여 출력된다.

스텝 S14에 있어서, 오디오 인코더(72)는, 인코딩한 오디오 스트림을 레벨(스트림의 종류)마다 나누어 각각 출력한다. 구체적으로는, 오디오 인코더(72)는, 인코딩 한 기본 오디오 스트림을 기본 버퍼(73)에 출력하고, 인코딩한 제1 확장 오디오 스트림을 확장 버퍼(74-1)에 출력하고, 인코딩한 제2 확장 오디오 스트림을 확장 버퍼(74-2)에 출력하고, 인코딩 한 제n 확장 오디오 스트림을 확장 버퍼(74-n)에 출력한다.

스텝 S15에 있어서, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)는, 인코딩된 오디오 스트림을 각각 저장한다(버퍼링한다).

스텝 S16에 있어서, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)는, 각각 소정의 타이밍에서 인코딩된 오디오 스트림을 출력한다. 그리고 실제로는, TS 패킷화부(76)가 각각의 버퍼(기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n))로부터 오디오 스트림을 판독하도록 제어하고 있다.

스텝 S17에 있어서, 추출 정보 부가부(75)는, 테이블을 생성하여, TS 패킷화부(76)에 공급한다. 구체적으로는, 추출 정보 부가부(75)는, 도 7 및 도 8에 나타낸 바와 같은 테이블을 생성하고, 이것을 TS 패킷화부(76)에 공급한다.

도 7에는, PAT(Program Association Table)가 기술되어 있다. 구체적으로는, program-number에 대한 PMT-PID가 각각 기술되어 있고, 도 7의 예의 경우, program-number 1에 대한 PMT-PID는 X이며, program-number 2에 대한 PMT-PID는 Y이다. 상기 PMT-PID의 값은, 도 8의 PMT(Program Map Table)에서 참조된다. 도 8에 있어서는, PID가 X의 경우의 stream-entry가 기술되어 있다. 구체적으로는, BASE_PID = aO, Ext1_PID = a1, Ext2_PID = a2, ···, ExtN_PID = aN으로 기술되어 있다. 도 7과 도 8에서는, 기본 오디오 스트림(BS)의 PID가 aO이며, 제1 확장 오디오 스트림 Ext1의 PID가 a1이며, 제2 확장 오디오 스트림 Ext2의 PID가 a2이며, 마찬가지로, 제n 확장 오디오 스트림 ExtN의 PID가 aN인 것을 알 수 있다. 이로써, 도 5에 나타낸 바와 같이, 인코딩 레벨에 대한 PID를 식별할 수 있다.

본 실시예에서는, PAT와 PMT는, 각각 상이한 TS 패킷으로서 송신된다. 즉, 도 5에 나타낸 바와 같이, PAT가 기재된 테이블의 TS 패킷(90)과 PMT가 기재된 테이블의 TS 패킷(91)으로서 송신된다.

도 6으로 되돌아와, 스텝 S18에 있어서, TS 패킷화부(76)는, TS 패킷 생성 처리를 실행한다. 그리고, 본 처리의 자세한 것은, 도 9를 참조하여 후술한다. TS 패킷화부(76)에 의해 생성된 TS 패킷은, 송신부(77)에 출력된다.

스텝 S19에 있어서, 송신부(77)는, TS 패킷(복수개의 TS 패킷으로 이루어진 오디오 스트림)을 수신 장치(42)에 대해서 송신한다. 구체적으로는, 테이블의 TS 패킷(90, 91), 기본 오디오 스트림의 TS 패킷(92), 제1 내지 제n 확장 오디오 스트림의 TS 패킷(93-1 내지 93-n)을 포함하는 스트림이 송신된다. 그 후, 처리는 종료된다. 본 실시예에서는, TS 패킷을 수신 장치(42)에 대해서 송신하도록 하였지만, 도시하지 않은 각종 기록 매체에 기억시키도록 해도 된다. 또한, 수신 장치(42)에 TS 패킷을 송신하는 경우에, 일단, 기록 매체에 기록하여, 그 기록 매체를 수신 장치(42)에 제공함으로써, 간접적으로 송신하도록 해도 된다.

다음에, 도 6의 스텝 S18의 TS 패킷 생성 처리를, 도 9의 흐름도를 참조하여 상세하게 설명한다.

스텝 S31에 있어서, TS 패킷화부(76)는, 테이블을 취득한다. 상기 테이블은, 도 6의 스텝 S17에서 생성된, 도 7 및 도 8에 나타낸 바와 같은 테이블이다. 즉, 테이블에는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각각을 식별하는 PID와, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각각을 식별하는 정보가 기재된 정보가 포함되어 있다.

스텝 S32에 있어서, TS 패킷화부(76)는, 테이블을 TS 패킷화하고(테이블에 기초하여 TS 패킷을 생성하고), 송신부(77)에 출력한다(그리고, 송신부(77)는 이것을 수신 장치(42)에 송신한다). 이에 따라, 도 5의 PAT가 기술된 TS 패킷(90), PMT가 기술된 TS 패킷(91)이 생성되고, 송신부(77)에 출력된다. 그리고, 이 처리에서는, 1회만 TS 패킷이 송신되도록 하였지만, 실제로는 소정의 시간마다 테이블이 기술된 TS 패킷이 송신된다. 이에 따라, 스트림의 도중에 수신 장치(42)가 수신하기 시작한 경우에도, 수신 장치(42)는, 테이블을 취득할 수 있기 때문에 확실하게 디코딩할 수 있다.

스텝 S33에 있어서, TS 패킷화부(76)는, 테이블에 기초하여, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)로부터의 오디오 스트림의 각각에 PID를 붙인다. 그리고, 테이블은 스텝 S31의 처리에서 TS 패킷화되어 송신되었지만, 여기서는, TS 패킷화부(76)가 보유하고 있는 것으로 한다. 이로써, 기본 오디오 스트림(BS)에 PID = aO가 부여되고, 제1 확장 오디오 스트림(Ext1)에 PID = a1가 부여되며, 제2 확장 오디오 스트림(Ext2)에 PID = a2가 첨부되고, 이하 마찬가지로 하여, 제n 확장 오디오 스트림(ExtN)에 PID = aN이 부여된다.

스텝 S34에 있어서, TS 패킷화부(76)는, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)로부터의 오디오 스트림에 기초하여, 각각 TS 패킷을 생성한다. 도 5에 나타낸 바와 같이, 이들 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림은, 각각 별개의 PID(패킷 ID)의 TS 패킷으로서 생성된다. 즉, 스트림의 종류를 판별하기 위한 PID가 TS 패킷에 부여된다.

스텝 S35에 있어서, TS 패킷화부(76)는, 생성한 TS 패킷을 송신부(77)에 출력한다. 그 후, 처리는 도 6의 스텝 S18로 되돌아온다.

도 6 및 도 9의 처리에 의해, 제n 확장 오디오 스트림을 인코딩할 수 있는 송신 장치(41)는, 인코딩한 데이터를, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림으로 나누는 것과 동시에, 테이블에 기초하여 PID를 부여하고, TS 패킷화하여 송신하는 동시에, 테이블을 TS 패킷화하여 송신한다. 환언하면, 스트림의 종류를 식별하는 PID가 부여된 복수개의 TS 패킷과 테이블의 TS 패킷을 포함하는 오디오 스트림이 수신 장치(42)에 송신된다.

송신 장치(41)가 송신하는 스트림에는, 기본 오디오 스트림을 구성하는 TS 패킷, 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷, 이들 TS 패킷을 식별하는 PID와 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 관련시키는 정보가 기재된 테이블의 TS 패킷이 포함되는 동시에, 기본 오디오 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷에는, 오디오 스트림의 종류를 식별하기 위한 PID가 부여되어 있으므로, 수신 측에서는, 자신의 처리 능력에 맞춘 디코딩를 행할 수 있다. 이하에서 수신 측의 수신 장치(42)에 대하여 설명한다.

도 10은, 도 2의 수신 장치(42)의 구성예를 나타낸 블록도이다.

수신 장치(42)는, 수신부(121), 오디오 스트림 처리부(122), 및 출력부(123)에 의해 구성되어 있다. 수신부(121)는 TS 패킷을 수신하고, 오디오 스트림 처리부(122)는 오디오 스트림에 대한 처리를 실행한다. 구체적으로는, 오디오 스트림 처리부(122)는, 수신한 TS 패킷을 디코딩하는 등, 오디오 스트림을 선택한다. 출력부(123)는, 오디오 스트림 처리부(122)에 의해 처리된 오디오 스트림을 출력한다.

상기 오디오 스트림 처리부(122)는, 그 디코딩 능력에 따라, 선택하는 오디오 스트림이 상이하게 된다. 이하, 상기 오디오 스트림 처리부(122)에 대하여 설명한다.

도 11은, 기본 오디오 스트림만을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)의 구성예를 나타낸 도면이다.

도 11의 오디오 스트림 처리부(122)에는, 입력부(151), 필터 제어부(152), PID 필터(153), 기본 버퍼(154), 및 오디오 디코더(155)가 형성되어 있다.

입력부(151)는, 도 10의 수신부(121)로부터 공급되는 오디오 스트림의 TS 패킷의 입력을 받아들인다. 입력부(151)는, 오디오 스트림의 TS 패킷 중, 테이블(도 7, 도 8에서 설명한 테이블)의 TS 패킷을 필터 제어부(152)에 공급하고, 그 이외의 TS 패킷(예를 들면, 도 5의 PID가 부여된 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷)을 PID 필터(153)에 공급한다. 또한, 예를 들면, 입력부(151)는, 수신부(121)에서 비디오 스트림과 오디오 스트림의 TS 패킷이 수신된 경우, 오디오 스트림의 TS 패킷만을 취득한다.

필터 제어부(152)는, 취득한 테이블에 기초하여, PID 필터(153)의 동작을 제어한다. 구체적으로는, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류를 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류를 판단한다. 그리고, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 PID를 테이블로부터 참조하고, 자신이 처리할 수 있는 스트림에 관련된 PID가 부여된 TS 패킷을 선택하도록 PID 필터(153)를 제어한다. 예를 들면, 필터 제어부(152)는, 디코딩할 수 있는 스트림의 종류에 관련된 PID의 번호를, 선택하는 PID의 번호로서 필터(153)에 통지한다.

PID 필터(153)는, 필터 제어부(152)로부터의 제어에 기초하여, TS 패킷을 선택한다(인출한다). 구체적으로는, 필터 제어부(152)로부터 통지된 PID에 기초하여, 같은 PID가 부여된 TS 패킷을 선택하고, 각각 대응하는 버퍼에 공급한다. 각 버퍼는, PID 필터(153)에 의해 선택된 TS 패킷을 저장(버퍼링)한다. 오디오 디코더(155)는, 각 버퍼에 저장되어 있는 TS 패킷을 취득하고, 이것을 디코딩한다.

도 11의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림에 대응하는 오디오 디코더(155)만을 가지고, 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 능력이 없다. 이 경우, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류가 기본 오디오 스트림만인 것을 기억하고 있고, 테이블로부터, 기본 오디오 스트림에 대응하는 PID를 참조한다. 이 경우, 오디오 스트림 처리부(122)는, BASE-PID가, 자신이 처리할 수 있는 스트림의 종류인 것으로 판단하고, 테이블로부터 PID = aO를 참조한다. 그리고, 필터 제어부(152)는, 디코딩할 수 있는 스트림의 PID가 부여된 TS 패킷을 선택하도록 PID 필터(153)를 제어한다. 예를 들면, 필터 제어부(152)는, 디코딩할 수 있는 스트림의 ID를 통과시켜도 되는 PID의 번호를 PID 필터(153)에 통지한다. PID 필터(153)는, 필터 제어부(152)로부터 통지된 PID, 즉 PID = a0에 기초하여, PID = a0가 부여된 TS 패킷을 선택하고, 이것을 기본 버퍼(154)에 공급한다. 이 때, 제1 내지 제n 확장 오디오 스트림의 TS 패킷이 공급될 경우, PID 필터(153)는, 그 패킷을 선택하지 않는다. 즉, PID = a0가 부여된 기본 오디오 스트림의 TS 패킷만 공급될 경우에, PID 필터(153)는, 그 TS 패킷을 선택하여, 후단의 기본 버퍼(154)에 공급한다.

기본 버퍼(154)는, PID 필터(153)에 의해 선택되고, 공급된 기본 오디오 스트림의 TS 패킷을 저장한다. 기본 버퍼(154)는, 수신 측의 TS 패킷의 동기를 취하고, 오디오 디코더(155)에 대한 동기를 취하기 위하여 동작한다. 도 11의 예에서는, 기본 버퍼(154)를 하나만 설치하였지만, 수신 측의 TS 패킷의 동기를 취하기 위한 버퍼와, 오디오 디코더(155)에 대한 동기를 취하기 위한 버퍼를 2개 직렬로 설치해도 된다. 오디오 디코더(155)는, 기본 오디오 스트림의 TS 패킷을 디코딩하고, 디코딩한 기본 오디오 스트림을 출력한다.

다음에, 도 12의 흐름도를 참조하여, 도 10의 수신 장치(42)에서의 TS 패킷 수신 처리를 설명한다. 그리고, 이 처리는, 수신 장치(42)에 TS 패킷을 수신하는 명령이 내려질 때 개시된다.

스텝 S51에 있어서, 수신 장치(42)의 수신부(121)는, TS 패킷(복수개의 TS 패킷으로 이루어진 스트림)을 수신한다. 상기 TS 패킷은, 예를 들면, 전술한 도 6의 스텝 S19의 처리에서, 송신 장치(41)에 의해 송신된 TS 패킷이 된다.

스텝 S52에 있어서, 수신부(121)는, 오디오 스트림의 TS 패킷을 추출하고, 오디오 스트림 처리부(122)에 공급한다. 예를 들면, 수신부(121)가 수신한 TS 패킷에 비디오 스트림의 TS 패킷이 포함되어 있었을 경우에는, 수신부(121)는, 오디오 스트림의 TS 패킷만을 추출하여, 오디오 스트림 처리부(122)에 공급한다.

스텝 S53에 있어서, 오디오 스트림 처리부(122)는, 오디오 스트림의 TS 패 킷(즉, 복수개의 TS 패킷으로 이루어진 오디오 스트림)을 오디오 스트림 처리부(122)의 디코딩 능력에 따라 디코딩 처리하는 오디오 스트림 처리를 실행한다. 이 처리의 상세한 설명은, 도 13을 참조하여 후술한다. 오디오 스트림 처리부(122)에 의해 오디오 스트림 처리된 오디오 스트림은, 출력부(123)에 공급된다.

스텝 S54에 있어서, 출력부(123)는, 디코딩된 오디오 스트림을 출력한다. 예를 들면, 도시하지 않은 스피커 등에 출력한다. 그 후, 처리는 종료된다.

도 12의 처리에 의해, TS 패킷이 수신되고, 오디오 스트림의 TS 패킷이 오디오 스트림 처리(디코딩)되어 출력된다.

다음에, 도 13의 흐름도를 참조하여, 도 12의 스텝 S53의 일례인, 기본 오디오 스트림 처리를 설명한다. 이 처리는, 도 11의 오디오 스트림 처리부(122)에 의해 실행되는 처리이다. 즉, 기본 오디오 스트림만을 디코딩할 수 있는 오디오 스트림 처리부(122)가 실행하는 처리이다.

스텝 S71에 있어서, 입력부(151)는 오디오 스트림의 TS 패킷(복수개의 TS 패킷으로 이루어진 오디오 스트림)의 입력을 받아들인다. 여기서, 오디오 스트림의 TS 패킷은, 전술한 도 6의 스텝 S19에서 송신 장치(41)에 의해 송신된, 테이블의 TS 패킷, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 포함하는 오디오 스트림을 나타내고 있다.

스텝 S72에 있어서, 입력부(151)는, 테이블의 TS 패킷을 필터 제어부(152)에 공급한다. 구체적으로는, 오디오 스트림의 TS 패킷에는, 테이블의 TS 패킷, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷이 포함되 어 있으므로, 입력부(151)는, 이들 TS 패킷 중, 테이블의 TS 패킷을 필터 제어부(152)에 공급한다.

스텝 S73에 있어서, 입력부(151)는, PID가 부여되어 있는 TS 패킷을 PID 필터(153)에 공급한다. 구체적으로는, 도 5에 있어서, PID가 부여되어 있는 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 PID 필터(153)에 공급한다.

스텝 S74에 있어서, 필터 제어부(152)는, 테이블을 참조하여, 오디오 디코더(155)가 처리할 수 있는 스트림의 종류를 판단한다. 구체적으로는, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류가 기본 오디오 스트림인 것을 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류를 판단한다. 그리고, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 PID를 테이블로부터 참조하고, 자신이 처리할 수 있는 기본 스트림에 관련된 PID = a0가 부여된 TS 패킷을 선택하도록 PID 필터(153)를 제어한다.

스텝 S75에 있어서, PID 필터(153)는, 필터 제어부(152)로부터의 제어(판단)에 기초하여, 대응하는 TS 패킷을 선택하고, 기본 버퍼(154)에 공급한다. 구체적으로는, 필터 제어부(152)로부터의 제어에 기초하여, PID 필터(153)는, PID = aO인 TS 패킷, 즉, 기본 오디오 스트림의 TS 패킷을 선택하고, 이것을 기본 버퍼(154)에 공급한다.

스텝 S76에 있어서, 기본 버퍼(154)는 공급된 TS 패킷을 저장한다. 이 때 저장된 TS 패킷은, 기본 오디오 스트림의 TS 패킷이다.

스텝 S77에 있어서, 기본 버퍼(154)는, 소정의 타이밍에서 TS 패킷을 오디오 디코더(155)에 출력한다.

스텝 S78에 있어서 오디오 디코더(155)는, 공급된 기본 오디오 스트림의 TS 패킷을 디코딩하고, 스텝 S79에 있어서 디코딩한 오디오 스트림을 출력한다.

이와 같이, TS 패킷에, PID가 부여되어 있는 동시에, 테이블에 PID와 TS 패킷의 종류(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷)의 관계가 기재되어 있으므로, 도 11에 나타낸 바와 같은 기본 오디오 스트림만을 디코딩할 수 있는 오디오 스트림 처리부(122)(수신 장치(42))에서도, 기본 오디오 스트림에 대응하는 TS 패킷만을 선택하여 디코딩할 수 있다. 즉, 복수 단계로 확장된 오디오 스트림이 송신되는 경우에도, 도 11의 오디오 스트림 처리부(122)를 구비하는 수신 장치(142)에 있어서는, 기본 오디오 스트림만을 선택하여, 재생할 수 있다.

다음에, 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)에 대하여, 도 14를 참조하여 설명한다.

도 14는, 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)의 구성예를 나타낸 도면이다. 도면 중, 도 11과 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 반복되는 설명은 생략한다.

도 14의 오디오 스트림 처리부(122)는, 도 11의 오디오 스트림 처리부(122) 에, 제1 확장 버퍼(202)를 부가하여, 오디오 디코더(203)이 기본 오디오 스트림 뿐만 아니라, 제1 확장 오디오 스트림도 디코딩할 수 있도록 하는 것이다. 또한, PID 필터(153)는, 기본 오디오 스트림뿐만 아니라, 제1 확장 오디오 스트림도 추출 가능하다.

도 14의 오디오 스트림 처리부(122)에는, 입력부(151), 필터 제어부(152), PID 필터(201), 기본 버퍼(154), 제1 확장 버퍼(202), 및 오디오 디코더(203)가 형성되어 있다.

필터 제어부(152)는, 테이블에 기초하여, PID 필터(201)의 동작을 제어한다. 구체적으로는, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류를 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류를 판단한다. 그리고, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 PID를 테이블로부터 참조하고, 자신이 처리할 수 있는 스트림에 관련된 PID가 부여된 TS 패킷을 선택하도록 PID 필터(201)를 제어한다. 도 14의 예의 경우, 필터 제어부(152)는, PID = a0가 부여된 TS 패킷을 기본 버퍼(154)에 공급하도록 제어하면서, PID = a1가 부여된 TS 패킷을 제1 확장 버퍼(202)에 공급하도록 제어한다. PID 필터(201)는, 필터 제어부(152)로부터의 제어에 기초하여, TS 패킷을 선택한다. 즉, PID 필터(201)는, PID = a0가 부여된 TS 패킷을 선택하여 기본 버퍼(154)에 공급하고, PID = a1가 부여된 TS 패킷을 선택하여 제1 확장 버퍼(202)에 공급한다.

기본 버퍼(154)는, PID 필터(201)에 의해 선택된 기본 오디오 스트림의 TS 패킷을 저장(버퍼링)하고, 제1 확장 버퍼(202)는, PID 필터(201)에 의해 선택된 제 1 확장 오디오 스트림의 TS 패킷을 저장한다. 오디오 디코더(203)는, 기본 버퍼(154)와 제1 확장 버퍼(202)에 저장되어 있는 TS 패킷을 취득하고, 이를 디코딩한다.

도 14의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림과 제1 확장 오디오 스트림에 대응하는 오디오 디코더(203)를 가지고, 제2 내지 제n 확장 오디오 스트림을 디코딩할 능력이 없다. 이 경우, PID 필터(201)는, 필터 제어부(152)로부터의 제어(필터 제어부(152)의 판단)에 기초하여, PID = aO의 TS 패킷과 PID = a1의 TS 패킷을 선택한다. 즉, 제2 내지 제n 확장 오디오 스트림의 TS 패킷이 공급될 경우, PID 필터(201)는, 그 패킷을 선택하지 않고, PID = a0가 부여된 기본 오디오 스트림의 TS 패킷이 공급될 경우, 그 패킷을 선택하여, 후단의 기본 버퍼(154)에 공급하고, PID = a1가 부여된 제1 확장 오디오 스트림의 TS 패킷이 공급될 경우, 그 패킷을 선택하여, 후단의 제1 확장 버퍼(202)에 공급한다.

기본 버퍼(154)는, PID 필터(201)에 의해 선택되고, 공급된 기본 오디오 스트림의 TS 패킷(PID = aO)을 저장한다. 기본 버퍼(154)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(203)에 대한 동기를 취하기 위하여 동작한다. 제1 확장 버퍼(202)는, PID 필터(201)에 의해 선택되고, 공급된 제1 확장 오디오 스트림의 TS 패킷(PID = a1)을 저장한다. 제1 확장 버퍼(202)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(203)에 대한 동기를 취하기 위하여 동작한다. 그리고, 도 14의 예에서는, 기본 버퍼(154), 확장 버퍼(202)를 하나씩 설치하였지만, 수신 측의 TS 패킷의 동기를 취하기 위한 버퍼와, 오디오 디코더(203)에 대한 동기를 취하기 위한 버퍼를 각각 2개 직렬로 설치할 수도 있다. 오디오 디코더(203)는, 기본 오디오 스트림의 TS 패킷과 제1 확장 오디오 스트림의 TS 패킷을 디코딩하고, 디코딩한 기본 오디오 스트림과 제1 확장 오디오 스트림을 출력한다.

이와 같이, 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호(디코딩) 가능한 수신 장치(42)(도 14의 오디오 스트림 처리부(122))에 있어서는, 기본 오디오 스트림과 제1 확장 오디오 스트림만을 분리하여 재생할 수 있다.

다음에, 기본 오디오 스트림 및 제1 및 제2 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)에 대하여, 도 15를 참조하여 설명한다.

도 15는, 기본 오디오 스트림과 제1, 제2 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)의 구성예를 나타낸 도면이다. 도면 중, 도 11 및 도 14와 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 그에 대한 반복 설명은 생략한다.

도 15의 오디오 스트림 처리부(122)는, 도 14의 제1 확장 버퍼(202)를 제1 확장 버퍼(202-1)로 설정하고, 제2 확장 버퍼(202-2)를 부가하여, 오디오 디코더(232)가 기본 오디오 스트림과 제1 확장 오디오 스트림 뿐만 아니라, 제2 확장 오디오 스트림도 디코딩 가능하도록 하는 것이다. 또한, PID 필터(231)는, 기본 오디오 스트림 및 제1 및 제2 확장 오디오 스트림도 추출할 수 있게 한다.

도 15의 오디오 스트림 처리부(122)에는, 입력부(151), 필터 제어부(152), PID 필터(231), 기본 버퍼(154), 제1 확장 버퍼(202-1), 제2 확장 버퍼(202-2), 및 오디오 디코더(232)가 형성되어 있다.

필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류를 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류를 판단한다. 그리고, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 PID를 테이블로부터 참조하고, 자신이 처리할 수 있는 스트림에 관련된 PID가 부여된 TS 패킷을 선택하도록 PID 필터(231)를 제어한다. 도 15의 예의 경우, 필터 제어부(152)는, PID = aO가 부여된 TS 패킷을 기본 버퍼(154)에 공급하도록 제어하고, PID = a1가 부여된 TS 패킷을 제1 확장 버퍼(202-1)에 공급하도록 제어하고, PID = a2가 부여된 TS 패킷을 제2 확장 버퍼(202-2)에 공급하도록 제어한다. PID 필터(231)는, 필터 제어부(152)로부터의 제어에 기초하여, TS 패킷을 선택한다. 즉, PID 필터(231)는, PID = a0가 부여된 TS 패킷을 선택하여 기본 버퍼(154)에 공급하고, PID = a1이 부여된 TS 패킷을 선택하여 제1 확장 버퍼(202-1)에 공급하고, PID = a2가 부여된 TS 패킷을 선택하여 제2 확장 버퍼(202-2)에 공급한다.

제2 확장 버퍼(202-2)는, PID 필터(231)에 의해 선택된 제2 확장 오디오 스트림의 TS 패킷을 저장한다. 오디오 디코더(232)는, 기본 버퍼(154), 제1, 제2 확장 버퍼(202-1, 202-2)에 저장되어 있는 TS 패킷을 취득하고, 이것을 디코딩한다.

도 15의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림 및 제1, 제2 확장 오디오 스트림에 대응하는 오디오 디코더(232)를 가지며, 제3 내지 제n 확장 오디오 스트림을 디코딩할 능력이 없다. 이 경우, PID 필터(231)는, 필터 제어부(152)로부터의 제어에 기초하여, PID = a0의 TS 패킷, PID = a1의 TS 패 킷, 및 PID = a2의 TS 패킷을 인출한다(선택한다). 즉, 제3 내지 제n 확장 오디오 스트림의 TS 패킷이 공급될 경우, PID 필터(231)는 그 패킷을 선택하지 않고, PID = a0가 부여된 기본 오디오 스트림의 TS 패킷이 공급될 경우, 그 패킷을 선택하여, 후단의 기본 버퍼(154)에 공급하고, PID = a1가 부여된 제1의 확장 오디오 스트림의 TS 패킷이 공급될 경우, 그 패킷을 선택하여, 후단의 제1 확장 버퍼(202-1)에 공급하고, PID = a2가 부여된 제2 확장 오디오 스트림의 TS 패킷이 공급될 경우, 그 패킷을 선택하여, 후단의 제2 확장 버퍼(202-2)에 공급한다.

기본 버퍼(154)는, PID 필터(231)에 의해 선택되고, 공급된 기본 오디오 스트림의 TS 패킷(PID = a0)을 저장한다. 기본 버퍼(154)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(232)에 대한 동기를 취하기 위하여 동작한다. 제1 확장 버퍼(202-1)는, PID 필터(231)에 의해 선택되고, 공급된 제1 확장 오디오 스트림의 TS 패킷(PID = a1)을 저장한다. 제1 확장 버퍼(202-1)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(232)에 대한 동기를 취하기 위하여 동작한다. 제2 확장 버퍼(202-2)는, PID 필터(231)에 의해 선택되고, 공급된 제2 확장 오디오 스트림의 TS 패킷(PID = a2)을 저장한다. 제1 확장 버퍼(202-2)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(232)에 대한 동기를 취하기 위하여 동작한다.

그리고, 도 15의 예에서는, 기본 버퍼(154), 확장 버퍼(202-1 및 202-2)를 하나씩 설치하였지만, 수신 측의 TS 패킷의 동기를 취하기 위한 버퍼와, 오디오 디코더(232)에 대한 동기를 취하기 위한 버퍼를 각각 2개 직렬로 설치할 수도 있다. 오디오 디코더(232)는, 기본 오디오 스트림의 TS 패킷 및 제1, 제2 확장 오디오 스트림의 TS 패킷을 디코딩하고, 디코딩한 기본 오디오 스트림 및 제1, 제2 확장 오디오 스트림을 출력한다.

이와 같이, 기본 오디오 스트림 및 제1, 제2 확장 오디오 스트림을 복호(디코딩)할 수 있는 수신 장치(42)(도 15의 오디오 스트림 처리부 122)에 있어서는, 기본 오디오 스트림 및 제1, 제2 확장 오디오 스트림 만을 분리하여 재생할 수 있다.

다음에, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)에 대하여, 도 16을 참조하여 설명한다.

도 16은, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 디코더를 가지는 오디오 스트림 처리부(122)의 구성예를 나타낸 도면이다. 도면 중, 도 15과 대응하는 부분에 대하여는, 동일한 부여하고 있고, 그에 대한 반복 설명은 생략한다.

도 16의 오디오 스트림 처리부(122)는, 도 15에 제3 내지 제n 확장 버퍼(202-3 내지 202-n)를 부가하여, 오디오 디코더(262)가 기본 오디오 스트림 및 제1, 제2 확장 오디오 스트림 뿐만 아니라, 제3 내지 제n 확장 오디오 스트림도 디코딩할 수 있게 하는 것이다. 또한, PID 필터(261)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림도 추출 가능하게 한다.

도 16의 오디오 스트림 처리부(122)에는, 입력부(151), 필터 제어부(152), PID 필터(261), 기본 버퍼(154), 제1 내지 제n 확장 버퍼(202-1 내지 202-n), 및 오디오 디코더(262)가 형성되어 있다.

필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류로서 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류를 판단한다. 그리고, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 PID를 테이블로부터 참조하고, 자신이 처리할 수 있는 스트림에 관련된 PID가 부여된 TS 패킷을 선택하도록 PID 필터(261)를 제어한다. 도 16의 예의 경우, 필터 제어부(152)는, PID = a0가 부여된 TS 패킷을 기본 버퍼(154)에 공급하도록 제어하고, PID = a1가 부여된 TS 패킷을 제1 확장 버퍼(202-1)에 공급하도록 제어하고, PID = a2가 부여된 TS 패킷을 제2 확장 버퍼(202-2)에 공급하도록 제어하고, 마찬가지로 하여, PID = aN이 부여된 TS 패킷을 제n 확장 버퍼(202-n)에 공급하도록 제어한다. PID 필터(261)는, 필터 제어부(152)로부터의 제어에 기초하여, TS 패킷을 선택한다. 즉, PID 필터(261)은, PID = a0가 부여된 TS 패킷을 선택하여 기본 버퍼(154)에 공급하고, PID = a1가 부여된 TS 패킷을 선택하여 제1 확장 버퍼(202-1)에 공급하고, PID = a2가 부여된 TS 패킷을 선택하여 제2 확장 버퍼(202-2)에 공급하고, 마찬가지로 하여, PID=aN가 부여된 TS 패킷을 선택하여 제n 확장 버퍼(202-n)에 공급한다.

제3 내지 제n 확장 버퍼(202-3 내지 202-n)는, PID 필터(261)에 의해 선택된 제3 내지 제n 확장 오디오 스트림의 TS 패킷을 각각 저장한다. 오디오 디코더(262)는, 기본 버퍼(154), 제1 내지 제n 확장 버퍼(202-1 내지 202-n)에 저장되 어 있는 TS 패킷을 취득하고, 이것을 디코딩한다.

도 16의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림에 대응하는 오디오 디코더(262)를 가지고 있다. 즉, 수신된 제n까지의 확장 오디오 스트림을 모두 디코딩하는 능력을 가진다. 이 경우, PID 필터(261)는, 필터 제어부(152)로부터의 제어에 기초하여, PID = a0 내지 aN의 TS 패킷을 선택하고, 각각 대응하는 버퍼(기본 버퍼(154) 및 제1 내지 제n 확장 버퍼(202-1 내지 202-n))에 공급한다.

기본 버퍼(154)는, PID 필터(261)에 의해 선택되고, 공급된 기본 오디오 스트림의 TS 패킷(PID = a0)을 저장한다. 기본 버퍼(154)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(262)에 대한 동기를 취하기 위하여 동작한다. 제1 확장 버퍼(202-1)는, PID 필터(261)에 의해 선택되고, 공급된 제1 확장 오디오 스트림의 TS 패킷(PID = a1)을 저장한다. 제1 확장 버퍼(202-1)는, 수신 측의 TS 패킷의 동기를 취하면서, 오디오 디코더(262)에 대한 동기를 취하기 위하여 동작한다. 제2 확장 버퍼(202-2)는, PID 필터(261)에 의해 선택되고, 공급된 제2 확장 오디오 스트림의 TS 패킷(PID = a2)을 저장한다. 제2 확장 버퍼(202-2)는, 수신 측의 TS 패킷의 동기를 취하고, 또한, 오디오 디코더(262)에 대한 동기를 취하기 위하여 동작한다. 마찬가지로 하여, 제n 확장 버퍼(202-n)는, PID 필터(261)에 의해 선택되고, 공급된 제n 확장 오디오 스트림의 TS 패킷(PID = aN)을 저장한다. 제n 확장 버퍼(202-n)는, 수신 측의 TS 패킷의 동기를 취하고, 또한, 오디오 디코더(262)에 대한 동기를 취하기 위하여 동작한다. 그리고, 도 16의 예에서는, 기본 버퍼(154), 확장 버퍼(202-1 내지 202-n)를 하나씩 설치하도록 하였지만, 수신 측의 TS 패킷의 동기를 취하기 위한 버퍼와, 오디오 디코더(262)에 대한 동기를 취하기 위한 버퍼를 각각 2개 직렬로 설치할 수도 있다. 오디오 디코더(262)는, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 디코딩하고, 디코딩한 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 출력한다.

다음에, 도 17의 흐름도를 참조하여, 도 12의 스텝 S53의 일례인, 제n단의 오디오 스트림 처리를 설명한다. 이 처리는, 도 16의 오디오 스트림 처리부(122)에 의해 실행되는 처리이다. 즉, 기본 오디오 스트림에 더하여 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 오디오 스트림 처리부(122)가 실행하는 처리이다.

스텝 S91에 있어서, 입력부(151)는 오디오 스트림의 TS 패킷의 입력(복수개의 TS 패킷으로 이루어진 오디오 스트림)을 받아들인다. 상기 오디오 스트림의 TS 패킷은, 전술한 도 6의 스텝 S19에서 송신 장치(41)에 의해 송신된, 테이블의 TS 패킷, 기본 오디오 스트림 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 포함하는 오디오 스트림이다.

스텝 S92에 있어서, 입력부(151)는, 테이블의 TS 패킷을 필터 제어부(152)에 공급한다. 구체적으로는, 오디오 스트림의 TS 패킷에는, 테이블의 TS 패킷, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷이 포함되어 있으므로, 입력부(151)는, 이들 TS 패킷 중, 테이블의 TS 패킷을 필터 제어 부(152)에 공급한다.

스텝 S93에 있어서, 입력부(151)는, PID가 부여되어 있는 TS 패킷을 PID 필터(261)에 공급한다. 구체적으로는, 도 5에 있어서, PID가 부여되어 있는 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 PID 필터(261)에 공급한다.

스텝 S94에 있어서, 필터 제어부(152)는, 테이블을 참조하여, 오디오 디코더(262)가 처리할 수 있는 스트림의 종류를 판단한다. 구체적으로는, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류가, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림인 것을 기억하고 있고, 테이블에 기초하여, 자신이 처리할 수 있는 스트림의 종류, 즉, 테이블 중 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 판단한다. 환언하면, 필터 제어부(152)는, 자신이 처리할 수 있는 스트림의 종류를, 테이블을 참조하여 판단하고, 그 스트림에 관련된 PID를 자신이 처리할 수 있는 스트림의 종류라고 판단한다. 또한, 필터 제어부(152)는, 기본 스트림에 관련된 PID = a0가 부여된 TS 패킷, 제1 내지 제n 확장 오디오 스트림에 관련된 PID = a1 내지 aN이 부여된 TS 패킷을 선택하도록 PID 필터(261)를 제어한다.

이와 같이, 필터 제어부(152)는, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 각각 기본 버퍼(154) 및 제1 내지 제n 확장 버퍼(202-1 내지 202-n)에 공급하도록 PID 필터(261)를 제어한다. 도 17의 처리의 경우, 오디오 디코더(262)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스 트림을 디코딩하는 능력을 가지고 있으므로, 필터 제어부(152)는, PID = a0, a1, a2, ··, aN이 부여된 TS 패킷을 각각 대응하는 버퍼에 공급하도록, PID 필터(261)를 제어한다.

스텝 S95에 있어서, PID 필터(261)는, 필터 제어부(152)로부터의 판단(자신이 처리할 수 있는 것으로 판단된 스트림의 종류)에 기초하여, 스위치를 선택하고, 대응하는 TS 패킷을 후단의 버퍼에 공급한다. 구체적으로는, PID 필터(261)는, PID = a0인 TS 패킷, 즉, 기본 오디오 스트림의 TS 패킷을 스위치로 선택하고, 후단의 기본 버퍼(154)에 공급한다. 또한, PID 필터(261)는, PID = a1 내지 aN인 TS 패킷, 즉, 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 스위치로 선택하고, 후단의 제1 내지 제n 확장 버퍼(202-1 내지 202-n)에 각각 공급한다.

스텝 S96에 있어서, 기본 버퍼(154) 및 제1 내지 제n 확장 버퍼(202-1 내지 202-n)는, 공급된 TS 패킷을 각각 저장한다.

스텝 S97에 있어서, 기본 버퍼(154) 및 제1 내지 제n 확장 버퍼(202-1 내지 202-n)는, 소정의 타이밍에서 TS 패킷을 오디오 디코더(262)에 출력한다.

스텝 S98에 있어서, 오디오 디코더(262)는, 공급된 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 디코딩하고, 스텝 S99에 있어서 디코딩한 오디오 스트림을 출력한다.

이와 같이, 수신하는 스트림에는, 기본 오디오 스트림을 구성하는 TS 패킷, 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷, 이들 TS 패킷을 식별하는 PID와 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 관련시키는 정보가 기재된 테이블의 TS 패킷이 포함되는 동시에, 기본 오디오 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷에는, 오디오 스트림의 종류를 식별하기 위한 PID가 부여되어 있으므로, 도 16에 나타낸 바와 같은 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 오디오 스트림 처리부(122)(수신 장치(42))에 있어서도, 디코딩를 행할 수 있다.

그리고, 기본 오디오 스트림 및 제1 내지 제m(m은 1 이상 n 이하의 자연수) 확장 오디오 스트림을 복호(디코딩)할 수 있는 수신 장치(42)에 있어서는, 기본 오디오 스트림 및 제1 내지 제m 확장 오디오 스트림을 분리하여 재생할 수 있다.

다음에, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 복호할 수 있는 오디오 스트림 처리부(122)를 구비한 수신 장치(42)의 다른 구성예를 설명한다. 도 18은, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 복호하는 오디오 스트림 처리부(122)의 구성예를 나타낸 도면이다.

도 18의 오디오 스트림 처리부(122)에서는, TS의 다중화 방법에 제한이 가해진다. 구체적으로는, TS 중, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 순서로, 동기하여 재생되는 부호화의 단위가 배열되어 부호화되어야 한다. 즉, TS 중, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···ExtN(2)의 순서대로 배열되어 부호화되어야 한다. 환언하면, 수신 장치(42)의 수신부(121)에 의해 수신된 TS 패킷은, 도 19에 나타낸 바와 같이, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···ExtN(2)의 순으로 입력부(151)에 입력되고, 입력부(151)는, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···ExtN(2)의 순으로 PID 필터(301)에 TS 패킷을 공급한다. 즉, 전체의 스트림에 포함되는, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷은, 동일한 시각에 재생되는 TS 패킷이 연속적이며, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열되어 있다(인코더 측의 송신 장치(41)가, 이 순서로 배열되어 TS 패킷을 출력하고 있다).

그리고, 기본 오디오 스트림의 각각의 동기 단위에 대응하는 확장 오디오 스트림의 동기 단위는, 반드시 존재할 필요는 없다. 예를 들면, 전체의 스트림이, 기본 오디오 스트림과 제1 확장 스트림으로 구성될 때, 기본 오디오 스트림의 각각의 동기 단위에 대응하는 확장 오디오 스트림의 동기 단위가 모두 존재하는 경우는, BS(1), Ext1(1), BS(2), Ext1(2), BS(3), Ext1(3), ···과 같이 TS 패킷이 배열되지만, 예를 들면, BS(2)에 대응하는 Ext1(2)가 존재하지 않는 경우는, 도 37에 나타낸 바와 같이, BS(1), Ext1(1), BS(2), BS(3), Ext1(3), ···과 같이 TS 패킷이 배열된다.

즉, 오디오 스트림에는, 적어도 기본 오디오 스트림을 구성하는 TS 패킷이 포함되고, 기본 오디오 스트림의 각각의 동기 단위에 대응하는 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷의 개수가 가변이 되어 더 포함된다. 환언하면, 1개의 오디오 스트림에는, 적어도 기본 오디오 스트림이 포함되는 동시에, 제1 내지 제n 확장 오디오 스트림이 포함될 수 있다. 또한, 기본 오디오 스트림의 각각의 동기 단위(동일한 시각에 재생되는 소정의 단위)에 대응하는 제1 내지 제n 확장 오디오 스트림 중 어느 하나의 동기 단위가 존재하는 경우에는, 그 동기 단위에 있 어서 제1 내지 제n 확장 오디오 스트림 중 존재하는 확장 스트림이 인코딩된다. 그 결과, 기본 오디오 스트림은, 오디오 스트림 전체에 걸쳐서 포함되지만, 확장 오디오 스트림을 구성하는 TS 패킷의 개수는 가변이 된다(제1 확장 오디오 스트림에 대응하는 TS 패킷만이 포함되거나, 제1 내지 제3 확장 오디오 스트림에 대응하는 각각의 TS 패킷이 포함된다).

이와 같은 부호화 방법은, 오디오 스트림을 가변 비트 레이트로 부호화하는 경우에, 오리지널의 오디오 신호의 정보량이 적은 부분(시간 구간)에서, 기본 스트림의 정보만으로 충분하며, 확장 스트림의 정보가 필요없는 경우에 사용된다. 확장 스트림의 정보가 존재하지 않는 시간 구간의 비트 레이트는 절약된다. 도 18의 오디오 스트림 처리부(122)에는, 입력부(151), 필터 제어부(152), PID 필터(301), 버퍼(302), 및 오디오 디코더(303)가 형성되어 있다. 필터 제어부(152)는, PID = a0 내지 aN이 부여된 TS 패킷을 버퍼(302)에 공급하도록 PID 필터(301)를 제어한다. PID 필터(301)는, 필터 제어부(152)로부터의 제어에 기초하여, TS 패킷을 선택한다. 즉, PID 필터(301)은, PID = a0 내지 aN이 부여된 TS 패킷을 차례로 버퍼(302)에 공급한다. 이 때, TS 중, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···ExtN(2)의 순서대로 배열되어 부호화되어 있으므로, PID 필터(301)는, TS 중, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···ExtN(2)의 순서로, TS 패킷을 버퍼(302)에 공급한다.

버퍼(302)는, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 배열되어 공급된 TS 패킷을 저장한다. 오디오 디코더(303)는, 버퍼(302)에 저장되어 있는 TS 패킷을 취득하고, 이것을 디코딩한다.

도 18의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림에 대응하는 오디오 디코더(303)를 가지고 있다. 즉, 수신된 기본 오디오 스트림 및 제1 내지 제n까지의 확장 오디오 스트림을 모두 디코딩하는 능력을 가진다. 이 경우, PID 필터(301)는, 필터 제어부(152)로부터의 제어에 기초하여, PID = a0 내지 aN의 TS 패킷을 선택하여, 버퍼(302)에 공급한다.

버퍼(302)는, PID 필터(301)에 의해 차례로 선택되고, 공급된 오디오 스트림의 TS 패킷(PID = a0 내지 aN)을 저장한다. 버퍼(302)는, 수신 측의 TS 패킷의 동기를 취하는 동시에, 오디오 디코더(303)에 대한 동기를 취하기 위하여 동작한다. 그리고, 도 18의 예에서는, 버퍼(3Q)2를 하나 설치하였지만, 수신 측의 TS 패킷의 동기를 취하기 위한 버퍼와, 오디오 디코더(303)에 대한 동기를 취하기 위한 버퍼를 2개를 직렬로 설치할 수도 있다. 오디오 디코더(303)는, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 차례로 디코딩하고, 디코딩한 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 출력한다.

도 18에 따르면, 버퍼의 수를 도 16보다 적게 설정할 수 있고, 따라서 저비용으로 구성할 수 있다. 또한, 도 16에서는, 도 18에 비해 버퍼의 수는 많지만, 부호화의 TS 패킷의 순서에 제한이 없는 이점이 있다.

이상, 제1 실시예에 따르면, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림의 다중화 스트림으로부터 오디오를 재생하는 경우에, 기본 오디오 스트림에만 복호 능력을 가진 수신 장치(42)(예를 들면, 도 11의 오디오 스트림 처리 부(122)를 가지는 수신 장치(42))에서는 기본 오디오 스트림만을 분리하여 재생할 수 있고, 소정의 단계 n의 확장 오디오 스트림까지의 재생 능력을 가진 재생 장치(42)(예를 들면, 도 16의 오디오 스트림 처리부(122)를 가지는 수신 장치(42))에서는, 기본과 그 단계 n까지의 확장 오디오 스트림을 분리하여 재생할 수 있도록, 다중화 스트림의 부호화 및 복호 방법을 제공하는 것이 가능하다.

즉, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 포함하는 스트림을 수신 측의 처리 능력에 따라 디코딩 가능하도록 인코딩할 수 있다. 환언하면, 수신 측의 장치는, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 포함하는 스트림이 송신될 경우에, 자신이 처리할 수 있는 스트림의 종류를 판단하고, 자신이 처리할 수 있는 스트림만을 디코딩하여 재생할 수 있다.

또한, 각 TS 패킷에 PID를 부여함과 동시에 테이블을 부가하면 되므로, 트랜스포트 스트림에 용이하게 적용할 수 있다.

이상, 본 발명의 제1 실시예에서는, MPEG-TS를 구성하는 각 패킷(TS 패킷을 식별하기 위해 PID를 사용하도록 하고, 이 PID에 기초하여, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각각을 식별하도록 하였지만, 이하에서, MPEG-TS를 구성하는 각 패킷(TS 패킷)을 식별하기 위해 Sub_id를 사용하도록 하고, Sub_id에 기초하여, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각각을 식별하는 경우의 예를, 도 20 내지 도 35에 따라서, 본 발명의 제2 실시예로서 설명한다. 그리고, 제1 실시예와 중복되는 실시예에 대하여는, 적절하게, 제1 실시예(도 1 내지 도 19)를 참조하여 설명한다.

제2 실시예의 송수신 시스템은, 전술한 도 2의 송수신 시스템(40)과 동일하다. 이하에서, 본 실시예의 송수신 시스템(40)의 송신 장치와 수신 장치의 구성예에 대하여 설명한다.

도 20은, 본 발명의 제2 실시예에 따른 송신 장치의 구성예를 나타낸 블록도이다.

송신 장치(310)에는, 입력부(71), 오디오 인코더(72), 기본 버퍼(73), 확장 버퍼(74-1 내지 74-n), 및 송신부(77) 외에, 추출 정보 부가부(311) 및 TS 패킷화부(312)가 형성되어 있다. 그리고, n은 1 이상의 임의의 자연수((1 이상의 정수치)이다. 또한, 도면 중, 도 3과 대응하는 부분에 대하여는, 동일한 부호를 부여하고, 그에 대한 상세한 설명은 생략한다. 즉, 입력부(71), 오디오 인코더(72), 기본 버퍼(73), 및 확장 버퍼(74-1 내지 74-n), 및 송신부(77)의 각 부는, 전술한 도 3의 각 부와 동이한 기능을 가진다.

추출 정보 부가부(311)는, 디코딩 측에서 하나의 오디오 스트림을 추출하기 위하여, 추출 정보인 테이블(PAT와 PMT)을 생성한다. 여기서, 하나의 오디오 스트림의 예로서는, 소정의 영화(컨텐츠)의 일본어 음성이거나 영어 음성이 될 수 있다. 상기 테이블에서는, 소정 종류의 오디오 스트림을 정의하고 있다. 예를 들면, 추출 정보 부가부(311)는, 전술한 도 7에 나타내는 PAT와, 도 21에 나타내는 PMT를 생성하고, TS 패킷화부(312)에 공급한다.

도 21은, 트랜스포트 스트림(TS)의 PMT의 예를 나타낸 도면이다. 전술한 도 8(제1 실시예)에서는, stream_entry()에, 복수의 PID가 기술(엔트리)되어 있지만, 도 21의 예에서는, 오디오 스트림의 부호화 방식을 나타낸 Audio_stream_type(부호화 타입을 나타낸 정보)와 하나의 PID가 기술된다. 여기서, TS의 PAT는, 도 7에서 나타낸 바와 같다.

구체적으로는, 도 7의 PMT-PID의 값이, 도 21의 PMT에서 참조된다. 도 21에서는, PID가 X의 경우의 stream_entry가 기술되어 있다. 즉, Audio_stream_type와, Audio_PID = a0가 기술되어 있다. 도 7과 도 21에 따르면, 동종의 오디오 스트림(하나의 오디오 스트림)을 식별할 수 있다. 환언하면, 도 7과 도 21의 테이블(PAT와 PMT)에 의해, 하나의 컨텐츠에 대응하는 하나의 오디오 스트림을 식별할 수 있다.

도 20로 되돌아 와서, TS 패킷화부(312)에는, Sub_id 부가부(313)가 형성되어 있다.

Sub_id 부가부(313)에는, Sub_id와 TS 패킷의 종류를 관련지어서 소정 조건이 사전에 설정되어 있다. Sub_id 부가부(313)에는, 그 조건에 기초하여, TS 패킷의 헤더에 Sub_id를 부가한다. 예를 들면, Sub_id 부가부(313)는, 기본 버퍼(73)로부터 공급된 기본 오디오 스트림(BS)에는 Sub_id = O를 부가하고, 제1 확장 버퍼(74-1)로부터 공급된 제1 확장 오디오 스트림(Ext1)에는 Sub_id = 1을 부가하고, 제2 확장 버퍼(74-2)로부터 공급된 제2 확장 오디오 스트림(Ext2)에는 Sub_id = 2를 부가하고, 마찬가지로 하여, 제n 확장 버퍼(74-n)로부터 공급된 제n 확장 오디오 스트림(ExtN)에는 Sub_id = N을 부가하는 조건이 설정되어 있다. 그리고, 전술한 조건과 마찬가지의 조건이, 후술하는 수신 측(디코더측)에도 설정되어 있다.

TS 패킷화부(312)는, 기본 버퍼(73), 및 확장 버퍼(74-1 내지 74-n)를 제어하여 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 취득하는 동시에, 추출 정보 부가부(31)1로부터 공급된 테이블(도 7과 도 21)을 취득한다. 또 TS 패킷화부(312)는, 테이블을 TS 패킷화하거나, Sub_id 부가부(313)에 설정되어 있는 소정 조건과 테이블에 따라, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 각각 TS 패킷화한다(TS 패킷을 생성한다). 이 때, TS 패킷화부(312)는, 하나의 오디오 스트림에 대해서 공통되는 식별 정보인 PID를 TS 패킷의 헤더부에 부가하는 동시에, TS 패킷화부(312)의 Sub_id 부가부(313)는, 스트림의 종류(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림)를 식별하기 위한 Sub_id를, 소정의 조건에 기초하여 TS 패킷의 헤더부에 부가한다. 또한, TS 패킷화부(312)는, 생성한 TS 패킷을 송신부(77)에 공급한다.

송신부(77)는, TS 패킷을 송신한다. 이 때, 복수의 TS 패킷이 연속적으로 송신되므로, 결과로서(복수의 TS 패킷으로 이루어진) 하나의 스트림이 송신되는 것이 된다.

본 발명의 제2 실시예에서는, PID는, TS 패킷의 인코딩의 종류의 확장성을 나타내는 정보가 아니고, 하나의 오디오 스트림을 식별하기 위한 정보이며, Sub_id는, TS 패킷의 인코딩의 종류의 확장성을 나타내는 정보이다. 즉, Sub_id에 의하면, 스트림의 종류(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림)를 식별할 수 있다. 각 TS 패킷의 헤더에는, 상기 Sub_id가 부가되어 있으므로, 디코더 측의 수신 장치에서, 원하는 단수의 확장 오디오 스트림의 패킷을 선택할 수 있다.

다음에, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS(트랜스포트 스트림)의 구조를, 도 22과 도 23을 참조하여 설명한다.

TS 패킷화부(312)(Sub_id 부가부(313))는, 전술한 도 4의 기본 오디오 스트림(81)과 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)에 대해서, 도 22에 나타낸 바와 같이, 헤더부에, 동일(공통의) PID(PID = a0)를 부가하는 동시에, 각각 별개의 Sub_id(패킷 ID)를 부가하고, TS 패킷으로 설정한다. 그리고, 하나의 TS 패킷에는, 예를 들면, 188 바이트의 데이터가 저장된다.

도 22의 TS 스트림에는, PAT가 기재된 테이블의 TS 패킷(320)(도 5의 PAT(90), 즉 도 7의 PAT와 마찬가지의 정보), PMT가 기재된 테이블의 TS 패킷(321)(도 21의 PMT와 마찬가지의 정보), PID = a0이며 Sub_id = O인 기본 오디오 스트림(BS)의 TS 패킷(322), PID = a0이며 Sub_id = 1인 제1 확장 오디오 스트림(Ext1)의 TS 패킷(323-1), PID = a0이며 Sub_id = 2인 제2 확장 오디오 스트림(Ext2)의 TS 패킷(323-2),···, PID = a0이며 Sub_id = N인 제n 확장 오디오 스트림(ExtN)의 TS 패킷(323-n)이 포함되어 있다. 여기서, 테이블의 TS 패킷(320, 321)은 소정의 주기마다 송신 장치(310)에 의해 송신되는 것이다. 또한, PID는, 트랜스 보트 패킷 헤더의 PID를 나타낸다.

그리고, 도 4의 기본 오디오 스트림(81) 및 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)의 모두는, 소정의 오디오 샘플 수를 하나의 단위로하여 부호화되어 있고, 각각의 단위마다 괄호로 나타낸 첨자로 단락지어 나타나 있다. 구체적으로는, 기본 오디오 스트림(81)은, BS(1), BS(2), ···, BS(n)과 같이, 복수 의 단위로 분리되어 부호화되어 있다. 마찬가지로 예를 들면, 제1 확장 오디오 스트림 82-1은, Ext1(1), Ext1(2), ···, Ext1(n)과 같이, 복수의 단위로 분리되어 부호화되어 있다. 상기 기본 오디오 스트림(81) 및 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)에 있어서, 첨자가 동일한 것끼리, 예를 들면, BS(1), 및 Ext1(1) 내지 ExtN(1)은, 동기하여 도 20의 오디오 인코더(72)에 의해 인코딩되는 동시에, 동기하여 수신 측의 수신 장치(42)에 의해 재생(디코딩)된다.

여기서, 도 22의 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 다중화한 TS(트랜스 보트 스트림)의 구조를, 도 23을 참조하여 보다 상세하게 설명한다.

TS 패킷화부(312)는, 처음에, 도 23의 기본 오디오 스트림(81) 및 제1 내지 제n 확장 오디오 스트림(82-1 내지 82-n)(도 23 중의 상단부)을, 도 23 중의 중단에 나타낸 바와 같이, PES 패킷 스트림화하고, PES 패킷 스트림(330)으로 한다. 여기서, PESH는, PES 패킷 헤더를 나타낸다. 다음에, TS 패킷화부(312)는, PES 패킷 스트림(330)을 구성하는 PES 패킷의 각각을, 도 23의 하단에 나타내는 바와 같이, TS 패킷화하여 다중화하고, TS 패킷(333 내지 340)으로 설정한다. 이 때, TS 패킷화부(312)는, Sub_id 부가부(313)에 설정되어 있는 조건과, 추출 정보 부가부(311)로부터 공급되는 테이블에 따라, 각 TS 패킷의 헤더부에 PID와 Sub_id를 부가한다. 여기서 PID는, Transport packet Header의 PID를 나타내고, Sid는 Sub_id를 나타낸다. 그리고, 실제로는, TS 패킷화부(312)는, 그 외의 각종 정보도 부가하지만, 이들은 본 발명과는 직접 관계가 없기 때문에 여기서는 설명을 생략한다. 또한, TS 패킷화부(312)는, 추출 정보 부가부(311)로부터 공급된 테이블을 TS 패킷으로 패킷화한다. 즉, TS 패킷화부(312)는, 추출 정보 부가부(311)로부터 공급된 테이블 중, PAT를 TS 패킷(331)으로, PMT를 TS 패킷(332)으로, 각각 패킷화한다.

이 때, 도 23의 하단에 나타낸 바와 같이, 하나의 TS 패킷에 하나의 오디오 프레임(BS(1) 전체나, Ext1(1)의 전체 등)이 포함되어 있는 것은 아니다. 구체적으로는, 하나의 TS 패킷에는, 소정의 길이의 데이터가 저장되므로, 하나의 오디오 프레임(예를 들면, BS(1) 전체)이, 복수개의 TS 패킷으로 분할(분리)된다. 도 23의 예의 경우, BS(1)는, TS 패킷(333)과 TS 패킷(334)으로 분할된다.

그리고, 도 23의 예에서는, PMT의 TS 패킷(332)은, PAT의 TS 패킷(331)의 다음이며 TS 패킷(333)보다 앞서서 송신부(77)로부터 송신되도록 도시되어 있지만, 실제로는, 소정의 주기마다 송신부(77)로부터 송신된다.

도 22과 도 23에서 나타내는 제2 실시예에서는, 하나의 오디오 스트림에 대응하는 각 TS 패킷의 PID, 즉, 상기 오디오 스트림에 대한 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 모든 종류에 대응하는 각 TS 패킷의 PID는 동일(PID = a0)하게 설정되어 있다. 이는, 수신 장치 측의 본 실시예의 구성(이 구성에 대하여는 도 28 이후의 도면을 참조하여 후술)에 맞추기 위해서이다. 따라서, 수신 장치의 구성에 따르면, 오디오 스트림에 대한 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 모든 종류에 대응하는 각 TS 패킷의 PID의 모두를 동일하게 설정할 필요는 없다. 예를 들면, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 각 종류를 단위로 하여, 각각의 종류의 TS 패킷에 대해서 상 이한 PID를 부여할 수도 있다.

다음에, 도 20의 송신 장치(310)에서의 TS 패킷 송신 처리에 대하여 설명한다. 기본적으로는, 도 6의 흐름도에서 나타내는 처리와 마찬가지이므로, 도 6의 흐름도를 참조하여, 도 6의 처리와 상이한 점에 대해서만 설명한다. 스텝 S11 내지 스텝 S16의 처리는, 도 6을 사용한 전술한 처리와 마찬가지이므로 그 설명은 생략한다.

스텝 S17에 있어서, 도 20의 추출 정보 부가부(311)는, 테이블을 생성하고, TS 패킷화부(312)에 공급한다. 구체적으로는, 추출 정보 부가부(311)는, 도 7 및 도 21에 나타낸 바와 같은 PAT와 PMT의 테이블을 생성하고, 이것을 TS 패킷화부(311)에 공급한다.

스텝 S18에 있어서, TS 패킷화부(312)는, TS 패킷 생성 처리를 실행한다. 그리고, 이 처리의 자세한 것은, 도 24를 참조하여 후술한다. TS 패킷화부(312)에 의해 생성된 TS 패킷은 송신부(77)에 출력된다.

스텝 S19에 있어서, 송신부(77)는, TS 패킷(복수의 TS 패킷으로 이루어지는 오디오 스트림)을 수신 장치(42)(도 10)에 대해서 송신한다. 구체적으로는, PAT와 PMT(테이블)의 TS 패킷(320, 321), 기본 오디오 스트림의 TS 패킷(322) 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷(323-1 내지 323-n)을 포함하는 스트림이 수신 장치(42)에 대해서 송신된다. 그 후, 처리는 종료된다. 그리고, 본 실시예에서는, TS 패킷을 수신 장치(42)(도 10)에 대해서 송신하지만, 도시하지 않은 각종 기록 매체에 기억시킬 수도 있다. 또한, 일단, 기록 매체에 기록하여, 그 기록 매 체를 수신 장치(42)(도 10)에 제공하여, 간접적으로 송신할 수도 있다.

다음에, 제2 실시예에서의, 도 6의 스텝 S18의 TS 패킷 생성 처리에 대하여, 도 24의 흐름도를 참조하여 상세하게 설명한다.

스텝 S131에 있어서, TS 패킷화부(312)는, 테이블(PAT와 PMT)을 취득한다. 상기 테이블은, 도 6의 스텝 S17에서 생성된, 도 7 및 도 21에 나타내는 PAT 와 PMT이다.

스텝 S132에 있어서, TS 패킷화부(312)는, 테이블(PAT와 PMT)을 TS 패킷화하고(PAT와 PMT에 기초하여 TS 패킷을 생성하고), 송신부(77)에 출력한다. 그리고, 송신부(77)는 상기 테이블을 수신 장치(42)에 송신한다. 이로써, 도 7의 PAT가 기술된 TS 패킷(320), 및 PMT가 기술된 TS 패킷(321)(도 22참조)이 생성되고, 송신부(77)에 출력된다. 그리고, 이 처리에서는, 1회만 TS 패킷이 송신되도록 하였지만, 실제로는 소정의 시간마다 테이블이 기술된 TS 패킷이 송신된다. 이로써, 스트림의 도중에 수신 장치가 수신하기 시작한 경우에도, 수신 장치는, 테이블을 취득할 수 있기 때문에 확실하게 디코딩할 수 있다.

스텝 S133에 있어서, TS 패킷화부(312)는, Sub_id 부가부(313)에 설정되어 있는 소정의 조건과 테이블에 따라서, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)로부터의 오디오 스트림의 각각에 PID와 Sub_id를 부여한다. 그리고, 테이블 자체는 스텝 S131의 처리에서 TS 패킷화되어 송신되었지만, 여기서는, TS 패킷화부(312)가 보유하고 있는 것으로 가정한다. TS 패킷화부(312)는, 상기 테이블에 따라, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)로부 터의 오디오 스트림의 각각에 PID = a0를 각각 부가하는 동시에, Sub_id 부가부(313)에 설정되어 있는 소정의 조건에 기초하여, 대응하는 Sub_id를 각각 부가한다. 여기서, 제2 실시예에 있어서는, PID = a0(동일)하고, Sub_id의 값이 0, 1, 2, ···, N와 같이 변화한다.

이 처리에 의해, 기본 오디오 스트림(BS)에 PID = a0, Sub_id = O가 부가되고, 제1 확장 오디오 스트림(Ext1)에 PID = a0, Sub_id = 1이 부가되며, 제2 확장 오디오 스트림(Ext2)에 PID = a0, Sub_id = 2가 부가되고, 마찬가지로 하여, 제n 확장 오디오 스트림(ExtN)에 PID = a0, Sub_id = N이 부가된다. 즉, 스트림의 종류마다 상이한 식별 정보가 부가된다.

스텝 S134에 있어서, TS 패킷화부(312)는, 기본 버퍼(73) 및 제1 내지 제n 확장 버퍼(74-1 내지 74-n)로부터의 오디오 스트림에 기초하여, 각각 TS 패킷을 생성한다. 이로써, 도 22에 나타낸 바와 같이, 이들 기본 오디오 스트림과 제1 내지 제n 확장 오디오 스트림은, 각각 동일한 PID가 부여되는 동시에, 각각 상이한 Sub_id가 부여되어, TS 패킷으로서 생성된다. 그리고, 상세하게는, 동일한 하나의 오디오 프레임인 경우에는, 같은 Sub_id가 부여된다(도 23의 Sid 참조).

스텝 S135에 있어서, TS 패킷화부(312)는, 생성한 TS 패킷을 송신부(77)에 출력한다. 그 후, 처리는 도 6의 스텝 S18로 되돌아온다.

도 6 및 도 24의 처리에 의해, 제n 확장 오디오 스트림을 인코딩 가능한 송신 장치(310)(도 20)는, 인코딩한 데이터를, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림으로 나눔과 동시에, Sub_id 부가부(313)에 설정되어 있는 조건 과 테이블에 기초하여, PID 및 Sub_id를 부여하고, TS 패킷화하여 송신한다. 또한, 송신 장치(310)는, PAT와 PMT의 테이블을 TS 패킷화하여 송신한다. 즉, 송신 장치(310)(도 20)는, 스트림의 종류를 식별하는 Sub_id를 헤더부에 부여한 복수의 TS 패킷과, 테이블의 TS 패킷을 포함하는 오디오 스트림을 수신 장치(42)에 대해서 송신한다.

송신 장치(310)가 송신하는 스트림에는, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷과, PAT와 PMT가 기술된 TS 패킷이 포함되는 동시에, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷의 헤더에는, 하나의 오디오 스트림을 식별하는 PID와, 오디오 스트림에 포함되는 TS 패킷의 각각의 종류를 식별하기 위한 Sub_id가 포함되므로, 수신 측에서는, 자신의 처리 능력에 맞추어서 디코딩를 행할 수 있다.

다음에, 송신 장치(310)에 의해 송신되는 TS 패킷의 구성예를 설명한다. 도 25는, 도 22의 TS(트랜스포트 스트림)의 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 전송하는 TS 패킷의 구조를 나타내는 도면이다.

도 25에 나타내는 MPEG2 systems의 TS 패킷 헤더의 문법에서는, adaptation_field() 내에, private_data_byte를 삽입할 수 있다. 상기 private_data_byte의 1 바이트를 Sub_id의 목적으로 사용한다. 도 25의 예의 경우, Sub_id로 기술되어 있는 부분이 private_data-byte가 되어 있다.

보다 상세하게는, transport_packet의 sync-byte로부터 Sub_id까지의 기술에 의해, TS 패킷의 헤더부가 구성되고(즉, PID나 Sub_id가 기술되고), payload의 기 술에 의해, 실제 데이터(오디오 스트림)가 구성된다. 도 22의 예의 경우, TS 패킷(322)의 전반 PID = aO, Sub_id = O로 기술되어 있는 블록이 TS 패킷의 헤더부가 되어, TS 패킷(322)의 후반, BS로 기술되어 있는 블록이 TS 패킷의 페이로드부가 된다.

또한, adaptation_field의 adaptation_field_length에는, adaptation_field의 데이터 길이가 기술되고 flag는 그 외의 정보가 된다. 또한, transport_private_data_flag은 private_data의 유무를 나타낸 플래그이며, 도 25의 예에서는 1, 즉, private_data가 있는 것을 나타내고 있다. 또한, transpor_private_data_length에는, private_data의 데이터 길이가 기술되고, 도 25의 예에서는 1, 즉, private_data(Sub_id)의 데이터 길이가 1 바이트인 것을 나타내고 있다. 또한, Sub_id가 private_data로서 설정되어 있다. Sub_id의 데이터 길이는, transport_private_data_length = 1로 기술되어 있는 바와 같이, 1 바이트가 된다. 즉, Sub_id에는, TS 패킷의 종류에 따라, O, 1, 2, ···, n의 값이 기술된다. 구체적으로는, 기본 오디오 스트림에 대응하는 TS 패킷의 경우, 0이 기술되고, 제1 확장 오디오 스트림에 대응하는 TS 패킷의 경우, 1이 기술된다. 이와 같이, TS 패킷의 헤더부에, PID와 Sub_id가 기술된다.

도 23, 도 25의 예에서는, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림으로 이루어진 오디오 스트림의 TS 패킷의 구조에 대하여 설명하였으나, 다음에, 기본 오디오 스트림과 확장 오디오 스트림이 제1 단계까지만 있는 오디오 스트림의 TS 패킷에 대하여 도 26과 도 27을 참조하여 설명한다.

도 26은, 기본 오디오 스트림과 제1 확장 오디오 스트림을 다중화한 경우의 트랜스포트 스트림의 구조를 설명하는 도면이다. 도면 중, 도 23과 대응하는 부분에 대해서는 동일한 부호를 부여하고 있다.

도 26에서는, TS 패킷의 종류를 식별하기 위해 Sub_id가 아닌, transport_priority(도 26에서는 tp로 기술한다)를 사용한다. TS 패킷화부(312)는, 처음에, 도 26의 기본 오디오 스트림(81) 및 제1 확장 오디오 스트림(82-1)(도 26의 상단부)을, 도 26의 중단에 나타낸 바와 같이, PES 패킷 스트림화하여, PES 패킷 스트림(370)으로 형성한다. 다음에, TS 패킷화부(312)는, PES 패킷 스트림(370)을 구성하는 각 PES 패킷의 각각을, 도 26의 하단에 나타낸 바와 같이, TS 패킷화하고 다중화하여, TS 패킷(371 내지 378)으로 형성한다. 이 때, TS 패킷화부(312)는, Sub_id 부가부(313)에 설정되어 있는 조건과, 추출 정보 부가부(311)로부터 공급되는 테이블에 따라, 각 TS 패킷의 헤더부에 PID와 transport_priority를 부가한다. 그리고, 실제로는, TS 패킷화부(312)는, 그 외의 각종 정보도 부가한다. 또한, TS 패킷화부(312)는, 추출 정보 부가부(311)로부터 공급된 테이블(PAT와 PMT)을 TS 패킷으로 패킷화한다. 즉, TS 패킷화부(312)는, PAT를 TS 패킷(331)으로, PMT를 TS 패킷(332)으로, 각각 패킷화한다.

도 27은, 도 26의 TS(트랜스포트 스트림)의 기본 오디오 스트림 및 제1 확장 오디오 스트림을 전송하는 TS 패킷의 구조를 나타내는 도면이다.

도 27에 나타내는 MPEG2 systems의 TS 패킷 헤더의 문법에서는, transport_priority 플래그를 사용하여, 그 트랜스포트 패킷의 페이로드의 데이터 가, 기본 오디오 스트림인지, 혹은 제1 확장 오디오 스트림인지를 구별한다. 도 27의 예의 경우, transport_priority = 1이면 기본 오디오 스트림을 나타내고, transpot_priority = O이면 제1 확장 오디오 스트림을 나타낸다. 이와 같이, 우선 순위가 높은 스트림(기본 오디오 스트림)에 대해서 transport_priority = 1을 부여하고 있다.

그리고, 도 27의 transport_packet의 sync-byte로부터 continuity_counter까지의 기술에 의해, TS 패킷의 헤더부가 구성되고(즉, PID나 transport_priority가 기술되고), payload의 기술에 의해, 실제 데이터(오디오 스트림)가 구성된다. 도 26의 예의 경우, TS 패킷(371)의 전반 PID = a0, tp = 1로 기술되어 있는 블록이 TS 패킷의 헤더부가 되며, TS 패킷(371)의 후반, BS로 기술되어 있는 블록이 TS 패킷의 페이로드부가 된다.

오디오 스트림이, 기본 오디오 스트림과 제1 확장 오디오 스트림 만으로 구성되는 경우에, TS 패킷을 도 27에 나타낸 바와 같은 데이터 구조로 형성하면, 도 25의 TS 패킷의 구조와 비교하여, 보다 헤더의 데이터량을 줄일 수 있다. 그리고, 물론, 오디오 스트림이 기본 오디오 스트림과 제1 확장 오디오 스트림 만으로 이루어진 경우에, 도 25의 TS 패킷의 구조를 사용할 수도 있다.

또한, 트랜스포트 패킷 헤더 중의 Sub_id를 정의하는 방법은, 도 25과 도 27의 방법으로 한정되지 않고, 다른 문법 필드를 적용할 수도 있다.

다음에, 제2 실시예에서의 재생 측의 수신 장치(42)(도 10)의 구성예에 대하여 설명한다. 본 실시예에서는, 재생 측의 수신 장치(42)는, 적어도, 기본 오디오 스트림(BS)을 디코딩하는 능력을 가진다. 또한, 재생 측의 수신 장치(42)가, 소정의 제m 단계(m은 1 이상의 자연수이며, m ≤ n)까지의 확장 오디오 스트림을 재생할 수 있는 경우, 수신 장치(42)(도 10)는, 기본 오디오 스트림과 제1 내지 제m까지의 확장 오디오 스트림을 디코딩할 수 있다. 기본 오디오 스트림과 확장 오디오 스트림의 관계는, 예를 들면, n이 큰 값의 확장 오디오 스트림까지를 디코딩할 수 있을수록, 오디오의 재생 품질이 높고 되거나, 기능성이 높아진다.

처음에, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 복호 가능한 오디오 스트림 처리부(122)를 구비한 수신 장치(42)(도 10)의 제2 실시예에서의 구성예를, 도 28을 참조하여 설명한다. 도 28의 예에서는, 도 18 및 도 19의 경우와 마찬가지로, TS의 다중화 방법으로 제한이 가해진 경우에 스트림 처리를 실행하는 오디오 스트림 처리부(122)에 대하여 설명한다. 즉, 도 28은, TS 중에서, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 순서대로 동기하여 재생되는 부호화의 단위가 배열되어 부호화되는 경우에 적용되는 오디오 스트림 처리부(122)의 예이다. 환언하면, 전체의 스트림에 포함되는, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷은, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 기본 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순으로 배열되어 있다(인코더 측의 송신 장치(41)가, 이 순서로 배열하여 TS 패킷을 출력하고 있다).

도 28의 오디오 스트림 처리부(122)에는, 입력부(401), PID 필터 제어부(402), PID 필터(403), Sub_id 필터 제어부(404), Sub_id 필터(405), 버퍼(406), 및 오디오 디코더(407)가 형성되어 있다.

입력부(401)는, (도 10의) 수신부(121)로부터 공급되는 오디오 스트림의 TS 패킷(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 순서대로, 동기하여 재생되는 부호화의 단위가 배열되어 입력되는 TS 패킷)의 입력을 받아들인다. 입력부(401)는, 오디오 스트림의 TS 패킷 중, 테이블(도 7과 도 21을 사용하여 전술한 PAT와 PMT의 테이블)의 TS 패킷을 PID 필터 제어부(402)에 공급하고, 그 이외의 TS 패킷(예를 들면, 도 23의 PID나 Sub_id가 부여된 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷)을 PID 필터(403)에 공급한다. 또한, 입력부(401)는, PID나 Sub_id가 부여된 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷(PAT와 PMT 이외의 TS 패킷)의 헤더부를, Sub_id 필터 제어부(404)에 공급한다. 예를 들면, 입력부(401)에 입력되는 오디오 스트림의 TS 패킷이 도 25에 나타내는 구성일 경우, 도 25의 sync-byte로부터 Sub_id까지의 헤더부를 Sub_id 필터 제어부(404)에 공급하고, 입력부(401)에 입력되는 오디오 스트림의 TS 패킷이 도 27에 나타내는 구성일 경우, 도 27의 sync-byte로부터 continuity-counter까지의 헤더부를 Sub_id 필터 제어부(404)에 공급한다.

PID 필터 제어부(402)는, 취득한 테이블(도 7 및 도 21)에 기초하여, PID 필터(403)의 동작을 제어한다. 예를 들면, PID 필터 제어부(402)는, 도 7 및 도 21의 PAT와 PMT에 기초하여, TS 패킷의 헤더부에 기술되어 있는 Audio_PID = a0인 TS 패킷을 Sub_id 필터(404)에 공급시키도록, PID 필터(403)의 동작을 제어한다(PID 필터(403)의 스위치를 전환한다).

PID 필터(403)는, PID 필터 제어부(402)로부터의 제어에 기초하여, TS 패킷을 선택한다(인출한다). 예를 들면, PID 필터(403)는, PID 필터 제어부(402)로부터의 제어에 기초하여, 헤더에 기술되어 있는 PID = a0인 TS 패킷을 후단의 Sub_id 필터(405)에 공급한다.

Sub_id 필터 제어부(404)는, 입력부(401)로부터 공급된 TS 패킷의 헤더부에 기술되어 있는 Sub_id의 정보(값)와 Sub_id 필터 제어부(404)에 사전에 설정되어 있는 소정 조건에 기초하여, Sub_id 필터(405)의 동작을 제어한다. Sub_id 필터 제어부(404)에는, 상기 송신 장치(310)(도 20)의 Sub_id 부가부(313)에 설정되어 있는 조건과 동일한 조건이 설정되어 있으므로, Sub_id 필터 제어부(404)는, 이 설정되어 있는 조건과, 입력부(401)로부터 공급된 TS 패킷의 Sub_id의 값에 기초하여, 오디오 디코더(407)가 처리 가능한 스트림의 종류를 판단하고, Sub_id 필터(405)의 동작을 제어한다(Sub_id 필터(405)의 스위치를 전환한다). 도 28의 예의 경우, Sub_id 필터 제어부(404)는, 오디오 디코더(407)가 처리할 수 있는 스트림의 종류가, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림인 것으로 판단하고, Sub_id = 0 내지 N이 부여된 TS 패킷을 버퍼(406)에 공급하도록 Sub_id 필터(405)를 제어한다.

Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, TS 패킷을 선택한다(인출한다). 구체적으로는, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 헤더에 기술되어 있는 Sub_id의 값에 대응하는 스위치를 선택한다. 예를 들면, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, TS 패킷의 헤더부에 기술되어 있는 Sub-id의 값이 0, 1, 2, ···, N인 TS 패킷을 후단의 버퍼(406)에 순서대로 공급한다. 이 때, 도 22나 도 23에 나타낸 바와 같이, TS 중, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 배열되어 부호화되어 있으므로, Sub_id 필터(405)는, 도 29에 나타낸 바와 같이, TS 중, BS(1), Ext1(1), Ext2(1), ···ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로, TS 패킷의 페이로드 데이터를 버퍼(406)에 공급한다.

버퍼(406)는, Sub_id 필터(405)로부터 공급된 TS 패킷을 저장(버퍼링)한다. 상기 버퍼(406)는, 오디오 디코더(407)에 대한 동기를 취하기 위하여 동작하는 오디오 버퍼이다. 구체적으로는, 버퍼(406)는, BS(1), Ext1(1), Ext2(1), ···, ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 배열되어 공급된 TS 패킷(데이터)을 저장한다. 또한, 버퍼(406)는, 버퍼링하고 있는 TS 패킷을 소정의 타이밍에서 오디오 디코더(407)에 출력한다(즉, 오디오 디코더(407)는, 버퍼(406)에 저장되어 있는 TS 패킷을 소정의 타이밍에서 취득한다). 오디오 디코더(407)는, 버퍼(406)로부터 공급된 TS 패킷을 디코딩한다. 오디오 디코더(407)는, 디코딩한 오디오 스트림을, 후단의 출력부(123)(도 10)에 공급한다.

제2 실시예에서의, 도 28에 따르면, PID의 값을 스트림의 종류(기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림)대로 상이한 값을 사용하지 않게 하고, Sub_id의 값을 스트림의 종류대로 상이한 값을 사용하도록 했으므로, 기본과 확장을 조합한 오디오 스트림을 하나의 실체로 보아, 거기에 1개의 PID의 값을 부 여하여 관리할 수 있다. 이것은, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림을 하나의 스트림으로서 관리하는 어플리케이션에 적용한 경우에, 특히 효과적이다.

그리고, 도 28의 오디오 스트림 처리부(122)를 설치한 수신 장치(42)(도 10)에서의 TS 패킷 수신 처리는, 기본적으로는, 도 12의 처리와 마찬가지이지만, 도 12의 스텝 S53의 오디오 스트림 처리의 상세한 부분이 상이하다. 그래서, 도 30과 도 31의 흐름도를 사용하여, 도 12의 스텝 S53의 처리의 일례인, 제n단의 확장 오디오 스트림 처리를 설명한다. 이 처리는, 도 28의 오디오 스트림 처리부(122)에 의해 실행되는 처리이다. 즉, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 오디오 스트림 처리부(122)가 실행하는 처리이다.

스텝 S171에 있어서, 입력부(401)는 오디오 스트림의 TS 패킷의 입력(복수의 TS 패킷으로 이루어진 오디오 스트림)을 받아들인다. 상기 오디오 스트림의 TS 패킷은, 전술한 도 6의 스텝 S19에서 송신 장치(41)에 의해 송신된, 테이블(도 7과 도 21)의 TS 패킷, 기본 오디오 스트림 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 포함하는 하나의 오디오 스트림이다.

스텝 S172에 있어서, 입력부(401)는, 테이블(도 7과 도 21)의 TS 패킷을 PID 필터 제어부(402)에 공급한다. 구체적으로는, 오디오 스트림의 TS 패킷에는, 테이블(PAT와 PMT)의 TS 패킷, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷이 포함되어 있으므로(도 22, 도 23 참조), 입력부(401)는, 이들 TS 패킷 중, 테이블(도 7과 도 21)의 TS 패킷을 PID 필터 제어부(402)에 공급 한다.

스텝 S173에 있어서, 입력부(401)는, PID가 부여되어 있는 TS 패킷을 PID 필터(403)에 공급한다. 구체적으로는, 도 22나 도 23에 있어서, PID가 부여되어 있는 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 PID 필터(403)에 공급한다.

스텝 S174에 있어서, PID 필터 제어부(402)는, 테이블(도 7과 도 21)을 참조하여, 오디오 디코더(407)가 처리할 수 있는 스트림을 판단한다. 즉, PID 필터 제어부(402)는, 자신이 처리할 수 있는 하나의 스트림(이 예의 경우, PID = a0의 오디오 스트림)을, 테이블을 참조하여 판단하고, 그 스트림에 관련된 PID를 자신이 처리할 수 있는 스트림의 종류인 것으로 판단한다. 또한, PID 필터 제어부(402)는, 자신이 처리할 수 있는 것으로 판단한 PID = a0가 부여된 TS 패킷(오디오 스트림에 관련된 TS 패킷)을 선택하도록 PID 필터(403)를 제어한다.

상기 스텝 S174의 처리에서, PID 필터 제어부(402)는, 동일한 PID가 부여된(PD = aO가 부여된) 하나의 오디오 스트림을 구성하는, 기본 오디오 스트림의 TS 패킷 및 제1 내지 제n 확장 오디오 스트림의 TS 패킷을 Sub_id 필터(405)에 공급하도록, HD 필터(403)를 제어하는 것이 된다.

스텝 S175에 있어서, PID 필터(403)는, PID 필터 제어부(402)로부터의 제어에 기초하여, 스위치를 선택하고, 대응하는 TS 패킷을 후단의 Sub_id 필터(405)에 공급한다. 구체적으로는, PID 필터(403)는, PID = a0인 TS 패킷, 즉, 하나의 오디오 스트림을, 스위치를 전환하여 선택하고, 후단의 Sub_id 필터(405)에 공급한다.

스텝 S176에 있어서, Sub_id 필터 제어부(404)는, 스텝 S173의 처리에서 입력부(40b)로부터 공급된 TS 패킷의 헤더부의 정보와, Sub_id 필터 제어부(404)에 사전에 설정되어 있는 소정 조건에 기초하여, 오디오 디코더(407)가 처리할 수 있는 스트림의 종류를 판단하고, Sub_id 필터(405)를 제어한다. 예를 들면, Sub_id 필터 제어부(404)는, 오디오 디코더(407)가 처리할 수 있는 스트림의 종류가, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림인 것으로 판단한다. 또한, Sub_id 필터 제어부(404)에는, Sub_id = 0이 기본 오디오 스트림에 대응하고 있고, Sub_id = 1이 제1 확장 오디오 스트림에 대응하고 있고, 마찬가지로 하여, Sub_id = N이 제n 확장 오디오 스트림에 대응하고 있다고 하는 조건이 사전에 설정되어 있으므로, Sub_id 필터 제어부(404)는, 이 조건에 기초하여, 자신이 처리 가능한 것으로 판단한 종류의 스트림을, 후단의 버퍼(406)에 공급하도록, Sub_id 필터(405)의 동작을 제어한다. 그리고, Sub_id 필터 제어부(404)에 설정되어 있는 조건은, 전술한 송신 장치(310)(도 20)의 Sub_id 부가부(313)에 설정되어 있는 조건과 동일한 조건(Sub_id = 0이 기본 오디오 스트림에 대응하고 있는 등의 조건)이므로, Sub_id에 의해, 정확하게 스트림의 종류를 식별할 수 있다.

스텝 S177에 있어서, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 스위치를 선택하고, 대응하는 TS 패킷을 후단의 버퍼(406)에 공급한다. 예를 들면, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 헤더부에 Sub_id = 0이 부여된 TS 패킷을 Sub_id 필터(405)의 Sub_id = 0의 라인을 통하여 버퍼(406)에 공급되도록, 스위치를 전환한다. 또한, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 헤더부에 Sub_id = 1이 부여된 TS 패킷을 Sub_id 필터(405)의 Sub_id = 1의 라인을 통하여 버퍼(406)에 공급하도록, 스위치를 전환한다. 이로써, 도 29에 나타낸 바와 같은 TS 패킷의 순서대로, 버퍼(406)에 데이터가 공급된다.

스텝 S178에 있어서, 버퍼(406)는, Sub_id 필터(405)로부터 공급된 TS 패킷을 저장(버퍼링)한다. 이로써, 버퍼(406)에는, 도 29에 나타낸 바와 같은, BS(1), Ext1(1), Ext2(1), ···, ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 배열되어 공급된 TS 패킷이 저장된다.

스텝 S179에 있어서, 버퍼(406)는, 소정의 타이밍에서 TS 패킷을 오디오 디코더(407)에 출력한다. 예를 들면, 버퍼(406)는, 도 29에 나타낸 바와 같은, BS(1), Ext1(1), Ext2(1), ···, ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 배열되어 버퍼링하고 있던 TS 패킷을, 소정의 타이밍에서, 차례대로 오디오 디코더(407)에 출력한다.

스텝 S180에 있어서, 오디오 디코더(407)는, 버퍼(406)로부터 공급된 TS 패킷(BS(1), Ext1(1), Ext2(1), ···, ExtN(1), BS(2), Ext1(2), Ext2(2), ···, ExtN(2)의 순서대로 공급된 TS 패킷)를 순서대로 디코딩하고, 스텝 S181에 있어서, 디코딩한 오디오 스트림을 순서대로 출력한다.

도 30과 도 31의 처리에 의해, 수신하는 스트림에, 기본 오디오 스트림을 구성하는 TS 패킷, 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷, PID를 배분하기 위한 테이블(도 7과 도 21의 PAT와 PMT)이 포함되는 동시에, 기본 오디오 스트림을 구성하는 TS 패킷 및 제1 내지 제n 확장 오디오 스트림을 구성하는 TS 패킷에는, 하나의 오디오 스트림을 식별하기 위한 PID와 오디오 스트림의 종류를 식별하기 위한 Sub_id가 부여되어 있으므로, 도 28에 나타낸 바와 같은 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 오디오 스트림 처리부(122)(수신 장치(42))에서도, 용이하게 디코딩를 행할 수 있다.

도 28 내지 도 31에서는, 도 22와 도 23의 TS를 복호 가능한 오디오 스트림 처리부(122)를 구비한 수신 장치(42)(도 10)에 대하여 설명하였으나, 그 외의 예로서, 도 22와 도 23의 TS를 복호 가능한 오디오 스트림 처리부(122)의 오디오 디코더(407)가, 기본 오디오 스트림 만을 디코딩하는 능력을 가지는 경우의 구성예에 대하여, 도 32를 사용하여 설명한다. 그리고, 도면 중, 도 28과 대응하는 부분에는 동일한 부호를 부여하고 있고, 그에 대한 설명은 반복이 되므로 생략한다.

Sub_id 필터 제어부(404)는, 입력부(401)로부터 공급된 TS 패킷의 헤더부에 기술되어 있는 Sub_id의 정보(값)와, Sub_id 필터 제어부(404)에 사전에 설정되어 있는 소정 조건에 기초하여, Sub_id 필터(405)의 동작을 제어한다. 도 32의 예의 경우, Sub_id 필터 제어부(404)는, 오디오 디코더(407)가 처리할 수 있는 스트림의 종류가, 기본 오디오 스트림인 것으로 판단하고, 소정 조건에 기초하여, 기본 오디오 스트림이 Sub_id = O에 대응하는 것을 확인한다. 그리고, Sub_id 필터 제어부(404)는, Sub_id = 0이 부여된 TS 패킷을 버퍼(406)에 공급하도록 Sub_id 필터(405)를 제어한다.

Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, TS 패킷을 선택한다(인출한다). 도 32의 예의 경우, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 헤더에 기술되어 있는 Sub_id = 0의 값에 대응하는 스위치를 선택하고, 기본 오디오 스트림을 버퍼(406)에 공급한다.

도 32의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림에 대응하는 오디오 디코더(407)만을 가지며, 제1 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 능력이 없다. 이 경우, Sub_id 필터 제어부(404)는, 자신이 처리할 수 있는 스트림의 종류가 기본 오디오 스트림 뿐인 것을 기억하고 있고, 사전에 설정되어 있는 소정 조건(예를 들면, Sub_id = O이 기본 오디오 스트림에 대응하고, Sub_id = 1이 제1 확장 오디오 스트림에 대응하는 등의 조건)에 따라서, 기본 오디오 스트림에 대응하는 Sub_id를 참조한다. 이 경우, Sub_id 필터 제어부(404)는, Sub_id = 0이, 자신이 처리할 수 있는 스트림의 종류인 것으로 판단하고, 디코딩할 수 있는 스트림의 Sub_id가 부여된 TS 패킷을 선택하도록 Sub_id 필터(405)를 제어한다. 예를 들면, Sub_id 필터 제어부(404)는, 디코딩 스트림의 ID를 통과시켜도 되는 Sub_id의 번호(Sub_id = 0)를 Sub_id 필터(405)에 통지한다. Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터 통지된 Sub_id, 즉 Sub_id = 0에 기초하여, Sub_id = 0이 부여된 TS 패킷을 선택하고, 이것을 버퍼(406)에 공급한다. 이 때, 제1 내지 제n 확장 오디오 스트림의 TS 패킷이 공급될 경우, Sub_id 필터(405)는, 그 패킷을 선택하지 않는다. 즉, Sub_id = 0이 부여된 기본 오디오 스트림의 TS 패킷만이 공급될 경우에, Sub_id 필터(405)는, 그 기본 오디오 스트림의 TS 패킷을 선택하여, 후단의 버퍼(406)에 공급한다. 이로써, Sub_id 필터(405)에 서는, 도 33에 나타낸 바와 같이, 기본 오디오 스트림의 TS 패킷이 선택되고, 후단의 버퍼(406)에 공급된다.

그리고, 도 32의 오디오 스트림 처리부(122)를 설치한 수신 장치(42)(도 10)에있어서의 TS 패킷 수신 처리의 처리는, 도 12, 도 30 및 도 31의 처리와 마찬가지이므로 그에 대한 설명은 생략한다. 단, 도 32의 Sub_id 필터 제어부(404)는, Sub_id = 0이 부여된 TS 패킷을 후단의 버퍼(406)에 공급시키도록, Sub_id 필터(405)를 제어하고, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여 스위치를 전환한다. 그 결과, Sub_id 필터(405)는, 도 33에 나타낸 바와 같이, 기본 오디오 스트림의 TS 패킷만을, 버퍼(406)에 공급한다. 그리고, 오디오 디코더(407)은, 소정의 타이밍에서 버퍼(406)로부터 공급된 기본 오디오 스트림의 TS 패킷을 디코딩한다.

이와 같이, TS 패킷의 헤더에, 하나의 스트림을 나타낸 PID와, 스트림의 종류를 식별하는 Sub_id가 부여되어 있으므로, 도 32에 나타낸 바와 같은 기본 오디오 스트림 만을 디코딩할 수 있는 오디오 스트림 처리부(122)(수신 장치(42))에서도, 기본 오디오 스트림에 대응하는 TS 패킷만을 선택하여 디코딩할 수 있다. 즉, 복수 단계로 확장된 오디오 스트림이 송신된 경우에도, 도 32의 오디오 스트림 처리부(122)를 구비하는 수신 장치(42)에서는, 기본 오디오 스트림만을 선택 및 재생할 수 있다. 또한, TS 패킷의 페이로드가 아니고, 헤더에 Sub_id가 부가되어 있으므로, 수신 장치(42)에 있어서 TS 패킷의 페이로드를 보지 않고도, 자신이 처리 가능한지의 여부를 헤더부에 기초하여 판단할 수 있고, 신속하게 처리할 수 있다.

전술한 제2 실시예에서는, 도 22와 도 23의 TS를 복호 가능한 오디오 스트림 처리부(122)를 구비한 수신 장치(42)(도 10)의 예에 대하여 설명하였으나, 그 외의 예로서, 도 22로 도 23의 TS를 복호 가능한 오디오 스트림 처리부(122)의 오디오 디코더(407)가, 기본 오디오 스트림과 제1 확장 오디오 스트림만을 디코딩하는 능력을 가지는 경우의 구성예에 대하여, 도 34를 사용하여 설명한다.

Sub_id 필터 제어부(404)는, 입력부(401)로부터 공급된 TS 패킷의 헤더부에 기술되어 있는 Sub_id의 정보(값)와, Sub_id 필터 제어부(404)에 사전에 설정되어 있는 소정 조건에 기초하여, Sub_id 필터(405)의 동작을 제어한다. 도 34의 예의 경우, Sub_id 필터 제어부(404)는, 오디오 디코더(407)가 처리할 수 있는 스트림의 종류가, 기본 오디오 스트림과 제1 확장 오디오 스트림인 것으로 판단하고, 소정 조건에 기초하여, 기본 오디오 스트림과 제1 확장 오디오 스트림이 Sub_id = 0, 1에 대응하는 것을 확인한다. 그리고, Sub_id 필터 제어부(404)는, Sub_id = 0, 1이 부여된 TS 패킷을 버퍼(406)에 공급하도록 Sub_id 필터(405)를 제어한다.

Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, TS 패킷을 선택한다(인출한다). 도 34의 예의 경우, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여, 헤더에 기술되어 있는 Sub_id = 0, 1의 값에 대응하는 스위치를 선택하고, 기본 오디오 스트림과 제1 확장 오디오 스트림을, 버퍼(406)에 공급한다.

도 34의 예의 경우, 오디오 스트림 처리부(122)는, 기본 오디오 스트림과 제1 확장 오디오 스트림에 대응하는 오디오 디코더(407)만을 가지며, 제2 내지 제n 확장 오디오 스트림을 디코딩할 수 있는 능력이 없다. 이 경우, Sub_id 필터 제어부(404)는, 자신이 처리할 수 있는 스트림의 종류가 기본 오디오 스트림과 제1 확장 오디오 스트림 인 것을 기억하고 있고, 사전에 설정되어 있는 소정 조건(예를 들면, Sub_id = 0이 기본 오디오 스트림에 대응하고, Sub_id = 1이 제1 확장 오디오 스트림에 대응하는 등의 조건)으로부터, 기본 오디오 스트림과 제1 확장 오디오 스트림과에 대응하는 Sub_id를 참조한다. 이 예의 경우, Sub_id 필터 제어부(404)는, Sub_id = 0, 1이, 자신이 처리할 수 있는 스트림의 종류인 것으로 판단하고, 디코딩할 수 있는 스트림의 Sub_id가 부여된 TS 패킷을 선택하도록 Sub_id 필터(405)를 제어한다. 예를 들면, Sub_id 필터 제어부(404)는, 디코딩할 수 있는 스트림의 ID를 통과시켜도 되는 Sub_id의 번호(Sub_id = 0, 1)를 Sub_id 필터(405)에 통지한다. Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터 통지된 Sub_id, 즉 Sub_id = 0, 1에 기초하여, Sub_id = 0, 1이 부여된 TS 패킷을 선택하고, 이것을 버퍼(406)에 공급한다. 이 때, 제2 내지 제n 확장 오디오 스트림의 TS 패킷이 공급될 경우, Sub_id 필터(405)는, 그 패킷을 선택하지 않는다. 즉, Sub_id = 0, 1이 부여된 기본 오디오 스트림과 제1 확장 오디오 스트림의 TS 패킷만이 공급될 경우에, Sub_id 필터(405)는, 그 기본 오디오 스트림과 제1 확장 오디오 스트림의 TS 패킷을 선택하여, 후단의 버퍼(406)에 공급한다. 이로써, Sub_id 필터(405)에서는, 도 35에 나타낸 바와 같이, 기본 오디오 스트림과 제1 확장 오디오 스트림의 TS 패킷이 선택되고, 후단의 버퍼(406)에 공급된다.

그리고, 도 34의 오디오 스트림 처리부(122)를 설치한 수신 장치(42)(도 10) 에 서의 TS 패킷 수신 처리의 처리는, 도 12, 도 30 및 도 31의 처리와 마찬가지이므로 그 설명은 생략한다. 단, 도 34의 Sub_id 필터 제어부(404)는, Sub_id = 0, 1이 부여된 TS 패킷을 후단의 버퍼(406)에 공급시키도록, Sub_id 필터(405)를 제어하고, Sub_id 필터(405)는, Sub_id 필터 제어부(404)로부터의 제어에 기초하여 스위치를 전환한다. 그 결과, Sub_id 필터(405)는, 도 35에 나타낸 바와 같이, 기본 오디오 스트림과 제1 확장 오디오 스트림의 TS 패킷만을 버퍼(406)에 공급한다. 그리고, 오디오 디코더(407)는, 소정의 타이밍에서 버퍼(406)로부터 공급된 기본 오디오 스트림과 제1 확장 오디오 스트림의 TS 패킷을 디코딩한다.

이와 같이, 기본 오디오 스트림과 제1 확장 오디오 스트림을 복호(디코딩) 가능한 수신 장치(42)(도 34의 오디오 스트림 처리부(122))에 있어서는, 기본 오디오 스트림과 제1 확장 오디오 스트림만을 분리하여 재생할 수 있다.

또한, TS 중, 기본 오디오 스트림 및 제1 내지 제n 확장 오디오 스트림의 순서대로, 동기하여 재생되는 부호화의 단위가 배열되어 부호화되고, 공급된 오디오 스트림이라면, 도 28, 도 32, 및 도 34에 나타낸 바와 같은 구성을 적용할 수 있고, 제1 실시예의 도 16 등과 비교하여, 버퍼의 수를 적게 설정할 수 있다. 또한, 저비용으로 오디오 스트림 처리부를 실현할 수 있다.

그리고, 제2 실시예의 수신 장치(42)의 오디오 스트림 처리부(122)(도 28, 도 32, 및 도 34)의 예에서는, 도 18의 경우와 마찬가지로, TS의 다중화 방법으로 제한이 가해진 경우에 스트림 처리를 할 때에 대하여 설명하였으나, 제1 실시예의 도 11, 도 14, 도 15, 및 도 16에 나타낸 바와 같이, 스트림의 종류마다 대응하는 버퍼를 개별적으로 설치할 수도 있다. 그 경우, 버퍼의 수는 증가하지만, TS의 다중화 방법의 제한이 없어지므로, 보다 수신 장치(42)의 자유도를 증가시킬 수 있다.

또한, 도 28, 도 32, 도 34의 예의 오디오 스트림 처리부(122)에서는, 입력부(401)가, TS 패킷의 헤더를, Sub_id 필터 제어부(404)에 공급하도록 하였지만, 이에 한정되지 않고, PID 필터(403)의 출력(PID = a0의 TS 패킷)을, Sub_id 필터 제어부(404)에 공급시키도록 해도 된다. 이 경우, Sub_id 필터 제어부(404)는, 입력부(401)가 아니고, PID 필터(403)로부터 공급된 TS 패킷의 헤더부에 기초하여, Sub_id 필터(405)를 제어한다.

이상 제2 실시예에 따르면, 기본 오디오 스트림과 복수 단계의 확장 오디오 스트림의 다중화 스트림으로부터 오디오를 재생하는 경우에, 기본 오디오 스트림만을 복호할 수 있는 능력을 가진 수신 장치(42)(예를 들면, 도 32의 오디오 스트림 처리부(122)를 가지는 수신 장치(42))에서는 기본 오디오 스트림만을 분리하여 재생할 수 있고, 소정의 단계 n의 확장 오디오 스트림까지의 재생 능력을 가진 재생 장치(42)(예를 들면, 도 28의 오디오 스트림 처리부(122)를 가지는 수신 장치(42))에서는, 기본과 상기 단계 n까지의 확장 오디오 스트림을 분리하여 재생할 수 있도록 하기 위한, 다중화 스트림의 부화 및 복호 방법을 제공하는 것이 가능하다.

즉, 송신 측의 송신 장치(41)(예를 들면, 도 20의 송신 장치(41))에, 기본 오디오 스트림과 복수 단계의 확장 스트림을 포함하는 스트림을 수신 측의 처리 능력에 따라 디코딩 가능하도록 인코딩할 수 있다. 환언하면, 수신 측의 장치(예를 들면, 도 28, 도 32, 및 도 34)는, 기본 오디오 스트림과 복수 단계의 확장 스트림을 포함하는 스트림이 송신될 경우에, 자신이 처리할 수 있는 스트림의 종류를 판단하고, 자신이 처리할 수 있는 스트림만을 디코딩하여 재생할 수 있다.

또한, 각 TS 패킷의 헤더부에 PID와 Sub_id를 부여하면 되므로, 트랜스포트 스트림에 용이하게 적용할 수 있다.

또한, 하나의 TS 패킷이 188 바이트로 비교적 작은 데이터 중에, 1종류의 스트림만 삽입하여도 되므로, 즉, 하나의 TS 패킷에 기본 오디오 스트림과 확장 오디오 스트림을 삽입할 필요가 없기 때문에, 부호화 효율이 양호하게 된다.

또한, 오디오 스트림의 확장이 추가되었을 경우, 즉, n이 증가한 경우에도, 스트림 구조는 포맷으로 결정되어 있지 않기 때문에, 부호화, 복호의 양쪽으로 대응할 수 있다. 즉, 기본 오디오 스트림만 복호할 수 있는 장치에 있어서도, 확장된 오디오 스트림을 복호할 수 있다.

그리고, 본 발명은, 인코더를 가지는 송신 장치(41)에 한정되지 않고, 인코딩를 행하는 모든 정보 처리 장치에 적용할 수 있다. 또한, 본 발명은, 디코더를 가지는 수신 장치(42)에 한정되지 않고, 디코딩를 행하는 모든 정보 처리 장치에 적용할 수 있다.

또한, 이상의 예에서는, 본 발명을 오디오 스트림의 인코딩, 디코딩에 적용한 경우에 대하여 설명하였으나, 이에 한정되지 않고, 비디오 스트림의 인코딩, 디코딩에 적용할 수도 있다. 즉, 본 발명은, 오디오 스트림 또는 비디오 스트림 등의 스트림에 적용할 수 있다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트 웨어에 의해 실행시킬 수도 있다. 이 경우, 전술한 처리는, 도 36에 나타내는 바와 같은 퍼스널 컴퓨터(500)에 의해 실행된다.

도 36에 있어서, CPU(501)는, ROM(502)에 기억되어 있는 프로그램, 또는, 기억부(508)로부터 RAM(503)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리의 실행에 필요한 데이터 등이 적절하게 기억된다.

CPU(501), ROM(502), 및 RAM(503)은, 내부 버스(504)를 통하여 서로 접속되어 있다. 상기 내부 버스(504)에는 또한, 입출력 인터페이스(505)도 접속되어 있다.

입출력 인터페이스(505)에는, 키보드, 마우스 등으로 이루어진 입력부(506), CRT, LCD 등으로 이루어진 디스플레이, 스피커 등으로 이루어진 출력부(5O)7, 하드디스크 등으로 구성되는 기억부(508), 및 모뎀, 터미널 어댑터 등으로 구성되는 통신부(509)가 접속되어 있다. 통신부(509)는, 전화 회선이나 CATV를 포함하는 각종 네트워크를 통하여 통신 처리를 행한다.

입출력 인터페이스(505)에는 또한, 필요에 따라 드라이브(510)가 접속되고, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 이동식 매체(521)가 적절하게 장착되고, 그리고 판독된 컴퓨터 프로그램이 필요에 따라 기억부(508)에 인스톨된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구 성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.

상기 기록 매체는, 도 36에 나타낸 바와 같이, 컴퓨터와는 별도로, 사용자 프로그램을 제공하는 위해 배포되는, 프로그램이 기록되어 있는 이동식 매체(521)로 이루어진 패킷 미디어에 의해 구성될 뿐 아니라, 장치 본체에 사전에 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(502)이나 기억부(508)가 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 컴퓨터 프로그램을 기술하는 스텝은, 기재된 순서로 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또한, 본 명세서에서, 시스템은, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.

본 발명에 따르면, 스트림의 확장에 대응한 처리를 행할 수 있다. 특히, 본 발명에서는, 스트림이 확장된 경우에도 수신 측의 정보 처리 장치에 대응하도록 인코딩를 행할 수 있으며, 수신 측의 정보 처리 장치에 대응시킨 데이터 구조를 형성할 수 있고, 또한, 확장된 스트림이 입력된 경우에도, 자신의 처리 능력에 따라 디코딩할 수 있다.

Claims (27)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 기본 스트림과 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 상기 기본 스트림을 인코딩하는 인코딩 수단과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 수단에 의해 인코딩된 것에, 상기 전체 스트림을 식별하기 위해 사용되는, 동일한 제1 ID를 부가하는 제1 부가 수단과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 수단에 의해 인코딩된 것에, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 수단과,

    상기 제1 부가 수단과 상기 제2 부가 수단에 의해 상기 제1 ID와 상기 제2 ID가 부가된, 상기 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷으로 패킷화하는 패킷화 수단

    을 구비하고,

    상기 인코딩 수단은, 상기 전체 스트림에 포함되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷을, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열되도록 인코딩하는, 정보 처리 장치.
12. 제11항에 있어서,

    상기 인코딩 수단은, 상기 기본 스트림의 각각의 동기 단위에 대응하는 상기 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우, 그 동기 단위에 있어서, 상기 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림과 상기 기본 스트림을 인코딩하는, 정보 처리 장치.
13. 제12항에 있어서,

    상기 인코딩 수단은, 상기 기본 스트림의 각각의 동기 단위에 대응하는 상기 제1 내지 제n 확장 스트림 중 어느 하나의 동기 단위가 존재하는 경우, 그 동기 단위에 있어서, 상기 제1 내지 제n 확장 스트림 중 존재하는 확장 스트림과 상기 기본 스트림을 인코딩하고, 그 동기 단위에 있어서, 상기 제1 내지 제n 확장 스트림 중 존재하지 않는 확장 스트림은 인코딩하지 않도록 함으로써, 상기 전체 스트림을 가변 비트 레이트로 인코딩하는, 정보 처리 장치.
14. 기본 스트림과 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 상기 기본 스트림을 인코딩하는 인코딩 스텝과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 스텝의 처리에 의해 인코딩된 것에, 상기 전체 스트림을 식별하기 위해 사용되는, 동일한 제1 ID를 부가하는 제1 부가 스텝과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 스텝의 처리에 의해 인코딩된 것에, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 스텝과,

    상기 제1 부가 스텝과 상기 제2 부가 스텝의 처리에 의해 상기 제1 ID와 상기 제2 ID가 부가된, 상기 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷으로 패킷화하는 패킷화 스텝

    을 포함하고,

    상기 인코딩 스텝은, 상기 전체 스트림에 포함되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷을, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열되도록 인코딩하는, 정보 처리 방법.
15. 삭제
16. 삭제
17. 기본 스트림을 구성하는 TS 패킷과 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 수단과,

    상기 입력 수단에 의해 입력된 상기 TS 패킷의 각각에 저장되어 있는, 상기 전체 스트림을 식별하기 위해 사용되는 제1 ID와, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정의 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 전체 스트림으로부터 선택하는 선택 수단과,

    상기 선택 수단에 의해 선택된 상기 TS 패킷을 디코딩하는 디코딩 수단

    을 구비하고,

    상기 입력 수단에는, 동일한 시각에 재생되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열된 상기 전체 스트림이 입력되는, 정보 처리 장치.
18. 제17항에 있어서,

    상기 입력 수단에 입력되는 상기 전체 스트림에는, 적어도 인코딩되어 있는 상기 기본 스트림이 포함되고, 상기 기본 스트림의 각각의 동기 단위에 대응하는 상기 제1 내지 제n 확장 스트림이 가변 비트 레이트로 인코딩되어 더 포함되는, 정보 처리 장치.
19. 기본 스트림을 구성하는 TS 패킷과, 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 스텝과,

    상기 입력 스텝의 처리에 의해 입력된 상기 TS 패킷의 각각에 저장되어 있는, 상기 전체 스트림을 식별하기 위해 사용되는 제1 ID와, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 상기 전체 스트림으로부터 선택하는 선택 스텝과,

    상기 선택 스텝의 처리에 의해 선택된 상기 TS 패킷을 디코딩하는 디코딩 스텝

    을 포함하고,

    상기 입력 스텝에는, 동일한 시각에 재생되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열된 상기 전체 스트림이 입력되는, 정보 처리 방법.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 제11항에 있어서,

    상기 제2 ID는 상기 기본 스트림, 및 상기 확장 스트림의 우선 순위를 식별하기 위한 식별 정보인, 정보 처리 장치.
25. 제17항에 있어서,

    상기 제2 ID는 상기 기본 스트림, 및 상기 확장 스트림의 우선 순위를 식별하기 위한 식별 정보인, 정보 처리 장치.
26. 기본 스트림과 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림이 포함될 수 있는 전체 스트림 중, 적어도 상기 기본 스트림을 인코딩하는 인코딩 스텝과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 스텝의 처리에 의해 인코딩된 것에, 상기 전체 스트림을 식별하기 위해 사용되는, 동일한 제1 ID를 부가하는 제1 부가 스텝과,

    상기 기본 스트림 및 제1 내지 제n 확장 스트림 중, 상기 인코딩 스텝의 처리에 의해 인코딩된 것에, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID를 부가하는 제2 부가 스텝과,

    상기 제1 부가 스텝과 상기 제2 부가 스텝의 처리에 의해 상기 제1 ID와 상기 제2 ID가 부가된, 상기 기본 스트림 및 제1 내지 제n 확장 스트림을, 각각 TS 패킷으로 패킷화하는 패킷화 스텝

    을 포함하고,

    상기 인코딩 스텝은, 상기 전체 스트림에 포함되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷을, 동일한 시각에 재생되는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열되도록 인코딩하는 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
27. 기본 스트림을 구성하는 TS 패킷과, 상기 기본 스트림에 대해서 확장성을 가지는 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 포함될 수 있는 전체 스트림을 입력하는 입력 스텝과,

    상기 입력 스텝의 처리에 의해 입력된 상기 TS 패킷의 각각에 저장되어 있는, 상기 전체 스트림을 식별하기 위해 사용되는 제1 ID와, 상기 기본 스트림 및 제1 내지 제n 확장 스트림의 각각을 식별하기 위한 제2 ID와, 사전에 설정되어 있는 소정 조건에 기초하여, 자신이 처리할 수 있는 TS 패킷을 상기 전체 스트림으로부터 선택하는 선택 스텝과,

    상기 선택 스텝의 처리에 의해 선택된 상기 TS 패킷을 디코딩하는 디코딩 스텝

    을 포함하고,

    상기 입력 스텝에는, 동일한 시각에 재생되는, 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷이 연속되면서, 또한 상기 기본 스트림을 구성하는 TS 패킷 및 상기 제1 내지 제n 확장 스트림의 각각을 구성하는 TS 패킷의 순서대로 배열된 상기 전체 스트림이 입력되는 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.

Images