KR20040102091A

KR20040102091A - 데이터 처리 시스템, 데이터 처리 방법 및 데이터 처리장치와 데이터 처리 프로그램

Info

Publication number: KR20040102091A
Application number: KR10-2004-7016370A
Authority: KR
Inventors: 도미나가가케히로
Original assignee: 소니 가부시끼 가이샤
Priority date: 2002-04-25
Filing date: 2003-04-17
Publication date: 2004-12-03
Also published as: JP4404180B2; WO2003092167A1; DE60330762D1; EP1499023A1; EP1499023A4; US20050240414A1; JP2003318977A; CN1653697B; EP1499023B1; CN1653697A; US7827036B2

Abstract

입력 데이터를 소정 시간 단위로 블록화해, 복수의 대역에 분할하여 대역마다 복호화 압축을 행하는, 데이터 재생시에 불가결이 되는 기본 서브블록과 재생 품질의 향상에 기여하는 복수의 확장 서브블록을 작성한다. 스트리밍 전달시에는, 송신가능 타이밍에 있어서, 같은 데이터·블록을 송출하는 시간 주기내이면 나머지의 확장 서브블록을 송출하지만, 이미 다음의 데이터·블록의 송출 타이밍이 도래한 경우에는 나머지의 확장 서브블록의 송출을 포기하고 다음 데이터·블록의 기본 서브블록의 송출을 개시한다. 이것에 의해서, 측정할 수 있는 데이터 압축에 의해 안정된 스트림 전달을 행할 수 있다.

Description

데이터 처리 시스템, 데이터 처리 방법 및 데이터 처리 장치와 데이터 처리 프로그램{Data processing system, data processing method, data processing device, and data processing program}

정보처리, 정보통신 기술이 고도로 발달한 요즈음으로는, 통상의 컴퓨터·데이터 뿐만 아니라, 이미지(정지화면 및 동영상을 포함한다)나 오디오등의 각종 데이터도 전자적으로 취급해지도록 되어 왔다.

그런데 , 이미지나 오디오등의 데이터는, 일반적으로, 장황성이 높고 또한 사이즈가 방대하고, 원데이터인 그대로 기억장치에 격납하거나 네트워크상에서 전송하거나 하면, 기억용량이나 통신 부하가 과대하게 되어 버린다. 이 때문에, 이런 종류의 데이터를 축적하거나 전송할 때에는 ,원데이터를 일단 부호화해 장황성을 제거해, 즉 압축 처리를 가하는 것이 일반적으로 되고 있다. 압축된 화상 데이터는, 신장 처리를 가해 원데이터에 복원하고 나서 다시 이용에 제공된다.

예를 들면, 오디오 신호의 고능률 부호화 압축 방식의 하나로서 ATRAC(Adaptive Transform Acoustic Coding)가 알려져 있다. ATRAC에서는, 오디오 신호를 대역 분할 필터로 4개의 주파수대역에 분할하여, 이것을 변형 DCT(MDCT) 연산해 시간축상의 데이터열을 주파수축상의 데이터열로 변환하고 나서 압축 부호화한다. 그 때, 최소 가청한 특성과 청각 마스킹 효과를 이용하고, 들리기 어려운 성분이나 큰 소리의 전후 데이터를 솎아내는 것으로써, 유저가 듣는 음질을 해치는 것 없이 부호화 데이터량을 줄이고 있다.

그런데, 데이터의 부호화 압축은, 압축율(비트율) 및 압축 신장 품질이 어느 특정의 범위에 안정되는 것을 목적으로로서 구축, 조정되는 것이 일반적이다. 이 때문에, 전송 용량이 다른 복수 선로에 대해서 데이터 송출을 행하는 경우, 혹은 전송 선로의 품질이 크게 변동하는 것과 같은 선로에 데이터 송출하는 경우에는, 다양한 전송 용량에 따라서 압축율이나 목표 품질에 근거해 복수의 압축 비트·스트림을 생성할 필요가 있다.

최근에는, 다운로드하면서 재생한다고 하는 「스트리밍」기술이 개발되어 인터넷상에서 보급하기 시작하고 있지만, 회선 용량이 일정하지 않다는 문제가 있다. 예를 들면, 일시적인 전송 용량의 감소나 지터에 대응하기 위해서, 클라이언트측에서 FIFO 버퍼링을 행하는 것이 일반적으로 행해지고 있다.

한편, 대폭적인 전송 용량의 변화에 대응하기 위해서, 오리지날·데이터로부터 복수의 비트율로 복호화한 복수의 스트림을 준비해 두어, 서버와 클라이언트간의 통신 상황에 따라 송출해야 할 스트림을 동적으로 바꾼다고 하는 방법이 채택되고 있다. 후자의 실장 예로서 미 RealNetworks사의”Sure Stream”이 알려져 있다.

그렇지만, 이러한 방법을 채용했을 경우, 클라이언트측에서 FIFO 버퍼가 채워질 때까지 최초의 데이터가 나오지 않기 때문에, 스트리밍 방송이 개시할 때까지 몇 초의 지연이 생기게 된다. 또, 통신 상황에 따라 복수의 스트림중에서 송출해야할 것을 선택하는 경우, 1개의 오리지날·데이터에 대해서 복수의 데이터를 작성할 필요가 있기 위해, 압축 프로세스가 복잡화 한다고 하는 문제가 있다. 또, 복수의 데이터를 보존 또는 전송 하기 위해서 송출 기구측의 데이터·스토리지(storage)나 통신회선등의 면에서 헛됨이 많아져, 그 만큼 시스템의 관리가 번잡하게 된다.

본 발명은, 통신회선을 거쳐서 데이터를 송수신 하는 데이터 처리 시스템, 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 데이터 처리 장치 및 데이터 처리 방법, 및 데이터 처리 프로그램과 관련되어, 특히, 통신회선 경유로 데이터를 스트리밍 전달하는 데이터 처리 시스템, 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 데이터 처리 장치 및 데이터 처리 방법, 및 데이터 처리 프로그램에 관한 것이다.

좀 더 자세한 것은, 본 발명은, 회선 용량이 일정하지 않은 통신회선 경유로 데이터를 스트리밍 전달하는 데이터 처리 시스템, 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 데이터 처리 장치 및 데이터 처리 방법, 및 데이터 처리 프로그램과 관련되어, 특히, 측정할 수 있는 데이터 압축 방법을 이용하여 안정된 스트림 전달을 행하는 데이터 처리 시스템, 측정할 수 있는 데이터 압축 방법에 의해 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 데이터 처리 장치 및 데이터 처리 방법, 및 데이터 처리 프로그램에 관한 것이다.

도 1은, 본 발명의-실시 형태와 관련되는 스트리밍 전달에 이용되는 데이터 압축 메카니즘을 모식적으로 나타낸 도이다.

도 2는, 기록 장치로부터 독출되는 원데이터의 데이터 구조를 모식적으로 나타낸 도이다.

도 3은, 도 1에 나타낸 데이터 압축 메카니즘에 의해 부호화 압축해 얻을 수 있는 계층화 서브블록 구성을 모식적으로 나타낸 도이다.

도 4는, 양자화 에러 성분을 재귀적으로 부호화 압축하는 메카니즘을 나타낸 도이다.

도 5는, 확장 서브블록의 재압축 성분과 재양자화 에러 성분을 포함한 계층화 압축 데이터 구성을 나타낸 도이다.

도 6은, 확장 서브블록의 3차 압축 성분과 3차 양자화 에러 성분을 포함한 계층화 압축 데이터 구성을 나타낸 도이다.

도 7은, 기본 및 확장 서브블록의 데이터 구조를 모식적으로 나타낸 도이다.

도 8은, 측정할 수 있는 계층화 압축된 데이터가 기록 장치에 보존되고 있는모습을 모식적으로 나타낸 도이다.

도 9는, 본 발명의 일실시 형태와 관련되는 스트리밍 전달 시스템(50)의 구성을 모식적으로 나타낸 도이다.

도 10은, 스트리밍 전달용 서버·어플리케이션(62)에 의해서 실현되는 스트리밍 전달 처리의 기능 구성을 모식적으로 나타낸 도이다.

도 11은, 스트리밍 전달용 서버·어플리케이션(62)에 의한 스트리밍 전달의 처리 순서를 나타낸 플로어차트(flow chart)이다.

도 12는, 스트리밍·데이터 재생용 클라이언트·어플리케이션(72)에 의한 스트리밍·데이터의 수신처리 순서를 나타낸 플로어차트이다.

도 13은, 측정할 수 있는 데이터 부호화 압축에 대응하는 데이터 복호화 신장 처리 시스템(20)의 구성을 모식적으로 나타낸 도이다.

도 14는, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 15는, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 16은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 17은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 18은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 19는, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 20은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 21은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 22는, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 23은, 데이터 복호화 신장 처리 시스템(20)에 의해 측정할 수 있는 압축 데이터를 복호화 신장 처리한 결과를 나타낸 도이다.

도 24는, 서버(60)측으로부터 송출되는 데이터·스트림의 구성을 모식적으로 나타낸 도이다.

본 발명의 목적은, 회선 용량이 일정하지 않은 통신회선 경유로 데이터를 매우 적합하게 스트리밍 전달할 수 있는 뛰어난 데이터 처리 시스템, 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 뛰어난 데이터 처리병치 및 데이터 처리 방법, 및 데이터 처리 프로그램을 제공하는 것에 있다.

본 발명의 새로운 목적은, 측정할 수 있는 데이터 압축 방법을 이용해서 안정된 스트림 전달을 행할 수 있는 뛰어난 데이터 처리 시스템, 측정할 수 있는 데이터 압축 방법에 의해 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행할 수 있는 뛰어난 데이터 처리 장치 및 데이터 처리 방법, 및 데이터 처리 프로그램을 제공하는 것에 있다.

본 발명은, 상기 과제를 참작해서 된 것이고, 그 제1의 측면은, 데이터를 복수의 블록으로 분할해, 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축하는 것으로써 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 작성하는 송신 데이터 생성수단과,

상기 본 생성된 기본 서브블록 또는 확장 서브블록을 송신하는 송신 수단과,

기본 서브블록 또는 확장 서브블록을 송신하는 타이밍을 발생시키는 타이밍 발생 수단과,

상기 타이밍 발생 수단에 의해 발생되는 타이밍에 근거해 현 블록의 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후차의 블록인 기본 서브블록을 송신할 때까지의 사이에 현 블록의 확장 서브블록을 송신하는 것이 가능할지를 판단해, 확장 서브블록의 송신이 가능하다라고 판단된 경우에는, 현 블록중의 확장 서브블록을 선택적으로 송신시켜 송신 제어수단을 갖춘 제1의 데이터 처리 장치와

상기 제 1의 데이터 처리 장치로부터 송신되는 기본 서브블록 또는 확장 서브블록을 수신하는 수신수단과,

상기 수신수단에서 수신한 서브블록으로부터 데이터를 복원하는 복원수단과,

상기 수신수단에서 수신한 서브블록이 기본 서브블록인 경우에는, 다음 블록의 기본 서브블록이 수신될 때까지의 사이에 상기 수신수단이 수신한 확장 서브블록과 이 수신한 기본 서브블록을 상기 복원수단에 공급해 데이터를 복원시키는 복원 제어수단을 갖춘 제2의 데이터 처리 장치로부터 구성된 것을 특징으로 하는 데이터 처리 시스템이다.

단, 여기서 말하는 「시스템」이란, 복수의 장치(또는 특정의 기능을 실현하는 기능 모듈)가 논리적으로 집합한 것을 말하고, 각 장치나 기능 모듈이 단일의 케이스내에 있는지 아닌지는 특별히 묻지 않는다.

본 발명에 의하면, 원데이터를 시간 블록 단위로 한층 더 대역 분할해 부호화한다고 하는 측정할 수 있는 데이터 압축 방법을 이용하는 것으로, 1개의 데이터로부터 다양한 비트율의 데이터를 용이하게 만들어 낼 수 있다.

따라서, 서버측에서는 스트림용 데이터를 위한 스토리지 용량을 삭감할 수 있다. 또, 데이터 전송율을 제어하기 위한 프로토콜도 간소화되므로, 예를 들면TCP(Transmission ControI Protocol)와 같은 기존의 표준적인 프로토콜상에서 동작하고, 안정된 스트림 전달을 실현할 수 있다. 또, 대역 분할된 서브블록마다 원데이터를 부호화 압축하는 것으로부터, 개개의 압축연산 처리 유니트(unit)는 소규모로 끝난다(또, 부호화를 위한 처리 부하는 가볍다).

예를 들면 오디오·데이터를 취급하는 경우, 각 시간 블록마다 가청인 주파수대역(0~22kHz)과 그 이외의 주파수대역(22kHz를 넘는 대역을 한층 더 복수로 분할해도 좋다)에 대역 분할해, 각 대역마다 부호화 압축연산을 실시한다. 부호화 압축은, MDCT(변형 이산 코사인 변환)와 양자화 처리에 의해 행해지지만, 이 때 압축 성분과 양자화 에러 성분이 출력된다. 가청 주파수대역의 압축 성분은, 데이터 재생시에 불가결한 것으로부터 기본 서브블록에 위치된다.

또, 가청 주파수대역의 양자화 에러 성분이나, 다른 대역의 압축 성분 및 양자화 성분은 데이터 재생 품질의 향상에 기여하는 것으로부터 확장 서브블록에 위치된다.

또, 입력 데이터의 특성에 따라서는 양자화 에러 성분의 데이터량이 커지게 되는 것이 있지만, 한층 더 양자화 에러 성분에 같은 부호화 압축 처리를 재귀적으로 적용해도 좋다. 이 경우, 양자화 에러 성분에 대한 압축 성분과 양자화 에러 성분이 생성되지만, 이것들을 확장 서브블록으로서 스트림용 데이터의 일부에 포함할 수 있다.

이와 같이하여 , 입력 데이터는, 소정의 시간 블록 단위로 계층화 된 복수의 서브블록에 분할해서 취급된다. 또, 각 서브블록에는, 서브블록의 전송에 필요하게 되는 자원량을 요구하기 위한 자원량 산출 정보를 부가해 두도록 해도 좋다. 자원량 산출 정보는, 서브블록의 전송에 의한 블록 전송율의 증분을 계산하기 위해서 사용되어 예를 들면, 서브블록의 크기를 나타내는 데이터 길이등에서 구성된다. 데이터 길이 대신에, 그 서브블록을 전송 하는 경우와 전송하지 않는 경우로 비교했을 때의 블록 전송율의 증감치를 사용해도 좋다. 또, 각 서브블록에는, 예를 들면 어느 시간 블록의 어느 대역의 서브블록인지를 식별하는 계층 ID를 한층 더 부가해도 좋다.

스트리밍 전달시에는, 데이터 전달측 즉 스트림·서버가 되는 제1의 데이터 처리 장치측에서는, 소정 시간 단위로, 기본 서브블록을 반드시 송신하는 것과 동시에, 회선 용량에 따라 송출하는 확장 서브블록의 양을 동적으로 제어한다.

예를 들면, 송신가능 타이밍을 검출했을 때에, 어느 데이터·블록을 보낼지를 결정하도록 하면 좋다. 즉, 송신가능 타이밍에 있고, 최후에 데이터 송출했을 때와 같은 시간 블록이면 해당 시간 블록내의 나머지의 확장 서브 블락을 송출한다. 또, 이미 다음의 시간 블록의 송출 타이밍이 도래하고 있는 경우에는 나머지의 확장 서브블록의 송출을 단념하고, 다음의 시간 블록내에 있어서의 기본 서브블록의 송출을 개시한다. 여기서 말하는 데이터의 「송신가능 타이밍」이란, 다음의 송신 데이터를 전송로상에 송출할 수 있는 시각 또는 이것과 등가인 시각의 것이고, 예를 들면, 송출 지터를 흡수하기 위해서 준비되어 있는 프로토콜·버퍼에 빈 곳이 생긴 시각을 송신가능 타이밍으로서 이용할 수도 있다.

한편, 클라이언트 즉 데이터·스트림을 수신하는 제2의 데이터 처리 장치측에서는, 시간 블록마다 기본 서브블록을 역양자화 및 역MDCT 연산에 의해 복호화 신장 처리해 스트리밍 재생을 행하는 것과 동시에, 확장 서브블록을 이용해 재생 품질을 향상시킨다. 수신측에서는, 각 시간 블록에 대해 확장 서브블록을 몇개까지 송출했는지를 알 수 없지만, 서브블록에 부가되고 있는 계층 ID를 이용해 식별하는 것으로써, 재생이 가능해진다. 또, 수신측에서는, 계층 ID를 참조하는 것으로써, 필요에 따라서 필요한 계층의 서브블록을 취사선택하고 재생에 이용할 수 있다. 예를 들면, 데이터 길이분만큼 빠뜨리고 불필요한 확장 서브블록을 파기할 수 있다. 즉, 수신측에서는, 수신 데이터를 복호화 신장 처리할 때에, 신장하는 품질을 스스로 선택할 수 있는 것이다. 또, 대역 분할된 서브블록마다 복호화 신장 처리하는 것으로부터, 개개의 신장 연산 처리 유니트는 소규모로 끝난다(또는, 처리 부하는 가볍다).

또, 본 발명의 제2의 측면은, 데이터를 소정의 시간 단위로 복수의 블록에 분할해, 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축하고, 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 생성해,

소정의 시간 단위로 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후차의 기본 서브블록을 송신할 때까지의 사이에 확장 서브블록을 송신하는 것이 가능한지 아닌지를 판단해, 확장 서브블록이 송신가능하다라고 판단되었을 경우에는 확장 서브블록을 송시키는 것을.특징으로 하는 데이터 처리 방법이다.

본 발명의 제2의 측면과 관련되는 데이터 처리 방법에 의하면, 원데이터를 시간 블록 단위로 한층 더 대역 분할해 부호화 한다고 하는 측정할 수 있는 데이터 압축 방법을 이용있는 것으로, 1개의 데이터로부터 다양한 비트율의 데이터를 데이터 송출시에 용이하게 만들어 낼 수 있다. 따라서, 스트림용 데이터를 위한 스토리지 용량을 삭감할 수 있다.

또, 데이터 전송율을 제어하기 위한 프로토콜도 간소화되므로, 예를 들면 TCP(Transmission ControI Protocol)와 같은 기존의 표준적인 프로토콜상에서 동작하고, 안정된 스트림 전달을 실현할 수 있다.

또, 대역 분할된 서브블록마다 원데이터를 부호화 압축하는 것으로부터, 개개의 압축연산 처리 유니트는 소규모로 끝난다(또는, 부호화의 처리 부하는 가볍다).

여기서, 상기 송신 데이터 생성수단 또는 스텝은, 시간 블록 단위의 입력 데이터를 데이터 재생에 불가결의 대역과 그 이외의 1이상의 대역에 분할하고, 각 대역에 대해서 부호화 압축연산을 적용하고, 데이터 재생에 불가결의 대역에 대해서 압축 성분을 기본 서브블록으로 하는 것과 동시에, 다른 대역의 압축 성분 및 각 대역에 대한 압축 오차성분을 확장 서브블록으로 한다.

게다가 상기 송신 데이터 생성수단 또는 스텝은, 각 대역에 대한 압축 오차성분을 재귀적으로 부호화 압축하고, 그 재귀적인 압축 성분 및 재귀적인 압축 오차성분을 확장 서브블록이라고 해도 좋다.

이와 같이하여, 입력 데이터를 소정 시간 단위로 블록화하는 것과 동시에,복수의 대역에 분할해, 각 대역에 대해서 부호화 압축을 행하고, 데이터 재생시에 불가결이 되는 기본 서브블록과 데이터 재생에 불가결하지 않지만 재생 품질의 향상에 기여하는 복수의 확장 서브블록으로 나누어 계층 구조를 작성한다.

계층화된 압축 데이터는 스케일러비티를 갖추고 있어 신장시에는 데이터·스트림 전체 혹은 그 일부를 선택적으로 신장하는 것에 의해서, 데이터 신장 품질을 용이하게 선택·조정할 수 있다.

또, 상기 송신 데이터 결정 수단 또는 스텝은, 서브블록의 전송에 필요하게 되는 자원량을 요구하기 위한 자원량 산출 정보로서 서브블록을 식별하는 계층 ID와 데이터 길이를 각 서브블록에 부가하도록 해도 좋다. 혹은, 데이터 길이 대신에, 데이터 길이의 증감의 값을 사용해도 좋다. 자원량 산출 정보를 기본으로, 서브블록의 전송에 의한 블록 전송율의 증분을 계산할 수 있다. 따라서, 측정할 수 있는 압축 데이터를 기록하거나 독출해, 데이터 전송하는 경우에는, 계층 ID를 기본으로 서브블록을 분류하거나 데이터 길이분만큼 독출 위치를 빠뜨려 다음의 서브블록을 고속으로 꺼낼 수 있다.

그리고, 데이터의 스트리밍 전달시에는, 상기 송신 데이터 결정 수단 또는 스텝은, 시간 블록마다 기본 서브블록의 송신을 결정하는 것과 동시에, 회선 용량에 따라 송신해야 할 확장 서브블록을 선택하도록 하면 좋다.

예를 들면, 검출된 송신가능 타이밍이 최후에 송출한 서브블록과 같은 시간 블록인, 즉 최후에 데이터 송신했을 때의 시간 블록의 송신 기한이 아직 지나지 않은 경우에는, 같은 시간 블록내에서 나머지의 확장 서브블록의 송신을 결정하면 좋다. 이 결과, 데이터 재생에 불가결한 기본 서브블록 이외에, 회선 용량에 따르는 만큼만 확장 서브블록을 전송할 수 있으므로, 데이터를 수신하는 클라이언트측에서는 보다 고품질의 재생 데이터를 받아들일 수 있다.

또, 검출된 송신가능 타이밍에 있어서 최후에 송출한 서브블록과 같은 시간 블록의 송신 기한이 이미 경과하고 있는 경우에는, 이 송신가능 타이밍에 대응하는 시간 블록의 기본 서브블록의 송신을 결정하도록 한다. 이 결과, 회선 용량에 여유가 없는 경우에는, 적어도 기본 서브블록을 전송하도록 하고, 데이터를 수신하는 클라이언트측에서 재생 데이터의 두절을 일으키지 않게 한다.

또, 본 발명의 제3의 측면은, 기본 서브블록 또는 확장 서브블록을 수신해, 이 수신한 서브블록이 기본 서브블록이다고 판단된 경우에는, 다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 확장 서브블록과 이 수신한 기본 서브블록으로부터 데이터를 복원시키는, 것을 특징으로 하는 데이터 처리 방법이다.

본 발명의 제3의 측면과 관련되는 데이터 처리 방법에 의하면, 회선 용량에 여유가 없는 경우에는, 적어도 기본 서브블록을 이용해 데이터의 복원을 행하는 것으로, 재생 데이터의 두절을 일으키지 않게 할 수 있다. 또, 회선 용량에 여유가 있는 경우에는, 다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 복수의 확장 서브블록중에서 확장 서브블록을 선택해, 이 선택된 확장 서브블록과 수신한 기본 서브블록으로부터 데이터를 복원하는 것으로써, 보다 고품질의 데이터 재생을 행하도록 할 수 있다.

또, 본 발명의 제4의 측면은,

데이터를 소정의 시간 단위로 복수의 블록에 분할하는 스텝과,

이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축해, 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 생성하는 스텝과,

소정의 시간 단위로 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후차의 기본 서브블록을 송신할 때까지의 사이에 확장 서브블록을 송신하는 것이 가능한지 아닌지를 판단해, 확장 서브블록이 송신가능하다라고 판단된 경우에는 확장 서브블록의 송신을 지시하는 스텝을 갖추는 것을 특징으로 하는 송신 데이터의 처리를 컴퓨터·시스템상에서 실행하도록 컴퓨터 가독형식에서 기술된 데이터 처리 프로그램이다.

또, 본 발명의 제5의 측면은,

수신한 서브블록이 기본 서브블록일지를 판단하는 스텝과,

수신한 서브블록이 기본 서브블록이다고 판단된 경우, 다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 확장 서브블록과 상기 수신한 기본 서브블록을 이용해 데이터의 복원을 실행시키는 스텝을 갖추는 것을 특징으로 하는 수신한 데이터를 복원하는 처리를 컴퓨터·시스템상에서 실행하도록 컴퓨터 가독형식에서 기술된 데이터 처리 프로그램이다.

본 발명의 제 4 및 제 5의 각 측면과 관련되는 컴퓨터·프로그램은, 컴퓨터·시스템상에서 소정의 처리를 실현하도록 컴퓨터 가독형식에서 기술된 컴퓨터·프로그램을 정의한 것이다. 환언(換言)하면, 본 발명의 제 4 및 제 5의 각 측면과관련되는 컴퓨터·프로그램을 컴퓨터·시스템에 인스톨하는 것에 의해서, 컴퓨터·시스템상에서는 협동적 작용이 발휘되어 본 발명의 제 2 및 제3 의 각 측면과 관련되는 데이터 처리 방법과 같은 작용 효과를 얻을 수 있다.

본 발명의 한층 더 다른 목적, 특징이나 이점은, 후술 하는 본 발명의 실시 형태나 첨부하는 도면에 근거하는 것보다 상세한 설명에 의해서 밝혀질 것이다.

이하, 도면을 참조하면서 본 발명의 실시 형태에 대해 상세한 풀이한다.

A. 개요

예를 들면 인터넷과 같은 회선 용량이 일정하지 않는 통신회선을 이용해 데이터의 스트리밍을 행하는 경우, 회선 용량에 따라 다양한 압축율에 적응 할 수 있는 측정할 수 있는 데이터 압축 수법이 필요하다.

그래서, 본 발명에서는, 입력 데이터를 소정 시간 단위로 블록화하는 것과동시에, 복수의 대역에 분할하고, 각 대역마다 부호화 압축을 행해, 데이터 재생시에 불가결이 되는 기본 서브블록과 데이터 재생에 불가결하지 않지만 재생 품질의 향상에 기여 하는 복수의 확장 서브블록으로 나누어 계층 구조를 작성한다.

그리고, 스트리밍 전달시에는, 소정 시간 단위로, 기본 서브블록을 반드시 송신하는 것과 동시에, 회선 용량에 따라 송출하는 확장 서브블록의 양을 동적으로 제어한다. 즉, 송신가능 타이밍을 검출했을 때에, 어느 데이터·블록을 보낼지를 결정하도록 하면 좋다. 예를 들면, 송신가능 타이밍에 있어서, 같은 데이터·블록을 송출하는 시간 주기내이면 나머지의 확장 서브블록을 송출하지만, 이미 다음의 데이터·블록의 송출 타이밍이 도래했을 경우에는 나머지의 확장 서브블록의 송출을 포기해 다음의 데이터·블록의 기본 서브블록의 송출을 개시한다.

이와 같이 원데이터를 시간 블록 단위로 한층 더 대역 분할해 부호화 한다고 하는 측정할 수 있는 데이터 압축 방법을 이용하는 것으로, 1개의 데이터로부터 다양한 비트율의 데이터를 만들어 낼 수 있다. 따라서, 서버측에서는 스트림용 데이터를 위한 스토리지 용량을 삭감할 수 있다. 또, 데이터 전송율을 제어하기 위한 프로토콜도 간소화되므로, 예를 들면 TCP(Transmission ControI Protocol)와 같은 기존의 표준적인 프로토콜상에서 동작하고, 안정된 스트림 전달을 실현할 수 있다. 또, 대역 분할된 서브블록마다 원데이터를 부호화 압축하는 것으로부터, 개개의 압축연산 처리 유니트는 소규모로 끝난다(또는, 부호화의 처리 부하는 가볍다).

예를 들면 스트리밍 전달용의 데이터로서 오디오·데이터를 취급하는 경우,각 시간 블록마다 가청인 주파수대역(0~22kHz)과 그 이외의 주파수대역(22kHz를 넘는 대역을 한층 더 복수로 분할해도 좋다)에 대역 분할해, 각 대역마다 부호화 압축연산을 실시한다. 부호화 압축은, MDCT(변형 이산 코사인 변환)와 양자화 처리에 의해 행해지지만, 이 때 압축 성분과 양자화 에러 성분이 출력된다. 가청 주파수대역의 압축 성분은, 데이터 재생시에 불가결한 것으로부터 기본 서브블록에 위치된다. 또, 가청 주파수대역의 양자화 에러 성분이나, 다른 대역의 압축 성분 및 양자화 성분은 데이터 재생 품질의 향상에 기여하는 것으로부터 확장 서브블록에 위치된다.

또, 입력 데이터의 특성에 따라서는 양자화 에러 성분의 데이터량이 커지는 일이 있지만, 한층 더 양자화 에러 성분에 같은 부호화 압축 처리를 재귀적으로 적용해도 좋다. 이 경우, 양자화 에러 성분에 대한 압축 성분과 양자화 에러 성분이 생성되지만, 이것들을 확장 서브블록으로서 스트림용 데이터의 일부에 포함할 수 있다.

이와 같이 입력 데이터는, 소정의 시간 블록 단위로 계층화 된 복수의 서브블록에 분할해서 취급된다. 또, 각 서브블록에는, 어느 시간 블록의 어느 대역의 서브블록인지를 식별하는 계층 ID와 서브블록의 크기를 나타내는 데이터 길이를 부가해 둔다.

한편, 클라이언트 즉 데이터·스트림의 수신측에서는, 시간 블록마다 기본 서브블록을 역양자화 및 역MDCT 연산에 의해 복호화 신장 처리해 스트리밍 재생을 행하는 것과 동시에, 확장 서브블록을 이용해 재생 품질을 향상시킨다. 수신측에서는, 각 시간 블록에 대해 확장 서브블록을 몇 개까지 송출했는지를 알 수 없지만, 서브블록에 부가되고 있는 계층 ID를 이용해 식별하는 것으로써, 재생이 가능해진다. 또, 수신측에서는, 계층 ID를 참조하는 것으로써, 필요에 따라서 필요한 계층의 서브블록을 취사선택하고 재생에 이용할 수 있다. 예를 들면, 데이터 길이분만큼 스킵 해 불필요한 확장 서브블록을 파기할 수 있다. 즉, 수신측에서는, 수신 데이터를 복호화 신장 처리할 때에, 신장하는 품질을 스스로 선택할 수 있는 것이다. 또, 분할된 대역마다 복호화 신장 처리하는 것으로부터, 개개의 신장 연산 처리 유니트(unit)는 소규모로 끝난다(또는, 복호화의 처리 부하는 가볍다).

B. 측정할 수 있는 데이터 압축

우선, 본 실시 형태와 관련되는 측정할 수 있는 데이터 복호화 압축 시스템(10)에 대해서, 도 1을 참조하면서 설명한다. 단, 이하의 설명에서는 편의상 오디오·데이터를 취급하는 것으로 한다. 단, 이하의 설명에서는 편의상, 88.2 kHz까지의 주파수대역을 가지며, 즉 샘플링·레이트가 176.4 kHz인 오디오·데이터를 취급하는 것으로 한다.

원데이터는, 하드·디스크나 광학 자기 디스크등의 랜덤·액세스가 가능한 기록 장치상에 축적되고 있다. 그리고, 기록 장치로부터 오디오·데이터가 소정의 시간 블록 T_B단위로 독출되어(도 2를 참조), QMF(Quadrature Mirror Filter)를 다단에 조합한 필터에 의해서 주파수 방향으로 복수에 분해된다.

도 1에 나타내는 예에서는, 2단에 조합한 QMFll에 의해서, 오디오·데이터는, 0~22 kHz의 가청 주파수대역 서브블록과 22 kHz를 넘는 대역을 한 층더 22 kHz 마다의 대역에 분할되고 있다. 이하에서는, 0~22 kHz의 가청 주파수대역을 「기본 대역」이라고 부르며, 이후는 「x2 대역」, 「x3대역」, 「x4대역」이라고 부르기로 한다. 물론, 22 kHz 대역을 넘는 다른 양식에서 분할해도 괜찮고, 분할하지 않는 단일의 대역 서브블록으로서 취급하도록 해도 좋다.

분할된 각 대역은, 한층 더 MDCT(변형 이산 코사인 변환) 연산부(12)로 시간축상의 데이터열을 주파수축상의 데이터열로 변환해, 한층 더 양자화 연산부(13)로 양자화해 압축 부호화 한다.

여기서, 각각의 대역에 있어서의 양자화 연산부(13)의 출력은, 압축 성분과 양자화 에러 성분으로 구성된다.

이 결과, 소정의 시간 블록으로 잘라진 원데이터는, 도 3에 나타내는 계층화 된 복수의 서브블록으로서 구성되어 있다. 즉, 기본 대역인, 그 압축 성분으로부터 구성되는 기본 서브블록(＃1)과 그 양자화 에러 성분으로부터 되는 확장 서브블록(#2)라고 하는 계층 구조로부터 된다. 또,x2 대역은, 이 대역 성분에 대해 압축 성분으로부터 구성되는 확장 서브블록(＃3)과 그 양자화 에러 성분으로부터 구성되는 확장 서브블록(＃4)라고 하는 계층 구조로부터 된다. 마찬가지로, x3 대역은 이 대역 성분에 대해 압축 성분으로부터 구성되는 확장 서브블록(＃5)과 그 양자화 에러성분으로부터 구성되는 확장 서브블록＃6이라고 하는 계층 구조로부터 되어, x3대역은 이 대역 성분에 대해 압체성분으로부터 구성되는 확장 서브블록(＃5)과 그 양자화 에러 성분으로부터 구성되는 확장 서브블록＃6이라고 하는 계층 구조로부터 된다. 본 실시 형태에서는, 각 서브블록은 가변장이지만, 물론, 고정장이 되도록 복호화 압축을 실시해도 좋다.

또, 입력 데이터의 특성에 따라서는 양자화 에러 성분의 데이터량이 커지는 일이 있다. 이러한 경우, 도 4에 나타낸 것과 같이, 재압축부(14)에 의해, 한층 더 양자화 에러 성분에 같은 부호화 압축 처리를 재귀적으로 적용해도 좋다. 재압축부(14)는, 동일한 MDCT 연산과 양자화 연산을 행해, 양자화 에러 성분에 대한 재압축 성분과 재양자화 에러 성분이 생성되지만, 도 5에 나타낸 것과 같이, 이것들을 확장 서브블록으로서 계층화해, 스트림용 데이터의 일부에 포함할 수 있다. 물론, 도 6에 나타낸 것과 같이 재양자화 에러 성분을 재차 압축해, 제 3차 압축 성분과 제 3차 양자화 에러 성분을 얻고, 확장 서브블록을 한층 더 계층화할 수도 있다.

기본 서브블록(＃1)은, 데이터 재생시에 불가결로 되는 성분이다. 이것에 대해서, 확장 서브블록＃2~＃8은 데이터 재생에 불가결하지는 않지만 데이터 재생 품질의 향상에 기여할 수 있다. 또, 확장 서브블록은, 원데이터의 압축 성분과 양자화 에러 성분의 2종류가 있지만, 대응하는 압축 성분이 없으면 그 양자화 에러 성분을 데이터 재생에 이용할 수 없다(예를 들면, 확장 서브블록(＃4)를 이용하기 위해서는 확장 서브블록(＃3)의 복호화가 필수이다). 또, 기본 서브블록(＃1)에 의해 가까운 대역 성분만큼 데이터 재생 품질의 공헌도는 높다고 하는 성질이 있다.

후처리부(15)에서는, 계층적으로 부호화 압축된 서브블록에, 어느 시간 블록의 어느 대역의 서브블록인지를 식별하는 계층 ID를 부가한다. 또 서브블럭을 가변장 형식에서 구성하는 경우에는, 한층 더 서브블록의 데이터 길이를 부가한다. 도 7에는, 기본 및 확장 서브블록의 데이터 구조를 나타내고 있다.

이와 같이 생성된 기본 및 확장 서브블록은, 하드·디스크 장치와 같은 랜덤·액세스 가능한 기록 장치에 시계열적으로 축적된다(도 8을 참조). 기록 장치상에서는, 서브블록의 선두에 기술된 계층 ID를 참조하는 것에 의해서, 어느 시간 블록의 어느 계층의 서브블록인지를 분류할 수 있다. 또, 다음의 서브블록에 진행되고 싶을 때에는, 데이터 길이분만큼 독출하는 위치를 스킵 하면 좋다.

이와 같이 압축한 데이터를 분할하고 한편 계층적으로 기록하도록 하고, 압축 데이터의 신장시의 품질을 동적으로 선택, 제어하는 것이 가능해져, 스케이라비리티(scalability)가 실현된다. 또, 압축 처리의 과정에 있어서의 오차를 검출해 압축 데이터에 부가하는 것에 의해서, 압축 품질을 향상시킬 수 있다.

또, 도 13에는, 상술한 측정할 수 있는 데이터 부호화 압축에 대응하는 데이터 복호화 신장처리 시스템(20)의 구성을 도해하고 있다. 같은 도에 나타낸바와 같이, 이 신장처리 시스템(20)은, 가청 대역 및 x2, x3, x4의 각 대역마다 복호화 신장 처리부를 갖추어 각각의 대역에 대한 복호 데이터를 역QMF로 다중화하고, 원데이터를 재현하는 구성이 되고 있다.

사전 처리부(21)에서는, 수신한 서브블록의 계층 ID를 독출하고, 해당하는 대역의 복호화 신장처매부에 투입한다.

복호화 신장 처리부는, 역양자화부(22)와 역MDCT 연산부(23)으로 구성된다. 역양자화부(22)는, 해당하는 대역에 대한 압축 성분 서브블록과 양자화 에러 성분 서브블록을 기본으로 역양자화를 행한다. 양자화 에러 서브블록이 재귀적으로 압축 처리가 실시되고 있는 경우에는, 이 서브블록을 일단 복호화 신장 처리를 행한 후, 역양자화부(22)에 투입한다. 또, 역MDCT 연산부(23)은, 주파수축상의 데이터열을 시간축상의 데이터열로 변환한다.

그리고, 각 대역에 대한 복호 데이터를 역QMF24로 다중화하고, 원데이터를 재현한다.

이 데이터 복호화 신장 처리 시스템(20)에 기본 서브블록(＃1)이 입력되면, 이것이 역양자화 및 역MDCT 연산되고, 원데이터의 가청 대역이 복원된다(도 14를 참조). 그 다음에, 확장 서브블록(＃2)가 입력되면, 가청 대역의 부호화 압축시에 있어서의 양자화 에러 성분도 복원되어(도 15를 참조), 고품질의 가청 대역을 재생하는 것이 가능해진다.

한층 더 확장 서브블록(＃3)이 입력되면 x2 대역이 복원되어(도 16을 참조), 또, 확장 서브블록(＃4)이 입력되면 x2 대역의 복호화 압축때에 있어서의 양자화 에러 성분도 복원되어(도 17을 참조), x2 대역까지를 고품질로 재생하는 것이 가능해진다.

이하 같이 데이터 복호화 신장 처리 시스템(20)이 확장 서브블록(＃5), (＃6),…을 순차적으로 얻는 것에 의해서, 원데이터의 것보다 높은 대역 성분을 보다 고품질로 재현해 나가게 된다(도 18~도 21을 참조).

또, 측정할 수 있는 압축 데이터를 복호화 신장 처리의 변형예로서 도 21에 나타낸 바와 같이, 가청 대역 및 x2, x3, x4의 모든 대역에 대해 압축 복호화 성분을 복원하는 한편으로, 가청대역만 양자화 에러 성분을 복원하도록 해도 좋다. 혹은, 도 22에 나타낸 바와 같이, 가청 대역 및 x2, x3, x4의 모든 대역에 대해 압축 복호화 성분을 복원하는 한편으로, 가청 대역 및 x2 영역만 양자화 에러 성분을 복원하도록 해도 좋다.혹은, 도 23에 나타낸 바와 같이, 가청 대역 및 x2, x3의 각 대역에 대해 압축 복호화 성분을 복원하는 한편으로, 가청 대역만 양자화 에러 성분을 복원하도록 해도 좋다. 사전 처리부(21)는, 공급되는 각 서브블록에 부가되고 있는 계층 ID 및 데이터 길이를 참조하고, 도 22~도 23의 각 복호화 신장 결과가 되도록, 서브블록을 취사선택 하도록 하면 좋다.

상술한 것처럼 압축 데이터는 스케이라비리티(scalability)를 갖추고 있으므로, 신장시에는 데이터·스트림 전체 혹은 그 일부를 선택적으로 신장하는 것에 의해서, 데이터 신장 품질을 선택·조정할 수 있는 것이다.

C. 스트리밍 전달

도 1에 나타낸 데이터 부호화 압축 시스템(10)에 의하면, 측정할 수 있는 계층화 압축 데이터를 얻을 수 있어 1개의 데이터로부터 다양한 비트율의 데이터를 만들어 낼 수 있다. 이러한 계층화 압축 데이터를 이용해 스트리밍 전달을 행하는 것으로, 서버측, 스트림용 데이터를 위한 저장 용량을 삭감할 수 있다. 또, 데이터 전송율을 제어하기 위한 프로토콜도 간소화되므로, 예를 들면 TCP(Transmission ControI Protocol)와 같은 기존의 표준적인 프로토콜상에서 동작하고, 회선 용량이 일정하지 않은 인터넷상에서도 안정된 스트림 전달을 실현할 수 있다.

도 9에는, 본 실시 형태와 관련되는 스트리밍 전달 시스템(50)의 구성을 모식적으로 나타내고 있다.

같은 도에 나타낸 바와 같이, 스트리밍 전달 시스템(50)은, 데이터·스트림을 전달하는 서버(60)와 데이터·스트림을 수신과 동시에 재생하는 클라이언트(70)로 구성된다.

서버(60)과 클라이언트(70)의 사이는, 인터넷 혹은 그 외의 형태의 TCP 네트워크(80)로 상호 접속되고 있다. 본 실시 형태에서는, 안정된 스트림 전달을 행하는데 있어서, TCP 네트워크(80)의 회선 용량이 일정하는 것에서는 특히 요구되지 않는다.

덧붙여 도시하지 않지만 TCP 네트워크(80)상에는 도시하지 않는 복수의 서버 및 다수의 클라이언트가 배치되어 있어도 좋다. 또, 서버는, 스트리밍 전달 서비스 이외의, 여러가지 정보 제공 서비스를 행하고 있어도 좋다.

스트리밍 전달을 행하는 서버(60)측에서는, TCP 프로토콜·스택(61)상에서 스트리밍 전달용 서버·어플리케이션(62)이 기동하고 있다.

이 서버·어플리케이션(62)은, 부설의 기록 장치(63)으로부터 스트리밍 전달용 데이터를 독출하고, TCP 프로토콜·스택(61)을 개입시키고, 스트리밍 전달을 행한다. TCP 프로토콜의 상세한 것에 대하여는 RFC(request for comments)가 참조되고 싶다.

기록 장치(63)상에는, 측정할 수 있는 데이터 압축 처리가 실시된 스트리밍 전달용 데이터가 축적되고 있다. 보다 구체적으로는, 원데이터는 소정의 시간 블록마다 복수의 대역에 분할 및 부호화 압축되어, 압축 성분 서브블록과 그 양자화 성분 서브블록에 계층화 되어 시계열적으로 격납된다(도 8을 참조). 각 서브블록에는, 어느 시간 블록의 어느 대역의 서브블록인지를 식별하는 계층 ID와 서브블록의 데이터 길이가 부가되고 있다(도 7을 참조). 또, 기록 장치(63)은, 하드·디스크등의 랜덤·액세스가 가능한 장치로 구성되어 계층 ID와 데이터 길이를 참조해 소망한 서브블록에 자재로 액세스 할 수 있다.

스트리밍 전달 서버·어플리케이션(62)는, 다음 번 송출해야 할 서브블록을 기록 장치(63)로부터 독출하면, 이것을 TCP 프로토콜·스택(61)이 장비하는 송신 버퍼 (61A)에 쓴다.

송신 버퍼(61A)는, FIFO(First In First Out：선입 선출) 형식으로 구성되어 오랜 데이터의 순서에 TCP 네트워크(80)에 송출한다. 송신 버퍼(61A)는, 기록 장치(63)으로부터의 송신 데이터의 꺼내 타이밍(혹은 송신 데이터의 생성 타이밍)과 송신 타이밍과의 차이를 흡수하기 위해서 장비되고 있다. 어플리케이션(62)에 의한 데이터 기입 동작에 의해 송신 버퍼(61A)에 송신 데이터가 기입되(혹은 송신 데이터로 꽉차게 된다)면 TCP 프로토콜·스택(61)의 데이터 송출 타이밍이 된다. 또, TCP 네트워크(80)에의 데이터 송출 동작에 의해 송신 버퍼(61A)를 비우(혹은 비어 있는 영역이 발생한다)면 어플리케이션(62)에 의한 다음의 데이터 기입 타이밍이 된다.

한편, 스트리밍·데이터를 수신하는 클라이언트(70)측에서는, TCP상에서 스트리밍·데이터 재생용 클라이언트·어플리케이션(72)가 기동하고 있다.

TCP 프로토콜·스택(71)은, TCP 네트워크(80) 경유로 전달된 데이터를 수신하면, 이것을 수신 버퍼(71A)에 쓴다. 스트리밍·데이터 재생용 클라이언트·어플리케이션(72)은 수신 버퍼(71A)로부터 꺼낸 데이터를 역양자화 및 역MDCT 연산해 원데이터에 복원하고, 재생기(73)으로부터 재생 출력한다. 이 복호화 처리는, 각 대역마다, 압축 성분 서브블록만, 혹은, 한층 더 양자화 에러 성분 서브블록을 이용해 행해진다.

상술한 것처럼, 서버(60)측에게서는, 측정할 수 있는 데이터 압축 처리가 실시된 스트리밍 전달용 데이터가 송신된다. 보다 구체적으로, 송신 데이터는, 원데이터를 소정의 시간 블록마다 복수의 대역에 분할 및 부호화 압축한 후, 압축 성분 서브블록과 그 양자화 성분 서브블록에 계층화 되고 있다. 한편, 클라이언트(70)측에서는, 각 시간 블록에 대해 확장 서브블록을 몇 개까지 송출했는지를 알 수 없지만, 서브블록에 부가되고 있는 계층 ID를 이용해 식별하는 것으로써, 재생이 가능해진다.

수신 버퍼(71A)는, FIFO(First In First Out：선입 선출) 형식으로 구성되어 오랜 데이터의 순서로 어플리케이션(72)에 송출한다. 수신 버퍼(71A)는, TCP 네트워크(80)를 경유하여 데이터 수신 타이밍과 어플리케이션(72)로부터의 수신 데이터의 꺼내 타이밍(혹은 수신 데이터의 재생 타이밍)과의 차이를 흡수하기 위해서 장비되고 있다. 수신 데이터가 수신 버퍼(71A)에 축적되(혹은 꽉차게 된다)면어플리케이션(72)은 수신 데이터를 독출한다. 또, 어플리케이션(72)로부터의 독출 동작에 의해 수신 버퍼(71A)를 비우(혹은 비어 있는 영역이 발생한다)면 TCP 프로토콜·스택(71)은 다음의 데이터의 수신 가능 타이밍이 된다.

본 실시 형태에서는, 원데이터는, 데이터 재생시에 불가결이 되는 기본 서브블록과 데이터 재생에 불가결하지는 않지만 재생 품질의 향상에 기여하는 복수의 확장 서브블록으로 나누고, 계층 구조화 되어 있다. 스트리밍 전달용 서버·어플리케이션(62)은, 소정의 시간 블록마다, 기본 서브블록을 반드시 송신하는 것과 동시에, 회선 용량에 따라 송출하는 확장 서브블록의 양을 동적으로 제어하게 되어 있다. 즉, 송신가능 타이밍에 있어서, 같은 데이터·블록을 송출하는 시간 주기내이면 나머지의 확장 서브 블록을 송출하지만, 이미 다음의 데이터·블록의 송출 타이밍이 도래했을 경우에는 나머지의 확장 서브블록의 송출을 포기해 다음의 데이터·블록의 기본 서브블록의 송출을 개시한다.

이와 같이 하면, 원데이터를 시간 블록 단위로 한층 더 대역 분할해 부호화한다고 하는 측정할 수 있는 데이터 압축 방법을 이용하는 것으로, 1개의 데이터로부터 다양한 비트율의 데이터를 만들어 낼 수 있다. 따라서, 비트율 조정을 위해서, 1개의 원데이터로부터 비트율가 다른 복수의 부호화 스트림을 준비할 필요가 없기 때문에, 기록 장치(63)의 스토리지 용량을 삭감할 수 있다.

도 10에는, 스트리밍 전달용 서버·어플리케이션(62)에 의해서 실현되는 스트리밍 전달 처리의 기능 구성을 모식적으로 나타내고 있다.

도시한 대로, 스트리밍 전달용 서버·어플리케이션(62)은, 타이머(65)와 송출 블록 결정부(66)와 송출이 끝난 블록 기억부(67)를 갖추고 있다.

다운로드하면서 재생을 행하는 스트리밍 전달에 대해서는, 회선 용량의 변동에 관계없이, 클라이언트 측에 두어서 중단되지 않고 데이터 재생을 가능하게 하기 위해서, 서버(60)측에서는 비트율을 동적으로 조정할 필요가 있다.

송신 데이터는, 소정 시간 블록마다, 복수의 대역에 분할하는 것과 동시에, 데이터 재생시에 불가결이 되는 기본 서브블록과 데이터 재생에 불가결하지 않지만 재생 품질의 향상에 기여하는 복수의 확장 서브블록에 송출 블록으로 계층화 되어 있다. 따라서, 데이터의 중단을 회피하기 위해서는, 소정 시간 블록마다 기본 서브블록을 송출하는 것이 필수이다. 한층 더, 회선 용량의 여유에 따라 확장 서브블록을 송출하고, 데이터 재생 품질의 향상을 도모해야 하는 것이다.

타이머(65)는, 시스템·타이머(도시하지 않는다)등을 이용해 실시간을 계시(計時)하고 있다.

송출 블록 결정부(66)는, 타이머(65)의 계시 값을 참조하고, 송신 타이밍을 검출했을 때의 시간 블록을 산출한다. 그리고, 송신가능 타이밍에 있어서, 같은 데이터·블록을 송출하는 시간 주기내이면 나머지의 확장 서브 블록을 송출하지만, 이미 다음의 데이터·블록의 송출 타이밍이 도래했을 경우에는 나머지의 확장 서브블록의 송출을 포기하고 다음의 데이터·블록의 기본 서브블록의 송출을 개시한다. 송출 블록 결정부(66)는, 송출 블록을 결정하기 위해서, 최후에 송출한 블록 B_last및 서브블록 SB_last의 계층 ID를 보관 유지하기 위해서, 송출이 끝난 블록 기억부(67)를 사용한다.

송출 블록 결정부(66)은, 상술한 것 같은 메카니즘에 의해 송출 블록 및 그 서브블록을 결정하면, 해당하는 데이터를 기록 장치(63)으로부터 꺼내고, TCP 프로토콜·스택(61)의 송신 버퍼(61A)에 기입한다.

또, 도 11에는, 스트리밍 전달용 서버·어플리케이션(62)에 의한 스트리밍 전달의 처리 순서를 플로차트(flow chart)의 형식으로 가리키고 있다.

우선, TCP 프로토콜·스택(61)의 송신 버퍼(61A)의 빈 영역을 체크하는 것으로써, 출력 타이밍이 도래했는지를 판별한다(스텝 Sl).

출력 타이밍이 도래하면, 타이머(65)의 계시 값을 참조하고, 현재의 시간 블록(B_last)을 산출한다. 한편, 송출이 끝난 블록 ID기억부(67)를 참조해 최후에 송출한 블록(B_last)을 검출한다. 그리고, 최후에 송출한 블록(B_last)이 현재의 시간 블록(B_current)에 일치하는지를 판별한다(스텝 S2).

최후에 송출한 블록(B_last)이 현재의 시간 블록 (B_current)에 일치하는 경우에는, 송출이 끝난 블록 ID기억부(67)에 기억되고 있는 최후에 송출한 서브블록 (S B_last)을 독출해, 같은 시간 블록(B_last)내에서 다음의 서브블록(S B_last＋1)이 존재하는지를 체크한다(스텝 S3).

같은 시간 블록(B_last)내에서 다음의 서브블록(S B_last＋1)이 존재하지 않는 경우에는, 시간 블록(B_last)내의 모든 서브블록을 이미 송신하고 있으므로, 스텝 Sl로돌아와, 다음의 시간 블록에 대한 데이터 송신 타이밍을 대기한다.

또, 같은 시간 블록(B_last)내에서 다음의 서브블록(S B_last＋1)이 존재하는 경우에는, 출력 데이터로서 시간 블록 B_last내에서 다음의 서브블록 S B_last＋1을 선택하고(스텝 S4), 선택한 서브블록을 기록 장치(63)으로부터 독출하고, 이것을 TCP 프로토콜·스택(61)의 송신 버퍼(61A)에 기입한다(스텝 S6). 그리고, 송출이 끝난 블록 ID기억부(67)의 기억 내용을 갱신한다.

또, 스텝 S2에 대하여, 최후에 송출한 블록(B_last)이 현재의 시간 블록(B_current)에 일치하지 않게 판정되었을 경우에는, 최후에 송출한 블록(B_last)을 송신하는 시간 블록을 이미 경과하고 있으므로, 현재의 시간 블록(B_current)의 기본 서브블록을 출력 데이터로서 선택한다(스텝 S5). 그리고, 선택한 서브블록을 기록 장치(63)으로부터 독출하고, 이것을 TCP 프로토콜·스택(61)의 송신 버퍼(61A)에 기입하는 것과 동시에(스텝 S6), 송출이 끝난 블록 ID기억부(67)의 기억 내용을 갱신한다.

그 후, 스텝 Sl로 돌아와, 다음의 데이터 송신 타이밍을 대기한다.

도 24에는, 서버(60)측으로부터 송출되는 데이터·스트림의 구성을 모식적으로 나타내고 있다. 본 실시 형태에서는, 스트리밍 전달 데이터는 소정의 시간 블록 T_B마다 취급되어 얼마나 서브블록이 송출될지는, 그 시간 블록에 있어서의 회선 용량에 따라 결정되어 이 결과 데이터·스트림의 비트율이 동적으로 조정, 제어되는 구조로 되어 있다. 같은 도에 나타내는 예에서는, t=0의 시간 블록에서는, 계층(＃1)의 기본 서브블록과 계층(＃2~＃3)의 확장 서브블록이 송출되고 있다. 또, t=T_B의 시간 블록에서는, 계층(＃1)의 기본 서브블록과 계층(＃2)의 확장 서브블록만이 송출되고 있다.

이와 같이, 본 실시 형태와 관련되는 스트리밍 전달 시스템(50)에서는, 도 8에 나타낸 것 같은 1개의 데이터로부터, 시간 블록 T_B마다의 회선 용량에 따라 여러가지 비트율의 데이터를 용이하게 만들어 낼 수 있다. 따라서, 비율(rate) 제어를 위한 프로토콜이 단순하게 되므로, 표준적인 TCP상에서 실장해도, 충분히 안정된 스트림 전달을 행할 수 있다. 또, 서버(60)측에서는, 기록 장치(63)의 저장 용량을 삭감할 수 있다.

한편, 스트리밍·데이터 재생용 클라이언트·어플리케이션(72)은 수신 버퍼(71A)로부터 꺼낸 데이터를 역양자화 및 역MDCT 연산해 원데이터로 복원하고, 재생기(72)로부터 재생 출력한다. 도 12에는, 스트리밍·데이터 재생용 클라이언트 어플리케이션(72)에 의한 스트리밍·데이터의 수신처리 순서를 플로 차트(flow chart)의 형식에서 나타내고 있다.

우선, 수신 버퍼(71A)로부터 독출한 서브블록의 선두에서 계층 ID를 읽어들인다(스텝 Sll).

그리고, 계층 ID를 기본으로, 독출한 서브블록이 해당 시간 블록에 있어서의 기본 서브블록인지 어떤지를 판별한다(스텝 S12).

독출한 서브블록이 기본 서브블록인 경우에는, 그 시점에서 각 계층의 복호화 신장부의 버퍼에 입력된 데이터가 모두이므로, 각 버퍼내의 데이터의 복호화 처리를 행해, 재생기(73)로부터 재생 출력을 행한 후(스텝 S13), 수신 버퍼(71A)를 클리어 한다(스텝 S14). 그리고, 기본 서브블록의 데이터를 다른 계층의 데이터와 같게 읽어들인다(스텝 S15).

한편, 읽어들인 서브블록이 기본 서브블록이 아닌 경우에는, 해당 계층의 데이터 그 자체를 순차적으로 각 계층의 복호화 신장부의 입력 버퍼에서 독출한다(스텝 S15).

추가

이상, 특정의 실시 형태를 참조하면서, 본 발명에 대해 상세한 풀이 해 왔다. 그렇지만, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 이 실시 형태의 수정이나 대용을 해낼 수 있는 일은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시했기 때문에, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 발명의 요지를 판단하기 위해서는, 특허 청구의 범위의 란을 참작해야 한다.

본 발명에 의하면, 회선 용량이 일정하지 않은 통신회선 경유로 데이터를 매우 적합하게 스트리밍 전달할 수 있는 뛰어난 데이터 처리 시스템, 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행하는 뛰어난 데이터 처리 장치 및 데이터 처리 방법, 및 컴퓨터·프로그램을 제공할 수 있다.

또, 본 발명에 의하면, 측정할 수 있는 데이터 압축 방법을 이용해서 안정된 스트림 전달을 행할 수 있는 뛰어난 데이터 처리 시스템, 측정할 수 있는 데이터 압축 방법에 의해 스트리밍 전달용의 데이터를 작성, 송신, 또는 수신등의 처리를 행할 수 있는 뛰어난 데이터 처리 장치 및 데이터 처리 방법, 및 컴퓨터·프로그램을 제공할 수 있다.

본 발명에 의하면, 단일의 장치 또는 정보 압축 방법에 의해 광범위한 압축율로 효율용에 대응하는 것이 가능해진다. 또, 특히 전송 경로의 회선 용량등이 별로 보증되지 않는 경우여도, 자동적으로 회선 용량에 대응한 압축율의 전송 데이터를 생성할 수 있다.

또, 본 발명에 의해 압축된 비트·스트림은, 그 단체로 복수의 비트율에 대응한 것이 되므로, 다양한 전송율을 가진 전송 경로에 의한 정보의 전송, 및 다른 기록 용량(밀도)을 가지는 기록 매체에의 기록등이, 동일한 압축 비트·스트림에 의해 대응하는 것이 가능해진다. 따라서, 전송 경로 혹은 기록 매체에 맞추어 복수의 압축율의 비트·스트림을 가질 필요를 없게 하기위해, 시스템의 규격을 용이하게 구축할 수 있는 것과 동시에, 장치의 규모도 축소하는 것이 가능해진다.

Claims

데이터를 복수의 블록에 분할해, 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축하는 것으로써 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 작성하는 송신 데이터 생성수단과,

상기 생성된 기본 서브블록 또는 확장 서브블록을 송신하는 송신 수단과,

기본 서브블록 또는 확장 서브블록을 송신하는 타이밍을 발생시키는 타이밍 발생 수단과,

상기 타이밍 발생 수단에 의해 발생되는 타이밍에 근거해 현 블록의 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후 다음 블록의 기본 서브블록을 송신할 때까지의 사이에 현 블록의 확장 서브블록을 송신하는 것이 가능할지를 판단해, 확장 서브블록의 송신이 가능하다라고 판단된 경우에는, 현 블록중의 확장 서브블록을 선택적으로 송신시키는 송신 제어수단을 갖춘 제 1의 데이터 처리 장치와,

상기 제 1의 데이터 처리 장치로부터 송신되는 기본 서브블록 또는 확장 서브블록을 수신하는 수신수단과,

상기 수신수단에서 수신한 서브블록으로부터 데이터를 복원하는 복원수단과,

상기 수신수단에서 수신한 서브블록이 기본 서브블록인 경우에는, 다음 블록의 기본 서브블록이 수신될 때까지의 사이에 상기 수신수단이 수신한 확장 서브블록과 이 수신한 기본 서브블록을 상기 복원수단에 공급해 데이터를 복원시키는 복원 제어수단을 갖춘 제2의 데이터 처리 장치로부터 구성된 것을 특징으로 하는 데이터 처리 시스템.
데이터를 소정의 시간 단위에 복수의 블록으로 분할해, 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축해, 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 생성하고,

소정의 시간 단위로 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후차의 기본 서브블록을 송신할 때까지의 사이에 확장 서브블록을 송신하는 것이 가능한지 아닌지를 판단해, 확장 서브블록이 송신가능하다라고 판단된 경우에는 확장 서브블록을 송신시키는 것을 특징으로 하는 데이터 처리 방법.
제 2항에 있어서,

서브블록을 식별하는 식별정보를 각 서브블록에 부가하는 것을 특징으로 하는 데이터 처리 방법.
제 3항에 있어서,

상기 식별정보는, 해당 서브블록의 데이터량을 나타내는 정보를 포함한 것을특징으로 하는 데이터 처리 방법.
제 3항에 있어서,

상기 식별정보는, 해당 서브블록이 기본 서브블록 또는 확장 서브블록의 어느 것인지를 나타내는 정보를 포함한 것을 특징으로 하는 데이터 처리 방법.
제 2항에 있어서,

각 주파수대역에서 압축을 실행하는 것으로써 압축 성분과 압축 오차성분을 생성해, 가장 낮은 주파수대역의 압축 성분을 기본 서브블록으로 하는 것과 동시에, 이 가장 낮은 주파수대역 이외의 압축 성분과 압축 오차성분, 및 이 가장 낮은 주파수대역의 압축 오차성분을 확장 서브블록으로 하는 것을 특징으로 하는 데이터 처리 방법.
제 6항에 있어서,

각 주파수대역에 대한 압축 오차성분을 다시 압축 처리하고, 재압축 성분과 재압축 오차성분을 생성해, 이 재압축 성분과 재압축 오차성분을 확장 서브블록으로 하는 것을 특징으로 하는 데이터 처리 시스템.
제 2항에 있어서,

확장 서브블록을 송신할 때, 복수의 확장 서브블록중에서 송신하는 확장 서브블록을 선택하는 것을 특징으로 하는 데이터 처리 방법.
기본 서브블록을 송신한 후, 다음 블록의 기본 서브블록을 송신하기까지 서브블록 송신 타이밍을 검출했을 경우에는, 이 송신된 기본 서브블록과 같은 블록으로부터 생성된 확장 서브블록을 송신하는 것을 특징으로 하는 데이터 처리 방법.
데이터를 소정의 시간 단위에 복수의 블록으로 분할해, 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축하는 것으로써 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 생성하는 송신 데이터 생성수단과,

이 생성된 서브블록을 송신하는 송신 수단과,

소정의 시간 단위로 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후차의 기본 서브블록을 송신할 때까지의 사이에 확장 서브블록을 송신하는 것이 가능한지 아닌지를 판단해, 확장 서브블록이 송신가능하다라고 판단된 경우에는 확장 서브블록을 송신시키는 송신 제어수단을 구비하는 것을 특징으로 하는 데이터 처리 장치.
제 10항에 있어서,

상기 송신 데이터 생성수단은, 서브블록을 식별하는 식별정보를 각 서브블록마다 부가하는 것을 특징으로 하는 데이터 처리 장치.
제 11항에 있어서,

상기 식별정보는, 해당 서브블록의 데이터량을 나타내는 정보를 포함한 것을 특징으로 하는 데이터 처리 장치.
제 11항에 있어서,

상기 식별정보는, 해당 서브블록이 기본 서브블록 또는 확장 서브블록의 어느 것인지를 나타내는 정보를 포함한 것을 특징으로 하는 데이터 처리 장치.
제 10항에 있어서,

상기 송신 데이터 생성수단은, 각 주파수대역에서 압축을 실행하는 것에 의해 압축 성분과 압축 오차성분을 생성해, 가장 낮은 주파수대역의 압축 성분을 기본 서브블록으로 하는 것과 동시에, 상기 가장 낮은 주파수대역 이외의 압축 성분과 압축 오차성분 및 상기 가장 낮은 주파수대역의 압축 오차성분을 확장 서브블록으로 하는 것을 특징으로 하는 데이터 처리 장치.
제 14항에 있어서,

상기 송신 데이터 생성수단은, 각 주파수대역에 대한 압축 오차성분을 압축 처리하고, 재압축 성분과 재압축 오차성분을 생성해, 이 재압축 성분과 재압축 오차성분을 확장 서브블록으로 하는 것을 특징으로 하는 데이터 처리 장치.
제 10항에 있어서,

상기 송신 제어수단은, 확장 서브블록을 송신할 때, 복수의 확장 서브블록중에서 송신하는 확장 서브블록을 선택하는 것을 특징으로 하는 데이터 처리 장치.
제 10항에 있어서,

기본 서브블록 또는 확장 서브블록을 송신하는 타이밍을 생성하는 타이밍 생성수단을 추가로 구비하여,

상기 송신 제어수단은, 상기 타이밍 검출시에 기본 서브블록을 송신해, 다음의 기본 서브블록을 송신하기까지 타이밍을 검출한 경우에는, 이 송신된 기본 서브블록과 같은 블록으로부터 생성된 확장 서브블록을 송신시키는, 것을 특징으로 하는 데이터 처리 장치.
데이터를 소정의 시간 단위에 복수의 블록으로 분할하는 스텝과 이 분할한 블록을 복수의 주파수대역에 분할한 후, 각 주파수대역에서 압축해, 상기 데이터의 재생에 필요한 기본 서브블록과 상기 데이터의 재생 품질 향상에 필요한 확장 서브블록을 각 블록마다 생성하는 스텝과　소정의 시간 단위로 기본 서브블록을 순차적으로 송신시키는 것과 동시에, 기본 서브블록을 송신한 후 차의 기본 서브블록을 송신할 때까지의 사이에 확장 서브블록을 송신하는 것이 가능한지 아닌지를 판단해, 확장 서브블록이 송신가능하다라고 판단된 경우에는 확장 서브블록의 송신을지시하는 스텝을 구비하는 것을 특징으로 하는 송신 데이터의 처리를 컴퓨터·시스템상에서 실행하도록 컴퓨터 가독형식에서 기술된 데이터 처리 프로그램.
기본 서브블록 또는 확장 서브블록을 수신해,

이 수신한 서브블록이 기본 서브블록이라고 판단된 경우에는, 다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 확장 서브블록과 이 수신한 기본 서브블록으로부터 데이터를 복원시키는 것을 특징으로 하는 데이터 처리 방법.
제 19항에 있어서,

다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 복수의 확장 서브블록중에서 확장 서브블록을 선택해, 이 선택된 확장 서브블록과 수신한 기본 서브블록으로부터 데이터를 복원하는, 것을 특징으로 하는 데이터 처리 방법.
기본 서브블록 또는 확장 서브블록을 수신하는 수신수단과,

상기 수신수단에서 수신한 서브블록으로부터 데이터를 복원하는 복원수단과,

상기 수신수단에서 수신한 서브블록이 기본 서브블록이다고 판단된 경우, 다음의 기본 서브블록이 수신될 때까지의 사이에 상기 수신수단이 수신한 확장 서브블록과 이 수신한 기본 서브블록을 상기 복원수단에 공급해 데이터를 복원시키는 복원 제어수단을 구비하는 것을 특징으로 하는 데이터 처리 장치.
제 21항에 있어서,

상기 복원수단은, 다음의 기본 서브블록이 수신될 때까지의 사이에 상기 수신수단이 수신한 복수의 확장 서브블록중에서 확장 서브블록을 선택해, 이 선택된 확장 서브블록과 상기 수신한 기본 서브블록을 상기 복원수단에 공급해 데이터를 복원시키는 것을 특징으로 하는 데이터 처리 장치.
수신한 서브블록이 기본 서브블록인지 어떤지를 판단하는 스텝과,

수신한 서브블록이 기본 서브블록이라고 판단된 경우, 다음의 기본 서브블록이 수신될 때까지의 사이에 수신한 확장 서브블록과 상기 수신한 기본 서브블록을 이용해 데이터의 복원을 실행시키는 스텝을 갖추는 것을 특징으로 하는 수신한 데이터를 복원하는 처리를 컴퓨터·시스템상에서 실행하도록 컴퓨터 가독형식에서 기술된 데이터 처리 프로그램.