KR20200026831A

KR20200026831A - 송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램

Info

Publication number: KR20200026831A
Application number: KR1020197038746A
Authority: KR
Inventors: 치사토 겜모치
Original assignee: 소니 주식회사
Priority date: 2017-07-21
Filing date: 2018-07-06
Publication date: 2020-03-11
Also published as: WO2019017218A1; KR102506494B1; EP3657812A4; CN110915223B; JPWO2019017218A1; RU2020100721A3; RU2020100721A; CN110915223A; US11394655B2; EP3657812B1; EP3657812A1; JP7302473B2; BR112020000807A2; US20200274817A1; RU2766575C2

Abstract

본 기술은, 지연 시간의 전환을 용이하게 행할 수 있도록 하는 송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램에 관한 것이다. 송신 장치는, 무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와, 수신 장치에서 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보와, 데이터를, 무선 통신으로 송신한다. 수신 장치는, 무선 통신으로 송신되어 오는 데이터와, 데이터 제어 정보와, 지연 제어 정보를 수신하고, 데이터 제어 정보 및 지연 제어 정보에 따라, 데이터의 사용 방법을 제어하고, 사용 방법이 제어된 데이터를 출력한다. 본 기술은, 예를 들어 음향의 송수신을, Bluetooth(등록 상표) 등의 무선 통신으로 행하는 무선 통신 시스템 등에 적용할 수 있다.

Description

송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램

본 기술은, 송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램에 관한 것으로, 특히, 예를 들어 지연 시간의 전환을 용이하게 행할 수 있도록 하는 송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램에 관한 것이다.

예를 들어, 화상이나 음향 등의 콘텐츠를, 송신 기기로부터 수신 기기로 무선 통신으로 전송하고, 수신 기기에서 실시간으로 재생하는 무선 통신 시스템으로서, 예를 들어 Bluetooth(등록 상표)를 이용한 무선 통신 시스템이 있다.

이러한 무선 통신 시스템에서는, 콘텐츠의 재생을 안정적으로 행하기 위해, 수신 기기는, 콘텐츠의 데이터를 수신해도 바로 재생을 행하지 않고, 버퍼에, 데이터를 일정량(이상) 버퍼링하고 나서 재생을 행한다. 그 때문에, 수신 기기에서는, 송신 기기에서 재생을 행하는 경우에 비교하여, 재생을 개시하는 재생 개시 타이밍에 지연이 발생한다. 무선 통신 시스템에 있어서, 이러한 수신 기기에서 발생하는 지연의 시간을, 이하, 지연 시간이라고도 한다.

수신 기기의 지연 시간은, 예를 들어 콘텐츠를 구성하는 화상을 송신 기기로 보면서, 콘텐츠를 구성하는 음향을, 송신 기기로부터 수신 기기로 무선 통신으로 송신하고, 수신 기기에서 재생하는 경우에, 유저가 시청하는 화상과 음향이 어긋나는 소리 어긋남의 원인으로 된다. 소리 어긋남은, 유저에게 위화감을 느끼게 하기 때문에, 가능한 한 억제하는 것이 바람직하다.

또한, 무선 통신 시스템에 있어서, 송신 기기로부터 수신 기기로 음향을 송신하는 경우에, 수신 기기에서, 소리 끊김이 발생하는 것을 억제하는 기술이 제안되어 있다(예를 들어, 특허문헌 1을 참조).

국제 공개 제2016/088582호 팸플릿

소리 어긋남을 억제하는 방법으로서는, 수신 기기에서 데이터를 버퍼링하는 버퍼링양을 삭감하여, 지연 시간을 단축하는 방법이 생각된다.

그러나, 버퍼링양을 삭감하면, 송신 기기와 수신 기기의 전송로의 상태가 양호하지 않은 경우에, 송신 기기와 수신 기기 사이의 통신이 불안정해져, 통신 에러가 발생했을 때 재송의 시간을 확보할 수 없어, 수신 기기에 있어서, 소리 끊김이 발생하는 경우가 있다.

그래서, 지연 시간이 문제로 되지 않는 유스케이스, 즉, 예를 들어 수신 기기에서, 악곡을 듣기만 하는 케이스에서는, 수신 기기의 버퍼링양을 크게 하여, 지연 시간이 문제로 되는 유스케이스, 즉, 예를 들어 화상을 송신 기기에서 보면서, 그 화상에 부수되는 음향을 수신 기기로 무선 통신으로 전송하여 듣는 케이스에서는, 수신 기기의 버퍼링양을 작게 하는, 지연 시간의 전환을 행하는 방법이 있다.

그러나, 수신 기기의 지연 시간, 즉, 버퍼링양을 전환하는 경우에는, 송신 기기와 수신 기기의 접속(무선 통신)을 일단 절단하여, 수신 기기의 버퍼를 클리어하고 나서, 송신 기기와 수신 기기의 재접속을 행할 필요가 있어, 번거롭다.

본 기술은, 이와 같은 상황을 감안하여 이루어진 것이고, 지연 시간의 전환을 용이하게 행할 수 있도록 하는 것이다.

본 기술의 수신 장치, 또는 제1 프로그램은, 무선 통신으로 송신되어 오는 데이터와, 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와, 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 수신하는 수신부와, 상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 데이터 제어부와, 상기 사용 방법이 제어된 데이터를 출력하는 데이터 출력부를 구비하는 수신 장치, 또는 그와 같은 수신 장치로서 컴퓨터를 기능시키기 위한 프로그램이다.

본 기술의 수신 방법은, 무선 통신으로 송신되어 오는 데이터와, 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와, 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 수신하는 것과, 상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 것과, 상기 사용 방법이 제어된 데이터를 출력하는 것을 포함하는 수신 방법이다.

본 기술의 수신 장치, 수신 방법, 및 제1 프로그램에 있어서는, 무선 통신으로 송신되어 오는 데이터와, 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와, 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보가 수신되고, 상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법이 제어된다. 그리고, 상기 사용 방법이 제어된 데이터가 출력된다.

본 기술의 송신 장치, 또는 제2 프로그램은, 무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부와, 상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 지연 제어 정보 생성부와, 상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 송신부를 구비하는 송신 장치, 또는 그와 같은 송신 장치로서 컴퓨터를 기능시키기 위한 프로그램이다.

본 기술의 송신 방법은, 무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 것과, 상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 것과, 상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 것을 포함하는 송신 방법이다.

본 기술의 송신 장치, 송신 방법, 제2 프로그램에 있어서는, 무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보가 생성됨과 함께, 상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보가 생성된다. 그리고, 상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보가, 무선 통신으로 송신된다.

또한, 수신 장치나 송신 장치는, 독립된 장치여도 되고, 하나의 장치를 구성하는 내부 블록이어도 된다.

또한, 제1 및 제2 프로그램은, 기록 매체에 기록하거나, 또는 전송 매체를 통해 전송함으로써, 제공할 수 있다.

본 기술에 의하면, 지연 시간의 전환을 용이하게 행할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은 본 기술을 적용한 무선 통신 시스템의 일 실시 형태의 구성예를 도시하는 블록도다.
도 2는 송신 장치(12) 및 수신 장치(21)의 제1 구성예를 도시하는 블록도다.
도 3은 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.
도 4는 수신 장치(21)가 행하는, 음향 데이터를 수신하는 수신 처리의 예를 설명하는 흐름도다.
도 5는 송신 장치(12) 및 수신 장치(21)의 제2 구성예를 도시하는 블록도다.
도 6은 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.
도 7은 송신 장치(12) 및 수신 장치(21)의 제3 구성예를 도시하는 블록도다.
도 8은 적응 지연 제어부(61)의 처리의 예를 설명하는 도면이다.
도 9는 압축률 제어부(65)의 처리의 예를 설명하는 도면이다.
도 10은 데이터 제어부(71)의 처리의 예를 설명하는 도면이다.
도 11은 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.
도 12는 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도다.

<본 기술을 적용한 무선 통신 시스템의 일 실시 형태>

도 1은, 본 기술을 적용한 무선 통신 시스템의 일 실시 형태의 구성예를 도시하는 블록도다.

도 1에 있어서, 무선 통신 시스템은, 송신 기기(10)와 수신 기기(20)를 갖는다.

송신 기기(10)는, 공급 장치(11)와 송신 장치(12)를 갖는다.

공급 장치(11)는, 무선 통신으로 송신하는 대상의 데이터인, 예를 들어 콘텐츠의 화상 데이터나 음향 데이터를, 송신 장치(12)에 공급한다. 공급 장치(11)로서는, 예를 들어 화상 데이터나 음향 데이터를 재생하는 휴대 기기(예를 들어, 휴대 전화기나, 스마트폰, 휴대형 음악 플레이어 등)나, 거치형 기기(예를 들어, 거치형 음악 플레이어나 PC(Personal Computer) 등)를 채용할 수 있다.

송신 장치(12)는, 수신 장치(21)와의 사이에서 무선 통신을 행하여, 공급 장치(11)로부터 공급되는 음향 데이터 등을, 무선으로, 수신 장치(21)로 송신한다.

또한, 공급 장치(11)와 송신 장치(12)는, 1개의 하우징에 수납한 1개의 장치(송신 기기(10))로서 구성할 수도 있고, 별개의 하우징의 수납된 별개의 장치로서 구성할 수도 있다.

수신 기기(20)는, 수신 장치(21)와 출력 장치(22)를 갖는다.

수신 장치(21)는, 송신 장치(12)와의 사이에서 무선 통신을 행하여, 송신 장치(12)로부터 무선 통신으로 송신되어 오는 화상 데이터나 음향 데이터 등을 수신하여, 출력 장치(22)로 공급한다.

출력 장치(22)는, 수신 장치(21)로부터 공급되는 화상 데이터나 음향 데이터에 대응하는 화상이나 음향을 출력한다. 출력 장치(22)로서는, 예를 들어 전기 신호인 화상 데이터에 대응하는 화상을 시각으로 인식하는 화상(광)으로 변환하는 디스플레이, 전기 신호인 음향 데이터를 청각으로 인식할 수 있는 음향으로 변환하는 헤드폰(이어폰을 포함한다)이나, 스피커(스피커 등을 내장한 TV(텔레비전 수상기) 등의 장치를 포함함)를 채용할 수 있다.

또한, 수신 장치(21)와 출력 장치(22)는, 1개의 하우징에 수납한 1개의 장치(수신 기기(20))로서 구성할 수도 있고, 별개의 하우징의 수납된 별개의 장치로서 구성할 수도 있다.

이상과 같이 구성되는 무선 통신 시스템에서는, 송신 기기(10)에 있어서, 공급 장치(11)는, 음향 데이터를, 송신 장치(12)에 공급한다. 송신 장치(12)는, 공급 장치(11)로부터의 음향 데이터를, 무선 통신으로, 수신 장치(21)로 송신한다.

수신 기기(20)에서는, 수신 장치(21)가, 송신 장치(12)로부터 무선 통신으로 송신되어 오는 음향 데이터를 수신하고, 출력 장치(22)로 공급한다. 출력 장치(22)는, 수신 장치(21)로부터의 음향 데이터에 대응하는 음향을 출력한다.

이하, 송신 장치(12)와 수신 장치(21) 사이의 무선 통신으로서, 예를 들어 Bluetooth(등록 상표)를 이용하여, 음향 데이터의 송수신(전송)을 행하는 경우를 예로 들어, 송신 장치(12) 및 수신 장치(21)의 상세에 대하여 설명한다.

또한, 송신 장치(12)와 수신 장치(21) 사이의 무선 통신으로서는, Bluetooth(등록 상표) 이외의 통신 방식을 채용할 수 있다. 또한, 송신 장치(12)와 수신 장치(21) 사이에서 송수신을 행하는 데이터로서는, 음향 데이터 이외의 데이터, 즉, 예를 들어 화상 데이터 등의 콘텐츠의 데이터 등을 채용할 수 있다.

Bluetooth(등록 상표)에서는, 음향 데이터를 송신하는 송신 장치(12)는 소스(source)라고 불리고, 음향 데이터를 수신하는 수신 장치(21)는 싱크(sink)라고 불린다.

Bluetooth(등록 상표)에서는, 음향 데이터의 송수신을 행하기 위한 프로파일로서, 예를 들어 A2DP(Advanced Audio Distribution Profile) 등이 규정되어 있다.

A2DP에서는, SBC(Subband Codec)라고 불리는 필수적인 코덱(Mandatory Codec)이 정해져 있다. SBC에서는, 변환 부호화 방식의 일종이고, 음향 데이터인 LPCM(Linear Pulse Code Modulation) 데이터가 압축되어, 송신 장치(12)로부터 수신 장치(21)로 송신된다.

도 1의 무선 통신 시스템에서는, 수신 장치(21)는, 버퍼를 내장하여, 송신 장치(12)로부터 송신되어 오는 음향 데이터를 버퍼에 버퍼링하고 나서 재생한다. 수신 장치(21)는, 음향(데이터)의 재생 중이 아닌 경우는 물론, 재생 중이라도, 송신 장치(12)와의 접속을 절단하지 않고, 버퍼의 버퍼링양(축적량), 나아가서는, 지연 시간을 전환할(조정할) 수 있다. 즉, 지연 시간의 전환을 용이하게 행할 수 있다.

여기서, 특별히 언급하지 않는 한, 수신 장치(21)의 지연 시간에 관한 지연 모드에는, 수신 장치(21)에서의 음향 데이터의 재생이 안정되는 통상 지연 모드(제1 지연 모드)와, 통상 지연 모드보다도 지연 시간이 짧은 저지연 모드(제2 지연 모드)의 2종류가 있는 것으로 한다. 그리고, 지연 모드의 전환으로서는, 통상 지연 모드와 저지연 모드의 전환이 행해지는 것으로 한다.

저지연 모드에서는, 통상 지연 모드에 비교하여, 수신 장치(21)의 버퍼의 버퍼링양이 작아진다.

수신 장치(21)에서의 지연 시간이 문제로 되지 않는 경우, 즉, 예를 들어 수신 기기(20)에 의해, 음향으로서의 악곡 등을 듣기만 하는 경우, 지연 모드는, 통상 지연 모드로 된다. 또한, 지연 시간이 문제로 되는 경우, 즉, 예를 들어 화상을 송신 기기(10)에서 보아, 그 화상에 부수되는 음향을, 송신 기기(10)로부터 수신 기기(20)로 송신하고, 수신 기기(20)로 듣는 경우, 지연 모드는, 저지연 모드로 된다.

지연 모드는, 송신 장치(12)에서 설정되어, 그 지연 모드를 나타내는 지연 제어 정보가, 송신 장치(12)로부터 수신 장치(21)로 송신된다. 송신 장치(12)에 있어서, 지연 모드의 전환(설정)은, 유저의 조작이나, 애플리케이션(App)으로부터의 요구, OS(Operating System)로부터의 요구 등에 따라 행해진다.

송신 장치(12)는, 지연 모드의 전환이 요구되면, 전환 후의 지연 모드를 나타내는 지연 제어 정보를 생성하여, 수신 장치(21)로 송신한다. 즉, 예를 들어 지연 모드를 저지연 모드로부터 통상 지연 모드로 전환하는 요구가 이루어지면, 송신 장치(12)는, 통상 지연 모드를 나타내는 지연 제어 정보를 생성하여, 수신 장치(21)로 송신한다. 또한, 예를 들어 지연 모드를 통상 모드로부터 저지연 모드로 전환하는 요구가 이루어지면, 송신 장치(12)는, 저지연 모드를 나타내는 지연 제어 정보를 생성하여, 수신 장치(21)로 송신한다.

수신 장치(21)는, 송신 장치(12)로부터의 지연 제어 정보를 수신하여, 그 지연 제어 정보가 나타내는 지연 모드에 따라, 그 지연 모드의 지연 시간이 발생하도록, 수신 장치(21)의 버퍼의 버퍼링양을 전환하는(조정하는) 준비를 행한다.

즉, 수신 장치(21)는, 지연 제어 정보가 나타내는 지연 모드의 지연 시간이 발생하도록, 버퍼링양을 바로 조정하는 것이 아니라, 음향을 듣고 있는 유저에게 위화감을 가능한 한 느끼게 하지 않고 조정할 수 있는 타이밍을 맞이했을 때, 버퍼링양을 조정한다.

유저에게 위화감을 가능한 한 느끼게 하지 않고, 버퍼링양을 조정하는 버퍼링양의 조정 방법으로서는, 예를 들어, 특허문헌 1에 기재된 기술을 이용할 수 있다.

특허문헌 1에 기재된 기술에서는, 송신측(소스)에 있어서, 음향 데이터의 처리 단위인 프레임의 삽입이나 파기를 행한 경우에, 그 프레임의 삽입이나 파기가 감지되는 정도를 나타내는 감지 특징량이, 프레임마다 요구된다.

그리고, 감지 특징량에 따라, 프레임의 삽입이나 파기를 허가하는 취지, 또는 금지하는 취지를 나타내는 플래그나, 삽입이나 파기의 허가와 금지의 정도를 나타내는 레벨이, 프레임의 제어 정보로서 생성되어, 송신측으로부터 수신측(싱크)으로 송신된다.

수신측에서는, 음향 데이터를 버퍼링하는 버퍼의 버퍼링양과, 제어 정보에 따라, 예를 들어 버퍼의 언더플로우나 오버플로우가 발생하기 쉬운 상태인 경우에, 삽입이나 파기가 허가되어 있는 프레임의 삽입이나 파기가 행해져, 유저에게 위화감을 가능한 한 느끼게 하지 않고, 버퍼의 언더플로우나 오버플로우에 기인하는 소리 끊김이 억제된다.

특허문헌 1에 기재된 기술에서는, 프레임의 삽입이나 파기에 의해, 수신측의 버퍼의 버퍼링양이, 버퍼의 언더플로우나 오버플로우가 발생하기 어려운 일정값으로 되도록 조정된다.

도 1의 무선 통신 시스템은, 수신 장치(21)의 버퍼의 버퍼링양을, 저지연 모드의 지연 시간, 또는 통상 지연 모드의 지연 시간에 대응하는 버퍼링양으로 조정하는 구조에, 특허문헌 1에 기재된 기술을 이용한다.

<송신 장치(12) 및 수신 장치(21)의 제1 구성예>

도 2는, 도 1의 송신 장치(12) 및 수신 장치(21)의 제1 구성예를 도시하는 블록도다.

도 2에 있어서, 송신 장치(12)는, 지연 제어 정보 생성부(31), 데이터 생성부(32), (송신)버퍼(33), 패킷화부(34), 및 통신부(35)를 갖는다.

지연 제어 정보 생성부(31)에는, 지연 모드(지연 시간)의 전환의 요구가, 외부, 즉, 예를 들어 유저나, 애플리케이션(App), OS 등으로부터 공급된다.

지연 제어 정보 생성부(31)는, 거기에 공급되는 지연 모드의 전환의 요구에 따라, 수신 장치(21)에서 음향 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하여, 데이터 생성부(32)에 공급한다.

여기서는, 지연 제어 정보 생성부(31)는, 저지연 모드 또는 통상 지연 모드를 나타내는 지연 제어 정보를 생성하여, 데이터 생성부(32)에 공급한다.

또한, 지연 제어 정보로서는, 예를 들어 통상 지연 모드를 0으로 나타냄과 함께, 저지연 모드를 1로 나타내는 2치의 정보를 채용할 수 있다.

또한, 지연 시간으로서, 3종류 이상의 지연 시간을 채용하는 경우에는, 즉, 예를 들어 5종류의 지연 시간을 채용하는 경우에는, 그 5종류의 지연 시간의 지연 모드를, 예를 들어 0 내지 5의 값으로 나타내는 정보를, 지연 제어 정보로서 채용할 수 있다.

여기서는, 설명을 간단하게 하기 위해, 지연 제어 정보 생성부(31)는, 저지연 모드 및 통상 지연 모드의 2종류 중 어느 것을 나타내는 지연 제어 정보를 생성하는 것으로 한다.

데이터 생성부(32)에는, 지연 제어 정보 생성부(31)로부터 지연 제어 정보가 공급되는 것 외에, 공급 장치(11)로부터 음향 데이터인 LPCM 데이터가 공급된다.

데이터 생성부(32)는, 예를 들어 SBC의 인코더를 포함하여, 공급 장치(11)로부터의 LPCM 데이터를, 64샘플이나 128샘플 등의 프레임이라고 불리는 단위로, 1/4 이하의 데이터양으로 압축하는 부호화를 행하는 부호화부로서 기능한다.

또한, 데이터 생성부(32)는, 부호화 데이터에 대응하는 LPCM 데이터의 프레임에 대하여, 수신 장치(21)에 있어서 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부로서 기능한다.

즉, 데이터 생성부(32)는, LPCM 데이터의 프레임에 대하여, 수신 장치(21)에 있어서 프레임의 삽입 또는 파기를 행한 경우에, 그 프레임의 삽입 또는 파기가 감지되는 정도를 나타내는 감지 특징량을 취득한다. 감지 특징량은, 프레임의 삽입이나 파기의 감지되기 쉬움을 나타내는 것이어도 되고, 프레임의 삽입이나 파기의 감지되기 어려움을 나타내는 것이어도 된다.

그리고, 데이터 생성부(32)는, LPCM 데이터의 프레임의 감지 특징량에 기초하여, 그 프레임에 대한 데이터 제어 정보를 생성한다.

감지 특징량은, 예를 들어 데이터 생성부(32)에서 SBC의 부호화가 행해질 때 얻어지는 LPCM 데이터의 프레임의 처리 결과(예를 들어, 주파수 성분)로부터 생성할 수 있다.

또한, 감지 특징량은, 예를 들어 데이터 생성부(32)에 있어서, 데이터 생성부(32)에서 얻어지는 LPCM 데이터의 프레임을 처리함으로써 생성할 수 있다.

감지 특징량으로서는, LPCM 데이터의 토낼리티(Tonality)를 나타내는 물리량으로서의, 예를 들어 주파수 성분의 최댓값과 평균값의 비를 채용할 수 있다. LPCM 데이터가 톤성의 음향인 경우에는, 토낼리티가 커지고, LPCM 데이터가 노이즈성의 음향인 경우에는, 토낼리티가 작아진다. LPCM 데이터의 토낼리티가 작은 경우에는, 그 LPCM 데이터의 삽입이나 파기는 감지되기 어렵다. 따라서, 토낼리티가 작은 LPCM 데이터의 프레임을, 그 프레임의 직후에 삽입하거나, 또는 파기해도, 유저가 음향을 들었을 때의 음질에는, 거의 영향이 없다. 또한, 본 실시 형태에서는, LPCM 데이터의 프레임 그 자체의 삽입이나 파기가 아니라, LPCM 데이터의 프레임을 부호화한 부호화 데이터의 삽입이나 파기가 행해짐으로써, 그 부호화 데이터에 대응하는 프레임의 삽입이나 파기가 실질적으로 행해진다.

감지 특징량으로서는, 토낼리티 외에, 예를 들어 협주파수 대역마다의 주파수 성분을 정규화한 SF(Scale Factor)라고 불리는 정규화 계수의 분산 등을 채용할 수 있다.

데이터 생성부(32)는, LPCM 데이터의 프레임의 감지 특징량을 취득한 후, 예를 들어 그 감지 특징량과 소정의 역치의 대소 관계에 기초하여, LPCM 데이터의 프레임에 대응하는 부호화 데이터(프레임을 부호화한 부호화 데이터)의 데이터 제어 정보를 생성한다.

이제, 예를 들어 LPCM 데이터의 프레임의 감지 특징량이 작을수록, 그 프레임에 대응하는 부호화 데이터의 삽입이나 파기가 감지되기 어렵다고 하면, 데이터 생성부(32)는, LPCM 데이터의 프레임의 감지 특징량을, 소정의 역치와 비교하여, 감지 특징량이 소정의 역치보다 작은(또는 이하인) 부호화 데이터, 즉, 삽입이나 파기가 감지되기 어려운 부호화 데이터에 대해서는, 수신 장치(21)에서의 부호화 데이터의 삽입 및 파기를 허가하는 취지의 데이터 제어 정보를 생성한다.

또한, 데이터 생성부(32)는, 감지 특징량이 소정의 역치 이상인(프레임에 대응한) 부호화 데이터, 즉, 삽입이나 파기가 감지되기 어렵다고는 할 수 없는 부호화 데이터에 대해서는, 수신 장치(21)에서의 부호화 데이터의 삽입 및 파기를 금지하는 취지의 데이터 제어 정보를 생성한다.

또한, 데이터 제어 정보로서는, 부호화 데이터의 삽입이나 파기의 허가 또는 금지에 관한 정보를 넓게 채용할 수 있다.

즉, 데이터 제어 정보로서는, 예를 들어 부호화 데이터의 삽입이나 파기를 허가하는 취지, 또는 금지하는 취지를 나타내는 1비트(이상)의 플래그를 채용할 수 있다.

또한, 데이터 제어 정보로서는, 예를 들어 부호화 데이터의 삽입이나 파기의 허가와 금지의 레벨을 나타내는 정보를 채용할 수 있다.

여기서, 부호화 데이터의 삽입이나 파기의 허가와 금지의 레벨을 나타내는 정보로서는, 예를 들어 소리 끊김 방지에 필요하다면, 부호화 데이터의 삽입이나 파기를 허가하는 취지를 나타내는 완전 허가 레벨, 소리 끊김 방지를 위해 필요성이 높은 경우에, 부호화 데이터의 삽입이나 파기를 허가하는 취지를 나타내는 준허가 레벨, 소리 끊김 방지에 아무래도 필요한 경우에만, 부호화 데이터의 삽입이나 파기를 허가하는 취지를 나타내는 준금지 레벨, 및 어떤 경우라도, 부호화 데이터의 삽입이나 파기를 금지하는 취지를 나타내는 금지 레벨의 4레벨을 채용할 수 있다.

데이터 제어 정보로서, 완전 허가 레벨, 준허가 레벨, 준금지 레벨, 및 금지 레벨의 4레벨을 채용하는 경우에는, 데이터 제어 정보는, 2비트(이상)의 정보로 된다.

또한, 데이터 제어 정보로서는, 부호화 데이터의 삽입 및 파기의 양쪽에 관한 정보 외에, 부호화 데이터의 삽입에 관한 정보와, 파기에 관한 정보를, 별개로 생성할 수 있다.

또한, 감지 특징량으로서는, 값이 작을수록, 부호화 데이터의 삽입이나 파기가 감지되기 어려운 물리량을 채용하는 것 외에, 값이 클수록, 부호화 데이터의 삽입이나 파기가 감지되기 어려운 물리량을 채용할 수도 있다.

이하에는, 설명을 간단하게 하기 위해, 데이터 제어 정보로서는, 부호화 데이터의 삽입 및 파기의 양쪽의 허가 또는 금지를 나타내는 1비트의 플래그를 채용하고, 감지 특징량으로서는, 값이 작을수록, 부호화 데이터의 삽입 및 파기가 감지되기 어려운 물리량을 채용하는 것으로 한다.

여기서, 부호화 데이터의 삽입이나 파기는, 부호화 데이터의 사용 방법이고, 따라서, 부호화 데이터의 삽입이나 파기의 허가 또는 금지를 나타내는 데이터 제어 정보는, 수신 장치(21)에서의 부호화 데이터의 사용 방법을 제어하는 정보라고 할 수 있다.

데이터 생성부(32)는, 공급 장치(11)로부터 음향 데이터의 프레임의 부호화에 의해 얻어지는 부호화 데이터와, 그 프레임의 데이터 제어 정보, 및 그 프레임에 대한, 지연 제어 정보 생성부(31)로부터의 지연 제어 정보를 세트로 한 송신 대상 데이터를 생성하여, 버퍼(33)로 공급한다.

버퍼(33)는, 예를 들어 FIFO(First in first out) 메모리로 구성되어, 데이터 생성부(32)로부터 공급되는 송신 대상 데이터를 일시 기억한다.

버퍼(33)에 기억된 부호화 데이터는, 적절히 판독되어, 패킷화부(34)에 공급된다.

패킷화부(34)는, 버퍼(33)로부터의 송신 대상 데이터를, 전송(송수신) 단위인 패킷에 저장함으로써 패킷화하여, 통신부(35)에 공급한다.

또한, 송신 대상 데이터가, 패킷 사이즈(패킷의 페이로드의 사이즈)보다도 큰 경우에는, 패킷화부(34)는, 송신 대상 데이터를 분할하여, 복수의 패킷에 저장함으로써, 송신 대상 데이터를 패킷화한다.

또한, 패킷화부(34)는, 패킷 및 송신 대상 데이터의 사이즈에 따라서는, 복수의 송신 대상 데이터를 1패킷에 저장한다.

패킷화부(34)에서는, 송신 대상 데이터를 구성하는 지연 제어 정보가 나타내는 지연 모드에 따라, 사이즈가 다른 패킷을 채용할 수 있다. 즉, 지연 모드가 통상 지연 모드인 경우에는, (저지연 모드의 경우보다) 큰 사이즈의 패킷을 채용하고, 지연 모드가 저지연 모드인 경우에는, (통상 지연 모드의 경우보다) 작은 사이즈의 패킷을 채용할 수 있다. 이 경우, 저지연 모드에서는, 패킷의 송신(재송) 시간을 짧게 할 수 있다.

통신부(35)는, 패킷화부(34)로부터의 패킷을 RF(Radio Frequency) 신호로 변조하여, 무선 통신으로 송신하는 송신부이다.

수신 장치(21)는, 통신부(41), 패킷(Packet) 분해부(42), 지연 제어 정보 해석부(43), 버퍼(44), 데이터 제어부(45), 데이터 출력부(46), 및 LPCM 버퍼(47)를 갖는다.

통신부(41)는, 통신부(35)로부터의 RF 신호를 수신하는 수신부이고, 기저 대역의 패킷을 복조하여, 패킷 분해부(42)에 공급한다.

패킷 분해부(42)는, 통신부(41)로부터의 패킷을 분해하여, 그 패킷으로부터 송신 대상 데이터를 추출하고, 지연 제어 정보 해석부(43)로 공급한다. 또한, 패킷 분해부(42)는, 하나의 송신 대상 데이터가, 복수의 패킷으로 분할되어 저장되어 있는지 여부를 검출한다. 하나의 송신 대상 데이터가, 복수의 패킷으로 분할되어 저장되어 있음이 검출된 경우, 패킷 분해부(42)는, 그 복수의 패킷을 취득하여, 그 복수의 패킷으로부터, 원래의 하나의 송신 대상 데이터를 재구성하고, 지연 제어 정보 해석부(43)로 공급한다.

지연 제어 정보 해석부(43)는, 패킷 분해부(42)로부터의 송신 대상 데이터를, 지연 제어 정보, 데이터 제어 정보, 및 (프레임의) 부호화 데이터로 분해한다. 그리고, 지연 제어 정보 해석부(43)는, 부호화 데이터를, 버퍼(44)에 공급함과 함께, 지연 제어 정보 및 데이터 제어 정보를, 데이터 제어부(45)에 공급한다.

(수신)버퍼(44)는, 예를 들어 FIFO 메모리로 구성되어, 패킷 분해부(42)로부터 공급되는 부호화 데이터를 일시 기억한다.

데이터 제어부(45)는, 지연 제어 정보 해석부(43)로부터의 지연 제어 정보 및 데이터 제어 정보, 그리고 버퍼(44)의 축적량(버퍼(44)에 기억되어 있는 부호화 데이터의 수(부호화 데이터로 되어 있는 프레임 수))(버퍼링양)에 따라, 버퍼(44)에 기억된 부호화 데이터의 사용 방법을 제어하고, 그 사용 방법이 제어된 부호화 데이터를, 데이터 출력부(46)에 공급한다.

즉, 데이터 제어부(45)는, 지연 제어 정보 및 데이터 제어 정보, 그리고 버퍼(44)의 축적량에 따라, 버퍼(44)에 기억된 부호화 데이터의 삽입이나 파기를, 그 부호화 데이터의 사용 방법의 제어로서 행한다.

여기서, 데이터 제어부(45)에 있어서, 부호화 데이터의 삽입은, 예를 들어 그 부호화 데이터를 버퍼(44) 내에 복제함으로써 행할 수 있다.

버퍼(44)에 기억된 부호화 데이터의 복제는, 버퍼(44)로부터 부호화 데이터가 판독될 때, 그 부호화 데이터를, 버퍼(44)에 기억시킨 채로 함으로써 행할 수 있다. 버퍼(44)에 기억시킨 그대로의 부호화 데이터를, 부호화 데이터의 복제라고 하기로 하면, 부호화 데이터의 복제가, 버퍼(44)로부터 판독됨으로써, 부호화 데이터의 삽입이 행해진다.

또한, 데이터 제어부(45)에 있어서, 부호화 데이터의 파기는, 버퍼(44)로부터의 부호화 데이터의 판독을 스킵함으로써 행할 수 있다.

데이터 제어부(45)는, 지연 제어 정보 해석부(43)로부터의 지연 제어 정보로 변화(변경)가 없는 경우, 버퍼(44)에 기억된 가장 오래된 (시간적으로 가장 선행되는) 1프레임분의 부호화 데이터를 판독하여, 데이터 출력부(46)로 공급한다.

또한, 데이터 제어부(45)는, 지연 제어 정보 해석부(43)로부터의 지연 제어 정보로 변화가 있는 경우, 그 지연 제어 정보(의 변화)에 따라, 버퍼(44)에 기억된 부호화 데이터의 삽입이나 파기를 행한다.

즉, 데이터 제어부(45)는, 지연 제어 정보 해석부(43)로부터의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된(변화된) 경우, 지연 시간을 짧게 하기 위해, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 파기한다.

구체적으로는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보로서의 플래그가 부호화 데이터의 삽입 및 파기의 양쪽의 금지를 나타내는, 예를 들어 0인 경우, 버퍼(44)에 기억된 가장 오래된 부호화 데이터를 파기하지 않고 판독하여, 데이터 출력부(46)에 공급한다.

한편, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보로서의 플래그가 부호화 데이터의 삽입 및 파기의 양쪽의 허가를 나타내는, 예를 들어 1인 경우, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터를 파기한다.

데이터 제어부(45)는, 버퍼(44)에 기억된 부호화 데이터 중, 가장 오래된 부호화 데이터의 파기에 의해, 새롭게 가장 오래된 부호화 데이터로 된 부호화 데이터에 대하여, 이하, 동일한 처리를 반복한다.

예를 들어, 무음에 대응하는 부호화 데이터가 계속되고 있는 경우, 연속되는 복수의 프레임의 부호화 데이터의 데이터 제어 정보로서의 플래그는 1로 되고, 그 복수의 프레임의 부호화 데이터는, 연속해서 파기된다.

버퍼(44)에 기억된 부호화 데이터의 파기에 의해, 버퍼(44)의 축적량이, 저지연 모드의 축적량의 기준값(저지연 모드의 지연 시간으로서, 적절한 시간으로서 미리 결정된 시간분의 프레임 수)(예를 들어, 18프레임 등)에 가까운 값으로 되면, 데이터 제어부(45)는, 저지연 모드의(버퍼(44)의) 축적량의 역치와, 데이터 제어 정보에 따라, 버퍼(44)로부터의 부호화 데이터의 판독을 제어한다.

여기서, 저지연 모드의 축적량의 역치는, 범위를 나타내는 역치이고, 그 범위의 최솟값과 최댓값의 두 값을 갖는다. 범위의 최댓값을, 상한 역치라고도 하고, 범위의 최솟값을, 하한 역치라고도 한다. 예를 들어, 저지연 모드의 축적량의 상한 역치 및 하한 역치로서는, 그 상한 역치 및 하한 역치의 평균값이, 저지연 모드의 축적량의 기준값과 동등해지는 값을 채용할 수 있다.

데이터 제어부(45)는, 버퍼(44)의 축적량이, 저지연 모드의 축적량의 하한 역치 이상이고 상한 역치 이하인 경우에는, 버퍼(44)에 기억된 가장 오래된 1프레임분의 부호화 데이터를 판독하여, 데이터 출력부(46)에 공급한다.

버퍼(44)의 축적량이, 저지연 모드의 축적량의 상한 역치보다 큰 경우, 버퍼(44)의 축적량을 감소시키기 위해, 데이터 제어부(45)는, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 파기한다.

버퍼(44)의 축적량이, 저지연 모드의 축적량의 하한 역치보다 작은 경우, 버퍼(44)의 축적량을 증가시키기 위해, 데이터 제어부(45)는, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 복제(삽입)한다.

한편, 데이터 제어부(45)는, 지연 제어 정보 해석부(43)로부터의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 지연 시간을 길게 하기 위해, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 복제(삽입)한다.

구체적으로는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보로서의 플래그가 부호화 데이터의 삽입 및 파기의 양쪽의 금지를 나타내는 0인 경우, 버퍼(44)에 기억된 가장 오래된 부호화 데이터를 복제하지 않고 판독하여, 데이터 출력부(46)에 공급한다.

한편, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보로서의 플래그가 부호화 데이터의 삽입 및 파기의 양쪽의 허가를 나타내는 1인 경우, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터를 복제하여 판독하여, 데이터 출력부(46)에 공급한다.

데이터 제어부(45)는, 다음 부호화 데이터의 판독에서는, 버퍼(44)에 기억된 부호화 데이터 중, 가장 오래된 부호화 데이터의 복제를 판독하여, 이하, 동일한 처리를 반복한다.

예를 들어, 무음에 대응하는 부호화 데이터가 계속되는 경우, 연속되는 복수의 프레임의 부호화 데이터의 데이터 제어 정보로서의 플래그는 1로 되고, 그 복수의 프레임의 부호화 데이터의 각각은, 연속해서 복제된다.

버퍼(44)에 기억된 부호화 데이터의 복제에 의해, 버퍼(44)의 축적량이, 통상 지연 모드의 축적량의 기준값(통상 지연 모드의 지연 시간으로서, 적절한 시간으로서 미리 결정된 시간분의 프레임 수)(예를 들어, 64프레임 등)에 가까운 값으로 되면, 데이터 제어부(45)는, 통상 지연 모드의(버퍼(44)의) 축적량의 역치와, 데이터 제어 정보에 따라, 버퍼(44)로부터의 부호화 데이터의 판독을 제어한다.

여기서, 통상 지연 모드의 지연 시간은, 저지연 모드의 지연 시간보다도 크고, 따라서, 통상 지연 모드의 축적량의 기준값은, 저지연 모드의 축적량의 기준값보다도 크다.

또한, 통상 지연 모드의 축적량의 역치는, 저지연 모드의 축적량의 역치와 마찬가지로, 범위를 나타내는 역치이고, 그 범위의 최솟값인 하한 역치와 최댓값인 상한 역치의 두 값을 갖는다. 예를 들어, 통상 지연 모드의 축적량의 상한 역치 및 하한 역치로서는, 그 상한 역치 및 하한 역치의 평균값이, 통상 지연 모드의 축적량의 기준값에 동등해지는 값을 채용할 수 있다.

데이터 제어부(45)는, 버퍼(44)의 축적량이, 통상 지연 모드의 축적량의 하한 역치 이상이고 상한 역치 이하인 경우에는, 버퍼(44)에 기억된 가장 오래된 1프레임분의 부호화 데이터를 판독하여, 데이터 출력부(46)에 공급한다.

버퍼(44)의 축적량이, 통상 지연 모드의 축적량의 상한 역치보다 큰 경우, 버퍼(44)의 축적량을 감소시키기 위해, 데이터 제어부(45)는, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 파기한다.

버퍼(44)의 축적량이, 통상 지연 모드의 축적량의 하한 역치보다 작은 경우, 버퍼(44)의 축적량을 증가시키기 위해, 데이터 제어부(45)는, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 복제한다.

또한, 통상 지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위와, 저지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위는, 겹침을 갖지 않는 범위여도 되고, 일부가 겹치는 범위여도 된다. 저지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위, 그리고 통상 지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위로서는, 저지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위의 적어도 일부가, 통상 지연 모드의 축적량의 상한 역치 및 하한 역치로 규정되는 범위보다도 작아지는 범위를 채용할 수 있다.

데이터 출력부(46)에는, 데이터 제어부(45)로부터 사용 방법이 제어된 부호화 데이터가 공급된다.

데이터 출력부(46)는, 데이터 제어부(45)로부터 공급되는 부호화 데이터를, LPCM 버퍼(47)를 통해, 출력 장치(22)에 출력한다.

즉, 데이터 출력부(46)는, 예를 들어 SBC의 디코더이고, 데이터 제어부(45)로부터 공급되는 부호화 데이터를, 음향 데이터로서의 LPCM 데이터로 복호하고, LPCM 버퍼(47)에 출력한다.

LPCM 버퍼(47)는, 데이터 출력부(46)로부터 공급되는 LPCM 데이터를 일시 기억한다.

LPCM 버퍼(47)에 기억된 LPCM 데이터는, 리얼타임 재생에 필요한 레이트로 판독되어, 출력 장치(22)에 공급된다.

출력 장치(22)에서는, LPCM 버퍼(47)로부터의 LPCM 데이터에 대응하는 음향이 출력된다.

이상과 같은 송신 장치(12)와 수신 장치(21) 사이에서의 무선 통신에 의한 데이터의 송수신은, 송신 장치(12)와 수신 장치(21) 사이의 전송로의 상태(전파 상황) 등에 따라, 반드시 성공하는 것만은 아니다.

송신 장치(12)와 수신 장치(21) 사이에서의 무선 통신에 의한 데이터의 송수신이 실패된 경우, 송신 장치(12)로부터 수신 장치(21)에 대하여, 데이터를 다시 송신하는 재송이 행해진다.

이 재송을 위해, 송신측인 송신 장치(12)가 버퍼(33)를 가짐과 함께, 수신측인 수신 장치(21)가 버퍼(44)를 갖는다.

또한, 데이터의 송수신에 실패한 경우에는, 수신 장치(21)에 있어서, 데이터 출력부(46)에서의 복호의 대상으로 되는 부호화 데이터가 없어지고, 그 결과, 출력 장치(22)로의 데이터(음향 데이터)의 출력이 도중에 끊어져, 소리 끊김이 발생한다. 이러한 소리 끊김을 억제하기 위해, 수신 장치(21)는, 부호화 데이터를 버퍼(44)에 일시 기억시켜, 버퍼(44)의 축적량이, 소리 끊김을 억제하는 데 충분한 소정값으로 되고 나서, 버퍼(44)로부터의 부호화 데이터의 판독을 개시한다. 예를 들어, 버퍼(44)에 부호화 데이터를 기억하기 시작하고 나서부터 버퍼(44)의 축적량이 소정값으로 될 때까지의 시간이, 지연 시간으로 된다.

<송신 처리>

도 3은, 도 2의 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.

스텝 S11에 있어서, 데이터 생성부(32)는, 공급 장치(11)로부터 공급되는 음향 데이터로서의 LPCM 데이터를 프레임 단위로 부호화하고, 처리는, 스텝 S12로 진행한다.

즉, 데이터 생성부(32)는, 공급 장치(11)로부터 공급되는 음향 데이터를, 프레임으로 분할하여, 가장 오래된 프레임의 음향 데이터를 압축하는 부호화를 행한다.

스텝 S12에서는, 데이터 생성부(32)는, 직전에 부호화를 행한 음향 데이터의 프레임으로부터, 그 프레임의 삽입이나 파기가 감지되는 정도를 나타내는 감지 특징량으로서의 SF나 토낼리티를 구하고, 처리는, 스텝 S13으로 진행한다.

스텝 S13에서는, 데이터 생성부(32)는, 직전에 부호화를 행한 음향 데이터의 프레임의 감지 특징량과 역치를 비교하여, 그 비교 결과에 따라, 직전에 부호화를 행한 음향 데이터의 프레임의 부호화 데이터에 대한 데이터 제어 정보를 생성한다.

즉, 직전에 부호화를 행한 음향 데이터의 프레임(이하, 주목 프레임이라고도 함)의 감지 특징량이 역치 미만인 경우, 예를 들어 주목 프레임이, 노이즈성의 음향 데이터이고, 주목 프레임의 삽입(복제)이나 파기가 감지되기 어려운 경우, 데이터 생성부(32)는, 주목 프레임에 대하여, 삽입 및 파기를 허가하는 취지를 나타내는 하나의 데이터 제어 정보로서의 플래그를 생성하고, 처리는, 스텝 S13으로부터 스텝 S14로 진행한다.

또한, 주목 프레임의 감지 특징량이 역치 미만이 아닌 경우, 예를 들어 주목 프레임이, 톤성의 음향 데이터이고, 주목 프레임의 삽입이나 파기가 감지되기 어렵지 않은 경우, 데이터 생성부(32)는, 주목 프레임에 대하여, 삽입 및 파기를 금지하는 취지를 나타내는 0의 데이터 제어 정보로서의 플래그를 생성하고, 처리는, 스텝 S13으로부터 스텝 S14로 진행한다.

스텝 S14에서는, 데이터 생성부(32)는, 주목 프레임의 부호화에 의해 얻어지는 부호화 데이터와, 주목 프레임의 데이터 제어 정보(플래그), 및 주목 프레임에 대한, 지연 제어 정보 생성부(31)로부터 공급되는 지연 제어 정보를 통합하여 송신 대상 데이터를 생성하고, 처리는, 스텝 S15로 진행한다.

스텝 S15에서는, 데이터 생성부(32)는, 송신 대상 데이터를, 버퍼(33)에 공급하여 기억시킨다.

버퍼(33)에 기억된 송신 대상 데이터는, 적절히 판독되어, 패킷화부(34)에 공급된다.

패킷화부(34)는, 버퍼(44)로부터 송신 대상 데이터가 공급되면, 스텝 S16에 있어서, 그 송신 대상 데이터를 패킷에 패킷화하여, 통신부(35)에 공급한다.

또한, 스텝 S16에서는, 통신부(35)는, 패킷화부(34)로부터의 패킷을 RF 신호로 변조하여, 무선 통신으로 송신(전송)하고, 송신 처리는 종료한다.

또한, 스텝 S11 내지 S16의 처리는, 필요에 따라, 파이프라인에서 행해진다.

<수신 처리>

도 4는, 도 2의 수신 장치(21)가 행하는, 음향 데이터를 수신하는 수신 처리의 예를 설명하는 흐름도다.

스텝 S21에 있어서, 통신부(41)는, 통신부(35)로부터 패킷의 RF 신호가 송신되어 오는 것을 기다려서 수신하고, RF 신호로부터 패킷을 복조한다. 그리고, 통신부(41)는, 패킷을, 패킷 분해부(42)에 공급한다. 패킷 분해부(42)는, 통신부(41)로부터의 패킷을 분해하고, 그 패킷으로부터, 송신 대상 데이터를 추출한다. 그리고, 패킷 분해부(42)는, 송신 대상 데이터를, 지연 제어 정보 해석부(43)에 공급하고, 처리는, 스텝 S21로부터 S22로 진행한다.

스텝 S22에서는, 지연 제어 정보 해석부(43)는, 패킷 분해부(42)로부터의 송신 대상 데이터를, 지연 제어 정보, 데이터 제어 정보(플래그), 및 부호화 데이터에 분해하고, 처리는, 스텝 S23으로 진행한다.

스텝 S23에서는, 지연 제어 정보 해석부(43)는, 부호화 데이터를, 버퍼(44)에 공급하여 기억시킴과 함께, 지연 제어 정보 및 데이터 제어 정보를, 데이터 제어부(45)에 공급하고, 처리는, 스텝 S24로 진행한다.

스텝 S24에서는, 데이터 제어부(45)는, 버퍼(44)에 기억된 최신의 부호화 데이터(직전에 행해진 스텝 S23에서 처리된 부호화 데이터)(이하, 주목 데이터라고도 함)의 지연 제어 정보에 따라, 버퍼(44)의 축적량의 상한 역치 및 하한 역치를 설정하고, 처리는, 스텝 S25로 진행한다.

이에 의해, 주목 데이터의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드인 경우, 버퍼(44)의 축적량의 상한 역치 및 하한 역치는, 통상 지연 모드의 상한 역치 및 하한 역치로 각각 설정된다. 또한, 주목 데이터의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드인 경우, 버퍼(44)의 축적량의 상한 역치 및 하한 역치는, 저지연 모드의 상한 역치 및 하한 역치로 각각 설정된다.

스텝 S25에서는, 데이터 제어부(45)는, 버퍼(44)의 축적량(버퍼(44)에 기억되어 있는 부호화 데이터로 되어 있는 프레임 수)(버퍼량)을 확인하고, 처리는, 스텝 S26으로 진행한다.

스텝 S26에서는, 데이터 제어부(45)는, 버퍼(44)의 축적량이, 하한 역치 이상이고, 또한 상한 역치 이하인지 여부를 판정한다.

스텝 S26에 있어서, 버퍼(44)의 축적량이, 하한 역치 이상이고, 또한 상한 역치 이하라고 판정된 경우, 데이터 제어부(45)는, 버퍼(44)로부터 가장 오래된 부호화 데이터(로 되어 있는 프레임)를 판독하여, 데이터 출력부(46)로 공급하고, 처리는, 스텝 S30으로 진행한다.

여기서, 버퍼(44)의 축적량이, 하한 역치 이상이고, 또한 상한 역치 이하인 경우에 행해지는, 버퍼(44)로부터의 가장 오래된 부호화 데이터의 판독을, 이하, 통상 판독이라고도 한다. 통상 판독에서는, 버퍼(44)로부터 판독된 부호화 데이터는, 판독 후에 버퍼(44)로부터 소거된다.

스텝 S30에서는, 데이터 출력부(46)는, 버퍼(44)로부터 공급되는 부호화 데이터를 복호하고, 그 결과 얻어지는 LPCM 데이터를, LPCM 버퍼(47)를 통해, 출력 장치(22)에 출력하고, 수신 처리는 종료한다.

한편, 스텝 S26에 있어서, 버퍼(44)의 축적량이, 하한 역치 이상이 아니라고 판정된 경우, 즉, 버퍼(44)의 축적량이 적은 경우(부족한 경우), 처리는, 스텝 S27로 진행한다.

스텝 S27에서는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보로서의 플래그가, 삽입 및 파기를 허가하는 취지를 나타내는 1로 되어 있는지 여부를 판정한다.

스텝 S27에 있어서, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 삽입 및 파기를 허가하는 취지를 나타내는 1로 되어 있지 않다고 판정된 경우, 즉, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 삽입 및 파기를 금지하는 취지를 나타내는 0으로 되어 있는 경우, 데이터 제어부(45)는, 버퍼(44)로부터의 가장 오래된 부호화 데이터의 통상 판독을 행한다. 그리고, 데이터 제어부(45)는, 통상 판독을 행한 부호화 데이터를, 데이터 출력부(46)에 공급하고, 처리는, 스텝 S30으로 진행하고, 이하, 상술한 처리가 행해진다.

또한, 스텝 S27에 있어서, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 삽입 및 파기를 허가하는 취지를 나타내는 1로 되어 있다고 판정된 경우, 처리는, 스텝 S28로 진행한다.

스텝 S28에서는, 데이터 제어부(45)는, 내장한 카운터(도시하지 않음)의 카운트값이, 카운트값의 역치 이상인지 여부를 판정한다.

여기서, 데이터 제어부(45)는, 내장한 카운터에 있어서, 통상 판독을 연속해서 행한 횟수를, 카운트값으로서 카운트하고 있다. 카운터의 카운트값은, 통상 판독이 연속해서 행해지고 있는 동안, 통상 판독이 행해질 때마다 1만큼 인크리먼트되어, 통상 판독이 행해지지 않은 경우, 즉, 부호화 데이터의 복제(삽입) 또는 파기가 행해진 경우, 리셋된다.

스텝 S28에 있어서, 카운트값이, 역치 이상이 아니라고 판정된 경우, 즉, 전회의 부호화 데이터의 복제 또는 파기가 행해지고 나서, 통상 판독이, 역치 이상의 횟수만큼 연속해서 행해지고 있지 않고, 전회의 부호화 데이터의 복제 또는 파기가 행해지고 나서, 그다지 틈이 생기지 않는 경우, 데이터 제어부(45)는, 버퍼(44)로부터의 가장 오래된 부호화 데이터의 통상 판독을 행한다. 그리고, 데이터 제어부(45)는, 통상 판독을 행한 부호화 데이터를, 데이터 출력부(46)에 공급하고, 처리는, 스텝 S30으로 진행하여, 이하, 상술한 처리가 행해진다.

또한, 스텝 S28에 있어서, 카운트값이, 역치 이상이라고 판정된 경우, 즉, 전회의 부호화 데이터의 복제 또는 파기가 행해지고 나서, 통상 판독이, 역치 이상의 횟수만큼 연속해서 행해져, 전회의 부호화 데이터의 복제 또는 파기가 행해지고 나서, 어느 정도의 틈이 생긴 경우, 처리는, 스텝 S29로 진행한다.

스텝 S29에서는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 복제를 행한다.

즉, 데이터 제어부(45)는, 가장 오래된 부호화 데이터를, 버퍼(44)로부터 판독하여, 데이터 출력부(46)로 공급함과 함께, 그 가장 오래된 부호화 데이터의 복제를 그대로, 버퍼(44)에 유지시킴으로써, 가장 오래된 부호화 데이터 후에, 그 가장 오래된 부호화 데이터의 복제를 삽입한다.

그 후, 데이터 제어부(45)는, 카운트값을 0으로 리셋하고, 처리는, 스텝 S30으로 진행하여, 이하, 상술한 처리가 행해진다.

한편, 스텝 S26에 있어서, 버퍼(44)의 축적량이, 상한 역치 이하가 아니라고 판정된 경우, 즉, 버퍼(44)의 축적량이 많은 경우(과잉인 경우), 처리는, 스텝 S31로 진행한다.

스텝 S31 및 S32에서는, 스텝 S27 및 S28과 동일한 처리가 행해진다.

즉, 스텝 S31에서는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 데이터 제어 정보가, (부호화 데이터의) 복제 및 파기를 허가하는 취지를 나타내는 1로 되어 있는지 여부를 판정한다.

스텝 S31에 있어서, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 복제 및 파기를 허가하는 취지를 나타내는 1로 되어 있지 않다고 판정된 경우, 즉, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 삽입 및 파기를 금지하는 취지를 나타내는 0으로 되어 있는 경우, 데이터 제어부(45)는, 버퍼(44)로부터의 가장 오래된 부호화 데이터의 통상 판독을 행한다. 그리고, 데이터 제어부(45)는, 통상 판독을 행한 부호화 데이터를, 데이터 출력부(46)에 공급하고, 처리는, 스텝 S30으로 진행하여, 이하, 상술한 처리가 행해진다.

또한, 스텝 S31에 있어서, 가장 오래된 부호화 데이터의 데이터 제어 정보가, 복제 및 파기를 허가하는 취지를 나타내는 1로 되어 있다고 판정된 경우, 처리는, 스텝 S32로 진행한다.

스텝 S32에서는, 데이터 제어부(45)는, 내장한 카운터의 카운트값이, 카운트값의 역치 이상인지 여부를 판정한다.

스텝 S32에 있어서, 카운트값이, 역치 이상이 아니라고 판정된 경우, 데이터 제어부(45)는, 버퍼(44)로부터의 가장 오래된 부호화 데이터의 통상 판독을 행한다. 그리고, 데이터 제어부(45)는, 통상 판독을 행한 부호화 데이터를, 데이터 출력부(46)에 공급하고, 처리는, 스텝 S30으로 진행하고, 이하, 상술한 처리가 행해진다.

또한, 스텝 S32에 있어서, 카운트값이, 역치 이상이라고 판정된 경우, 처리는, 스텝 S33으로 진행한다.

스텝 S33에서는, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 파기를 행한다.

즉, 데이터 제어부(45)는, 버퍼(44)에 기억된 가장 오래된 부호화 데이터의 판독을 스킵함으로써, 그 가장 오래된 부호화 데이터를 파기하고, 2번째로 오래된 부호화 데이터를, 버퍼(44)로부터 판독하여, 데이터 출력부(46)로 공급한다.

그 후, 데이터 제어부(45)는, 카운트값을 0으로 리셋하고, 처리는, 스텝 S30으로 진행하고, 이하, 상술한 처리가 행해진다.

또한, 스텝 S21 내지 S33의 처리는, 필요에 따라, 파이프라인에서 행해진다.

또한, 도 4에 도시한 수신 처리의 순서는 예이고, 예를 들어 수신 장치(21)에 있어서, 송신 장치(12)로부터의 패킷(의 RF 신호)을 정상적으로 수신할 수 없는 경우 등에는, 스텝 S25로부터 스텝 S30까지의 처리를 반복해서 행하고, 버퍼(44)에 기억되어 있는 부호화 데이터를 사용하여, 음향의 재생을 행하는 등, 다양한 베리에이션을 취할 수 있다.

이상과 같이, 송신 장치(12)는, 수신 장치(21)에서 음향 데이터(의 부호화 데이터)의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성함과 함께, 수신 장치에서 음향 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하여, 음향 데이터, 데이터 제어 정보, 및 지연 제어 정보를, 무선 통신으로 송신한다.

한편, 수신 장치(21)는, 무선 통신으로 송신되어 오는 음향 데이터와, 데이터 제어 정보와, 지연 제어 정보를 수신하고, 데이터 제어 정보 및 지연 제어 정보에 따라, 음향 데이터의 사용 방법을 제어하고, 사용 방법이 제어된 데이터를 출력한다. 구체적으로는, 예를 들어 수신 장치(21)에서는, 데이터 제어부(45)가, 지연 제어 정보에 따라, 버퍼(44)의 축적량과 비교하는 상한 역치 및 하한 역치를 설정하고, 버퍼의 축적량과 상한 역치 및 하한 역치의 비교 결과와, 데이터 제어 정보에 따라, 버퍼(44)에 버퍼링(기억)된 음향 데이터의 부호화 데이터의 삽입 및 파기를 제어한다.

따라서, 수신 장치(21)에서의 음향 데이터의 지연 시간의 전환을, 무선 통신을 절단하지 않고, 용이하게 행할 수 있다.

또한, 지연 시간의 전환에 있어서, 부호화 데이터의 삽입이나 파기가, 감지 특징량을 사용하여 얻어지는 데이터 제어 정보에 따라 제어되므로, 유저에게 위화감을 느끼게 하지 않고, 지연 시간의 전환을 행할 수 있다.

<송신 장치(12) 및 수신 장치(21)의 제2 구성예>

도 5는, 도 1의 송신 장치(12) 및 수신 장치(21)의 제2 구성예를 도시하는 블록도다.

또한, 도면 중, 도 2의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고, 이하에는, 그 설명은 적절히 생략한다.

도 5에 있어서, 송신 장치(12)는, 지연 제어 정보 생성부(31), 버퍼(33), 패킷화부(34), 통신부(35), 데이터 생성부(51), 수신 장치 버퍼 감시부(52), 및 압축률 제어부(53)를 갖는다.

따라서, 도 5의 송신 장치(12)는, 지연 제어 정보 생성부(31), 버퍼(33), 패킷화부(34), 및 통신부(35)를 갖는 점에서, 도 2의 경우와 공통된다. 단, 도 5의 송신 장치(12)는, 데이터 생성부(32) 대신에, 데이터 생성부(51)가 마련되어 있는 점, 그리고 수신 장치 버퍼 감시부(52) 및 압축률 제어부(53)가 새롭게 마련되어 있는 점에서, 도 2의 경우와 상이하다.

또한, 도 5에 있어서, 수신 장치(21)는, 통신부(41), 패킷 분해부(42), 지연 제어 정보 해석부(43), 버퍼(44), 데이터 제어부(45), 데이터 출력부(46), 및 LPCM 버퍼(47)를 갖는다.

따라서, 도 5의 수신 장치(21)는, 도 2의 경우와 마찬가지로 구성된다.

도 5에서는, 송신 장치(12) 및 수신 장치(21)가, 도 2의 경우와 마찬가지로, 지연 시간을 제어하는(전환하는) 것 외에, 송신 장치(12)가, 전송로의 상태(통신 상황)에 따라, 음향 데이터를 부호화할 때의 압축률을 적응적으로 제어(조정)한다.

압축률의 제어에는, 예를 들어 일본 특허 공개 제2016-208215호 공보에 기재되어 있는 기술을 이용할 수 있다.

즉, 송신 장치(12)에 있어서, 버퍼(33)에 기억된 송신 대상 데이터는, 패킷화부(34) 및 통신부(35)를 통해 송신되고, 수신 장치(21)로부터 재송이 요구된 경우(수신 장치(21)로부터 정상 수신을 나타내는 취지의 메시지를 수신하지 못한 경우)를 제외하고, 버퍼(33)로부터 삭제된다.

한편, 수신 장치(21)로부터 재송이 요구된 경우, 버퍼(33)에 기억된 송신 대상 데이터는, 그대로 버퍼(33)에 유지되어, 재송된다.

따라서, 전송로의 상태가 나빠, 수신 장치(21)로부터 재송이 요구되는 빈도가 높으면, 버퍼(33)의 축적량은 커진다.

그 밖에, 송신 장치(12)에서 행해지는 처리의 부하가 높은 경우에도, 버퍼(33)의 축적량은 커진다.

한편, 전송로의 상태가 양호해, 수신 장치(21)로부터 재송이 요구되지 않는 경우, 버퍼(33)의 축적량은 작아진다.

따라서, 버퍼(33)의 축적량에 의하면, 전송로의 상태를 추정할 수 있다.

도 5에서는, 송신 장치(12)가, 버퍼(33)의 축적량을 전송로의 상태라고 간주하고, 그 전송로의 상태로서의 버퍼(33)의 축적량에 따라, 압축률을 적응적으로 제어한다.

즉, 전송로의 상태가 나빠, 재송이 행해지는 빈도가 높은 경우, 송신 장치(12)의 버퍼(33)의 축적량이 상승 경향으로 되고, 또한 역치 이상으로 된다. 또한, 수신 장치(21)의 버퍼(44)의 축적량은 감소하여, 소리 끊김이 발생할 가능성이 높아진다.

그래서, 송신 장치(12)의 버퍼(33)의 축적량이 상승 경향인 경우나, 역치 이상인 경우에는, 송신 장치(12)는, 압축률을 높게 하여, 음향 데이터를 고압축률로 부호화함으로써, 예를 들어 1프레임당, 229kbps(Kilo Bit Per Second)의 레이트 등에 대응하는 적은 비트를 할당하여, 음향 데이터(의 부호화 데이터)를 송신한다.

이 경우, 단위 시간당, 다수의 프레임을 송신할 수 있으므로, 수신 장치(21)의 버퍼(44)의 축적량이 증가하기 쉬워짐과 함께, 재송의 시간을 확보하기 쉬워진다.

즉, 압축률이 높은 경우에는, 더 많은 프레임 수의 음향 데이터의 부호화 데이터를 1패킷으로 송신할 수 있으므로, 수신 장치(21)가 1패킷을 수신하는 것에 의한, 버퍼(44)의 축적량의 증가량이 커진다.

또한, 패킷의 송신에 필요로 하는 송신 시간에 대하여, 그 패킷에 부호화 데이터가 포함되는 음향 데이터의 프레임의 재생에 필요로 하는 재생 시간이 길어지므로, 그 재생 시간이 길어지는 만큼, 재송의 시간을 확보하기 쉬워진다.

여기서, 패킷에 부호화 데이터가 포함되는 음향 데이터의 프레임의 재생 시간으로부터, 패킷의 송신 시간을 감산한 값이, 재송에 사용 가능한 재송 가능 시간이고, 재송 가능 시간을, 재생 시간으로 제산한 값을, 재송 가능 횟수, 또는 통신(전송)의 성공 확률이라고 칭하는 것으로 한다.

전송로의 상태가 양호해, 재송이 거의 행해지지 않는 경우, 송신 장치(12)의 버퍼(33)의 축적량이 하강 경향으로 되고, 또한 거의 0으로 된다. 또한, 수신 장치(21)의 버퍼(44)의 축적량은, 어느 정도의 값으로 유지되어, 소리 끊김이 발생할 가능성이 낮아진다.

그래서, 송신 장치(12)의 버퍼(33)의 축적량이 하강 경향인 경우나, 거의 0인 경우에는, 송신 장치(12)는, 출력 장치(22)로부터 출력되는 음향의 음질을 향상시키기 위해, 압축률을 낮게 하여, 음향 데이터를 저압축률로 부호화함으로써, 예를 들어 1프레임당, 384kbps의 레이트 등에 대응하는 다수의 비트를 할당하여, 음향 데이터를 송신한다.

압축률이 낮은 경우에는, 1패킷으로 송신할 수 있는 음향 데이터의 프레임 수가 적어져, 수신 장치(21)가 1패킷을 수신하는 것에 의한, 버퍼(44)의 축적량의 증가량이 작아진다. 단, 전송로의 상태가 양호한 경우에는, 재송이 거의 행해지지 않으므로, 수신 장치(21)의 버퍼(44)의 축적량은, 어느 정도의 값으로 유지되어, 소리 끊김이 발생할 가능성은 낮아진다.

또한, 음향 데이터를 더 저압축률로 부호화할 수 있는 부호화 방식이라면, 재접속하지 않고, 출력 장치(22)로부터 출력되는 음향의 음질을 더 향상시킬 수 있다.

또한, 압축률의 값은, 부호화 전의 데이터의 데이터양 D1에 대한, 부호화 후의 데이터(부호화 데이터)의 데이터양 D2의 비율 D2/D1로 표현된다. 따라서, 고압축일수록, 압축률을 나타내는 값 D2/D1은 작아지고, 저압축일수록, 압축률을 나타내는 값 D2/D1은 커진다.

예를 들어, 압축률 1/5은, 그 압축률 1/5을 나타내는 값 1/5이 압축률 1/6을 나타내는 값 1/6보다 크지만, 압축률 1/6보다 저압축이다.

따라서, 예를 들어 압축률 1/5이 최저 압축률이고, 그 압축률 1/5 이상의 압축률이란, 값이 1/5 이하인 압축률 1/5이나, 1/6, 1/7 등이다.

그런데, 지연 모드가 저지연 모드인 경우, 수신 장치(21)의 버퍼(44)의 축적량이 작아진다. 버퍼(44)의 축적량이 작은 경우, 버퍼(44)가 빈 것으로 되기 쉬워져, 나아가서는, 소리 끊김이 발생하기 쉬워지므로, 송신 장치(12)로부터 수신 장치(21)로의 패킷(의 RF 신호)의 전송 에러에 대한 내성은 낮다.

따라서, 저지연 모드에서는, 수신 장치(21)의 버퍼(44)가 빈 것으로 되지 않도록, 송신 장치(12)에 있어서, 압축률을 높게 하여, 더 많은 프레임 수의 음향 데이터의 부호화 데이터를 1패킷으로 송신하고, 수신 장치(21)가 1패킷을 수신하는 것에 의한, 버퍼(44)의 축적량의 증가량을 크게 하는 것이 바람직하다.

한편, 통상 지연 모드에서는, 수신 장치(21)의 버퍼(44)의 축적량이 어느 정도의 값으로 되므로, 소리 끊김이 발생할 가능성은 작다. 따라서, 통상 지연 모드에서는, 압축률을 낮게 하여, 출력 장치(22)로부터 출력되는 음향의 음질을 향상시키는 것이 바람직하다.

그래서, 도 5의 송신 장치(12)에서는, 저지연 모드에서는, 압축률이 높아지도록 제어가 행해지고, 통상 지연 모드에서는, 압축률이 낮아지도록 제어가 행해진다.

단, 저지연 모드에서는, 수신 장치(21)의 버퍼(44)의 축적량이 작아져 있기 때문에, 지연 모드가 저지연 모드로부터 통상 지연 모드로 전환되는 경우에, 압축률을, 바로, 저압축률로 변경하면, 1패킷으로 송신할 수 있는 음향 데이터의 프레임 수가 적어지고, 그 때문에, 버퍼(44)가 빈 것으로 될 가능성, 즉, 소리 끊김이 발생할 가능성이 높아진다.

그래서, 도 5의 송신 장치(12)는, 수신 장치(21)의 버퍼(44)의 상황인 수신 버퍼 상황을 감시하고, 지연 모드가, 저지연 모드로부터 통상 지연 모드로 전환되는 경우에는, 수신 버퍼 상황이, 소리 끊김이 발생할 가능성이 낮은 상황으로 되었음을 확인하고 나서, 압축률을, 고압축률로부터 저압축률로 변경한다.

즉, 송신 장치(12)에 있어서, 데이터 생성부(51)에는, 지연 제어 정보 생성부(31)로부터 지연 제어 정보가 공급됨과 함께, 공급 장치(11)로부터 음향 데이터인 LPCM 데이터가 공급된다.

데이터 생성부(51)는, 도 2의 데이터 생성부(32)와 마찬가지로, 공급 장치(11)로부터의 음향 데이터를 프레임마다 부호화하는 부호화부로서 기능한다. 단, 데이터 생성부(51)는, 압축률 제어부(53)의 제어에 따른 압축률(압축률 제어부(53)로부터 공급되는 압축률)로, 음향 데이터의 프레임을 부호화한다.

또한, 데이터 생성부(51)는, 도 2의 데이터 생성부(32)와 마찬가지로, 부호화 데이터에 대응하는 음향 데이터의 프레임에 대하여, 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부로서 기능한다.

즉, 데이터 생성부(51)는, 음향 데이터의 프레임에 대하여, 감지 특징량을 구하고, 그 감지 특징량에 기초하여, 데이터 제어 정보를 생성한다.

데이터 생성부(51)는, 도 2의 데이터 생성부(32)와 마찬가지로, 공급 장치(11)로부터 음향 데이터의 프레임의 부호화에 의해 얻어지는 부호화 데이터와, 그 프레임의 데이터 제어 정보, 및 그 프레임에 대한, 지연 제어 정보 생성부(31)로부터의 지연 제어 정보를 세트로 한 송신 대상 데이터를 생성하여, 버퍼(33)에 공급한다.

또한, 데이터 생성부(51)는, 음향 데이터의 각 프레임의 데이터 제어 정보 및 지연 제어 정보를, 수신 장치 버퍼 감시부(52)에 공급한다.

수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 데이터 제어 정보로부터, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 추정하고, 그 수신 버퍼 상황을 감시한다.

즉, 수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 데이터 제어 정보를 순차 기억함으로써, 최신의 일정수의 데이터 제어 정보를 기억한다.

수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 최신의 지연 제어 정보가 나타내는 지연 모드와, 전회의 지연 제어 정보가 나타내는 지연 모드를 비교하여, 그 비교 결과와 수신 버퍼 상황에 따라, 통상 지연 모드 또는 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

여기서, 수신 장치 버퍼 감시부(52)의 동작 상태에는, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 감시하는 감시 상태와, 감시 상태가 아닌 통상 상태가 있다.

최신의 지연 제어 정보가 나타내는 지연 모드가, 전회의 지연 제어 정보가 나타내는 지연 모드로부터 변경되어 있지 않고, 또한 수신 장치 버퍼 감시부(52)의 동작 상태가 통상 상태인 경우, 수신 장치 버퍼 감시부(52)는, 최신의 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드인 경우, 즉, 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된(변화된) 경우, 수신 장치 버퍼 감시부(52)는, 최신의 지연 제어 정보, 즉, 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

최신의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드인 경우, 즉, 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 수신 장치 버퍼 감시부(52)는, 동작 상태를 감시 상태로 이행한다.

감시 상태에서는, 수신 장치 버퍼 감시부(52)는, 기억하고 있는 데이터 제어 정보의 계열(이력)로부터, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 추정하고, 그 수신 버퍼 상황을 감시한다. 그리고, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황으로부터, 수신 장치(21)의 버퍼(44)에 기억되어 있는 부호화 데이터에 대하여, 데이터 제어 정보에 기초하는 복제(삽입)를 행한 경우에, 재생 가능한 프레임의 수(이하, 재생 가능 프레임 수라고도 함)를 산출(추정)한다.

또한, 수신 장치 버퍼 감시부(52)는, 재생 가능 프레임 수를, 소리 끊김이 발생하기 어려운 값으로서 미리 결정된 역치(예를 들어, 통상 지연 모드의 축적량의 기준값 등)와 비교한다.

그리고, 재생 가능 프레임 수가 역치를 초과하는 경우, 즉, 수신 버퍼 상황이 통상 지연 모드로 이행되어도 소리 끊김이 발생하기 어려운 상황으로 되어 있는 경우, 수신 장치 버퍼 감시부(52)는, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행하여, 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

한편, 재생 가능 프레임 수가 역치를 초과하지 않는 경우, 즉, 수신 버퍼 상황이 통상 지연 모드로 이행되어도 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우, 수신 장치 버퍼 감시부(52)는, 동작 상태를 감시 상태 그대로 유지하여, 최신의 지연 제어 정보 대신에, 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

또한, 수신 장치 버퍼 감시부(52)는, 동작 상태가 감시 상태인 경우에, 최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드였을 때는, 즉, 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경되었을 때는, 수신 장치 버퍼 감시부(52)는, 감시 상태를 해제하여, 동작 상태를 통상 상태로 이행하고, 최신의 지연 제어 정보, 즉, 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

이상과 같이, 데이터 생성부(51)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우는, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황을 감시하여, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있는지 여부를 확인한다. 그리고, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우에는, 수신 장치 버퍼 감시부(52)는, 변경 전의 지연 모드, 즉, 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다. 또한, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황이 통상 지연 모드로 이행되어도 소리 끊김이 발생하기 어려운 상황으로 되는 것을 기다려, 변경 후의 지연 모드, 즉, 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

이상에 의해, 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 직후에, 수신 장치(21)의 버퍼(44)의 축적량이 작아지는(지연 시간이 짧아지는) 것에 기인하여 소리 끊김이 발생하는 것을 억제할 수 있다.

여기서, 상술한 경우에는, 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우에, 수신 장치 버퍼 감시부(52)의 동작 상태가 감시 상태로 되고, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 감시하는 것으로 했지만, 그 밖에, 예를 들어 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된 경우에도, 수신 장치 버퍼 감시부(52)의 동작 상태를 감시 상태로 할 수 있다.

지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된 경우의 감시 상태에서는, 수신 장치 버퍼 감시부(52)는, 변경 전의 지연 모드인 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급함과 함께, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 감시하고, 그 수신 버퍼 상황으로부터, 수신 장치(21)의 버퍼(44)에 기억되어 있는 부호화 데이터에 대하여, 데이터 제어 정보에 기초하는 삭감을 행하면서 음향 데이터의 프레임을 재생한 경우에 재생할 필요가 있는 최소의 프레임 수(이하, 최소 재생 프레임 수라고도 함)를 산출한다.

그리고, 예를 들어 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된 경우에, 수신 장치(21)의 버퍼(44)가 오버플로우되지 않는 값의 최소 재생 프레임 수가 산출된 경우, 수신 장치 버퍼 감시부(52)는, 감시 상태를 해제하여, 변경 후의 지연 모드인 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

압축률 제어부(53)는, 예를 들어 일본 특허 공개 제2016-208215호 공보에 기재되어 있는 기술과 마찬가지로, 간헐적으로, 버퍼(33)의 축적량(상황)을 취득하고, 그 버퍼(33)의 축적량(의 계열)에 따라, 데이터 생성부(51)가 부호화를 행할 때의 압축률을 구한다.

단, 압축률 제어부(53)에서 구해지는 압축률의 최댓값(최대 압축률)이나, 최솟값(최소 압축률), 취할 수 있는 값은, 수신 장치 버퍼 감시부(52)로부터 압축률 제어부(53)로 공급되는 지연 제어 정보가 나타내는 지연 모드에 의해 전환된다.

따라서, 압축률 제어부(53)는, 버퍼(33)의 축적량에 따라, 압축률을 제어한다고 할 수도 있고, 지연 제어 정보에 따라, 압축률을 제어한다고 할 수도 있다. 또한, 압축률 제어부(53)는, 지연 제어 정보, 및 버퍼의 축적량에 따라, 압축률을 제어한다고 할 수도 있다.

여기서, 본 실시 형태에서는, 예를 들어 압축률로서 구해지는, 압축률의 복수의 후보(이하, 압축률 후보라고도 함)가 미리 준비되어 있다. 또한, 압축률 후보는, 지연 모드마다, 즉, 여기서는, 통상 지연 모드와 저지연 모드의 각각에 대하여 준비되어 있다.

예를 들어, 통상 지연 모드의 복수의 압축률 후보로서는, {1/2, 1/3, 1/6} 등이 준비되어 있고, 저지연 모드의 복수의 압축률 후보로서는, {1/4, 1/5, 1/10} 등이 준비되어 있다. 또한, 통상 지연 모드의 압축률 후보 {1/2, 1/3, 1/6} 중에서는, 값이 최대인 1/2이, 가장 "저"압축률이고, 값이 최소인 1/6이, 가장 "고"압축률이다. 마찬가지로, 저지연 모드의 압축률 후보 {1/4, 1/5, 1/10} 중에서는, 값이 최대인 1/4이, 가장 "저"압축률이고, 값이 최소인 1/10이, 가장 "고"압축률이다.

통상 지연 모드의 압축률 후보, 및 저지연 모드의 압축률 후보는, 예를 들어 통상 지연 모드의 압축률 후보의 최소 압축률로부터 최대 압축률까지의 범위에 비교하여, 저지연 모드의 압축률 후보의 최소 압축률로부터 최대 압축률까지의 범위가, 고압축률의 범위로 되도록 설정할 수 있다.

압축률 제어부(53)는, 수신 장치 버퍼 감시부(52)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드의 압축률 후보 중에서, 버퍼(33)의 축적량(의 계열)에 따라, 압축률을 선택함으로써 구한다.

즉, 압축률 제어부(53)는, 예를 들어 수신 장치 버퍼 감시부(52)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드인 경우, 통상 지연 모드의 압축률 후보 {1/2, 1/3, 1/6} 중에서, 버퍼(33)의 축적량에 따라, 압축률을 선택하여, 데이터 생성부(51)에 공급한다.

버퍼(33)의 축적량에 따른 압축률의 선택은, 예를 들어 일본 특허 공개 제2016-208215호 공보에 기재되어 있는 기술과 마찬가지로 행할 수 있다. 즉, 예를 들어 버퍼(33)의 축적량이 역치보다 큰 경우나, 증가 경향이 있는 경우에는, 현재의 압축률보다도 높은 압축률이 선택된다. 또한, 예를 들어 버퍼(33)의 축적량이 감소 경향이 있고, 역치 이하의 작은 값이 계속된 경우에는, 현재의 압축률보다도 낮은 압축률이 선택된다.

그 후, 수신 장치 버퍼 감시부(52)로부터 압축률 제어부(53)로 공급되는 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경되면, 압축률 제어부(53)는, 압축률의 선택에 사용하는 압축률 후보를, 통상 지연 모드의 압축률 후보 {1/2, 1/3, 1/6}로부터, 저지연 모드의 압축률 후보 {1/4, 1/5, 1/10}로 전환한다.

그리고, 압축률 제어부(53)는, 저지연 모드의 압축률 후보 {1/4, 1/5, 1/10} 중에서, 버퍼(33)의 축적량에 따라, 압축률을 선택하여, 데이터 생성부(51)에 공급한다.

또한, 수신 장치 버퍼 감시부(52)로부터 압축률 제어부(53)로 공급되는 지연 제어 정보가 나타내는 지연 모드가 변경된 직후에 있어서는, 압축률 제어부(53)는, 예를 들어 변경 후의 지연 모드의 압축률 후보 중에서, 지연 모드의 변경 직전의 압축률에 가까운 압축률 후보를, 압축률로 선택할 수 있다. 또한, 압축률 제어부(53)는, 예를 들어 변경 후의 지연 모드의 압축률 후보 중에서, 지연 모드의 변경 직전의 압축률의 경우와 상술한 성공 확률이 가까운 압축률 후보를, 압축률로 선택할 수 있다.

여기서, 상술한 바와 같이, 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 수신 장치 버퍼 감시부(52)는, 동작 상태를 감시 상태로 이행하고, 수신 버퍼 상황을 감시하여, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있는지 여부를 확인한다. 그리고, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우에는, 수신 장치 버퍼 감시부(52)는, 변경 전의 지연 모드, 즉, 저지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다. 또한, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되는 것을 기다려, 변경 후의 지연 모드, 즉, 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

따라서, 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경되어도, 수신 장치 버퍼 감시부(52)는, 바로, 변경 후의 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급하는 것만은 아니다. 즉, 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되는 것을 기다려, 변경 후의 지연 모드인 통상 지연 모드를 나타내는 지연 제어 정보를, 압축률 제어부(53)에 공급한다.

그리고, 압축률 제어부(53)는, 이상과 같이, 수신 장치 버퍼 감시부(52)로부터 변경 후의 지연 모드인 통상 지연 모드를 나타내는 지연 제어 정보가 공급된 직후의 타이밍으로부터, 통상 지연 모드의 압축률 후보 중에서 압축률을 선택함으로써, 데이터 생성부(51)에서의 부호화의 압축률을 제어한다.

따라서, 수신 장치 버퍼 감시부(52)는, 지연 제어 정보가 나타내는 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우에는, 수신 버퍼 상황에 따라, 압축률 제어부(53)에 의한 압축률의 제어의 타이밍을 제어하는 타이밍 제어부로서 기능한다.

또한, 상술한 경우에는, 통상 지연 모드의 압축률 후보, 및 저지연 모드의 압축률 후보로서, 상이한 압축률 후보를 채용하는 것으로 했지만, 통상 지연 모드의 압축률 후보, 및 저지연 모드의 압축률 후보로서는, 동일한 압축률 후보를 채용할 수 있다.

<송신 처리>

도 6은, 도 5의 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.

스텝 S51에 있어서, 수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터 공급되는 최신의 지연 제어 정보를 취득하여, 그 최신의 지연 제어 정보가 나타내는 지연 모드가, 전회의 지연 제어 정보가 나타내는 지연 모드로부터 변경되었는지 여부, 즉, 지연 모드의 변경이 있었는지 여부를 확인하고, 처리는, 스텝 S52로 진행한다.

스텝 S52에서는, 수신 장치 버퍼 감시부(52)는, 지연 모드의 변경이, 동작 상태를 감시 상태로 이행하는 감시 상태 이행 조건을 만족시키는지 여부를 판정한다. 여기서, 감시 상태 이행 조건으로서는, 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드로부터 통상 지연 모드로 변경된 것을 채용할 수 있다.

스텝 S52에 있어서, 감시 상태 이행 조건이 만족된다고 판정된 경우, 즉, 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드로부터 통상 지연 모드로 변경된 경우, 처리는, 스텝 S53으로 진행한다.

스텝 S53에서는, 수신 장치 버퍼 감시부(52)는, 동작 상태가 통상 상태인 경우에는, 동작 상태를 통상 상태로부터 감시 상태로 이행하여, 수신 버퍼 상황의 감시를 개시하고, 처리는, 스텝 S54로 진행한다.

스텝 S54에서는, 수신 장치 버퍼 감시부(52)는, 수신 버퍼 상황으로부터, 재생 가능 프레임 수를 산출하고, 처리는, 스텝 S55로 진행한다.

스텝 S55에서는, 수신 장치 버퍼 감시부(52)는, 재생 가능 프레임 수가, 소리 끊김이 발생하기 어려운 값으로서 미리 결정된 역치(예를 들어, 통상 지연 모드의 축적량의 기준값 등) 미만인지 여부를 판정한다.

스텝 S55에 있어서, 재생 가능 프레임 수가, 역치 미만이 아니라고 판정된 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있는 경우, 처리는, 스텝 S59로 진행한다.

또한, 스텝 S55에 있어서, 재생 가능 프레임 수가, 역치 미만이라고 판정된 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우, 처리는, 스텝 S56으로 진행한다.

스텝 S56에서는, 수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 최신의 지연 제어 정보를, 저지연 모드를 나타내는 지연 제어 정보로 설정(변경)하여, 압축률 제어부(53)에 공급하고, 처리는, 스텝 S60으로 진행한다.

한편, 스텝 S52에 있어서, 감시 상태 이행 조건이 만족되지 않는다고 판정된 경우, 즉, 데이터 생성부(51)로부터 수신 장치 버퍼 감시부(52)로 공급된 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드로부터 통상 지연 모드로 변경되어 있지 않은 경우, 처리는, 스텝 S57로 진행한다.

스텝 S57에서는, 수신 장치 버퍼 감시부(52)는, 동작 상태가 감시 상태인지 여부를 판정한다.

스텝 S57에 있어서, 동작 상태가 감시 상태가 아니라고 판정된 경우, 즉, 동작 상태가 통상 상태인 경우, 수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 지연 제어 정보를, 압축률 제어부(53)로 공급하고, 처리는, 스텝 S58 및 S59를 스킵하고, 스텝 S60으로 진행한다.

또한, 스텝 S57에 있어서, 동작 상태가 감시 상태라고 판정된 경우, 처리는, 스텝 S58로 진행한다.

스텝 S58에서는, 수신 장치 버퍼 감시부(52)는, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행하는 감시 상태 해제 조건을 만족시키는지 여부를 판정한다. 여기서, 감시 상태 해제 조건으로서는, 예를 들어 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드로부터 저지연 모드로 변경된 것을 채용할 수 있다.

스텝 S58에 있어서, 감시 상태 해제 조건이 만족되지 않는다고 판정된 경우, 즉, 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드로부터 저지연 모드로 변경되어 있지 않은 경우, 처리는, 스텝 S54로 진행하여, 이하, 상술한 처리가 행해진다.

또한, 스텝 S58에 있어서, 감시 상태 해제 조건이 만족된다고 판정된 경우, 처리는, 스텝 S59로 진행하여, 수신 장치 버퍼 감시부(52)는, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행한다. 또한, 수신 장치 버퍼 감시부(52)는, 데이터 생성부(51)로부터의 지연 제어 정보를, 압축률 제어부(53)로 공급하고, 처리는, 스텝 S59로부터 스텝 S60으로 진행한다.

스텝 S60에서는, 압축률 제어부(53)는, 수신 장치 버퍼 감시부(52)로부터 압축률 제어부(53)로 공급되는 지연 제어 정보에 따라, 그 지연 제어 정보가 나타내는 지연 모드의 압축률 후보를, 압축률의 제어에 사용하는 압축률 후보인 주목 압축률 후보로 설정하고, 처리는, 스텝 S61로 진행한다.

스텝 S61에서는, 압축률 제어부(53)는, 주목 압축률 후보 중에서, 버퍼(33)의 축적량에 따라, 압축률을 선택하여, 데이터 생성부(51)에 공급함으로써, 데이터 생성부(51)의 압축률을 제어하고, 처리는, 스텝 S62로 진행한다.

스텝 S62에서는, 데이터 생성부(51)는, 도 2의 스텝 S11과 마찬가지로, 공급 장치(11)로부터 공급되는 음향 데이터로서의 LPCM 데이터를 프레임 단위로 부호화하고, 처리는, 스텝 S63으로 진행한다. 단, 스텝 S62에서는, 데이터 생성부(51)는, 직전의 스텝 S61에서 압축률 제어부(53)로부터 공급되는 압축률로 부호화를 행한다.

스텝 S63에서는, 데이터 생성부(51)는, 도 2의 스텝 S12와 마찬가지로, 직전에 부호화를 행한 음향 데이터의 프레임인 주목 프레임의 감지 특징량으로서의 SF나 토낼리티를 구하고, 처리는, 스텝 S64로 진행한다.

스텝 S64에서는, 데이터 생성부(51)는, 도 2의 스텝 S13과 마찬가지로, 주목 프레임의 감지 특징량과 역치를 비교하여, 그 비교 결과에 따라, 주목 프레임의 부호화 데이터에 대한 데이터 제어 정보를 생성한다. 그리고, 데이터 생성부(51)는, 데이터 제어 정보를, 수신 장치 버퍼 감시부(52)에 공급하고, 처리는, 스텝 S64로부터, 스텝 S65로 진행한다.

스텝 S65에서는, 수신 장치 버퍼 감시부(52)는, 직전에 행해진 스텝 S64에서, 데이터 생성부(51)로부터 공급된 데이터 제어 정보(플래그)를, 도시하지 않은FIFO에 기억시킴으로써, 데이터 제어 정보의 이력(플래그 정보)을 갱신하고, 처리는, 스텝 S66으로 진행한다.

또한, FIFO에, 그 FIFO의 용량분의 데이터 제어 정보가 기억되어 있는 경우, 수신 장치 버퍼 감시부(52)는, 가장 오래된 데이터 제어 정보를 FIFO로부터 삭제하고, 최신의 데이터 제어 정보를 FIFO에 기억시킨다. 수신 장치 버퍼 감시부(52)는, 동작 상태가 감시 상태인 경우에, FIFO에 기억된 데이터 제어 정보(의 이력)로부터, 수신 버퍼 상황을 인식한다.

스텝 S66 내지 S68에서는, 도 2의 스텝 S14 내지 S16의 경우와 각각 동일한 처리가 행해진다.

또한, 스텝 S51 내지 S68의 처리는, 필요에 따라, 파이프라인에서 행해진다.

이상과 같이, 도 5의 송신 장치(12)에서는, 도 2의 경우와 동일한 처리가 행해지는 것 외에, 지연 제어 정보(가 나타내는 지연 모드)에 따라, 주목 압축률 후보가 설정되고, 그 주목 압축률 후보를 사용하여, 버퍼(33)의 축적량에 따라, 압축률이 제어되므로, 수신 장치(21)에서의 음향 데이터의 지연 시간의 전환을, 무선 통신을 절단하지 않고, 용이하게 행할 수 있는 데다가, 지연 모드, 및 전송로의 상태에 따라, 압축률을 적절하게 제어하여, 소리 끊김이 발생하는 것을 억제함과 함께, 전송로의 상태가 양호한 경우에는, 출력 장치(22)로부터 출력되는 음향을 고음질로 할 수 있다.

또한, 도 5의 송신 장치(12)에서는, 버퍼(33)의 축적량을 전송로의 상태라고 간주하고, 그 전송로의 상태로서의 버퍼(33)의 축적량에 따라, 압축률을 적응적으로 제어하는 것으로 했지만, 압축률은, 그 밖에, 유저의 조작 등에 따라 제어하는 등의 다양한 베리에이션을 취할 수 있다.

또한, 상술한 경우에는, 수신 장치 버퍼 감시부(52)에 있어서, 데이터 제어 정보의 이력(계열)으로부터, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 추정하는 것으로 했지만, 그 밖에, 예를 들어 수신 장치(21)가, 패킷을 정상 수신할 수 있었는지 여부를 나타내는 메시지를, 송신 장치(12)로 무선 통신으로 되돌리는 경우에는, 수신 장치(21)로, 메시지와 함께, 수신 버퍼 상황(으로부터 얻어지는 재생 가능 프레임 수)을 송신시키고, 송신 장치(12)에서는, 수신 장치(21)로부터 송신되어 오는 수신 버퍼 상황을 사용하여, 상술한 경우와 동일한 처리를 행하는 등의, 다양한 베리에이션을 취할 수 있다.

<송신 장치(12) 및 수신 장치(21)의 제3 구성예>

도 7은, 도 1의 송신 장치(12) 및 수신 장치(21)의 제3 구성예를 도시하는 블록도다.

또한, 도면 중, 도 2 또는 도 5의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고, 이하에는, 그 설명은 적절히 생략한다.

도 7에 있어서, 송신 장치(12)는, 버퍼(33), 패킷화부(34), 통신부(35), 적응 지연 제어부(61), 지연 제어 정보 생성부(62), 데이터 생성부(63), 수신 장치 버퍼 감시부(64), 및 압축률 제어부(65)를 갖는다.

따라서, 도 7의 송신 장치(12)는, 버퍼(33), 패킷화부(34), 및 통신부(35)를 갖는 점에서, 도 5의 경우와 공통된다. 단, 도 7의 송신 장치(12)는, 적응 지연 제어부(61)가 새롭게 마련되어 있는 점, 그리고 지연 제어 정보 생성부(31), 데이터 생성부(51), 수신 장치 버퍼 감시부(52), 및 압축률 제어부(53) 대신에, 지연 제어 정보 생성부(62), 데이터 생성부(63), 수신 장치 버퍼 감시부(64), 및 압축률 제어부(65)가 각각 마련되어 있는 점에서, 도 5의 경우와 상이하다.

또한, 도 7에 있어서, 수신 장치(21)는, 통신부(41), 패킷 분해부(42), 지연 제어 정보 해석부(43), 버퍼(44), 데이터 출력부(46), LPCM 버퍼(47), 및 데이터 제어부(71)를 갖는다.

따라서, 도 7의 수신 장치(21)는, 통신부(41), 패킷 분해부(42), 지연 제어 정보 해석부(43), 버퍼(44), 데이터 출력부(46), 및 LPCM 버퍼(47)를 갖는 점에서, 도 2 및 도 5의 경우와 공통된다. 단, 도 7의 수신 장치(21)는, 데이터 제어부(45) 대신에, 데이터 제어부(71)가 마련되어 있는 점에서, 도 2 및 도 5의 경우와 상이하다.

도 7에서는, 송신 장치(12) 및 수신 장치(21)가, 도 5의 경우와 마찬가지로, 지연 시간을 제어함(전환함)과 함께, 송신 장치(12)가, 전송로의 상태(통신 상황)에 따라, 음향 데이터를 부호화할 때의 압축률을 적응적으로 제어하지만, 저지연 모드의 지연 시간으로서, 복수의 시간이 준비되어 있다.

즉, 도 2 및 도 5에서는, 저지연 모드의 지연 시간이, 미리 결정된 1개의 지연 시간인 것을 전제로 했지만, 도 7에서는, 저지연 모드의 지연 시간으로서, 복수의 시간, 예를 들어 3개의 시간이 준비되어 있다. 이하, 이 3개의 시간 각각을 지연 시간으로 하는 저지연 모드를, 저지연 모드 1, 2, 3이라고 기재한다. 저지연 모드 1, 2, 3의 순으로, 지연 시간이 짧은 시간으로 되는 것으로 한다.

도 7의 송신 장치(12)에서는, 지연 모드, 나아가서는, 지연 시간이, 전송로의 상태(통신 상황)를 나타내는 버퍼(33)의 축적량에 따라, 적응적으로 변화된다.

적응 지연 제어부(61)는, 간헐적으로, 버퍼(33)의 축적량을 취득하여, 그 버퍼(33)의 축적량(의 계열)에 따라, 저지연 모드 1 내지 3 중에서, 하나의 저지연 모드를 선택하여, 지연 제어 정보 생성부(62)에 공급한다. 여기서, 적응 지연 제어부(61)가 저지연 모드 1 내지 3 중에서 선택하는 저지연 모드를, 축적량 베이스의 저지연 모드라고도 한다.

지연 제어 정보 생성부(62)는, 도 2의 지연 제어 정보 생성부(62)와 마찬가지로, 거기에 공급되는 지연 모드의 전환의 요구에 따라, 저지연 모드 또는 통상 지연 모드를 나타내는 지연 제어 정보를 생성한다.

또한, 지연 제어 정보 생성부(62)는, 적응 지연 제어부(61)로부터 공급되는 축적량 베이스의 저지연 모드에 따라, 지연 제어 정보가 나타내는 지연 모드, 나아가서는 지연 시간을 변경한다.

즉, 예를 들어 지연 제어 정보 생성부(62)는, 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드인 경우, 그 통상 지연 모드를 나타내는 지연 제어 정보를, 그대로, 데이터 생성부(63)에 공급한다.

또한, 예를 들어 지연 제어 정보 생성부(62)는, 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드인 경우, 그 지연 제어 정보가 나타내는 저지연 모드를, 적응 지연 제어부(61)로부터 공급되는 축적량 베이스의 저지연 모드(저지연 모드 1, 2, 또는 3)로 변경하여(변화시켜), 그 변경 후의 지연 제어 정보를, 데이터 생성부(63)에 공급한다.

따라서, 도 7에서는, 지연 제어 정보 생성부(62)로부터 데이터 생성부(63)로 공급되는 지연 제어 정보가 나타내는 지연 모드에는, 통상 지연 모드와, 저지연 모드 1 내지 3의 4종류가 있다. 예를 들어, 통상 지연 모드 및 저지연 모드 1 내지 3은, 값 0, 1, 2, 3으로 각각 표현된다.

데이터 생성부(63)는, 도 5의 데이터 생성부(51)와 마찬가지로, 압축률 제어부(65)의 제어에 따른 압축률(압축률 제어부(65)로부터 공급되는 압축률)로, 공급 장치(11)로부터의 음향 데이터를 프레임마다 부호화한다.

또한, 데이터 생성부(63)는, 도 5의 데이터 생성부(51)와 마찬가지로, 부호화 데이터에 대응하는 음향 데이터의 프레임에 대하여, 감지 특징량에 기초하여, 데이터 제어 정보를 생성한다.

또한, 데이터 생성부(63)는, 도 5의 데이터 생성부(51)와 마찬가지로, 음향 데이터의 프레임의 부호화에 의해 얻어지는 부호화 데이터와, 그 프레임의 데이터 제어 정보, 및 그 프레임에 대한, 지연 제어 정보 생성부(62)로부터의 지연 제어 정보를 세트로 한 송신 대상 데이터를 생성하여, 버퍼(33)에 공급한다.

또한, 데이터 생성부(63)는, 도 5의 데이터 생성부(51)와 마찬가지로, 음향 데이터의 각 프레임의 데이터 제어 정보 및 지연 제어 정보를, 수신 장치 버퍼 감시부(64)에 공급한다.

또한, 데이터 생성부(63)는, 데이터 생성부(63)에서 취급하는 지연 제어 정보가, 통상 지연 모드 및 저지연 모드의 2종류의 지연 모드를 나타내는 지연 제어 정보가 아니라, 통상 지연 모드 및 3종류의 저지연 모드 1 내지 3을 나타내는 지연 제어 정보인 점이, 도 5의 데이터 생성부(51)와 상이하다.

수신 장치 버퍼 감시부(64)는, 도 5의 수신 장치 버퍼 감시부(52)와 마찬가지로, 데이터 생성부(63)로부터의 데이터 제어 정보로부터, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 추정하고, 그 수신 버퍼 상황을 감시한다.

즉, 수신 장치 버퍼 감시부(64)는, 데이터 생성부(63)로부터의 데이터 제어 정보를 순차 기억함으로써, 최신의 일정 수의 데이터 제어 정보를 기억한다.

수신 장치 버퍼 감시부(64)는, 데이터 생성부(63)로부터의 최신의 지연 제어 정보가 나타내는 지연 모드와, 전회의 지연 제어 정보가 나타내는 지연 모드를 비교하여, 그 비교 결과와 수신 버퍼 상황에 따라, 통상 지연 모드, 저지연 모드 1, 2, 또는 3을 나타내는 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

구체적으로는, 최신의 지연 제어 정보가 나타내는 지연 모드가, 전회의 지연 제어 정보가 나타내는 지연 모드로부터 변경되어 있지 않고, 또한 수신 장치 버퍼 감시부(64)의 동작 상태가 통상 상태인 경우, 수신 장치 버퍼 감시부(64)는, 최신의 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드(저지연 모드 1 내지 3의 어느 것)이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드인 경우, 즉, 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된(변화된) 경우, 수신 장치 버퍼 감시부(64)는, 최신의 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

최신의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드인 경우, 즉, 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 또는 최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드 #i이고, 전회의 지연 제어 정보가 나타내는 지연 모드가, 지연 시간이 더 짧은 저지연 모드 #j인 경우(j>i), 즉, 지연 모드가 저지연 모드 #j로부터, 지연 시간이 더 긴 저지연 모드 #i로 변경된 경우, 수신 장치 버퍼 감시부(64)는, 동작 상태를 감시 상태로 이행한다.

감시 상태에서는, 수신 장치 버퍼 감시부(64)는, 도 5의 수신 장치 버퍼 감시부(52)와 마찬가지로, 기억하고 있는 데이터 제어 정보의 계열(이력)로부터, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 추정하고, 그 수신 버퍼 상황을 감시한다. 그리고, 수신 장치 버퍼 감시부(64)는, 수신 버퍼 상황으로부터, 수신 장치(21)의 버퍼(44)에 기억되어 있는 부호화 데이터에 대하여, 데이터 제어 정보에 기초하는 복제(삽입)를 행한 경우에, 재생 가능한 프레임의 수인 재생 가능 프레임 수를 산출한다.

또한, 수신 장치 버퍼 감시부(64)는, 재생 가능 프레임 수를, 소리 끊김이 발생하기 어려운 값으로서 미리 결정된 역치와 비교한다.

수신 장치 버퍼 감시부(64)가 재생 가능 프레임 수와 비교하는 역치로서는, 예를 들어 통상 지연 모드의 기준값 등의 고정의 값을 채용할 수도 있고, 최신의 지연 제어 정보가 나타내는 지연 모드에 대응하는 값을 채용할 수도 있다.

최신의 지연 제어 정보가 나타내는 지연 모드에 대응하는 값으로서는, 최신의 지연 제어 정보가 나타내는 지연 모드의(버퍼(44)의) 축적량의 기준값을 채용할 수 있다. 지연 모드의 축적량의 기준값이란, 그 지연 모드의 지연 시간으로서, 적절한 시간으로서 미리 결정된 시간분의 프레임 수이다.

수신 장치 버퍼 감시부(64)는, 감시 상태에 있어서, 재생 가능 프레임 수가 역치를 초과한 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있는 경우, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행하여, 최신의 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

한편, 감시 상태에 있어서, 재생 가능 프레임 수가 역치를 초과하고 있지 않은 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우, 수신 장치 버퍼 감시부(64)는, 동작 상태를 감시 상태 그대로 유지하여, 현재의 감시 상태로 이행하기 직전에 데이터 생성부(51)로부터 공급된 지연 제어 정보의 직전에 공급된 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

또한, 수신 장치 버퍼 감시부(64)는, 동작 상태가 감시 상태인 경우에, 최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드(저지연 모드 1 내지 3의 어느 것)이고, 전회의 지연 제어 정보가 나타내는 지연 모드가 통상 지연 모드였을 때, 즉, 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경되었을 때, 또는 최신의 지연 제어 정보가 나타내는 지연 모드가 저지연 모드 #j'이고, 전회의 지연 제어 정보가 나타내는 지연 모드가, 지연 시간이 더 긴 저지연 모드 #i'인 경우(j'>i'), 즉, 지연 모드가 저지연 모드 #i'으로부터, 지연 시간이 더 짧은 저지연 모드 #j'으로 변경되었을 때, 감시 상태를 해제하여, 동작 상태를 통상 상태로 이행하고, 최신의 지연 제어 정보를, 압축률 제어부(65)에 공급한다.

수신 장치 버퍼 감시부(64)에 있어서, 이상의 처리가 행해짐으로써, 도 5의 수신 장치 버퍼 감시부(52)의 경우와 마찬가지로, 지연 모드가, 저지연 모드로부터 통상 지연 모드로 변경된 직후나, 저지연 모드 #j로부터 지연 시간이 더 긴 저지연 모드 #i로 변경된 경우에, 수신 장치(21)의 버퍼(44)의 축적량이 작아지는(지연 시간이 작아지는) 것에 기인하여 소리 끊김이 발생하는 것을 억제할 수 있다.

또한, 수신 장치 버퍼 감시부(64)에서도, 도 5의 수신 장치 버퍼 감시부(52)로 설명한 경우와 마찬가지로, 지연 모드가 저지연 모드로부터 통상 지연 모드로 변경된 경우, 또는, 저지연 모드 #j로부터 지연 시간이 더 긴 저지연 모드 #i로 변경된 경우에, 수신 장치(21)의 버퍼(44)의 수신 버퍼 상황을 감시하는 감시 상태로 되는 것 외에, 지연 모드가 통상 지연 모드로부터 저지연 모드로 변경된 경우, 또는 저지연 모드 #i로부터 지연 시간이 더 짧은 저지연 모드 #j로 변경된 경우에도, 감시 상태로 될 수 있다.

압축률 제어부(65)는, 도 5의 압축률 제어부(53)와 마찬가지로, 버퍼(33)의 축적량을 간헐적으로 취득하여, 그 버퍼(33)의 축적량과, 수신 장치 버퍼 감시부(64)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드에 따라, 압축률을 구하여, 데이터 생성부(63)에 공급한다.

단, 수신 장치 버퍼 감시부(64)로부터 압축률 제어부(65)로 공급되는 지연 제어 정보가 나타내는 지연 모드에는, 저지연 모드에 대하여, 저지연 모드 1 내지 3이 있고, 압축률 제어부(65)는, 저지연 모드에 대해서는, 저지연 모드 1 내지 3을 취급한다. 압축률 제어부(65)는, 이와 같이, 저지연 모드에 대해서는, 저지연 모드 1 내지 3을 취급하는 점이, 저지연 모드 1 내지 3을 취급하지 않는 도 5의 압축률 제어부(53)와 상이하다.

그 때문에, 압축률 제어부(65)에 있어서는, 예를 들어 압축률 후보가, 통상 지연 모드, 및 저지연 모드 1 내지 3의 각각에 대하여 준비되어 있다.

압축률 제어부(65)는, 수신 장치 버퍼 감시부(64)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드의 압축률 후보 중에서, 버퍼(33)의 축적량(의 계열)에 따라, 압축률을 선택함으로써 구하여, 데이터 생성부(63)에 공급한다.

버퍼(33)의 축적량에 따른 압축률의 선택은, 도 5의 압축률 제어부(53)의 경우와 마찬가지로, 일본 특허 공개 제2016-208215호 공보에 기재되어 있는 기술과 마찬가지로 행할 수 있다. 즉, 예를 들어 버퍼(33)의 축적량이 역치보다 큰 경우나, 증가 경향이 있는 경우에는, 현재의 압축률보다도 높은 압축률이 선택된다. 또한, 예를 들어 버퍼(33)의 축적량이 감소 경향이 있어, 역치 이하의 작은 값이 계속된 경우에는, 현재의 압축률보다도 낮은 압축률이 선택된다.

여기서, 수신 장치 버퍼 감시부(64)로부터 압축률 제어부(65)로 공급되는 지연 제어 정보가 나타내는 지연 모드가 변경된 직후에 있어서는, 압축률 제어부(65)는, 도 5의 압축률 제어부(53)의 경우와 마찬가지로, 변경 후의 지연 모드의 압축률 후보 중에서 압축률을 선택할 수 있다. 즉, 압축률 제어부(65)는, 예를 들어 변경 후의 지연 모드의 압축률 후보 중에서, 지연 모드의 변경 직전의 압축률에 가까운 압축률 후보를, 압축률로 선택할 수 있다. 또한, 압축률 제어부(65)는, 예를 들어 변경 후의 지연 모드의 압축률 후보 중에서, 지연 모드의 변경 직전의 압축률의 경우와 상술한 성공 확률이 가까운 압축률 후보를, 압축률로 선택할 수 있다.

또한, 수신 장치 버퍼 감시부(64)로부터 압축률 제어부(65)로 공급되는 지연 제어 정보가 나타내는 지연 모드의 변경이, 현재의 지연 모드의 지연 시간에 비해 짧은 지연 시간인 지연 모드로의 변경인 경우에는, 소리 끊김이 발생하는 것을 억제하기 위해, 압축률 제어부(65)에 있어서, 변경 후의 지연 모드의 지연 시간이 짧을수록, 데이터 생성부(63)에 공급되는 압축률이, 빠르게, 고압축률로 되도록, 압축률의 제어를 전환하는 것이 바람직하다.

수신 장치(21)의 데이터 제어부(71)는, 도 2 및 도 5의 데이터 제어부(45)와 마찬가지로, 지연 제어 정보 해석부(43)로부터 공급되는 지연 제어 정보 및 데이터 제어 정보, 그리고 버퍼(44)의 축적량에 따라, 버퍼(44)에 기억된 부호화 데이터의 삽입이나 파기, 통상 판독을, 그 부호화 데이터의 사용 방법의 제어로서 행한다.

또한, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드에는, 저지연 모드에 대하여, 저지연 모드 1 내지 3이 있고, 데이터 제어부(71)는, 저지연 모드에 대해서는, 저지연 모드 1 내지 3을 취급한다. 데이터 제어부(71)는, 이와 같이, 저지연 모드에 대해서는, 저지연 모드 1 내지 3을 취급하는 점이, 저지연 모드 1 내지 3을 취급하지 않는 도 2 및 도 5의 데이터 제어부(45)와 상이하다.

<적응 지연 제어부(61)의 처리>

도 8은, 도 7의 적응 지연 제어부(61)의 처리예를 설명하는 도면이다.

적응 지연 제어부(61)는, 버퍼(33)의 축적량(의 계열)에 따라, 저지연 모드 1 내지 3 중에서, 축적량 베이스의 저지연 모드(로 하는 저지연 모드)를 선택한다.

도 8은, 적응 지연 제어부(61)가, 버퍼(33)의 축적량에 따라, 저지연 모드 1 내지 3 중에서, 축적량 베이스의 저지연 모드를 선택하는 선택 방법의 예를 도시하고 있다.

즉, 도 8은, 현재의 축적량 베이스의 저지연 모드(이하, 현재 저지연 모드라고도 함)와, 현재 저지연 모드에 있어서, 다음 축적량 베이스의 저지연 모드를 선택할 때, 버퍼(33)의 축적량(버퍼 상태)의 통계 정보로서의, 예를 들어 0.5초간의 축적량의 이동 평균값과 비교하는 역치 A 및 B를 도시하고 있다.

도 8에서는, 저지연 모드 1의 역치 A 및 B는, 각각 0 및 1.5로 되어 있다. 또한, 저지연 모드 2의 역치 A 및 B는, 각각 0 및 1.0으로 되어 있고, 저지연 모드 3의 역치 A 및 B는, 각각 0 및 0.5로 되어 있다.

적응 지연 제어부(61)는, 버퍼(33)의 축적량의 통계 정보로서, 버퍼(33)의 축적량의 0.5초간의 이동 평균값을 산출한다. 또한, 이동 평균값을 취하는 시간은, 0.5초에 한정되는 것은 아니다.

적응 지연 제어부(61)는, 버퍼(33)의 축적량의 이동 평균값과, 현재 저지연 모드의 역치 A 및 B를 비교하여, 버퍼(33)의 축적량의 이동 평균값이 역치 A 이하인 경우에는, 현재 저지연 모드보다도 지연 시간이 한 단계 짧은 저지연 모드 #x를, 다음 축적량 베이스의 저지연 모드로 선택한다. 즉, 축적량 베이스의 저지연 모드는, 현재 저지연 모드보다도 지연 시간이 한 단계 짧은 저지연 모드 #x로 전환된다.

따라서, 예를 들어 현재 저지연 모드가 저지연 모드 2이고, 버퍼(33)의 축적량의 이동 평균값이, 역치 A＝0 이하인 경우, 즉, 버퍼(33)가 비어있음을 나타내는 0인 경우, 저지연 모드 2보다도 지연 시간이 한 단계 짧은 저지연 모드 3이, 다음 축적량 베이스의 저지연 모드로 선택된다.

또한, 버퍼(33)의 축적량의 이동 평균값이 역치 B 이상인 경우에는, 현재 저지연 모드보다도 지연 시간이 한 단계 긴 저지연 모드 #y가, 다음 축적량 베이스의 저지연 모드로 선택된다. 즉, 축적량 베이스의 저지연 모드는, 현재 저지연 모드보다도 지연 시간이 한 단계 긴 저지연 모드 #y로 전환된다.

따라서, 예를 들어 현재 저지연 모드가 저지연 모드 2이고, 버퍼(33)의 축적량의 이동 평균값이, 역치 B＝1.0 이상인 경우, 저지연 모드 2보다도 지연 시간이 한 단계 긴 저지연 모드 1이, 다음 축적량 베이스의 저지연 모드로 선택된다.

한편, 버퍼(33)의 축적량의 이동 평균값이 역치 A보다 크고, 역치 B보다 작은 경우에는, 현재 저지연 모드가, 다음 축적량 베이스의 저지연 모드로 선택된다. 즉, 현재 저지연 모드가, 그대로 유지된다.

또한, 도 8에서는, 저지연 모드 3의 역치 A가 0으로 되어 있지만, 여기서는, 저지연 모드 3보다 지연 시간이 짧은 저지연 모드는 존재하지 않기 때문에, 현재 저지연 모드가 저지연 모드 3인 경우에, 버퍼(33)의 축적량의 이동 평균값이, 저지연 모드 3의 역치 A＝0 이하라도, 현재 저지연 모드인 저지연 모드 3이, 축적량 베이스의 저지연 모드로서, 그대로 유지된다.

또한, 도 8에서는, 저지연 모드 1의 역치 B가 1.5로 되어 있지만, 여기서는, 저지연 모드 1보다 지연 시간이 긴 저지연 모드는 존재하지 않기 때문에, 현재 저지연 모드가 저지연 모드 1인 경우에, 버퍼(33)의 축적량의 이동 평균값이, 저지연 모드 1의 역치 B＝1.5 이상이라도, 현재 저지연 모드인 저지연 모드 1이, 축적량 베이스의 저지연 모드로서, 그대로 유지된다.

단, 현재 저지연 모드가 저지연 모드 1인 경우에, 버퍼(33)의 축적량의 이동 평균값이, 저지연 모드 1의 역치 B＝1.5 이상일 때는, 적응 지연 제어부(61)는, 축적량 베이스의 저지연 모드로서, 현재 저지연 모드인 저지연 모드 1보다 지연 시간이 긴 통상 지연 모드를 선택하여, 지연 제어 정보 생성부(62)에 공급할 수 있다.

이 경우, 지연 제어 정보 생성부(62)는, 거기에 공급되는 지연 모드의 전환 요구에 관계없이, 적응 지연 제어부(61)로부터의 통상 지연 모드를 나타내는 지연의 제어 정보를, 데이터 생성부(63)에 공급한다.

<압축률 제어부(65)의 처리>

도 9는, 도 7의 압축률 제어부(65)의 처리의 예를 설명하는 도면이다.

압축률 제어부(65)는, 수신 장치 버퍼 감시부(64)로부터 공급되는 지연 제어 정보가 나타내는 지연 모드의 압축률 후보 중에서, 버퍼(33)의 축적량(의 계열)에 따라, 압축률을 선택한다.

도 9는, 압축률 제어부(65)가, 통상 지연 모드, 및 저지연 모드 1 내지 3의 각각에 있어서, 압축률을 선택하는 선택 기준 A 및 B와, 통상 지연 모드 및 저지연 모드 1 내지 3 각각의 압축률 후보의 예를 도시하고 있다.

선택 기준 A 및 B로서는, 버퍼(33)의 축적량을 관측하는 관측 시간과, 그 관측 시간의 버퍼(33)의 축적량의 이동 평균값과 비교하는 역치가 있다.

선택 기준 A가 만족되는 경우, 즉, 선택 기준 A의 관측 시간의 버퍼(33)의 축적량의 이동 평균값이, 선택 기준 A의 역치 이하인 경우, 현재의 지연 모드의 압축률 후보 중에서, 현재의 압축률보다도 한 단계 낮은(작은) 압축률 후보가, 새로운 압축률로서 선택된다.

선택 기준 B가 만족되는 경우, 즉, 선택 기준 B의 관측 시간의 버퍼(33)의 축적량의 이동 평균값이, 선택 기준 B의 역치 이상인 경우, 현재의 지연 모드의 압축률 후보 중에서, 현재의 압축률보다도 한 단계 높은 압축률 후보가, 새로운 압축률로서 선택된다.

선택 기준 A 및 B 모두 만족되지 않는 경우, 현재의 압축률이 유지된다.

도 9에 있어서, 예를 들어 통상 지연 모드에 대해서는, 선택 기준 A로서의 관측 시간 및 역치가, 각각, 1초 및 0으로 되어 있고, 선택 기준 B로서의 관측 시간 및 역치가, 각각, 1초 및 0과 동등하지 않은 값으로 되어 있다. 또한, 통상 지연 모드의 압축률 후보는, 1/4을 최소 압축률로 하는 복수의 압축률 {1/4, 1/5, 1/6, …}로 되어 있다.

따라서, 수신 장치 버퍼 감시부(64)로부터 압축률 제어부(65)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드인 경우, 버퍼(33)의 축적량의 1초간의 관측 시간의 이동 평균값이, 통상 지연 모드의 선택 기준 A의 역치 0 이하일 때, 즉, 전송로의 상태가 양호할 때는, 통상 지연 모드의 압축률 후보 {1/4, 1/5, 1/6, …} 중에서, 현재의 압축률보다도 한 단계 낮은 압축률 후보가, 새로운 압축률로서 선택된다. 예를 들어, 현재의 압축률이, 통상 지연 모드의 압축률 후보 {1/4, 1/5, 1/6, …} 중 1/5인 경우, 현재의 압축률 1/5보다도 한 단계 낮은 압축률 후보 1/4이, 새로운 압축률로서 선택된다.

또한, 버퍼(33)의 축적량의 1초간의 관측 시간의 이동 평균값이, 통상 지연 모드의 선택 기준 B의 역치 0 이외(0보다 큼)일 때, 즉, 전송로의 상태가 양호하지 않을 때는, 통상 지연 모드의 압축률 후보 {1/4, 1/5, 1/6, …} 중에서, 현재의 압축률보다도 한 단계 높은 압축률 후보가, 새로운 압축률로서 선택된다. 예를 들어, 현재의 압축률이, 통상 지연 모드의 압축률 후보 {1/4, 1/5, 1/6, …} 중 1/5인 경우, 현재의 압축률 1/5보다도 한 단계 높은 압축률 후보 1/6이, 새로운 압축률로서 선택된다.

도 9에 의하면, 지연 모드마다, 이동 평균값을 구하는 데 사용하는 버퍼(33)의 축적량의 관측 시간이 설정되어 있고, 따라서, 압축률 제어부(65)는, 지연 제어 정보(가 나타내는 지연 모드)에 따라, 이동 평균값을 구하는 데 사용하는 버퍼(33)의 축적량의 관측 시간을 변경하고 있다고 할 수 있다.

또한, 도 9의 최소 압축률은, 데이터 생성부(63)에서 부호화할 대상의 음향 데이터로서, CD(Compact Disc)에 기록될 음향 데이터(샘플링 주파수 44.1㎑, 음향 데이터의 비트수 16bit)를 채용하는 경우의 예이다. 데이터 생성부(63)에서 부호화할 대상의 음향 데이터로서, 데이터양이 더 큰 음향 데이터, 예를 들어 소위 하이 레졸루션의 음향 데이터를 채용하는 경우에는, CD에 기록될 음향 데이터를 전송하는 경우와 동일 정도의 사이즈의 부호화 데이터가 얻어지도록, 최소 압축률로서는(나아가서는, 압축률 후보도), 도 9의 경우보다도 높은 압축률이 채용된다.

<데이터 제어부(71)의 처리>

도 10은, 도 7의 데이터 제어부(71)의 처리의 예를 설명하는 도면이다.

데이터 제어부(71)는, 지연 제어 정보 해석부(43)로부터 공급되는 지연 제어 정보 및 데이터 제어 정보, 그리고 버퍼(44)의 축적량에 따라, 버퍼(44)에 기억된 부호화 데이터의 삽입이나 파기, 통상 판독을 제어한다.

지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드에는, 통상 지연 모드, 및 저지연 모드 1 내지 3이 있고, 도 10은, 통상 지연 모드 및 저지연 모드 1 내지 3의(버퍼(44)의) 축적량의 하한 역치 A 및 상한 역치 B, 그리고 기준값(각 지연 모드의 지연 시간으로서, 적절한 시간으로서 미리 결정된 시간분의 프레임 수)으로서의 프레임 수의 예를 도시하고 있다.

여기서, 데이터 제어부(71)에 있어서, 하한 역치 A 및 상한 역치 B는, 버퍼(44)의 축적량의, 예를 들어 1초간 등의 소정의 시간의 이동 평균값과 비교되는 것으로 한다.

예를 들어, 지금, 어느 일정 기간, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드라고 하자.

이 경우, 데이터 제어부(71)는, 버퍼(44)의 축적량의 1초간의 이동 평균값이, 통상 지연 모드의 축적량의 하한 역치 A＝40 이상이고 상한 역치 B＝69 이하인 경우에는, 버퍼(44)에 기억된 가장 오래된 1프레임분의 부호화 데이터의 통상 판독을 행한다.

또한, 버퍼(44)의 축적량의 1초간의 이동 평균값이, 통상 지연 모드의 축적량의 상한 역치 B＝69보다 큰 경우, 버퍼(44)의 축적량을 감소시키기 위해, 데이터 제어부(71)는, 도 2 및 도 5의 데이터 제어부(45)와 마찬가지로, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 파기한다.

또한, 버퍼(44)의 축적량의 1초간의 이동 평균값이, 통상 지연 모드의 축적량의 하한 역치 A＝40보다 작은 경우, 버퍼(44)의 축적량을 증가시키기 위해, 데이터 제어부(71)는, 도 2 및 도 5의 데이터 제어부(45)와 마찬가지로, 버퍼(44)에 기억된 부호화 데이터를, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 복제(삽입)한다.

이상에 의해, 통상 지연 모드에서는, 버퍼(44)의 축적량은, 통상 지연 모드의 축적량의 기준값인 64(프레임) 부근의 값으로 된다.

그 후, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 예를 들어 통상 지연 모드로부터 저지연 모드 2로 변화되면, 데이터 제어부(71)는, 버퍼(44)의 축적량의 1초간의 이동 평균값과 비교하는 하한 역치 A 및 상한 역치 B를, 저지연 모드 2의 축적량의 하한 역치 A＝16 및 상한 역치 B＝20으로 전환한다.

지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드로부터 저지연 모드 2로 변화된 직후에 있어서는, 버퍼(44)의 축적량은, 통상 지연 모드의 축적량의 기준값인 64 부근의 값으로 되어 있다.

따라서, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드로부터 저지연 모드 2로 변화된 직후에 있어서는, 버퍼(44)의 축적량의 1초간의 이동 평균값(64 부근)은, 저지연 모드 2의 축적량의 상한 역치 B＝20보다 크게 되어 있다. 그 때문에, 데이터 제어부(71)에서는, 버퍼(44)의 축적량을 감소시키기 위해, 버퍼(44)에 기억된 부호화 데이터가, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 파기된다. 부호화 데이터의 파기는, 버퍼(44)의 축적량이 저지연 모드 2의 축적량의 기준값인 18로 될 때까지 속행된다.

그 후, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 예를 들어 저지연 모드 2로부터 통상 지연 모드로 변화되면, 데이터 제어부(71)는, 버퍼(44)의 축적량의 1초간의 이동 평균값과 비교하는 하한 역치 A 및 상한 역치 B를, 통상 지연 모드의 축적량의 하한 역치 A＝40 및 상한 역치 B＝69로 전환한다.

지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드 2로부터 통상 지연 모드로 변화된 직후에 있어서는, 버퍼(44)의 축적량은, 저지연 모드 2의 축적량의 기준값인 18 부근의 값으로 되어 있다.

따라서, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드 2로부터 통상 지연 모드로 변화된 직후에 있어서는, 버퍼(44)의 축적량의 1초간의 이동 평균값(18 부근)은, 통상 지연 모드의 축적량의 하한 역치 A＝40보다 작게 되어 있다. 그 때문에, 데이터 제어부(71)에서는, 버퍼(44)의 축적량을 증가시키기 위해, 버퍼(44)에 기억된 부호화 데이터가, 그 부호화 데이터의 데이터 제어 정보에 따라, 프레임 단위로 복제(삽입)된다. 부호화 데이터의 복제는, 버퍼(44)의 축적량이 통상 지연 모드의 축적량의 기준값인 64로 될 때까지 속행된다.

<송신 처리>

도 11은, 도 7의 송신 장치(12)가 행하는, 음향 데이터를 송신하는 송신 처리의 예를 설명하는 흐름도다.

스텝 S81에 있어서, 적응 지연 제어부(61)는, 버퍼(33)의 축적량에 따라, 저지연 모드 1 내지 3 중에서, 축적량 베이스의 저지연 모드를 선택하여, 지연 제어 정보 생성부(62)에 공급하고, 처리는, 스텝 S82로 진행한다.

여기서, 지연 제어 정보 생성부(62)는, 거기에 공급되는 지연 모드의 전환의 요구에 따라, 저지연 모드 또는 통상 지연 모드를 나타내는 지연 제어 정보를 생성한다.

그리고, 지연 제어 정보 생성부(62)는, 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드인 경우, 그 통상 지연 모드를 나타내는 지연 제어 정보를, 그대로, 데이터 생성부(63)에 공급한다. 또한, 지연 제어 정보 생성부(62)는, 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드인 경우, 그 지연 제어 정보가 나타내는 저지연 모드를, 적응 지연 제어부(61)로부터 공급되는 축적량 베이스의 저지연 모드(저지연 모드 1, 2, 또는 3)로 변경하고, 그 변경 후의 지연 제어 정보를, 데이터 생성부(63)에 공급한다. 데이터 생성부(63)는, 지연 제어 정보 생성부(62)로부터의 지연 제어 정보를, 수신 장치 버퍼 감시부(64)로 공급한다.

스텝 S82에 있어서, 수신 장치 버퍼 감시부(64)는, 도 6의 스텝 S51과 마찬가지로, 데이터 생성부(63)로부터 공급되는 최신의 지연 제어 정보가 나타내는 지연 모드가, 전회의 지연 제어 정보가 나타내는 지연 모드로부터 변경되었는지 여부, 즉 지연 모드의 변경이 있었는지 여부를 확인하고, 처리는, 스텝 S83으로 진행한다.

스텝 S83에서는, 수신 장치 버퍼 감시부(64)는, 지연 모드의 변경이, 동작 상태를 감시 상태로 이행하는 감시 상태 이행 조건을 만족시키는지 여부를 판정한다. 여기서, 스텝 S83의 감시 상태 이행 조건으로서는, 지연 제어 정보가 나타내는 지연 모드가, 저지연 모드로부터 통상 지연 모드로 변경된 것, 및 저지연 모드 #j로부터, 지연 시간이 더 긴 저지연 모드 #i로 변경된 것(j>i)을 채용할 수 있다.

스텝 S83에 있어서, 감시 상태 이행 조건이 만족된다고 판정된 경우, 처리는, 스텝 S84로 진행한다.

스텝 S84에서는, 수신 장치 버퍼 감시부(64)는, 도 6의 스텝 S53과 마찬가지로, 동작 상태가 통상 상태인 경우에는, 동작 상태를 통상 상태로부터 감시 상태로 이행하여, 수신 버퍼 상황의 감시를 개시하고, 처리는, 스텝 S85로 진행한다.

스텝 S85에서는, 수신 장치 버퍼 감시부(64)는, 도 6의 스텝 S54와 마찬가지로, 수신 버퍼 상황으로부터, 재생 가능 프레임 수를 산출하고, 처리는, 스텝 S86으로 진행한다.

스텝 S86에서는, 수신 장치 버퍼 감시부(64)는, 재생 가능 프레임 수가, 소리 끊김이 발생하기 어려운 값으로서 미리 결정된 역치 미만인지 여부를 판정한다. 여기서, 스텝 S86의 판정의 역치로서는, 데이터 생성부(63)로부터 수신 장치 버퍼 감시부(64)로 공급되는 지연 제어 정보가 나타내는 지연 모드마다 상이한 값, 즉, 예를 들어 그 지연 모드의 축적량의 기준값(도 10)을 채용하는 것으로 한다.

스텝 S86에 있어서, 재생 가능 프레임 수가, 역치 미만이 아니라고 판정된 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있는 경우, 처리는, 스텝 S90으로 진행한다.

또한, 스텝 S86에 있어서, 재생 가능 프레임 수가, 역치 미만이라고 판정된 경우, 즉, 수신 버퍼 상황이 소리 끊김이 발생하기 어려운 상황으로 되어 있지 않은 경우, 처리는, 스텝 S87로 진행한다.

스텝 S87에서는, 수신 장치 버퍼 감시부(64)는, 데이터 생성부(63)로부터의 최신의 지연 제어 정보를, 감시 상태로 되기 직전에, 데이터 생성부(63)로부터 공급된 지연 제어 정보의 직전에 공급된 지연 제어 정보로 설정(변경)하여, 압축률 제어부(65)로 공급하고, 처리는, 스텝 S91로 진행한다.

한편, 스텝 S83에 있어서, 감시 상태 이행 조건이 만족되지 않는다고 판정된 경우, 처리는, 스텝 S88로 진행한다.

스텝 S88에서는, 수신 장치 버퍼 감시부(64)는, 도 6의 스텝 S57과 마찬가지로, 동작 상태가 감시 상태인지 여부를 판정한다.

스텝 S88에 있어서, 동작 상태가 감시 상태가 아니라고 판정된 경우, 즉, 동작 상태가 통상 상태인 경우, 수신 장치 버퍼 감시부(64)는, 데이터 생성부(63)로부터의 지연 제어 정보를, 압축률 제어부(65)로 공급하고, 처리는, 스텝 S89 및 S90을 스킵하고, 스텝 S91로 진행한다.

또한, 스텝 S88에 있어서, 동작 상태가 감시 상태라고 판정된 경우, 처리는, 스텝 S89로 진행한다.

스텝 S89에서는, 수신 장치 버퍼 감시부(64)는, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행하는 감시 상태 해제 조건을 만족시키는지 여부를 판정한다. 여기서, 스텝 S89의 감시 상태 해제 조건으로서는, 지연 제어 정보가 나타내는 지연 모드가, 통상 지연 모드로부터 저지연 모드(1 내지 3의 어느 것)로 변경된 것, 및 저지연 모드 #i'으로부터, 지연 시간이 더 짧은 저지연 모드 #j'으로 변경된 것(j'>i')을 채용할 수 있다.

스텝 S89에 있어서, 감시 상태 해제 조건이 만족되지 않는다고 판정된 경우, 처리는, 스텝 S85로 진행하고, 이하, 상술한 처리가 행해진다.

또한, 스텝 S89에 있어서, 감시 상태 해제 조건이 만족된다고 판정된 경우, 처리는, 스텝 S90으로 진행하고, 수신 장치 버퍼 감시부(64)는, 감시 상태를 해제하고, 동작 상태를 통상 상태로 이행한다. 또한, 수신 장치 버퍼 감시부(64)는, 데이터 생성부(63)로부터의 최신의 지연 제어 정보를, 압축률 제어부(65)로 공급하고, 처리는, 스텝 S90으로부터 스텝 S91로 진행한다.

스텝 S91에서는, 압축률 제어부(65)는, 수신 장치 버퍼 감시부(64)로부터 압축률 제어부(65)로 공급되는 지연 제어 정보에 따라, 그 지연 제어 정보가 나타내는 지연 모드의 압축률 후보를, 압축률의 제어에 사용하는 압축률 후보인 주목 압축률 후보로 설정하고, 즉, 통상 지연 모드, 및 저지연 모드 1 내지 3 중 어느 압축률 후보를 주목 압축률 후보로 설정하고, 처리는, 스텝 S92로 진행한다.

스텝 S92에서는, 압축률 제어부(65)는, 통상 지연 모드, 및 저지연 모드 1 내지 3의 압축률 후보 중, 주목 압축률 후보 중에서, 버퍼(33)의 축적량에 따라, 도 9에서 설명한 바와 같이, 압축률을 선택하여, 데이터 생성부(63)에 공급함으로써, 데이터 생성부(63)의 압축률을 제어하고, 처리는, 스텝 S93으로 진행한다.

스텝 S93에서는, 데이터 생성부(63)는, 공급 장치(11)로부터 공급되는 음향 데이터의 프레임을, 압축률 제어부(65)로부터 공급되는 압축률로 부호화하고, 처리는, 스텝 S94로 진행한다.

스텝 S94에서는, 데이터 생성부(63)는, 도 2의 스텝 S12와 마찬가지로, 직전에 부호화를 행한 음향 데이터의 프레임인 주목 프레임의 감지 특징량으로서의 SF나 토낼리티를 구하고, 처리는, 스텝 S95로 진행한다.

스텝 S95에서는, 데이터 생성부(63)는, 도 2의 스텝 S13과 마찬가지로, 주목 프레임의 감지 특징량에 따라, 주목 프레임의 부호화 데이터에 대한 데이터 제어 정보를 생성한다. 그리고, 데이터 생성부(63)는, 데이터 제어 정보를, 수신 장치 버퍼 감시부(64)에 공급하고, 처리는, 스텝 S95로부터, 스텝 S96으로 진행한다.

스텝 S96에서는, 수신 장치 버퍼 감시부(64)는, 도 6의 스텝 S65와 마찬가지로, 직전에 행해진 스텝 S95에서, 데이터 생성부(63)로부터 공급된 데이터 제어 정보를, 도시하지 않은 FIFO에 기억시키고, 처리는, 스텝 S97로 진행한다.

스텝 S97 내지 S99에서는, 도 2의 스텝 S14 내지 S16의 경우와 각각 동일한 처리가 행해진다.

또한, 스텝 S81 내지 S99의 처리는, 필요에 따라, 파이프라인에서 행해진다.

여기서, 도 7의 수신 장치(21)가 행하는 수신 처리에서는, 지연 제어 정보 해석부(43)로부터 데이터 제어부(71)로 공급되는 지연 제어 정보가 나타내는 지연 모드에, 통상 지연 모드, 및 저지연 모드 1 내지 3이 있고, 데이터 제어부(71)가, 지연 제어 정보 해석부(43)로부터 공급되는 지연 제어 정보가 나타내는 통상 지연 모드, 및 저지연 모드 1 내지 3 중 어느 것에 따라, 그 지연 모드의 축적량의 하한 역치 A 및 상한 역치 B(도 10)를 설정하고, 버퍼(44)의 축적량 및 데이터 제어 정보에 따라, 버퍼(44)에 기억된 부호화 데이터의 삽입이나 파기, 통상 판독의 제어를 행하는 것 외에는, 도 4의 경우와 동일한 처리가 행해지므로, 그 설명은 생략한다.

도 7의 송신 장치(12) 및 수신 장치(21)에서도, 도 5의 경우와 마찬가지로, 수신 장치(21)에서의 음향 데이터의 지연 시간의 전환을, 무선 통신을 절단하지 않고, 용이하게 행할 수 있는 데다가, 지연 모드, 및 전송로의 상태에 따라, 압축률을 적절하게 제어하여, 소리 끊김이 발생하는 것을 억제함과 함께, 전송로의 상태가 양호한 경우에는, 출력 장치(22)로부터 출력되는 음향을 고음질로 할 수 있다.

따라서, 예를 들어 스마트폰에 기억시킨 오디오 콘텐츠를 Bluetooth(등록 상표)에 의한 무선 통신으로 송신하여 재생하는 경우에, 재생을, 화상 및 음향을 수반하는 비디오 콘텐츠로 전환할 때는, 오디오 콘텐츠의 재생 중에는, 지연 모드를, 재생이 안정되는 통상 지연 모드로 하고, 비디오 콘텐츠의 재생 중에는, 화상과 부수되는 음향과의 어긋남이 적어지도록, 지연 모드를 저지연 모드로 전환하는 것이, 송신측과 수신측의 접속을 재접속하지 않고, 또한 유저의 조작을 통하지 않고 실현할 수 있다.

또한, 전송로의 상태에 따라, 압축률을 최적으로 자동으로 조정할 수 있고, 유저는, 그 장소의 전송로의 상태를 의식하지 않고, 적절한 지연 시간과 더 양호한 음질로 안심하고 비디오 콘텐츠나 오디오 콘텐츠를 즐길 수 있다.

<본 기술을 적용한 컴퓨터의 설명>

이어서, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.

도 12는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도다.

프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(105)나 ROM(103)에 미리 기록해 둘 수 있다.

혹은 또한, 프로그램은, 리무버블 기록 매체(111)에 저장(기록)해 둘 수 있다. 이와 같은 리무버블 기록 매체(111)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(111)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.

또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(111)로부터 컴퓨터로 인스톨하는 것 외에, 통신망이나 방송망을 통해, 컴퓨터에 다운로드하여, 내장한 하드 디스크(105)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용 인공위성을 통해, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통해, 컴퓨터로 유선으로 전송할 수 있다.

컴퓨터는, CPU(Central Processing Unit)(102)를 내장하고, CPU(102)에는, 버스(101)를 통해, 입출력 인터페이스(110)가 접속되어 있다.

CPU(102)는, 입출력 인터페이스(110)를 통해, 유저에 의해, 입력부(107)가 조작되거나 함으로써 명령이 입력되면, 그것에 따라, ROM(Read Only Memory)(103)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(102)는, 하드 디스크(105)에 저장된 프로그램을, RAM(Random Access Memory)(104)에 로드하여 실행한다.

이에 의해, CPU(102)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(102)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(110)를 통해, 출력부(106)로부터 출력, 혹은 통신부(108)로부터 송신, 나아가, 하드 디스크(105)에 기록시키거나 한다.

또한, 입력부(107)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(106)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.

여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.

또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터로 전송되어 실행되는 것이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에도, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에도, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.

또한, 본 기술은, 이하의 구성을 취할 수 있다.

<1>

무선 통신으로 송신되어 오는

데이터와,

상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와,

상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보

를 수신하는 수신부와,

상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 데이터 제어부와,

상기 사용 방법이 제어된 데이터를 출력하는 데이터 출력부

를 구비하는 수신 장치.

<2>

상기 데이터 제어 정보는, 데이터의 삽입, 데이터의 파기, 또는 데이터의 삽입과 파기의 양쪽의 허가 또는 금지에 관한 정보인

<1>에 기재된 수신 장치.

<3>

상기 데이터를 버퍼링하는 버퍼를 더 구비하고,

상기 데이터 제어부는, 상기 지연 제어 정보, 상기 데이터 제어 정보, 및 상기 버퍼의 축적량에 따라, 상기 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하는

<2>에 기재된 수신 장치.

<4>

상기 데이터 제어부는,

상기 지연 제어 정보에 따라, 상기 버퍼의 축적량과 비교하는 역치를 설정하고,

상기 버퍼의 축적량과 상기 역치의 비교 결과에 따라, 상기 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하는

<3>에 기재된 수신 장치.

<5>

무선 통신으로 송신되어 오는

데이터와,

를 수신하는 것과,

상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 것과,

상기 사용 방법이 제어된 데이터를 출력하는 것

을 포함하는 수신 방법.

<6>

무선 통신으로 송신되어 오는

데이터와,

를 수신하는 수신부와,

상기 사용 방법이 제어된 데이터를 출력하는 데이터 출력부로서,

컴퓨터를 기능시키기 위한 프로그램.

<7>

무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부와,

상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 지연 제어 정보 생성부와,

상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 송신부

를 구비하는 송신 장치.

<8>

상기 데이터 제어 정보는, 상기 수신 장치에서의 데이터의 삽입, 데이터의 파기, 또는 데이터의 삽입과 파기의 양쪽의 허가 또는 금지에 관한 정보인

<7>에 기재된 송신 장치.

<9>

상기 데이터 제어 정보 생성부는, 상기 수신 장치에 있어서 데이터의 삽입 또는 파기를 행한 경우에, 상기 데이터의 삽입 또는 파기가 감지되는 정도를 나타내는 감지 특징량에 기초하여, 상기 데이터 제어 정보를 생성하는

<8>에 기재된 송신 장치.

<10>

상기 데이터를 소정의 압축률로 부호화하는 부호화부와,

상기 지연 제어 정보에 따라, 상기 데이터의 부호화의 상기 압축률을 제어하는 압축률 제어부

를 더 구비하는 <8> 또는 <9>에 기재된 송신 장치.

<11>

상기 데이터의 부호화에 의해 얻어지는 부호화 데이터를 버퍼링하는 송신 버퍼를 더 구비하고,

상기 압축률 제어부는, 상기 지연 제어 정보, 및 상기 송신 버퍼의 축적량에 따라, 상기 압축률을 제어하는

<10>에 기재된 송신 장치.

<12>

상기 수신 장치는, 상기 데이터를 수신 버퍼에 버퍼링하여, 상기 지연 제어 정보, 상기 데이터 제어 정보, 및 상기 수신 버퍼의 축적량에 따라, 상기 수신 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하고,

상기 지연 제어 정보가 나타내는 지연 모드는, 제1 지연 모드와, 상기 제1 지연 모드보다 지연 시간이 짧은 제2 지연 모드를 포함하고,

상기 수신 버퍼의 상황인 수신 버퍼 상황을 취득하여, 상기 지연 제어 정보가 나타내는 지연 모드가 제2 지연 모드로부터, 상기 제1 지연 모드로 변경된 경우에, 상기 수신 버퍼 상황에 따라, 상기 압축률 제어부에 의한 상기 압축률의 제어의 타이밍을 제어하는 타이밍 제어부를 더 구비하는

<10> 또는 <11>에 기재된 송신 장치.

<13>

상기 지연 제어 정보 생성부는, 상기 송신 버퍼의 축적량에 따라, 상기 지연 제어 정보가 나타내는 지연 모드의 지연 시간을 변경하는

<11> 또는 <12>에 기재된 송신 장치.

<14>

상기 지연 제어 정보 생성부는, 상기 송신 버퍼의 축적량에 따라, 제2 지연 모드의 지연 시간을 변경하는

<12>에 기재된 송신 장치.

<15>

상기 압축률 제어부는,

상기 지연 제어 정보, 및 소정의 관측 시간 내의 상기 송신 버퍼의 축적량에 따라, 상기 압축률을 제어하고,

상기 지연 제어 정보에 따라, 상기 관측 시간을 변경하는

<11> 내지 <14> 중 어느 한 항에 기재된 송신 장치.

<16>

무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 것과,

상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 것과,

상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 것

을 포함하는 송신 방법.

<17>

상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 송신부로서,

컴퓨터를 기능시키기 위한 프로그램.

10: 송신 기기
11: 공급 장치
12: 송신 장치
20: 수신 기기
21: 수신 장치
22: 출력 장치
31: 지연 제어 정보 생성부
32: 데이터 생성부
33: 버퍼
34: 패킷화부
35, 41: 통신부
42: 패킷 분해부
43: 지연 제어 정보 해석부
44: 버퍼
45: 데이터 제어부
46: 데이터 출력부
47: LPCM 버퍼
51: 데이터 생성부
52: 수신 장치 버퍼 감시부
53: 압축률 제어부
61: 적응 지연 제어부
62: 지연 제어 정보 생성부
63: 데이터 생성부
64: 수신 장치 버퍼 감시부
65: 압축률 제어부
71: 데이터 제어부
101: 버스
102: CPU
103: ROM
104: RAM
105: 하드 디스크
106: 출력부
107: 입력부
108: 통신부
109: 드라이브
110: 입출력 인터페이스
111: 리무버블 기록 매체

Claims

무선 통신으로 송신되어 오는
데이터와,
상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와,
상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보
를 수신하는 수신부와,
상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 데이터 제어부와,
상기 사용 방법이 제어된 데이터를 출력하는 데이터 출력부
를 구비하는, 수신 장치.
제1항에 있어서, 상기 데이터 제어 정보는, 데이터의 삽입, 데이터의 파기, 또는 데이터의 삽입과 파기의 양쪽의 허가 또는 금지에 관한 정보인, 수신 장치.
제2항에 있어서, 상기 데이터를 버퍼링하는 버퍼를 더 구비하고,
상기 데이터 제어부는, 상기 지연 제어 정보, 상기 데이터 제어 정보, 및 상기 버퍼의 축적량에 따라, 상기 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하는, 수신 장치.
제3항에 있어서, 상기 데이터 제어부는,
상기 지연 제어 정보에 따라, 상기 버퍼의 축적량과 비교하는 역치를 설정하고,
상기 버퍼의 축적량과 상기 역치의 비교 결과에 따라, 상기 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하는, 수신 장치.
무선 통신으로 송신되어 오는
데이터와,
상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와,
상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보
를 수신하는 것과,
상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 것과,
상기 사용 방법이 제어된 데이터를 출력하는 것
을 포함하는, 수신 방법.
무선 통신으로 송신되어 오는
데이터와,
상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보와,
상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보
를 수신하는 수신부와,
상기 데이터 제어 정보 및 상기 지연 제어 정보에 따라, 상기 데이터의 사용 방법을 제어하는 데이터 제어부와,
상기 사용 방법이 제어된 데이터를 출력하는 데이터 출력부로서,
컴퓨터를 기능시키기 위한, 프로그램.
무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부와,
상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 지연 제어 정보 생성부와,
상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 송신부
를 구비하는, 송신 장치.
제7항에 있어서, 상기 데이터 제어 정보는, 상기 수신 장치에서의 데이터의 삽입, 데이터의 파기, 또는 데이터의 삽입과 파기의 양쪽의 허가 또는 금지에 관한 정보인, 송신 장치.
제8항에 있어서, 상기 데이터 제어 정보 생성부는, 상기 수신 장치에 있어서 데이터의 삽입 또는 파기를 행한 경우에, 상기 데이터의 삽입 또는 파기가 감지되는 정도를 나타내는 감지 특징량에 기초하여, 상기 데이터 제어 정보를 생성하는, 송신 장치.
제8항에 있어서, 상기 데이터를 소정의 압축률로 부호화하는 부호화부와,
상기 지연 제어 정보에 따라, 상기 데이터의 부호화의 상기 압축률을 제어하는 압축률 제어부를 더 구비하는, 송신 장치.
제10항에 있어서, 상기 데이터의 부호화에 의해 얻어지는 부호화 데이터를 버퍼링하는 송신 버퍼를 더 구비하고,
상기 압축률 제어부는, 상기 지연 제어 정보, 및 상기 송신 버퍼의 축적량에 따라, 상기 압축률을 제어하는, 송신 장치.
제10항에 있어서, 상기 수신 장치는, 상기 데이터를 수신 버퍼에 버퍼링하여, 상기 지연 제어 정보, 상기 데이터 제어 정보, 및 상기 수신 버퍼의 축적량에 따라, 상기 수신 버퍼에 버퍼링된 상기 데이터의 삽입 및 파기를 제어하고,
상기 지연 제어 정보가 나타내는 지연 모드는, 제1 지연 모드와, 상기 제1 지연 모드보다 지연 시간이 짧은 제2 지연 모드를 포함하고,
상기 수신 버퍼의 상황인 수신 버퍼 상황을 취득하여, 상기 지연 제어 정보가 나타내는 지연 모드가 제2 지연 모드로부터, 상기 제1 지연 모드로 변경된 경우에, 상기 수신 버퍼 상황에 따라, 상기 압축률 제어부에 의한 상기 압축률의 제어의 타이밍을 제어하는 타이밍 제어부를 더 구비하는, 송신 장치.
제11항에 있어서, 상기 지연 제어 정보 생성부는, 상기 송신 버퍼의 축적량에 따라, 상기 지연 제어 정보가 나타내는 지연 모드의 지연 시간을 변경하는, 송신 장치.
제13항에 있어서, 상기 지연 제어 정보가 나타내는 지연 모드는, 제1 지연 모드와, 상기 제1 지연 모드보다 지연 시간이 짧은 제2 지연 모드를 포함하고,
상기 지연 제어 정보 생성부는, 상기 송신 버퍼의 축적량에 따라, 제2 지연 모드의 지연 시간을 변경하는, 송신 장치.
제11항에 있어서, 상기 압축률 제어부는,
상기 지연 제어 정보, 및 소정의 관측 시간 내의 상기 송신 버퍼의 축적량에 따라, 상기 압축률을 제어하고,
상기 지연 제어 정보에 따라, 상기 관측 시간을 변경하는, 송신 장치.
무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 것과,
상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 것과,
상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 것
을 포함하는, 송신 방법.
무선 통신으로 송신되어 오는 데이터를 수신하는 수신 장치에서 상기 데이터의 사용 방법을 제어하기 위한 데이터 제어 정보를 생성하는 데이터 제어 정보 생성부와,
상기 수신 장치에서 상기 데이터를 처리할 때의 지연 시간에 관한 지연 모드를 나타내는 지연 제어 정보를 생성하는 지연 제어 정보 생성부와,
상기 데이터, 상기 데이터 제어 정보, 및 상기 지연 제어 정보를, 무선 통신으로 송신하는 송신부로서,
컴퓨터를 기능시키기 위한, 프로그램.