JPWO2016088582A1 - データ処理装置、データ処理方法、及び、プログラム - Google Patents

データ処理装置、データ処理方法、及び、プログラム Download PDF

Info

Publication number
JPWO2016088582A1
JPWO2016088582A1 JP2016562386A JP2016562386A JPWO2016088582A1 JP WO2016088582 A1 JPWO2016088582 A1 JP WO2016088582A1 JP 2016562386 A JP2016562386 A JP 2016562386A JP 2016562386 A JP2016562386 A JP 2016562386A JP WO2016088582 A1 JPWO2016088582 A1 JP WO2016088582A1
Authority
JP
Japan
Prior art keywords
data
control information
buffer
communication device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016562386A
Other languages
English (en)
Inventor
鈴木 志朗
志朗 鈴木
松本 淳
淳 松本
高弘 渡邉
高弘 渡邉
松村 祐樹
祐樹 松村
劔持 千智
千智 劔持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016088582A1 publication Critical patent/JPWO2016088582A1/ja
Priority to JP2020038439A priority Critical patent/JP6977800B2/ja
Priority to JP2021184133A priority patent/JP7160168B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H04W28/065Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information using assembly or disassembly of packets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L13/00Details of the apparatus or circuits covered by groups H04L15/00 or H04L17/00
    • H04L13/02Details not particular to receiver or transmitter
    • H04L13/08Intermediate storage means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/253Telephone sets using digital voice transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/30PCM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/031PCM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/10Flow control between communication endpoints

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Communication Control (AREA)

Abstract

本技術は、無線で送信されるデータを受信する受信側においてデータの出力が途切れることを抑制することができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報が生成され、データに、制御情報を付加した制御情報付きデータが生成される。受信側では、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法が制御され、その、制御情報に基づいて使用方法が制御されたデータが出力される。

Description

本技術は、データ処理装置、データ処理方法、及び、プログラムに関し、特に、例えば、無線で送信されるデータを受信する受信側においてデータの出力が途切れることを抑制することができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。
例えば、楽曲等の音響データの送受信を、Bluetooth(登録商標)等の無線で行う無線送受信システムは、音響データの再送に備え、音響データを送信する送信側、及び、音響データを受信する受信側のいずれも、音響データを一時的に記憶するバッファを有する。
すなわち、送信側では、例えば、音響データの送受信に失敗した場合に、その音響データを再送するため、音響データがバッファに記憶されてから送信される。
一方、受信側では、例えば、音響データの送受信に失敗した場合に、音響データの出力、ひいては、音の出力が途切れることを抑制するために、送信側からの音響データが、バッファに記憶され、バッファの蓄積量(バッファに記憶されたデータ量)がある程度以上になった後に、バッファからの音響データの出力が開始される。
送信側や受信側のバッファの蓄積量は、音響データの送受信に失敗し、音響データの再送が生じた場合に変動する。
また、送信側や受信側のバッファの蓄積量は、例えば、送信側において負荷の高い処理が行われることで、送信側での音響データの処理が間に合わない場合に変動する。
さらに、例えば、音響データの送受信が、伝送路の状態の悪化により、一時的に停止された場合には、送信側のバッファの蓄積量が増加するとともに、受信側のバッファの蓄積量が減少する。そして、その後、伝送路の状態が回復し、音響データの送受信が再開され、送受信の停止中に送信側のバッファに記憶された大量の音響データが連続的に送信された場合には、受信側のバッファの蓄積量が増加する。
以上のように、送信側や受信側のバッファの蓄積量が変動(増加、減少)する場合には、バッファがオーバーフローやアンダーフローを起こすことがある。送信側や受信側のバッファのオーバーフローやアンダーフローによれば、受信側での音響データの出力が途切れ、その結果、音切れが生じる。
そこで、送信側のバッファのアンダーフローに起因する、受信側での音切れを抑制する技術が提案されている(例えば、特許文献1を参照)。
特許第4,256,429号公報
現在、無線送受信システムについては、受信側でのデータの出力が途切れることを抑制する様々な技術の提案が要請されている。
本技術は、このような状況に鑑みてなされたものであり、受信側においてデータの出力が途切れることを抑制することができるようにするものである。
本技術の第1のデータ処理装置、又は、プログラムは、無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成する制御情報生成部と、データに、前記制御情報を付加した制御情報付きデータを生成するデータ生成部とを備えるデータ処理装置、又は、そのようなデータ処理装置としてコンピュータを機能させるためのプログラムである。
本技術の第1のデータ処理方法は、無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成することと、データに、前記制御情報を付加した制御情報付きデータを生成することとを含むデータ処理方法である。
本技術の第1のデータ処理装置、データ処理方法、及び、プログラムにおいては、無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報が生成され、データに、前記制御情報を付加した制御情報付きデータが生成される。
本技術の第2のデータ処理装置、又は、プログラムは、データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御するデータ制御部と、前記制御情報に基づいて使用方法が制御されたデータを出力するデータ出力部とを備えるデータ処理装置、又は、そのようなデータ処理装置としてコンピュータを機能させるためのプログラムである。
本技術の第2のデータ処理方法は、データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御することと、前記制御情報に基づいて使用方法が制御されたデータを出力することとを含むデータ処理方法である。
本技術の第2のデータ処理装置、データ処理方法、及び、プログラムにおいては、データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法が制御され、前記制御情報に基づいて使用方法が制御されたデータが出力される。
なお、データ処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、受信側においてデータの出力が途切れることを抑制することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術のデータ処理装置を適用した無線送受信システムの一実施の形態の構成例を示すブロック図である。 通信装置12及び21の第1の構成例を示すブロック図である。 データバッファ32及び43の蓄積量の変動の例を示す図である。 通信装置12から通信装置21へのデータの送信が一時的にストップしたときのデータバッファ32及び43の蓄積量の変動の例を示す図である。 伝送路の状態が回復し、データの送信が再開されたときのデータバッファ32及び43の蓄積量の変動の例を示す図である。 通信装置12及び21の第2の構成例を示すブロック図である。 通信装置12及び21の第3の構成例を示すブロック図である。 通信装置21のデータバッファ43の蓄積量の変化の例を示す図である。 挿入及び破棄が感知されにくい音響データの例を示す波形図である。 挿入及び破棄が感知されにくい音響データの例を示す波形図である。 挿入及び破棄が感知されにくい音響データの例を示す波形図である。 挿入及び破棄が感知されにくい音響データの例を示す波形図である。 音声の母音部の音響データの例を示す波形図である。 通信装置21で行われるデータの挿入を説明する図である。 通信装置21で行われるデータの破棄を説明する図である。 通信装置12が行う、音響データを送信する送信処理の例を説明するフローチャートである。 通信装置21が行う、音響データを受信する受信処理の例を説明するフローチャートである。 第1の閾値設定処理の例を説明するフローチャートである。 第2の閾値設定処理の例を説明するフローチャートである。 第3の閾値設定処理の例を説明するフローチャートである。 通信装置12で行われる、制御情報付きデータの生成処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
<本技術を適用した無線送受信システムの一実施の形態>
図1は、本技術のデータ処理装置を適用した無線送受信システムの一実施の形態の構成例を示すブロック図である。
図1において、無線送受信システムは、送信装置10と受信装置20とを有する。
送信装置10は、供給装置11と通信装置12とを有する。
供給装置11は、無線で送信する対象のデータである、例えば、音響データを、通信装置12に供給する。供給装置11としては、例えば、音響データを再生する携帯機器(例えば、携帯電話機や、スマートフォン、携帯型音楽プレーヤ等)や、据え置き型の機器(例えば、据え置き型の音楽プレーヤやPC(Personal Computer)等)を採用することができる。
通信装置12は、通信装置21との間で無線通信を行い、供給装置11から供給される音響データ等を、無線で、通信装置21に送信する。
なお、供給装置11と通信装置12とは、1個の筐体に収納した1個の装置(送信装置10)として構成することもできるし、別個の筐体の収納された別個の装置として構成することもできる。
受信装置20は、通信装置21と出力装置22とを有する。
通信装置21は、通信装置12との間で無線通信を行い、通信装置12から無線で送信されてくる音響データ等を受信し、出力装置22に供給する。
出力装置22は、通信装置21から供給される音響データに対応する音響を出力する。出力装置22としては、例えば、電気信号である音響データを聴覚で認識することができる音響に変換するヘッドフォン(イヤフォンを含む)や、スピーカ(スピーカ等を内蔵するTV(テレビジョン受像機)等の装置を含む)を採用することができる。
なお、通信装置21と出力装置22とは、1個の筐体に収納した1個の装置(受信装置20)として構成することもできるし、別個の筐体の収納された別個の装置として構成することもできる。
以上のように構成される無線送受信システムでは、送信装置10において、供給装置11は、音響データを、通信装置12に供給する。通信装置12は、供給装置11からの音響データを、無線で、通信装置21に送信する。
受信装置20では、通信装置21が、通信装置12から無線で送信されてくる音響データを受信し、出力装置22に供給する。出力装置22は、通信装置21からの音響データに対応する音響を出力する。
以下、通信装置12と21と間の無線通信として、例えば、Bluetooth(登録商標)を利用して、音響データの送受信を行う場合を例に、通信装置12及び21の詳細について説明する。
<通信装置12及び21の第1の構成例>
図2は、図1の通信装置12及び21の第1の構成例を示すブロック図である。
図2において、通信装置12と21とは、例えば、Bluetooth(登録商標)で、音響データの送受信を行う。いま、通信装置12を送信側とするとともに、通信装置21を受信側として、音響データが、通信装置12から通信装置21に送信されることとすると、Bluetooth(登録商標)では、送信側である通信装置12は、ソース(source)と呼ばれ、受信側である通信装置21は、シンク(sink)と呼ばれる。
Bluetooth(登録商標)では、音響データの送受信を行うためのプロファイルとして、A2DP(Advanced Audio Distribution Profile)が規定されている。
A2DPでは、SBC(Subband Codec)と呼ばれる必須のコーデック(Mandatory Codec)が定められている。SBCでは、音響データであるLPCM(Linear Pulse Code Modulation)データが圧縮され、送信側である通信装置12から受信側である通信装置21に送信される。
図2において、通信装置12は、エンコーダ31、データバッファ32、パケット化部33、及び、通信部34を有する。
エンコーダ31には、供給装置11から音響データであるLPCMデータが供給される。
エンコーダ31は、例えば、SBCのエンコーダであり、供給装置11からのLPCMデータを、64サンプルや128サンプル等のフレームと呼ばれる単位で、1/4以下のデータ量に圧縮するエンコードを行う。
エンコーダ31は、エンコードの結果得られるエンコードデータ(Encoded Bit-stream)を、データバッファ32に供給する。
データバッファ32は、エンコーダ31から供給されるエンコードデータを一時記憶する。
データバッファ32に記憶されたエンコードデータは、適宜読み出され、パケット化部33に供給される。
パケット化部33は、データバッファ32からのエンコードデータをパケットにパケット化し、通信部34に供給する。なお、パケット化部33では、例えば、後段の通信部34でのパケットの送信で、例えば電力の消費を抑制するようなサイズのパケットが生成される。
通信部34は、パケット化部33からのパケットをRF(Radio Frequency)信号に変調し、無線で送信する。
通信装置21は、通信部41、パケット分解部42、データバッファ43、デコーダ44、及び、LPCMバッファ45を有する。
通信部41は、通信部34からのRF信号を受信し、ベースバンドのパケットを復調して、パケット分解部42に供給する。
パケット分解部42は、通信部41からのパケットを分解し、その結果得られるエンコードデータを、データバッファ43に供給する。
データバッファ43は、パケット分解部42から供給されるエンコードデータを一時記憶する。
データバッファ43に記憶されたエンコードデータは、適宜読み出され、デコーダ44に供給される。
デコーダ44は、例えば、SBCのデコーダであり、データバッファ43からのエンコードデータを、LPCMデータにデコードし、LPCMバッファ45に供給する。
LPCMバッファ45は、デコーダ44から供給されるLPCMデータを一時記憶する。
LPCMバッファ45に記憶されたLPCMデータは、リアルタイム再生に必要なレートで読み出され、出力装置22に供給される。
出力装置22では、LPCMバッファ45からのLPCMデータに対応する音響が出力される。
以上のような通信装置12と21との間での無線によるデータの送受信は、通信装置12と21との間の伝送路の状態(電波状況)等によって、必ずしも成功するとは限らない。
通信装置12と21との間での無線によるデータの送受信が失敗した場合、通信装置12から通信装置21に対して、データを再び送信する再送が行われる。
この再送のために、送信側である通信装置12がデータバッファ32を有するとともに、受信側である通信装置21がデータバッファ43を有する。
すなわち、データの送受信に失敗した場合には、送信側である通信装置12において、送受信に失敗したデータを再度送信するために、データバッファ32にデータが一時記憶される。なお、送受信に失敗したデータは、実際には処理効率を考えると、データバッファ32に記憶されるわけではなく、パケット化部33にてパケット化されたデータは、通信部34にて保持され、この保持されたデータを使って再度送信が行われる。ただし、これを明確に図式化すると、今後行うデータバッファ32と43との連動した動きの説明が非常に難しくなる。よって、効率は悪いが、データはすべでデータバッファ32に記憶されるものとし、送受信のたびにこのデータバッファ32とのやりとりとする、と仮定することで説明の簡単化を行う。実現性という点ではどちらも可能であるので問題はない。
また、データの送受信に失敗した場合には、受信側である通信装置21において、デコーダ44でのデコードの対象となるエンコードデータがなくなり、その結果、出力装置22へのデータ(音響データ)の出力が途切れ、音切れが生じるのを抑制するために、データバッファ43にデータが一時記憶される。
データバッファ32や43の(データの)蓄積量は、例えば、データの再送によって変動する。
図3は、データバッファ32及び43の蓄積量の変動の例を示す図である。
すなわち、図3は、通信装置12から通信装置21へのデータの送信が開始されるときのデータバッファ32及び43の蓄積量の変動の例を示す図である。
通信装置12では、データバッファ32の蓄積量が所定のデータ量になると、すなわち、データバッファ32において、エンコーダ31からのエンコードデータが、所定のデータ量だけ記憶されると、データバッファ32からのエンコードデータの読み出し、及び、送信が開始される。
通信装置21でも、同様に、データバッファ43の蓄積量が所定のデータ量(通信装置12においてエンコードデータの送信が開始されるときのデータバッファ32の蓄積量に一致するとは限らない)になると、すなわち、データバッファ43において、パケット分解部42からのエンコードデータが、所定のデータ量だけ記憶されると、データバッファ43からのエンコードデータの読み出し(再生)が開始される。
図4は、伝送路の状態の悪化等により、通信装置12から通信装置21へのデータの送信が一時的にストップしたときのデータバッファ32及び43の蓄積量の変動の例を示す図である。
通信装置12から通信装置21へのデータの送信が一時的にストップすると(データの送受信に失敗すると)、通信装置12では、データバッファ32に記憶された、送信済みでないエンコードデータが、データバッファ32に記憶されたまま保持される一方で、エンコーダ31からデータバッファ32には、エンコードデータが供給され続けるので、データバッファ32の蓄積量は増加する。
また、通信装置21では、データバッファ43からデコーダ44に、エンコードデータが供給され続ける一方で、パケット分解部42からデータバッファ43への、エンコードデータの供給が停止するので、データバッファ43の蓄積量は減少する。
したがって、通信装置12から通信装置21へのデータの送受信に失敗し続けると、データバッファ32はオーバーフローを起こし、データバッファ43はアンダーフローを起こす。
そして、データバッファ32がオーバーフローを起こした場合や、データバッファ43がアンダーフローを起こした場合には、最終的には、出力装置22に出力するデータが欠落し、音切れが発生する。
図5は、通信装置12から通信装置21へのデータの送信が一時的にストップした後、伝送路の状態が回復し、データの送信が再開されたときのデータバッファ32及び43の蓄積量の変動の例を示す図である。
図4で説明したように、通信装置12から通信装置21へのデータの送信が一時的にストップすると、データバッファ32の蓄積量は増加する。
データバッファ32の蓄積量が大幅に増加し、データバッファ32に、大量のエンコードデータが記憶された場合に、伝送路の状態が回復して、データの送信が再開されると、データバッファ32の蓄積量を減少させるために、データバッファ32に記憶されたエンコードデータが、連続的に、通信装置12から通信装置21に送信される。
以上のように、データバッファ32に記憶されたエンコードデータが、連続的に、通信装置12から通信装置21に送信され続けた場合、通信装置21のデータバッファ43の蓄積量が急激に増加し、オーバーフローを起こすことがある。
通信装置21では、データバッファ43がオーバーフローを起こしそうである場合に、通信部41から通信部34に対して、送信停止(受信拒否)の信号を送信することで、通信装置12から通信装置21へのデータの送信を停止させることができる。
しかしながら、大幅に増加したデータバッファ32の蓄積量を減少させるために、データバッファ32に記憶されたエンコードデータの送信が開始された直後に、通信装置12から通信装置21へのデータの送信が停止されると、データバッファ32の蓄積量が再度増加し、オーバーフローが起こって、音切れが発生することがある。
<通信装置12及び21の第2の構成例>
そこで、図6は、図1の通信装置12及び21の第2の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図6において、通信装置12は、エンコーダ31ないし通信部34を有し、図2の場合と同様に構成される。
また、図6において、通信装置21は、通信部41ないしLPCMバッファ45を有し、かかる点で、図2の場合と共通する。
但し、図6において、通信装置21は、速度制御部46をさらに有し、かかる点で、図2の場合と相違する。
図2では、LPCMバッファ45に記憶されたLPCMデータは、リアルタイム再生に必要なレート(以下、標準レートともいう)で読み出され、出力装置22に供給される。
これに対して、図6では、速度制御部46が、データバッファ43の蓄積量に応じて、LPCMバッファ45からLPCMデータを読み出すレートを、標準レートから変動させる。
すなわち、データバッファ43の蓄積量が小さく、アンダーフローが起こりそうな場合には、速度制御部46は、LPCMバッファ45からLPCMデータを読み出すレートを、標準レートよりも遅くし、LPCMデータを時間方向に引き延ばして、出力装置22に供給する。
LPCMバッファ45からLPCMデータを読み出すレートが遅い場合、エンコードデータがデータバッファ43からデコーダ44に読み出されるレート(単位時間あたりに読み出されるデータ量)も遅くなり、その結果、データバッファ43の蓄積量は徐々に増加する。
一方、データバッファ43の蓄積量が大きく、オーバーフローが起こりそうな場合には、速度制御部46は、LPCMバッファ45からLPCMデータを読み出すレートを、標準レートよりも速くし、LPCMデータを時間方向に縮めて、出力装置22に供給する。
LPCMバッファ45からLPCMデータを読み出すレートが速い場合、エンコードデータがデータバッファ43からデコーダ44に読み出されるレートも速くなり、その結果、データバッファ43の蓄積量は徐々に減少する。
以上のように、受信側である通信装置21のデータバッファ43の蓄積量が増減され、適切な蓄積量になっていくことで、副次的に、送信側である通信装置12のデータバッファ32の蓄積量も適切な蓄積量になっていく。
図6の通信装置12及び21によれば、図2の場合に比較して、データバッファ32及び43のオーバーフローやアンダーフローに起因する音切れの頻度を低減することができる。
但し、図6の通信装置12及び21では、LPCMデータを時間方向に引き延ばすことや縮めることが行われるため、LPCMデータの再生時間が変化する(再生速度がリアルタイム再生の速度から変化する)。
LPCMデータの再生時間が変化するということは、出力装置22から出力される音響のピッチが変化するが、かかるピッチの変化は、音質の劣化として、ユーザに、聴覚上の違和感を生じさせることがある。
そこで、音響のピッチを変化させずに、データバッファ32及び43のオーバーフローやアンダーフローに起因する音切れを抑制する技術について説明する。
<通信装置12及び21の第3の構成例>
図7は、図1の通信装置12及び21の第3の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図7において、通信装置12は、データバッファ32ないし通信部34を有し、かかる点で、図2の場合と共通する。
但し、図7において、通信装置12は、エンコーダ31に代えて、データ生成部51を有するとともに、制御情報生成部52を新たに有し、かかる点で、図2の場合と相違する。
また、図7において、通信装置21は、通信部41ないしデータバッファ43、及び、LPCMバッファ45を有し、かかる点で、図2の場合と共通する。
但し、図7において、通信装置21は、データ制御部61を新たに有するとともに、デコーダ44に代えて、データ出力部62を有し、かかる点で、図2の場合と相違する。
図7の通信装置12及び21では、通信装置12が、受信側である通信装置21においてデータの使用方法を制御するための制御情報を生成し、通信装置21が、その制御情報に基づいて、データバッファ43に記憶されたデータの使用方法を制御することで、図6の場合のように、音響のピッチを変化させずに、データバッファ32及び43のオーバーフローやアンダーフローに起因する音切れを抑制する。
データ生成部51には、供給装置11から音響データであるLPCMデータが供給されるとともに、LPCMデータは制御情報生成部52にも供給され必要な処理を行ったのち、制御情報生成部52から制御情報が供給される。
データ生成部51は、供給装置11からのLPCMデータに必要な処理を行って、制御情報生成部52からの制御情報を付加することにより、制御情報付きデータを生成する。
すなわち、データ生成部51は、例えば、供給装置11からのLPCMデータを、64サンプルや128サンプル等のフレームに分割し、SBCのエンコーダ31(図2)と同様のSBCのエンコードを行って、エンコードデータを生成する。
さらに、データ生成部51は、エンコードデータに、そのエンコードデータに対応する制御情報を付加することで、制御情報付きデータを生成し、データバッファ32に供給して記憶させる。
制御情報生成部52は、エンコードデータに対応するLPCMデータのフレームに対して、受信側である通信装置21においてデータの使用方法を制御するための制御情報を生成し、データ生成部51に供給する。
すなわち、制御情報生成部52は、LPCMデータのフレームについて、受信側である通信装置21においてフレームの挿入又は破棄を行った場合に、そのフレームの挿入又は破棄が感知される程度を表す感知特徴量を取得する。感知特徴量は、フレームの挿入や破棄の感知のされやすさを表すものであってもよいし、フレームの挿入や破棄の感知のされにくさを表すものであってもよい。
そして、制御情報生成部52は、LPCMデータのフレームの感知特徴量に基づいて、そのフレームに対する制御情報を生成する。
感知特徴量は、例えば、データ生成部51でSBCのエンコードが行われるときに得られるLPCMデータのフレームの処理結果(例えば、周波数成分)から生成することができる。
また、感知特徴量は、例えば、制御情報生成部52において、データ生成部51で得られるLPCMデータのフレームを処理することにより生成することができる。
感知特徴量としては、LPCMデータのトーナリティ(Tonality)を表す物理量や、LPCMデータのゲイン(振幅)等を採用することができる。
トーナリティを表す物理量としては、例えば、LPCMデータの周波数成分の分散や相関、LPCMデータの周波数成分の最大値と最小値又は平均値との差(以下、周波数成分差ともいう)等を採用することができる。
ここでLPCMデータのゲインやトーナリティが小さい場合には、そのLPCMデータの挿入や破棄は、感知されにくい。
すなわち、ゲインやトーナリティが小さいLPCMデータのフレームが、そのフレームの直後に挿入された場合や、破棄された場合、その挿入や破棄は、人の聴覚で感知されにくい。
したがって、ゲインやトーナリティが小さいLPCMデータのフレームを、そのフレームの直後に挿入し、又は、破棄しても、ユーザが音響を聴いたときの音質には、ほとんど影響がない。なお、本実施の形態では、LPCMデータのフレームそのものの挿入や破棄ではなく、LPCMデータのフレームに対応するエンコードデータの挿入や破棄が行われることで、そのエンコードデータに対応するフレームの挿入や破棄が実質的に行われる。
制御情報生成部52は、LPCMデータのフレームの感知特徴量を取得した後、例えば、その感知特徴量と所定の閾値との大小関係に基づいて、LPCMデータのフレームに対応するエンコードデータの制御情報を生成する。
いま、例えば、LPCMデータのフレームの感知特徴量が小であるほど、そのフレームに対応するエンコードデータの挿入や破棄が感知されにくいこととすると、制御情報生成部52は、LPCMデータのフレームの感知特徴量を、所定の閾値と比較し、感知特徴量が所定の閾値より小さい(又は以下である)エンコードデータ、すなわち、挿入や破棄が感知されにくいエンコードデータに対しては、例えば、受信側である通信装置21でのエンコードデータの挿入及び破棄を許可する旨の制御情報を生成する。
また、制御情報生成部52は、感知特徴量が所定の閾値以上である(又は未満である)(フレームに対応する)エンコードデータ、すなわち、挿入や破棄が感知されにくいとはいえないエンコードデータに対しては、例えば、受信側である通信装置21でのエンコードデータの挿入及び破棄を禁止する旨の制御情報を生成する。
なお、制御情報としては、エンコードデータの挿入や破棄の許可又は禁止に関する情報を広く採用することができる。
すなわち、制御情報としては、例えば、エンコードデータの挿入や破棄の許可する旨、又は、禁止する旨を表す1ビット(以上)のフラグを採用することができる。
また、制御情報としては、例えば、エンコードデータの挿入や破棄の許可と禁止のレベルを表す情報を採用することができる。
ここで、エンコードデータの挿入や破棄の許可と禁止のレベルを表す情報としては、例えば、音切れ防止に必要であれば、エンコードデータの挿入や破棄を許可する旨を表す完全許可レベル、音切れ防止のために必要性が高い場合に、エンコードデータの挿入や破棄を許可する旨を表す準許可レベル、音切れ防止にどうしても必要である場合にのみ、エンコードデータの挿入や破棄を許可する旨を表す準禁止レベル、及び、どのような場合でも、エンコードデータの挿入や破棄を禁止する旨を表す禁止レベルの4レベルを採用することができる。
制御情報として、完全許可レベル、準許可レベル、準禁止レベル、及び、禁止レベルの4レベルを採用する場合には、制御情報は、2ビット(以上)の情報となる。
制御情報として、以上のような4レベルを採用する場合、制御情報生成部52では、例えば、感知特徴量Xと、3個の閾値TH1,TH2,TH3との大小関係に基づき(TH1<TH2<TH3)、X<TH1であれば、完全許可レベルを表す制御情報が生成され、TH1<X<TH2であれば、準許可レベルを表す制御情報が生成される。また、TH2<X<TH3であれば、準禁止レベルを表す制御情報が生成され、TH3<Xであれば、禁止レベルを表す制御情報が生成される。
なお、制御情報としては、エンコードデータの挿入及び破棄の両方に関する情報の他、エンコードデータの挿入に関する情報と、破棄に関する情報とを、別個に生成することができる。
この場合、エンコードデータの挿入に関する情報としての制御情報は、エンコードデータが、そのエンコードデータの直後に挿入された場合に、その挿入が感知される程度を表す特徴量に基づいて生成することができる。同様に、エンコードデータの破棄に関する情報としての制御情報は、エンコードデータが破棄された場合に、その破棄が感知される程度を表す特徴量に基づいて生成することができる。
また、上述の場合には、感知特徴量として、値が小であるほど、エンコードデータの挿入や破棄が感知されにくい物理量を採用することとしたが、感知特徴量としては、値が大であるほど、エンコードデータの挿入や破棄が感知されにくい物理量を採用することもできる。
以下では、説明を簡単にするため、制御情報としては、エンコードデータの挿入及び破棄の両方の許可又は禁止を表す1ビットのフラグを採用し、感知特徴量としては、値が小であるほど、エンコードデータの挿入及び破棄が感知されにくい物理量(例えば、トーナリティ等)を採用することとする。
ここで、エンコードデータの挿入や破棄は、エンコードデータの使用方法であり、したがって、エンコードデータの挿入や破棄の許可又は禁止を表す制御情報は、受信側である通信装置21でのエンコードデータの使用方法を制御する情報であるということができる。
さらに、エンコードデータの挿入や破棄によれば、エンコードデータが複数回使用され、又は、1回も使用されないことになるので、制御情報は、受信側である通信装置21でのエンコードデータの使用回数を制御する情報であるということもできる。
図7において、データ制御部61は、データバッファ43に記憶された制御情報付きデータに含まれる制御情報に基づいて、データの使用方法を制御する。
ここで、図7の通信装置12では、データ生成部51において、制御情報付きデータが生成されてデータバッファ32に記憶され、パケット化部33及び通信部34を介して、通信装置21に送信される。
そして、通信装置21では、通信装置12からの制御情報付きデータが、通信部41及びパケット分解部42を介して、データバッファ43に供給される。そのため、データバッファ43には、制御情報付きデータが記憶される。
データ制御部61は、以上のようにデータバッファ43に記憶された制御情報付きデータに含まれる制御情報に基づいて、例えば、その制御情報付きデータに含まれるエンコードデータの挿入や破棄を、そのエンコードデータの使用方法の制御として行う。
ここで、データ制御部61において、エンコードデータの挿入は、例えば、そのエンコードデータをデータバッファ43内にコピーすることにより行うことができる。
データバッファ43に記憶されたエンコードデータのコピーは、データバッファ43から(制御情報付きデータに含まれる)エンコードデータが読み出されるときに、そのエンコードデータを、データバッファ43に記憶させたままにすることで行うことができる。データバッファ43に記憶させたままのエンコードデータを、エンコードデータのコピーということとすると、エンコードデータのコピーが、データバッファ43から読み出されることにより、エンコードデータの挿入が行われる。
また、データ制御部61において、エンコードデータの破棄は、データバッファ43からのエンコードデータの読み出しをスキップすることで行うことができる。
データ出力部62には、データバッファ43から読み出されたエンコードデータ、すなわち、データ制御部61により制御情報に基づいて使用方法が制御されたエンコードデータが供給される。
データ出力部62は、データバッファ43から供給されるエンコードデータを、LPCMバッファ45を介して、出力装置22に出力する。
すなわち、データ出力部62は、例えば、データバッファ43からのエンコードデータについて、SBCのデコーダ44と同様のSBCのデコードを行い、その結果得られるLPCMデータを、LPCMバッファ45を介して、出力装置22に出力する。
図8は、図7の通信装置21のデータバッファ43の蓄積量の変化の例を示す図である。
データバッファ43には、以下のようにして、制御情報付きデータが記憶されていく。
すなわち、通信装置12のデータ生成部51において、LPCMデータがエンコードされるとともに、制御情報生成部52において、制御情報が生成される。
さらに、通信装置12では、データ生成部51において、LPCMデータのエンコードにより得られるエンコードデータに、制御情報生成部52で生成された制御情報が付加されることにより、制御情報付きデータが生成される。
制御情報付きデータは、データ生成部51からデータバッファ32に供給されて記憶される。
データバッファ32に記憶された制御情報付きデータは、適宜読み出され、パケット化部33に供給される。
パケット化部33では、データバッファ32からの制御情報付きデータがパケットにパケット化され、通信部34に供給される。通信部34では、パケット化部33からのパケットがRF信号に変調され、無線で送信される。
通信部34から送信されたRF信号は、通信装置21の通信部41で受信される。
通信部41では、RF信号が、パケットに復調され、パケット分解部42に供給される。
パケット分解部42では、通信部41からのパケットが分解され、その結果得られる制御情報付きデータが、データバッファ43に供給されて記憶される。
以上のようにして、データバッファ43において、制御情報付きデータが記憶されていき、データバッファ43の蓄積量が、所定の閾値(以上)になると、データ制御部61は、データバッファ43を制御し、データバッファ43からの(制御情報付きデータに含まれる)エンコードデータの読み出しを開始させる。
図8のAは、データバッファ43からのエンコードデータの読み出しが開始されるときのデータバッファ43の状態を示す図である。
図8のAでは、データバッファ43の蓄積量が、(データバッファ43の)容量の60%(以上)にまで増加したときに、データバッファ43からのエンコードデータの読み出しが開始されている。
データバッファ43からのエンコードデータの読み出しの開始後、例えば、通信装置12から通信装置21へのパケット(のRF信号)の送受信の失敗が続いた場合や、受信側である通信装置21のクロック(SNK(SINK)クロック)が送信側である通信装置21のクロック(SRC(SOURCE)クロック)よりも速い状態が続いた場合、データバッファ43の蓄積量は減少し、データバッファ43はアンダーフローを起こす。
図8のBは、アンダーフローを起こしたデータバッファ43の状態を示す図である。
図8のBでは、データバッファ43の蓄積量は、容量の0%になっており、アンダーフローを起こしている。
以上のようにデータバッファ43がアンダーフローを起こすと、データ出力部62による(LPCMバッファ45を介しての出力装置22への)音響データの出力が途切れ、音切れが発生する。
また、データバッファ43からのエンコードデータの読み出しの開始後、例えば、通信装置12から通信装置21に対して、パケットが一気に連続して送信されてきた場合や、送信側である通信装置21のクロックが受信側である通信装置21のクロックよりも速い状態が続いた場合、データバッファ43の蓄積量は増加し、データバッファ43はオーバーフローを起こす。
図8のCは、オーバーフローを起こしたデータバッファ43の状態を示す図である。
図8のCでは、データバッファ43の蓄積量は、容量の100%になっており、オーバーフローを起こしている。
以上のようにデータバッファ43がオーバーフローを起こすと、そのオーバーフロー時に、パケット分解部42からデータバッファ43に供給されたデータが、データバッファ43に記憶されず、又は、オーバーフロー時に、パケット分解部42からデータバッファ43に供給されたデータによって、データ出力部62への供給がまだ済んでいないデータが上書きされる。
その結果、データ出力部62によるデータの出力において、データバッファ43に記憶されなかったデータ、又は、上書きされたデータの出力が途切れ、音切れが発生する。
そこで、データ制御部61は、データバッファ43がアンダーフローを起こしそうな場合には、制御情報に基づき、挿入(及び破棄)が許可されたエンコードデータ、すなわち、挿入が感知されにくいエンコードデータの挿入を行う。
また、データ制御部61は、データバッファ43がアンダーフローを起こしそうな場合には、制御情報に基づき、破棄(及び挿入)が許可されたエンコードデータ、すなわち、破棄が感知されにくいエンコードデータの破棄を行う。
上述したように、制御情報として、エンコードデータの挿入及び破棄の両方の許可又は禁止を表す1ビットのフラグを採用するとともに、1(〇)が、エンコードデータの挿入及び破棄の許可を表し、0(×)が、エンコードデータの挿入及び破棄の禁止を表すこととすると、データ制御部61は、データバッファ43がアンダーフロー又はオーバーフローを起こしそうな場合には、それぞれ、1の制御情報が付加されたエンコードデータの挿入又は破棄を行うことで、アンダーフロー又はオーバーフローが生じることを抑制する。
ここで、音響データにおいて、無音部分や、ゲイン(レベル)が極めて小さい部分については、そのような部分のエンコードデータの直後に、そのエンコードデータ(のコピー)を挿入する処理や、そのエンコードデータを破棄する処理を行っても、その挿入や破棄は、感知されにくい。
通信装置12では、そのような無音部分やゲインが極めて低い部分のエンコードデータについては、制御情報生成部52において、1の制御情報が生成される。また、通信装置21では、データバッファ43がアンダーフロー又はオーバーフローを起こしそうな場合には、データ制御部61において、無音部分やゲインが極めて低い部分のエンコードデータの挿入又は破棄が行われる。その結果、ユーザが音響を聴いたときに、音質の劣化をほとんど感じさせることなく、データバッファ43のアンダーフロー及びオーバーフローを抑制することができる。
なお、挿入や破棄を行っても感知されにくい音響データとしては、上述したように、無音部分や、ゲインが極めて小さい部分があるが、音響データにおいて、無音部分や、ゲインが極めて小さい部分の発生頻度は低い。すなわち、無音部分や、ゲインが極めて小さい部分は、例えば、曲間等の限定的な箇所でしか発生しない。
但し、挿入や破棄を行っても感知されにくいことがある音響データとしては、無音部分や、ゲインが極めて小さい部分の他、例えば、波の音や、ホワイトノイズ、音声の子音部、シンバルやマラカス等の楽器音等の、ランダム性が強く、トーナリティが小さい音響データ、すなわち、時間的な非連続性が高い音響データがある。
これらの音響データを、挿入や破棄の対象とすることで、ユーザに音質の劣化をほとんど感じさせることなく、ある程度の頻度で、音響データの挿入や破棄を行うことが可能となる。
図9、図10、図11、及び、図12は、挿入及び破棄が感知されにくい音響データの例を示す図である。
すなわち、図9は、無音、ゲインが極めて小さい音の音響データの時間波形(上側)と周波数分布(下側)の例を示している。
図10は、波の音、ホワイトノイズの音響データの時間波形(上側)と周波数分布(下側)の例を示している。
図11は、音声の子音部の音響データの時間波形(上側)と周波数分布(下側)の例を示している。
図12は、シンバルやマラカス等の楽器の音の音響データの時間波形(上側)と周波数分布(下側)の例を示している。
図9ないし図12の音響データについては、ランダム性が強いことを確認することができる。
このように、ランダム性が強い音響データは、微小な区間に挿入や破棄が行われても、(聴覚で)感知されにくい。そのため、制御情報生成部52では、ランダム性が強い音響データに対応するエンコードデータに対しては、挿入及び破棄を許可する旨を表す1の制御情報が生成される。
図13は、音声の母音部の音響データの時間波形(上側)と周波数分布(下側)の例を示している。
図13に示すように、音声の母音部の音響データはランダム性が強くなく、微小な区間であっても、挿入や破棄が行われると、感知されやすい。
図13に示したような、ランダム性が強くない音声の母音部の音響データに対応するエンコードデータに対しては、制御情報生成部52では、挿入及び破棄を禁止する旨を表す0の制御情報が生成される。
なお、ランダム性が強い音響データの挿入や破棄を行っても感知されにくい、という非感知性の効果は、挿入や破棄を行う音響データの時間長に依存する。
本件発明者が行った実験によれば、非感知性の効果が有効である音響データの時間長は、数ミリ秒程度の微小な区間であり、ランダム性が強い音響データであっても、例えば、10ミリ秒程度を超える場合には、挿入や破棄を行った場合に、音切れが感知されやすくなることが確認されている。
したがって、制御情報を付加するエンコードデータは、数ミリ秒以下の時間長のフレームサイズの音響データに対応するエンコードデータであることが望ましい。
また、制御情報を付加するエンコードデータが、数ミリ秒以下の時間長のフレームサイズの音響データに対応するエンコードデータであっても、そのエンコードデータの挿入や破棄が連続して行われる場合には、挿入や破棄を行う音響データの時間長が、トータルで10ミリ秒程度を超え、非感知性の効果が有効でなくなることがある。
したがって、挿入及び破棄を許可する旨を表す1の制御情報を生成する区間が、10ミリ秒程度を超えて連続しないように、制御情報の生成を制限するか、又は、そのような制限を行わない場合には、挿入や破棄が行われる区間が、10ミリ秒程度を超えて連続しないように、エンコードデータの挿入や破棄を制限することが望ましい。
<データの挿入>
図14は、受信側である通信装置21で行われるデータ(エンコードデータ)の挿入を説明する図である。
通信装置21では、データバッファ43の蓄積量が減少し、アンダーフローが起こりそうな場合、データ制御部61は、1の制御情報が付加されたエンコードデータの挿入として、そのエンコードデータのコピーを行うことで、データバッファ43の蓄積量を増加させる。
図14は、データバッファ43の蓄積量の変動の例を示す図である。
通信装置12から通信装置21への音響データ(をエンコードしたエンコードデータ)の送信が開始されると、通信装置21では、エンコードデータに、1(〇)又は0(×)の制御情報が付加された制御情報付きデータが、データバッファ43に記憶されていく。
図14では、データバッファ43に、制御情報付きデータが記憶されていき、そのデータバッファ43の蓄積量が、(データバッファ43の)容量の60%にまで増加した時刻T0において、データバッファ43からの制御情報付きデータにおけるエンコードデータの読み出しが開始されている。
なお、時刻T0では、制御情報付きデータData#1,Data#2,Data#3,Data#4,Data#5,Data#6が、データバッファ43に記憶されている。
また、制御情報付きデータData#1ないしData#6における制御情報は、それぞれ、1(〇),1(〇),1(〇),0(×),0(×),1(〇)になっている。
ここで、制御情報付きデータData#iにおけるエンコードデータも、適宜、制御情報付きデータData#iと同様に、エンコードデータData#iと記載する。
データバッファ43から読み出されたエンコードデータは、データ出力部62に供給され、データ出力部62において、デコードされた後、LPCMバッファ45を介して、出力装置22に出力される。
時刻T0でのデータバッファ43からのエンコードデータの読み出しの開始後、何らかの原因で、通信装置21において、通信装置12からの制御情報付きデータを受信することができない場合、データバッファ43には、制御情報付きデータが供給されないが、データバッファ43からのエンコードデータの読み出しは、続行される。
したがって、データバッファ43の蓄積量は、データバッファ43から読み出され、データ出力部62でデコードされたエンコードデータ(を含む制御情報付きデータ)の分だけ減少する。
図14では、時刻T1(>T0)において、エンコードデータData#1及びData#2が、データバッファ43から読み出され、データバッファ43の蓄積量は、容量の40%に減少している。
通信装置21において、データバッファ43の蓄積量が、アンダーフローを防止するための蓄積量の閾値(以下、下限閾値ともいう)、例えば容量の40%(以下)に減少すると、データ制御部61は、データバッファ43のアンダーフローに起因する音切れを防止するために、制御情報に基づくデータの使用方法の制御として、制御情報に基づく制御情報付きデータ(に含まれるエンコードデータ)の挿入を行う。
すなわち、データ制御部61は、時刻T1において、データバッファ43から次に読み出すべきエンコードデータData#3を読み出し、データ出力部62に供給する。但し、エンコードデータData#3に付加されている制御情報は、挿入及び破棄を許可する旨を表す1(〇)になっているので、データ制御部61は、エンコードデータData#3をそのままコピーする形で、データバッファ43に保持させる。
そのため、次の時刻T1+1では、データバッファ43から次に読み出すべきエンコードデータは、再び、エンコードデータData#3になる。
いま、通信装置21から出力装置22に対して、音響データを安定的に供給するために、データバッファ43の蓄積量として適切な値(以下、基準値ともいう)が、例えば、データバッファ43の容量の60%であるとすると、時刻T1+1では、データバッファ43の蓄積量は、基準値である容量の60%に復帰していない。データ制御部61は、データバッファ43の蓄積量が下限閾値以下になった後は、その蓄積量が基準値に復帰するまで、制御情報に基づくエンコードデータの挿入を続行する。
すなわち、時刻T1+1において、データ制御部61は、エンコードデータData#3を、データバッファ43から読み出し、データ出力部62に供給するが、そのエンコードデータData#3に付加されている制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっているので、再度、エンコードデータData#3をそのままコピーする形で、データバッファ43に保持させる。
その後、通信装置21が、通信装置12からの制御情報付きデータを受信することができるようになり、制御情報付きデータData#7を受信したこととすると、その制御情報付きデータData#7が、データバッファ43に新たに記憶される。
エンコードデータData#3が、データバッファ43にそのまま保持されるとともに、制御情報付きデータData#7が、データバッファ43に新たに記憶されることで、データバッファ43の蓄積量は増加する。
但し、図14では、制御情報付きデータData#7が、データバッファ43に新たに記憶されても、まだ、データバッファ43の蓄積量は、基準値(容量の60%)に復帰していない。
また、データバッファ43から次に読み出すべきエンコードデータは、再び、エンコードデータData#3になっている。
したがって、データ制御部61は、エンコードデータData#3を、データバッファ43から読み出し、データ出力部62に供給する。また、エンコードデータData#3に付加されている制御情報は、挿入及び破棄を許可する旨を表す1(〇)になっているので、データ制御部61は、エンコードデータData#3をそのままコピーする形で、データバッファ43に保持させる。
その後、図14では、時刻T1+2において、通信装置21が、通信装置12からの制御情報付きデータData#8を受信し、その制御情報付きデータData#8が、データバッファ43に新たに記憶されている。
図14では、制御情報付きデータData#8が、データバッファ43に新たに記憶されることで、データバッファ43の蓄積量が、基準値(容量の60%)に復帰している。
以上のように、データバッファ43の蓄積量が、基準値に復帰した場合には、データバッファ43から次に読み出すべきエンコードデータData#3は、データバッファ43から読み出され、データ出力部62に供給された後、データバッファ43には保持されない(破棄される)。
なお、図14では、説明の単純化のために、エンコードデータData#3の挿入を2回連続して行い、トータルで、エンコードデータData#3を、データバッファ43から3回連続で読み出してデコードすることとした。
実際には、例えば、数十ないし数百フレーム程度の区間に対応するエンコードデータのうちの1フレーム程度の区間に対応するエンコードデータの割合で、エンコードデータの挿入を行うように、データ出力部61による制御情報に基づくデータの使用方法の制御を制限することにより、ユーザに違和感を感じさせることなく、データバッファ43のアンダーフローに起因する音切れを抑制することができる。
すなわち、データバッファ43の蓄積量が下限閾値以下になり、基準値に復帰していない場合に、制御情報が挿入及び破棄を許可する旨を表す1(〇)になっているからといって、その制御情報が付加されたエンコードデータの挿入は、必ずしも行う必要はなく、所定の条件が満たされるときのみ行うことができる。
具体的には、挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの挿入は、多くても、例えば、数十ないし数百フレーム程度等の所定のフレーム数の音響データに対応するエンコードデータおきに行うことができる。
挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの挿入を、多くても、所定のフレーム数の音響データに対応するエンコードデータおきに行うことは、エンコードデータの挿入又は破棄が行われてから、所定のフレーム数の音響データに対応するエンコードデータが、データバッファ43から読み出されるまで、エンコードデータの挿入を制限することにより行うことができる。
すなわち、エンコードデータの挿入又は破棄が前回行われてから、エンコードデータの挿入又は破棄が行われずに、所定のフレーム数の音響データに対応するエンコードデータが、データバッファ43から読み出されたことを所定の条件(以下、回数条件ともいう)として、少なくとも、回数条件が満たされる場合に、挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの挿入を行うことにより、エンコードデータの挿入を、多くても、所定のフレーム数の音響データに対応するエンコードデータおきに行うように制限することができる。
回数条件によれば、エンコードデータの挿入を行うレート(頻度)を調整することができる。回数条件は、例えば、データバッファ43の蓄積量を、単位時間あたり、どの程度調整するか等によって設定することができる。
なお、ここでは、通信装置21において、データの挿入として、通信装置12から送信されてきた音響データ(をエンコードしたエンコードデータ)の挿入を行うこととしたが、データの挿入としては、通信装置12から送信されてきた音響データを挿入する他、通信装置21で、挿入や破棄を行っても感知されにくい音響データ、すなわち、例えば、無音データや雑音データ等を、挿入用のデータとして予め用意しておき、その挿入用のデータを挿入することができる。
すなわち、データ制御部61のデータの挿入において、通信装置12から送信されてきた音響データに挿入するデータは、その音響データ(のコピー)である必要はなく、別途用意された挿入用のデータであっても良い。
<データの破棄>
図15は、受信側である通信装置21で行われるエンコードデータの破棄を説明する図である。
通信装置21では、データバッファ43の蓄積量が増加し、オーバーフローが起こりそうな場合、データ制御部61は、1の制御情報が付加されたエンコードデータのデータバッファ43からの読み出しをスキップすることで、そのエンコードデータをデータバッファ43から破棄し、データバッファ43の蓄積量を減少させる。
図15は、データバッファ43の蓄積量の変動の例を示す図である。
通信装置12から通信装置21への音響データ(をエンコードしたエンコードデータ)の送信が開始されると、通信装置21では、エンコードデータに、1(〇)又は0(×)の制御情報が付加された制御情報付きデータが、データバッファ43に記憶されていく。
図15では、データバッファ43に、制御情報付きデータが記憶されていき、時刻T0に、データバッファ43の蓄積量が、容量の60%にまで増加している。
時刻T0では、少なくとも、制御情報付きデータData#1ないしData#6が、データバッファ43に記憶されている。
また、制御情報付きデータData#1ないしData#6における制御情報は、それぞれ、1(〇),0(×),1(〇),0(×),0(×),1(〇)になっている。
データバッファ43の蓄積量が、基準値である容量の60%にまで増加すると、データバッファ43からの制御情報付きデータにおけるエンコードデータの読み出しが開始される。図15では、データバッファ43からのエンコードデータの読み出しを開始する直前に、何らかの原因で、通信装置12から通信装置21に、連続して制御情報付きデータが送信され、時刻T1において、データバッファ43の蓄積量が急激に増加し、オーバーフローを防止するための蓄積量の閾値(以下、上限閾値ともいう)である、例えば、容量の80%に到達している。
ここで、図15では、データバッファ43の蓄積量が基準値にまで増加した後、最初に読み出されるべき制御情報付きデータData#1(におけるエンコードデータ)が、データバッファ43から読み出される前に、制御情報付きデータが、データバッファ43にさらに供給されることで、時刻T1において、少なくとも、制御情報付きデータData#1ないしData#6の他に、制御情報付きデータData#7,Data#8,Data#9,Data#10が、データバッファ43に記憶されている。
制御情報付きデータData#7ないしData#10における制御情報は、それぞれ、0(×),1(〇),0(×),1(〇)になっている。
通信装置21において、データバッファ43の蓄積量が上限閾値(以上)になって、オーバーフローを起こしそうになると、そのオーバーフローに起因する音切れを防止するために、データ制御部61は、制御情報に基づくデータの使用方法の制御として、制御情報に基づく制御情報付きデータ(に含まれるエンコードデータ)の破棄を行う。
すなわち、時刻T1において、制御情報付きデータData#1ないしData#10が少なくとも記憶されたデータバッファ43から次に読み出すべきエンコードデータは、(制御情報付きデータData#1に含まれる)エンコードデータData#1であるが、そのエンコードデータData#1に付加されている制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっているので、データ制御部61は、データバッファ43からのエンコードデータData#1の読み出しをスキップし、エンコードデータData#1を破棄する。
データバッファ43からのエンコードデータData#1の読み出しがスキップされた場合、次に読み出すべきエンコードデータは、エンコードデータData#2であり、そのエンコードデータData#2に付加されている制御情報は、挿入及び破棄を禁止する旨を表す0(×)になっている。
したがって、エンコードデータData#2を破棄することは許されないため、データ制御部61は、時刻T1において、(制御情報付きデータData#2に含まれる)エンコードデータData#2を、データバッファ43から読み出し、データ出力部62に供給する。データ出力部62では、データバッファ43からのエンコードデータData#2がデコードされ、LPCMバッファ45を介して、出力装置22に出力される。
エンコードデータData#2が、データバッファ43から読み出された後の時刻T1+1では、データバッファ43から次に読み出すべきエンコードデータは、エンコードデータData#3となる。
また、時刻T1+1では、データバッファ43の蓄積量は、基準値である容量の60%を下回っていない。データ制御部61は、データバッファ43の蓄積量が上限閾値以上になった後は、その蓄積量が基準値に復帰するまで、制御情報に基づくエンコードデータの破棄を続行する。
時刻T1+1では、次に読み出すべきエンコードデータData#3に付加されている制御情報は、挿入及び破棄を許可する旨を表す1(〇)になっている。
そこで、データ制御部61は、データバッファ43からのエンコードデータData#3の読み出しをスキップし、エンコードデータData#3を破棄する。
データバッファ43からのエンコードデータData#3の読み出しがスキップされた場合、次に読み出すべきエンコードデータは、エンコードデータData#4であり、そのエンコードデータData#4に付加されている制御情報は、挿入及び破棄を禁止する旨を表す0(×)になっている。
したがって、エンコードデータData#4を破棄することは許されないため、データ制御部61は、時刻T1+1において、エンコードデータData#4を、データバッファ43から読み出し、データ出力部62に供給する。データ出力部62では、データバッファ43からのエンコードデータData#4がデコードされ、LPCMバッファ45を介して、出力装置22に出力される。
エンコードデータData#4が、データバッファ43から読み出された後の時刻T1+2では、データバッファ43から次に読み出すべきエンコードデータは、エンコードデータData#5となる。
そして、時刻T1+2では、データバッファ43の蓄積量が、基準値(容量の60%)に復帰している。
以上のように、データバッファ43の蓄積量が、基準値に復帰した場合には、データバッファ43から次に読み出すべきエンコードデータData#5は、そのエンコードデータData#5に付加されている制御情報に関係なく、データバッファ43から読み出され、データ出力部62に供給される。
なお、図15では、説明の単純化のために、連続した時刻T1及びT1+1において、エンコードデータの破棄を行った。
実際には、例えば、数十ないし数百フレーム程度の音響データに対応するエンコードデータのうちの1フレーム程度の音響データに対応するエンコードデータの割合で、エンコードデータの破棄を行うように、データ出力部61による制御情報に基づくデータの使用方法の制御を制限することにより、ユーザに違和感を感じさせることなく、データバッファ43のオーバーフローに起因する音切れを抑制することができる。
すなわち、データバッファ43の蓄積量が上限閾値以上になった後、基準値に復帰していない場合に、制御情報が挿入及び破棄を許可する旨を表す1(〇)になっているからといって、その制御情報が付加されたエンコードデータの破棄は、必ずしも行う必要はなく、所定の条件が満たされるときのみ行うことができる。
具体的には、挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの破棄は、多くても、例えば、数十ないし数百フレーム程度等の所定のフレーム数の音響データに対応するエンコードデータおきに行うことができる。
挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの破棄を、多くても、所定のフレーム数の音響データに対応するエンコードデータおきに行うことは、エンコードデータの破棄が行われてから、所定のフレーム数の音響データに対応するエンコードデータが、データバッファ43から読み出されるまで、エンコードデータの破棄を制限することにより行うことができる。
例えば、図14で説明した回数条件、すなわち、エンコードデータの挿入又は破棄が前回行われてから、エンコードデータの挿入又は破棄が行われずに、所定のフレーム数の音響データに対応するエンコードデータが、データバッファ43から読み出されたという条件が満たされる場合に、挿入及び破棄を許可する旨を表す1になっている制御情報が付加されたエンコードデータの破棄を行うことにより、エンコードデータの破棄を、多くても、所定のフレーム数の音響データに対応するエンコードデータおきに行うことができる。
回数条件によれば、エンコードデータの破棄を行うレートを調整することができる。回数条件は、例えば、図14で説明したように、データバッファ43の蓄積量を、単位時間あたり、どの程度調整するか等によって設定することができる。
<送信処理>
図16は、図7の送信側である通信装置12が行う、音響データを送信する送信処理の例を説明するフローチャートである。
送信処理は、例えば、供給装置11から通信装置12に音響データが供給されると開始される。
ステップS11において、データ生成部51は、供給装置11から供給される音響データが終了したかどうかを判定し、終了していないと判定した場合、データ生成部51は、供給装置11から供給されるLPCMデータを、フレームに分割して、制御情報生成部52に供給し、処理は、ステップS12に進む。
ステップS12では、制御情報生成部52は、データ生成部51からのLPCMデータのフレームから、そのフレームの挿入や破棄が感知される程度を表す感知特徴量を抽出(生成)し、処理は、ステップS13に進む。
ステップS13では、制御情報生成部52は、データ生成部51からのLPCMデータのフレームの感知特徴量と閾値とを比較し、ステップS14又はS15において、その比較結果に応じて、データ生成部51からのLPCMデータのフレームに対応するエンコードデータに対する制御情報を生成する。
すなわち、ステップS13では、制御情報生成部52は、データ生成部51からのLPCMデータのフレームの感知特徴量が、感知特徴量の閾値未満(又は閾値以下)であるかどうかを判定する。
ステップS13において、感知特徴量が閾値未満であると判定された場合、すなわち、データ生成部51からのLPCMデータのフレームが、例えば、ノイズ性の音響データであり、その挿入や破棄が感知されにくい場合、処理は、ステップS14に進む。
ステップS14では、制御情報生成部14は、データ生成部51からのLPCMデータのフレームに対応するエンコードデータに対して、挿入及び破棄を許可する旨を表す1(〇)の制御情報を生成し、データ生成部51に供給して、処理は、ステップS16に進む。
一方、ステップS13において、感知特徴量が閾値未満でないと判定された場合、すなわち、データ生成部51からのLPCMデータのフレームが、例えば、トーン性の音響データであり、その挿入や破棄が感知されにくくない場合、処理は、ステップS15に進む。
ステップS15では、制御情報生成部14は、データ生成部51からのLPCMデータのフレームに対応するエンコードデータに対して、挿入及び破棄を禁止する旨を表す0(×)の制御情報を生成し、データ生成部51に供給して、処理は、ステップS16に進む。
ステップS16では、データ生成部51は、LPCMデータのフレームに対して、制御情報付きデータを生成する。
すなわち、データ生成部51は、LPCMデータのフレームをエンコードし、その結果得られるエンコードデータに、制御情報生成部14からの制御情報を付加することで、制御情報付きデータを生成して、処理は、ステップS16からステップS17に進む。
ステップS17では、データ生成部51は、制御情報付きデータを、データバッファ32に供給して記憶させる。
データバッファ32に記憶された制御情報付きデータは、適宜読み出され、パケット化部33に供給される。
パケット化部33は、データバッファ43から制御情報付きデータが供給されると、ステップS18において、その制御情報付きデータをパケットにパケット化し、通信部34に供給して、処理は、ステップS19に進む。
ステップS19では、通信部34は、パケット化部33からのパケットをRF信号に変調し、無線で送信する。
その後、処理は、ステップS19からステップS11に戻り、以下、同様の処理が繰り返される。
そして、ステップS11において、供給装置11から供給される音響データが終了したと判定された場合、すなわち、送信すべき音響データがない場合、送信処理は終了する。
なお、図16では、説明を簡単にするため、ステップS11ないしS19の処理が、順次行われるように説明をしたが、実際には、ステップS11ないしS17の処理の繰り返しと、ステップS18及びS19の処理の繰り返しとが、並列に行われる。
<受信処理>
図17は、図7の受信側である通信装置21が行う、音響データを受信する受信処理の例を説明するフローチャートである。
ステップS31において、通信部41は、通信部34からパケットのRF信号が送信されてくるのを待って受信し、RF信号からパケットを復調する。そして、通信部41は、パケットを、パケット分解部42に供給して、処理は、ステップS31からステップS32に進む。
ステップS32において、パケット分解部42は、通信部41からのパケットを分解し、そのパケットから、制御情報付きデータを抽出して、処理は、ステップS33に進む。
ステップS33では、パケット分解部42は、制御情報付きデータを、データバッファ43に供給して記憶させ、処理は、ステップS34に進む。
ステップS34では、データ制御部61は、データバッファ43に記憶された制御情報付きデータを、エンコードデータと、そのエンコードデータに付加された制御情報とに分解し、処理は、ステップS35に進む。
ステップS35では、データ制御部61は、データバッファ43の蓄積量を取得し、処理は、ステップS36に進む。
ステップS36では、データ制御部61は、データバッファ43の蓄積量が、ある程度急激な蓄積量の増加や減少があっても、オーバーフローやアンダーフローが生じない適正な範囲内であるかどうか、すなわち、下限閾値以上(又は下限閾値より大)であり、かつ、上限閾値以下(又は上限閾値未満)であるかどうかを判定する。
ステップS36において、データバッファ43の蓄積量が、下限閾値以上で、かつ、上限閾値以下であると判定された場合、処理は、ステップS37に進む。ステップS37では、データ制御部61は、データバッファ43からデータを連続して読み出した回数をカウントする回数カウント値を1だけインクリメントし、処理は、ステップS38に進む。
ステップS38では、データ制御部61は、データバッファ43から、時間的に最も先行する(古い)エンコードデータ(以下、最古のエンコードデータともいう)を読み出し、データ出力部62に供給させて、処理は、ステップS39に進む。
ここで、ステップS38で行われる、データバッファ43からの最古のエンコードデータの読み出しを、以下、通常読み出しともいう。通常読み出しでは、データバッファ43から読み出されたエンコードデータ(を含む制御情報付きデータ)は、データバッファ43から破棄(消去)される。
ステップS39では、データ出力部62は、データバッファ43から供給されるエンコードデータをデコードし、その結果得られるLPCMデータを、LPCMバッファ45を介して、出力装置22に出力して、処理は、ステップS31に戻る。
一方、ステップS36において、データバッファ43の蓄積量が、下限閾値以上でないと判定された場合、すなわち、データバッファ43がアンダーフローを起こしそうな場合、処理は、ステップS40に進む。
ステップS40では、データ制御部61は、データバッファ43に記憶された最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっているかどうかを判定する。
ステップS40において、最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっていないと判定された場合、処理は、ステップS37に進み、以下、上述した処理が行われる。
また、ステップS40において、最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっていると判定された場合、処理は、ステップS41に進む。
ステップS41では、データ制御部61は、回数条件が満たされるかどうか、すなわち、回数カウント値が、回数カウント値の閾値以上(又は閾値より大)であるかどうかを判定する。
ステップS41において、回数カウント値が、閾値以上でないと判定された場合、すなわち、前回のデータ挿入又は破棄が行われてから、通常読み出しが、閾値以上の回数だけ連続して行われておらず、前回のデータ挿入又は破棄が行われてから、それほど間があいていない場合、処理は、ステップS37に進み、以下、上述した処理が行われる。
また、ステップS41において、回数カウント値が、閾値以上であると判定された場合、すなわち、前回のデータ挿入又は破棄が行われてから、通常読み出しが、閾値以上の回数だけ連続して行われ、前回のデータ挿入又は破棄が行われてから、ある程度の間があいている場合、処理は、ステップS42に進む。
ステップS42では、データ制御部61は、図14で説明したように、データバッファ43に記憶された最古のエンコードデータの挿入を行い、処理は、ステップS43に進む。
すなわち、データ制御部61は、最古のエンコードデータを、データバッファ43から読み出し、データ出力部62に供給させるとともに、その最古のエンコードデータのコピーをそのまま、データバッファ43に保持させることにより、最古のエンコードデータの後に、最古のエンコードデータのコピーを挿入する。
ステップS43では、データ制御部61が、回数カウント値を0にリセットして、処理は、ステップS39に進み、以下、上述した処理が行われる。
一方、ステップS36において、データバッファ43の蓄積量が、上限閾値以下でないと判定された場合、すなわち、データバッファ43がオーバーフローを起こしそうな場合、処理は、ステップS44に進む。
ステップS44及びS45では、ステップS40及びS41と同様の処理が行われる。
すなわち、ステップS44では、データ制御部61は、データバッファ43に記憶された最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっているかどうかを判定する。
ステップS44において、最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっていないと判定された場合、処理は、ステップS37に進み、以下、上述した処理が行われる。
また、ステップS44において、最古のエンコードデータに付加された制御情報が、挿入及び破棄を許可する旨を表す1(〇)になっていると判定された場合、処理は、ステップS45に進む。
ステップS45では、データ制御部61は、回数条件が満たされるかどうか、すなわち、回数カウント値が、回数カウント値の閾値以上であるかどうかを判定する。
ステップS45において、回数カウント値が、閾値以上でないと判定された場合、すなわち、回数条件が満たされない場合、処理は、ステップS37に進み、以下、上述した処理が行われる。
また、ステップS45において、回数カウント値が、閾値以上であると判定された場合、すなわち、回数条件が満たされる場合、処理は、ステップS46に進む。
ステップS46では、データ制御部61は、図15で説明したように、データバッファ43に記憶された最古のエンコードデータの破棄を行い、処理は、ステップS47に進む。
すなわち、データ制御部61は、データバッファ43に記憶された最古のエンコードデータを破棄し、2番目に古いエンコードデータを、データバッファ43から読み出して、データ出力部62に供給させる。
ステップS47では、データ制御部61が、回数カウント値を0にリセットして、処理は、ステップS39に進み、以下、上述した処理が行われる。
なお、図17では、説明を簡単にするため、ステップS31ないしS47の処理が、順次行われることとしたが、実際には、ステップS31ないしS34の処理の繰り返しと、ステップS35及びS47の処理の繰り返しとが、並列に行われる。さらに、図17においては、説明を簡単にするため、データバッファ43の蓄積量が下限閾値より小さい場合にのみ、エンコードデータの挿入(ステップS40ないしS43)を行うこととしたが、エンコードデータの挿入は、例えば、図14で説明したように、データバッファ43の蓄積量が下限閾値より小さくなった後、基準値に復帰するまでの間行うことができる。同様に、図17では、データバッファ43の蓄積量が上限閾値より大きい場合にのみ、エンコードデータの破棄(ステップS44ないしS47)を行うこととしたが、エンコードデータの破棄は、例えば、図15で説明したように、データバッファ43の蓄積量が上限閾値より大きくなった後、基準値に復帰するまでの間行うことができる。エンコードデータの挿入や破棄を行うタイミングについては、その他の様々なバリエーションを採用することができる。
以上のように、送信側である通信装置12は、音響データの使用方法を制御する制御情報、すなわち、例えば、データの挿入や削除の許可又は禁止を表すフラグである制御情報を、音響データの感知特徴量に基づいて生成し、音響データ(をエンコードしたエンコードデータ)に付加して送信する。
一方、受信側である通信装置21は、音響データに付加された制御情報に基づいて、音響データの使用方法を制御し、その制御情報に基づいて使用方法が制御された音響データを出力する。すなわち、通信装置21では、例えば、制御情報とデータバッファ43の蓄積量とに基づいて、データバッファ43に記憶された音響データ(をエンコードしたエンコードデータ)の挿入や破棄を行い、その挿入や破棄が行われた音響データを出力する。
したがって、受信側である通信装置21のデータバッファ43の蓄積量が、適正な範囲内に調整されるとともに、その副次的な効果として、送信側である通信装置12のデータバッファ32の蓄積量も、適正な範囲内に調整される。その結果、データバッファ32や43のオーバーフローやアンダーフローに起因して、受信側の通信装置21から出力装置22への音響データが途切れ、音切れが生じることを抑制することができる。
なお、図16及び図17では、説明を簡単にするために、制御情報として、データの挿入や破棄の許可する旨、又は、禁止する旨を表す1ビットのフラグを採用することとしたが、制御情報としては、図7で説明したように、例えば、完全許可レベル、準許可レベル、準禁止レベル、及び、禁止レベルの4レベル等の、データの挿入や破棄の許可と禁止のレベルを表す情報を採用することができる。
制御情報として、例えば、完全許可レベル、準許可レベル、準禁止レベル、及び、禁止レベルの4レベルを採用する場合、受信側である通信装置21では、例えば、以下のように、データの挿入や破棄を行うことができる。
すなわち、制御情報が完全許可レベルになっている音響データ(をエンコードしたエンコードデータ)については、例えば、データバッファ43の蓄積量が、下限閾値未満である場合、又は、上限閾値より大である場合に、それぞれ、データの挿入又は破棄を行うことができる。
制御情報が準許可レベルになっている音響データについては、例えば、データバッファ43の蓄積量が、下限閾値-A未満である場合、又は、上限閾値+Aより大である場合に、それぞれ、データの挿入又は破棄を行うことができる。ここで、Aは所定の正の値を表す。
制御情報が準禁止レベルになっている音響データについては、例えば、データバッファ43の蓄積量が、A(<下限閾値-A)未満である場合、又は、データバッファ43の容量-A(>上限閾値+A)より大である場合に、それぞれ、データの挿入又は破棄を行うことができる。
制御情報が禁止レベルになっている音響データについては、例えば、データバッファ43の蓄積量にかかわらず、データの挿入及び破棄は、禁止される。
以上のように、制御情報として、データの挿入や破棄の許可と禁止のレベルを表す情報を採用する場合には、受信側である通信装置21において、データの挿入や破棄を、柔軟に行うことができる。
ところで、図16で説明したように、制御情報生成部52は、音響データの感知特徴量と閾値との比較結果に基づいて、データの挿入及び破棄を許可又は禁止する制御情報を生成する。
したがって、感知特徴量の閾値の設定によって、制御情報の生成を制御することができる。
以下、感知特徴量の閾値を設定する閾値設定処理について説明する。
<閾値設定処理>
図18は、第1の閾値設定処理の例を説明するフローチャートである。
第1の閾値設定処理は、送信側である通信装置12で行われる。
ステップS61において、通信装置12の制御情報生成部52は、送信側である通信装置12のデータバッファ32の蓄積量を取得し、処理は、ステップS62に進む。
ステップS62では、制御情報生成部52は、送信側のデータバッファ32の蓄積量が、ある程度急激な蓄積量の増加や減少があっても、オーバーフローやアンダーフローが生じない適正な適正範囲内であるかどうかを判定する。
ここで、データバッファ32の蓄積量の適正範囲の最小値、及び、最大値を、それぞれ、適正範囲下限値、及び、適正範囲上限値ともいう。適正範囲下限値、及び、適正範囲上限値としては、例えば、上述の下限閾値以上の値、及び、上限閾値以下の値を、それぞれ採用することができる。
ステップS62では、データバッファ32の蓄積量が、適正範囲下限値以上(又は適正範囲下限値より大)であり、かつ、適正範囲上限値以下(又は適正範囲上限値未満)であるかどうかが判定される。
ステップS62において、データバッファ32の蓄積量が、適正範囲内でないと判定された場合、すなわち、急激な蓄積量の増加や減少によって、送信側のデータバッファ32のオーバーフローやアンダーフローが生じやすい場合、処理は、ステップS63に進む。
ステップS63では、制御情報生成部52は、感知特徴量の閾値を、大きい値であるデフォルト値+Dに設定し、処理は、ステップS61に戻る。ここで、Dは、所定の正の値を表す。
以上のように、データバッファ32の蓄積量が、適正範囲内でなく、データバッファ32のオーバーフローやアンダーフローが生じやすい場合には、感知特徴量の閾値が、大きい値であるデフォルト値+Dに設定される。その結果、データバッファ32のオーバーフローやアンダーフローを抑制すべく、データの挿入及び破棄の許可を表す制御情報が生成されやすくなる。
一方、ステップS62において、データバッファ32の蓄積量が、適正範囲内であると判定された場合、処理は、ステップS64に進む。
ステップS64では、制御情報生成部52は、データバッファ32の蓄積量が、データバッファ32の蓄積量の適正値(例えば、適正範囲の中央値)に等しい(ほぼ等しい、あるいは、等しいとみなすことができる場合を含む)かどうかを判定する。
ステップS64において、データバッファ32の蓄積量が、データバッファ32の蓄積量の適正値に等しいと判定された場合、処理は、ステップS65に進む。
ステップS65では、制御情報生成部52は、感知特徴量の閾値を、小さい値であるデフォルト値-Dに設定し、処理は、ステップS61に戻る。
以上のように、送信側のデータバッファ32の蓄積量が、適正値に等しく、データバッファ32のオーバーフローやアンダーフローが生じにくい場合には、感知特徴量の閾値が、小さい値であるデフォルト値-Dに設定される。その結果、受信側である通信装置21においてデータの挿入や破棄が頻繁に行われることを抑制すべく、データの挿入及び破棄の禁止を表す制御情報が生成されやすくなる。
また、ステップS64において、データバッファ32の蓄積量が、データバッファ32の蓄積量の適正値に等しくないと判定された場合、すなわち、例えば、データバッファ32の蓄積量が、適正範囲内ではあるが、適正範囲下限値、又は、適正範囲上限値に近い値である場合、処理は、ステップS66に進む。
ステップS66では、制御情報生成部52は、感知特徴量の閾値を、デフォルト値に設定し、処理は、ステップS61に戻る。
以上のように、送信側のデータバッファ32の蓄積量が、適正値に等しくはないが、適正範囲内であり、データバッファ32のオーバーフローやアンダーフローが生じるおそれがそれほどでもない場合には、感知特徴量の閾値が、デフォルト値に設定される。
図18の閾値設定処理では、送信側のデータバッファ32の蓄積量に応じて、感知特徴量の閾値が設定されるので、そのような閾値と感知特徴量との比較結果に基づく制御情報の生成は、送信側のデータバッファ32の蓄積量に応じて行われている、ということができる。
なお、図18では、説明を簡単にするため、感知特徴量の閾値を、デフォルト値、デフォルト値+D、及び、デフォルト値-Dの3個の値のうちのいずれかに設定することとしたが、感知特徴量の閾値は、データバッファ32の蓄積量が適正値から離れている程度に応じて連続的に変化する値に設定することができる。
図19は、第2の閾値設定処理の例を説明するフローチャートである。
第2の閾値設定処理は、送信側である通信装置12と、受信側である通信装置21との両方で行われる。(第2の)閾値設定処理のうちの、通信装置12で行われる処理を、(第2の)送信側閾値設定処理ともいい、通信装置21で行われる処理を、(第2の)受信側閾値設定処理ともいう。
まず、受信側である通信装置21で行われる第2の受信側閾値設定処理について説明する。
第2の受信側閾値設定処理では、ステップS81において、通信装置21のデータ制御部61が、受信側のデータバッファ43の蓄積量を取得し、処理は、ステップS82に進む。
ステップS82では、データ制御部61は、受信側のデータバッファ43の蓄積量が、ある程度急激な蓄積量の増加や減少があっても、オーバーフローやアンダーフローが生じない適正な適正範囲の最小値である適正範囲下限値(下限閾値)以上であるかどうかを判定する。
ステップS82において、データバッファ43の蓄積量が、適正範囲下限値以上でないと判定された場合、すなわち、データバッファ43の蓄積量が少なく、データバッファ43のアンダーフローが生じやすい場合、処理は、ステップS83に進む。
ステップS83では、データ制御部61は、通信部41に、データの送信を要求するメッセージとしてのデータ送信要求を、送信側である通信装置12に対して送信させ、処理は、ステップS81に戻る。
また、ステップS82において、データバッファ43の蓄積量が、適正範囲下限値以上であると判定された場合、処理は、ステップS84に進む。
ステップS84では、データ制御部61は、受信側のデータバッファ43の蓄積量が、適正範囲の最大値である適正範囲上限値(上限閾値)以下であるかどうかを判定する。
ステップS84において、データバッファ43の蓄積量が、適正範囲上限値以下でないと判定された場合、すなわち、データバッファ43の蓄積量が多く、データバッファ43のオーバーフローが生じやすい場合、処理は、ステップS85に進む。
ステップS85では、データ制御部61は、通信部41に、データの送信の停止を要求するメッセージとしてのデータ停止要求を、送信側である通信装置12に対して送信させ、処理は、ステップS81に戻る。
また、ステップS84において、データバッファ43の蓄積量が、適正範囲上限値以下であると判定された場合、すなわち、データバッファ43の蓄積量が、適正範囲内である場合、データ制御部61は、データ送信要求及びデータ停止要求のいずれも送信せずに、処理は、ステップS81に戻る。
次に、送信側である通信装置12で行われる第2の送信側閾値設定処理について説明する。
通信装置12の通信部34は、通信装置21から、データ送信要求、又は、データ停止要求が送信されてくると、そのデータ送信要求、又は、データ停止要求を受信し、制御情報生成部52に供給する。
また、通信部34は、通信装置21からのデータ送信要求、又は、データ停止要求に応じて、データを送信し、又は、データの送信を一時停止する。
そして、第2の送信側閾値設定処理では、ステップS71において、通信装置12の制御情報生成部52は、最新の所定の区間内に、通信装置21から送信されてきたデータ送信要求、及び、データ停止要求それぞれの頻度(回数)を取得し、処理は、ステップS72に進む。
ステップS72では、制御情報生成部52は、データ送信要求、又は、データ停止要求の頻度が、その頻度の閾値より大(又は以上)であるかどうかを判定する。
ステップS72において、データ送信要求、又は、データ停止要求が、閾値より大であると判定された場合、処理は、ステップS73に進む。
ステップS73では、制御情報生成部52は、感知特徴量の閾値を、大きい値であるデフォルト値+Dに設定し、処理は、ステップS71に戻る。
以上のように、受信側のデータバッファ43の蓄積量が、適正範囲下限値以上でないか、又は、適正範囲上限値以上であるために、受信側のデータバッファ43のオーバーフローやアンダーフローが生じやすく、データ送信要求、又は、データ停止要求が高頻度で送信されてきている場合には、感知特徴量の閾値が、大きい値であるデフォルト値+Dに設定される。その結果、受信側のデータバッファ43のオーバーフローやアンダーフローを抑制すべく、データの挿入及び破棄の許可を表す制御情報が生成されやすくなる。
一方、ステップS72において、データ送信要求、又は、データ停止要求の頻度が閾値より大でないと判定された場合、処理は、ステップS74に進む。
ステップS74では、制御情報生成部52は、データ送信要求、及び、データ停止要求の頻度が、0に等しい(ほぼ等しい、あるいは、等しいとみなすことができる場合を含む)かどうかを判定する。
ステップS74において、データ送信要求、及び、データ停止要求の頻度が0に等しいと判定された場合、処理は、ステップS75に進む。
ステップS75では、制御情報生成部52は、感知特徴量の閾値を、小さい値であるデフォルト値-Dに設定し、処理は、ステップS71に戻る。
以上のように、データ送信要求、及び、データ停止要求の頻度が0に等しく、受信側のデータバッファ43のオーバーフローやアンダーフローが生じにくい場合には、感知特徴量の閾値が、小さい値であるデフォルト値-Dに設定される。その結果、受信側である通信装置21においてデータの挿入や破棄が頻繁に行われることを抑制すべく、データの挿入及び破棄の禁止を表す制御情報が生成されやすくなる。
また、ステップS74において、データ送信要求、及び、データ停止要求の少なくとも一方の頻度が、0に等しくないと判定された場合、すなわち、例えば、データ送信要求、又は、データ停止要求の頻度が、閾値より大ではないが、閾値に近い値である場合、処理は、ステップS76に進む。
ステップS76では、制御情報生成部52は、感知特徴量の閾値を、デフォルト値に設定し、処理は、ステップS71に戻る。
以上のように、データ送信要求、又は、データ停止要求の頻度が、0に等しくはないが、閾値以下であり、データバッファ32のオーバーフローやアンダーフローが生じるおそれがそれほどでもない場合には、感知特徴量の閾値が、デフォルト値に設定される。
図19の閾値設定処理では、データ送信要求、又は、データ停止要求の頻度に応じて、感知特徴量の閾値が設定されるので、そのような閾値と感知特徴量との比較結果に基づく制御情報の生成は、データ送信要求、又は、データ停止要求の頻度に応じて行われている、ということができる。
さらに、図19の閾値設定処理では、データ送信要求、及び、データ停止要求は、受信側のデータバッファ43の蓄積量に応じて、通信装置21から通信装置12に送信されるので、制御情報の生成は、受信側のデータバッファ43の蓄積量に応じて行われている、ということもできる。
なお、図19では、説明を簡単にするため、感知特徴量の閾値を、デフォルト値、デフォルト値+D、及び、デフォルト値-Dの3個の値のうちのいずれかに設定することとしたが、感知特徴量の閾値は、データ送信要求、又は、データ停止要求の頻度、ひいては、受信側のデータバッファ43の蓄積量に応じて連続的に変化する値に設定することができる。
図20は、第3の閾値設定処理の例を説明するフローチャートである。
第3の閾値設定処理は、第2の閾値設定処理と同様に、送信側である通信装置12で行われる(第3の)送信側閾値設定処理と、受信側である通信装置21で行われる(第3の)受信側閾値設定処理とも含む。
まず、受信側である通信装置21で行われる第3の受信側閾値設定処理について説明する。
第3の受信側閾値設定処理では、ステップS111において、通信装置21の通信部41が、通信装置12(の通信部34)からパケット(のRF信号)が送信されてくるのを待って受信し、処理は、ステップS112に進む。
ステップS112では、通信部41は、通信装置12からのパケットを正常受信することができたかどうかを判定する。
ステップS112において、通信装置12からのパケットを正常受信することができなかったと判定された場合、処理は、ステップS113に進む。
ステップS113では、通信部41は、パケットを正常受信することができなかった旨を表すメッセージであるNACK(Negative Acknowledgement)を、通信装置12に送信して、処理は、ステップS111に戻る。
また、ステップS112において、通信装置12からのパケットを正常受信することができたと判定された場合、処理は、ステップS114に進む。
ステップS114では、通信部41は、パケットを正常受信することができた旨を表すメッセージであるACK(Acknowledgement)を、通信装置12に送信して、処理は、ステップS111に戻る。
次に、送信側である通信装置12で行われる第3の送信側閾値設定処理について説明する。
通信装置12の通信部34は、通信装置21から、ACK、又は、NACKが送信されてくると、そのACK、又は、NACKを受信し、制御情報生成部52に供給する。
また、通信部34は、通信装置21からのACK、又は、NACKに応じて、次のパケット(のRF信号)を送信し、又は、直前に送信したパケットを再送する。
そして、第3の送信側閾値設定処理では、ステップS101において、通信装置12の制御情報生成部52は、最新の所定の区間内に、通信装置21(の通信部41)から送信されてきたACK、及び、NACKそれぞれの頻度(回数)を取得し、処理は、ステップS102に進む。
ステップS102では、制御情報生成部52は、ACK、又は、NACKの頻度が、その頻度の閾値THより大(又は以上)であるかどうかを判定する。
ステップS102において、ACK、又は、NACKが、閾値THより大であると判定された場合、処理は、ステップS103に進む。
ステップS103では、制御情報生成部52は、感知特徴量の閾値を、大きい値であるデフォルト値+Dに設定し、処理は、ステップS101に戻る。
以上のように、ACK、又は、NACKの頻度が多く、すなわち、受信側である通信装置21において、パケットを正常受信することができた頻度、又は、パケットを正常受信することができなかった頻度が多く、したがって、受信側のデータバッファ43の蓄積量が大、又は、小であり、受信側のデータバッファ43のオーバーフローやアンダーフローが生じやすいと予測される場合には、感知特徴量の閾値が、大きい値であるデフォルト値+Dに設定される。その結果、受信側のデータバッファ43のオーバーフローやアンダーフローを抑制すべく、データの挿入及び破棄の許可を表す制御情報が生成されやすくなる。
一方、ステップS102において、ACK、及び、NACKの頻度が閾値THより大でないと判定された場合、処理は、ステップS104に進む。
ステップS104では、制御情報生成部52は、ACKの頻度が、その頻度の適正値に等しい(ほぼ等しい、あるいは、等しいとみなすことができる場合を含む)かどうかを判定する。
ここで、ACKの頻度の適正値とは、例えば、受信側のデータバッファ43の蓄積量が適正値に等しくなる程度に、通信装置21でパケットが正常受信されているときのACKの頻度であり、ACKの頻度の閾値THより小さい値である。
ステップS104において、ACKの頻度が適正値に等しいと判定された場合、処理は、ステップS105に進む。
ステップS105では、制御情報生成部52は、感知特徴量の閾値を、小さい値であるデフォルト値-Dに設定し、処理は、ステップS101に戻る。
以上のように、ACKの頻度が適正値に等しく、受信側のデータバッファ43の蓄積量が適正値になっており、したがって、受信側のデータバッファ43のオーバーフローやアンダーフローが生じにくいと予測される場合には、感知特徴量の閾値が、小さい値であるデフォルト値-Dに設定される。その結果、制御情報生成部52では、受信側である通信装置21においてデータの挿入や破棄が頻繁に行われることを抑制すべく、データの挿入及び破棄の禁止を表す制御情報が生成されやすくなる。
また、ステップS104において、ACKの頻度が適正値に等しくないと判定された場合、すなわち、例えば、ACKの頻度が、閾値THより大ではないが、適正値に等しくもない場合、処理は、ステップS106に進む。
ステップS106では、制御情報生成部52は、感知特徴量の閾値を、デフォルト値に設定し、処理は、ステップS101に戻る。
以上のように、ACKの頻度が適正値に等しくはないが、閾値TH以下であり、データバッファ32のオーバーフローやアンダーフローが生じるおそれがそれほどでもないと予測される場合には、感知特徴量の閾値が、デフォルト値に設定される。
図20の閾値設定処理では、ACK、又は、NACKの頻度に応じて、感知特徴量の閾値が設定されるので、そのような閾値と感知特徴量との比較結果に基づく制御情報の生成は、ACK、又は、NACKの頻度に応じて行われている、ということができる。
また、ACK、及び、NACKの頻度は、通信装置12から通信装置21に、パケット(のRF信号)が送信される無線の伝送路の状態を表している、ということができる。
したがって、図20の閾値設定処理で設定される閾値と、感知特徴量との比較結果に基づく制御情報の生成は、通信装置12と通信装置21との間の無線の伝送路の状態に応じて行われている、ということもできる。
なお、図20では、説明を簡単にするため、感知特徴量の閾値を、デフォルト値、デフォルト値+D、及び、デフォルト値-Dの3個の値のうちのいずれかに設定することとしたが、感知特徴量の閾値は、ACK、又は、NACKの頻度、ひいては、無線の伝送路の状態に応じて連続的に変化する値に設定することができる。
<制御情報付きデータの生成処理>
図21は、図7の通信装置12で行われる、制御情報付きデータの生成処理の例を説明するフローチャートである。
通信装置12では、図16の送信処理で説明したように、音響データから、制御情報付きデータを生成して、即座に、通信装置21に送信することができる。
その他、通信装置12では、音響データから、制御情報付きデータを、あらかじめ生成しておき、その、あらかじめ生成した制御情報付きデータを、必要なタイミングで、通信装置21に送信することができる。
図21は、制御情報付きデータをあらかじめ生成しておく場合に通信装置12で行われる、その制御情報付きデータの生成処理を説明するフローチャートである。
なお、ここでは、供給装置11において、音響データ(LPCMデータ)が、例えば、ファイルの形で、図示せぬ記憶媒体に記憶(記録)されていることとする。
ステップS121において、データ生成部51は、供給装置11の図示せぬ記憶媒体に記憶されたファイルから、1フレーム分のLPCMデータの読み出しを行い、処理は、ステップS122に進む。
ステップS122では、データ生成部51は、供給装置11に記憶されたファイルのLPCMデータが終了したかどうかを判定する。
ステップS122において、供給装置11に記憶されたファイルのLPCMデータが終了していないと判定された場合、データ生成部51は、供給装置11からのLPCMデータを、制御情報生成部52に供給し、処理は、ステップS123に進む。
以下、ステップS123ないしS127では、図17のステップS12ないしS16とそれぞれ同様の処理が行われ、データ生成部51において、制御情報付きデータが生成される。
そして、ステップS128において、データ生成部51は、供給装置11の図示せぬ記憶媒体のファイル(LPCMデータのファイルとは別の新たなファイル)に、制御情報付きデータを書き込み、処理は、ステップS121に戻る。
以下、ステップS121ないしS128の処理が繰り返され、ステップS122において、供給装置11に記憶されたファイルのLPCMデータが終了したと判定された場合、生成処理は終了する。
図21の生成処理で生成された制御情報付きデータが、供給装置11から通信装置12に供給される場合には、通信装置12において、供給装置11からの制御情報付きデータは、データ生成部51を介して、データバッファ32に一時記憶され、その後、パケット化部33、及び、通信部34を介して送信される。
また、図21の生成処理では、制御情報付きデータを生成することとしたが、生成処理では、制御情報付きデータではなく、制御情報を生成し、供給装置11に、その制御情報の生成に用いたLPCMデータと対応付けて記憶しておくことができる。
この場合、LPCMデータをエンコードしてエンコードデータを得た後、そのLPCMデータと対応付けられてる制御情報を、エンコードデータに付加することで、制御情報付きデータを生成し、送信することができる。
なお、本実施の形態では、無線での送受信の対象として、音響データを採用したが、本技術は、音響データの他、画像データを無線で送受信する場合にも適用することができる。画像データを無線で送受信する場合には、例えば、ほぼ1色の画面の画像データ等に、1の制御情報を付加し、他の画像データに、0の制御情報を付加することができる。
また、本実施の形態では、音響データを無線で送受信する無線通信方式として、Bluetooth(登録商標)を採用したが、無線通信方式は、Bluetooth(登録商標)に限定されるものではない。
さらに、本実施の形態では、データを無線で送受信することとしたが、本技術は、データを、有線で送受信する場合にも適用することができる。
また、本実施の形態では、音響データを、SBCでエンコード及びデコードすることとしたが、音響データのエンコード及びデコードの方式は、SBCに限定されるものではなく、例えば、MP3(MPEG-1 Audio Layer-3)や、AAC(Advanced Audio Coding)、ATRAC(Adaptive Transform Acoustic Coding)その他の時間符号化方式や変換符号化方式のコーデックを採用することができる。
ここで、時間符号化方式のコーデックとは、時間領域のデータを、時間領域でエンコード/デコードする方式で、例えば、時間方向の差分を利用するコーデックを意味する。変換符号化方式のコーデックとは、時間領域のデータを、周波数領域等の他の領域に変換してエンコード/デコードする方式で、例えば、フーリエ変換を行うコーディックを意味する。
また、本実施の形態では、音響データをエンコード及びデコードすることとしたが、音響データのエンコード及びデコードは必須ではない。
さらに、本実施の形態では、通信装置21において、データバッファ43に、制御情報付きデータを記憶させることとしたが、データバッファ43には、制御情報付きデータにおけるエンコードデータだけを記憶させ、制御情報付きデータにおける制御情報は、データバッファ43とは別の図示せぬ記憶部に記憶させることができる。
<本技術を適用したコンピュータの説明>
次に、通信装置12のデータ生成部51、及び、制御情報生成部52の一連の処理や、通信装置21のデータ制御部61、及び、データ出力部62の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図22は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のように構成することができる。
<1>
無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成する制御情報生成部と、
データに、前記制御情報を付加した制御情報付きデータを生成するデータ生成部と
を備えるデータ処理装置。
<2>
前記制御情報は、前記受信側でのデータの挿入、データの破棄、又は、データの挿入と破棄の両方の許可又は禁止に関する情報である
<1>に記載のデータ処理装置。
<3>
前記制御情報は、
前記受信側でのデータの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止を表すフラグ、
又は、前記受信側でのデータの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止のレベルを表す情報
である
<2>に記載のデータ処理装置。
<4>
前記制御情報付きデータは、バッファに記憶されて送信され、
前記制御情報生成部は、前記バッファの蓄積量に応じて、前記制御情報を生成する
<1>ないし<3>のいずれかに記載のデータ処理装置。
<5>
前記制御情報付きデータは、前記受信側で受信されてバッファに記憶され、
前記制御情報生成部は、前記受信側のバッファの蓄積量に応じて、前記制御情報を生成する
<1>ないし<3>のいずれかに記載のデータ処理装置。
<6>
前記制御情報生成部は、データが送信される無線の伝送路の状態に応じて、前記制御情報を生成する
<1>ないし<3>のいずれかに記載のデータ処理装置。
<7>
前記制御情報生成部は、前記受信側においてデータの挿入又は破棄を行った場合に、前記データの挿入又は破棄が感知される程度を表す特徴量に基づいて、前記制御情報を生成する
<1>ないし<6>のいずれかに記載のデータ処理装置。
<8>
前記制御情報は、前記受信側においてデータの使用回数を制御するための情報である
<1>ないし<7>のいずれかに記載のデータ処理装置。
<9>
無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成することと、
データに、前記制御情報を付加した制御情報付きデータを生成することと
を含むデータ処理方法。
<10>
無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成する制御情報生成部と、
データに、前記制御情報を付加した制御情報付きデータを生成するデータ生成部と
して、コンピュータを機能させるためのプログラム。
<11>
データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御するデータ制御部と、
前記制御情報に基づいて使用方法が制御されたデータを出力するデータ出力部と
を備えるデータ処理装置。
<12>
前記制御情報は、データの挿入、データの破棄、又は、データの挿入と破棄の両方の許可又は禁止に関する情報である
<11>に記載のデータ処理装置。
<13>
前記制御情報は、
データの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止を表すフラグ、
又は、データの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止のレベルを表す情報
である
<12>に記載のデータ処理装置。
<14>
前記データ制御部は、前記制御情報に基づいて、前記制御情報が付加されたデータをコピーすることにより、前記データの挿入を行う
<12>又は<13>に記載のデータ処理装置。
<15>
前記データは、音響データであり、
前記データ制御部は、前記データの挿入として、無音データ又は雑音データの挿入を行う
<12>又は<13>に記載のデータ処理装置。
<16>
前記制御情報付きデータは、バッファに記憶され、
前記データ出力部は、前記バッファに記憶されたデータを出力し、
前記データ制御部は、前記制御情報と、前記バッファの蓄積量とに基づいて、データの使用方法を制御する
<11>ないし<15>のいずれかに記載のデータ処理装置。
<17>
前記データ制御部は、所定の条件が満たされる場合に、前記制御情報と、前記バッファの蓄積量とに基づいて、データの使用方法を制御する
<16>に記載のデータ処理装置。
<18>
前記制御情報は、データの使用回数を制御するための情報である
<11>ないし<17>のいずれかに記載のデータ処理装置。
<19>
データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御することと、
前記制御情報に基づいて使用方法が制御されたデータを出力することと
を含むデータ処理方法。
<20>
データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御するデータ制御部と、
前記制御情報に基づいて使用方法が制御されたデータを出力するデータ出力部と
して、コンピュータを機能させるためのプログラム。
10 送信装置, 11 供給装置, 12 通信装置, 20 受信装置, 21 通信装置, 22 出力装置, 31 エンコーダ, 32 データバッファ, 33 パケット化部, 34,41 通信部, 42 パケット分解部, 43 データバッファ, 44 デコーダ, 45 LPCMバッファ, 46 速度制御部, 51 データ生成部, 52 制御情報生成部, 61 データ制御部, 62 データ出力部, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体

Claims (20)

  1. 無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成する制御情報生成部と、
    データに、前記制御情報を付加した制御情報付きデータを生成するデータ生成部と
    を備えるデータ処理装置。
  2. 前記制御情報は、前記受信側でのデータの挿入、データの破棄、又は、データの挿入と破棄の両方の許可又は禁止に関する情報である
    請求項1に記載のデータ処理装置。
  3. 前記制御情報は、
    前記受信側でのデータの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止を表すフラグ、
    又は、前記受信側でのデータの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止のレベルを表す情報
    である
    請求項2に記載のデータ処理装置。
  4. 前記制御情報付きデータは、バッファに記憶されて送信され、
    前記制御情報生成部は、前記バッファの蓄積量に応じて、前記制御情報を生成する
    請求項1に記載のデータ処理装置。
  5. 前記制御情報付きデータは、前記受信側で受信されてバッファに記憶され、
    前記制御情報生成部は、前記受信側のバッファの蓄積量に応じて、前記制御情報を生成する
    請求項1に記載のデータ処理装置。
  6. 前記制御情報生成部は、データが送信される無線の伝送路の状態に応じて、前記制御情報を生成する
    請求項1に記載のデータ処理装置。
  7. 前記制御情報生成部は、前記受信側においてデータの挿入又は破棄を行った場合に、前記データの挿入又は破棄が感知される程度を表す特徴量に基づいて、前記制御情報を生成する
    請求項1に記載のデータ処理装置。
  8. 前記制御情報は、前記受信側においてデータの使用回数を制御するための情報である
    請求項1に記載のデータ処理装置。
  9. 無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成することと、
    データに、前記制御情報を付加した制御情報付きデータを生成することと
    を含むデータ処理方法。
  10. 無線で送信されるデータを受信する受信側においてデータの使用方法を制御するための制御情報を生成する制御情報生成部と、
    データに、前記制御情報を付加した制御情報付きデータを生成するデータ生成部と
    して、コンピュータを機能させるためのプログラム。
  11. データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御するデータ制御部と、
    前記制御情報に基づいて使用方法が制御されたデータを出力するデータ出力部と
    を備えるデータ処理装置。
  12. 前記制御情報は、データの挿入、データの破棄、又は、データの挿入と破棄の両方の許可又は禁止に関する情報である
    請求項11に記載のデータ処理装置。
  13. 前記制御情報は、
    データの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止を表すフラグ、
    又は、データの挿入、データの破棄、若しくは、データの挿入と破棄の両方の許可若しくは禁止のレベルを表す情報
    である
    請求項12に記載のデータ処理装置。
  14. 前記データ制御部は、前記制御情報に基づいて、前記制御情報が付加されたデータをコピーすることにより、前記データの挿入を行う
    請求項12に記載のデータ処理装置。
  15. 前記データは、音響データであり、
    前記データ制御部は、前記データの挿入として、無音データ又は雑音データの挿入を行う
    請求項12に記載のデータ処理装置。
  16. 前記制御情報付きデータは、バッファに記憶され、
    前記データ出力部は、前記バッファに記憶されたデータを出力し、
    前記データ制御部は、前記制御情報と、前記バッファの蓄積量とに基づいて、データの使用方法を制御する
    請求項11に記載のデータ処理装置。
  17. 前記データ制御部は、所定の条件が満たされる場合に、前記制御情報と、前記バッファの蓄積量とに基づいて、データの使用方法を制御する
    請求項16に記載のデータ処理装置。
  18. 前記制御情報は、データの使用回数を制御するための情報である
    請求項11に記載のデータ処理装置。
  19. データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御することと、
    前記制御情報に基づいて使用方法が制御されたデータを出力することと
    を含むデータ処理方法。
  20. データの使用方法を制御するための制御情報をデータに付加した制御情報付きデータであって、無線で送信されてくる前記制御情報付きデータに含まれる前記制御情報に基づいて、データの使用方法を制御するデータ制御部と、
    前記制御情報に基づいて使用方法が制御されたデータを出力するデータ出力部と
    して、コンピュータを機能させるためのプログラム。
JP2016562386A 2014-12-04 2015-11-20 データ処理装置、データ処理方法、及び、プログラム Pending JPWO2016088582A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020038439A JP6977800B2 (ja) 2014-12-04 2020-03-06 情報処理装置、情報処理方法、及び、プログラム
JP2021184133A JP7160168B2 (ja) 2014-12-04 2021-11-11 情報処理装置、情報処理方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014245854 2014-12-04
JP2014245854 2014-12-04
PCT/JP2015/082720 WO2016088582A1 (ja) 2014-12-04 2015-11-20 データ処理装置、データ処理方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020038439A Division JP6977800B2 (ja) 2014-12-04 2020-03-06 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JPWO2016088582A1 true JPWO2016088582A1 (ja) 2017-09-21

Family

ID=56091532

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016562386A Pending JPWO2016088582A1 (ja) 2014-12-04 2015-11-20 データ処理装置、データ処理方法、及び、プログラム
JP2020038439A Active JP6977800B2 (ja) 2014-12-04 2020-03-06 情報処理装置、情報処理方法、及び、プログラム
JP2021184133A Active JP7160168B2 (ja) 2014-12-04 2021-11-11 情報処理装置、情報処理方法、並びにプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020038439A Active JP6977800B2 (ja) 2014-12-04 2020-03-06 情報処理装置、情報処理方法、及び、プログラム
JP2021184133A Active JP7160168B2 (ja) 2014-12-04 2021-11-11 情報処理装置、情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (2) US10764782B2 (ja)
EP (2) EP3629558B1 (ja)
JP (3) JPWO2016088582A1 (ja)
CN (2) CN107005591B (ja)
WO (1) WO2016088582A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629558B1 (en) * 2014-12-04 2021-07-28 Sony Group Corporation Data processing apparatus, data processing method, and program
BR112020000807A2 (pt) 2017-07-21 2020-07-14 Sony Corporation unidades de recepção e de transmissão, métodos de recepção e de transmissão, e, programa .
US20220407825A1 (en) 2019-11-12 2022-12-22 Sony Group Corporation Data processing apparatus, data processing method, and data processing program
JPWO2021182512A1 (ja) * 2020-03-11 2021-09-16
JP7205661B2 (ja) 2020-03-11 2023-01-17 日本電気株式会社 通信制御システムおよび通信制御方法
EP4213491A4 (en) * 2020-09-10 2024-02-28 Sony Group Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016658A (ja) * 2000-06-30 2002-01-18 Nec Corp 通信システム及び通信方法
JP2003179580A (ja) * 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003235041A (ja) * 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd リアルタイム画像符号化装置
JP2004241821A (ja) * 2003-02-03 2004-08-26 Denon Ltd データ送信装置およびデータ受信装置
JP2005006050A (ja) * 2003-06-12 2005-01-06 Oki Electric Ind Co Ltd パケット処理装置
JP2005157045A (ja) * 2003-11-27 2005-06-16 Matsushita Electric Ind Co Ltd 音声伝送方法
WO2005099243A1 (ja) * 2004-04-09 2005-10-20 Nec Corporation 音声通信方法及び装置
WO2008047560A1 (fr) * 2006-09-28 2008-04-24 Kyocera Corporation Appareil de transmission vocale
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0658599B2 (ja) * 1986-05-23 1994-08-03 ヤマハ株式会社 自動演奏装置
JP3164038B2 (ja) * 1997-11-05 2001-05-08 日本電気株式会社 音声帯域分割復号装置
US6128593A (en) * 1998-08-04 2000-10-03 Sony Corporation System and method for implementing a refined psycho-acoustic modeler
KR100657241B1 (ko) * 1999-09-03 2006-12-18 삼성전자주식회사 동영상 기록/재생 장치와 방법 및 기록 매체
US6646646B2 (en) * 2000-12-13 2003-11-11 Micron Technology, Inc. Memory system having programmable multiple and continuous memory regions and method of use thereof
KR100800884B1 (ko) * 2001-03-29 2008-02-04 삼성전자주식회사 이동통신 시스템에서 역방향 링크의 송신 제어 방법
CN100458957C (zh) * 2003-03-18 2009-02-04 索尼株式会社 数据记录设备和方法、数据播放设备和方法
JP2005209098A (ja) * 2004-01-26 2005-08-04 Matsushita Electric Ind Co Ltd コンテンツ再生方法、コンテンツ再生端末及びコンテンツ提供システム
US7567270B2 (en) * 2004-04-22 2009-07-28 Insors Integrated Communications Audio data control
JP4256429B2 (ja) 2007-01-31 2009-04-22 株式会社東芝 携帯端末装置
US8650238B2 (en) 2007-11-28 2014-02-11 Qualcomm Incorporated Resolving buffer underflow/overflow in a digital system
JP4525780B2 (ja) * 2008-03-24 2010-08-18 ソニー株式会社 受信装置、送信装置、通信システム、および中継サーバのバッファ設定検出方法
US9104686B2 (en) * 2008-12-16 2015-08-11 Sandisk Technologies Inc. System and method for host management of discardable objects
KR101148727B1 (ko) * 2009-12-15 2012-05-21 한국전자통신연구원 제어 정보를 기지국으로 전송하는 데이터 전송 시스템
JP5919727B2 (ja) * 2011-10-26 2016-05-18 富士通株式会社 バッファ管理のためのプログラム、中継装置及び制御方法
TW201407969A (zh) * 2012-08-14 2014-02-16 Mstar Semiconductor Inc 線性脈衝編碼調變資料格式判斷方法
US8887217B2 (en) * 2013-03-13 2014-11-11 Futurewei Technologies, Inc. Systems and methods for quality of experience aware joint scheduling of buffered video on demand and best effort flows
US9794877B2 (en) 2013-04-30 2017-10-17 International Business Machines Corporation Transmitting device, receiving device, communication device, programs, transmission method, and receiving method for wireless communication of continuous data in the form of packets
US9641963B2 (en) * 2013-06-20 2017-05-02 Lg Electronics Inc. Method and apparatus for reproducing multimedia contents using bluetooth in wireless communication system
US9264374B2 (en) * 2013-10-23 2016-02-16 Qualcomm Incorporated Media playout for VOIP applications
US10887651B2 (en) * 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer
CN105307102A (zh) * 2014-07-18 2016-02-03 光宝电子(广州)有限公司 蓝牙无线音频传输器
EP3629558B1 (en) 2014-12-04 2021-07-28 Sony Group Corporation Data processing apparatus, data processing method, and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235041A (ja) * 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd リアルタイム画像符号化装置
JP2002016658A (ja) * 2000-06-30 2002-01-18 Nec Corp 通信システム及び通信方法
JP2003179580A (ja) * 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004241821A (ja) * 2003-02-03 2004-08-26 Denon Ltd データ送信装置およびデータ受信装置
JP2005006050A (ja) * 2003-06-12 2005-01-06 Oki Electric Ind Co Ltd パケット処理装置
JP2005157045A (ja) * 2003-11-27 2005-06-16 Matsushita Electric Ind Co Ltd 音声伝送方法
WO2005099243A1 (ja) * 2004-04-09 2005-10-20 Nec Corporation 音声通信方法及び装置
WO2008047560A1 (fr) * 2006-09-28 2008-04-24 Kyocera Corporation Appareil de transmission vocale
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Also Published As

Publication number Publication date
EP3229443A4 (en) 2018-07-25
EP3229443B1 (en) 2020-01-01
EP3629558A1 (en) 2020-04-01
US11284299B2 (en) 2022-03-22
JP6977800B2 (ja) 2021-12-08
CN107005591B (zh) 2020-07-28
CN111884955A (zh) 2020-11-03
JP2022024042A (ja) 2022-02-08
CN111884955B (zh) 2023-07-18
US10764782B2 (en) 2020-09-01
CN107005591A (zh) 2017-08-01
US20200359263A1 (en) 2020-11-12
EP3629558B1 (en) 2021-07-28
JP2020120379A (ja) 2020-08-06
WO2016088582A1 (ja) 2016-06-09
US20180288650A1 (en) 2018-10-04
JP7160168B2 (ja) 2022-10-25
EP3229443A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6977800B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US9984692B2 (en) Post-encoding bitrate reduction of multiple object audio
US7003114B1 (en) Method and apparatus for achieving crypto-synchronization in a packet data communication system
KR100919884B1 (ko) 오디오 신호의 적응변환 장치 및 그 방법
JP2004361731A (ja) オーディオ復号装置及びオーディオ復号方法
US20230122545A1 (en) Bit stream generation method, encoding device, and decoding device
KR102443651B1 (ko) 전자 장치, 외부 전자 장치 및 이를 포함하는 음향 시스템
US20180075858A1 (en) System, apparatus and method for transmitting continuous audio data
JP7302473B2 (ja) 送信装置、送信方法、受信装置、受信方法、及び、プログラム
JP2012113235A (ja) 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム
WO2020149227A1 (ja) 復号装置、復号方法、及びプログラム
CN107112019B (zh) 信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质
EP2581903B1 (en) Systems and methods for reducing audio disturbance associated with control messages in a bitstream
JP2014029406A (ja) 情報送信装置、情報送信プログラム、情報受信装置、情報受信プログラム、及び情報通信方法
JP2015227912A (ja) オーディオ符号化装置、および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191217