JP4744444B2 - ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法 - Google Patents

ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法 Download PDF

Info

Publication number
JP4744444B2
JP4744444B2 JP2006529163A JP2006529163A JP4744444B2 JP 4744444 B2 JP4744444 B2 JP 4744444B2 JP 2006529163 A JP2006529163 A JP 2006529163A JP 2006529163 A JP2006529163 A JP 2006529163A JP 4744444 B2 JP4744444 B2 JP 4744444B2
Authority
JP
Japan
Prior art keywords
frame
stream data
threshold
synchronization deviation
speed control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006529163A
Other languages
English (en)
Other versions
JPWO2006009087A1 (ja
Inventor
徹 寺田
宏幸 江原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006529163A priority Critical patent/JP4744444B2/ja
Publication of JPWO2006009087A1 publication Critical patent/JPWO2006009087A1/ja
Application granted granted Critical
Publication of JP4744444B2 publication Critical patent/JP4744444B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Communication Control (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、オーディオストリームやビデオストリーム等のストリームデータをネットワークを介して受信し再生する装置に関する。
近年、IP(Internet Protocol)ネットワークを用いて音声データを転送し、通話を可能にするVoIP(Voice over IP)技術を利用した製品が実用化されている。VoIP技術では、送信側通信端末装置が、入力音声をA/D(アナログ/ディジタル)変換してディジタルデータを生成し、生成したディジタルデータを所定量毎にパケット化してインターネット等のネットワークに送信する。また、VoIP技術では、送信側通信端末装置が、パケット化を行う前にディジタルデータを圧縮符号化する場合もある。ちなみに、パケット化のために分割された個々のディジタルデータをフレームと呼び、このフレームにデータの種類や行き先等を表わすヘッダ情報を付したものをパケットと呼ぶ。一方で、VoIP技術では、受信側通信端末装置が、パケットの到着するタイミングや順序を予測できないことから、そのタイミングのゆらぎや順序の入れ替わりを吸収するために、受信したパケットをバッファに一時的に蓄積し、このバッファから所定の周期でパケットを取り出してD/A(ディジタル/アナログ)変換等を行うことにより、音声を再生する。
また、VoIP技術では、RTP(Real-time Transport Protocol)を採用する場合もある。RTPによるパケットは、そのヘッダにタイムスタンプフィールドを有する。受信側通信端末装置は、受信したパケットにおけるタイムスタンプを利用することにより、そのフレームを再生する順序及びタイミングを把握する。
ここで、IPネットワークでは、全ノードが基準にする単一のクロックが存在しないため、各ノードはそれぞれの内部クロックを基準に動作することになる。この内部クロックの生成装置にはもともと個体差が存在し、またその装置の動作は温度等の使用環境の変化に影響されるため、異なるノード間で内部クロックが完全に同期することは稀である。従って、送信側通信端末装置の内部クロックと受信側通信端末装置の内部クロックとを同期させなければ、通話時間が長くなるに従って、受信側通信端末装置において、通話の寸断や音飛び等の瞬間的な音質劣化の生じるおそれが高くなる。例えば、送信側通信端末装置の内部クロックの周波数が受信側通信端末装置の内部クロックの周波数よりも低い場合には、受信側通信端末装置において、受信したパケットがバッファから一定量ずつ定期的に取り出されると仮定すると、そのバッファにおけるパケットの蓄積量が徐々に減少していく。よって、バッファがいずれ空になって、音声の再生が中断することになる。一方で、送信側通信端末装置の内部クロックの周波数が受信側通信端末装置の内部クロックの周波数よりも高い場合には、受信側通信端末装置において、受信したパケットがバッファから一定量ずつ定期的に取り出され、かつ、バッファ容量が有限であると仮定すると、そのバッファにおけるパケットの蓄積量は徐々に増加していく。よって、パケットがバッファからいずれ溢れ出して廃棄されるようになることから、瞬時的な音飛びが散発的に生じるようになる。ここで、バッファ容量が無限であると仮定すると、音飛びは生じなくなるものの、通話時間の経過に伴い、再生される音声の遅延が次第に増大していくため、通話のリアルタイム性が損なわれることになる。
そこで、ストリームデータをネットワークを介して受信する受信側通信端末装置において、音声の再生の寸断や音飛びが生じないようにする技術が従来から考案されている。例えば、送信側通信端末装置の内部クロックを基準として受信側通信端末装置の内部クロッ
クの周波数を動的に調節する技術、或いは受信側通信端末装置において送信側通信端末装置の内部クロックとの差を検出し、検出された差に対応する分のデータを受信したパケットに補間する又は受信したパケットから間引きする技術(例えば特許文献1参照)が挙げられる。なお、これら2種類の技術を比較すると、特許文献1に係るデータを補間又は間引きする技術の方が、回路規模を小さく抑えられるため、受信側通信端末装置の携帯性や製造コスト等の点で有利である。
図1は、特許文献1に記載された通信システムの構成を示すブロック図である。この通信システムは、送信装置10、入力部11、送信側増幅部12、受信装置20、受信側増幅器31、出力部32及びネットワーク50を具備する。また、送信装置10は、A/D変換器13、入力バッファ14、符号化部15、送信バッファ16及び送信部17を具備する。入力部11は、入力されてくる音声をアナログ音声信号に変換し、変換したアナログ音声信号を増幅器12に入力する。増幅器12は、入力部11から入力されてくるアナログ音声信号を増幅し、増幅したアナログ音声信号を送信装置10におけるA/D変換器13に入力する。A/D変換器13は、増幅器12から入力されてくるアナログ音声信号をディジタル音声データに変換し、変換後のディジタル音声データを入力バッファ14に入力する。入力バッファ14は、A/D変換器13から入力されてくるディジタル音声データを蓄積し、蓄積しているディジタル音声データを周期的に符号化部15に入力する。符号化部15は、入力バッファ14から入力されてくるディジタル音声データを圧縮音声符号化情報に変換し、変換後の圧縮音声符号化情報を送信バッファ16に入力する。送信バッファ16は、符号化部15から入力されてくる圧縮音声符号化情報を蓄積し、蓄積している圧縮音声符号化情報を周期的に送信部17に入力する。送信部17は、送信バッファ16から入力されてくる圧縮音声符号化情報をパケット化し、そのパケットを順次、ネットワーク50上に送出する。
また、受信装置20は、受信部21、受信バッファ22、復号化部23、再生速度判断部24、速度バッファ25、再生速度制御部26、出力バッファ27及びD/A変換器28を具備する。受信部21は、送信装置10から送出された圧縮音声符号化情報をネットワーク50を介して受信し、受信した圧縮音声符号化情報を逐次受信バッファ22に入力する。受信バッファ22は、受信部21から入力されてくる圧縮音声符号化情報を蓄積し、蓄積している圧縮音声符号化情報を受信装置20における内部クロックを基準にして周期的に復号化部23に入力する。復号化部23は、受信バッファ22から内部クロックを基準にして周期的に入力されてくる圧縮音声符号化情報をディジタル音声データに伸長し、このディジタル音声データを出力バッファ27に入力する。再生速度判断部24は、受信バッファ22における圧縮音声符号化情報の蓄積量を監視して、その蓄積量の変化に応じた音声の再生速度を決定し、決定した再生速度を速度バッファ25に通知する。速度バッファ25は、再生速度判断部24から通知される再生速度を時系列で蓄積し、蓄積している再生速度を再生速度制御部26に順次通知する。再生速度制御部26は、D/A変換器28に単位時間あたりに入力されるディジタル音声データのデータ量即ち出力部32における音声の再生速度が速度バッファ25から通知される再生速度となるように、出力バッファ27を制御する。出力バッファ27は、復号化部23から入力されてくるディジタル音声データを蓄積すると共に、再生速度制御部26の制御により、蓄積しているディジタル音声データに対して音声サンプルデータを補間したり間引きしたりした後に、そのディジタル音声データをD/A変換器28に入力する。なお、出力バッファ27が、蓄積しているディジタル音声データに対して音声サンプルデータを補間したり間引いたりすることにより、出力部32における音声の再生速度が調節されることになる。D/A変換器28は、出力バッファ27から入力されてくるディジタル音声データをアナログ音声信号に変換し、変換後のアナログ音声信号を増幅器31に入力する。増幅器31は、D/A変換器28から入力されてくるアナログ音声信号を増幅して、増幅後のアナログ音声信号を出力部32に入力する。出力部32は、増幅器31から入力されてくるアナログ音声信号を
音声として出力する。
また、受信装置20は、あるディジタル音声データとその直前のディジタル音声データとの音量成分値の差を検出し、その差が小さいときに限り、受信バッファ22におけるディジタル音声データの蓄積量の増減に応じて、音声の再生速度の調節を行う。つまり、受信装置20は、再生される音声の音量が大きい場合には、音声の再生速度の調節を行なわず、再生される音声の音量が小さい場合に限り、音声の再生速度の調節を行って音質の劣化を抑制する。
特開2002−330180号公報
しかしながら、特許文献1に記載された技術では、再生される音声の音量が大きい場合において、音声の再生速度の調節が行われないため、再生される音声に寸断や音飛び等が生じることから、音声再生時に散発的に生じる音質劣化を抑制することができない問題がある。
また、特許文献1に記載された技術では、受信バッファ22におけるディジタル音声データの蓄積量の増減に着目して音声の再生速度の調節が行われるため、受信装置20にパケットが到着しない場合や著しく遅延して到着する場合に適応できないと考えられる。従って、特許文献1に記載された技術を、パケットの到着するタイミングや順序、並びにパケットの到着自体が保証されないIPネットワーク等で利用すると、この技術による効果の奏される前提条件が揃わないことから、却って再生時の音質が劣化してしまう問題がある。
よって、本発明の目的は、パケットの到着するタイミングや順序の保証されないIPネットワーク等を介してストリームデータを受信する場合でも、ストリームデータの再生において、その品質の劣化を抑制できるストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法を提供することである。
本発明に係るストリームデータ受信再生装置は、パケット化されたストリームデータを受信する受信手段と、受信されたストリームデータのフレームを蓄積する受信バッファと、蓄積されたストリームデータのフレーム群の中から再生するフレームを検出するフレーム検出手段と、送信側の内部クロックと受信側の内部クロックとの差である同期ずれを、受信されたパケットのデータを用いて算出する同期ずれ算出手段と、前記フレーム検出手段において、再生するフレームが検出されず、かつ、前記同期ずれの絶対値が第1の閾値以上である場合、ストリームデータの再生速度を調節する再生速度制御手段と、を具備する構成を採る。
本発明によれば、フレーム検出手段によって再生するフレームが検出されないときに、再生速度制御手段がストリームデータの再生速度を調節するため、ストリームデータの再生時において、音飛び等のストリームデータの品質劣化が生じる頻度を低下させると共に、受信したストリームデータに対するデータの補間や間引きによって生じる品質劣化を抑制することができる。
以下、本発明の実施の形態について、適宜図面を参照しながら詳細に説明する。
(実施の形態1)
図2は、本発明の実施の形態1に係るストリームデータ受信再生装置100を含む通信システムの構成を示すブロック図である。この通信システムは、ストリームデータ受信再生装置100と、インターネット等のネットワーク150と、ストリームデータ送信装置160と、を含む。また、この通信システムでは、ノード間の厳密な同期を可能とする機能が提供されていないため、ストリームデータ受信再生装置100及びストリームデータ送信装置160はそれぞれ、独立した内部クロックを基準にして動作するものとする。
ストリームデータ送信装置160は、ストリームデータを時系列に所定量ずつ取り出してパケット化し、そのパケットをストリームデータ受信再生装置100に向けてネットワーク150上に順次送信する。なお、このストリームデータのパケット化ではRTPが使用され、その各フレームには再生時刻の指針となるタイムスタンプが付与されるものとする。
ストリームデータ受信再生装置100は、受信部101、同期ずれ算出部102、受信バッファ103、フレーム検出部104、復号化部105、フレーム補間部106、再生速度制御部107、出力バッファ108、D/A変換器109、増幅器111及び出力部112を具備する。
受信部101は、ストリームデータ送信装置160の送信したパケット化されたストリームデータを、ネットワーク150を介して受信し、受信したパケットを順次、同期ずれ算出部102に入力する。
同期ずれ算出部102は、受信部101から順次入力されてくるパケットからタイムスタンプを抽出した後に、抽出したタイムスタンプとそのパケットのフレームとを受信バッファ103にその都度入力する。また、同期ずれ算出部102は、抽出したタイムスタンプを用いて後述のようにして周期的に、ストリームデータ送信装置160の内部クロックとストリームデータ受信再生装置100の内部クロックとの差即ち同期ずれを算出する。なお、同期ずれ算出部102が受信部101からパケットが入力される毎に同期ずれを算出しないのは、VoIP技術に係るネットワーク150を介してパケットを受信する場合には、パケットの到着が保証されておらず不定期になることから、その影響を排除して同期ずれの算出を安定的に行えるようにするためである。そして、同期ずれ算出部102は、算出した同期ずれの大きさを再生速度制御部107に通知する。
受信バッファ103は、同期ずれ算出部102から入力されてくるフレームとそのフレームに付されていたタイムスタンプとを所定量蓄積し、蓄積しているタイムスタンプを基準にしてフレームを時系列順に並べて、後述するフレーム検出部104からの要求に応じて、所定のタイムスタンプに対応するフレームをフレーム検出部104に入力する。
ここで、受信部101、同期ずれ算出部102及び受信バッファ103は、ネットワーク150からパケットを受信することをトリガとして動作することになるため、ストリームデータ受信再生装置100の内部クロックとは無関係に動作することになる。一方で、後述するフレーム検出部104から出力部112までの各構成部は、ストリームデータ受信再生装置100の内部クロックに基づいて動作する。従って、ストリームデータ受信再生装置100におけるストリームデータの処理は、受信部101、同期ずれ算出部102及び受信バッファ103による「受信処理」と、フレーム検出部104から出力部112までの各構成部による「再生処理」と、に大別され、受信処理と再生処理とが異なるクロックに基づいて実行されることになる。また、この受信処理と再生処理とは、ストリーム
データ受信再生装置100において、マルチスレッド処理のように、少なくとも概念的にはそれぞれ独立に実行可能である。
フレーム検出部104は、ストリームデータ受信再生装置100の内部クロックに基づいて、再生すべきフレームに付されているはずのタイムスタンプが蓄積されているか受信バッファ103を検索する。フレーム検出部104は、検索の結果、受信バッファ103に目的のタイムスタンプが蓄積されている場合には、目的のフレームが検出されたことを再生速度制御部107に通知すると共に、そのフレームを出力するように受信バッファ103に要求し、受信バッファ103から入力されてくるそのフレームを復号化部105に入力する。一方で、フレーム検出部104は、検索の結果、受信バッファ103に目的のタイムスタンプが蓄積されていなかった場合には、そのフレームが検出されなかったことを再生速度制御部107及び復号化部105にそれぞれ通知する。なお、フレーム検出部104は、ストリームデータ受信再生装置100の受信開始直後においては、受信バッファ103に所定量のフレームが蓄積されるまで一時的に待機して、受信バッファ103の検索を行わない。フレーム検出部104がこのような一時待機を行うのは、受信部101におけるパケットの受信状況によらず、出力部112におけるストリームデータの連続再生を可能にするためである。また一般に、このような一時待機を行う機能を「ゆらぎ吸収バッファ」と呼ぶ。また、このような一時待機を行う際には、時間ではなく、受信バッファ103に蓄積されるフレーム数を基準にしても良い。
復号化部105は、フレーム検出部104からフレームが入力されてくる場合には、そのフレームを復号(伸長)して、伸長したフレームを再生速度制御部107に逐次入力する。また、復号化部105は、フレーム検出部104から目的のフレームが検出されなかったと通知された場合には、フレーム補間部106から所定のフレームを取り出して、その取り出したフレームを伸長して再生速度制御部107に入力する。
フレーム補間部106は、復号化部105からの要求に応じて、蓄積しているフレームを復号化部105に提供する。なお、フレーム補間部106はフレームの代わりに所定のサンプルデータを蓄積してもよく、その場合には、復号化部105は前記サンプルデータをそのまま再生速度制御部107に入力することになる。
再生速度制御部107は、同期ずれ算出部102から通知される同期ずれの大きさに応じて、後述する様々な条件を設定し、その設定条件を満たす場合に限り、復号化部105から入力されてくる伸長されたフレームについて、その再生速度の調節を行う。また、再生速度制御部107は、必要に応じて再生速度を調節したフレームを出力バッファ108に逐次入力する。なお、再生速度制御部107におけるストリームデータの再生速度の調節の具体的態様については後述する。
出力バッファ108は、再生速度制御部107から入力されてくるフレームを順次蓄積し、その蓄積した順にフレームをストリームデータ受信再生装置100の内部クロックを基準として定期的にD/A変換器109に入力する。
D/A変換器109は、出力バッファ108から入力されてくるフレームをアナログ信号に変換し、変換後のアナログ信号を増幅器111に入力する。
増幅器111は、D/A変換器109から入力されてくるアナログ信号を所定の電力レベルに増幅し、増幅したアナログ信号を出力部112に入力する。
出力部112は、増幅器111から入力されてくるアナログ信号を音声出力する。
次いで、ストリームデータ受信再生装置100の動作について、再生速度制御部107と同期ずれ算出部102及びフレーム検出部104との連関を中心に説明する。
先ず、同期ずれ算出部102では、パケットから抽出したタイムスタンプに基づいて、ストリームデータ送信装置160の内部クロックとストリームデータ受信再生装置100の内部クロックとの差即ち同期ずれを、次式を用いて算出する。なお、この式における変数の意味を、下記「表1」にまとめて示す。
Figure 0004744444
Figure 0004744444
表1では、Dの算出対象となるフレームを「本フレーム」と、また本フレームの直前に到着したフレームを「前フレーム」と、表記する。また、表1における「到着測定時刻」とは、ストリームデータ受信再生装置100の内部クロックを基準として測定された時刻を意味する。また、表1における「補正値」の意味については後述する。
この式から算出されたDの値が正の場合は、ストリームデータ受信再生装置100の内部クロックがストリームデータ送信装置160の内部クロックよりも速い、換言すれば内部クロックの周波数が高い、ことを意味する。一方で、このDの値が負の場合は、ストリームデータ受信再生装置100の内部クロックがストリームデータ送信装置160の内部クロックよりも遅い、換言すれば内部クロックの周波数が低い、ことを意味する。
再生速度制御部107は、同期ずれ算出部102から通知される同期ずれの大きさ(絶対値)が第一閾値以上となった場合には、フレーム検出部104から通知されるフレームの検出結果を考慮して、具体的には下記「表2」に示す制御ポリシーに従って、復号化部105から入力されてくるフレームの再生速度を調節する。
Figure 0004744444
表2において、「x」は、第一閾値に対応する正の値である。再生速度制御部107は、表2に示すように、同期ずれDについて「−x < D < x」が成り立つ場合には、フレーム検出部104から通知されるフレームの検出結果に関わらず、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
また、再生速度制御部107は、同期ずれDについて「x ≦ D」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合に限り、復号化部105から入力されてくるフレームに対して、時間xに対応するサンプルデータを補間し、このサンプルデータを補間したフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間xだけ遅らせるように指示すると共に、同期ずれ算出部102に対して、xの負の値即ち「−x」を前記Dの算出式における補正値rとして用いるように指示する。なお、フレーム検出部104が再生速度制御部107からの指示に従って次回の検索開始時刻を時間xだけ遅らせても、その時間xに相当するサンプルデータが再生速度制御部107においてフレームに補間されるため、出力バッファ108におけるフレームの蓄積量は安定していることになる。
一方で、再生速度制御部107は、同期ずれDについて「x ≦ D」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出したと通知された場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
また、再生速度制御部107は、同期ずれDについて「D ≦ −x」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合に限り、復号化部105から入力されてくるフレームから時間xに対応するデータを間引き、間引きを行ったフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間xだけ早めるように指示すると共に、同期ずれ算出部102に対して、「x」を前記Dの算出式における補正値rとして用いるように指示する。なお、フレーム検出部104が再生速度制御部107からの指示に従って次回の検索開始時刻を時間xだけ早めても、その時間xに相当するデータが再生速度制御部107において間引かれるため、出力バッファ108におけるフレームの蓄積量は安定していることになる。
一方で、再生速度制御部107は、同期ずれDについて「D ≦ −x」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出したと通知された場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
つまり、ストリームデータ受信再生装置100においては、再生速度制御部107がストリームデータの再生速度を調節するときには、再生速度制御部107においてフレームにサンプルデータが補間されると共に、フレーム検出部104において次回の検索開始時刻が所定時間遅くなるように制御されるか、或いは再生速度制御部107においてフレームから所定量のデータが間引かれると共に、フレーム検出部104において次回の検索開始時刻が早くなるように制御される、ことになる。
ここで、本実施の形態に係るストリームデータ受信再生装置について、次のように表現することができる。「送信装置の送信したパケット化されたストリームデータをネットワークを介して受信し再生する装置であって、前記パケット化されたストリームデータを受信する受信手段と、受信された前記パケット化されたストリームデータから前記送信装置の内部クロックと自装置の内部クロックとの差を算出する同期ずれ算出手段と、受信された前記パケット化されたストリームデータのフレームを蓄積する受信バッファと、前記受信バッファに蓄積されているフレーム群の中から再生するフレームを検出するフレーム検出手段と、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が第一閾値x以上であり、かつ、前記フレーム検出手段によって再生するフレームが検出されない場合に、前記ストリームデータの再生速度を調節する再生速度制御手段と、を具備することを特徴とするストリームデータ受信再生装置。」
このように、本実施の形態に係るストリームデータ受信再生装置100によれば、同期ずれ算出部102によって算出された同期ずれDの大きさ(絶対値)が第一閾値x以上であり、かつ、フレーム検出部104で再生すべきフレームが検出されない場合に限り、再生速度制御部107がフレームに所定量のサンプルデータを補間したりフレームから所定量のデータを間引いたりするため、同期ずれに起因して発生するストリームデータの音飛び等による品質劣化の生じる頻度を低下させつつ、その同期ずれを補正するためのサンプルデータの補間やフレームからのデータの間引き等によって生じる品質劣化を抑制することができる。
また、本発明に係るストリームデータ受信再生装置100によれば、同期ずれ算出部102がパケット化されたストリームデータの有するタイムスタンプから同期ずれDを算出するため、ネットワーク150がインターネット等であっても、ストリームデータの再生時に品質劣化が生じる頻度を低下させることができると共に、サンプルデータの補間やフレームからのデータの間引きによって生じる品質劣化を抑制することができる。
なお、表2に示す制御ポリシーの補正態様では、再生速度制御部107がストリームデータの再生速度の調節を行うときに、補間されるサンプルデータの量とフレームから間引かれるデータの量とがどちらも第一閾値xに相当するデータ量に固定されている場合について説明したが、本発明はこの場合に限定されるものではなく、例えば補間されるサンプルデータの量又はフレームから間引かれるデータの量が同期ずれ算出部102において使用される閾値と同じでなくても良い。
また、本実施の形態では、再生速度制御部107がストリームデータの再生速度の調節を行うか判定する基準として正の第一閾値xとその負の値「−x」とを用いる場合について説明したが、本発明はこの場合に限定されるものではなく、例えば再生速度制御部107がこの基準として正の値と負の値とで異なる閾値を用いても良い。
(実施の形態2)
本発明に係る実施の形態2では、ストリームデータ受信再生装置100が下記「表3」に示す制御ポリシーに従って動作する。つまり、本実施の形態では、再生速度制御部107、同期ずれ算出部102及びフレーム検出部104の動作が、実施の形態1におけるそ
れらの動作と相違する。
Figure 0004744444
以下、本実施の形態におけるストリームデータ受信再生装置100の動作について、実施の形態1と相違する点についてのみ具体的に説明する。
表3において、「y」は、第二閾値に対応する正の値である。ストリームデータ受信再生装置100は、表3に示すように、同期ずれDについて「x ≦ D < y」が成り立つ場合には、実施の形態1において、同期ずれDについて「x ≦ D」が成り立つ場合と同一の動作を行う。また、ストリームデータ受信再生装置100は、同期ずれDについて「−y < D ≦ −x」が成り立つ場合には、実施の形態1において、同期ずれDについて「D ≦ −x」が成り立つ場合と同一の動作を行う。
また、再生速度制御部107は、表3に示すように、同期ずれDについて「y ≦ D」が成り立つ場合には、フレーム検出部104からの通知内容に関わらず、復号化部105から入力されてくるフレームに対して、時間yに対応するサンプルデータを補間し、このサンプルデータを補間したフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間yだけ遅らせるように指示すると共に、同期ずれ算出部102に対して、yの負の値即ち「−y」を前記Dの算出式における補正値rとして用いるように指示する。
一方で、再生速度制御部107は、表3に示すように、同期ずれDについて「D ≦ −y」が成り立つ場合には、フレーム検出部104からの通知内容に関わらず、復号化部105から入力されてくるフレームから時間yに対応するデータを間引き、間引きを行ったフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間yだけ早めるように指示すると共に、同期ずれ算出部102に対して、「y」を前記Dの算出式における補正値rとして用いるように指示する。
ここで、本実施の形態に係るストリームデータ受信再生装置について、次のように表現することができる。「実施の形態1に係るストリームデータ受信再生装置において、前記再生速度制御手段は、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第一閾値x以上第二閾値y未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されない場合に、或いは前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第二閾値y以上である場合に、前記ストリームデータの再生速度を調節する、ことを特徴とするストリームデータ受信再生装置。」
このように、実施の形態2では、第一閾値xよりも大きな第二閾値yを採用し、同期ずれDの大きさ(絶対値)が第二閾値y以上となる場合には、再生速度制御部107がフレーム検出部104からの通知内容に関わらず、時間yに対応するデータをフレームに補間したりフレームから間引いたりするため、出力バッファ108におけるストリームデータの蓄積量の変動を一層抑制することができる。
また、本実施の形態に係るストリームデータ受信再生装置100によれば、同期ずれDの大きさに応じて、受信したストリームデータの再生速度を補正する条件及び態様を個別に設定できるため、ストリームデータの実際の受信状況に応じて、ストリームデータのアンダーフローやオーバーフローが生じるおそれを一層低下させることにより、その再生時における品質劣化を効果的に抑制することができる。
なお、再生速度制御部107においてフレームに補間されるサンプルデータの量又はフレームから間引かれるデータの量は、同期ずれ算出部102において使用される閾値と同じでなくてもよい。
また、本実施の形態では、再生速度制御部107がストリームデータの再生速度の調節を行うか判定する基準として正の値x又はyと、これらの負の値「−x」又は「−y」とを用いる場合について説明したが、本発明はこの場合に限定されるものではなく、例えば再生速度制御部107がこの基準として正の値と負の値とで異なる値を用いてもよい。
(実施の形態3)
本発明に係る実施の形態3では、ストリームデータ受信再生装置100が下記「表4」に示す制御ポリシーに従って動作する。つまり、本実施の形態では、再生速度制御部107、同期ずれ算出部102及びフレーム検出部104の動作が、実施の形態1におけるそれらの動作と相違する。
Figure 0004744444
表3と表4とを比較すれば明らかなように、本実施の形態では、実施の形態2において
採用した第一閾値xと第二閾値yとの間に、第三閾値に対応する正の値「z」を新たに採用する。そのため、本実施の形態におけるストリームデータ受信再生装置100の動作は、実施の形態2で説明したストリームデータ受信再生装置100の動作と多くの部分で共通する。そこで、本実施の形態では、重複説明を避けるため、実施の形態2で説明したストリームデータ受信再生装置100の動作と相違する動作についてのみ説明する。
なお、本実施の形態では、ストリームデータが音声データであり、その各フレームには、ストリームデータ送信装置160での符号化の際に電力レベルを基準に有音区間と無音区間とを区別した情報が付与されているものとする。そして、この有音区間と無音区間とを区別した情報は、フレーム検出部104によって取り出され、そのフレームが無音区間に該当するか否かが判定される。従って、本実施の形態では、フレーム検出部104が、再生速度制御部107に対して、再生すべきフレームの検出結果と共に、そのフレームが「無音フレーム」に該当するか否かの判定結果をも通知することになる。
本実施の形態では、再生速度制御部107は、表4に示すように、同期ずれDについて「z ≦ D < y」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合又は無音フレームを検出したと通知された場合に限り、復号化部105から入力されてくるフレームに対して、時間zに対応するサンプルデータを補間し、このサンプルデータを補間したフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間zだけ遅らせるように指示すると共に、同期ずれ算出部102に対して、zの負の値即ち「−z」を前記Dの算出式における補正値rとして用いるように指示する。
一方で、再生速度制御部107は、同期ずれDについて「z ≦ D < y」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出し、かつ、無音フレームを検出できなかったと通知された場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
また、再生速度制御部107は、同期ずれDについて「−y < D ≦ −z」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合又は無音フレームを検出したと通知された場合に限り、復号化部105から入力されてくるフレームから時間zに対応するデータを間引き、間引きを行ったフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間zだけ早めるように指示すると共に、同期ずれ算出部102に対して、「z」を前記Dの算出式における補正値rとして用いるように指示する。
一方で、再生速度制御部107は、同期ずれDについて「−y < D ≦ −z」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出し、かつ、無音フレームを検出できなかったと通知された場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
ここで、本実施の形態に係るストリームデータ受信再生装置について、次のように表現することができる。「実施の形態2に係るストリームデータ受信再生装置において、前記再生速度制御手段は、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第一閾値x以上で、前記第二閾値yよりも小さい第三閾値z未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されない場合に、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第三閾値z以上前記第二閾値y未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されないか又は検出されたフレームが無音フレームである場合に、或いは前記同期ずれ算出
手段によって算出された前記内部クロックの差の絶対値が前記第二閾値y以上である場合に、前記ストリームデータの再生速度を調節する、ことを特徴とするストリームデータ受信再生装置。」
このように、本実施の形態に係るストリームデータ受信再生装置100によれば、フレーム検出部104によって再生すべきフレームが無音フレームに該当すると判定された場合に、時間zに対応するデータをフレームに補間したりフレームから間引いたりする音声データの再生速度の調節が行われるため、再生速度の調節に起因する音質劣化が顕在化し得ないという無音フレームの特質を有効利用することにより、音声データの再生時における音質劣化を一層効果的に抑制することができる。
なお、再生速度制御部107においてフレームに補間されるサンプルデータの量又はフレームから間引かれるデータの量は、同期ずれ算出部102において使用される閾値と同じでなくてもよい。
また、本実施の形態では、再生速度制御部107がストリームデータの再生速度の調節を行うか判定する基準として正の値x、y又はzと、これらの負の値「−x」、「−y」又は「−z」とを用いる場合について説明したが、本発明はこの場合に限定されるものではなく、例えば再生速度制御部107がこの基準として正の値と負の値とで異なる値を用いてもよい。
(実施の形態4)
本発明に係る実施の形態4では、ストリームデータ受信再生装置100が下記「表5」に示す制御ポリシーに従って動作する。つまり、本実施の形態では、再生速度制御部107、同期ずれ算出部102及びフレーム検出部104の動作が、実施の形態1におけるそれらの動作と相違する。
Figure 0004744444
表4と表5とを比較すれば明らかなように、本実施の形態では、実施の形態3において採用した第三閾値zと第二閾値yとの間に、第四閾値に対応する正の値「w」を新たに採用する。そのため、本実施の形態におけるストリームデータ受信再生装置100の動作は、実施の形態3で説明したストリームデータ受信再生装置100の動作と多くの部分で共通する。そこで、本実施の形態では、重複説明を避けるため、実施の形態3で説明したストリームデータ受信再生装置100の動作と相違する動作についてのみ説明する。
本実施の形態では、ストリームデータ送信装置160において、音声符号化によって生成されるフレームの大きさ(ビット数)が、そのフレームの重要度に応じて大きくなる方式が採用されているものとする。そのため、この音声符号化方式に対応して、フレーム検出部104は、再生すべきフレームを検出し、検出したフレームのビット数を測定して、測定したビット数を再生速度制御部107に通知することになる。そして、再生速度制御部107は、フレーム検出部104から通知されたフレームのビット数と第五閾値とを比較して、そのフレームのビット数が第五閾値以下であれば、そのフレームが重要性の低い有音フレーム(以下、「低重要有音フレーム」と呼ぶ)であると決定して、以下に説明する動作を行う。
本実施の形態では、再生速度制御部107、表5に示すように、同期ずれDについて「w ≦ D < y」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合、フレーム検出部104から無音フレームを検出したと通知された場合又は低重要有音フレームであると決定した場合に限り、復号化部105から入力されてくるフレームに対して、時間wに対応するサンプルデータを補間し、このサンプルデータを補間したフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間wだけ遅らせるように指示すると共に、同期ずれ算出部102に対して、wの負の値即ち「−w」を前記Dの算出式における補正値rとして用いるように指示する。
一方で、再生速度制御部107は、同期ずれDについて「w ≦ D < y」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出し、かつ、無音フレームを検出できなかったと通知され、かつ、そのフレームが低重要有音フレームではないと決定した場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
また、再生速度制御部107は、同期ずれDについて「−y < D ≦ −w」が成り立つ場合には、フレーム検出部104から再生すべきフレームを検出できなかったと通知された場合、フレーム検出部104から無音フレームを検出したと通知された場合又は低重要有音フレームであると決定した場合に限り、復号化部105から入力されてくるフレームから時間wに対応するデータを間引き、間引きを行ったフレームを出力バッファ108に入力する。また同時に、再生速度制御部107は、フレーム検出部104に対して、次回の検索開始時刻を時間wだけ早めるように指示すると共に、同期ずれ算出部102に対して、「w」を前記Dの算出式における補正値rとして用いるように指示する。
一方で、再生速度制御部107は、同期ずれDについて「−y < D ≦ −w」が成り立つ場合において、フレーム検出部104から再生すべきフレームを検出し、かつ、無音フレームを検出できなかったと通知され、かつ、そのフレームが低重要有音フレームではないと決定した場合には、復号化部105から入力されてくるフレームをそのまま出力バッファ108に入力する。
ここで、本実施の形態に係るストリームデータ受信再生装置について、次のように表現することができる。「実施の形態3に係るストリームデータ受信再生装置において、前記再生速度制御手段は、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第一閾値x以上で、前記第二閾値yよりも小さい第三閾値z未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されない場合に、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第三閾値z以上で、前記第二閾値yよりも小さい第四閾値w未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されないか又は検出されたフレームが無音フレームである場合
に、前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第四閾値w以上前記第二閾値y未満であり、かつ、前記フレーム検出手段によって再生するフレームが検出されないか、検出されたフレームが無音フレームであるか又は検出されたフレームに含まれる再生するデータの重要度が第五閾値以下である場合に、或いは前記同期ずれ算出手段によって算出された前記内部クロックの差の絶対値が前記第二閾値y以上である場合に、前記ストリームデータの再生速度を調節する、ことを特徴とするストリームデータ受信再生装置。」さらには、「前記再生速度制御手段は、前記フレーム検出手段によって検出されたフレームに含まれる再生するデータの重要度を前記フレームのビット数に応じて決定し、決定された前記データの重要度が前記第五閾値以下であるか判定する、ことを特徴とするストリームデータ受信再生装置。」
このように、本実施の形態に係るストリームデータ受信再生装置100によれば、再生速度制御部107によって再生すべきフレームが低重要有音フレームであると決定された場合に、時間wに対応するデータをフレームに補間したりフレームから間引いたりする音声データの再生速度の調節が行われるため、再生速度の調節に起因する音質劣化が顕在化し難いという低重要有音フレームの特質を有効利用することにより、音声データの再生時における音質劣化をより効果的に抑制することができる。
なお、再生速度制御部107においてフレームに補間されるサンプルデータの量又はフレームから間引かれるデータの量は、同期ずれ算出部102において使用される閾値と同じでなくてもよい。
また、本実施の形態では、再生速度制御部107がストリームデータの再生速度の調節を行うか判定する基準として正の値w、x、y又はzと、これらの負の値「−w」、「−x」、「−y」又は「−z」とを用いる場合について説明したが、本発明はこの場合に限定されるものではなく、例えば再生速度制御部107がこの基準として正の値と負の値とで異なる値を用いてもよい。
なお、本発明における各実施の形態について、以下のように変形したり応用したりしてもよい。
前記各実施の形態では、ストリームデータ受信再生装置100において、復号化部105がフレーム検出部104と再生速度制御部107との間に配置される場合について説明したが、本発明はこの場合に限定されるものではなく、例えば復号化部105が再生速度制御部107と出力バッファ108との間に配置されてもよい。図3に、復号化部105がこのように配置換えされたストリームデータ受信再生装置200の構成を示す。ストリームデータ受信再生装置200では、再生速度制御部107におけるストリームデータの再生速度の調節が、フレームにおけるデータ単位での調節からフレーム単位での調節に変更されることになる。従って、ストリームデータ受信再生装置200によれば、再生速度制御部107における信号処理の負荷が軽減されることになる。
また、前記各実施の形態では、ネットワーク150がインターネット等である場合について説明したが、本発明はこの場合に限定されるものではなく、例えばネットワーク150はパケット交換方式によるLAN(Local-Area Network)や携帯電話用ネットワークであってもよい。
また、本発明に係るストリームデータ受信再生装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るストリームデータ受信再生方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るストリームデータ受信再生装置と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本明細書は、2004年7月20日出願の特願2004−212181に基づく。この内容はすべてここに含めておく。
本発明に係るストリームデータ受信再生装置は、ストリームデータの再生時において、音飛び等の品質劣化が生じる頻度を低下させると共に、受信したストリームデータに対するデータの補間や間引きによってフレームに生じる品質劣化を抑制することができるという効果を有し、パケットの到着が保証されないVoIP技術を利用した通信システム等にとって有用である。
従来の通信システムの構成を示すブロック図 実施の形態1における通信システムの構成を示すブロック図 各実施の形態における通信システムの構成の変形例を示すブロック図

Claims (16)

  1. パケット化されたストリームデータを受信する受信手段と、
    受信されたストリームデータのフレームを蓄積する受信バッファと、
    蓄積されたストリームデータのフレーム群の中から、再生するフレームを検出するフレーム検出手段と、
    送信側の内部クロックと受信側の内部クロックとの差である同期ずれを、受信されたパケットのデータを用いて算出する同期ずれ算出手段と、
    前記フレーム検出手段において、再生するフレームが検出されず、かつ、前記同期ずれの絶対値が第1の閾値以上である場合、ストリームデータの再生速度を調節する再生速度制御手段と、
    を具備するストリームデータ受信再生装置。
  2. 前記同期ずれ算出手段は、受信したパケットのデータのタイムスタンプを用いて同期ずれを算出する請求項1記載のストリームデータ受信再生装置。
  3. 前記再生速度制御手段は、
    正の値の前記同期ずれが前記第1閾値以上の場合は、前記第1閾値に対応するサンプルデータをフレームに対して補間し、
    負の値の前記同期ずれが前記第1閾値の負の値以下の場合は、前記第1閾値に対応するサンプルデータをフレームから間引く、
    請求項1または請求項2記載のストリームデータ受信再生装置。
  4. 前記再生速度制御手段は、
    前記同期ずれの絶対値が前記第1閾値よりも大きい第2閾値以上である場合は、前記フレーム検出手段において再生するフレームが検出されるか否かにかかわらずストリームデータの再生速度を調節する、
    請求項1または請求項2記載のストリームデータ受信再生装置。
  5. 前記再生速度制御手段は、
    正の値の前記同期ずれが前記第2閾値以上の場合は、前記第2閾値に対応するサンプルデータをフレームに対して補間し、
    負の値の前記同期ずれが前記第2閾値の負の値以下の場合は、前記第2閾値に対応するサンプルデータをフレームから間引く、
    請求項4記載のストリームデータ受信再生装置。
  6. 前記フレーム検出手段は、さらに、検出したフレームが無音フレームであるか否かを判定し、
    前記再生速度制御手段は、さらに、前記フレーム検出手段において検出された再生するフレームが無音フレームである場合、ストリームデータの再生速度を調節する、
    請求項4記載のストリームデータ受信再生装置。
  7. 前記再生速度制御手段は、
    正の値の前記同期ずれが、前記第1閾値よりも大きく、かつ、前記第2閾値未満の第3閾値以上で、かつ、前記第2閾値未満の場合は、前記第3閾値に対応するサンプルデータをフレームに対して補間し、
    負の値の前記同期ずれが、前記第2閾値の負の値より大きく、かつ、前記第3閾値の負の値以下の場合は、前記第3閾値に対応するサンプルデータをフレームから間引く、
    請求項6記載のストリームデータ受信再生装置。
  8. 前記フレーム検出手段は、さらに、検出したフレームのビット数を検出し、
    前記再生速度制御手段は、さらに、検出した前記ビット数が大きいか小さいかを判定し、前記ビット数が小さい場合、ストリームデータの再生速度を調節する、
    請求項4記載のストリームデータ受信再生装置。
  9. 前記フレーム検出手段は、
    正の値の前記同期ずれが、前記第1閾値よりも大きく、かつ、前記第2閾値未満の第4閾値以上で、かつ、前記第2閾値未満の場合は、前記第4閾値に対応するサンプルデータをフレームに対して補間し、
    負の値の前記同期ずれが、前記第2閾値の負の値より大きく、かつ、前記第4閾値の負の値以下の場合は、前記第4閾値に対応するサンプルデータをフレームから間引く、
    請求項8記載のストリームデータ受信再生装置。
  10. 前記フレーム検出手段は、蓄積されたストリームデータのフレーム群の中から、再生するフレームを検出すると共に、検出したフレームが無音フレームであるか判定し、
    前記再生速度制御手段は、前記フレーム検出手段において、再生するフレームが検出されない場合又は検出された再生するフレームが無音フレームである場合、ストリームデータの再生速度を調節する、
    請求項1または請求項2記載のストリームデータ受信再生装置。
  11. 前記フレーム検出手段は、蓄積されたストリームデータのフレーム群の中から、再生するフレームを検出すると共に、検出したフレームが無音フレームであるか又は検出したフレームの重要度が第5閾値以下であるかを判定し、
    前記再生速度制御手段は、前記フレーム検出手段において、再生するフレームが検出されない場合、検出された再生するフレームが無音フレームである場合、又は検出したフレームの重要度が第5閾値以下である場合、ストリームデータの再生速度を調節する、
    請求項1または請求項2記載のストリームデータ受信再生装置。
  12. 前記フレーム検出手段は、検出したフレームの重要度を前記フレームのビット数で判定する、
    請求項11のストリームデータ受信再生装置。
  13. 請求項1から請求項12のいずれかに記載のストリームデータ受信再生装置を具備する通信端末装置。
  14. 請求項1から請求項12のいずれかに記載のストリームデータ受信再生装置を具備する基地局装置。
  15. ストリームデータ送信装置と、請求項1から12のいずれかに記載のストリームデータ受信再生装置と、を具備する通信システムであって、
    前記ストリームデータ受信再生装置の前記受信手段は、ネットワークを介して前記ストリームデータ送信装置によって送信された前記パケット化されたストリームデータを受信する、
    通信システム。
  16. パケット化されたストリームデータを受信するステップと、
    受信されたストリームデータのフレームを受信バッファに蓄積するステップと、
    蓄積されたストリームデータのフレーム群の中から、再生するフレームを検出するステップと、
    送信側の内部クロックと受信側の内部クロックとの差である同期ずれを、受信されたパケットのデータを用いて算出するステップと、
    再生するフレームが検出されず、かつ、前記同期ずれの絶対値が第1の閾値以上である場合、ストリームデータの再生速度を調節するステップと、
    を具備するストリームデータ受信再生方法。
JP2006529163A 2004-07-20 2005-07-14 ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法 Expired - Fee Related JP4744444B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006529163A JP4744444B2 (ja) 2004-07-20 2005-07-14 ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004212181 2004-07-20
JP2004212181 2004-07-20
JP2006529163A JP4744444B2 (ja) 2004-07-20 2005-07-14 ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法
PCT/JP2005/013092 WO2006009087A1 (ja) 2004-07-20 2005-07-14 ストリームデータ受信再生装置およびストリームデータ受信再生方法

Publications (2)

Publication Number Publication Date
JPWO2006009087A1 JPWO2006009087A1 (ja) 2008-05-01
JP4744444B2 true JP4744444B2 (ja) 2011-08-10

Family

ID=35785200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006529163A Expired - Fee Related JP4744444B2 (ja) 2004-07-20 2005-07-14 ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法

Country Status (5)

Country Link
US (1) US8718452B2 (ja)
EP (1) EP1763175B1 (ja)
JP (1) JP4744444B2 (ja)
CN (1) CN101002430B (ja)
WO (1) WO2006009087A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003338A (ja) * 2006-06-23 2008-01-10 Hitachi Ltd データ処理装置、及びデータ処理プログラム
JP2008097430A (ja) * 2006-10-13 2008-04-24 Sanyo Electric Co Ltd ストリームデータ再生システム
KR20090076366A (ko) * 2008-01-08 2009-07-13 엘지전자 주식회사 Iptv 재생 장치 및 그 배속 재생 방법
US20090265022A1 (en) * 2008-04-21 2009-10-22 Microsoft Corporation Playback of multimedia during multi-way communications
KR101499785B1 (ko) * 2008-10-23 2015-03-09 삼성전자주식회사 모바일 디바이스를 위한 오디오 처리 장치 및 그 방법
KR101662737B1 (ko) * 2010-02-04 2016-10-05 삼성전자주식회사 재생 속도 조절에 기초한 멀티미디어 데이터 재생 방법 및 장치
US8612242B2 (en) * 2010-04-16 2013-12-17 St-Ericsson Sa Minimizing speech delay in communication devices
US20110257964A1 (en) * 2010-04-16 2011-10-20 Rathonyi Bela Minimizing Speech Delay in Communication Devices
CN103003877B (zh) * 2010-08-23 2014-12-31 松下电器产业株式会社 声音信号处理装置及声音信号处理方法
JP2014187620A (ja) * 2013-03-25 2014-10-02 Oki Electric Ind Co Ltd 通話遅延低減装置及びプログラム
JP2016126037A (ja) 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
US10824579B2 (en) 2018-03-16 2020-11-03 Neuralink Corp. Network-on-chip for neurological data
US11282534B2 (en) 2018-08-03 2022-03-22 Sling Media Pvt Ltd Systems and methods for intelligent playback
JP7148199B2 (ja) * 2018-09-03 2022-10-05 日本電気株式会社 通信装置、通信方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077233A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd リアルタイム情報受信装置
JP2002330180A (ja) * 2001-04-27 2002-11-15 Toa Corp 受信装置及び受信再生方法
JP2003087317A (ja) * 2001-09-12 2003-03-20 Nec Corp 音声パケット遅延揺らぎ吸収装置及び吸収方法
WO2003048900A2 (en) * 2001-11-29 2003-06-12 Catena Networks, Inc. System and method for compensating packet delay variations
JP2004158925A (ja) * 2002-11-01 2004-06-03 Matsushita Electric Ind Co Ltd ディジタルデータ処理装置およびディジタルデータ処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987241A (en) * 1974-10-17 1976-10-19 Westinghouse Electric Corporation Sampled differential analyzer
US4631746A (en) * 1983-02-14 1986-12-23 Wang Laboratories, Inc. Compression and expansion of digitized voice signals
FR2706233B1 (fr) * 1993-06-08 1995-09-22 Thomson Consumer Electronics Dispositif d'extraction de synchronisation d'un signal vidéo.
US6072810A (en) * 1996-11-08 2000-06-06 Alcatel Method to transparently transport an incoming clock signal over a network segment, and related transmitter and receiver unit
US5952922A (en) * 1996-12-31 1999-09-14 Lucent Technologies Inc. In-building modulated backscatter system
US6222909B1 (en) * 1997-11-14 2001-04-24 Lucent Technologies Inc. Audio note taking system and method for communication devices
US6510182B1 (en) * 1999-10-25 2003-01-21 Freesystems Pte. Ltd. Wireless infrared digital audio system
KR100385331B1 (ko) * 2000-12-19 2003-05-27 주식회사 코스모탄 변속재생 시에도 음색변화를 유발하지 않도록 하는오디오신호 재생방법과 이를 위한 재생장치
US7266127B2 (en) * 2002-02-08 2007-09-04 Lucent Technologies Inc. Method and system to compensate for the effects of packet delays on speech quality in a Voice-over IP system
US8472791B2 (en) * 2004-03-17 2013-06-25 Hewlett-Packard Development Company, L.P. Variable speed video playback
CN101409609A (zh) * 2007-10-09 2009-04-15 北京信威通信技术股份有限公司 一种无线系统中高效可靠传输语音的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077233A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd リアルタイム情報受信装置
JP2002330180A (ja) * 2001-04-27 2002-11-15 Toa Corp 受信装置及び受信再生方法
JP2003087317A (ja) * 2001-09-12 2003-03-20 Nec Corp 音声パケット遅延揺らぎ吸収装置及び吸収方法
WO2003048900A2 (en) * 2001-11-29 2003-06-12 Catena Networks, Inc. System and method for compensating packet delay variations
JP2004158925A (ja) * 2002-11-01 2004-06-03 Matsushita Electric Ind Co Ltd ディジタルデータ処理装置およびディジタルデータ処理方法

Also Published As

Publication number Publication date
EP1763175A4 (en) 2009-05-06
CN101002430B (zh) 2010-09-29
EP1763175A1 (en) 2007-03-14
CN101002430A (zh) 2007-07-18
JPWO2006009087A1 (ja) 2008-05-01
US20070237495A1 (en) 2007-10-11
WO2006009087A1 (ja) 2006-01-26
EP1763175B1 (en) 2013-01-02
US8718452B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
JP4744444B2 (ja) ストリームデータ受信再生装置、通信システムおよびストリームデータ受信再生方法
JP4838273B2 (ja) メディア内同期化のための適応型メディア再生方法および装置
AU2008330261B2 (en) Play-out delay estimation
US7787500B2 (en) Packet receiving method and device
US7450601B2 (en) Method and communication apparatus for controlling a jitter buffer
KR100902456B1 (ko) 단 대 단 VoIP 매체 지연을 관리하는 방법 및 장치
CN101523822B (zh) 语音传输装置
US8885672B2 (en) Method of transmitting data in a communication system
CN107534589A (zh) 去抖动缓冲器更新
JP2005269632A (ja) 通信端末装置、電話データ受信方法、通信システムおよびゲートウェイ
JP2007258928A (ja) ゆらぎ吸収バッファ制御装置
KR20170082901A (ko) 재생 지연 조절 방법 및 이를 적용한 전자 장치
JP2002271389A (ja) パケット処理装置およびパケット処理方法
JP2004282692A (ja) ネットワーク電話機および音声復号化装置
US7586937B2 (en) Receiving device and method
US8615045B2 (en) Apparatus and method for playout scheduling in voice over internet protocol (VoIP) system
JP2005266411A (ja) 音声圧縮方法および電話器
JP2005318379A (ja) 音声パケットの揺らぎ吸収制御方法
JP4260123B2 (ja) 出力方法、出力装置、通信システム及びコンピュータプログラム
Jelassi et al. A Self-tuned Quality-Aware De-jittering Buffer Scheme of Packetized Voice Conversations
JP2008099209A (ja) コンテンツ再生装置とその再生タイミング同期方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4744444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees