JP4673411B2 - 移動通信ネットワークにおける方法および装置 - Google Patents

移動通信ネットワークにおける方法および装置 Download PDF

Info

Publication number
JP4673411B2
JP4673411B2 JP2008532605A JP2008532605A JP4673411B2 JP 4673411 B2 JP4673411 B2 JP 4673411B2 JP 2008532605 A JP2008532605 A JP 2008532605A JP 2008532605 A JP2008532605 A JP 2008532605A JP 4673411 B2 JP4673411 B2 JP 4673411B2
Authority
JP
Japan
Prior art keywords
time
time measurement
jitter buffer
control logic
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008532605A
Other languages
English (en)
Other versions
JP2009510855A5 (ja
JP2009510855A (ja
Inventor
トマス フランキラ,
インイェマー ヨハンソン,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2009510855A publication Critical patent/JP2009510855A/ja
Publication of JP2009510855A5 publication Critical patent/JP2009510855A5/ja
Application granted granted Critical
Publication of JP4673411B2 publication Critical patent/JP4673411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/062Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
    • H04J3/0632Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]

Description

本発明は全般的に音響信号伝送に適すパケットベース通信システム、より詳細にはこのような通信システムにおいて使用するバッファ技術に関する。
IP経由の音声は通信とデータ通信の世界の間の集約であり、通話信号をデータパケット、例えばインターネットプロトコル(Internet Protocol、IP)パケットにより搬送する。記録する通話を通話コーデックによりフレーム毎を基本に符号化する。データフレームを各通話フレームに対して生成する。1つまたは幾つかのデータフレームをRTPパケットにまとめる。RTPパケットをさらにUDPパケットにまとめ、UDPパケットをIPパケットにまとめる。次いで、IPパケットを送信クライアントから受信クライアントへIPネットワークを使用して送信する。
パケットベースのネットワークに関連する問題は遅延ジッタである。パケットを規則的間隔で、例えば20ミリ秒ごとに1フレームを送信しても、パケットは受信機に不規則に到着することを、遅延ジッタは意味する。パケットは順序通りでなく到着することもある。順序通りでなくパケットを受信する最も共通する理由は、少なくとも固定ネットワークの場合パケットが異なるルート通るからである。無線ネットワークの場合、別の理由は再送信を使用することでありうる。アップリンクにおいて(即ち、移動端末から基地局へ)パケットNを送信する場合、訂正できないビット誤りが存在することがあり、再送信の実施を必要とする。一方、再送信のための信号送信は遅く、従って順番待ちの次のパケット(パケットN+1)を送信し、その後パケットNを再送信する。これは、再送信パケットNを正しく受信する前にパケットN+1を正しく受信した場合、パケットを順序通りでなく受信することになろう。
VoIPクライアントでは、ジッタバッファ手段を使用して、伝送遅延ジッタを等化し、従って通話サンプルを一定のサンプル速度、例えば20ms毎に1フレームでプレイアウトすることができる(プレイアウトは本明細書の記述では通話のサウンドカードへの送信を示すのに使用する)。ジッタバッファ手段の満杯レベルはパケットフローにおける遅延ジッタ量に比例し、目的は遅延損失量を受容可能なレベルに保つ一方、遅延を可能な限り少なく保つことである。以下の例は遅延を可能な限り少なく保つことの重要さを説明する:ジッタバッファ手段における長いバッファ時間は端末間遅延を増す。これにより会話品質の低下が感じられるのは、システムを「遅い」と感じるからであろう。遅延が大きいとユーザが同時に話す危険が増し、また相手ユーザが「遅い」(ゆっくり考える)という印象を与えることがある。さらに、遅延損失は正しく受信するが、デコーダにとり有用であるには到着が遅すぎるパケットである。
ジッタバッファ手段は一定時間の間パケットまたはフレームを蓄積する。これを定義する典型的な方法は、例えば満杯レベルとして示す、一定の「レベル」までジッタバッファ手段を満たすことである。フレーム数の代わりにミリ秒でこのレベルを測定することが多いのは、フレームサイズが変動するからである。従って、ジッタバッファ手段のレベルは時間で測定する。ジッタバッファ手段のレベルは幾つかの異なる方法で設定することができる。
固定サイズ:固定サイズは、ジッタバッファの満杯レベルを固定し、事前に構成することを意味する。DTX期間の後通話プレイアウトを再開する前に、最初に固定時間、例えば固定数のフレーム(例えば、5フレーム)によりジッタバッファ手段を満杯にする。この初期マージンを使用して、遅延ジッタおよび遅延損失に対して保護を与える。
ジッタバッファ手段の適応サイズ:ジッタバッファの満杯レベルは遅延ジッタと共に変動する。固定サイズのジッタバッファの満杯レベルの場合と同様に、初期フレーム数をバッファし、その後DTX期間後に通話プレイアウトを再開する。とはいえ音声動作(非DTX)期間中に、ジッタバッファ手段の満杯レベルは入力パケットの分析に基づいて変化しうる。幾つかの会話発出を経て統計を集計することが可能である。一方各通話開始時に、ジッタバッファの満杯レベルを「無指定レベル」に通常再設定する。
相互動作性を改善するジッタバッファ手段の適応サイズ:感じられる遅延を削減するために、ジッタバッファ手段の適応サイズによる場合より短い時間によりジッタバッファ手段を初期化することが可能であり、DTXの後最初の通話パケットを受信すると直ちに、通話プレイアウトを開始する。ジッタバッファの満杯レベルに達するために、時間計測を使用して最初の復号フレームを伸張し、ペースを下げてジッタバッファ手段からパケットを抽出する。時間計測は、通話フレームを適応的にプレイアウトする、即ち20ミリ秒の通話を通常含む通話フレームを伸張することができ、30ミリ秒の通話を生成することを意味する。最初の受信パケットの後にプレイアウトを開始することに代わるのは、1つまたは2つの余分のパケットを待つことである。特許文献1および特許文献2は時間計測について記載している。
DTXは不連続伝送であり、DTXは音声がなく、入力信号が(背景)雑音のみを含む場合、特別なタイプの情報をチャネルに送信することを意味する。エンコーダは背景雑音を評価し、雑音を記述するパラメータセット(=静寂を記述する(Silence Description、SID)パラメータ)を判断する。SIDパラメータを受信端末に送信し、類似雑音、慰安雑音を生成することができる。SIDパラメータを通常の通話フレームより少ない頻度で送信し、電力および伝送リソースを節約する。
次に図1を見ると、図1は相互動作性を改善するジッタバッファ手段の適応サイズ法による初期ジッタバッファ手段の動作例を示す。上部の図はジッタバッファの満杯レベルを示し、下部の図はフレームサイズを示す。最初のパケットを受信すると直ちに、約0.5秒でプレイアウトを開始する。時間計測を実施し、生成フレームのサイズを増し、通常のペースより遅くジッタバッファ手段からフレームを処理する。プレイアウトの早期開始は相互動作性が改善された感じを与え、会話品質の向上を感じさせる。会話バーストの終わり約3秒では最後の通話フレームを短くし、通常より速いペースでプレイアウトする。これによりさらに相互動作性の改善をもたらす。
非DTX期間中の目標ジッタバッファ手段のレベル(60ms)の適応は図1に示していないとはいえ、相互動作性を改善するジッタバッファ手段の適応サイズに関する典型的な実装には、この機能が存在するであろうことに注意されたい。
一方、上記の3つの方法には幾つかの欠点がある。プレイアウトの開始前に幾つかのパケットを常にバッファするので、固定ジッタバッファ手段のサイズはかなり大きな遅延をもたらす。これにより相互動作性の低下を感じさせる。
少なくともチャネルがゆっくりと変動するならば、適応的ジッタバッファ手段は満杯レベルを調整し、平均してより少ない遅延を持ち込むようにすることができる。長い初期バッファ時間による相互動作性不良の問題はなお残るが、これはDTX期間後にフローが始まる場合適応目的が通話活動中の進行するパケットフローの中で適応することであるからである。各通話開始時に(即ち、DTXから通話への切り替え時に)ジッタバッファの満杯レベルを無指定レベルに再設定すれば、この問題が生じることに注意すべきである。
相互動作性を改善するジッタバッファ手段の適応サイズを使用する場合初期遅延を感じることは少なくなるであろう故、ジッタバッファ手段の初期化は相互動作性を改善する。とはいえ1つの問題は、通話バースト開始時にジッタバッファ手段のレベルが非常に低く、それ故通話バースト開始時の遅延ジッタが遅延損失になる危険があることである。フレーム損失と同様に、遅延損失が通話品質を減じるであろうが、それは損失となるかまたは後に受信するフレームの誤り隠蔽を起動するからである。加えて相互動作性を改善するジッタバッファ手段の適応サイズ法は、複数の遅延スパイクに遭遇するのを避けるために適応期間を十分短くしなければならないので、通常の満杯レベルにバッファレベルを調整する時間計測をかなり速く行わなければならないことをまた意味する。遅延スパイクは最初のパケットから後続のパケットへ遅延が相当に増える場合である。これは時間計測がかなり積極的でなければならないことを意味する。積極的時間計測は、時間計測自体が歪みを持ち込む危険を増す。歪みには種々の種類のクリック、プロップ、雑音バーストがありうるが、「不自然な会話量」のような「奇妙に響く音」もありうる。
低ビット速度ではあるが品質を維持する信号の符号化が可能であるフレーム間予測を使用する、大部分の最近の通話コーデック(GSM−EFR、GSM−AMR、ITU−TG.729、EVRCなど)の場合、さらに問題がある。フレーム間予測によりある時間の間誤りが伝播するので、フレーム損失および遅延損失の双方は現フレームおよびまた後続のフレームにも歪みをもたらす。誤り伝播時間は音響およびコーデックに依存するが、5乃至6フレーム(100乃至120ms)の長さでありうる。遅延損失は特に通話バーストの開始時に重大であるが、それはこれらの部分が発声の開始を含むことが多く、適応コードブックが発声の開始を後に音声波形の構築に使用するからである。通話バーストの開始時の遅延損失の結果はそれ故極めて可聴性であることが多く、理解性をかなり損ないうる。
遅延損失が立ち上がり時間の間に生じる場合に起こりうる誤り伝播を補償する幾つかの方法があるが、それらの方法は全てかなりの欠点を有する。1つの可能性は初期バッファ時間を削減することであるが、最適な場合でも多くは為し得ない。これは相互動作性に関して望む程多くの利得を得ることが可能でないことを勿論意味するであろう。
別の可能性はコーデックに使用するフレーム間予測量を削減することである。とはいえこれはフレーム間相関がその可能性一杯にまで使用されないので本来の通話品質を低減することになるか、または信号をより速いビット速度で符号化することが必要になるかいずれか、または両方になるであろう。
相互動作性を改善するジッタバッファ手段の適応サイズ法の欠点により、この方法を実際のシステムに使用することは困難である。非常に少ないジッタを含み、好ましくはまた殆どパケット損失のないチャネルの場合、この方法はうまく動作しうるが、多くのジッタを含み、恐らくまたパケット損失をもたらすチャネルの場合、相互動作性の改善に十分な利得を得ることは非常に困難である。大部分の実際的な場合には、プレイアウトの開始前に幾つかのフレームの初期化時間を有することが好ましいであろう。
国際公開第200118790A1号パンフレット 米国特許出願公開第2004/0156397A1号明細書
本発明の目的は、相互動作性と通話(聴取)品質との少なくともいずれかを改善する制御ロジック手段を達成することである。
上述の目的は独立請求項による制御ロジック手段および方法により達成される。
好ましい実施形態は従属請求項により定義される。
本発明は初期バッファ時間および時間計測量の少なくとも1つを適応的に制御する可能性に基づいて、相互動作性と、通話並びに聴取の品質との少なくともいずれかを改善する。
これを、ジッタバッファ手段、デコーダ、および時間計測手段並びに状態復帰手段の少なくとも1つから情報を取り出すようにする制御ロジック手段の導入により達成し、制御ロジック手段は初期バッファ時間および取り出す情報に基づく時間計測量の少なくとも1つをさらに適応的に制御する。
制御ロジック手段の導入により、初期バッファ時間と組み合わせて状態復帰手段の利点を改善することが可能である。状態復帰は最初のジッタバッファ手段の立ち上がり期間中における遅延損失に対する受信機の感度下げる。それ故積極的時間計測を持つことにより、非常に短い初期化時間を持つことが可能である。相互動作性を改善するジッタバッファ手段の適応サイズ法により可能になるものより、これはさらに相互動作性を改善する。
状態復帰手段により遅延損失に対する強さが増すので、ジッタバッファ手段のより長い立ち上がり期間をまた許容することができる。それ故積極性を下げる時間計測を行うことが可能である。これが有利でありうるのは、時間計測が時間計測の性能により異なる音響に異なる歪みを合成通話に持ち込みうるからである。
制御ロジック手段は初期バッファ時間、状態復帰および時間計測を種々の方法で組み合わせることができるので、これらの変数間の適応により性能を改善する。この適応は現在のチャネル状態または音響信号のいずれか、または双方に基づくことができる。
時間計測および状態復帰を使用すると複雑さが増すことになり、それ故中央処理装置(Central Processing Unit、CPU)の負荷がより重くなる。本発明による更なる利点は、パラメータ設定および状態復帰の動作可能化/不可能化を制御することにより、本発明が複雑さの制御を可能にすることである。これを、CPUの負荷に関する情報を取り出し、パラメータ設定または状態復帰手段の動作可能化/不可能化を制御する制御ロジック手段により達成する。CPUの負荷に関して取り出す情報は、時間計測操作と状態復帰操作との少なくともいずれかに関連づけることができる。
相互動作性を改善すると感じられる遅延を少なくするので、聴取品質を改善し、時間計測の積極的使用により可能な遅延損失を修復するので状態復帰により品質を改善する。
別の利点は制御ロジック手段が、大きなジッタおよび恐らくまたパケット損失および大きな遅延を有する重たい負荷の掛かるセルネットワークの、たまにではあるが遅延スパイクおよび短い遅延または不良チャネル状態のあるオフイスLANにおける、良好なチャネル状態など種々の運用状態への適応を可能にすることである。
本発明の目的および利点は図面と共に本明細書を読むことから明らかになろう。
以降、本発明の好ましい実施形態を示す添付の図面を参照して、本発明をさらに完全に記述することにする。一方本発明は、多くの異なる形態で実施することができ、本発明を本明細書に示す実施形態に限定すると考えるべきではなく;むしろこれらの実施形態を本開示が完全で、完結したものであるであろうように提示し、本発明は当業者に本発明の範囲を十分に伝達するであろう。
IP経由の音声クライアントのための受信機の概観を図2に示す。本発明はまたIPによらないATM経由の音声および遅延ジッタが生じるその他のシステムに適用可能でありうることに注意すべきである。受信機はデコーダに接続するジッタバッファ手段を含み、デコーダは時間計測手段にさらに接続する。誤り隠蔽(Error Concealment、ECU)手段に接続する状態復帰手段はジッタバッファ手段およびデコーダに接続することができる。受信機はジッタバッファ手段を介してデータパケットを受信する。パケットは幾つかの通話データフレームに対するデータを含みうるので、パケットを非パケット化し、幾つかの通話データフレームに対するデータを含む場合、そのことをパケット有料ヘッダにおいて指示する。従ってジッタバッファ手段はパケットからデータフレームを抽出する。遅延ジッタによりデータフレームが再順序化されうるので、ジッタバッファ手段はフレームを順序通りにする。ジッタバッファ手段から、遅延損失、フレーム損失および現在のジッタバッファ手段のレベルについての情報を得ることが可能である。データフレームの抽出をまた別の手段において実行することができ、その場合ジッタバッファ手段がデータフレームを受信することに注意すべきである。
デコーダはデータフレームを通話フレーム、即ち音響信号に復号する。例えばデータフレームが244ビットであるAMR12.2kbpsモードにおけるように、データフレームを160の16ビットワードサンプル(通話フレーム)に復号する。
時間計測手段はデコーダから入力する復号通話フレームのサイズを圧縮または伸張する能力を有し、例えば通話デコーダからの160サンプルを240サンプルに伸張するか、または80サンプルに圧縮することができる、またはあるその他のフレームサイズに伸張/圧縮することができる。時間計測手段は達成する圧縮または伸張に関する情報を提供する。時間計測は種々の音響信号に対し異なるように実行する。幾つかの音響信号は時間の計測が極めて容易であり、この場合時間計測により歪みを持ち込まない、または持ち込むことが殆どない。このような音響の例は変化のない有声セグメント、無声セグメントおよび背景雑音である。その他の音響信号は時間の計測が極めて困難であり、この場合時間計測により恐らく事実上聴取しうる歪みを持ち込むであろう。計測の困難な音響の例は瞬間的(無声から有声に移行する)音響、破裂音(「t」、「p」、「b」、、、)、通話の開始(背景雑音(DTX)から通話に移行する)である。それ故時間計測があるべき積極さを決定することができるためには、通話デコーダまたは時間計測機能のいずれかから情報を取り出すことが望ましい。音響特性またはチャネル特性を記述し、初期バッファ時間または時間計測量に適応するために、単独で、または組み合わせて取り出すかことが望ましい種々のパラメータまたは測定尺度のその他の例は適応コードブック(adaptive codebook、ACB)利得、固定コードブック(fixed codebook、FCB)利得、LTB/ACBの遅れ測定尺度および特性、LSP率特性、スペクトル平坦性測定尺度、スペクトラム偏差、エネルギー測定尺度および偏差である。
本発明において使用しうる時間計測を実行する種々の方法例が特許出願、国際公開第93516号および米国特許第6873954号に記載されている。上記の時間計測手段はまた送信機に位置しうることに注意すべきであり、従って時間計測は符号化操作の前に実行しうる。時間計測を送信機において実行すれば、幾つかの情報をエンコーダとデコーダとの間で交換しなければならない。
復号手段と時間計測手段はまた1つの装置に統合することができる。このような統合装置では、時間計測を合成フィルタの前で起動して実行し、次いで通常の場合より多いまたは少ないサンプルに合成フィルタを適用する。
時間計測手段をサンプルバッファにさらに接続する。時間を計測したフレームをサンプルバッファに伝送する。サンプルバッファが事前に定義する閾値レベルまで満杯であれば、フレームが複数の連続するサンプルである、1つまたは複数のサンプルをサンプルバッファからスピーカの音響カードに送信する。サンプルバッファが満杯でなければ、さらに復号操作が必要である。それ故時間計測の導入がありうる。
本発明によれば、制御ロジック手段を導入して、存在する状態復帰機能、チャネル特性、音響特性、誘起歪み(時間計測前後の歪みの比較)および実施時間計測についての情報などの情報を取り出す。存在する状態復帰機能についての情報は制御ロジック手段において事前に構成することができる、即ち状態復帰手段の動作可能化/不可能化についての情報は状態復帰手段から引き出すことができる。チャネル特性はジッタバッファ手段から引き出すことができ、音響特性および歪み情報はデコーダから引き出すことができ、歪み情報および実施時間計測は時間計測手段から引き出すことができる。従って状態復帰機能が利用可能であるかについての情報を持つには、制御ロジック手段が必要であり、制御ロジック手段はジッタバッファ手段、状態復帰手段、デコーダおよび時間計測手段の少なくとも1つから情報を取り出すようにする。制御ロジック手段をまた使用して、ジッタバッファの満杯レベルを制御することができる。
次いでジッタバッファ手段から取り出す情報および状態復帰機能の利用可能性に関する情報に基づくジッタバッファ手段の初期バッファ時間および時間計測手段またはデコーダから取り出す情報に基づく時間計測手段の時間計測設定の少なくとも1つを、状態復帰機能の利用可能性に関する情報と組み合わせて、制御ロジック手段が適応的に制御する。制御ロジック手段はフレーム毎を基本にこの制御を好ましくは実行する。
状態復帰手段は状態復帰機能を提供する。状態復帰機能は遅延損失を修復し、純然たる誤り隠蔽を改善する。この機能は米国特許第6,721,327号に記載されている。
フレームを損失するかまたは時間内に受信しない(即ち、遅すぎる受信)かいずれかのためにフレームを受信しない場合、誤り隠蔽手段を動作させ、誤りの隠蔽を試行することになろう。一方誤りの隠蔽を使用することにより、後続フレームに対する誤った開始状態をもたらす。受信するが、合成に有用である時間内に受信しないフレームはフレームの境界で状態を訂正するのになお使用することができ、その後後続フレームを復号し、合成する。これを、状態復帰法に従い追加復号を実行することにより、遅延損失前の状態に逆戻りするデコーダの状態を使用して行う。訂正デコーダ状態を得る正しい受信パラメータを使用して復号を行う。追加復号からのオーディオサンプルは、プレイアウトするには遅すぎるので廃棄する。誤り隠蔽フレーム後の状態は追加復号からの状態との置換または結合のいずれかを行い、後続フレームにとりより適切な改善された状態を作成する。これにより誤り伝播時間の削減が得られる。
複数の連続遅延損失が生じる場合にも状態復帰により性能を改善するとはいえ、復号複雑度の制約のため状態復帰を実装において使用し、デコーダの複雑さによる過負荷(次いでCPUの過負荷になる)にならない単一かまたは極めて少ない遅延損失のみを扱うのが好ましいであろう。図3は状態復帰がもたらす利点を示す。図3の上部のグラフは歪みのない波形を開示し、真中の波形は遅延損失により歪み、下部の波形は遅延損失により歪むが、状態復帰により修復される。時間計測を含むので、波形と時間は若干異なることに注意すべきである。次いで、真中のグラフの通話は長い時間期間を経て減衰し、歪み、これにより通話品質不良になることを見ることができる。このように遅延損失に対しシステムをより強固にすることにより、状態復帰は性能を改善するが、追加復号が必要になることにより復号複雑度を増す。
本発明の方法および装置はジッタバッファ手段の立ち上がり局面における通話品質の改善を感じさせる。改善したジッタバッファ手段の立ち上がり局面を図4乃至図6に記述する。
図4乃至図6のグラフは垂直軸にジッタバッファ手段のレベルを、水平軸に時間を示す。初期バッファ時間、立ち上がり時間および満杯レベルを示す。初期バッファ時間はフレームをさらにデコーダに伝送する前の時間(またはバッファにおける受信フレームのサイズ)であり、立ち上がり時間はジッタバッファの満杯レベルに達するのに必要な時間である。図4で、破線は相互動作性の改善を伴うバッファ法のジッタバッファの満杯レベルを示す。実線は本発明による方法によるジッタバッファの満杯レベルを示し、制御ロジック手段は立ち上がり時間に影響を与える初期バッファ時間および時間計測量を制御する。この制御は立ち上がり時間および状態復帰が存在する間の遅延損失確率に基づく。
状態復帰は遅延損失に対して受信機をさらに強固にするので、状態復帰により初期バッファ時間の削減がさらに可能になる。本発明による制御ロジック手段は状態復帰の存在する/存在しないことに基づき削減した初期バッファ時間の適応を可能にする。初期バッファ時間をさらに削減することが可能であるので、従来技術において実行するものより相互動作性の改善がさらに感じられる。
上記のように時間計測動作の良好性は復号通話フレームの音響特性に依存する。ある音響に対して時間計測は歪みを持ち込み、ある音響に対して時間計測は非常に良好に動作する。音響特性の分析を本発明による制御ロジック手段により使用して、時間計測のあるべき積極性を決定する、即ち現在の状況に時間計測を適応させることができる。非常に積極的な時間計測は非常に短いジッタバッファ手段の立ち上がり期間を持つことを可能にし、これは遅延スパイクに遭遇する危険を削減する。積極的な時間計測を図5に示す。状態復帰は誤りを隠蔽する方法であり、良好ではあるが完全ではない状態をもたらし、遅延損失が依然性能に影響を与えうることを意味するので、短い立ち上がり時間は有益である。チャネルが厳しい遅延ジッタ特性を有し、状態復帰が利用できなければ、その場合非常に積極的な時間計測量を使用し、ジッタバッファ手段の内容を極めて速やかに増やすことが必要である。状態復帰が利用できれば、その場合現在の通話セグメントに対する時間計測実行の良好さに応じて、積極性を制御することができる。時間計測がそれほど良好に動作しない音響に対し、制御ロジック手段は積極性の弱い時間計測を起動することとし、これにより長い立ち上がり時間を与える。時間計測実行の良好性を記述し、制御ロジック手段が単独でまたは他のパラメータ/計測尺度と組み合わせて使用し、時間計測の積極性を制御することができる種々のパラメータまたは計測尺度の例は、スペクトラム誤り、時間計測操作の前後における信号間のエネルギー差およびピッチ整合誤りである。これを図6に示す。この場合、制御ロジック手段は好ましくは状態復帰機能を動作可能とし、遅延損失の影響を削減することができる。
チャネル特性および通話信号の双方は時間の経過と共に変動するので、図4乃至図6に示す上記のジッタバッファ手段の立ち上げ方策間に適応する制御ロジック手段を有するのは有益である。さらにチャネルが急速に変動していれば、その場合短い立ち上がり期間は1つまたは幾つかの遅延スパイクに遭遇する危険を削減するので、短い立ち上がり期間を有するのは有益である。これは、チャネル習性統計を例えばジッタバッファ手段から収集しなければならず、そうすれば統計を制御ロジック手段により使用し、時間計測量を適応させることができることを意味する。
追加復号操作を実行するので、状態復帰は重いCPUの負荷になる余分の復号複雑性を持ち込む。余分の復号操作が必要であるのは、デコーダの状態を遅延損失前に取っていた状態に戻し、正しく受信するが、遅延するパラメータを使用して復号を行うからである。余分の復号操作回数は遅延フレームの遅れに比例する。フレームが1フレームだけ遅れれば、1つの余分な状態復号が必要である。複雑度を削減するには、合成フィルタおよび後段フィルタを動作させる必要はない。合成フィルタおよび後段フィルタはそれ故復帰しない。これが可能であるのは状態復帰の目的は、他の方法では状態復帰がなく修復に長い時間を要する状態を復帰させることだけであるからである。これは適応コードブックの更新に含む部分(ピッチ利得、ピッチ遅れ、固定コードブック利得、固定コードブック)を含む。これは増加する複雑度が凡そ半分になることを意味する。
前の誤り隠蔽フレームとデコーダの復帰状態を使用して復号する新しく良好な復号フレームとの間の不連続性を避けるために、余分なECU復号が必要である。2つの復号信号(重複および追加)間に円滑な遷移をもたらすために、約5から20msの重複期間が必要である。従って状態復帰は復号複雑度、それ故CPUの負荷を増す。それ故全複雑度がCPUの扱いうるものを超えうる場合がありうる。従って復号の複雑度およびCPUの負荷を制御することがそれ故必要である。本発明の一実施形態による制御ロジック手段はCPUの負荷に関する情報を取り出し、CPUの負荷により状態復帰手段を動作可能/不可能にするべき時期を知るようにする。
その上時間計測の使用は、また複雑度の増加およびその結果CPUの負荷の増加を持ち込む。制御ロジック手段は時間計測手段が使用する全複雑度を監視し、例えば状態復帰を少数のパラメータに制限しうるリソースの多くを、時間計測手段が使用しているか、または時間計測手段を粗い分析により実行することが見つかれば、状態復帰手段が使用する複雑度を調整する。あるいは、操作を混合する合成における重複の長さを削減することができる。制御ロジック手段は通常の復号で使用する通話パラメータさえも調整し、合成段階(例えば、整数ピッチ遅れの使用を強いるか、またはACB起動の抽出を全く閉鎖さえする)を単純にすることができる。
種々の受信機部に対する複雑度の使用に関する厳密な制御により、所与の最低通話品質および所与の最大複雑度余裕の中で可能な最高の相互動作性を提供するのにそのサイクルが最も必要なところで、受信機部はそのサイクルを使用することができる。この制御は例えばセルプラットフォーム内の厳密にサイクルを制限する埋め込みシステムに有用である。複雑度の制限はシステム、例えばメディアゲートウェイ(Media Gateway、MGW)において同じく行いうることに注意すべきである。従って、取り出すCPUの負荷に関係する情報はまたMGWのCPUの負荷、または別のシステムのCPUの負荷に関係しうる。
従って本発明は入力フレームまたはパケットを受信し、バッファし、受信パケットからデータフレームを抽出するジッタバッファ手段に接続できる制御ロジック手段、抽出データフレームを復号するジッタバッファ手段に接続する復号手段および復号通話フレームを適応的にプレイアウトする時間計測手段に関係する。制御ロジック手段は状態復帰機能が利用可能であるかに関する情報および制御ロジック手段がジッタバッファ手段、時間計測手段および復号手段の少なくとも1つから少なくとも1つのパラメータを取り出し、ジッタバッファ手段からの少なくとも1つのパラメータおよび状態復帰機能の利用可能性に関する情報に基づく前記ジッタバッファ手段の初期バッファ時間、および時間計測手段またはデコーダから取り出す少なくとも1つのパラメータおよび状態復帰機能の利用可能性に関する情報に基づく前記時間計測手段の時間計測量の少なくとも1つを適応的に制御することをさらに含む。制御ロジック手段をVoIPクライアントの受信機に好ましくは実装する。
本発明はまた方法にも関係する。方法は以下のステップを含む:
1.状態復帰機能が利用可能であるかに関する情報を得るステップ。
2.ジッタバッファ手段、時間計測手段およびデコーダの少なくとも1つから少なくとも1つのパラメータを取り出し、ジッタバッファ手段からの少なくとも1つのパラメータおよび状態復帰機能の利用可能性に関する情報に基づく前記ジッタバッファ手段の初期バッファ時間、および時間計測手段またはデコーダから取り出す少なくとも1つのパラメータおよび状態復帰機能の利用可能性に関する情報に基づく前記時間計測手段の時間計測量の少なくとも1つを適応的に制御するステップ。
本方法はコンピュータプログラム製品により実装することができる。このようなコンピュータプログラム製品はコンピュータの処理手段に直接ロードすることができ、本方法のステップを実行するソフトウェアコード手段を含む。
コンピュータプログラム製品をコンピュータが使用可能な媒体上に蓄積することができ、コンピュータの処理手段に本方法のステップの実行を制御させる読み出し可能なプログラムを含む。
図面および明細書において、本発明の典型的な、好ましい実施形態を開示し、特別な用語を使用したが、用語は一般的で説明する意味でのみ使用し、限定する目的で使用せず、本発明の範囲は添付する特許請求の範囲により示す。
時間計測機能の操作を示すグラフである。 本発明による受信機の制御ロジック手段を示す。 状態復帰による性能の改善を示すグラフである。 本発明によるジッタバッファ手段の立ち上がりを改善する機能を示す。 本発明によるジッタバッファ手段の立ち上がりを改善する機能を示す。 本発明によるジッタバッファ手段の立ち上がりを改善する機能を示す。

Claims (24)

  1. 入力フレームまたはパケットを受信してバッファし、前記受信パケットからデータフレームを抽出するジッタバッファ手段と、
    前記抽出データフレームを復号する前記ジッタバッファ手段に接続された復号手段と、
    復号通話フレームを適応的にプレイアウトする時間計測手段と、
    に接続可能な制御ロジック手段であって、
    前記制御ロジック手段は、パケットの遅延を隠蔽する機能が利用可能であるかを示す情報を取得する手段を備え、
    前記制御ロジック手段は、
    前記ジッタバッファ手段と、前記時間計測手段と、前記復号手段との少なくとも1つから少なくとも1つのパラメータを取り出し、
    前記ジッタバッファ手段からの前記少なくとも1つのパラメータと、前記パケットの遅延を隠蔽する機能が利用可能であるかを示す前記情報とに基づいて、前記パケットの遅延を隠蔽する機能が利用可能である場合は前記ジッタバッファ手段の初期バッファ時間がより小さくなるように、当該初期バッファリング時間を適応的に制御し、
    前記時間計測手段または前記デコーダから取り出された前記少なくとも1つのパラメータと、前記パケットの遅延を隠蔽する機能が利用可能であるかを示す前記情報とに基づいて、前記時間計測手段の時間計測量の少なくとも1つを適応的に制御し、
    前記時間計測手段の時間計測量の少なくとも1つを適応的に制御する際に、前記少なくとも1つのパラメータが、時間計測の積極性を決定するために用いられる
    ことを特徴とする制御ロジック手段。
  2. 前記ジッタバッファ手段から前記取り出すパラメータがチャネル特性に関係することを特徴とする請求項1に記載の制御ロジック手段。
  3. 前記復号手段から前記取り出すパラメータが音響特性に関係することを特徴とする請求項1または請求項2に記載の制御ロジック手段。
  4. 前記時間計測手段から前記取り出すパラメータが、音響特性と、歪み情報と、達成する時間計測との少なくとも1つに関係することを特徴とする請求項1乃至請求項3のいずれか1項に記載の制御ロジック手段。
  5. CPUの負荷に関係するさらなるパラメータを取り出すようにし、
    前記ジッタバッファ手段の初期バッファ時間と、前記取り出したパラメータに基づく前記時間計測手段の時間計測量と、の少なくとも1つをさらに適応的に制御する
    ことを特徴とする請求項1乃至請求項4のいずれか1項に記載の制御ロジック手段。
  6. 前記CPUの負荷に関係する情報を取り出すようにし、前記CPUの負荷に関係する情報に基づき状態復帰手段を適応的に制御することを特徴とする請求項1乃至請求項5のいずれか1項に記載の制御ロジック手段。
  7. 前記CPUの負荷に関係する前記取り出す情報が、時間計測操作に関連付けられることを特徴とする請求項1乃至請求項6のいずれか1項に記載の制御ロジック手段。
  8. 前記CPUの負荷に関係する前記取り出す情報が、時間復帰操作に関連付けられることを特徴とする請求項6または請求項7に記載の制御ロジック手段。
  9. 前記CPUの負荷に関係する情報に基づいて前記状態復帰手段を適応的に動作可能または動作不可能にすることを特徴とする請求項6乃至請求項8のいずれか1項に記載の制御ロジック手段。
  10. 前記状態復帰を少数のパラメータ数に適応的に制限するか、または前記CPUの負荷に関係する情報に基づく粗い分析により実行することを特徴とする請求項6乃至請求項8のいずれか1項に記載の制御ロジック手段。
  11. 前記ジッタバッファ手段の初期バッファ時間と、前記時間計測手段と、前記状態復帰手段の時間計測量との少なくとも1つを、フレーム毎を基本に適応的に制御することを特徴とする請求項1乃至請求項10のいずれか1項に記載の制御ロジック手段。
  12. 入力フレームまたはパケットを受信してバッファし、前記受信パケットからデータフレームを抽出し、前記抽出データフレームを復号するデコーダが接続されたジッタバッファ手段と、
    復号通話フレームを適応的にプレイアウトする前記デコーダに接続された時間計測手段と、
    を制御する方法であって、
    パケットの遅延を隠蔽する機能が利用可能であるかを示す情報を取得するステップと、
    −前記ジッタバッファ手段と、前記時間計測手段と,前記デコーダと、の少なくとも1つから、少なくとも1つのパラメータを取り出すステップと、
    −前記ジッタバッファ手段からの前記少なくとも1つのパラメータと、前記パケットの遅延を隠蔽する機能が利用可能であるかを示す前記情報とに基づいて、前記パケットの遅延を隠蔽する機能が利用可能である場合は前記ジッタバッファ手段の初期バッファ時間がより小さくなるように、当該初期バッファリング時間を適応的に制御するステップと、
    前記時間計測手段または前記デコーダから取り出す前記少なくとも1つのパラメータと、前記パケットの遅延を隠蔽する機能が利用可能であるかを示す前記情報とに基づいて、前記時間計測手段の時間計測量の少なくとも1つを適応的に制御する、ステップと、
    を有し、
    前記時間計測手段の時間計測量の少なくとも1つを適応的に制御する工程においては、前記少なくとも1つのパラメータが、時間計測の積極性を決定するために用いられる
    ことを特徴とする方法。
  13. 前記ジッタバッファ手段から前記取り出すパラメータがチャネル特性に関係することを特徴とする請求項12に記載の方法。
  14. 前記デコーダから前記取り出すパラメータが音響特性に関係することを特徴とする請求項12または請求項13に記載の方法。
  15. 前記時間計測手段から前記取り出すパラメータが、音響特性と、歪み情報と、達成する時間計測との少なくとも1つに関係することを特徴とする請求項12乃至請求項14のいずれか1項に記載の方法。
  16. −前記CPUの負荷に関係するさらなるパラメータを取り出すステップと、
    −前記ジッタバッファ手段の初期バッファ時間と、前記取り出すパラメータに基づく前記時間計測手段の時間計測量と、の少なくとも1つを適応的に制御するステップと、
    をさらに有することを特徴とする請求項12乃至請求項15のいずれか1項に記載の方法。
  17. −前記CPUの負荷に関係する情報を取り出すステップと、
    −前記CPUの負荷に関係する情報に基づき前記状態復帰手段を適応的に制御するステップと、
    をさらに有することを特徴とする請求項12乃至請求項16のいずれか1項に記載の方法。
  18. 前記CPUの負荷に関係する前記取り出す情報が、時間計測操作に関連付けられることを特徴とする請求項12乃至請求項17のいずれか1項に記載の方法。
  19. 前記CPUの負荷に関係する前記取り出す情報が、時間復帰操作に関連付けられることを特徴とする請求項17または請求項18に記載の方法。
  20. 前記状態復帰手段を前記CPUの負荷に関係する情報に基づいて適応的に動作可能または動作不可能にすることを特徴とする請求項17乃至請求項19のいずれか1項に記載の方法。
  21. 前記状態復帰を少数のパラメータ数に制限するか、または前記CPUの負荷に関係する情報に基づく粗い分析により実行することを特徴とする請求項17乃至請求項19のいずれか1項に記載の方法。
  22. −前記ジッタバッファ手段の初期バッファ時間と、前記時間計測手段および前記状態復帰手段の時間計測量との少なくとも1つを、フレーム毎を基本に適応的に制御するステップを有することを特徴とする請求項12乃至請求項21のいずれか1項に記載の方法。
  23. パケットベース通信システムが有する受信機内のコンピュータが有する前記内部メモリに直接ロードできるコンピュータプログラムであって、請求項12乃至請求項22のいずれか1項に記載の方法が有する各ステップを該コンピュータに実行させるソフトウェアコード部を有するコンピュータプログラム。
  24. コンピュータが使用可能な媒体上に蓄積するコンピュータプログラムであって、パケットベース通信システムが有する受信機内のコンピュータに、請求項12乃至請求項22のいずれか1項に記載の方法が有する各ステップの実行を制御させる読み出し可能なコンピュータプログラム。
JP2008532605A 2005-11-07 2005-11-07 移動通信ネットワークにおける方法および装置 Active JP4673411B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2005/055788 WO2007051495A1 (en) 2005-11-07 2005-11-07 Method and arrangement in a mobile telecommunication network

Publications (3)

Publication Number Publication Date
JP2009510855A JP2009510855A (ja) 2009-03-12
JP2009510855A5 JP2009510855A5 (ja) 2010-07-22
JP4673411B2 true JP4673411B2 (ja) 2011-04-20

Family

ID=35929793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008532605A Active JP4673411B2 (ja) 2005-11-07 2005-11-07 移動通信ネットワークにおける方法および装置

Country Status (5)

Country Link
US (1) US7864814B2 (ja)
EP (1) EP1946293A1 (ja)
JP (1) JP4673411B2 (ja)
CN (1) CN101305417B (ja)
WO (1) WO2007051495A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900438B1 (ko) * 2006-04-25 2009-06-01 삼성전자주식회사 음성 패킷 복구 장치 및 방법
KR100738352B1 (ko) * 2006-09-27 2007-07-12 한국전자통신연구원 광-동축 혼합망에서 가변비트율 브이오아이피 트래픽 상향전송 장치 및 그 방법과 자원 할당 장치 및 그 방법
US7949890B2 (en) * 2007-01-31 2011-05-24 Net Power And Light, Inc. Method and system for precise synchronization of audio and video streams during a distributed communication session with multiple participants
FR2917552B1 (fr) * 2007-06-15 2009-08-28 Sagem Defense Securite Procede de regulation de la gigue de transmission au sein d'un terminal de reception
WO2009099364A1 (en) * 2008-02-05 2009-08-13 Telefonaktiebolaget L M Ericsson (Publ) Method and device for jitter buffer control
US8281369B2 (en) * 2008-03-12 2012-10-02 Avaya Inc. Method and apparatus for creating secure write-enabled web pages that are associated with active telephone calls
JP5142828B2 (ja) * 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
US8699338B2 (en) 2008-08-29 2014-04-15 Nxp B.V. Signal processing arrangement and method with adaptable signal reproduction rate
US9525710B2 (en) * 2009-01-29 2016-12-20 Avaya Gmbh & Co., Kg Seamless switch over from centralized to decentralized media streaming
US8879464B2 (en) 2009-01-29 2014-11-04 Avaya Inc. System and method for providing a replacement packet
US8238335B2 (en) 2009-02-13 2012-08-07 Avaya Inc. Multi-route transmission of packets within a network
US7936746B2 (en) * 2009-03-18 2011-05-03 Avaya Inc. Multimedia communication session coordination across heterogeneous transport networks
US20100265834A1 (en) * 2009-04-17 2010-10-21 Avaya Inc. Variable latency jitter buffer based upon conversational dynamics
US8094556B2 (en) * 2009-04-27 2012-01-10 Avaya Inc. Dynamic buffering and synchronization of related media streams in packet networks
US8553849B2 (en) 2009-06-17 2013-10-08 Avaya Inc. Personal identification and interactive device for internet-based text and video communication services
US8391320B2 (en) * 2009-07-28 2013-03-05 Avaya Inc. State-based management of messaging system jitter buffers
US8800049B2 (en) * 2009-08-26 2014-08-05 Avaya Inc. Licensing and certificate distribution via secondary or divided signaling communication pathway
US8612242B2 (en) * 2010-04-16 2013-12-17 St-Ericsson Sa Minimizing speech delay in communication devices
US20110257964A1 (en) * 2010-04-16 2011-10-20 Rathonyi Bela Minimizing Speech Delay in Communication Devices
EP2583454B1 (en) * 2010-06-17 2016-08-10 Telefonaktiebolaget LM Ericsson (publ) Bandwidth extension in a multipoint conference unit
US9177570B2 (en) * 2011-04-15 2015-11-03 St-Ericsson Sa Time scaling of audio frames to adapt audio processing to communications network timing
EP2748814A4 (en) * 2011-08-24 2014-07-02 Huawei Tech Co Ltd AUDIO OR LANGUAGE SIGNAL PROCESSOR
KR101917174B1 (ko) * 2012-02-24 2018-11-09 삼성전자주식회사 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치
US9420475B2 (en) * 2013-02-08 2016-08-16 Intel Deutschland Gmbh Radio communication devices and methods for controlling a radio communication device
EP3011692B1 (en) * 2013-06-21 2017-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Jitter buffer control, audio decoder, method and computer program
BR112015032174B1 (pt) 2013-06-21 2021-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V escalador de tempo, descodificador de áudio, método e um programa de computador utilizando um controle de qualidade
USD764424S1 (en) * 2014-05-15 2016-08-23 Kabushiki Kaisha Toshiba Substrate for an electronic circuit
CN105939289B (zh) * 2015-12-21 2019-03-12 小米科技有限责任公司 网络抖动处理方法、装置和终端设备
TWI690440B (zh) * 2018-10-17 2020-04-11 財團法人車輛研究測試中心 基於支持向量機之路口智慧駕駛方法及其系統

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991339A (en) * 1998-01-16 1999-11-23 Intel Corporation Adaptive equalization using a minimum- jitter criterion
SE513520C2 (sv) * 1998-05-14 2000-09-25 Ericsson Telefon Ab L M Förfarande och anordning för maskering av fördröjda paket
JP4218186B2 (ja) * 1999-05-25 2009-02-04 パナソニック株式会社 音声伝送装置
SE9903223L (sv) * 1999-09-09 2001-05-08 Ericsson Telefon Ab L M Förfarande och anordning i telekommunikationssystem
SE517156C2 (sv) * 1999-12-28 2002-04-23 Global Ip Sound Ab System för överföring av ljud över paketförmedlade nät
JP3891755B2 (ja) * 2000-03-27 2007-03-14 沖電気工業株式会社 パケット受信装置
SE518941C2 (sv) 2000-05-31 2002-12-10 Ericsson Telefon Ab L M Anordning och förfarande relaterande till kommunikation av tal
JP4596693B2 (ja) * 2000-07-06 2010-12-08 パナソニック株式会社 ストリーミング方法およびそれを実行するシステム
FI118830B (fi) * 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
US7711563B2 (en) 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
US7319703B2 (en) * 2001-09-04 2008-01-15 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
US7191355B1 (en) * 2002-02-19 2007-03-13 Nortel Networks Limited Clock synchronization backup mechanism for circuit emulation service
US7394833B2 (en) * 2003-02-11 2008-07-01 Nokia Corporation Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
JP4462996B2 (ja) * 2004-04-27 2010-05-12 富士通株式会社 パケット受信方法及びパケット受信装置
JP4076981B2 (ja) * 2004-08-09 2008-04-16 Kddi株式会社 通信端末装置およびバッファ制御方法

Also Published As

Publication number Publication date
CN101305417B (zh) 2011-08-10
US7864814B2 (en) 2011-01-04
WO2007051495A1 (en) 2007-05-10
JP2009510855A (ja) 2009-03-12
US20080285599A1 (en) 2008-11-20
CN101305417A (zh) 2008-11-12
EP1946293A1 (en) 2008-07-23

Similar Documents

Publication Publication Date Title
JP4673411B2 (ja) 移動通信ネットワークにおける方法および装置
US11735196B2 (en) Encoder, decoder and method for encoding and decoding audio content using parameters for enhancing a concealment
US8102872B2 (en) Method for discontinuous transmission and accurate reproduction of background noise information
US7319703B2 (en) Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
US9762355B2 (en) System and method of redundancy based packet transmission error recovery
US20070263672A1 (en) Adaptive jitter management control in decoder
US8401865B2 (en) Flexible parameter update in audio/speech coded signals
WO2007143953A1 (fr) Dispositif et procédé pour dissimulation de trames perdues
WO2008040250A1 (fr) Procédé, dispositif et système destinés au masquage d'erreurs d'un flux de données audio
TWI480861B (zh) 用於控制聲頻信號之時間縮放的方法、裝置及系統
JP3722366B2 (ja) パケット構成方法及び装置、パケット構成プログラム、並びにパケット分解方法及び装置、パケット分解プログラム
US8327209B2 (en) Sound data decoding apparatus
CN104934040B (zh) 音频信号的时长调整方法和装置
US20070186146A1 (en) Time-scaling an audio signal
JP2002252644A (ja) 音声パケット通信装置及び音声パケット通信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4673411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250