JP4510251B2 - パケットゆらぎ吸収方法及びその装置 - Google Patents

パケットゆらぎ吸収方法及びその装置 Download PDF

Info

Publication number
JP4510251B2
JP4510251B2 JP2000243333A JP2000243333A JP4510251B2 JP 4510251 B2 JP4510251 B2 JP 4510251B2 JP 2000243333 A JP2000243333 A JP 2000243333A JP 2000243333 A JP2000243333 A JP 2000243333A JP 4510251 B2 JP4510251 B2 JP 4510251B2
Authority
JP
Japan
Prior art keywords
packet
buffer
packets
fluctuation absorbing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000243333A
Other languages
English (en)
Other versions
JP2002057708A (ja
Inventor
浩二 栗木
智幸 上門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000243333A priority Critical patent/JP4510251B2/ja
Priority to US09/812,418 priority patent/US6850537B2/en
Publication of JP2002057708A publication Critical patent/JP2002057708A/ja
Application granted granted Critical
Publication of JP4510251B2 publication Critical patent/JP4510251B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5638Services, e.g. multimedia, GOS, QOS
    • H04L2012/5646Cell characteristics, e.g. loss, delay, jitter, sequence integrity
    • H04L2012/5649Cell delay or jitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5678Traffic aspects, e.g. arbitration, load balancing, smoothing, buffer management
    • H04L2012/5681Buffer or queue management

Description

【0001】
【発明の属する技術分野】
本発明は、パケットゆらぎ吸収方法及びその装置に関し、ネットワーク上での遅延による受信パケットの時間的なゆらぎを吸収する方法及びその装置に関する。
【0002】
【従来の技術】
パケット交換方式は、もともと離散的、バースト的に情報が発生するデータ通信であり、音声や動画等の連続性を必要とするデータ通信においては不向きであるとされていた。音声や動画等の連続的な通信において、そのデータを一定間隔で一定量のデータとしてネットワーク上に送信するが、FIFO(First In First Out)にキューイングして処理されるため、ネットワーク上での遅延による時間的なゆらぎが発生し、受信側でそのゆらぎを吸収し元の連続データとして再生する必要がある。
【0003】
ゆらぎの吸収は、ゆらぎ吸収バッファを設けて行われる。連続通信では一旦通信が開始されると以降一定の間隔で再生されるため、最初のパケットが到達してどの時点で再生を開始するか、また、そのゆらぎ吸収バッファがアンダーフロー或いはオーバフローしたときに、どのように制御するかが重要である。
【0004】
また、パケット網内でパケットがなんらかの事象により破棄された場合、受信側では受信したパケットのみを再生するため、その分だけ再生順序が繰り上がり再生される。これらに対して、様々なゆらぎ吸収方法が考えれているが、一般的にアンダーフロー時にはダミーパケット(無効パケットまたは1つ前のパケット等)を再生することにより再生タイミングを制御している。また、オーバーフロー時にはゆらぎ吸収バッファから古いパケット順にパケットを破棄し、最新のパケットをゆらぎ吸収バッファに保持する方法が一般的である。
【0005】
図1は、従来のパケットゆらぎ吸収方法を用いた装置の一例のブロック構成図を示す。同図中、パケット入力部10はネットワークからパケットを受信して、受信したパケットをゆらぎ吸収バッファ(FIFO)12に供給すると共に、ゆらぎ吸収バッファ12に供給する入力パケット数を入力側パケット量監視部14に通知する。入力側パケット量監視部14はパケット入力部10からの通知を受けると、ゆらぎ吸収バッファ12にバッファリングしているパケット数、つまりパケット量を問い合わせ、上記入力パケット数及びパケット量を入力側バッファ状態判定部16に通知する。
【0006】
入力側バッファ状態判定部16はゆらぎ吸収バッファ12にオーバーフローが生じるか否かを判定して、オーバーフローが生じなければ入力側バッファ処理部18を起動し、オーバーフローが生じればオーバーフロー処理部20を起動する。入力側バッファ処理部18は通常の受信したパケットをゆらぎ吸収バッファ12に書き込む処理を行う。オーバーフロー処理部20は破棄対象となるパケット数をパケット破棄処理部22に通知し、これによって、パケット破棄処理部22はゆらぎ吸収バッファ12から破棄対象となるパケット数だけパケットを破棄する。
【0007】
パケット出力部24はゆらぎ吸収バッファ12から一定の間隔で読み出されるパケットを図示しない後続回路に対して出力すると共に、出力したことを出力側パケット量監視部26に通知する。出力側パケット量監視部26はパケット出力部24からの通知を受けると、ゆらぎ吸収バッファ12にバッファリングしているパケット数、つまりパケット量を問い合わせ、上記パケット量を出力側バッファ状態判定部28に通知する。
【0008】
出力側バッファ状態判定部28はゆらぎ吸収バッファ12がアンダーフローを生じるか否かを判定して、アンダーフローが生じなければ出力側バッファ処理部30を起動し、アンダーフローが生じればアンダーフロー処理部32を起動する。出力側バッファ処理部30は通常のゆらぎ吸収バッファ12からパケットを読み出しパケット出力部24に供給すると共に、読み出したパケットをゆらぎ吸収バッファ12から破棄させるようパケット破棄処理部22に指示する処理を行う。アンダフロー処理部32は読み出したパケットをゆらぎ吸収バッファ12から破棄させないようパケット破棄処理部22に指示する処理を行う。
【0009】
【発明が解決しようとする課題】
従来の方法では、ネットワークでの遅延でアンダーフローが発生した場合にダミーパケットを挿入するため、ダミーパケットが複数連続した場合に、本来の再生タイミングから遅延することになると、受信側では送信時のデータとの差分が増大するため、音声パケットの場合には受信側は聞き取り辛いという問題があった。
【0010】
また、オーバーフロー発生時は受信したパケットをゆらぎ吸収バッファに格納できないため、ゆらぎ吸収バッファ32内の古いパケットを破棄した後に格納することになる。それにより破棄されたパケットは2度と再生されることがないため、音声の場合には受信側は音の変化が分かるくらいの品質低下につながるという問題があった。
【0011】
本発明は、上記の点に鑑みなされたものであり、再生時にデータの急激な変化を抑えることができ、品質の低下を防ぐことができるパケットゆらぎ吸収方法及びその装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
請求項1または請求項に記載の発明は、0より大きな値をバッファの下限閾値として予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの出力に使用した回数が所定値を超えると当該パケットを前記バッファから破棄し、前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの出力に使用した回数が0でないならば当該出力に使用した回数が0でないパケットを前記バッファから破棄することにより、各パケットを所定回だけ出力に使用してバッファが空になるまでの間隔を遅延させ、かつ、再生時にデータの急激な変化を抑えることができる。
【0014】
請求項または付記7に記載の発明は、前記バッファが格納できるパケット数より小さな値を前記バッファの上限閾値として予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記上限閾値を超えた場合、前記バッファから所定の破棄率でパケットを破棄することにより、破棄するパケットが連続することを抑制でき、再生時にデータの急激な変化を抑えることができる。
【0015】
請求項または付記8に記載の発明は、前記上限閾値と下限閾値の間の最適値を予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記最適値以下の場合、前記バッファから出力したパケットを破棄することにより、バッファから1パケットを出力すると同時に、このパケットを破棄してバッファに格納するパケット数を最適値近傍に留めることができる。
【0016】
付記9に記載の発明は、受信したパケットが有効か無効かを識別し、前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記無効と識別されたパケットを前記バッファから優先的に破棄することにより、再生時にデータの急激な変化を抑えることができる。
【0018】
付記10に記載の発明は、前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記バッファから所定の破棄率でパケットを破棄することにより、破棄するパケットが連続することを抑制でき、再生時にデータの急激な変化を抑えることができる。
【0019】
【発明の実施の形態】
図2は、本発明のパケットゆらぎ吸収方法を用いた装置の一実施例のブロック構成図を示す。同図中、パケット入力部30はネットワークからパケットを受信して、受信したパケットをゆらぎ吸収バッファ(FIFO)32に供給すると共に、ゆらぎ吸収バッファ32に供給する入力パケット数を入力側パケット量監視部34に通知する。また、パケット入力部30はパケット識別部31を有しており、パケット識別部31は受信したパケットが有効(例えば有音)か無効(例えば無音)かを判断して、有効/無効の識別子を当該パケットのヘッダに追加する。入力側パケット量監視部34はパケット入力部30からの通知を受けると、ゆらぎ吸収バッファ32にバッファリングしているパケット数、つまりパケット量を問い合わせ、上記入力パケット数及びパケット量を入力側バッファ状態判定部36に通知する。
【0020】
ここで、図3はゆらぎ吸収バッファ32の構成を模式的に示す。ゆらぎ吸収バッファ32はMAX値(例えば25)だけのパケットを格納できる。そして、上限閾値として例えば20が設定され、最適値として例えば15が設定され、下限閾値として例えば5が設定される。また、ゆらぎ吸収バッファ32のMIN値は0である。
【0021】
入力側バッファ状態判定部36は、パケット量を下限値記憶部60の下限閾値と比較して下限閾値以上の場合、下限値処理部54を起動して使用回数記憶部63に記憶されている使用回数記憶データを参照し、使用回数記憶データが0より大きいとき、そのパケットを破棄するためにパケット破棄処理部42にパケット破棄を要求する。ところで、使用回数記憶データは、そのパケットを出力した回数を表している。
【0022】
これにより、ゆらぎ吸収バッファ32内のパケットがアンダーフロー傾向から適切な範囲に復旧した場合、使用回数記憶データの表す回数だけ使用していたパケットを、入力側からの契機(新たなパケットの入力)によって破棄することにより、そのパケットを更に使用することなく出力することができる。
【0023】
また、入力側バッファ状態判定部36は、パケット量をMAX値と比較し、ゆらぎ吸収バッファ32にオーバーフローが生じるか否かを判定して、オーバーフローが生じなければ入力側バッファ処理部38を起動し、オーバーフローが生じればオーバーフロー処理部40を起動する。入力側バッファ処理部38は通常の受信したパケットをゆらぎ吸収バッファ32に書き込む処理を行う。
【0024】
オーバーフロー処理部40は上記起動によりパケット破棄処理部42に無効パケットの破棄要求を行い、パケット破棄処理部42はゆらぎ吸収バッファ32から無効パケットを破棄する。これにより、パケットを破棄する際には無効パケットが破棄され、有効パケットの破棄を最小限に抑えることができる。
【0025】
また、オーバーフロー処理部40は上記起動により破棄パケット抽出部41に無効パケットの強制破棄要求を行い、破棄パケット抽出部41は破棄率データ記憶部65に記憶されている破棄率に従って、ゆらぎ吸収バッファ32内の連続パケットではなく、あるパケット数に対して1パケットの割合で破棄するパケットを抽出し、この抽出したパケットをパケット破棄処理部42に通知し、これによって、パケット破棄処理部42はゆらぎ吸収バッファ32から破棄対象のパケットを破棄する。これにより、パケットを破棄する際に、連続するパケットが破棄されることが少なくなり、パケット再生時にデータの急激な変化を抑制することができる。
【0026】
パケット出力部44は、ゆらぎ吸収バッファ32から一定の間隔で読み出されるパケットを図示しない後続回路に対して出力すると共に、出力したことを出力側パケット量監視部46に通知する。出力側パケット量監視部46はパケット出力部24からの通知を受けると、ゆらぎ吸収バッファ32にバッファリングしているパケット数、つまりパケット量を問い合わせ、上記パケット量を出力側バッファ状態判定部48に通知する。
【0027】
出力側バッファ状態判定部48は、上記パケット量を下限値記憶部60に記憶されている下限閾値、上限値記憶部61に記憶されている上限閾値、最適値記憶部62に記憶されている最適値それぞれと比較する。その結果、パケット量が下限閾値未満の場合は下限値処理部54を起動し、パケット量が上限閾値以上の場合は上限値処理部56を起動する。
【0028】
下限値処理部54は、使用回数記憶部63に記憶されている使用回数記憶データを使用回数上限データ記憶部64に記憶されている使用回数上限データとを比較し、使用回数記憶データ<使用回数上限データであればパケット破棄処理部42に0個のパケットを破棄するように要求して使用回数記憶データを1だけカウントアップする。なお、使用回数記憶データは、そのパケットを出力した回数を表しており、使用回数上限データは、そのパケットを何回使用するかを設定している。
【0029】
ここで、使用回数記憶データ≧使用回数上限データであれば、パケット破棄処理部42に1個のパケットを破棄するように要求して使用回数記憶データを0リセットする。この要求によりパケット破棄処理部42はゆらぎ吸収バッファ32に対し0個または1個のパケットの破棄要求を行う。これにより、ゆらぎ吸収バッファ32のパケット量がアンダーフロー傾向に向かっているとき、パケットを使用回数上限データに等しい回数分だけ使用することにより、ゆらぎ吸収バッファ32がアンダフローになるまでの時間を遅延することができる。
【0030】
上限値処理部56は、破棄率データ記憶部65に記憶されている破棄率データを参照して、その破棄率分のパケットを破棄するようにパケット破棄処理部42に要求を行う。これにより、破棄するパケットが連続することを抑制でき、再生時にデータの急激な変化を抑えることができる。
【0031】
また、出力側バッファ状態判定部48は、パケット量が下限閾値を超え最適値以下の場合は出力側バッファ処理部50を起動し、アンダーフローが生じればアンダーフロー処理部52を起動する。
【0032】
出力側バッファ処理部50はパケット破棄処理部42に1個のパケットを破棄するように要求する。この要求によりパケット破棄処理部42はゆらぎ吸収バッファ32に対し1個のパケットの破棄要求を行う。これにより、増加したゆらぎ吸収バッファ32の遅延時間が最適な値に減少される。なお、アンダフロー処理部52は読み出したパケットをゆらぎ吸収バッファ32から破棄させないようパケット破棄処理部42に指示する処理を行う。
【0033】
図4は、ゆらぎ吸収バッファ32に格納されたパケットが少なくなったときに図2の装置が実行する処理のフローチャートを示す。同図中、ステップS10で出力側パケット量監視部46はゆらぎ吸収バッファ32にパケット量を問い合わせる。ステップS12で出力側バッファ状態判定部48は、パケット量を下限値記憶部60に記憶されている下限閾値と比較し、パケット量が下限閾値未満の場合はステップS14で使用回数記憶データを1だけカウントアップしたのちステップS16に進んで、下限値処理部54は、使用回数記憶部63に記憶されている使用回数記憶データを使用回数上限データ記憶部64に記憶されている使用回数上限データとを比較する。
【0034】
使用回数記憶データ<使用回数上限データであればステップS18でパケット破棄処理部42に0個のパケットを破棄するように要求し、使用回数記憶データ≧使用回数上限データであればステップS20でパケット破棄処理部42に1個のパケットを破棄するように要求すると共に使用回数記憶データを0リセットしてステップS22に進む。一方、パケット量が下限閾値以上の場合はステップS20でパケット破棄処理部42に1個のパケットを破棄するように要求してステップS22に進む。
【0035】
ステップS22でパケット破棄処理部42はゆらぎ吸収バッファ32に対し0個または1個のパケットの破棄要求を行う。これにより、ゆらぎ吸収バッファ32のパケット量がアンダーフロー傾向に向かっているとき、パケットを使用回数上限データに等しい回数分だけ使用することにより、ゆらぎ吸収バッファ32がアンダフローになるまでの時間を遅延することができる。
【0036】
図5は、ゆらぎ吸収バッファ32に格納されたパケットが少ない状態のパケット入力時に図2の装置が実行する処理のフローチャートを示す。同図中、ステップS30で入力側パケット量監視部34はゆらぎ吸収バッファ32にパケット量を問い合わせ、ステップS32で入力側バッファ状態判定部36は、パケット量を下限値記憶部60の下限閾値と比較する。パケット量が下限閾値以上の場合、入力側バッファ状態判定部36は使用回数記憶データを参照し、ステップS36で使用回数記憶データが0を超えるか否かを判定する
【0037】
ここで、使用回数記憶データが0を超えた場合にはステップS38でパケット破棄処理部42に1個のパケットを破棄するように要求すると共に使用回数記憶データを0リセットし、使用回数記憶データが0であればステップS40でパケット破棄処理部42に0個のパケットを破棄するように要求してステップS42に進む。一方、パケット量が下限閾値未満の場合はステップS40でパケット破棄処理部42に0個のパケットを破棄するように要求してステップS42に進む。
【0038】
ステップS42でパケット破棄処理部42はゆらぎ吸収バッファ32に対し0個または1個のパケットの破棄要求を行う。これにより、ゆらぎ吸収バッファ32のパケット量が増加傾向に向かっているとき、同一パケットを複数回使用しないようにできる。
【0039】
図6は、ゆらぎ吸収バッファ32に格納されたパケットが多くなったときに図2の装置が実行する処理のフローチャートを示す。同図中、ステップS50で出力側パケット量監視部46はゆらぎ吸収バッファ32にパケット量を問い合わせる。ステップS52で出力側バッファ状態判定部48は、パケット量を上限値記憶部61に記憶されている上限閾値と比較し、パケット量が上限閾値以上の場合はステップS54に進んで、上限値処理部56は破棄率データ記憶部65に記憶されている破棄率データを参照し、ステップS56で破棄率データをもとに破棄パケットを抽出すると共に、破棄パケット削除数nを設定してパケット破棄処理部42にパケット破棄を要求しステップS62に進む。
【0040】
一方、パケット量が上限閾値未満の場合はステップS60でパケット破棄処理部42に1個のパケットを破棄するよう要求してステップS62に進む。ステップS62でパケット破棄処理部42はゆらぎ吸収バッファ32に対しn個または1個のパケットの破棄要求を行う。これにより、ゆらぎ吸収バッファ32のパケット量がオーバーフロー傾向に向かっているとき、パケットの破棄数を出きる限り少なくすることができる。
【0041】
なお、ゆらぎ吸収バッファ32に格納されたパケット数が最適値近傍のときに、図7に示す処理を実行することも考えられる。同図中、ステップS70で出力側パケット量監視部46はゆらぎ吸収バッファ32にパケット量を問い合わせる。ステップS72で出力側バッファ状態判定部48は、パケット量を最適値記憶部62に記憶されている最適値と比較し、パケット量が最適値を超えている場合はステップ74に進んで、上限値処理部56は破棄率データ記憶部65に記憶されている破棄率データを参照し、ステップS76で破棄率データをもとに破棄パケットを抽出すると共に、破棄パケット削除数nを設定してパケット破棄処理部42にパケット破棄を要求しステップS82に進む。
【0042】
一方、パケット量が最適値以下の場合はステップS80でパケット破棄処理部42に1個のパケットを破棄するよう要求してステップS82に進む。ステップS82でパケット破棄処理部42はゆらぎ吸収バッファ32に対しn個または1個のパケットの破棄要求を行う。
【0043】
図8は、オーバーフロー時に図2の装置が実行する処理の第1実施例のフローチャートを示す。同図中、ステップS90でパケット識別部31は受信したパケットが有効か無効かを判断して有効/無効の識別子を当該パケットのヘッダに追加する。ステップS92で入力側パケット量監視部34はゆらぎ吸収バッファ32にパケット量を問い合わせ、ステップS94で入力側バッファ状態判定部36は、パケット量をMAX値と比較してオーバーフローしたか否かを判定する。オーバーフローした場合、ステップS96で破棄パケット抽出部41は無効パケットを破棄パケットとして抽出し、パケット破棄処理部42にこの破棄パケットを破棄するように要求してステップS98に進む。
【0044】
ステップS98でパケット破棄処理部42はゆらぎ吸収バッファ32に対し破棄要求があったパケットの破棄要求を行う。これにより、ゆらぎ吸収バッファ32がオーバーフローしたとき、無効パケットが破棄され、有効パケットが破棄されることを抑制できる。
【0045】
図9は、オーバーフロー時に図2の装置が実行する処理の第2実施例のフローチャートを示す。同図中、ステップS100でパケット識別部31は受信したパケットが有効か無効かを判断して有効/無効の識別子を当該パケットのヘッダに追加する。ステップS102で入力側パケット量監視部34はゆらぎ吸収バッファ32にパケット量を問い合わせ、ステップS104で入力側バッファ状態判定部36は、パケット量をMAX値と比較してオーバーフローしたか否かを判定する。オーバーフローした場合、ステップS106で破棄パケット抽出部41は破棄率データ記憶部65に記憶されている破棄率データを参照し、破棄率データをもとに破棄パケットを抽出してパケット破棄処理部42にこの破棄パケットを破棄するように要求してステップS108に進む。ステップS108でパケット破棄処理部42はゆらぎ吸収バッファ32に対し破棄要求があったパケットの破棄要求を行う。
【0046】
次に、ネットワークを伝送されるパケットが音声パケットであり、送信側でネットワークに送信する音声パケットの間隔を20msとし、ゆらぎ吸収バッファ32のMAX値を25パケット(500ms相当)とし、下限閾値記億部60の下限閾値を5パケット(100ms相当)とし、上限閾値記憶部61の上限閾値を20パケット(400ms相当)とし、最適値記憶部62の最適値を15パケット(300ms相当)とし、使用回数上限データ記憶部64の使用回数上限データを2パケット(40ms相当)とした前提条件で以降の説明を行う。
【0047】
まず、ゆらぎ吸収バッファ32内のパケットが下限閾値以下になった後、下限閾値を超えた場合について、図10と共に説明する。なお、上記の前提条件に加え、現在のゆらぎ吸収バッファ32内には6パケットが格納されているものとする。また、図10ではパケット8を入力した後にパケット3を出力するものとする。
【0048】
ネットワーク上において、図中黒塗りで示すパケット11, 12, 13, 14, 15が欠落したとすると、図10の区間T6の時点でゆらぎ吸収バッファ32内のパケット数は5パケットとなり下限閾値以下になる。このとき出力側パケット量監視部46は、下限値処理部54を起動する。下限値処理部54は使用回数記憶部63の使用回数記憶データを1だけカウントアップし、使用回数上限データ記憶部64の使用回数上限データと使用回数記憶データを比較する。この場合使用回数データが1であるため、パケット破棄処理部42に0個のパケットの破棄を要求する。
【0049】
次に、図10の区間T7でパケット出力部44からの出力通知を契機に出力側パケット量監視部46はゆらぎ吸収バッファ32内のパケット量を確認する。このとき、ゆらぎ吸収バッファ32内のパケット量は5パケットである。出力側バッファ状態判定部48は、下限値処理部54に処理を振り分ける。下限値処理部54は使用回数記憶データを1だけカウントアップし、使用回数上限データと使用回数記憶データを比較する。この場合、使用回数データが2であるため、パケット破棄処理部42には1個のパケット破棄を要求し、使用回数データを0クリアする。
【0050】
図10の区間T12においてパケット出力部44からの出力通知を契機に出力側パケット量監視部46はゆらぎ吸収バッファ32内のパケット量を確認する。このときゆらぎ吸収バッファ32内のパケット量が5パケットであるため、出力側バッファ状態判定部48は下限値処理部54に処理を振り分ける。下限値処理部60では、使用回数上限データと使用回数記憶データを比較し、使用回数記憶データを1にする。
【0051】
この状態のとき、パケット入力部30からの入力通知を入力側パケット量監視部34が受けると、ゆらぎ吸収バッファ32内のパケット量を確認して、その結果を入力側バッファ状態判定部36に通知する。入力側バッファ状態判定部36は下限値記憶部60の下限閾値データと比較を行い、下限閾値と同じであるため下限値処理部54を起動し、下限値処理部54は使用回数記憶データを参照し、その使用回数データ分のパケットの破棄要求をパケット破棄処理部42に要求する。これにより、アンダフローの発生を抑え、アンダフロー時の受信側での違和感を軽減することができる。上記の動作は図4,図5のフローチャートに基づいて実行される。
【0052】
次に、ゆらぎ吸収バッファ32内のパケットが上限値を超えた場合について、図11と共に説明する。なお、前提条件に加え、現在のゆらぎ吸収バッファ32のパケット量を19パケット、破棄率データ記憶部65の破棄率データを2パケット(2パケットに1パケット破棄することを指示)とする。
【0053】
図11の区間T5において、2つのパケットを同時に受信したとする。そのとき出力側パケット量監視部46は、ゆらぎ吸収バッファ32内のパケット量を21パケットと認識する。それを出力側バッファ状態判定部48が上限値記憶部61の上限閾値データと比較すると上限値以上のため、処理は上限値処理部56に移行する。上限値処理部56は、破棄率データ記憶部65の破棄率データを参照し、その破棄率データ分のパケット破棄要求をパケット破棄処理部42に要求する。
【0054】
図11の区間T9において、ゆらぎ吸収バッファ32内のパケット量が上限閾値より少なくなっているが、上限値処理部56への要求は、ゆらぎ吸収バッファ32内のパケット数が最適値記憶部62の最適値以下になるまで行う。区間T11において、ゆらぎ吸収バッファ32内のパケット量が最適値以下になったため、出力側バッファ状態判定部48は出力側バッファ処理部50に処理を移行し、1パケットの破棄をパケット破棄処理部42に要求する。これにより、オーバフロー時のパケット破棄を最小限に抑え、受信側での違和感を軽減することができる。上記の動作は図6,図7のフローチャートに基づいて実行される。
【0055】
次に、ゆらぎ吸収バッファ32内のパケットが上限値を超え、更にオーバーフローした場合について、図12と共に説明する。なお、前提条件に加え、現在のゆらぎ吸収バッファ32内のパケット数を19パケット、破棄率データ記憶部65の破棄率データを2パケット(2パケットに1パケットを破棄することを指示)とする。
【0056】
パケット識別部31はパケットの入力毎にそのパケットが有音か無音かを判断し、有音/無音の識別子をそのパケットに設定する。図12の区間T5において、ゆらぎ吸収バッファ32内のパケット数がMAX値をオーバした場合、入力側バッファ状態判定部36はオーバフロー処理部40ヘオーバフローしたことを通知する。オーバフロー処理部はそれを受け破棄パケット抽出部41に無音パケットの破棄要求を行う。破棄パケット抽出部はパケット破棄処理部42に無音パケットの破棄要求を行い、パケット破棄処理部はゆらぎ吸収バッファ32内のパケットの識別子を判定し無音であればそのパケットの破棄を行う。これにより、オーバフロー時の有音パケット破棄を最小限に抑え、受信側での違和感を軽減することができる。上記の動作は図8のフローチャートに基づいて実行される。
【0057】
更に、ゆらぎ吸収バッファ32内のパケットが上限値を超え、更にオーバーフローした場合について、図13と共に説明する。なお、前提条件に加え、現在のゆらぎ吸収バッファ32内のパケット数を19パケット、破棄率データ記憶部65の破棄率データを2パケット(2パケットに1パケットを破棄することを指示)とする。
【0058】
図13の区間T5において、ゆらぎ吸収バッファ32内のパケット数がMAX値をオーバした場合、入力側バッファ状態判定部36はオーバフロー処理部40にオーバフローしたことを通知する。オーバフロー処理部40はそれを受け、破棄パケット抽出部41にパケットの強制破棄要求を行う。破棄パケット抽出部41はパケット破棄処理部42にパケットの強制破棄要求を行い、パケット破棄処理部はゆらぎ吸収バッファ32内のパケットを連続するパケットではなく、ある個数に対して1パケットの割合で強制的に破棄を行う。これにより、オーバフロー時の連続パケットの破棄を無くなるため、断片的な音声の変化がなくなり受信側での違和感を軽減することができる。上記の動作は図9のフローチャートに基づいて実行される。
【0059】
本発明では、パケットを再生したときに急激な変化がないように制御している。アンダーフロー時であれば、1つのパケットを多数回繰り返し出力に使用して再生するのではなく、複数個のパケットをそれぞれ繰り返し出力に使用するため、再生時にデータの急激な変化を抑えられる。
【0060】
また、オーバーフロー時には破棄するパケットを最小限に抑えることより、パケットを再生したとき本来のデータに近い値が得られる。例えば、インターネット網での音声、動画等の通信を行う場合に、連続して複数パケットが欠落するのを防止できるため、再生時にデータの急激な変化を抑えることができ、品質の低下を防ぐことができる。
【0061】
(付記1) ネットワークから受信したパケットを一旦バッファに格納し、前記バッファから受信した順に一定の間隔でパケットを読み出してパケットの時間的なゆらぎを吸収するパケットゆらぎ吸収方法において、
0より大きな値を前記バッファの下限閾値として予め設定し、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの使用回数が所定値を超えると当該パケットを前記バッファから破棄する
ことを特徴とするパケットゆらぎ吸収方法。(1)
(付記2) 付記1記載のパケットゆらぎ吸収方法において、
前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの使用回数が0でないならば当該パケットを前記バッファから破棄する
ことを特徴とするパケットゆらぎ吸収方法。(2)
(付記3) 付記1または2記載のパケットゆらぎ吸収方法において、
前記バッファが格納できるパケット数より小さな値を前記バッファの上限閾値として予め設定し、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記上限閾値を超えた場合、前記バッファから所定の破棄率でパケットを破棄する
ことを特徴とするパケットゆらぎ吸収方法。(3)
(付記4) 付記3記載のパケットゆらぎ吸収方法において、
前記上限閾値と下限閾値の間の最適値を予め設定し、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記最適値以下の場合、前記バッファから出力したパケットを破棄する
ことを特徴とするパケットゆらぎ吸収方法。(4)
(付記5) ネットワークから受信したパケットを一旦バッファに格納し、前記バッファから受信した順に一定の間隔でパケットを読み出してパケットの時間的なゆらぎを吸収するパケットゆらぎ吸収装置において、
0より大きな値を前記バッファの下限閾値として予め設定されて記憶する下限値記憶部と、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの使用回数が所定値を超えると当該パケットを前記バッファから破棄する第1破棄手段とを
有することを特徴とするパケットゆらぎ吸収装置。(5)
(付記6) 付記5記載のパケットゆらぎ吸収装置において、
前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの使用回数が0でないならば当該パケットを前記バッファから破棄する第2破棄手段とを
有することを特徴とするパケットゆらぎ吸収装置。
【0062】
(付記7) 付記5または付記6記載のパケットゆらぎ吸収装置において、
前記バッファが格納できるパケット数より小さな値を前記バッファの上限閾値として予め設定されて記憶する上限値記憶部と、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記上限閾値を超えた場合、前記バッファから所定の破棄率でパケットを破棄する第3破棄手段とを
有することを特徴とするパケットゆらぎ吸収装置。
【0063】
(付記8) 付記7記載のパケットゆらぎ吸収装置において、
前記上限閾値と下限閾値の間の最適値を予め設定されて記憶する最適値記憶部と、
前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記最適値以下の場合、前記バッファから出力したパケットを破棄する第4破棄手段とを
有することを特徴とするパケットゆらぎ吸収装置。
【0064】
(付記9) 付記5乃至8のいずれか記載のパケットゆらぎ吸収装置において、
受信したパケットが有効か無効かを識別するパケット識別部と、
前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記無効と識別されたパケットを前記バッファから優先的に破棄する第5破棄手段とを
有することを特徴とするパケットゆらぎ吸収装置。
【0065】
(付記10) 付記5乃至8のいずれか記載のパケットゆらぎ吸収装置において、
前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記バッファから所定の破棄率でパケットを破棄する第6破棄手段を
有することを特徴とするパケットゆらぎ吸収装置。
【0066】
なお、ステップS12〜S16,S20,S22が請求項記載の第1破棄手段に対応し、ステップS32〜38,S42が第2破棄手段に対応し、ステップS52〜S56,S62が第3破棄手段に対応し、ステップS72,S80,S82が第4破棄手段に対応し、ステップS94〜S98が第5破棄手段に対応し、ステップS104〜S108が第6破棄手段に対応する。
【0067】
【発明の効果】
上述の如く、請求項1または請求項に記載の発明は、0より大きな値をバッファの下限閾値として予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの出力に使用した回数が所定値を超えると当該パケットを前記バッファから破棄し、前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの出力に使用した回数が0でないならば当該出力に使用した回数が0でないパケットを前記バッファから破棄することにより、各パケットを所定回だけ出力に使用してバッファが空になるまでの間隔を遅延させ、かつ、再生時にデータの急激な変化を抑えることができる。
【0069】
請求項または付記7に記載の発明は、前記バッファが格納できるパケット数より大きな値を前記バッファの上限閾値として予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記上限閾値を超えた場合、前記バッファから所定の破棄率でパケットを破棄することにより、破棄するパケットが連続することを抑制でき、再生時にデータの急激な変化を抑えることができる。
【0070】
請求項または付記8に記載の発明は、前記上限閾値と下限閾値の間の最適値を予め設定し、前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記最適値以下の場合、前記バッファから出力したパケットを破棄することにより、バッファから1パケットを出力すると同時に、このパケットを破棄してバッファに格納するパケット数を最適値近傍に留めることができる。
【0071】
付記9に記載の発明は、受信したパケットが有効か無効かを識別し、前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記無効と識別されたパケットを前記バッファから優先的に破棄することにより、再生時にデータの急激な変化を抑えることができる。
【0073】
付記10に記載の発明は、前記バッファに受信したパケットを書き込むときに前記バッファがオーバーフローした場合、前記バッファから所定の破棄率でパケットを破棄することにより、破棄するパケットが連続することを抑制でき、再生時にデータの急激な変化を抑えることができる。
【図面の簡単な説明】
【図1】従来のパケットゆらぎ吸収方法を用いた装置の一例のブロック構成図である。
【図2】本発明のパケットゆらぎ吸収方法を用いた装置の一実施例のブロック構成図である。
【図3】ゆらぎ吸収バッファ32の構成を模式的に示す図である。
【図4】ゆらぎ吸収バッファ32に格納されたパケットが少なくなったときに図2の装置が実行する処理のフローチャートである。
【図5】ゆらぎ吸収バッファ32に格納されたパケットが少ない状態から増加してきたときに図2の装置が実行する処理のフローチャートである。
【図6】ゆらぎ吸収バッファ32に格納されたパケットが多くなったときに図2の装置が実行する処理のフローチャートである。
【図7】ゆらぎ吸収バッファ32に格納されたパケット数が最適値近傍のときに図2の装置が実行する処理のフローチャートである。
【図8】オーバーフロー時に図2の装置が実行する処理の第1実施例のフローチャートである。
【図9】オーバーフロー時に図2の装置が実行する処理の第2実施例のフローチャートである。
【図10】ゆらぎ吸収バッファ32内のパケットが下限閾値以下になった後、下限閾値を超えた場合を説明するための図である。
【図11】ゆらぎ吸収バッファ32内のパケットが上限値を超えた後、最適値を下回った場合を説明するための図である。
【図12】ゆらぎ吸収バッファ32内のパケットが上限値を超え、更にオーバーフローした場合を説明するための図である。
【図13】ゆらぎ吸収バッファ32内のパケットが上限値を超え、更にオーバーフローした場合を説明するための図である。
【符号の説明】
30 パケット入力部
31 パケット識別部
32 ゆらぎ吸収バッファ
34 入力側パケット量監視部
36 入力側バッファ状態判定部
38 入力側バッファ処理部
40 オーバーフロー処理部
42 パケット破棄処理部
41 破棄パケット抽出部
44 パケット出力部
46 出力側パケット量監視部
48 出力側バッファ状態判定部
50 出力側バッファ処理部
52 アンダーフロー処理部
60 下限値記憶部
61 上限値記憶部
62 最適値記憶部
63 使用回数記憶部
64 使用回数上限データ記憶部
65 破棄率データ記憶部

Claims (4)

  1. ネットワークから受信したパケットを一旦バッファに格納し、前記バッファから受信した順に一定の間隔でパケットを読み出してパケットの時間的なゆらぎを吸収するパケットゆらぎ吸収方法において、
    0より大きな値を前記バッファの下限閾値として予め設定し、
    前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの出力に使用した回数が所定値を超えると当該パケットを前記バッファから破棄し、
    前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの出力に使用した回数が0でないならば当該出力に使用した回数が0でないパケットを前記バッファから破棄する
    ことを特徴とするパケットゆらぎ吸収方法。
  2. 請求項1記載のパケットゆらぎ吸収方法において、
    前記バッファが格納できるパケット数より小さな値を前記バッファの上限閾値として予め設定し、
    前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記上限閾値を超えた場合、前記バッファから所定の破棄率でパケットを破棄する
    ことを特徴とするパケットゆらぎ吸収方法。
  3. 請求項2記載のパケットゆらぎ吸収方法において、
    前記上限閾値と下限閾値の間の最適値を予め設定し、
    前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記最適値以下の場合、前記バッファから出力したパケットを破棄する
    ことを特徴とするパケットゆらぎ吸収方法。
  4. ネットワークから受信したパケットを一旦バッファに格納し、前記バッファから受信した順に一定の間隔でパケットを読み出してパケットの時間的なゆらぎを吸収するパケットゆらぎ吸収装置において、
    0より大きな値を前記バッファの下限閾値として予め設定されて記憶する下限値記憶部と、
    前記バッファからパケットを読み出して出力したときに前記バッファ内のパケット量が前記下限閾値未満となった場合、前記出力したパケットの出力に使用した回数が所定値を超えると当該パケットを前記バッファから破棄する第1破棄手段と、
    前記バッファに受信したパケットを書き込むときに前記バッファ内のパケット量が前記下限閾値以上となった場合、パケットの出力に使用した回数が0でないならば当該出力に使用した回数が0でないパケットを前記バッファから破棄する第2破棄手段とを
    有することを特徴とするパケットゆらぎ吸収装置。
JP2000243333A 2000-08-10 2000-08-10 パケットゆらぎ吸収方法及びその装置 Expired - Fee Related JP4510251B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000243333A JP4510251B2 (ja) 2000-08-10 2000-08-10 パケットゆらぎ吸収方法及びその装置
US09/812,418 US6850537B2 (en) 2000-08-10 2001-03-20 Packet fluctuation absorbing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000243333A JP4510251B2 (ja) 2000-08-10 2000-08-10 パケットゆらぎ吸収方法及びその装置

Publications (2)

Publication Number Publication Date
JP2002057708A JP2002057708A (ja) 2002-02-22
JP4510251B2 true JP4510251B2 (ja) 2010-07-21

Family

ID=18734206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000243333A Expired - Fee Related JP4510251B2 (ja) 2000-08-10 2000-08-10 パケットゆらぎ吸収方法及びその装置

Country Status (2)

Country Link
US (1) US6850537B2 (ja)
JP (1) JP4510251B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973123B2 (en) * 2001-03-21 2005-12-06 International Business Machines Corporation System and method for controlling line driver power in digital subscriber line modems
DE10201310A1 (de) * 2002-01-15 2003-07-24 Siemens Ag Verfahren und System zur Datenumsetzung
JP3874112B2 (ja) * 2002-05-13 2007-01-31 サクサ株式会社 揺らぎ吸収バッファの制御方法および制御装置
US7359324B1 (en) * 2004-03-09 2008-04-15 Nortel Networks Limited Adaptive jitter buffer control
US7680139B1 (en) * 2004-03-25 2010-03-16 Verizon Patent And Licensing Inc. Systems and methods for queue management in packet-switched networks
US7969901B2 (en) * 2004-08-12 2011-06-28 Lantiq Deutschland Gmbh Method and device for compensating for runtime fluctuations of data packets
US7650228B2 (en) * 2005-01-27 2010-01-19 Asti Transportation Systems, Inc. Internet based highway traffic advisory system
JP2007235221A (ja) * 2006-02-27 2007-09-13 Fujitsu Ltd 揺らぎ吸収バッファ装置
JP2007235217A (ja) * 2006-02-27 2007-09-13 Fujitsu Access Ltd 同期/非同期変換装置およびクロック制御方法
JP2007323345A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 入出力処理装置及び同入出力処理装置を有するコンピュータシステム
CN102067531A (zh) * 2008-06-23 2011-05-18 皇家飞利浦电子股份有限公司 用于在网络中通信的方法和相关的无线电站
JP2011077622A (ja) * 2009-09-29 2011-04-14 Aiphone Co Ltd データ伝送システム
US20150046775A1 (en) * 2013-08-07 2015-02-12 Broadcom Corporation Encoding and Decoding Schemes to Achieve Standard Compliant Mean Time to False Packet Acceptance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61156949A (ja) * 1984-12-27 1986-07-16 Matsushita Electric Ind Co Ltd 音声パケツト通信方式
US5148429A (en) * 1988-10-27 1992-09-15 Kabushiki Kaisha Toshiba Voice data transmission system and method
JPH03190341A (ja) * 1989-12-20 1991-08-20 Fujitsu Ltd Atm交換機におけるトラヒック制御方式
JPH04369942A (ja) * 1991-06-19 1992-12-22 Hitachi Ltd データ通信システム
US5195091A (en) * 1991-07-09 1993-03-16 At&T Bell Laboratories Adaptive synchronization arrangement
US5184347A (en) * 1991-07-09 1993-02-02 At&T Bell Laboratories Adaptive synchronization arrangement
JPH0646080A (ja) * 1992-07-22 1994-02-18 Toshiba Corp 遅延ゆらぎ吸収制御方式
JPH0690207A (ja) * 1992-09-09 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> Adpcm受信機
JPH07170502A (ja) * 1993-12-15 1995-07-04 Sony Corp 受信装置
JPH08195753A (ja) * 1995-01-18 1996-07-30 Fujitsu Ltd Atmセル揺らぎ吸収装置
US5619341A (en) * 1995-02-23 1997-04-08 Motorola, Inc. Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system
US5677969A (en) * 1995-02-23 1997-10-14 Motorola, Inc. Method, rate controller, and system for preventing overflow and underflow of a decoder buffer in a video compression system
JP3545110B2 (ja) * 1995-09-26 2004-07-21 富士通株式会社 通信サービスの品質制御方式
JPH09162877A (ja) * 1995-12-06 1997-06-20 Fujitsu Ltd バッファ制御方式
JP3362695B2 (ja) * 1999-03-31 2003-01-07 日本電気株式会社 遅延揺らぎ吸収装置及び吸収方法

Also Published As

Publication number Publication date
US20020027879A1 (en) 2002-03-07
US6850537B2 (en) 2005-02-01
JP2002057708A (ja) 2002-02-22

Similar Documents

Publication Publication Date Title
JP4510251B2 (ja) パケットゆらぎ吸収方法及びその装置
KR100964437B1 (ko) V o I P 용 적응성 디-지터 버퍼
RU2277303C2 (ru) Способ обеспечения услуги потоковой передачи видеоданных
US6370125B1 (en) Dynamic delay compensation for packet-based voice network
KR100840146B1 (ko) 패킷 데이터 통신 시스템에서 암호-동기화를 구현하기 위한 방법 및 장치
JP2002077233A (ja) リアルタイム情報受信装置
JP3825007B2 (ja) ジッタバッファの制御方法
WO2009039783A1 (fr) Procédé et dispositif de traitement pour caractère de temps de retard de réseau
US20100172456A1 (en) Method for adjusting transmission jitter in a reception terminal
JP2011510594A (ja) ネットワーク・ノードのための簡易な適応ジッタ・バッファリング・アルゴリズム
JP2007511939A5 (ja)
CN105142002B (zh) 音/视频直播方法、装置及控制方法、装置
EP1826959B1 (en) Apparatus for absorbing fluctuations in the packet transmission rate of a communications network
RU2766575C2 (ru) Передающий модуль, способ передачи, приемный модуль, способ приема и программа
JP2002271391A (ja) ダイナミック・ジッタ・バッファ制御方法
WO2008087079A1 (en) Improved buffering time determination
JP2004266724A (ja) リアルタイム音声用バッファ制御装置
KR20170100500A (ko) 신호 처리 장치 및 신호 처리 방법, 및 프로그램
JP3182073B2 (ja) パケット通信処理装置
JP5330183B2 (ja) パケット挿入削除方法及び通話システム
JP5691721B2 (ja) 音声データ処理装置
JP4534582B2 (ja) 音声ストリーム再生装置及び音声ストリーム再生方法
JP2007318283A (ja) パケット通信システム、データ受信機器
JP2005064873A (ja) ジッタバッファ制御方法及びip電話機
JPH01175432A (ja) パケット交換の遅延差吸収方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees