JP5718802B2 - 品質劣化区間推定システム及び方法 - Google Patents

品質劣化区間推定システム及び方法 Download PDF

Info

Publication number
JP5718802B2
JP5718802B2 JP2011267284A JP2011267284A JP5718802B2 JP 5718802 B2 JP5718802 B2 JP 5718802B2 JP 2011267284 A JP2011267284 A JP 2011267284A JP 2011267284 A JP2011267284 A JP 2011267284A JP 5718802 B2 JP5718802 B2 JP 5718802B2
Authority
JP
Japan
Prior art keywords
log information
rtp
control frame
time
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011267284A
Other languages
English (en)
Other versions
JP2013121015A (ja
Inventor
泰理 本多
泰理 本多
林 孝典
孝典 林
増田 征貴
征貴 増田
富永 聡子
聡子 富永
史弥 小林
史弥 小林
憲子 吉村
憲子 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011267284A priority Critical patent/JP5718802B2/ja
Publication of JP2013121015A publication Critical patent/JP2013121015A/ja
Application granted granted Critical
Publication of JP5718802B2 publication Critical patent/JP5718802B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、品質劣化区間推定システム及び方法に係り、特に、各ネットワーク(NW)装置のログ情報の突合せによってRTP(Real time Transfer Protocol)パケットのロ発生区間を検出する際の突合せの始点、終点を決定するための品質劣化区間推定システム及び方法に関する。
RTP(Real Time Transfer Protocol) を利用して、ネットワーク上でリアルタイムに音声や映像を伝達するサービスが普及している。これらのサービスにおいてはネットワークもしくは宅内におけるパケットのロスが、FEC(Forward Error Correction)等による誤り回復機能の上限を超過した場合にサービス品質の劣化を招く。パケットロスによる品質劣化発生時、一般に通信網事業者は宅内側からその発生区間の切り分けを実施する。しかし、現地でのパケットロス発生有無の切り分けには人員の派遣を要する他、発生頻度が低い場合には現地で事象が確認できない場合も多い。このため定常的に宅内装置等においてパケットロスのログ情報を蓄積し、これを遠隔で吸い上げることにより、人員派遣を要することなく宅内被疑の有無を確認できる技術が求められている。
上記課題に対し、単一の装置においてパケットロス判定を行う手法・装置が提案されている(例えば、特許文献1参照)。
特開2010−166244号公報
宅内においては責任分解点としてHGW, また映像サービスであればその終端点であるSTB(Set Top Box)がHGW(Home Gate Way) LAN(Local Area Network)側に存在するため、これらの機器において前記既存の技術等を用いてパケットロス情報を取得することは可能である。しかしながら、パケットロス発生被疑区間の特定を目的として複数の機器におけるパケットロス情報を突合するためには、各機器のログの突合区間を統一する必要がある。例えば、複数のログの突合時、始点・終点が異なる場合には、パケットロスの誤検出、検出漏れが懸念される。また各NW機器においてRTPパケットや制御フレームを受信する順序が異なる場合も考えられるため、各ログ中の同一フレームを突合の始点・終点に設定しても、上記誤検出、検出漏れが発生する可能性が考えられる。この課題は、各機器間の時刻同期を精緻に行い、所定の時間区間上のログ情報を突合しても解決することはできない。
本発明は、上記の点に鑑みなされたもので、各機器間で時刻同期を行うことなく、ログ情報の突合を実現することが可能な品質劣化区間推定装置及び方法及びプログラムを提供することを目的とする。
上記の課題を解決するため、本発明は、RTP(Real Time Transfer Protocol)上のパケットのロス発生箇所を推定するための品質劣化区間推定システムであって、
複数のネットワーク機器の受信パケットについて、モニタ時間内におけるRTPパケットが欠落しているRTPパケットロスの有無を確認するパケットロスモニタ手段と、
前記パケットロスモニタ手段により得られたログ情報を時系列に沿ってログ情報記憶手段に格納するログ情報取得手段と、
を有する複数のネットワーク機器と、
前記ネットワーク機器毎の前記ログ情報記憶手段に格納されているログ情報を収集して、該ログ情報を突き合わせて、パケットロスの被疑箇所を特定する突合・切り分け装置とを有し
前記突合・切り分け装置は、収集されたログ情報が示すRTPパケットのうち、セッション開始を示す第1の制御フレームとセッション終了を示す第2の制御フレームとの間において、シーケンス番号が最小のRTPパケットを始点とし、前記第2の制御フレームから所定時間遡及した時刻以前においてシーケンス番号が最大のRTPパケットを終点として、前記収集されたログ情報を突き合わせる
本発明によれば、フラグメント発生時やチャネルザッピング操作の前後においても、各機器のログ情報に基づき同一のRTPパケットの情報について突き合せ、当該サービスのパケットロス発生区間を高い精度で検出することが可能である。これにより、各機器間での時刻同期等を要することなく、パケットロス被疑箇所の特定が可能となる。
本発明の一実施の形態におけるシステム構成図である。 本発明の一実施の形態における各装置の設置場所の例である。 本発明の一実施の形態におけるモニタ範囲及びログ情報の突合対象範囲を示す図である。 本発明の一実施の形態におけるシーケンス番号一巡時の突合終点を示す図である。 本発明の一実施の形態における複数チャネル混在時の例である。 本発明の一実施の形態におけるログ情報突合処理の例フラグメント発生時の例である。 本発明の一実施の形態におけるログ情報突合処理のチャネル切り替え時のフラグメント発生時の例である。 本発明の一実施の形態におけるログ情報突合処理のセッション終了時の例である。 本発明の一実施の形態におけるログ情報突合処理のセッション終了時のフラグメント発生時の例(1)である。 本発明の一実施の形態におけるログ情報突合処理のセッション終了時のフラグメント発生時の例(2)である。
以下図面と共に、本発明の実施の形態を説明する。
図1は、本発明の一実施の形態におけるシステム構成図である。
同図に示すシステムは、2つのNW機器1,2と、突合・切り分け装置20、ログ情報記憶部31から構成される。これらは、通信事業者の設備、コンテンツ配信事業者の設備、およびそれらによりユーザ宅内に設置された設備のいずれかで動作する。
同図では、ログ情報記憶部31がNW機器1,2の外部に設けられているが、この例に限定されることなく、各NW装置内部に具備してもよい。
NW装置1,2は、同一の構成であり、パケットロスモニタ部11、ログ情報取得・蓄積部12を有する。
突合・切り分け装置20は、ログ情報記憶部311、312に格納されているパケットロス情報を突き合わせて切り分けを行う。
本システムを設置する設備としては、図2に示すように、コンテンツ配信事業者設備(ヘッドエンド)、SNI(Service Node Interface)、通信事業者網、ユーザ宅内設備の各NW機器のいずれも考えられる。なお突合・切り分け装置20は、物理的にはいずれかのNW機器内で動作しても良いし、異なる設備として動作しても良い。各NW機器内では、RTPパケットのロスを判定するパケットロスモニタ部11と、パケットロス情報をログ情報としてログ情報記憶部31に記録するログ情報取得・蓄積12が動作する。また、ログ情報記憶部31に格納されるログ情報には、セッションを開始および終了したフレームの情報が含まれている。NW装置1,2の各パケットロスモニタ部11において、パケットロス及び順序逆転等の検出には、例えば、特許文献1に示す手法を用いるものとする。
突合・切り分け装置20は、各NW機器1,2のログ情報取得・蓄積部12より出力され、ログ情報記憶部31のログ情報を集約・突合し、パケットロス発生区間を特定する。ここで、正確なパケットロス被疑箇所の特定のためには、ログ突合時の始点および終点を統一する必要がある。各NW機器1,2内の各ログ情報取得・蓄積部12は、図3に示すように、ログ情報に、モニタ対象のRTPパケットのみならず、当該サービスの制御フレームの詳細情報(IPID, チェックサム等)を記載する。これに基づき、突合・切り分け装置置20で始点・終点を設定しログ情報の突合が可能である。
ログ情報には、five tuple(IPアドレス、ポート番号、プロトコル)の情報に加え、制御フレームのIPID, チェックサムを受信順に記載する。RTPパケットについては、IPID, シーケンス番号を記載する。なおフラグメント発生時は、more fragment bit, fragment offsetを併せて参照する。
なお、図1には、2つのNW機器1,2を記載しているがこの例に限定されることなく、突合・切り分け装置20は、複数のNW機器で取得したログ情報を収集して突合せる。
以下に突合始点・終点の決定方法を、図3、図4に沿って概説する。
突合始点は、いずれかのNW機器のログ情報において、セッション開始・終了の制御フレーム間に存在するチャネル情報が識別可能であるRTPパケットのうち、モニタ対象のチャネルのもので、最シーケンス番号を有するものとする。ただし後述するように、フラグメント時は当該パケット全てが揃っている必要はない。またいずれかのNW機器のログ情報中でシーケンス番号一巡が発生している場合には、同一シーケンス番号が存在するため、単純に最小シーケンス番号を有するパケットを始点とはせず、セッション開始後、所定時間T0内のパケットを突合始点の候補対象とする。
突合終点は、各NW機器におけるセッション終了を示す制御パケットから、所定時間T1遡及した時刻T*以前におけるチャネル情報が識別可能なRTPパケットで、最大のシーケンス番号を有するものとする。ただし突合時、突合始点・終点と決定したパケットの有無の探索範囲は、全ログデータとする(シーケンス番号一巡発生時は、所定時間内とする)。またフラグメントパケットの一部は除外するものとし、いずれかのNW機器のログ情報中でシーケンス番号の一巡が生じている場合には、前記T*からさらに所定時間T2遡及した時刻T**からT*の間におけるRTPパケット中で最大シーケンス番号のもの、とする。各所定時間の規定は自由であるが、T1については、例えばFECバッファ長に相当する時間に設定することにより、FECによる誤り回復可能な時間を超過する深さの順序逆転を検出可能である。以上は最も単純な場合の動作であるため、以下にバリエーションについて考察する。
<チャネル切替時における動作>
IPTVサービスにおけるチャネル切り替え発生時は、セッション開始の制御フレーム受信後に、複数チャネルのフローが混在する可能性がある。また当該サービスの実装により、図5のようにチャネル切り替え時に5 tupleおよびRTPのシーケンス番号、SSRCのいずれも変更されない場合があるが、前述の最小シーケンス番号を有するパケットとする規定により、この場合RTP seq=5が突合始点として設定される(各NW機器におけるモニタ開始は、セッション開始を契機としている)。
<フラグメント発生時の動作>
図6は、本発明の一実施の形態におけるフラグメント発生時の例を示す。
フラグメント発生時は、チャネル情報を含まないパケットが、セッション開始の制御フレーム後に混在する可能性も考えられる。また、フラグメントパケットの一部が欠落する場合も考えられる。そこで、制御フレーム確認後、チャネル識別が可能な最少シーケンス番号のRTPパケット(もしくはそのフラグメントパケット)を突合始点に設定している。
図6の場合、各NW機器2,3におけるモニタ開始は、セッション開始を契機としているが、NW機器3のログでは2個にフラグメントしたRTP seq=1のパケットの存在が確認でき(ただしチャネル情報はRTP seq=1−aに含まれるものとする)、かつそのチャネル情報まで把握可能である。またNW機器1,2のログでは、当該パケットのフラグメントの一部のみ到達している。この場合、突合始点はRTP seq=1のフレームに設定する。
フラグメントしたパケットの一部でも機器間で同一であれば、いずれかの機器において識別可能なチャネルを、チャネル不明なパケットにも対応付ける。また、いずれのフラグメントしたパケットでもチャネルが識別できなければ、識別可能なパケットを認識するまで始点としない。
IPIDの突合により、NW機器1,2のログから、当該フレームがフラグメントし、その一部のみNW機器1,2に到達していることを把握できるため、フラグメントパケット1-aのNW機器2,3の間のロスを検出可能である。同じ図6で、本システムがNW機器1,2のみで動作している場合には、両機器のログ情報におけるRTP seq=1−bのフレームから、チャネル情報を把握することはできない。従ってこの場合には、RTP seq=2を突合始点に設定する。
図7は、チャネル切り替え直前と直後のRTPシーケンス番号が一致し、かつ両フレームがフラグメントしている場合を示す。各NW機器におけるモニタ開始は、セッション開始を契機としている。チャネル情報はRTP seq=1−aに含まれるものとする。この場合、NW機器1,2のログではチャネル切り替え前後のフレーム識別が困難である。この場合においても、セッション開始の制御フレーム直後の、サービス識別が可能であるパケット、RTP seq=1のフレームを突合始点に設定する。これにより、RTP seq=1−aのNW機器2,3の間での欠落が検出可能である。
<セッション終了時の動作>
次に突合終点の設定方法を示す。
例えば図8ではRTP seq=198が各機器のログにおける突合終点である。
また図9は、フラグメント発生時のシーケンスを示す。前記規定により、この場合の突合終点は、RTP seq=197のパケットとなる。RTP seq=198については、フラグメントパケットの一部が所定時間以降になっているため、突合対象から除外する。
図10では、RTP seq=197までは、NW機器2のログによりチャネル情報が識別可能である。従って突合終点はRTP seq=197となる。パケットRTP seq=197−bについては、NW機器1のログ中に含まれるため、ロスとして誤認識することが無い。一方、仮にRTP seq=198−aまたはRTP seq=198−bのいずれかまたは両方がパケットロスしていた場合には、これを検出することはできない。
上記に示したように、本発明により、各NW機器間で時刻動機を行うことなく、パケットロスの検出及び区間切り分けが実現される。特に、例えば、IPTVサービスの品質劣化切り分けにおいて、HGWとSTBの両者でパケットロスを監視する場合において、宅内側におけるパケットロス発生被疑の有無を識別する場合に適用可能である。
上記の実施の形態におけるNW装置及び突合・切り分け装置の各構成要素の動作をプログラムとして構築し、NW装置及び突合・切り分け装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
1,2,3 ネットワーク(NW)機器
11 パケットロスモニタ
12 ログ情報取得・蓄積部
20 突合・切り分け装置
31 ログ情報記憶部

Claims (6)

  1. RTP(Real Time Transfer Protocol)上のパケットのロス発生箇所を推定するための品質劣化区間推定システムであって、
    複数のネットワーク機器の受信パケットについて、モニタ時間内におけるRTPパケットが欠落しているRTPパケットロスの有無を確認するパケットロスモニタ手段と、
    前記パケットロスモニタ手段により得られたログ情報を時系列に沿ってログ情報記憶手段に格納するログ情報取得手段と、
    を有する複数のネットワーク機器と、
    前記ネットワーク機器毎の前記ログ情報記憶手段に格納されているログ情報を収集して、該ログ情報を突き合わせて、パケットロスの被疑箇所を特定する突合・切り分け装置とを有し
    前記突合・切り分け装置は、収集されたログ情報が示すRTPパケットのうち、セッション開始を示す第1の制御フレームとセッション終了を示す第2の制御フレームとの間において、シーケンス番号が最小のRTPパケットを始点とし、前記第2の制御フレームから所定時間遡及した時刻以前においてシーケンス番号が最大のRTPパケットを終点として、前記収集されたログ情報を突き合わせる、
    ことを特徴とする品質劣化区間推定システム。
  2. 前記突合・切り分け装置は、
    収集されたログ情報が示すRTPパケットのうち、チャネル情報がモニタ対象のチャネルを示すRTPパケットの中で、前記第1の制御フレームと前記第2の制御フレームとの間において、シーケンス番号が最小のRTPパケットを始点とし、前記第2の制御フレームから第1の所定時間遡及した時刻以前においてシーケンス番号が最大のRTPパケットを終点として、前記収集されたログ情報を突き合わせる、
    請求項1記載の品質劣化区間推定システム。
  3. 前記突合・切り分け装置は、
    いずれかの前記ネットワーク機器の前記ログ情報記憶手段から収集されたログ情報が示すRTPパケットのシーケンス番号が一巡している場合は、前記第1の制御フレームから第2の所定時間内のRTPパケットを前記始点の候補とし、前記第2の制御フレームから前記第1の所定時間遡及した第1の時刻と、前記第1の時刻から更に第3の所定時間遡及した第2の時刻との間においてシーケンス番号が最大のRTPパケットを終点とする、
    請求項2記載の品質劣化区間推定システム。
  4. RTP上のパケットのロス発生箇所を推定するための品質劣化区間推定方法であって、
    複数のネットワーク機器と突合・切り分け装置から構成されるシステムにおいて、
    前記ネットワーク機器は、
    複数のネットワーク機器の受信パケットについて、モニタ時間内におけるRTPパケットが欠落しているRTPパケットロスの有無を確認するパケットロスモニタステップと、
    前記パケットロスモニタステップにおいて得られたパケットロス情報を時系列に沿ってログ情報記憶手段に格納するログ情報取得ステップと、
    を行い、
    前記突合・切り分け装置は、
    前記ネットワーク機器毎の前記ログ情報記憶手段に格納されているログ情報を収集して、該ログ情報を突き合わせて、パケットロスの被疑箇所を特定する被疑箇所特定ステップを行い、
    前記被疑箇所特定ステップは、収集されたログ情報が示すRTPパケットのうち、セッション開始を示す第1の制御フレームとセッション終了を示す第2の制御フレームとの間において、シーケンス番号が最小のRTPパケットを始点とし、前記第2の制御フレームから所定時間遡及した時刻以前においてシーケンス番号が最大のRTPパケットを終点として、前記収集されたログ情報を突き合わせる、
    ことを特徴とする品質劣化区間推定方法。
  5. 前記被疑箇所特定ステップにおいて、
    収集されたログ情報が示すRTPパケットのうち、チャネル情報がモニタ対象のチャネルを示すRTPパケットの中で、前記第1の制御フレームと前記第2の制御フレームとの間において、シーケンス番号が最小のRTPパケットを始点とし、前記第2の制御フレームから第1の所定時間遡及した時刻以前においてシーケンス番号が最大のRTPパケットを終点として、前記収集されたログ情報を突き合わせる、
    請求項記載の品質劣化区間推定方法。
  6. 前記被疑箇所特定ステップにおいて、
    いずれかの前記ネットワーク機器の前記ログ情報記憶手段から収集されたログ情報が示すRTPパケットのシーケンス番号が一巡している場合は、前記第1の制御フレームから第2の所定時間内のRTPパケットを前記始点の候補とし、前記第2の制御フレームから前記第1の所定時間遡及した第1の時刻と、前記第1の時刻から更に第3の所定時間遡及した第2の時刻との間においてシーケンス番号が最大のRTPパケットを終点とする、
    請求項記載の品質劣化区間推定方法。
JP2011267284A 2011-12-06 2011-12-06 品質劣化区間推定システム及び方法 Expired - Fee Related JP5718802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011267284A JP5718802B2 (ja) 2011-12-06 2011-12-06 品質劣化区間推定システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011267284A JP5718802B2 (ja) 2011-12-06 2011-12-06 品質劣化区間推定システム及び方法

Publications (2)

Publication Number Publication Date
JP2013121015A JP2013121015A (ja) 2013-06-17
JP5718802B2 true JP5718802B2 (ja) 2015-05-13

Family

ID=48773481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011267284A Expired - Fee Related JP5718802B2 (ja) 2011-12-06 2011-12-06 品質劣化区間推定システム及び方法

Country Status (1)

Country Link
JP (1) JP5718802B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341333B (zh) * 2015-07-10 2019-07-19 新华三技术有限公司 应用于vxlan中的丢包定位方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152266A (ja) * 2000-11-10 2002-05-24 Hitachi Ltd パケット・ロス計測システム
JP4471703B2 (ja) * 2004-03-30 2010-06-02 富士通株式会社 通信品質分析システム、分析装置、通信品質分析方法およびコンピュータプログラム
JP2007068093A (ja) * 2005-09-02 2007-03-15 Nippon Telegraph & Telephone East Corp Ip電話故障区間切り分けシステム及び方法

Also Published As

Publication number Publication date
JP2013121015A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
US9130845B2 (en) Network congestion analysis
US20100220619A1 (en) Abnormal traffic detection apparatus, abnormal traffic detection method and abnormal traffic detection program
US7836171B2 (en) Communication link interception using link fingerprint analysis
EP2081321A2 (en) Sampling apparatus distinguishing a failure in a network even by using a single sampling and a method therefor
US8274911B2 (en) Network monitoring system and path extracting method
US7607049B2 (en) Apparatus and method for detecting network failure location
US20090328119A1 (en) Packet Recovery Server Based Triggering Mechanism for IPTV Diagnostics
US20140355453A1 (en) Method and arrangement for fault analysis in a multi-layer network
CN102546263A (zh) 在iptv网络中视频服务器和ip网络的故障隔离方法及系统
US10728208B2 (en) Method for identifying IP camera and enhancing transmission quality by packet transmission based on ONVIF specifications
US10440087B2 (en) Estimation of losses in a video stream
KR20190017042A (ko) 비디오 서비스 품질 평가 방법 및 장치
JP2008219127A (ja) ネットワーク品質計測装置、ネットワーク品質計測方法及びネットワーク品質計測プログラム
JP4687590B2 (ja) 情報配信システム及び障害判定方法
CN112449252B (zh) 视频流系统的维护方法、装置、无线网桥设备及存储介质
JP2008059114A (ja) Snmpを利用した自動ネットワーク監視システム
JP5718802B2 (ja) 品質劣化区間推定システム及び方法
KR20190081048A (ko) Ip 네트워크를 이용하여 스트림 패킷 전송 시 패킷 손실 검출 및 복구 방법 및 장치
JP5230311B2 (ja) 障害分析システム、障害分析方法
CN108289099B (zh) 一种基于时间的sdn网络细粒度控制信息探测方法
CN106534790B (zh) 一种自动调整视频媒体流传输路径的方法及装置
US20110216661A1 (en) Communication Control Device and Communication Quality Measurement Method
US8527810B1 (en) Providing system reset information to service provider
JP2005210515A (ja) ネットワーク品質の一点観測型測定方法及び装置
JP2015204538A (ja) 呼処理シーケンスの解析装置および通信システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150319

R150 Certificate of patent or registration of utility model

Ref document number: 5718802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees