JP4847916B2 - 購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 - Google Patents
購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4847916B2 JP4847916B2 JP2007132593A JP2007132593A JP4847916B2 JP 4847916 B2 JP4847916 B2 JP 4847916B2 JP 2007132593 A JP2007132593 A JP 2007132593A JP 2007132593 A JP2007132593 A JP 2007132593A JP 4847916 B2 JP4847916 B2 JP 4847916B2
- Authority
- JP
- Japan
- Prior art keywords
- recommendation
- individual
- users
- gap
- markov model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
Badrul Sarwar, George Karypis, Joseph Konstan, and John Reidl: Item-based co11aborative fi1tering recommendation algorithms. In Proceedings of the 10th international conference on World Wide Web,pp.285-295, New York,NY,USA,2001. ACM Press. Xin Jin, Bamshad Mobasher, and Yanzan Zhou: A web recommendation sustem based on maximum entropy. In Proceedings of the international conference on Information Technology: Coding and Computing(ITCC’05)-Volume I,pp.213-218, Washington,DC,USA,2005. IEEE Computer Society.
<前処理部>
図2は、前処理部の構成を示す機能ブロック図である。前処理部21は、購買履歴ログ45を用いて、ユーザごとに、商品(個別対象)の購買系列(購買履歴)を抽出したデータを示す入力データ(処理用データ)を作成するものであり、図2に示すように、購買履歴ログ読込部211と、入力データ書込部212とを備えている。
入力データ書込部212は、購買履歴ログ45に含まれる商品の購買ごとのユーザ番号、商品番号、購買時刻に基づいて、ユーザごとに、購入商品の購買系列を算出するものである。また、入力データ書込部212は、ユーザごとに算出した購買系列を、入力データ(処理用データ)46として、記憶手段4(図1参照)に書き込む。なお、書き込まれた入力データ46は、拡張マルコフモデル推定部22と、重み推定部23と、リコメンド部24で利用される。
図3は、拡張マルコフモデル推定部の構成を示す機能ブロック図である。
拡張マルコフモデル推定部22は、図3に示すように、入力データ読込部221と、事前確率推定部222と、ギャップマルコフモデル推定部223と、拡張マルコフモデル書込部224とを備えている。
入力データ読込部221は、入力データ46を読み込み、事前確率推定部222およびギャップマルコフモデル推定部223に出力する。
事前確率推定部(事前確率推定手段)222は、前処理部21(図1参照)で作成された入力データ46を用いて、ユーザが商品(個別対象)を購入する確率を示す事前確率を推定するものである。
本実施形態では、事前確率推定部222は、式(5)に示す事前確率P^(i)の計算を行う。なお、本明細書において、記号「^(ハット)」は直前の文字の上に記載されることを意味する。
最大事後確率(MAP:Maximum A Posteriori)推定によると、商品iを購入する事前確率P^(i)は、式(5)で推定される。式(5)において、δは、データ数が少ない場合に計算を安定化させる役割を持つハイパーパラメータであり、leave-one-out交差検定法により推定することができる。
ギャップマルコフモデル推定部(ギャップマルコフモデル推定手段)223は、前処理部21(図1参照)で作成された入力データ46を用いて、ユーザが所定の商品(個別対象)を購入したときにその前に購入した商品(個別対象)が特定の商品(個別対象)である確率を示すギャップマルコフモデルを推定するものである。
本実施形態では、ギャップマルコフモデル推定部223は、式(6)に示すlギャップマルコフモデルPl(jl|i)の計算を行う。lギャップマルコフモデルPl(jl|i)は、商品iを購入したl個前の商品がjである確率を表す。MAP推定によると、lギャップマルコフモデルは、式(6)で推定される。ギャップマルコフモデル推定部223は、推定されたlギャップマルコフモデルを拡張マルコフモデル書込部224に出力する。
図4は、重み推定部の構成を示す機能ブロック図である。重み推定部23は、拡張マルコフモデル推定部22(図1参照)で推定された事前確率47とギャップマルコフモデル48とを最大エントロピー原理により結合したモデルを示す結合モデルを構築し、構築した結合モデルの未知パラメータを示す重みを推定するものである。なお、この結合モデルのことを拡張マルコフモデルともいう。
入力データ読込部231は、入力データ46を読み込み、ギャップ重み推定部233に出力する。
拡張マルコフモデル読込部232は、事前確率47とギャップマルコフモデル48を読み込み、ギャップ重み推定部233に出力する。
ギャップ重み推定部233は、入力データ46と、事前確率47と、ギャップマルコフモデル48とを用いて、式(7)および式(8)の制約のもと、エントロピーを最大化することにより、事前確率47と、ギャップマルコフモデル48とを最大エントロピー原理により結合して式(9)に示す結合モデルを構築し、その重みを推定する。なお、以下では、対数は自然対数、すなわち、対数logの底は「e」であるものとする。また、式(9)において、商品iを購入するl個前に購入した商品をjlとする。また、Lは、k番目の商品を購入するまでに購入した商品の個数を示す。
図5は、リコメンド部の構成を示す機能ブロック図である。
リコメンド部24は、入力データ(処理用データ)46と、推定された事前確率47と、推定されたギャップマルコフモデル48と、推定された重み49とを用いて、結合モデル(拡張マルコフモデル)から計算されるユーザの購入する確率が最大となる商品(個別対象)を選択してリコメンド対象として提示するものである。
拡張マルコフモデル読込部242は、事前確率47とギャップマルコフモデル48とを読み込み、最大商品選択部244に出力する。
重み読込部243は、重み49を読み込み、最大商品選択部244に出力する。
を選択する。
図1に示したリコメンド装置1の動作について図6を参照(適宜図1参照)して説明する。図6は、リコメンド装置の動作を示すフローチャートである。リコメンド装置1は、前処理部21によって、購買履歴ログ45を用いて、入力データを生成する(ステップS1:前処理ステップ)。そして、リコメンド装置1は、拡張マルコフモデル推定部22によって、拡張マルコフモデル推定処理を実行する(ステップS2:拡張マルコフモデル推定ステップ)。続いて、リコメンド装置1は、重み推定部23によって、ステップS2で推定された事前確率47とギャップマルコフモデル48とを用いて、重み推定処理を実行する(ステップS3:重み推定ステップ)。そして、リコメンド装置1は、リコメンド部24によって、結合モデル(拡張マルコフモデル)から計算されるユーザの購入する確率が最大となる商品(個別対象)を選択してリコメンドする(ステップS4:リコメンドステップ)。
拡張マルコフモデル推定部22は、入力データ読込部221によって、記憶手段4(図1参照)から、入力データ46を読み込む(ステップS21)。そして、拡張マルコフモデル推定部22は、事前確率推定部222によって、事前確率を推定し(ステップS22)、拡張マルコフモデル推定部22は、ギャップマルコフモデル推定部223によって、ギャップマルコフモデルを推定する(ステップS23)。そして、拡張マルコフモデル推定部22は、拡張マルコフモデル書込部224によって、推定された事前確率とギャップマルコフモデルとを記憶手段4(図1参照)に格納する(ステップS24)。なお、ステップS22の処理と、ステップS23の処理との実行順序は、任意であり、処理を並列に実行してもよい。
音楽配信サービスの購買履歴ログ(以下、音楽データという)は、2005年4月1日から2005年6月30日までの音楽配信サービスにおける購買履歴を示すログである。この音楽データにおいて、ユーザ数は「2,104」、商品数(楽曲数)は「561」、購買数は「15,216」であった。
動画配信サービスの購買履歴ログ(以下、動画データという)は、2007年1月1日の動画配信サービスにおける購買履歴を示すログである。この動画データにおいて、ユーザ数は「3,085」、商品数は「1,569」、購買数は「25,363」であった。
比較例1:1次マルコフモデル(1stMarkov)
比較例2:2次マルコフモデル(2ndMarkov)
比較例3:3次マルコフモデル(3rdMarkov)
比較例4:ギャップマルコフモデルがそれぞれ独立と仮定したモデル(GapMarkov)
比較例5:購買順序を考慮した最大エントロピーモデル(MaxEnt(seq))
比較例6:購買順序を考慮しない最大エントロピーモデル(MaxEnt)
また、最大エントロピーモデルにおけるパラメータの事前分布は、分散が「1」の正規分布とした。すなわち、本実施形態のリコメンド装置1では、前記した式(12)における未知パラメータ(重み)αの事前分布は、分散が「1」の正規分布とした。
また、本実施形態のリコメンド装置1では、重みαを10重交差検定法により求めた。
このときの各手法の実験結果(正答率)を表3に示す。
また、本実施例でリコメンド装置1により推定された重みαとギャップlとの関係を図9に示す。図9において、musicは、音楽データを示し、movieは、動画データを示している。なお、αl(l=1〜10)は、lギャップマルコフモデルの重みを示し、αl(l=0)は、事前確率の重みを示す。図9のグラフに示すように、全データセットともに、ギャップが小さいギャップマルコフモデルの重みが大きい。これは、最近の履歴が購買予測に関する大きな情報を与えるという直感と一致している。
音楽データについて、d日前までのデータで推定した重みαを用いて、事前確率、ギャップマルコフモデルのみを更新したときの正答率を図10に示す。ここで、事前確率およびギャップマルコフモデルにおけるハイパーパラメータ“δ”もd日前までのデータで推定したものを用いた。なお、図10の縦軸は、正答率(accuracy)であり単位は%である。
2 演算手段
3 入力手段
4 記憶手段
5 出力手段
6 バスライン
21 前処理部(前処理手段)
22 拡張マルコフモデル推定部
23 重み推定部(重み推定手段)
24 リコメンド部(リコメンド手段)
25 メモリ
40a プログラム格納部
41 前処理プログラム
42 拡張マルコフモデル推定プログラム
43 重み推定プログラム
44 リコメンドプログラム
40b データ格納部
45 購買履歴ログ
46 入力データ
47 事前確率
48 ギャップマルコフモデル
49 重み
211 購買履歴ログ読込部
212 入力データ書込部
221 入力データ読込部
222 事前確率推定部(事前確率推定手段)
223 ギャップマルコフモデル推定部(ギャップマルコフモデル推定手段)
224 ギャップマルコフモデル書込部
231 入力データ読込部
232 拡張マルコフモデル読込部
233 ギャップ重み推定部
234 重み書込部
241 入力データ読込部
242 拡張マルコフモデル読込部
243 重み読込部
244 最大商品選択部
245 リコメンド出力部
Claims (4)
- 商品またはサービスを示す販売対象を購買したことのある複数のユーザの購買順序に基づいて、それぞれのユーザに対して、前記販売対象に属する個別対象のいずれかをリコメンド対象として出力するリコメンド装置であって、
前記ユーザが過去に購入した1以上の個別対象に関する情報を含む購買履歴情報を用いて、前記ユーザごとに、どの個別対象をどのような順序で購入したかを示す購買系列からなる処理用データを作成する前処理手段と、
前記複数のユーザおよび複数の個別対象に関して前記作成された処理用データを用いて、前記複数のユーザが所定の個別対象iを購買した回数を前記複数のユーザによる前記個別対象のすべての購買回数で除算することにより、前記ユーザが前記所定の個別対象iを購入する確率を示す事前確率を推定する事前確率推定手段と、
前記複数のユーザおよび複数の個別対象に関して前記作成された処理用データを用いて、前記複数のユーザが所定の個別対象iを購買したl個前に別の個別対象jを購買した回数を、前記複数のユーザが所定の個別対象iを購買した回数で除算することにより、前記ユーザが所定の個別対象iを購入したときにそのl個前に購入した個別対象が特定の個別対象jである確率を示すギャップマルコフモデルを推定するギャップマルコフモデル推定手段と、
前記推定された事前確率と前記推定されたギャップマルコフモデルとを最大エントロピー原理により所定の制約のもとで未知パラメータ(重み)により重み付け加算して結合したモデルを示す結合モデルの重みを、対象とする全ユーザについての購買系列から求められる、対象とする全個別対象の購入確率の対数尤度を、所定の最適化手法を用いて最大化することで推定する重み推定手段と、
前記作成された処理用データと、前記推定された事前確率と、前記推定されたギャップマルコフモデルと、前記推定された重みとを用いて、前記結合モデルから計算されるユーザの購入する確率が最大となる前記個別対象を、全ての個別対象の集合の中から選択してリコメンド対象として出力するリコメンド手段と、を備え、
前記重み推定手段は、
前記複数のユーザおよび複数の個別対象に関しての経験分布による事前分布の対数尤度と、前記結合モデルによる前記事前分布の対数尤度の期待値とが等しいことを示す第1条件と、
前記複数のユーザおよび複数の個別対象に関しての経験分布によるギャップマルコフモデルの対数尤度と、前記結合モデルによる前記ギャップマルコフモデルの対数尤度の期待値とが等しいことを示す第2条件とを前記所定の制約として用いて、前記結合モデルを構築することを特徴とするリコメンド装置。 - 商品またはサービスを示す販売対象を購買したことのある複数のユーザの購買順序に基づいて、それぞれのユーザに対して、前記販売対象に属する個別対象のいずれかをリコメンド対象として出力するリコメンド装置のリコメンド方法であって、
前処理手段によって、前記ユーザが過去に購入した1以上の個別対象に関する情報を含む購買履歴情報を用いて、前記ユーザごとに、どの個別対象をどのような順序で購入したかを示す購買系列からなる処理用データを作成する前処理ステップと、
事前確率推定手段によって、前記複数のユーザおよび複数の個別対象に関して前記作成された処理用データを用いて、前記複数のユーザが所定の個別対象iを購買した回数を前記複数のユーザによる前記個別対象のすべての購買回数で除算することにより、前記ユーザが前記所定の個別対象iを購入する確率を示す事前確率を推定する事前確率推定ステップと、
ギャップマルコフモデル推定手段によって、前記複数のユーザおよび複数の個別対象に関して前記作成された処理用データを用いて、前記複数のユーザが所定の個別対象iを購買したl個前に別の個別対象jを購買した回数を、前記複数のユーザが所定の個別対象iを購買した回数で除算することにより、前記ユーザが所定の個別対象iを購入したときにそのl個前に購入した個別対象が特定の個別対象jである確率を示すギャップマルコフモデルを推定するギャップマルコフモデル推定ステップと、
重み推定手段によって、前記推定された事前確率と前記推定されたギャップマルコフモデルとを最大エントロピー原理により所定の制約のもとで未知パラメータ(重み)により重み付け加算して結合したモデルを示す結合モデルの重みを、対象とする全ユーザについての購買系列から求められる、対象とする全個別対象の購入確率の対数尤度を、所定の最適化手法を用いて最大化することで推定する重み推定ステップと、
リコメンド手段によって、前記作成された処理用データと、前記推定された事前確率と、前記推定されたギャップマルコフモデルと、前記推定された重みとを用いて、前記結合モデルから計算されるユーザの購入する確率が最大となる前記個別対象を、全ての個別対象の集合の中から選択してリコメンド対象として出力するリコメンドステップと、
を実行し、
前記重み推定ステップは、
前記複数のユーザおよび複数の個別対象に関しての経験分布による事前分布の対数尤度と、前記結合モデルによる前記事前分布の対数尤度の期待値とが等しいことを示す第1条件と、
前記複数のユーザおよび複数の個別対象に関しての経験分布によるギャップマルコフモデルの対数尤度と、前記結合モデルによる前記ギャップマルコフモデルの対数尤度の期待値とが等しいことを示す第2条件とを前記所定の制約として用いて、前記結合モデルを構築することを特徴とするリコメンド方法。 - 請求項2に記載のリコメンド方法をコンピュータに実行させるためのリコメンドプログラム。
- 請求項3に記載のリコメンドプログラムが記録されたことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007132593A JP4847916B2 (ja) | 2007-05-18 | 2007-05-18 | 購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007132593A JP4847916B2 (ja) | 2007-05-18 | 2007-05-18 | 購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008287550A JP2008287550A (ja) | 2008-11-27 |
JP4847916B2 true JP4847916B2 (ja) | 2011-12-28 |
Family
ID=40147203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007132593A Expired - Fee Related JP4847916B2 (ja) | 2007-05-18 | 2007-05-18 | 購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4847916B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649525B1 (ja) * | 2009-08-28 | 2011-03-09 | 株式会社アクティブコア | レコメンド装置、レコメンド方法およびレコメンドプログラム |
JP5451673B2 (ja) * | 2011-03-28 | 2014-03-26 | ヤフー株式会社 | 検索ランキング生成装置及び方法 |
JP6059122B2 (ja) * | 2013-10-11 | 2017-01-11 | カルチュア・コンビニエンス・クラブ株式会社 | 顧客データ解析システム |
CN108230058B (zh) * | 2016-12-09 | 2022-05-13 | 阿里巴巴集团控股有限公司 | 产品推荐方法及系统 |
JP2019003261A (ja) * | 2017-06-12 | 2019-01-10 | パナソニックIpマネジメント株式会社 | 情報提示システム |
GB201801228D0 (en) * | 2018-01-25 | 2018-03-14 | Ocado Innovation Ltd | Recommendation system and method |
JP6836821B2 (ja) * | 2019-03-05 | 2021-03-03 | Social Good Foundation株式会社 | 情報処理装置、情報処理方法及び学習済みモデルの生成方法 |
CN113557690B (zh) * | 2019-03-11 | 2022-09-13 | 三菱电机株式会社 | 数据管理装置、数据管理系统、数据管理方法及计算机可读取的记录介质 |
CN111784480A (zh) * | 2020-07-22 | 2020-10-16 | 中国银行股份有限公司 | 银行产品的推荐方法、装置、存储介质及电子设备 |
JP7041299B1 (ja) | 2021-03-18 | 2022-03-23 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002279279A (ja) * | 2001-03-22 | 2002-09-27 | Just Syst Corp | 商品推薦装置、商品推薦方法、及び商品推薦プログラム |
JP2004054439A (ja) * | 2002-07-17 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 顧客行動分析に基づくマーケティング戦略策定支援方法、装置、およびプログラム |
US20070244747A1 (en) * | 2006-04-14 | 2007-10-18 | Nikovski Daniel N | Method and system for recommending products to consumers by induction of decision trees |
JP4751242B2 (ja) * | 2006-05-29 | 2011-08-17 | 日本電信電話株式会社 | リコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 |
JP2008027358A (ja) * | 2006-07-25 | 2008-02-07 | Silver Egg Technology Kk | レコメンド装置、レコメンド方法、及びプログラム |
-
2007
- 2007-05-18 JP JP2007132593A patent/JP4847916B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008287550A (ja) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4847916B2 (ja) | 購買順序を考慮したリコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 | |
US20210248651A1 (en) | Recommendation model training method, recommendation method, apparatus, and computer-readable medium | |
US11501204B2 (en) | Predicting a consumer selection preference based on estimated preference and environmental dependence | |
JP4751242B2 (ja) | リコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 | |
Griffin et al. | In search of lost mixing time: adaptive Markov chain Monte Carlo schemes for Bayesian variable selection with very large p | |
US10984343B2 (en) | Training and estimation of selection behavior of target | |
KR102049777B1 (ko) | 사용자 행위 기반의 아이템 추천 방법 및 장치 | |
JP4847919B2 (ja) | リコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体 | |
US9858592B2 (en) | Generating apparatus, generation method, information processing method and program | |
JPWO2012049987A1 (ja) | 商品推薦システムおよび商品推薦方法とそのプログラム | |
JP2009110341A (ja) | 時間情報を用いた予測装置、予測方法、予測プログラムおよびそのプログラムを記録した記録媒体 | |
US11301763B2 (en) | Prediction model generation system, method, and program | |
Banerjee et al. | A large-scale constrained joint modeling approach for predicting user activity, engagement, and churn with application to freemium mobile games | |
CN110348947B (zh) | 对象推荐方法及装置 | |
JP2015114988A (ja) | 処理装置、処理方法、およびプログラム | |
US20170213236A1 (en) | Estimation of Causal Impact of Digital Marketing Content | |
JP5950284B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP2015187773A (ja) | データ解析装置、データ解析プログラム及びデータ解析方法 | |
JPWO2018088276A1 (ja) | 予測モデル生成システム、方法およびプログラム | |
WO2016092767A1 (ja) | グルーピングシステム、グルーピング方法およびグルーピングプログラム | |
WO2020056286A1 (en) | System and method for predicting average inventory with new items | |
JP7244707B1 (ja) | 情報処理システム、コンピュータプログラム、及び情報処理方法 | |
WO2023228314A1 (ja) | 仕様対応データ推定装置、機械学習方法、仕様対応データ推定方法、及びプログラム | |
JP4879796B2 (ja) | Rf分析・rf予測プログラム | |
JP2023118523A (ja) | 均衡解探索プログラム、均衡解探索方法および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111014 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |