JP3667217B2 - 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 - Google Patents

映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3667217B2
JP3667217B2 JP2000264746A JP2000264746A JP3667217B2 JP 3667217 B2 JP3667217 B2 JP 3667217B2 JP 2000264746 A JP2000264746 A JP 2000264746A JP 2000264746 A JP2000264746 A JP 2000264746A JP 3667217 B2 JP3667217 B2 JP 3667217B2
Authority
JP
Japan
Prior art keywords
advertisement information
video
information
supplying
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000264746A
Other languages
English (en)
Other versions
JP2002077726A (ja
Inventor
重樹 岡田
久美 秦泉寺
裕 渡辺
小林  直樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000264746A priority Critical patent/JP3667217B2/ja
Publication of JP2002077726A publication Critical patent/JP2002077726A/ja
Application granted granted Critical
Publication of JP3667217B2 publication Critical patent/JP3667217B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータシステムを用いた映像中の広告情報の供給方法および供給システムに関し、特にスプライト符号化技術によって映像配信を行う映像配信システムにおいて広告情報を効率的に供給する方法およびシステムに関するものである。
【0002】
【従来の技術】
従来より、映像中の広告情報の供給方法として、映像中の任意の場所に広告情報のテロップを挿入する手法が知られている。また、スポーツ映像等では競技場の壁や周辺の看板等の映像中の背景になる部分に広告情報を掲載する手法は知られている、
また、上記映像中の広告情報に関連づけてさらに詳細な広告情報(以下では次広告情報と呼ぶ)を表示する手法は知られている。なお、次広告情報の例として、文字や画像情報により表示される詳細な広告や、選択した広告情報のホームページへのリンク情報等がある。
【0003】
一方、「スプライト符号化」は映像符号化の次世代標準であるMPEG-4 Main Profileに含まれており、映像をオブジェクトごとに符号化する「オブジェクト符号化」において、特にカメラの動きを抽出することによって背景オブジェクトをつなぎ合わせた背景パノラマ画像(以下ではスプライト画像と呼ぶ)で表現する符号化手法であり、全画面を1つのビデオオブジェクトとして符号化するMPEG-4通常符号化と比較して劇的な符号化効率の向上を実現する方法である。なお、「スプライト符号化」、「オブジェクト符号化」については、
文献1「“MPEG−4のすべて”、pp.53-56、三木弼一著、工業調査会」、
文献2「“A Layered Video Object Coding System Using Sprite and Affine Motion Model"、Ming-Chieh Lee、Wei-ge Chen and Chih・lung 他、IEEE Transactions on Circuits and Systems for Video Techono1ogy、Vol.7、No.1、pp.130-145、February 1997」
などに記載されている。
【0004】
【発明が解決しようとする課題】
映像中の広告情報のテロップ挿入は、映像内容とは関係なく広告情報が合成されるために、観賞者には不自然なものとして不快感を生じさせるものである。
【0005】
一方、スポーツ映像等において、競技場の壁や周辺の看板等に広告情報を掲載する手法は、映像が古い場合にはこれらの広告情報に新規性がなくなる。この広告情報をあとで変更するには、フレームごとに広告情報がある位置を変更する処理が必要となり、大きな手間を生じるものである。
【0006】
また、映像中の広告情報に関連づけて次広告情報を表示する手法は、映像のフレームごとに広告情報と次広告情報を関連づける処理が必要であり、大きな手間を生じるものである。
【0007】
本発明の目的は、映像中に表示する広告情報を自然に合成できるようにすること、またフレームごとに表示する広告情報の位置を指定して広告情報を合成できるようにすること、さらに次広告情報との関連づけを行う処理の手間を軽減することにある。
【0008】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、映像中の広告情報の供給方法として、スプライト符号化を利用して広告情報を合成する。スプライト画像は映像中の背景画像の合成画像であるために、これに広告情報を合成することによって、観賞者に対して広告情報を自然に表示する。また、スプライト画像に広告情報を合成することによって、スプライト画像内の位置から、次広告情報へと関連づける処理を容易にする。
【0009】
以上のことから、本発明は、以下のシステムおよび方法ならびにこの方法のプログラムを記録した記録媒体を特徴とする。
【0010】
(システムの発明)
コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給システムであって、
映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割するスプライト符号化手段と、
前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出しておく広告情報供給可能位置抽出手段と、
前記広告情報が供給可能な座標位置に広告情報を合成する広告情報合成手段とを備えたことを特徴とする。
【0011】
また、前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶する次広告情報関連づけ手段と、
前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示する次広告情報表示手段とを備えたことを特徴とする。
【0012】
(方法の発明)
コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給方法であって、
映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割し、
前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出しておき、
前記広告情報が供給可能な座標位置に広告情報を合成することを特徴とする。
【0013】
また、前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶しておき、
前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示することを備えたことを特徴とする。
【0014】
(記録媒体の発明)
コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給方法をプログラムとして記録する記録媒体であって、
映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割する処理手順と、
前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出する処理手順と、
前記広告情報が供給可能な座標位置に広告情報を合成する処理手順と、
前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶しておく処理手順と、
前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示する処理手順と、
をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明に係わる映像中の広告情報の供給システムおよび方法の実施形態を図面に基づいて詳細に説明する。
【0016】
図1は、本発明に係わる映像中の広告情報供給システムの実施形態の全体構成を概念ブロック図で示したものである。映像中の広告情報供給システムは、映像配信システムに適用されるものであって、このシステムは映像のデータベースを中心にして構成される。図2は、図1中の制御手段105の構成とその処理の流れを具体的に説明したものである。
【0017】
図1において、サーバ101においては、入力映像に対し制御手段105のスプライト符号化手段201によりスプライト符号化処理を行い、広告供給可能位置抽出手段202によって広告供給可能位置を抽出した後、映像データを映像データ記憶手段102へ受け渡すと共に、広告供給可能位置データを広告情報供給可能位置データ記憶手段104へと受け渡す。
【0018】
ここで、広告供給可能位置抽出手段202ではスプライト画像の中に広告を供給可能な位置を抽出する手段を有し、この手段によって供給可能位置データを出力する。広告を供給可能な位置とは、スプライト画像中で既に広告情報が提供されている領域、もしくは、新しく広告情報を表示することが可能な領域である、既に広告情報が提供されている領域の抽出方法としては、スプライト画像中の文字を検出することによって領域を抽出する方法があることは知られている。この文字を検出した領域を、既に広告情報が提供されている領域として抽出が可能である。また、新しく広告情報を表示することが可能な領域の抽出方法としては、スプライト画像中の壁や空等の画像変化が滑らかな領域を検出することによって、その領域を広告供給可能位置として抽出することができる。この画像変化が滑らかな領域に、看板等の広告媒体とともに広告情報を合成することによって、映像の観賞者に対して広告情報を自然に表示することが可能である。
【0019】
次に、広告情報合成手段203は広告供給可能位置データに基づき、広告データ記憶手段103の広告情報を映像データに合成する。次広告情報関連づけ手段204は、広告データ記憶手段103の次広告情報と関連づける処理を行い、合成後の映像データを映像データ記憶手段102、もしくは映像出力として出力制御手段107に処理を受け渡す。ここで、広告データ記憶手段103に記憶されている広告データは、広告情報供給希望者によってあらかじめ登録されているものとする。これは、広告供給可能位置によって課金レベルを定め、各課金レベルに対応した広告データを合成することを可能とする。
【0020】
出力制御手段107では、映像データの配信制御を主として行い、インターネット上の各端末108〜110に配信する。各端末108〜110では、映像データの受信を行う一方で、合成された広告情報の選択を観賞者に対して促す。観賞者が広告情報を選択した場合には、サーバ101への入力制御手段106に選択情報を入力し、その広告情報に関連づけられた広告データ記憶手段103中の次広告情報を次広告情報表示手段205により出力し、選択した端末において、次広告情報を表示する処理を行う。
【0021】
ここで、選択情報入力は座標位置情報から構成するために、供給可能位置データ記憶手段104の供給可能位置データから、観賞者がどの広告情報を選択したかを容易に算出することができる。
【0022】
図3は実施形態における、スプライト画像中の広告情報供給可能位置を説明するための図である。点線で囲まれたそれぞれの部分301が広告情報供給可能位置としてその座標位置を広告情報供給可能位置データ記憶手段104に登録する。ここでは広告情報供給可能位置の座標情報とその保有する面積情報によって、広告情報表示の課金レベルを定めることが可能である、すなわち、面積が大きく、復号後の映像によく映る座標位置ほど、課金レベルを高くすることが可能である。これは、スプライト符号化処理201時のスプライト画像データ、前景データから算出することが可能である。
【0023】
また、スプライト画像中の壁や看板等のない部分に新たに広告領域を生成することも可能である。これは本発明の目的である、背景に広告情報を自然に合成することを前提に処理を行う必要がある。
【0024】
図4は実施形態における、映像中の広告情報選択画面の構成を説明するための図である。本発明では、広告情報を映像の背景に自然に合成することを目的としているために、基本的に観賞者には合成した映像のみを表示する。しかし、関連づけ手段204によって次広告情報を関連づけている場合は、観賞者の操作するマウスカーソル401の位置によって、広告情報の選択を促す。例としては、次広告情報が関連づけられている広告情報にマウスカーソル402を合わせると、そのマウスカーソル402の形を変化させる等の処理を行う。観賞者が広告情報を選択した場合は、図1のサーバ101から選択した広告情報に関連づけされた次広告情報を受信することができる。
【0025】
なお、本発明は、映像中の広告情報の供給のためのプログラムおよびデータをあらかじめ定められた手順に基づいて制御するコンピュータやそれに準ずる装置により、図2等に示した本発明の方法の実施形態例での処理の手順ないし計算アルゴリズムをコンピュータ等に実行させるためのプログラムを該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、MO、CD、DVDなどに記録して配布することが可能である。
【0026】
【発明の効果】
以上のとおり、本発明によれば、映像中の広告情報の供給方法として、スプライト符号化を利用して広告情報を合成することによって、スプライト画像は映像中の背景画像の合成画像であるために、これに広告情報を合成することによって、観賞者に対して広告情報を自然に表示することができる。これはテロップのように映像内容に関係ないものが不自然に映像中に合成されることを防ぐことができる。
【0027】
また、スプライト画像への広告情報の合成処理は、一回の処理によって複数フレームの背景画像の合成処理を行うことができる。これはフレームごとに広告情報の変更する処理をする必要がないので、処理の軽減が実現している点で効果がある。また、スプライト画像への広告情報の合成処理も、座標情報をもとに容易に処理可能である。
【0028】
また、スプライト画像に広告情報を合成することによって、スプライト画像内の位置から、次広告情報へと関連づける処理が容易になる。スプライト符号化データがフレームごとのスプライト画像の座標データを持っているので、フレームごとに次広告情報へと関連づける処理をする必要がないので、処理の軽減が実現できる。
【図面の簡単な説明】
【図1】本発明における実施形態の構成を示すブロック図。
【図2】同実施形態におけるサーバの処理の流れを示す図。
【図3】同実施形態におけるスプライト画像の広告情報供給可能位置を説明するための図。
【図4】同実施形態における映像中の広告情報選択画面の構成を説明するための図。
【符号の説明】
101…サーバ
102…映像データ記憶手段
103…広告データ記憶手段
104…広告供給可能位置データ記憶手段
105…制御手段
106…入力制御手段
107…出力制御手段
108〜110…端末
201…スプライト符号化手段
202…広告供給可能位置抽出手段
203…広告情報合成手段
204…次広告情報関連づけ手段
205…次広告情報表示手段
206…制御手段
301…広告供給可能位置
401…通常のマウスカーソル
402…広告情報の選択を促すマウスカーソル

Claims (5)

  1. コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給システムであって、
    映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割するスプライト符号化手段と、
    前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出しておく広告情報供給可能位置抽出手段と、
    前記広告情報が供給可能な座標位置に広告情報を合成する広告情報合成手段とを備えたことを特徴とする映像中の広告情報の供給システム。
  2. 前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶する次広告情報関連づけ手段と、
    前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示する次広告情報表示手段とを備えたことを特徴とする請求項1に記載の映像中の広告情報の供給システム。
  3. コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給方法であって、
    映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割し、
    前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出しておき、
    前記広告情報が供給可能な座標位置に広告情報を合成することを特徴とする映像中の広告情報の供給方法。
  4. 前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶しておき、
    前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示することを備えたことを特徴とする請求項3に記載の映像中の広告情報の供給方法。
  5. コンピュータシステムにより映像中の広告情報の供給を行う広告情報の供給方法をプログラムとして記録する記録媒体であって、
    映像をスプライト符号化処理によってスプライト画像と前景オブジェクトに分割する処理手順と、
    前記スプライト画像中において、広告情報を供給可能な座標位置情報を抽出する処理手順と、
    前記広告情報が供給可能な座標位置に広告情報を合成する処理手順と、
    前記合成した広告情報の座標位置に、さらに詳細な広告情報を関連づけて記憶しておく処理手順と、
    前記広告情報を合成した映像に対して、合成した広告情報の座標に相当する地点に、その広告情報を選択できる画像を表示し、該広告情報が選択された際には、その選択情報をもとに次広告情報を表示する処理手順と、
    をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像中の広告情報の供給方法を記録した記録媒体。
JP2000264746A 2000-09-01 2000-09-01 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 Expired - Fee Related JP3667217B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000264746A JP3667217B2 (ja) 2000-09-01 2000-09-01 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000264746A JP3667217B2 (ja) 2000-09-01 2000-09-01 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002077726A JP2002077726A (ja) 2002-03-15
JP3667217B2 true JP3667217B2 (ja) 2005-07-06

Family

ID=18752117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000264746A Expired - Fee Related JP3667217B2 (ja) 2000-09-01 2000-09-01 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3667217B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040026365A (ko) * 2002-09-24 2004-03-31 정보통신연구진흥원 개선된 유무선 통신용 광고 영상 삽입 방법 및 장치
WO2004100535A1 (en) * 2003-05-02 2004-11-18 Allan Robert Staker Interactive system and method for video compositing
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
US8824861B2 (en) 2008-07-01 2014-09-02 Yoostar Entertainment Group, Inc. Interactive systems and methods for video compositing
JP5567942B2 (ja) * 2010-08-30 2014-08-06 Kddi株式会社 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
JP5593356B2 (ja) 2012-08-22 2014-09-24 ヤフー株式会社 広告配信装置、広告配信方法および広告配信プログラム
WO2014182508A1 (en) 2013-05-06 2014-11-13 Yoostar Entertainment Group, Inc. Audio-video compositing and effects
WO2015119749A1 (en) * 2014-02-07 2015-08-13 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2024018166A1 (en) * 2022-07-22 2024-01-25 Blackbird Plc Computer-implemented methods of blurring a digital image; computer terminals and computer program products

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL115288A (en) * 1995-09-13 1999-06-20 Scidel Technologies Ltd Method and apparatus for implanting images into a video sequence
JPH10174007A (ja) * 1996-10-11 1998-06-26 Toshiba Corp マルチ機能テレビジョン装置
JP3814903B2 (ja) * 1996-12-25 2006-08-30 株式会社日立製作所 映像・データ表示方法及び装置
IL137435A0 (en) * 1998-01-23 2001-07-24 Princeton Video Image Inc Event linked insertion of indicia into video
JP3838035B2 (ja) * 1998-06-17 2006-10-25 株式会社日立製作所 放送方法及び放送受信装置
JP2000032456A (ja) * 1998-07-15 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> スプライト符号化を用いた動画像符号化方法、復号方法、符号化器、復号器および動画像符号化プログラム、動画像復号プログラムを記録した記録媒体
JP4272771B2 (ja) * 1998-10-09 2009-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
JP2002077726A (ja) 2002-03-15

Similar Documents

Publication Publication Date Title
US10210907B2 (en) Systems and methods for adding content to video/multimedia based on metadata
US7367042B1 (en) Method and apparatus for hyperlinking in a television broadcast
US8559798B2 (en) Image frame processing method and device for displaying moving images to a variety of displays
US7343617B1 (en) Method and apparatus for interaction with hyperlinks in a television broadcast
CN111491174A (zh) 虚拟礼物获取及展示方法、装置、设备及存储介质
JP5465620B2 (ja) 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
US6968973B2 (en) System and process for viewing and navigating through an interactive video tour
US7689062B2 (en) System and method for virtual content placement
JP5204285B2 (ja) ハイパーリンクによってリンクされた注釈データ受信システム、放送システム及び注釈データを含む放送情報を利用する方法
CN101193250B (zh) 产生运动图像的帧信息的系统和方法
US9224156B2 (en) Personalizing video content for Internet video streaming
JP3667217B2 (ja) 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体
CN114760517B (zh) 图像活动嵌入方法及其装置、设备、介质、产品
CN110597577A (zh) 一种头戴可视设备及其分屏显示方法和装置
JP2020101847A (ja) 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
Inamoto et al. Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment
CN114282031A (zh) 信息标注方法、装置、计算机设备及存储介质
KR102334403B1 (ko) 애니메이션에 광고를 삽입하는 콘텐츠 제작 장치 및 그 제어방법
Szewczyk et al. Motion and feature-based video metamorphosis
EP1981274A1 (en) Multimedia descriptions for adding additional multimedia
JP2001331246A (ja) 画像関連データ表示装置
TW201212639A (en) Video post-production system and method for combining information with video

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees