JP2646903B2 - マルチメディアシナリオ加工方法 - Google Patents

マルチメディアシナリオ加工方法

Info

Publication number
JP2646903B2
JP2646903B2 JP22799591A JP22799591A JP2646903B2 JP 2646903 B2 JP2646903 B2 JP 2646903B2 JP 22799591 A JP22799591 A JP 22799591A JP 22799591 A JP22799591 A JP 22799591A JP 2646903 B2 JP2646903 B2 JP 2646903B2
Authority
JP
Japan
Prior art keywords
segment
data
media
control
deletion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22799591A
Other languages
English (en)
Other versions
JPH0567184A (ja
Inventor
晴美 小野
聡 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP22799591A priority Critical patent/JP2646903B2/ja
Publication of JPH0567184A publication Critical patent/JPH0567184A/ja
Application granted granted Critical
Publication of JP2646903B2 publication Critical patent/JP2646903B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、セグメントで管理され
ているメディアを関連付けて構成したマルチメディアシ
ナリオの加工方法に関し、特に任意のメディアの削除に
際して連動した他メディアの削除方法を制御するマルチ
メディアシナリオ加工方法に関する。
【0002】
【従来の技術】マルチメディアの編集技術において、任
意のメディアを削除する際、シナリオの自然性を保つた
めに関連する他メディアを時間的、意味的に矛盾なく処
理することが要求されている。従来は、削除を指定した
メディアと関連のあるメディアから削除するセグメント
あるいは一部のデータを一つ一つ検索して処理するた
め、膨大な時間を必要とした。この点に関して、描画か
ら関連する音声を検索し、編集の効率化を図った技術
「マルチメディア通信端末における同期編集制御法、電
子情報学会誌、Vol.J70,No.2,1987」がある。この方法
において、音声セグメントには有音部分(音声レベルが
ある閾値以上継続する部分)からなるセグメントと、無
音部分からなるセグメントがある。また、描画セグメン
トは入力時に連続して描かれた文字や図形等の描画デー
タ(画面上の座標値とその点のON/OFF情報等)を
示し、描画データのあるセグメントとないセグメントが
ある。この技術における音声検索処理の原理を図2に示
す。同図において、CRTディスプレイに表示された静
止図と描画から任意の描画を指定し(201〜20
3)、指定された描画セグメント、または、開始時刻
t’後もっとも初めに出力される音声セグメントを検索
する(204〜206)。図3に上記検索方法の適用例
を示す。s1、s2は描画セグメント、s3、s4、s5は音声セ
グメント、s6は静止画セグメントである。例えば、描画
セグメントs1を指定した場合は関連したセグメントとし
て音声セグメントs3を、また描画セグメントs2を指定し
た場合は音声セグメントs5を検索結果とする。
【0003】
【発明が解決しようとする課題】上記従来技術では、関
連のある音声セグメントと描画セグメントの出力開始時
刻の比較により関連のある他メディアのセグメントを判
断している。しかし、図4において、例えば花火が飛び
散る映像s1とドーンという爆発音s4のように出力開始時
刻に遅延がある場合、従来方式ではs1セグメントの関連
セグメントとしてs3を検索し、s2の関連セグメントとし
てs4を検索してしまうという不都合が生じる。つまり、
時刻だけでメディアの関連性を機械的に規定する従来方
式は、汎用的なメディアの多重表現には不適切であると
いう第1の問題点があった。また、単一メディアにおい
てセグメント全体の把握、提示速度の維持等の提示内容
の目的によって削除方法を変更するのが情報伝達効率を
高め、シナリオの自然性を保つ上で望ましい。例えば音
声メディアにおいて、ナレーションのような説明の音声
は説明内容全体の把握が重要であるからデータの間引き
等で時間を圧縮し、BGMはデータの提示速度を維持す
るため後尾を削除するのが適している。しかし、従来方
式ではこのようなセグメントの提示内容に依存した削除
を人間が常に指定しており、自動的に変化させることが
できないという第2の問題点があった。本発明の目的
は、このような問題点を改善するため、削除方法を指定
した単一メディアの特性およびセグメント毎の依存関係
を規定したメディア間の関連データに基づき、任意メデ
ィアの削除に際して連動した他メディアの削除方法を制
御するマルチメディアシナリオ加工方法を提供すること
にある。
【0004】
【課題を解決するための手段】上記目的を達成するた
め、本発明のマルチメディアシナリオ加工方法は、セグ
メントで管理されているメディアを複数関連付けて構成
したマルチメディアシナリオ加工方法であって、 各セグ
メントの蓄積に当っては、削除後に後続のデータを前方
にシフト可能か否かを指定する時刻シフト可否データ、
データの切断が可能か否か、可能なときには削除制御方
法を指定する切断可否データ、およびデータの圧縮が可
能か否か、可能なときには圧縮制御方法を指定する圧縮
可否データを蓄積するとともに、 異なるメディアであっ
て互いに関連するセグメントの識別子を蓄積し、 上記セ
グメントの削除を行う時には、該セグメントについて記
憶されている前記時刻シフト可否データ、切断可否デー
タ、および圧縮可否データに基づいて該セグメントの時
刻シフト制御、切断制御および圧縮制御を行うととも
に、 該セグメントに関連する他メディアのセグメントを
探索し、関連するセグメントについて記憶されている時
刻シフト可否データ、切断可否データ、および圧縮可否
データに基づき、関連するセグメントについても、時刻
シフト制御、切断制御および圧縮制御を行うことを特徴
としている。
【0005】
【作用】本発明においては、マルチメディアシナリオ加
工処理部の加工制御データ蓄積部に、単一メディアの特
性データおよびメディア間の関連データを格納してお
き、その加工処理部は、単一メディア特性データおよび
メディア間関連データに基づいて関連メディアの削除方
法を制御する。これにより、マルチメディアシナリオの
自然性を損なうことなく、効率の良い削除を自動的に行
うことができる。また、メディアの提示時刻が離れてい
る場合でも、その関連データに基づいて関連メディアの
セグメントを削除することができる。
【0006】
【実施例】以下、本発明の一実施例を図面により説明す
る。図1は本発明の第1の実施例における構成図であ
る。同図において、1はユーザとの対話制御を行うイン
タフェース部、2はシナリオを構成するセグメントを管
理するシナリオ構造、再生のための同期情報およびデー
タ等からなるマルチメディアデータ蓄積部、3はマルチ
メディアシナリオ加工処理部であり、その処理部はマル
チメディアシナリオにおけるメディア間関連データ31
Aと単一メディア特性データ31Bを各々蓄積する加工
制御データ蓄積部31と、ユーザの削除要求により前記
メディア間関連データ31Aを参照することにより関連
メディアと削除要求のセグメントを削除する削除処理部
32と、前記単一メディア特性データ31Bを参照する
ことにより、セグメントの補正が必要か否かを判断し、
削除範囲あるいは圧縮率の設定により補正方法を制御す
る補正制御部33と、その補正制御部33で決定された
補正方法を実行するセグメント補正部34とで構成され
ている。
【0007】図5は、本発明の一実施例におけるメディ
ア間関連データの構造図である。メディア間関連データ
31Aは、セグメント識別子31aと複数の関連セグメ
ント識別子からなる関連セグメント識別子リスト31b
とで構成される。セグメント識別子31aに対して関連
セグメントリスト31bは一意に決定される。本実施例
では、対象とするメディアを、動画像、音声、静止画、
描画とする。また、動画像はカット単位、音声は有音部
分、静止画は1枚単位、描画は連続した文字や図形をセ
グメントとする。以下の例においても同様のセグメント
単位を用いる。なお、セグメント間の関連づけは、マル
チメディアシナリオを作成するユーザが指定する。ここ
で、ユーザインタフェースの例を記述する。時系列にそ
ってセグメントのアイコンを表示する。1つのセグメン
トをクリックし、セグメントの属性に関するメニュー
(特性データ参照、特性データ設定、関連セグメント参
照、関連セグメント設定、etc.)を表示し、関連セグメ
ント設定を選択する。その後、関連するセグメントをマ
ウスクリック等で指定することにより図5に提示したテ
ーブルをシステムが作成する。図6は、本発明の一実施
例における単一メディア特性データの構造図である。単
一メディア特性データ31Bは、メディア識別子31c1
と時刻シフト可否データ31c2と切断可否指定データ3
1c3と圧縮可否指定データ31c4からなるメディア共通
データ31cとセグメント識別子31d1と切断可否指定
データ31d2と圧縮可否指定データ31d3とからなるセ
グメント特異データ31dから構成される。これらのデ
ータは、マルチメディアシナリオ加工前に予めユーザが
入力するものとする。ここで、時刻シフト可否データ3
1c2は削除後に後続のデータを前方にシフト可能か否か
を指定し、切断可否指定データはデータの切断が可能か
否か、さらに可能な場合は削除制御方法(中断、後尾切
断等)を指定する。圧縮可否指定データは、データの圧
縮が可能か否か、さらに可能な場合は圧縮制御方法(コ
マ落し、音声の再生時間圧縮等)を指定する。また、メ
ディア識別子31c1は、セグメント識別子31d1から検
出可能である。セグメント特異データ31dは、同一メ
ディアであってもメディア共通データ31cと異なる切
断制御や圧縮制御を必要とする特異なセグメントの集合
である。本実施例は、ユーザからの1セグメント削除要
求に対して関連するメディアの加工処理を行う例であ
る。この実施例の動作を説明すると、図1に示したイン
タフェース部1は、ユーザの削除要求に対してマルチメ
ディアデータ蓄積部2に蓄積されているシナリオ管理構
造を参照することにより該当するセグメント識別子を削
除処理部32に転送する。この削除処理部32は、転送
されたセグメント識別子に基づきそのセグメントを削除
し、さらにメディア間関連データ31Aを参照すること
により関連セグメントを順次削除する。関連セグメント
の削除終了後、ユーザからの削除要求セグメント識別子
を補正制御部33に転送する。補正制御部33は、転送
されたセグメント識別子に基づき単一メディア特性デー
タ31Bを参照することにより、削除セグメントの存在
時間を消去し後続のデータを前方にシフトするかどうか
を判定し、その際補正が必要なセグメントの検出と削除
範囲あるいは圧縮率を設定し、セグメント補正部34に
転送する。但し、単一メディア特性データ31Bにおい
て、セグメントは削除と圧縮のどちらか一方が可能とな
るように設定されている。セグメント補正部34は、転
送された削除範囲あるいは圧縮率に基づきマルチメディ
アデータ蓄積部2に蓄積されているセグメントデータを
変更する。
【0008】図7は、図1の削除処理部の構成図であ
る。この構成例の動作を説明すると、メモリ部32A
は、インタフェース部1から転送されてくるセグメント
識別子を内部メモリに蓄積するとすぐにインタフェース
部1へデータの送信を中断する命令を転送する。次に、
最も新しく蓄積されたセグメント識別子をセグメントリ
スト参照部32Bとセグメント削除部32Cに転送す
る。セグメント識別子を転送されたセグメントリスト参
照部32Bは、メディア間関連データ31Aを参照する
ことにより関連セグメント識別子リストを取り出し、こ
の関連セグメント識別子リストをメモリ部32Aに転送
する。メモリ部32Aは転送されたセグメント識別子を
蓄積し、最も新しく蓄積されたセグメント識別子をセグ
メントリスト参照部32Bに転送する。そのセグメント
識別子の転送後、セグメントリスト参照部32Bより関
連セグメント識別子リストが転送されてこない場合、上
記セグメント識別子をセグメント削除部32Cに転送す
る。セグメント削除部32Cはセグメント識別子が転送
される度にマルチメディアデータ蓄積部2を参照しシナ
リオ管理構造、同期情報等からそのセグメントを削除す
る。上記の処理は、メモリが空になるまで繰り返され、
終了と同時に最後のセグメント識別子つまりユーザから
の削除要求セグメント識別子を補正制御部33に転送す
る。図8は、図7のメモリ部におけるセグメント識別子
と格納順の関係を示す図、図9は図7のメモリ部におけ
る関連セグメントの蓄積処理を示す図である。図8で
は、メモリ内におけるセグメント識別子と格納順の関係
を示している。s1は、ユーザからの削除要求セグメント
を示し、s1の受け取ったメモリ部32Aは直ちにセグメ
ントリスト参照部32Bとセグメント削除部32Cにs1
を転送する。セグメントリスト参照部32Bは転送され
たs1に基づき関連セグメント識別子s10、s11、s12をメ
モリ部32Aに転送し、メモリ部32Aは転送されてき
たセグメント識別子リストを蓄積する。次に最も新しい
セグメント識別子s12をセグメントリスト参照部32B
とセグメント削除部32Cに転送する。以下同様にs12
の関連セグメントs120、s121、s121の関連セグメントs
1210、s11の関連セグメントs110を順に蓄積し(図9)、
関連セグメントがなくなるまで上記処理を繰り返す。
【0009】図10は、図1の補正制御部の構成図であ
る。この構成例の動作を説明すると、時刻シフト判定部
33Aは、削除処理部32から転送されてくるセグメン
ト識別子に基づき単一メディアの特性データを参照する
ことにより、削除セグメントの存在時間を消去し、後続
のデータを前方にシフトするかどうか判定する。時刻シ
フト不可能と判断された場合はインタフェース部1に制
御を移す。時刻シフト可能と判断された場合は上記セグ
メント識別子をセグメント検出部33Bに転送する。セ
グメント検出部33Bは、転送されたセグメント識別子
に基づきマルチメディアデータ蓄積部2のシナリオ構
造、同期情報等を参照し、削除セグメントが存在してい
た時刻に存在する他のセグメントを検出する。セグメン
トが検出された場合、そのセグメントの識別子と存在時
間を順次削除範囲設定部33Cと圧縮率設定部33Dに
転送する。削除範囲設定部33Cでは、転送されたセグ
メント識別子に基づき単一メディア特性データ中の切断
可否指定データ31c3を参照し、削除時間と比較するこ
とにより削除可能かどうかを判定する。可能な場合のみ
削除範囲設定しセグメント補正部34にセグメント識別
子と削除範囲を転送する。圧縮率設定部33Dでは、転
送されたセグメント識別子に基づき単一メディア特性デ
ータ中の圧縮可否指定データ31c4を参照し、圧縮方法
に基づいた圧縮可能時間と実際に削除する時間とを比較
することにより圧縮可能かどうか判定する。可能な場合
のみ圧縮率(削除後のセグメント提示時間/削除前のセ
グメント提示時間×100%)を設定しセグメント補正
部34にセグメント識別子と圧縮率を転送する。削除範
囲設定部33Cと圧縮率設定部33Dにおいて補正処理
が不可能な場合は、ユーザインタフェース部1に制御を
戻し、メッセージ表示等でユーザに削除が不可能なこと
を伝える。マルチメディアシナリオ加工システムは次に
発せられるユーザからの加工要求により再び動作を始め
る。図11および図12は、本発明の一実施例における
加工制御データに基づく加工処理を示す図である。図1
1において、メディアAはユーザが直接削除を指示する
処理の主体メディアであり、セグメントs1の削除が要求
された場合である。メディアAと関連するメディアBの
セグメントs10は削除セグメントs1に関連し、メディア
Cのセグメントs100はセグメントs10に関連している。
セグメントs1、s10、s100の関係は、メディア間関連デ
ータ31Aに蓄積されており、削除処理部32はその蓄
積データを参照することにより、s1に関連したs10をま
ず削除し、続いてs10に関連したs100を削除する(タイ
プ(1)の削除)。s100はこれ以上関連するメディアを
持たないため、削除処理部32はs1を削除し、s1の識別
子を補正制御部33に転送することで処理を終える。補
正制御部33では、単一メディア特性データ31Bから
s1の特性を参照し、その特性データによりセグメントs2
の補正方法を制御する(図12)。まず、メディアAの
時刻シフト可否データからs1以降の時刻をシフトするか
判定する。シフトしない場合は処理を終了し、シフトす
る場合は切断可否指定データと圧縮可否指定データを参
照することにより補正制御を決定する。タイプ(2)−
0はデータの中断が可能な場合、タイプ(2)−1は中
断が不可能で後尾の切断が可能な場合、タイプ(2)−
2は切断が不可能でデータの間引きによる圧縮が可能な
場合である。なお、切断可否指定データと圧縮可否指定
データに格納する制御方法の種類を増やすことで、上記
以外の処理を可能とすることは容易である。
【0010】
【発明の効果】本発明によれば、セグメントの削除にお
いて、メディア間の関連データに基づき提示時刻が離れ
ている場合でも関連メディアの処理ができる第1の利点
がある。また、セグメント全体の把握、提示速度の維持
等の提示内容の目的により削除方法を変化させること
で、シナリオの自然性が保たれた効率良い加工処理を自
動的に提供できるという第2の利点がある。
【0011】
【図面の簡単な説明】
【図1】本発明の一実施例におけるマルチメディア端末
の構成図である。
【図2】従来の音声検索処理方法を示すフローチャート
である。
【図3】図2の検索方法の適用例図である。
【図4】図2の検索方法の適用例図である。
【図5】本発明の一実施例におけるメディア間関連デー
タの構造図である。
【図6】本発明の一実施例における単一メディア特性デ
ータの構造図である。
【図7】図1の削除処理部の構成図である。
【図8】図7のメモリ部におけるセグメント識別子と格
納順の関係を示す図である。
【図9】図7のメモリ部における関連セグメントの蓄積
処理を示す図である。
【図10】図1の補正制御部の構成図である。
【図11】本発明の一実施例における加工制御データに
基づく加工処理を示す図である。
【図12】本発明の一実施例における加工制御データに
基づく加工処理を示す図である。
【符号の説明】
1 インタフェース部 2 マルチメディアデータ蓄積部 3 マルチメディアデータ加工処理部 31 加工制御データ蓄積部 31A メディア間関連データ 31B 単一メディア特性データ 32 削除処理部 32A メモリ部 32B セグメントリスト参照部 32C セグメント削除部 33 補正制御部 33A 時刻シフト判定部 33B セグメント検出部 33C 削除範囲設定部 33D 圧縮率設定部 34 セグメント補正部

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 セグメントで管理されているメディアを
    複数関連付けて構成したマルチメディアシナリオ加工方
    法であって、 各セグメントの蓄積に当っては、削除後に後続のデータ
    を前方にシフト可能か否かを指定する時刻シフト可否デ
    ータ、データの切断が可能か否か、可能なときには削除
    制御方法を指定する切断可否データ、およびデータの圧
    縮が可能か否か、可能なときには圧縮制御方法を指定す
    る圧縮可否データを蓄積するとともに、異なるメディア
    であって互いに関連するセグメントの識別子を蓄積し、 上記セグメントの削除を行う時には、該セグメントにつ
    いて記憶されている前記時刻シフト可否データ、切断可
    否データ、および圧縮可否データに基づいて該セグメン
    トの時刻シフト制御、切断制御および圧縮制御を行うと
    ともに、 該セグメントに関連する他メディアのセグメントを探索
    し、関連するセグメントについて記憶されている時刻シ
    フト可否データ、切断可否データ、および圧縮可否デー
    タに基づき、関連するセグメントについても、時刻シフ
    ト制御、切断制御および圧縮制御を行う ことを特徴とす
    るマルチメディアシナリオ加工方法。
JP22799591A 1991-09-09 1991-09-09 マルチメディアシナリオ加工方法 Expired - Fee Related JP2646903B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22799591A JP2646903B2 (ja) 1991-09-09 1991-09-09 マルチメディアシナリオ加工方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22799591A JP2646903B2 (ja) 1991-09-09 1991-09-09 マルチメディアシナリオ加工方法

Publications (2)

Publication Number Publication Date
JPH0567184A JPH0567184A (ja) 1993-03-19
JP2646903B2 true JP2646903B2 (ja) 1997-08-27

Family

ID=16869529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22799591A Expired - Fee Related JP2646903B2 (ja) 1991-09-09 1991-09-09 マルチメディアシナリオ加工方法

Country Status (1)

Country Link
JP (1) JP2646903B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3512507B2 (ja) * 1995-02-03 2004-03-29 富士通株式会社 三次元画像処理装置
JP3106895B2 (ja) * 1995-03-01 2000-11-06 松下電器産業株式会社 電磁放射測定装置
SG45512A1 (en) * 1995-10-30 1998-01-16 Matsushita Electric Ind Co Ltd Electromagnetic radiation measuring apparatus
JP2836550B2 (ja) * 1995-11-14 1998-12-14 日本電気株式会社 シナリオ編集装置
JPH11166963A (ja) 1997-12-04 1999-06-22 Kyodo Kumiai Joint Labo Sendai 磁界方向検出方法
JP3704968B2 (ja) * 1998-09-17 2005-10-12 富士ゼロックス株式会社 マルチメディア編集装置
JP6161402B2 (ja) * 2013-05-20 2017-07-12 キヤノン株式会社 編集装置及びその制御方法、プログラム、並びに記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62269567A (ja) * 1986-05-19 1987-11-24 Nippon Telegr & Teleph Corp <Ntt> デ−タ編集方式

Also Published As

Publication number Publication date
JPH0567184A (ja) 1993-03-19

Similar Documents

Publication Publication Date Title
JP4608740B2 (ja) 情報処理装置および方法、並びにプログラム格納媒体
JP3178475B2 (ja) データ処理装置
US7979801B2 (en) Media presentation driven by meta-data events
KR100489913B1 (ko) 문서표시시스템및전자사전
US20020065841A1 (en) Device for retaining important data on a preferential basis
US20030142124A1 (en) Information processing apparatus and method
JP2003259268A (ja) 動画像管理方法及び装置
KR20080086265A (ko) 디스플레이 화면의 스크롤 시스템 및 스크롤 방법, 그시스템을 포함하는 모바일 단말과 그 방법을 수행하는프로그램이 기록된 기록 매체
JPH1098684A (ja) 電子サーチ・検索に適したフォーマットでのビデオプログラム圧縮表現自動提供方法
US7617301B2 (en) Dialogue apparatus for controlling dialogues based on acquired information, judgment result, time estimation and result transmission
JP2646903B2 (ja) マルチメディアシナリオ加工方法
CN113076290A (zh) 文件删除方法、装置、设备、系统及存储介质
KR100717059B1 (ko) 홈 네트워크에서 하나의 컨텐츠를 복수의 디바이스에분할하여 저장하기 위한 방법 및 장치
JP4605415B2 (ja) 情報処理装置および方法、並びに記録媒体
JP2624170B2 (ja) 論理削除データ物理削除方式
WO2019196258A1 (zh) 一种音频播放的控制方法及终端设备
JP4251968B2 (ja) コンテンツ作成装置、コンテンツ作成プログラム、およびコンテンツ作成プログラムを記録した記録媒体
JP3507613B2 (ja) 情報処理機器及び同機器における情報出力制御方法
JPH07334406A (ja) マルチメディアデータベースシステム
WO2008002030A1 (en) Method and apparatus for controlling reproduction of a title including av data and information recording medium
JPH08161356A (ja) ノード・リンク自動生成方法
JP2002049510A (ja) ファイル管理装置およびそのプログラム記録媒体
JP3355992B2 (ja) マルチメディア情報提供装置
CN116017076A (zh) 媒体数据的播放方法、装置、存储介质及电子装置
JPH10254757A (ja) メディア別動画ファイル管理システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090509

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees