JP4547149B2 - モザイクを符号化する方法及び装置 - Google Patents

モザイクを符号化する方法及び装置 Download PDF

Info

Publication number
JP4547149B2
JP4547149B2 JP2003518187A JP2003518187A JP4547149B2 JP 4547149 B2 JP4547149 B2 JP 4547149B2 JP 2003518187 A JP2003518187 A JP 2003518187A JP 2003518187 A JP2003518187 A JP 2003518187A JP 4547149 B2 JP4547149 B2 JP 4547149B2
Authority
JP
Japan
Prior art keywords
image
sub
mosaic
images
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003518187A
Other languages
English (en)
Other versions
JP2004537930A (ja
Inventor
フランソワ,エドゥアル
トロ,ドミニク
ケルヴェラ,グウェナエル
ケルビリユ,ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2004537930A publication Critical patent/JP2004537930A/ja
Application granted granted Critical
Publication of JP4547149B2 publication Critical patent/JP4547149B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

発明の詳細な説明
[技術分野]
本発明は、画像のモザイクを符号化及び復号化するための方法及び装置に関する。
当該技術分野は、MPEGタイプ等のビデオ圧縮の分野であり、このケースでは、当該技術により、再同期手段を実現することができる。たとえば、H263又はMPEG4規格、或いは圧縮の間に生成されるバイナリ系列における様々な位置に再同期マーカを配置する可能性を提供する任意の圧縮方法を伴う。
[背景技術]
現代のMPEG−2デコーダを実現するデジタルデコーダでは、モザイクは、幾つかのページ(スクリーン)から一般に構成されている。それぞれのページは、チャネル(MPEG−2エレメンタリストリーム)に対応している。任意の瞬間で、完全な画像が復号化されて表示される。モザイクの一部のみが表示向けに有用な場合であっても、モザイクは完全に復号化されなければならず、したがって、かなりの処理時間が発生する。
[発明の開示]
本発明の目的は、上述した問題点を回避することにある。
本発明は、符号化されたデータのストリームを与えるモザイク画像(mosaic of images)を符号化する方法である。このモザイクは、サブイメージ(subimage)から構成されている。このサブイメージは、イメージエレメント(image element)から構成されている。該ストリームにおける再同期マーカは、受信レベルでデータの再同期を可能にする。本方法は、以下の点を特徴としている。サブイメージは、モザイクを与えるように符号化された画像において1つずつ下に配置される。モザイクは、該ストリームのデータを供給するように、TVタイプの走査に従って1エレメント毎に符号化され、それぞれのサブイメージの最初のエレメントが識別される。再同期マーカは、あるサブイメージに関連するデータを識別するように、該サブイメージのそれぞれ最初のエレメントの前で、該ストリームに配置される。
本方法の特定の実施の形態によれば、イメージエレメントは、マクロブロックであり、本符号化方法は、MPEG2規格を利用し、再同期マーカは、(該規格における用語に従えば)スライスのヘッダである。
本方法の特定の実施の形態によれば、イメージエレメントは、マクロブロックであり、本符号化方法は、MPEG4規格を利用し、再同期マーカは、グループ・オブ・マクロブロック(groups of macroblocks)のヘッダである。
本方法の特定の実施の形態によれば、サブイメージの符号化が動き予測に関するフレーム間予測モードにあるとき、この動き予測は、画像におけるサブイメージの位置に対応する動きベクトルをサーチするためのウィンドウを利用する。
本方法の特定の実施の形態によれば、特定の数の前のモザイク画像について、サブイメージがフレーム内予測モードで符号化されていない場合、該サブイメージは、フレーム内予測モードで強制的に符号化される。
本方法の特定の実施の形態によれば、サブイメージが異なるサイズを有し、これら画像のサーフェイス(surface)は、モザイクのサポート(mosaic support)を構成している。このモザイクサポートも符号化され、該サポートの符号化データは、ビデオセッションの開始に該ストリームで伝送される。このサポートが時間を通して変化する場合、該サポートの符号化データは、それぞれの変化に該ストリームで伝送される。
また、本発明は、再同期マーカと、サブイメージからなるモザイク画像を符号化するためのデータとを有するデータのストリームに基づいて、モザイク画像を復号化する方法に関する。本方法は、以下の点を特徴としている。再同期マーカに基づくこれらのデータのフィルタリングと、復号化処理とが実行され、モザイクに関連するデータの中から、選択されたサブイメージに関連するデータのみが該ストリームから抽出されて復号化される。
本方法の特定の実施の形態によれば、復号化されたサブイメージは記憶され、サブイメージがフレーム間予測で符号化されている場合、前のモザイクの対応する記憶されているサブイメージは、復号化のために利用される。
本方法の特定の実施の形態によれば、サブイメージが復号化されない場合、前のモザイクの対応するサブイメージが考慮される。
また、本発明は、再同期マーカと、サブイメージからなるモザイク画像を符号化するためのデータとを有するデータのストリームに基づいて、モザイク画像を復号化するデコーダに関する。本デコーダは、同期マーカに基づいてフィルタリングする回路と、モザイクに関連するデータの中から、選択されたサブイメージに関連するデータのみを該ストリームから抽出して復号化する復号化回路とを備えることを特徴としている。
また、本発明は、最終画像を表示するために、サブイメージと再同期マーカとからなるモザイク画像を符号化するためのデータを伝送するビデオデータストリームの読取り装置に関する。本読取り装置は、該ストリームを復号化するデコーダと、該デコーダを管理するための処理回路とを備えており、以下の点を特徴としている。処理回路は、最終画像を表示するために有用な選択されたサブイメージに関する情報をデコーダに送出する。デコーダは、同期マーカに基づいてフィルタリングする回路と、モザイクに関連するデータの中から、該選択されたサブイメージに関連するデータのみを該ストリームから抽出して復号化する復号化回路とを備えている。
本発明の概念は、該ストリームにおいて、モザイクイメージを構成する画像の様々な部分すなわちサブイメージに属するデータを定義するように、伝送エラー又は伝送ロスに応じて受信されたデータストリームとの再同期を可能にするために、規格において一般に設けられている再同期マーカを利用することである。再同期マーカの技術が利用され、モザイクのそれぞれのサブイメージの開始がタグ付けされ、任意の瞬間で、表示すべきモザイクの一部のみが復号化される。
本復号化方法は、計算速度の観点で改善され、モザイク画像のビデオ復号化が加速される。狙いは、読取り装置の中央処理装置(CPU)のリソースを最大限に保持することであり、該読取り装置は、モザイクのビデオ復号化のタスク以外のタスクを実行することができる。本明細書で使用される用語「読取り装置」は、オーディオデコーダ、グラフィックス処理回路、表示回路のような他のハードウェアを含めて、ビデオデコーダ及び該デコーダを制御するシステムレイヤの全体をも備えているシステム全体を示している。
MPEG4対応の読取り装置のケースでは、グラフィックスアプリケーションの管理及びシステムレイヤ専用の占有領域は絶対必要である。MPEG4データを復号化するための手段がプラットフォームに益々装備され、電子番組ガイドすなわちEPGタイプの対話型アプリケーション向けに益々論理的になると、対話性のレベルでの情報の豊かさを益々増加することができる。したがって、ビデオ復号化をできるだけ高速にすること、及びこのタイプの応用におけるデータ処理をシンプルにすることは有益である。
この選択的な復号化は、デコーダレベルでの独占的な方法に基づいて、及びビデオデコーダを制御する「システム」レイヤから生じる情報に基づいて実現される。この改善された点を有しない「標準的な」デコーダは、それにもかかわらず、提案される方法の効果による利益を受けないが、実現された技術となお互換性を有する。
本発明の他の機能及び効果は、添付図面を参照しつつ、限定するものではない例を介して、以下に与えられる発明の実施の形態を通して明らかになるであろう。
[発明の実施の形態]
提案される方法は、ビデオ符号化/復号化の回路の3つのハードウェアである、ビデオエンコーダ、ビデオデコーダを含む読取り装置のシステムレイヤ、ビデオデコーダにおいて介入する。本方法は、符号化の間に、たとえばビデオMPEG4規格(ISO/IEC JTC 1/SC 29/WG 11 N 2502 annex E, パラグラフE.1.1, 頁307−308を参照されたい)に記載されるビデオパケットの技術を利用する。本方法は、それぞれの画像において、それぞれのビデオパケットの境界を定める再同期マーカを配置することにある。これらのパケットは、「再同期」と題された上記文献のパラグラフE.1.1に記載されているように、1つずつ独立して符号化される。
図1では、参照符号1,2,3が付され、瞬間t,t+1,t+2で符号化される3つの「モザイク」画像の連続が表わされている。この例では、モザイク画像は、サブイメージすなわち同じサイズの“imagettes”から構成され、したがって、対応するビデオは、同じサイズのサブイメージの重ね合わせから構成されている。このように、モザイク画像1は、N個のサブイメージ、すなわち参照符号1〜1が付される“imagettes”から構成されている。
図2には、これらの画像のバイナリ符号のストリームが示されている。このバイナリ符号のストリームは、全体のモザイクに対応する、(MPEG規格における用語を使用して)エレメンタリストリームの2進系列である。このモザイク画像の関連するビデオデータは、イメージヘッダにより先行される。このビデオデータは、それぞれのサブイメージに関連する符号化データから構成されている。本発明によれば、これらのデータは、再同期マーカにより、それぞれのサブイメージについて分離されている。符号化の間、エンコーダは、ビデオパケットの境界を定める再同期マーカを2進系列に配置する。これらのビデオパケットは、1つずつ個別に符号化されており、したがって、ビデオパケットは、2つのマーカの間のデータに対応している。次いで、それぞれのサブイメージは、ビデオパケットとして処理され、したがって、再同期マーカは、それぞれのサブイメージの開始に設けられている。すなわち、再同期マーカは、データストリームにおいて、サブイメージに対応するビデオデータに先行する。マクロブロックの符号化のケースでは、このマーカは、データストリームにおいて、それぞれのサブイメージの最初のマクロブロックの前に配置される。
ビデオエンコーダは、全てのビデオサブイメージを符号化する。モザイクの符号化のために、次々とサブイメージを配置することで、それらの符号化は、ビデオ符号化レイヤにより、従来のテレビジョンのタイプの走査モードを考慮したとき、連続的なやり方で次々と作用される。したがって、あるサブイメージから次のサブイメージに同期マーカをインクリメントすることで、復号化のとき、所望のサブイメージをタグ付けして、関連するマーカのインデックス番号に基づいて直接的にアクセスすることができる。所望のサブイメージを示すシステムレイヤから生じる情報に基づいて、すなわち、表示すべき最終画像の生成にとって必要な情報に基づいて、デコーダは、この最終画像に有用なこれらサブイメージだけの符号化を開始することができる。
サブイメージの符号化は、フレーム間予測(inter)、片方向フレーム間予測(predictive)又は両方向間フレーム間予測(bidirectional)タイプの符号化のための動き予測を利用することができる。サブイメージが互いに独立に復号化可能であるために、フレーム間予測タイプのサブイメージを符号化するとき、動き予測ゾーンにとって、関心のあるサブイメージの位置及びサイズに対応する予測ゾーンに制限されることが必要である。したがって、動き予測器の動きベクトルは、関連するブロックに対応するサブイメージ以外のサブイメージを示すことは許されない。この制限は、垂直軸に関してのみ適用することができ、規格によって、動きベクトルは水平軸について画像以外を示すことが許される。
デコーダがランダムなやり方でモザイクのサブイメージにアクセスすることを可能にするために、たとえば、ユーザの操作に続いて、サブイメージはフレーム内予測(intra)モードで規則的に符号化されなければならない。
幾つかの解決策が可能である。
エンコーダは、比較的に高い周波数、従来通りでは0.5秒毎で、フレーム内予測モードで完全なモザイクを符号化する。
符号化のシンタックスがそのように許可する場合、フレーム内予測モードでの符号化は画像全体に実行されず、該画像の一部についてのみ実行される。したがって、エンコーダは、循環するやり方で、このフレーム内予測モードを1サブイメージ毎に使用する。所与の瞬間で、最初のサブイメージのみが強制的にフレーム内予測モードとなる。他のサブイメージは、片方向フレーム間予測モード、したがって時間の予測に関して符号化される。
次の瞬間で、後続するサブイメージは、モザイクの最後のサブイメージに到達するまで、フレーム内予測モードで符号化されたサブイメージ等である。次いで、本方法は、最初のサブイメージについて再び始動される。これにより、ビットレートの観点で、フレーム内予測符号化されたサブイメージの時刻費用の低下が可能となり、完全な画像の符号化がフレーム内予測モードで実行された場合に生じる場合があるビットレートのスパイクを回避することができる。
この第二の解決策と非常に似た実現は、たとえば、リフレッシュ期間Rfに等しい値にそれぞれのフレーム内予測符号化で再初期化されるイントラ・リフレッシュ・カウンタをサブイメージのそれぞれに与えることにある。このカウンタは、問題とするサブイメージのフレーム間予測符号化のそれぞれでデクリメントされる。モザイクシーケンスの符号化の開始で、最初のモザイク画像がフレーム内予測モードで一旦符号化されると、該サブイメージに関連するカウンタは、0とRfとの間にランダムに初期化される。該サブイメージのフレーム内予測符号化は、カウンタがRfに戻るたびにトリガされる。さらに、サブイメージに関連するシーン変化の間、このサブイメージに関連するリフレッシュカウンタは、このサブイメージのフレーム内予測モードでの符号化が可能となるように、Rfに再び初期化される。
読取り装置のシステムレイヤは、独占的な解法を実現する。これにより、適切なインタフェースから、モザイクのどのサブイメージを復号化すべきかをビデオデコーダに示すことが可能となる。システムレイヤは、たとえば、復号化すべきサブイメージのインデックス番号の順番付きリストを送出する。これらのサブイメージは、復号化後に表示されなければならない正確なサブイメージである。「標準的な」デコーダが利用されるとき、この情報は利用されず、そのとき、モザイク全体が復号化される。
ビデオデコーダは、復号化すべきサブイメージのインデックス番号のリストと共に、符号化されたモザイクに対応する2進ストリームを受信する。ビデオデコーダは、以下の情報を管理する。現在の画像の符号化のモード(フレーム内予測又は片方向フレーム間予測)、imagetteが前の瞬間で復号化されているかを合図するそれぞれのimagetteに割当てられた指標(subimage_decoded(k))。
この指標“subimage_decoded(k)”は、kが1からNまで変化し、サブイメージ(k)に関連する指標であり、Nはモザイクを構成するサブイメージの数であり、このサブイメージkが前の瞬間で完全に復号化され、したがって再構成されたかを確認することができる。かかる場合は、このサブイメージkがフレーム内予測モードで符号化されている場合、又は片方向フレーム間予測モード(フレーム間予測モード)で符号化されている場合であり、したがって、動きベクトルが属する対応する前のサブイメージが復号化された場合であって、この現在のサブイメージkの復号化が可能となる。
図3には、読取り装置の処理アルゴリズムが示されている。この処理アルゴリズムにより、システムレイヤで計算される、復号化すべきサブイメージに関するリストが利用される。
第一のステップ4では、リストの全てのサブイメージが処理されているかがチェックされる。
処理されている場合、すなわち、リストの終了にある場合、次の処理はステップ5である。最終画像の表示のために必要な全てのサブイメージが処理されており、復号化処理が終了されており、復号化されたモザイクは、システムレイヤに戻される。このシステムレイヤは、最終画像の表示を実行するように、該復号化されたモザイクを処理する。
処理されていない場合、次のステップ6では、処理すべきインデックス番号kである次のサブイメージを回復する。これは、反復処理の開始にある場合には、最初のサブイメージとなる。次のステップ7では、データストリームにおいて再同期マーカkがサーチされる。ステップ8では、再同期マーカが発見されたかがチェックされる。
発見されなかった場合、たとえば、データ伝送においてエラーがあった場合、ステップ4に戻り、次のサブイメージが処理される。現在のサブイメージkに関連する指標は、該サブイメージを復号化できないことを合図するやり方で位置される。
発見された場合、次の処理はステップ9であり、モザイクがフレーム内予測モードで完全に符号化されているか、又は、前のモザイク画像のサブイメージkが実際に復号化されているかがチェックされる。このチェックは、サブイメージに割当てられた指標“subimage_decoded(k)”のポジショニングに基づいて行うことができる。
該チェックで肯定の場合、サブイメージの復号化が可能であり、次いで、ステップ10では、このサブイメージkに関連するデータが復号化される。
該チェックで否定の場合、アルゴリズムは、サブイメージkのマクロブロックの符号化がフレーム内予測モードで実行されているかをチェックする。しかし、全体の画像の符号化モードはフレーム間予測モードである。
このように、ステップ12では、サブイメージの全てのマクロブロックが調査されているかがチェックされる。
全てのマクロブロックがチェックされていない場合、ステップ14では、次のマクロブロックについて、フレーム内予測モードで符号化されているかがチェックされる。
フレーム内予測モードで符号化されていない場合、サブイメージkは、フレーム内予測モードで復号化されておらず、ステップ15では、対応するimagetteが復号化されていないことを合図するように指標を位置付ける。次の処理はステップ4であり、次のサブイメージを処理する。
フレーム内予測モードで符号化されている場合、次のステップ13では、このマクロブロックに関連するデータの復号化が実行され、次いで、ステップ12では、このマクロブロックがこのサブイメージkの符号化すべき最後のマクロブロックであるかがチェックされる。
最後のマクロブロックである場合、すなわち、サブイメージkのマクロブロックに関連する全てのデータを復号化することができた場合、ステップ11が実現される。
サブイメージの全てのマクロブロックに関連するデータが復号化されているとき、これがステップ13及びステップ12の完了に関するものであろうと、或いはステップ10の完了に関するものであろうと、サブイメージは、指標“subimage_decoded(k)”が更新される次のステップ11の間に再構成される。これは、データの符号化がフレーム内予測モードである場合に、瞬間tでこのサブイメージに関連するストリームのデータに基づいているか、或いは、データの符号化がフレーム間予測モードである場合に、前のモザイクの対応する復号化されたサブイメージの記憶されたデータに基づいた、いずれかの再構成を含んでいる。従来のやり方で、逆コサイン変換、動き補償、フレーム間予測モードにおける誤差の追加等の演算を実行することにより、復号化されたデータに基づいてimagetteが構成される。
新たな反復処理の間に、ステップ4で新たなサブイメージに進む。
したがって、このアルゴリズムにより、フレーム内予測モードで符号化されているか、片方向フレーム間予測モードで符号化されているかの条件に基づいて、そのインデックス番号が復号化すべきimagetteのリストに示されるimagetteのみを構成することができ、対応する前のimagetteは、それ自身構築されている。この片方向フレーム間予測モードにおいて、前のモザイクの対応するimagetteが再構成されていない場合、該imagetteを構成できるために、フレーム内予測モードで符号化される後続するimagetteを待つことが必要である。したがって、符号化の間、フレーム内予測モードでimagetteを規則的に符号化することが極めて重要である。ステップ12,14,13により、全体の画像が片方向フレーム間予測モードで符号化されるとき、フレーム内予測モードでのサブイメージの符号化をチェックすることが可能である。この復号化方法から外れて、必要なimagetteの関数として部分的に満たされているモザイクを取得する。
あるサブイメージを構築することができないとき(ステップ15)、1つの解決法は、前のモザイクの対応するサブイメージを利用することにある。
本発明の改良点は、異なるサイズのimagetteを伝送することにある。次いで、本方法は、エンコーダのレベルで、モザイク画像に加えて、モザイクのサポートの形状を符号化することにある。
図4は、参照符号16が付されるモザイクの形状を表しており、全てのimagetteが同じ形状を有していない。このケースでは、図において参照符号17が付されるモザイクのサポートの符号化が実行される。この符号化は、ビデオセッションのまさに開始でのみ必要である。しかし、様々なimagetteの配置に関する時間を通した変更が可能である。次いで、このサポートを更新することが必要である。新たなサポートは、サポートの変化を生じるimagetteの配置のそれぞれの変化で、フレーム内予測モード又はフレーム間予測モードで伝送される。
処理の実現は、サブイメージのマクロブロックの符号化を利用する。これは、典型的な実施の形態であり、マクロブロックは、本発明の分野から逸脱することなしに、イメージエレメントで置き換えることができる。
説明された方法は、任意の形状のビデオオブジェクトに拡張することができ、そのとき、サポートは、それぞれの瞬間で符号化されなければならない。1つの応用は、imagetteが各種漫画のようなキャラクターに対応しているビデオゲームである。
なお、符号化のレベルで、それぞれのサブイメージの開始で再同期マーカを追加することは、僅かに2進ストリームの妨げとなる。この増大は制限され、伝送エラーのマスキングを容易にする再同期ツールを更に作り出す。
同期マーカに基づいたサブイメージの選択は、マーカ及びサブイメージにインデックス番号を割当てることにより行うことができる。このとき、あるマーカのインデックス番号は、特定のサブイメージに対応する。また、同期マーカに基づいたサブイメージの選択は、サブイメージの連続的な符号化を考慮することで行うことができる。このとき、あるモザイク画像に関連するデータのn番目の同期マーカは、該モザイクのn番目に符号化されたサブイメージに対応する。
応用は、特に、ビデオモザイクシステムを利用した対話型サービスに関する。この応用は、たとえば、ユーザが番組のモザイクの様々なページを調べる可能性を有する電子番組ガイドの参照を伴う。
符号化されるモザイクのフォーマットを例示する図である。 エンコーダにより生成されるバイナリ系列を例示する図である。 デコーダの処理アルゴリズムを例示する図である。 可変長サイズのモザイクのフォーマットを例示する図である。

Claims (7)

  1. 再同期マーカと、複数のサブイメージからなる画像のモザイクとを有するデータのストリームに基づいて、MPEG規格に従って符号化された画像のモザイクを復号化する方法であって、
    前記サブイメージのそれぞれは、任意の数の走査線を構成する複数のイメージエレメントからなり、前記複数のサブイメージは、少なくとも選択されたサブイメージを表示するため、前記データストリームを与えるために前記イメージエレメントのTV走査の符号化順序に対応して連続的に符号化されており
    前記再同期マーカは、番号に対応し、サブイメージのそれぞれ最初のイメージエレメントの前に配置されており
    前記再同期マーカに基づくこれらのデータのフィルタリングと復号化処理が実行され、前記モザイクに関連するデータのなかから、選択されたサブイメージに関連するデータのみが前記ストリームから抽出されて復号化される、
    ことを特徴とする復号化方法。
  2. 前記フィルタリングは、前記再同期マーカに属する番号又は画像のモザイク内の再同期マーカの順次的なカウント値に従って行なわれる、
    請求項1記載の復号化方法。
  3. 前記復号化されたサブイメージは記憶され、サブイメージは、フレーム間予測モードで符号化される、
    請求項1記載の復号化方法。
  4. 選択されたサブイメージを復号化することができない場合、前のモザイクの対応するサブイメージからのデータが前記選択されたサブイメージを表示するために考慮される、
    請求項1記載の復号化方法。
  5. 前記イメージエレメントはマクロブロックであり、前記符号化はMPEG2規格を利用し、前記再同期マーカはスライスのヘッダである、
    請求項1記載の復号化方法。
  6. 前記イメージエレメントはマクロブロックであり、前記符号化はMPEG4規格を利用し、前記再同期マーカはグループ・オブ・マクロブロックのヘッダである、
    請求項1記載の復号化方法。
  7. 再同期マーカと、複数のサブイメージからなる画像のモザイクとを有するデータのストリームに基づいて、MPEG規格に従って符号化された画像のモザイクを復号化するデコーダであって、
    前記サブイメージのそれぞれは、任意の数の走査線を構成する複数のイメージエレメントからなり、前記複数のサブイメージは、少なくとも選択されたサブイメージを表示するため、前記データストリームを与えるために前記イメージエレメントのTV走査の符号化順序に対応して連続的に符号化されており
    前記再同期マーカは、番号に対応し、サブイメージのそれぞれ最初のイメージエレメントの前に配置されており
    前記再同期マーカに基づくフィルタリングを実行し、前記モザイクに関連するデータのなかから、選択されたサブイメージに関連するデータのみを前記ストリームから抽出する回路と、
    抽出されたデータを復号化する復号化回路と、
    を備えることを特徴とするデコーダ。
JP2003518187A 2001-07-27 2002-07-24 モザイクを符号化する方法及び装置 Expired - Fee Related JP4547149B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0110087A FR2828055B1 (fr) 2001-07-27 2001-07-27 Procede et dispositif de codage d'une mosaique d'images
PCT/FR2002/002639 WO2003013145A1 (fr) 2001-07-27 2002-07-24 Procede et dispositif de codage d'une mosaïque d'images

Publications (2)

Publication Number Publication Date
JP2004537930A JP2004537930A (ja) 2004-12-16
JP4547149B2 true JP4547149B2 (ja) 2010-09-22

Family

ID=8866007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003518187A Expired - Fee Related JP4547149B2 (ja) 2001-07-27 2002-07-24 モザイクを符号化する方法及び装置

Country Status (5)

Country Link
US (1) US8160159B2 (ja)
EP (1) EP1413145A1 (ja)
JP (1) JP4547149B2 (ja)
FR (1) FR2828055B1 (ja)
WO (1) WO2003013145A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437405B1 (en) * 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
TW200704183A (en) 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
WO2006116659A2 (en) * 2005-04-28 2006-11-02 Apple Computer, Inc. Video processing in a multi-participant video conference
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US8875196B2 (en) 2005-08-13 2014-10-28 Webtuner Corp. System for network and local content access
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US20080049830A1 (en) * 2006-08-25 2008-02-28 Drivecam, Inc. Multiple Image Source Processing Apparatus and Method
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
US8698959B2 (en) * 2009-06-03 2014-04-15 Thomson Licensing Method and apparatus for constructing composite video images
EP2506263A1 (en) 2011-03-31 2012-10-03 Thomson Licensing Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects
KR20140033412A (ko) 2011-05-17 2014-03-18 웹튜너 코포레이션 스케일링가능 고정밀 센서 및 id 기초 청중 측정 시스템용 시스템 및 방법
CN103649906A (zh) 2011-05-24 2014-03-19 韦伯图纳公司 提高观众测量系统中的分析报告产生的效率和速度的系统和方法
AU2012258513A1 (en) 2011-05-26 2013-12-12 WebTuner, Corporation Highly scalable audience measurement system with client event pre-processing
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
JP5997988B2 (ja) * 2012-09-13 2016-09-28 株式会社日立製作所 画像伝送システムおよび画像伝送方法
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US9293119B2 (en) 2014-01-06 2016-03-22 Nvidia Corporation Method and apparatus for optimizing display updates on an interactive display device
US9383851B2 (en) 2014-01-06 2016-07-05 Nvidia Corporation Method and apparatus for buffering sensor input in a low power system state
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US9247283B1 (en) * 2014-10-27 2016-01-26 Cisco Technology, Inc. Mosaic presentation screen production
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9804826B2 (en) 2014-12-05 2017-10-31 Nvidia Corporation Parallelization of random number generators
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
CN118317156A (zh) * 2024-04-18 2024-07-09 北京美摄网络科技有限公司 一种图像处理方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02163881A (ja) * 1988-12-16 1990-06-25 Canon Inc 画像処理装置
JP3070110B2 (ja) * 1991-02-27 2000-07-24 日本電気株式会社 動画像信号の伝送システム
KR0166725B1 (ko) * 1993-06-30 1999-03-20 김광호 강제인트라-프레임부호화방법
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH08316844A (ja) * 1995-05-17 1996-11-29 Hitachi Ltd 符号データ復号方法および符号データ復号装置
JP2962348B2 (ja) * 1996-02-08 1999-10-12 日本電気株式会社 画像符号変換方式
AU2102297A (en) * 1996-03-28 1997-10-17 British Telecommunications Public Limited Company Video processing
JPH1040357A (ja) * 1996-07-24 1998-02-13 Nippon Telegr & Teleph Corp <Ntt> 映像作成方法
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
EP1042736B1 (en) * 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Sprite-based video coding system
JPH10210465A (ja) * 1997-01-23 1998-08-07 Hitachi Ltd 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment
JP4149593B2 (ja) * 1997-12-24 2008-09-10 株式会社リコー デジタルカメラおよび画像表示方法
JP3223163B2 (ja) * 1998-04-27 2001-10-29 松下電送システム株式会社 通信装置
FR2786353B1 (fr) * 1998-11-25 2001-02-09 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
AU2638900A (en) * 1998-12-24 2000-07-31 Barend Hendrik COETZER Method of and device for video image capturing, storage and processing
JP3487779B2 (ja) * 1999-02-15 2004-01-19 日本電気株式会社 コンテンツの編集方法、編集装置
JP4629173B2 (ja) * 1999-09-17 2011-02-09 ソニー株式会社 記録装置および記録方法、並びに記録媒体
JP4298088B2 (ja) * 1999-10-12 2009-07-15 キヤノン株式会社 撮像装置及びその制御方法
JP2001157147A (ja) * 1999-11-29 2001-06-08 Sanyo Electric Co Ltd 動画サムネイル表示機能を有するデジタル記録再生装置および動画サムネイル表示方法
JP2001177804A (ja) * 1999-12-20 2001-06-29 Toshiba Corp 画像記録再生装置
JP3956081B2 (ja) * 1999-12-27 2007-08-08 株式会社ハイニックスセミコンダクター グレー形状情報を含むデジタル動映像の符号化方法

Also Published As

Publication number Publication date
FR2828055B1 (fr) 2003-11-28
WO2003013145A1 (fr) 2003-02-13
US8160159B2 (en) 2012-04-17
EP1413145A1 (fr) 2004-04-28
FR2828055A1 (fr) 2003-01-31
JP2004537930A (ja) 2004-12-16
US20040184548A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
JP4547149B2 (ja) モザイクを符号化する方法及び装置
KR0167798B1 (ko) 주화상에 부화상을 중첩하기 위한 다중화/디멀티플렉싱하는 방법
US6081551A (en) Image coding and decoding apparatus and methods thereof
CN101341757B (zh) 本地宏块信息缓冲器
CN105791882A (zh) 视频编码方法及装置
US9699477B2 (en) Manipulating sub-pictures of a compressed video signal
JP2007525906A (ja) 立体3dビデオイメージディジタルコーディングのシステムおよび方法
WO2000018136A1 (en) Region-based refresh strategy for video compression
CN102598673A (zh) 用于帧连续立体视频编码的动态参考帧重排序
KR100818148B1 (ko) Mpeg 및 다른 데이터 포맷에 적합한 순차적인 비디오시퀀스를 송신하기 위한 장치 및 방법
JPH09200695A (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP2006527518A (ja) ビデオ圧縮
JP2003289541A (ja) Mpeg−4映像の復号方法及び復号装置
US6049567A (en) Mode coding method in a binary shape encoding
JP2820630B2 (ja) 画像復号装置
JP3852838B2 (ja) 動画像送受信システム、動画像送信装置、及び動画像受信装置
JP4043406B2 (ja) 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置
JP3956081B2 (ja) グレー形状情報を含むデジタル動映像の符号化方法
JP2003018595A (ja) 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法
JP2003179826A (ja) 画像再生表示装置
JP3380841B2 (ja) 誤り訂正方式、及び該誤り訂正方式を用いた復号装置
KR100535630B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
JP2002374537A (ja) デコード装置及び方法
KR100620715B1 (ko) 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100543607B1 (ko) 동영상 디코딩 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080815

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4547149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees