JP4373606B2 - 符号化システムを改善するために付随情報を使用する装置及び方法 - Google Patents

符号化システムを改善するために付随情報を使用する装置及び方法 Download PDF

Info

Publication number
JP4373606B2
JP4373606B2 JP2000529077A JP2000529077A JP4373606B2 JP 4373606 B2 JP4373606 B2 JP 4373606B2 JP 2000529077 A JP2000529077 A JP 2000529077A JP 2000529077 A JP2000529077 A JP 2000529077A JP 4373606 B2 JP4373606 B2 JP 4373606B2
Authority
JP
Japan
Prior art keywords
accompanying information
encoder
image sequence
frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000529077A
Other languages
English (en)
Other versions
JP2002502158A (ja
Inventor
チャールズ， ビー． ディエトリッチ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Right Chance inc
Original Assignee
Right Chance inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Right Chance inc filed Critical Right Chance inc
Publication of JP2002502158A publication Critical patent/JP2002502158A/ja
Application granted granted Critical
Publication of JP4373606B2 publication Critical patent/JP4373606B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【０００１】
本出願は、１９９８年１月２１日に出願された米国仮出願第６０／０７２，０８０号の利益を主張する。この出願は本明細書に援用されている。
【０００２】
本発明は、ビデオのエンコーディングを最適化する装置及び付随した方法に関する。更に具体的には、本発明は、「付随情報」を抽出するために、到着する画像シーケンス、又は前もって記録された画像シーケンスに前処理を実行する方法及び装置に関する。次に、この「付随情報」は、到着する画像シーケンス又は前もって記録された画像シーケンスの後続の符号化を改善するために使用される。
【０００３】
（本発明の背景）
デジタル・ビデオ／オーディオ情報に対する増大する需要は、膨大な量の情報を伝送及び／又は記憶するという絶えず増大する問題を提起する。伝送バンド幅は制限されているので、入力データを、エンコードされたビットストリームへ巧妙に圧縮するため、しばしばコーデック（符号化器／復号器）が使用され、それによって伝送される情報の全体的量が増大する。
【０００４】
例えば、動画エキスパート・グループ(Moving Picture Experts Group(MPEG))は、様々な符号化／復号戦略に対して標準を確立するために、ＩＳＯ／ＩＥＣ国際標準１１１７２及び１３８１８（一般的に、それぞれＭＰＥＧ１及びＭＰＥＧ２フォーマットと呼ばれる）を作成した。これらのＭＰＥＧ標準は、ＭＰＥＧ準拠ビットストリームを発生する一般的な符号化方法及びシンタックスを指定しているが、デスクトップ・ビデオ・パブリッシング、ビデオ会議、デジタル記憶媒体、及びテレビジョン放送のような多くの異なったアプリケーション及びサービスに順応するために、多くのバリエーションが許されている。
【０００５】
そのようなものとして、異なったアプリケーションの必要性に対処するために、多様で新規なＭＰＥＧコーデックの発明が開発されている。これらの発明は、概して、符号化モードの決定、レート制御、動き推定／補償、フレーム・タイプの選択など、異なった符号化パラメータを取り扱っている。これらの発明は、画像シーケンスに関する様々な情報、例えば動き情報、シーン・チェンジなどを推理するために、非常に強力な符号化方法を、画像シーケンスの内容を分析する能力に合体させることができる。従って、結果のコーデックは、しばしば複雑であり、実現する上で計算的に高価である。
【０００６】
ビデオ・オン・デマンド・アプリケーションを実現する場合、ビデオ・ソース、例えば映画は、異なった視聴者へ反復して伝送されてよい。映画の各伝送は、既定の伝送バンド幅を有する通信チャネルを介して映画を効率的に伝送するために、それを圧縮するエンコーダの使用を度々必要とする。伝送バンド幅及び他の伝送パラメータは、リアルタイム、例えば高視聴時間帯と低視聴時間帯で変化するかも知れず、エンコーダは、同じ映画を各伝送で異なるように、即ち、現在の伝送パラメータに順応するために様々な符号化パラメータを調節して、エンコードする必要があるかも知れない。
【０００７】
残念ながら、幾つかのエンコーダは、変化する伝送パラメータ、又は普通でないビデオ内容、例えばシーン・チェンジ又は一連の非常に複雑なフレームを考慮して符号化パラメータを適切に調節できないかも知れない。更に、同じ画像シーケンス、例えば映画を反復して符号化するために使用されるエンコーダの計算サイクルを縮小することが望まれるであろう。
【０００８】
従って、もし画像シーケンスに関する情報（「付随情報」）、例えばシーン・カットの位置、特定フレームの複雑性、フレームの動き情報などを、前もって推理することができれば、そのような付随情報をエンコーダで利用可能にして、特定の伝送又は記憶環境へ最良に対処する符号化パラメータのセットをエンコーダが調節するように援助することができる。
【０００９】
従って、画像シーケンスの符号化を最適にするよう援助するため、画像シーケンスと共に挿入することができるか、エンコーダへ直接送ることのできる「付随情報」を提供する装置及び方法に対する必要性が、当技術分野に存在する。
【００１０】
（本発明の要約）
本発明の実施形態は、画像シーケンスに関する付随情報を抽出するため、画像シーケンスを前処理する方法及び装置である。１つの実施形態では、付随情報が画像シーケンスへ挿入され、後の時点でエンコードされるとき、エンコーダは付随情報を利用して１つ又は複数の符号化パラメータを最良に選択することができる。
【００１１】
代替的に、付随情報は、画像シーケンスへ挿入される代わりに、記憶装置へ記憶することができる。記憶された付随情報は、画像シーケンスのエンコードを仕事とするエンコーダで利用可能とされる。
【００１２】
画像シーケンスに関する先行情報を利用できることによって、エンコーダは、特定の符号化環境及び画像シーケンスの内容を考慮して、１つ又は複数の符号化パラメータを最良に選択することができる。更に、画像シーケンスのエンコーディングが現在必要ではない間に、付随情報を「オフライン」で抽出することによって、計算サイクルの増加が重大問題とならない最前線で、より強力な前処理セクションを実現することができる。これによって、計算サイクルの減少が、例えば高デマンドの時間帯で有利となる後の時点で、付随情報を使用して画像シーケンスを迅速に符号化するために、複雑度がより少ないエンコーダを実現することができる。
【００１３】
（詳細な説明）
本発明の教示は添付の図と合わせて下記の詳細な説明を考察することで理解される。
【００１４】
図１は、画像シーケンスに関する付随情報を抽出するために画像又はビデオ・シーケンスを前処理する本発明の装置１００のブロック図を示す。本発明は、以下でＭＰＥＧ準拠エンコーダを参照して説明されるが、本発明は他の符号化／復号標準、例えばＨ．２６２、Ｈ．２６１、又はＭＰＥＧ−４に準拠した他のエンコーダへ適合させることができることを、当業者は十分に理解するであろう。
【００１５】
本発明の好ましい実施形態において、装置１００は符号化システムである。装置１００は、前処理セクション（付随情報抽出セクション）１１０、オプションの付随情報挿入セクション１２０、及びエンコーディング・セクション１３０を含む。
【００１６】
前処理セクション１１０は、画像シーケンスから「付随情報」を抽出する仕事を課せられている。前処理セクション１１０は、オプションの画像ソース１４０、付随情報抽出器１５０、及び遅延１７０を使用する。
【００１７】
１つの実施形態において、経路１４５上の画像シーケンスは、画像ソース１４０から発生してよい。画像ソース１４０は、１つ又は複数の画像又はビデオ・サーバとして実現することができる。各サーバは、複数の記憶された画像又はビデオ・シーケンス、例えば映画、様々なテレビジョン番組、スポーツ番組、音楽ビデオ、及びコマーシャルを有する。画像サーバは、１つ又は複数の記憶装置を使用して実現することができるが、ディスク・ドライブ、テープ・ドライブ、光学ドライブなどに限定されない。
【００１８】
代替的に、「ライブ番組」からの画像シーケンスを、前処理セクション１１０によって経路１０５上で受け取ることができる。「ライブ番組」からの画像シーケンスは、画像ソース１４０内に記憶するか、遅延セクション１７０を介して付随情報挿入セクション１２０へ直接渡すことができる。遅延１７０は、画像シーケンスの一部分を保持又は遅延させる働きをし、従って、付随情報抽出器１５０は、遅延されている経路１７５上の画像シーケンス部分のために、付随情報を推理する十分な時間を有するようになる。そのようなものとして、遅延セクション１７０は、一時記憶装置、例えば、画像シーケンスの一部分を保持する十分なサイズの先入れ先出し（ＦＩＦＯ）バッファを使用して実現することができる。バッファのサイズは、特定のアプリケーションの必要性によって規定される。注意すべきは、この遅延された様式で推理された付随情報は、時間的に制限されることである。即ち、例えば、ライブ演奏の抽出された付随情報は、比較的少数のフレームに基づいているが、記憶された映画の付随情報は、映画の全体にアクセスして抽出することができる。
【００１９】
付随情報抽出器１５０は、経路１４５上で画像シーケンスを受け取り、経路１５５上で付随情報を発生する。好ましい実施形態において、付随情報抽出器１５０は、図９に示されるように１つ又は複数のエンコーダ９１０a〜nとして実現される。
【００２０】
図９は、本発明の付随情報抽出器の１つの実施形態のブロック図を示す。更に具体的には、経路１４５上の画像シーケンスは、一連のエンコーダ９１０a〜nによって受け取られ、そこで各エンコーダは異なった符号化パラメータ値を画像シーケンスへ適用してよい。例えば、エンコーダ９１０aは１５の量子化スケールを適用し、エンコーダ９１０bは１０の量子化スケールを適用してよい。以下同様である。次に、これらエンコーダからのエンコードされたビットストリームは、付随情報評価器９２０によって評価される。付随情報評価器９２０は、異なった結果を比較し、次にオプションとして、エンコーダ１８０による後続のエンコーディングのために特定の符号化パラメータに関して勧告を導き出す。
【００２１】
注意すべきは、付随情報の内容のフォーマット及び複雑度は、エンコーダ１８０の実施形態によって規定されることである。即ち、もしエンコーダ１８０が先進エンコーダであれば、付随情報は単にエンコーダ９１０a〜nからの「生データ」、例えば、１０に対して１５の量子化スケールを使用することから生じる実際のディストーションであってよい。代替的に、もしエンコーダ１８０が先進性の少ないエンコーダであれば、付随情報は、例えば、エンコーダがこの現在のフレームのために量子化スケール１０を使用すべきであるとする勧告の形式を取ってよい。
【００２２】
注意すべきは、異なった符号化パラメータのために、複数のエンコーダ９１０を使用する必要はないことである。即ち、画像シーケンスを１回エンコードしたことによって、付随情報を抽出することが可能である。例えば、画像シーケンスを１回エンコードしたことによって、シーン・カットを検出することが可能である。更に、同じフレームのために、符号化パラメータ値を単に変更することによって、例えば、１５の量子化値を使用してフレームを符号化し、次に同じフレームに１０の量子化スケールを使用する符号化ステップを反復することによって、１つのエンコーダ９１０を使用することが可能である。
【００２３】
図１に戻って、付随情報挿入セクション１２０は、付随情報挿入器１６０を含む。付随情報挿入器１６０は、画像ソース１４０からの経路１４５の上で画像又はビデオ・シーケンスを受け取る。更に、付随情報挿入器１６０は、付随情報抽出器１５０から付随情報を受け取る。この付随情報は、次に画像シーケンスへ挿入され、付随情報付きの画像シーケンスを経路１６５上に発生する。
【００２４】
抽出された付随情報は、例えば、字幕の場合の、例えばＶＢＩ（垂直帰線消去期間）内の情報として、又はＮＴＳＣ信号の水平期間内の情報として、画像シーケンスへ戻されて記憶されることができる。代替的に、ＳＭＰＴＥ−１２５Ｍに準拠するストリームでは、この付随情報は補助データとして挿入することができる。しかし、付随情報は、画像シーケンスへ戻されて、画像シーケンスの他の領域へ挿入することができる。本発明は、エンコーダ１８０が挿入点で付随情報の存在を検出するように設計されている限り、付随情報が挿入される画像シーケンス内の位置によって制限されることはない。
【００２５】
１つの実施形態において、付随情報は、先ず画像シーケンス、例えば映画の全体から抽出され、次に付随情報挿入器１６０によって後で使用されるように記憶される。即ち、次に映画が再生されるが、それは、付随情報挿入器１６０が付随情報を映画内の適切な位置に挿入して、エンコーダ１８０が符号化パラメータを選択するときエンコーダに援助を与えるためである。
【００２６】
代替的に、付随情報挿入器１６０は、遅延セクション１７０から画像又はビデオ・シーケンスを受け取ってよい。この実施形態は、しばしばライブ番組に使用される。その場合、付随情報は抽出され、次にリアルタイムに近い条件で画像シーケンスへ挿入されなければならない。
【００２７】
図１に戻って、エンコーディング・セクション１３０はエンコーダ１８０を含む。エンコーダ１８０は、異なった形式でデータを受け取ることのできるビデオ・エンコーダである。即ち、データは、経路１４５上の画像シーケンス、経路１５５上の付随情報、経路１６５上の付随情報付き画像シーケンス、及び／又は経路１７５上の遅延された画像シーケンスであることができる。エンコーダ１８０は符号化パラメータ選択器１８２を含み、符号化パラメータ選択器１８２は付随情報を使用して、以下に説明する１つ又は複数の符号化パラメータの選択を実行することができる。再び、アプリケーションに依存して、符号化パラメータ選択器１８２は、生データを含む付随情報を処理することのできる複雑な装置として、又は付随情報の中に含まれた勧告を単純に適用する複雑度の少ない装置として、実現することができる。
【００２８】
１つの実施形態において、エンコーダ１８０は、図６に示されるようなＭＰＥＧ準拠エンコーダ、又は図７に示されるようなウェーブレット・ベース・エンコーダを使用して実現することができる。しかし、理解すべきは、エンコーダ１８０は他のタイプのエンコーダを使用して実現できることである。
【００２９】
図６は、本発明を組み込まれたＭＰＥＧ準拠エンコーダ６００のブロック図を示す。エンコーダ６００は、動き推定モジュール６４０、動き補償モジュール６５０、レート制御モジュール６３０、ＤＣＴモジュール６６０、量子化（Ｑ）モジュール６７０、可変長符号化（ＶＬＣ）モジュール６８０、バッファ６９０、逆量子化（Ｑ−１）モジュール６７５、逆ＤＣＴ（ＤＣＴ−１）変換モジュール６６５、減算器６１５、及び合計器６５５を含む。エンコーダ６００は複数のモジュールを含むが、様々なモジュールによって実行される機能は、別々のモジュールへ分離される必要はないことを当業者は十分に理解するであろう。例えば、動き補償モジュール６５０、逆量子化モジュール６７５、及び逆ＤＣＴモジュール６６５を含むモジュールのセットは、一般的に「埋め込みデコーダ」として知られる。
【００３０】
要するに、図６は、経路６１０上の入力画像（画像シーケンス）が、ＭＰＥＧ標準に従って輝度及び２つの色差信号（Ｙ、Ｃｒ、Ｃｂ）としてデジタル化されて表現されることを示す。これらの信号は、更に複数のレイヤ（シーケンス、ピクチャのグループ、ピクチャ、スライス、マクロブロック、及びブロック）へ分割され、各ピクチャ（フレーム）が複数のマクロブロックによって表されるようになる。
【００３１】
以下の開示は、ＭＰＥＧ標準用語を使用する。しかし、理解すべきは、マクロブロック又はブロックの用語は、任意のサイズ又は形をしたピクセルのブロックを記述することを意図されていることである。大ざっぱに言えば、「マクロブロック」は、単一のピクセルのように小さいか、又はビデオ・フレーム全体のように大きくてよい。
【００３２】
経路６１０上の入力画像は、動きベクトルを推定するために動き推定モジュール６４０へ受け取られる。動きベクトルは２次元ベクトルであり、これは、現在のピクチャにおけるブロックの座標位置から参照フレームにおける座標へのオフセットを与えるために、動き補償によって使用される。
【００３３】
動き推定モジュール６４０からの動きベクトルは、サンプル値の予測の効率を改善するため、動き補償モジュール６５０によって受け取られる。動き補償は、予測誤差を形成するために使用される前に復号されたサンプル値を含む過去及び／又は将来の参照フレームへオフセットを与えるために、動きベクトルを使用する予測を含む。
【００３４】
更に、所与のマクロブロックのために動き補償予測を実行する前に、符号化モードを選択しなければならない。符号化モード決定の分野では、ＭＰＥＧが複数の異なったマクロブロック符号化モードを提供している。具体的には、ＭＰＥＧ−２は、イントラ・モード、非動き補償モード（Ｎｏ ＭＣ）、フレーム／フィールド／デュアル・プライム動き補償インター・モード、順方向／逆方向／平均インター・モード、及びフィールド／フレームＤＣＴモードを含むマクロブロック符号化モードを提供している。
【００３５】
一度、符号化モードが選択されると、動き補償モジュール６５０は、過去及び／又は将来の参照ピクチャに基づいて、ブロックの内容の動き補償された予測（予測画像）を経路６５２上に発生する。経路６５２上のこの動き補償された予測は、経路６５３上の誤差信号又は予測残差信号を形成するため、減算器６１５を介して現在のマクロブロックにおける経路６１０上のビデオ画像から減算される。注意すべきは、もし現在のフレームがＩフレームとしてエンコードされるならば、経路６５３上の信号は単に元のピクチャであり、予測残差信号ではないことである。
【００３６】
次に、ＤＣＴモジュール６６０は、ＤＣＴ係数の８×８ブロックのセットを発生するため、順方向離散コサイン変換プロセスを予測残差信号の各ブロックへ適用する。ＤＣＴ係数の結果の８×８ブロックは、ＤＣＴ係数が量子化される量子化モジュール６７０によって受け取られる。
【００３７】
次に、量子化されたＤＣＴ係数の結果の８×８ブロックは、信号接続６７１を介して可変長符号化（ＶＬＣ）モジュール６８０によって受け取られる。そこでは、量子化された係数の２次元ブロックが「ジグザク」順に走査され、それを量子化されたＤＣＴ係数の１次元ストリングへ変換する。次に、可変長符号化（ＶＬＣ）モジュール６８０は、可変長符号化及びランレングス符号化を使用して、量子化されたＤＣＴ係数のストリング及びマクロブロックの全ての他の情報をエンコードする。
【００３８】
データ・ストリームは「先入れ先出し」（ＦＩＦＯ）バッファ６９０へ受け取られる。バッファ６９０は、エンコーダ出力をチャネルへマッチさせて、ビット・レートを平滑化するために使用される。従って、経路６９５上のＦＩＦＯバッファ６９０の出力信号は、経路６１０上の入力ビデオ画像の圧縮された表現（又は、入力画像と予測画像との間の圧縮差分信号）である。それは経路６９５を介して記憶媒体又は電気通信チャネルへ送られる。
【００３９】
レート制御モジュール６３０は、データ・ストリームの伝送後にデコーダ側（図示されていない受信器又は目標記憶装置）におけるオーバフロー及びアンダフローを防止するために、ＦＩＦＯバッファ６９０に入るデータ・ストリームのビット・レートをモニタ及び調節する働きをする。従って、バッファ６９０の状態をモニタして、エンコーダによって発生されるビットの数を制御することは、レート制御モジュール６３０の仕事である。
【００４０】
しかし、レート制御モジュール６３０は、符号化パラメータ選択器１８２によって実行される機能として実現することができる。即ち、符号化パラメータ選択器１８２は、付随情報に応答して、量子化スケールの選択を含む１つ又は複数の符号化パラメータを設定することができる。更に、レート制御モジュール６３０は、付随情報の内容に関して複雑度の異なったレベルを有する概念を明らかにしている。
【００４１】
説明すると、生データ形式の付随情報、例えば、１５及び１０の量子化スケールの使用に対応するビット・レートは、前述したように、バッファの充満度が、より精密な量子化スケールの使用を可能とする状態であるかどうかを決定するため、レート制御モジュール６３０によって使用することができる。代替的に、レート制御モジュール６３０は、現在のフレームについて付随情報から勧告された量子化スケールを単純に受け入れて適用してもよい。
【００４２】
最後に、レート制御モジュール６３０は、特定の符号化パラメータを制御する実例として示される。理解すべきは、エンコーダ６００のために、以下で説明する様々な他の符号化パラメータを選択できることである。もっとも、対応する制御モジュールは、図６及び以下の図７に示されていない。好ましい実施形態では、符号化パラメータの選択は、符号化パラメータ選択器１８２を介して実現される。
【００４３】
図６へ戻って、量子化モジュール６７０からの量子化されたＤＣＴ係数の結果の８×８ブロックは、信号接続６７２を介して逆量子化モジュール６７５によって更に受け取られる。この段階で、エンコーダは、データを復号することによって入力ビデオ画像のＩフレーム及びＰフレームを再生して、それらが後続のエンコーディングのために参照又はアンカー・フレームとして使用されるようにする。
【００４４】
ＤＣＴ係数の結果の逆量子化された８×８ブロックは、逆ＤＣＴモジュール６６５へ渡され、そこで各マクロブロックへ逆ＤＣＴが適用されて、復号された誤差信号が発生する。この誤差信号は、合計器６５５を介して動き補償モジュールからの予測信号へ加算され、復号された参照ピクチャ（再構成された画像）が発生する。
【００４５】
図７は、本発明が組み込まれたウェーブレット・ベース・エンコーダ７００のブロック図を示す。エンコーダは、ブロック動き補償器（ＢＭＣ）及び動きベクトル符号化器７０４、減算器７０２、離散ウェーブレット変換（ＤＷＴ）符号化器７０６、ビット・レート・コントローラ７１０、ＤＷＴデコーダ７１２、及び出力バッファ７１４を含む。
【００４６】
概略的には、前述したように、入力信号はビデオ画像（ビデオ・シーケンス内のフレームを規定するピクセル（ペル）の２次元配列）である。低ビット・レート・チャネルを介して画像を正確に伝送するために、ビデオ・フレーム・シーケンス内の空間及び時間冗長性が、十分に削減されなければならない。これは一般的に連続フレームの間の差分のみを符号化及び伝送することによって達成される。エンコーダは３つの機能を有する。即ち、第１に、それは、ＢＭＣ及びその符号化器７０４を使用して、フレーム間で起こる動きを表す複数の動きベクトルを発生する。第２に、それは、動きベクトルと組み合わせられた前のフレームの再構成されたバージョンを使用して、現在のフレームを予測する。第３に、予測されたフレームが現在のフレームから減算され、符号化されて動きベクトルと共に受信器へ伝送される残差のフレームが発生する。
【００４７】
離散ウェーブレット変換は、入力画像の通常のウェーブレット・ツリー表現を発生するため、ウェーブレット階層サブバンド分解を実行する。そのような画像分解を達成するために、画像は高水平・高垂直（ＨＨ）、高水平・低垂直（ＨＬ）、低水平・高垂直（ＬＨ）、及び低水平・低垂直（ＬＬ）周波数サブバンドへの２倍サブサンプリングを使用して分解される。次に、ＬＬサブバンドが２倍のサブサンプリングを更に実行され、ＨＨ、ＨＬ、ＬＨ、及びＬＬサブバンドのセットを発生する。このサブサンプリングは、図８に示されるようなサブバンド配列を発生するために再帰的に達成される。図８では、３つのサブサンプリングが使用されている。サブバンド間の親子依存性は、親ノードのサブバンドから子ノードのサブバンドを指す矢印として示される。最低周波数サブバンドは左最上部のＬＬ１であり、最高周波数サブバンドは右最下部のＨＨ３である。この例では、全ての子ノードは１つの親を有する。サブバンド分解の詳細な説明は、ジェイ・エム・シャピロ、「ウェーブレット係数のゼロツリーを使用する埋め込まれた画像符号化」、信号処理に関するＩＥＥＥ会報、第４１巻、第１２号、３４４５〜６２頁、１９９３年１２月(J.M.Shapiro, "Embedded Image Cod
ing Using Zerotrees of Wavelet Coefficients", IEEE Trans. on Signal Pr
ocessing, Vol.41, No.12, pp.3445-62, December 1993)に提示されている。
【００４８】
図７のＤＷＴ符号化器は、「幅優先」又は「深さ優先」パターンでウェーブレット・ツリーの係数を符号化する。幅優先パターンは、ビット平面ごとのパターンで、即ち、全ての親ノードを量子化し、次に全ての子を量子化し、次に全ての孫を量子化し、以下同様にウェーブレット・ツリーを横切る。対照的に、深さ優先パターンは、低・低サブバンド（ＬＬ１）内のルートから子へ（トップ・ダウン）、又は子から低・低サブバンドへ（ボトム・アップ）と各ツリーを横切る。レート・コントローラ７１０による適切な量子化レベルの選択は、シーケンスの各フレーム内の各マクロブロックについて説明したビット・レート制御と同じである。更にまた、レート・コントローラ７１０は、符号化パラメータ選択器１８２によって実行される機能として実現することができる。そのようなものとして、本発明は異なった変換を使用するエンコーダの様々なタイプに適合させることができる。
【００４９】
図６及び図７は、エンコーダ１８０として使用することのできる２つの例示的エンコーダを示す。しかし、図６及び図７は、エンコーダ９１０として使用することのできる２つの例示的エンコーダをも示す。即ち、これらのエンコーダは、以下に説明するように、付随情報を抽出又は発生するために使用することができる。
【００５０】
図２〜図４は、図１に示されるような本発明のエンコーディング・システムの３つの代替的実施形態のブロック図を示す。注意すべきは、図１は包括的なエンコーディング・システムを示し、図２〜図４の実施形態は、図１のより包括的なエンコーディング・システムの様々な様相を有するエンコーディング・システムを示すことである。
【００５１】
図２は、図１で説明したような多くの類似の構成要素を共有するエンコーディング・システム２００を示す。これら構成要素の説明は、前述したとおりである。
【００５２】
エンコーディング・システム２００は、画像ソース１４０（例えば、映画のソース・テープ）、付随情報抽出モジュール１５０、及び抽出された付随情報を記憶する記憶装置２１０を有する付随情報抽出セクション１１０を含む。動作において、画像ソースに記憶された記録済み映画は、画像シーケンスとして付随情報抽出モジュール１５０へ与えられる（第１のパス）。転じて、付随情報抽出モジュール１５０は、付随情報を抽出して、付随情報ファイルの形式で記憶装置２１０へ記憶する。従って、付随情報ファイルは、付随情報挿入セクション１２０で利用可能となる。
【００５３】
付随情報挿入セクション１２０では、画像ソース１４０に記憶された記録済み映画は、記憶された付随情報と組み合わせて付随情報挿入器１６０へ与えられる（第２のパス）。転じて、付随情報挿入器１６０は、埋め込まれた付随情報を有する画像シーケンスを発生する。次に、修正された画像シーケンスは、後で使用するために記憶装置２２０へ記憶される。画像ソース１４０及び記憶装置２２０は、単一の装置、例えばビデオ・サーバとして実現することができる。即ち、映画は今や付随情報を埋め込まれ、この付随情報は、エンコーダ１８０が後でエンコーディング・セクション１３０で映画をエンコードするとき、エンコーダ１８０を援助する。
【００５４】
図３は、到着するライブ番組、例えば、ライブのスポーツ・イベント、ニュースなどに適したエンコーディング・システム３００を示す。経路３０５上で到着する画像シーケンスは、既定数のフレームの間、例えば、ビデオの１秒の間、ビデオ遅延１７０によって遅延される。遅延されたビデオ・フレームに対応するオーディオ・フレームも、同期を維持するために遅延される。遅延によって、付随情報抽出モジュール１５０は、遅延されたフレームのために付随情報を推定する十分な時間を許される。次に、前と同じように、抽出された付随情報は画像シーケンスと共に挿入され、それからエンコーダ１８０へ送られる。
【００５５】
図４は、エンコーディング・システム３００に非常に類似したエンコーディング・システム４００を示す。主な相違は、入力画像シーケンスがライブ番組から来るのではなく、エンコーディング・システム２００の画像ソースに類似した画像ソース１４０から発生することである。しかし、エンコーディング・システム２００の２パス方法とは異なり、エンコーディング・システム４００は、埋め込まれた付随情報を有する画像シーケンスを発生するために、入力画像シーケンスの単一のパス（シングル・プレイ）だけを必要とする。エンコーディング・システム４００は、トータルの処理時間及び計算サイクルを節約するが、抽出された付随情報は、エンコーディング・システム２００の抽出された付随情報と比較して、時間的に制限される。
【００５６】
図５は、エンコーディング・プロセスを最適化するために付随情報を抽出する方法５００のフローチャートを示す。方法は、ステップ５０５でスタートし、ステップ５１０へ進む。そこで、画像又はビデオ・シーケンスへの遅延が、オプションとして施される。もし入力ビデオ・シーケンスが、ライブ番組から来て、リアルタイムに近い伝送を必要とするならば、遅延を使用することができる。しかし、もし入力ビデオ・シーケンスが記憶装置に記憶され、リアルタイム伝送を必要としなければ、エンコーディング・システム４００の単一パス方法が実現されていない限り、ステップ５１０を省略することができる。
【００５７】
ステップ５２０で、方法５００は付随情報を入力ビデオ・シーケンスから抽出又は発生する。一度、付随情報が抽出されると、方法５００は３つの異なったブランチの１つへ進むことができる。
【００５８】
第１に、方法５００は、ステップ５４０で付随情報をエンコーダへ直接送ることができる。ステップ５４０では、エンコーダは付随情報を即時に使用して、入力画像シーケンスを符号化するときの１つ又は複数の符号化パラメータを適切に選択する。
【００５９】
第２に、方法５００は、ステップ５３０で付随情報を付随情報挿入器へ送ることができる。ステップ５３０では、埋め込まれた付随情報を有する画像シーケンスが発生する。転じて、埋め込まれた付随情報を有する画像シーケンスは、ステップ５３７で記憶装置へ記憶されるか、エンコーディングのために直接ステップ５４０へ送られることができる。
【００６０】
第３に、方法５００は、ステップ５３５で、エンコーダによる後の使用のために、付随情報を記憶装置に記憶することができる。即ち、記憶された付随情報は、入力画像シーケンスがエンコーダによってステップ５４０で実際にエンコードされているとき、常にアクセスされることができる。最後に、方法５００はステップ５４５で終了する。
【００６１】
以下のセクションでは、抽出された付随情報に従って選択することのできる様々な符号化パラメータを説明する。即ち、これらの符号化パラメータを選択する場合、又は様々な符号化臨界に対処する場合に、付随情報を使用することができる。
【００６２】
次のシーン・チェンジまでのフレーム
エンコーダは、例えば、以下の「正規の順序」で示されるＩ、Ｐ、及びＢフレームの既定のシーケンスを使用して、フレームを正常にエンコードするであろう。しかし、シーン・チェンジ（シーン・カットとしても知られる）が起こるとき、関連のないシーンを示す他のフレームから１つのフレームを効率的に予測するのは非常に困難であることが、よく知られている。従って、シーン・カットを検出し、シーン・チェンジが発見されたとき常にＩフレームを挿入するために、様々なシーン・カット検出方法が開発されている。
【００６３】
しかし、Ｉフレームの挿入はビットとの関連で費用がかかり、時としてシーン・カットはＩフレームの直後に起こるかも知れない。この状況は、以下の「付随情報がない場合」で示される。その場合、シーン・チェンジはＢＳＣとラベルを付けられたフレームで起こる。様々なシーン検出方法に従って、シーン・チェンジが起こるとＩフレームが直ちに挿入される。即ち、正規の順序で示されるように、ＢＳＣとラベルを付けられたフレームに続くＰフレームは、今や代わりのＩフレームと置換される。Ｉフレームの挿入は、シーン・チェンジの臨界に対処するが、それは間隔が接近した２つのＩフレームの近接性を証明する。その状況では、「シーン・カットがある場合」で示したように、シーン・チェンジが起こるまで、シーン・チェンジの直前に起こったＩフレームを遅延させるのが好ましい。即ち、シーン・チェンジの前のＩフレームは、Ｐ＊で示されるＰフレームで置換される。なぜなら、シーン・カットが起ころうとしているからである。
正規の順序 ＩＢＢＰＢＢＰＢＢＩＢＢＰ
付随情報がない場合 ＩＢＢＰＢＢＰＢＢＩＢＢＳＣＩ
シーン・カットがある場合 ＩＢＢＰＢＢＰＢＢＰ＊ＢＢＳＣＩ
こうして、画像シーケンスの全体又は一部分についてシーン・チェンジの位置を示す付随情報を前もって抽出できることは、非常に利点があろう。そのようなシーン・チェンジ付随情報の抽出は、通常のシーン・カット検出方法を使用するか、人間の作業者がシーン・チェンジの位置を視覚的に識別することによって、達成することができる。このシーン・チェンジ付随情報の実際のフォーマットは、様々な方法で実現することができる。付随情報は、シーン・チェンジの位置を単純に示す生データの形式を取ってよい。代替的に、付随情報は、画像シーケンス内の既定のフレーム位置でＩフレームを使用することを単に勧告する勧告の形式を取ってもよい。
【００６４】
本発明の１つの実施形態では、シーン・チェンジを示す付随情報は、シーン・カットがどの程度速やかに起こるか、即ち、現在のフレームからの相対的距離の形式で実現される。付随情報は、シーン・カットが既定数のフレーム、例えば、１０フレーム内で起こる場合に、画像シーケンスで全てのフレームをマークする（又はフィルム／ビデオ混合信号については各フィールドをマークする）ことによって実現することができる。この実現形式は、フレームごとに数ビットを負担させるかも知れない。もしビデオ遅延が幾つかの既定数のフレーム、例えば、少なくとも１０フレームへセットされるならば、この付随情報の抽出は、図２又はライブ番組について図３で示されるような２パス抽出エンコーディング・システムで実行することができる。
【００６５】
第１に、注意すべきは、前処理セクションがエンコーダのＩＰＢ配列決定又は位相整合を知らなくても、付随情報を発生できることである。第２に、大部分のシーン検出方法は計算的に費用がかかるので、処理の大部分は、エンコーダ１８０ではなく前処理セクションによって「オフライン」で実行できることである。これによって、エンコーダ１８０は、大きなメモリ空間及び大きな計算費用を必要とすることなく、迅速且つ効率的に動作できる。これは、もしシーン・カットの検出がエンコーダ１８０によって実行されるとすれば、通常必要となることである。
【００６６】
動きの程度
もしビデオ・シーケンス又はその一部分が、非常に小さな動きを含むならば、Ｐフレームの頻度を低減し、それによって、エンコードされるビットの数を削減することができる。即ち、静止画像のシーケンスが検出されると、エンコーダ１８０は、Ｐフレームの間に、より多くのＢフレームを挿入することができるかも知れない。転じて、エンコーダ１８０は、Ｉ及びＰフレームで、より多くのビットを費やし、アンカー（Ｉ又はＰ）フレームと非常に近似しているＢフレームだけについて予測を使用することができる。
【００６７】
従って、画像シーケンスの全体又はその一部分のために、動き度を示す付随情報を抽出できることは、非常に利点があろう。そのような動き度付随情報の抽出は、複数のエンコーダ９１０を使用することによって達成することができる。
【００６８】
更に具体的には、そのような付随情報を検出又は抽出する１つの方法は、２つのエンコーダ９１０a〜bを使用することである。その場合、エンコーダの１つ９１０a（「交替エンコーダ」）は、他のエンコーダ９１０b（「正規エンコーダ」）とは異なったように（即ち、異なったエンコーディング規則又は符号化パラメータを使用して）Ｉ及びＰフレームをエンコードしようと試みる。エンコーダ９１０bは、エンコーダ１８０と類似した符号化パラメータのセットを使用して画像シーケンスをエンコードするように設定することができる。それによって、エンコーダ１８０のパフォーマンスを、符号化パラメータの異なったセットを使用する交替エンコーダ９１０aと事前に比較することができる。
【００６９】
画像シーケンスをエンコードする１つの異なった方法は、「正規」エンコーダよりも、多くの正確度をＩ及びＰフレームへ割り振ることである。エンコーディングの他の異なった方法は、Ｐフレームの間隔をより広く明けることである（それらの間のＢフレームは、より多くなる）。エンコーディングの更に他の異なった方法は、動きを測定するためのしきい値（例えば、ヒストグラムに基づいて）を設定して、もしフレーム内の動きレベルがしきい値よりも小さいならば、フレームをＢフレームとして符号化するようにすることである。エンコーディングの他の異なった方法は、動き度を検出する特定のアプリケーションに従って、巧妙に案出することができる。
【００７０】
例えば、もし「正規」エンコーダが、ピクチャのグループ（ＧＯＰ）（これはＩ、Ｐ、及びＢフレームを含む）で、より多くのトータル・ビットを費やせば、符号化パラメータの「交替」エンコーディング・セットがより良好で、ＧＯＰはこの異なった方法でエンコードされるのが適当である。この比較の結果は、生データの形式をした付随情報、又は符号化パラメータの特定のセットを使用すべき勧告として表すことができる。この付随情報は、エンコーダ１８０によって「フレーム・タイプ同期」をもたらすように、好ましくはＧＯＰの前に実際のエンコーダ１８０へ送られる。即ち、もしエンコーダ１８０が、付随情報の中で勧告されたＧＯＰ構造へ全面的に従うことを決定するならば、エンコーダ１８０は、勧告されたＧＯＰ構造の一部分であるフレームのセットへ同期又は適切に相関するための十分な時間を有しなければならない。しかし、エンコーダ１８０は、勧告されたＧＯＰ構造の一部分、例えば、同期に関係しない一部分のみをフレーム・ベースで受け入れてもよい。
【００７１】
変則フレームの検出
幾つかの画像シーケンスは、閃光電球照明シーンのように、単一フレーム変則を有する。一般的に、変則フレームをＰ又はＩフレームとして符号化することは、将来のフレームがこれらのアンカー・フレームから予測されるので避けるのが望ましい。その理由は、変則フレームがＰフレームとしてエンコードされると、後続するフレームは、輝度変化を説明するより多くのビットを必要とするからである。
【００７２】
従って、画像シーケンスの全体又はその一部分について、変則フレームの位置を示す付随情報を前もって抽出できることは、非常に利点があろう。そのような変則フレーム付随情報の抽出は、幾つかのフレームを分析、例えば、考慮されている現在のフレームの直前及び直後にあるフレームを比較することによって達成することができる。例えば、現在のフレームは、輝度値について先行及び後続するフレームと比較される。もし先行及び後続フレームが相互に異なっている程度よりも、現在のフレームがそれらフレームと異なっている程度が顕著であれば、おそらく変則フレームが検出されたのである。
【００７３】
もしフレームが変則フレームと考えられるならば、それはＢフレームとしてエンコードされるべきである（即ち、Ｉ又はＰのエンコーディングを１フレームだけ遅延又は前進させる）。しかし、前述した比較からの結果は、生データ（輝度の比較結果）の形式をした付随情報、又は画像シーケンス内で変則フレームとして或るタイプのフレーム、例えばＢフレームを使用すべき勧告として表すことができる。例えば、付随情報は、フレーム（又はフィールド）当たり１ビットのレート情報ストリームとして実現することができる。更に、変則Ｂフレームのエンコーディング・パラメータは、正規Ｂフレームのエンコーディングとは異なるように選択されてよい。例えば、高頻度の成分は、代替量子化マトリックスを使用して、より厳密に量子化されてよい。
【００７４】
フェード・アウトの検出
映画のような画像シーケンスは、輝度レベルが各々の連続フレームで低減される「フェード・アウト」をしばしば使用する。残念ながら、映画が「フェード・アウト」するとき、良好な動き検出計画を有する幾つかのエンコーダが、フェード・アウト状況で度々不完全に実行される。これは、幾つかの良好な動き検出計画が、マクロブロックをマッチングするために輝度レベルに依存する事実に帰因する。対照的に、フェード・アウトの混乱から悩まされない代替の動き検出計画は、正規ビデオに関してパフォーマンスが劣っていることを度々発見される。従って、エンコーダの設計者は、良好な動き推定／補償を実行するエンコーダの必要性と、画像シーケンス内でフェード・アウト条件を検出する能力との間を、バランスさせるかトレードオフしなければならないことが度々である。
【００７５】
従って、画像シーケンスの全体又はその一部分について、フェード・アウト・フレームの位置を示す付随情報を前もって抽出できることは、非常に利点があろう。そのようなフェード・アウト・フレーム付随情報の抽出は、複数のエンコーダ９１０を使用することによって達成することができる。
【００７６】
例えば、そのような付随情報を検出又は抽出する１つの方法は、２つのエンコーダ９１０a〜bを使用することである。その場合、エンコーダの１つ９１０a（「交替エンコーダ」）は、フェード・アウト条件の検出へ厳しく調整された動き／推定方法を使用する。例えば、動き補償を実行する前に現在フレームの各マクロブロックについてＤＣ係数が除去されるように、エンコーダ９１０aを実現することができる。フェード・アウト・フレーム間の変化は、ＤＣ係数の中に際だって記憶されるので、フェード・アウト・フレームは検出可能である。ＤＣ係数の除去は、非常に小さな残差又は誤差信号を発生する。なぜなら、連続したフェード・アウト・フレームの間には、輝度を除いて、ほとんど変化がないからである。
【００７７】
転じて、エンコーダ９１０bは、エンコーダ１８０又は動き検出へ厳しく調整されたエンコーダに類似した動き／推定方法を使用して画像シーケンスをエンコードするように設定することができる。エンコーダ９１０bは、正規ビデオに対するパフォーマンスがより良好であり、エンコーダ９１０aは、フェード・アウト条件に対するパフォーマンスがより良好であることが予想される。こうして、フレーム・ベースで、もしエンコーダ９１０aからの誤差信号が小さく、エンコーダ９１０bからの誤差信号が大きければ、おそらく現在のフレームはフェード・アウト条件にあり、即ちフェード・アウト・フレームである。この検出方法によって、エンコーダ１８０のパフォーマンスを、符号化パラメータの異なったセットを使用する交替エンコーダ９１０aと前もって比較することができる。
【００７８】
もしフレームがフェード・アウト・フレームと考えられるならば、エンコーダは、フェード・アウト・フレームの処理へ調整された交替動き補償計画へ切り替わるか、より多くのビットを与えるためにレート制御を修正しなければならない。しかし、前述した比較の結果は、生データ（誤差信号の比較結果）の形式をした付随情報、又はフェード・アウト・フレームのセットのためにエンコーダ１８０で異なった動き補償方法を使用すべき勧告として表すことができる。
【００７９】
次のＮフレームの集合グローバル複雑度
幾つかのエンコーダは、現在フレームの内容の複雑性の尺度である「複雑度」の概念を使用する。例えば、様々な方向へ移動している多くのオブジェクトを有するフレームは、高複雑度を有するフレームと呼ぶことができる。なぜなら、残差信号及び多くの関連動きベクトルを符号化するために多くのビットが必要だからである。従って、幾つかのエンコーダは、複雑度の尺度を各フレームへ割り当てる方法を使用し、そのような割り当てに基づいて、フレームのためにビット予算を設定することができる。例えば、非情に複雑なフレームには、より多くのビットが割り当てられる。
【００８０】
ＭＰＥＧ標準のテスト・モデル５（ＴＭ５）は、平均量子化スケール及びピクチャ当たりビット数を使用して、Ｉ、Ｐ、及びＢフレームのグローバル複雑度を計算する方法を含む。即ち、或るタイプ（Ｉ、Ｐ、又はＢ）のピクチャがエンコードされた後、ＴＭ５はエンコーディングの結果を使用して、ピクチャの各タイプの複雑度を確立する。その後で、同じタイプの全てのピクチャは、ピクチャのグループ内で同じ複雑度を有するものと仮定される。残念ながら、ＴＭ５の複雑度割り当て方法は、過去のフレームに限定される。即ち、現在フレームに対する複雑度の尺度は、前にエンコードされたフレームの複雑度へ全面的に基づいている。もしフレームのセットの複雑度が突然増加すれば、大部分のエンコーダは、そのような変化を予想することができず、ビット予算管理に関してパフォーマンスは貧弱になろう。
【００８１】
従って、画像シーケンスの全体又はその一部分について、複雑度を示す付随情報を前もって抽出できることは、非常に利点があろう。そのような複雑度付随情報の抽出は、１つ又は複数のエンコーダ９１０を使用することによって達成することができる。
【００８２】
例えば、エンコーダ９１０を使用して、画像シーケンスをエンコードし、次に特定の量子化スケールへ各フレームをエンコードするために使用されたビット数を記憶することができる。記憶された情報は、「実際の」複雑度の尺度となろう。なぜなら、エンコーダは、フレームを特定の量子化スケールでエンコードするのに必要なビット数を正確に知っているからである。
【００８３】
前述したエンコーディング・プロセスからの記憶された結果は、生データ（フレームを特定の量子化スケールでエンコードするためのビット数）形式をした付随情報、又はＧＯＰについてエンコーダ１８０によって特定の複雑度の尺度をフレームに割り当てる勧告として表すことができる。
【００８４】
複雑度付随情報は、前もってエンコーダ１８０で利用可能とすることができるので、エンコーダ１８０は、有限インパルス応答（ＦＩＲ）フィルタリング又はトランスバーサル・フィルタリング手法を組み込んで、グローバル複雑度の領域値を計算することができる。即ち、ＦＩＲフィルタは、先行又は後続フレームからの値を使用して、所与のフレームの複雑度を計算する。
【００８５】
更に具体的には、前処理セクション１１０は、画像シーケンスをエンコードして、現在フレームの複雑度に対応する出力値を付随情報として発生する。この付随情報は、それが参照するフレームに先だって、画像シーケンスへ挿入することができる。従って、符号化パラメータ選択器１８２又はレート制御モジュールは、Ｉ、Ｐ、及びＢフレームのビット割り振りのベースとして、前にエンコードされたリアルタイムのフレーム情報の代わりに、この付随情報を使用する。
【００８６】
更に、画像シーケンスの全体をエンコードしたという知識が得られると、今や逆方向の時間に基づいた複雑度の尺度を案出することができる（これに対して、ＴＭ５では、それは順方向の時間でフィルタされる）。即ち、エンコーダ１８０は、今や、前にエンコードされたフレームではなく、来るべきフレームの知識に基づいて複雑度を評価することができる。これは、来るべき潜在的トラブル（例えば、一連の非常に複雑なフレーム）の警告を与え、それに従ってエンコーダ１８０は対応することができる。
【００８７】
このフレームに必要とされるＦコード
通常、エンコーダは、動き情報を表す既定の動的範囲（Ｆコードとして知られる）を、例えば、動きベクトルを表す５つのビットを使用して設定する。従って、大きな動きベクトルは、通常大きなＦコードを必要とし、より小さな動きベクトルは、より小さなＦコードを使用して表すことができる。各フレームについて、適切なサイズのＦコードを動き情報とマッチさせることは、符号化ビット数の節約をもたらすであろう。
【００８８】
従って、画像シーケンスの全体又はその一部分について、Ｆコードを示す付随情報を前もって抽出できることは、非常に利点があろう。そのようなＦコード付随情報の抽出は、エンコーダ１８０と類似した符号化パラメータ設定を有するエンコーダ９１０を使用することによって達成することができる。即ち、画像シーケンスは、先ずエンコーダ９１０を使用してエンコードされる。動き情報は、今や画像シーケンスの全体について利用可能であるから、各フレームの動き情報を表すために、十分な動的範囲（Ｆコード）を選択することができる。
【００８９】
前述した分析からの結果は、生データ（各フレームの動き情報の実際の範囲）の形式をした付随情報、又は画像シーケンス内の特定のフレームに特定のＦコードを使用すべき勧告として表すことができる。
【００９０】
３：２プルダウンの助言（最初のフィードの反復）
エンコーダの重要な機能は、秒当たり２４フレーム（ｆｐｓ）の動画フィルム（映画）を３０ｆｐｓビデオとして表示する特徴である「３：２プルダウン」の実現である。映画の各ピクチャ又はフレームは、２又は３のビデオ・フィールド期間で表示するように、独立に指定することができる。しかし、いつフィールドをフィルム・フレームとして反復するかを最適に決定することは、非常に計算集中的なプロセスである。そのような高価なハードウェアをエンコーダ１８０へ組み込んで、そのような計算をその段階で実行することは、実際的ではないであろう。
【００９１】
注意すべきは、もし本発明のエンコーディング・システムがデジタル・スタジオへ組み込まれるならば、おそらく各チャネルが少なくとも１つのエンコーダ１８０を有する多数のチャネルが存在することになろう。従って、コスト及び計算サイクルに関してエンコーダ１８０の複雑度を最小にすること、例えば、画像シーケンスをエンコード済みビットストリームへエンコードする速度を増大することに利点がある。
【００９２】
従って、画像シーケンスの全体又はその一部分について、３：２プルダウン選択を示す付随情報を前もって抽出できることは、非常に利点があろう。３：２プルダウン選択付随情報の抽出は、前処理セクション１１０でエンコーダ９１０を使用することによって達成することができる。即ち、画像シーケンスは、先ずエンコーダ９１０を使用することによってエンコードされる。エンコーダ９１０は、各フレームについて３：２プルダウンを選択する、即ちフレームについて「repeat_first_field」を使用すべきかどうかを選択することのできる、より複雑なエンコーダである。
【００９３】
エンコーダ９１０による前述した分析からの結果は、生データ形式の付随情報、又は画像シーケンス内の特定のフレームについて「repeat_first_field」を使用すべき勧告として表すことができる。
【００９４】
ストライプ当たりのターゲット・サクセス
幾つかのエンコーダは、フレーム・レベルを超えてビット予算制御を与える。即ち、画像のストライプ、行、又はスライスについて、ビット予算が存在する（ストライプは複数の行であってよく、スライスは行の長さと同じか一部分である）。正確なビット予算制御は、オーバフロー及びアンダフロー条件を制御しながら、符号化効率を最適にする。
【００９５】
従って、画像シーケンスの全体又はその一部分について、ビット予算選択を示す付随情報を前もって抽出できることは、非常に利点があろう。そのようなビット予算選択付随情報の抽出は、エンコーダ１８０と類似した符号化パラメータの設定を有するエンコーダ９１０を使用することによって達成することができる。即ち、画像シーケンスは、先ず前処理セクション１１０でエンコーダ９１０を使用してエンコードされる。これによって、エンコーダ９１０は、エンコーダ１８０のビット予算方法を前もって検査することができる。代替的に、１つ又は複数のエンコーダ９１０を前処理セクション１１０で使用して、複数のビット予算方法を分析することができる。
【００９６】
エンコーダ９１０による前述した分析からの結果は、生データ（特定フレームのストライプ、行、又はスライスをエンコードするために使用された実際のビットの数）の形式をした付随情報、又は特定のフレームのストライプ、行、又はスライスについて特定のビット予算を使用する勧告、又はビット予算方法の選択勧告として表すことができる。
【００９７】
このフレームを一定の量子化スケール／品質でエンコードするために必要なビット
もしエンコーダが、フレームの量子化スケールを増加又は減少する場合のトレードオフを決定することができれば、符号化効率を増大させることができる。この情報は、エンコーダがビット予算を費やすとき、エンコーダに援助を与える。
【００９８】
従って、画像シーケンスの全体又はその一部分について、量子化スケールの選択を示す付随情報を前もって抽出できることは、非常に利点となろう。そのような量子化スケール選択付随情報の抽出は、１つ又は複数のエンコーダ９１０を使用することによって達成することができる。
【００９９】
例えば、異なった量子化スケールを使用して画像シーケンスをエンコードし、次に特定の量子化スケールについて各フレームをエンコードするために使用されたビットの数を記憶するために、複数のエンコーダ９１０を使用することができる。エンコーダ９１０による前述した分析からの結果は、生データ（各フレームを特定の量子化スケール又はグラフの形式でエンコードするために使用された実際のビットの数）の形式をした付随情報、又は特定のフレームについて特定の量子化スケールを使用する勧告として表すことができる。
【０１００】
Ｉ（及びＰ）の様々な品質レベルを仮定してこのフレーム（Ｐ又はＢ）をエンコードするために必要なビット
もしエンコーダが、特定のフレームの品質を増加又は減少する、例えば、アンカー・フレームＩ及び／又はＰの量子化スケール又はモード決定を変更する場合のトレードオフを決定することができれば、符号化効率を増大させることができる。更にまた、この情報は、エンコーダがそのビット予算を費やすとき、エンコーダに援助を与える。しかし、アンカー・フレームの品質を変更することは、そのようなアンカーに依存する全ての他のフレームに影響を与える。そのようなものとして、もしエンコーダがアンカー・フレームの品質を変更することの影響について情報を有するならば、それはエンコーダに取って有益である。
【０１０１】
従って、画像シーケンスの全体又はその一部分について、アンカー・フレームの品質を変更するときの影響を示す付随情報を前もって抽出できることは、非常に利点となろう。そのような品質ベースの付随情報の抽出は、１つ又は複数のエンコーダ９１０を使用することによって達成することができる。
【０１０２】
例えば、ＧＯＰ内のアンカー・フレームＩ及び／又はＰのために異なった量子化スケールを使用して画像シーケンスをエンコードし、次にＧＯＰをエンコードするために使用されたビットの数を各エンコーダ９１０について記憶するために、複数のエンコーダ９１０を使用することができる。最小数のビットを使用してＧＯＰをエンコードしたエンコーダ９１０の品質レベル選択計画が、最も理想的であると仮定される。
【０１０３】
注意すべきは、量子化スケールを変更する、例えば、異なった量子化マトリックスを指定するか、アンカー・フレームのために異なった符号化モードを選択するなどの代わりに、他の符号化パラメータを調節して、アンカー・フレームの品質を変更することができる。従って、アンカー・フレームの品質に影響する他の符号化パラメータを変更して画像シーケンスをエンコードすることによって、前述した分析を実行することができる。
【０１０４】
エンコーダ９１０による前述した分析からの結果は、生データ（各エンコーダのためにＧＯＰをエンコードするために使用された実際のビットの数）の形式をした付随情報、又は特定のアンカー・フレームについて特定の品質レベル（例えば、特定の量子化スケール）を使用する勧告として表すことができる。
【０１０５】
フィルタリング／量子化マトリックスの助言
画像シーケンスにおけるノイズの測定は、計算集中的であるが、画像シーケンスにおける高いノイズ・レベルは、ビット・レートに著しい影響を与える。ノイズ・レベルは、情報として誤って取り扱われることが可能で、エンコーダは、ノイズ・レベルをエンコードするに当たって、大量の誤差信号の形式でビットを費やす。しかし、もしノイズを識別してエンコーダへ知らせることができれば、それに従ってノイズを取り扱うように様々な符号化パラメータを調節することができる。
【０１０６】
従って、画像シーケンスの全体又はその一部分について、ノイズを表す付随情報を前もって抽出できることは、非常に利点があろう。そのようなノイズ付随情報の抽出は、エンコーダ１８０と類似した符号化パラメータの設定を有するエンコーダ９１０を使用することによって達成することができる。即ち、画像シーケンスは、先ず前処理セクション１１０内でエンコーダ９１０を使用することによってエンコードされる。これによって、エンコーダ９１０は、高レベルのノイズを有するフレーム又はフレーム部分を識別することができる。しかし、他のノイズ検出方法、例えば、オレゴン州のテクトロニクス・オブ・ビーバートン(Tektronix of Beaverton, Oregon)から出されているＶＭ７００のようなビデオ測定装置を使用することができる。
【０１０７】
エンコーダ９１０による前述した分析からの結果は、生データ（例えば、画像シーケンス内のノイズの位置）の形式をした付随情報、又は特定のフレームについて高ノイズ・レベルを有する位置で特定の量子化計画を使用する勧告として表すことができる。即ち、もしノイズが或るフレームについて高ければ、エンコーダ１８０は、量子化マトリックスを変更することによってビット・レートを低減するか、画像シーケンスをエンコードする前にノイズ・フィルタリング・ルーチンを実行することができる。
【０１０８】
逆に、もし画像シーケンスが低輝度（例えば、夜のシーン又は古い映画）を有するならば、より精密な量子化スケールを使用することができる。
【０１０９】
付随情報の前述したセットについては、幾つかの一般的な所見に注意する必要がある。第１に、理解すべきは、前記の付随情報抽出器１５０は、エンコーダとして実現する必要はないことである。説明したようにして、前述した付随情報を抽出することができる限り、付随情報抽出器１５０を他の形式で実現することが可能である。
【０１１０】
第２に、前述した説明では、１つ又は２つのエンコーダ９１０を使用しているが、符号化パラメータ値の異なったバリエーションを使用して、より多くの生データを発生するために、多数のエンコーダ９１０を使用できることを理解すべきである。逆に、前述した説明では、多数のエンコーダ９１０を使用しているが、符号化パラメータを変更しながら画像シーケンスを反復的にエンコードすることによって、単一のエンコーダ９１０を使用できることを理解すべきである。
【０１１１】
第３に、付随情報を生データとして実現するか、又は実際の勧告として実現するかの選択は、特定のアプリケーションに対するエンコーダ１８０の要件に基づく。例えば、もしエンコーダ１８０が可変ビット・レート環境で動作していれば、エンコーダ１８０は、生データをより受け入れやすく、それによってエンコーダ１８０は、現在の符号化環境、例えば、多くのビットを入手して使用できるか、非常に少ないビットが利用可能であるかなどを考慮して、それ自身のために符号化要件を査定することができる。
【０１１２】
最後に、前述した付随情報抽出器１５０は、１つ又は複数のエンコーダとして実現されているが、人間の観察者を使用することによって、様々な検出機能を実現することが可能である。即ち、画像シーケンスから付随情報を抽出するために、人間の観察者を使用することができる。しかし、抽出プロセスは退屈な仕事であり、人間の観察者はその主観的な意見を付随情報へ導入するかも知れない。
【０１１３】
図１０は、汎用コンピュータを使用して実現される本発明のエンコーディング・システム１０００の実施形態のブロック図を示す。エンコーディング・システムは、汎用コンピュータ１０１０及び様々な入出力装置１０２０を含む。汎用コンピュータは、中央処理ユニット（ＣＰＵ）１０１２、メモリ１０１４、及び画像のシーケンスを受け取ってエンコードするエンコーダ１０１６を含む。
【０１１４】
好ましい実施形態において、エンコーダ１０１６は、単にエンコーディング・システム１００、２００、３００、４００（又は、これらの一部分）、及び／又はエンコーダ６００及び７００である。エンコーダ１０１６は、通信チャネルを介してＣＰＵ１０１２へ結合される物理装置であることができる。代替的に、エンコーダ１０１６は、記憶装置からロードされてコンピュータのメモリ１０１２に常駐するソフトウェア・アプリケーション（又はソフトウェアとハードウェア、例えば特定用途向け集積回路（ＡＳＩＣ）との組み合わせ）によって代表させることができる。そのようなものとして、本発明のエンコーディング・システム１００、２００、３００、４００、及び／又はエンコーダ６００及び７００は、これらエンコーダによって発生するビットストリームと共に、コンピュータ読み取り可能媒体、例えばメモリ又は記憶装置に記憶することができる。
【０１１５】
コンピュータ１０１０は、キーボード、マウス、カメラ、カムコーダ、ビデオ・モニタなどの複数の入出力装置１０２０、任意数の撮像装置、又はテープ・ドライブ、フロッピー・ドライブ、ハード・ディスク・ドライブ、又はコンパクト・ディスク・ドライブを含むがこれらに限定されない記憶装置へ結合することができる。入力装置は、エンコードされたビデオ・ビットストリームを発生するために入力をコンピュータへ与えるか、記憶装置又は撮像装置からビデオ画像のシーケンスを受け取るように働く。最後に、エンコーディング・システムからのエンコードされた信号がデコーディング・システム（図示されない）へ送られる通信チャネル１０３０が示される。
【０１１６】
これまでに、画像シーケンスの符号化を最適にするために、付随情報を画像シーケンスから抽出する新規な装置及び方法が図示及び説明された。しかし、本発明の実施形態を開示する本明細書及び図面を考慮した後では、本発明の多くの変更、修正、バリエーション、及び他の使用及び応用が、当業者に明らかとなろう。本発明の趣旨及び範囲から逸脱しない全ての変更、修正、バリエーション、及び他の使用並びに応用は、本発明によってカバーされるものと考えられる。
【図面の簡単な説明】
【図１】 本発明の装置をブロック図で示す。
【図２】 本発明のエンコーディング・システムの第１の代替実施形態をブロック図で示す。
【図３】 本発明のエンコーディング・システムの第２の代替実施形態をブロック図で示す。
【図４】 本発明のエンコーディング・システムの第３の代替実施形態をブロック図で示す。
【図５】 エンコーディング・プロセスを最適化するために、付随情報を抽出する方法のフローチャートを示す。
【図６】 本発明のＭＰＥＧ準拠エンコーダをブロック図で示す。
【図７】 本発明のウェーブレット・ベース・エンコーダをブロック図で示す。
【図８】 ウェーブレット・ツリーのグラフを示す。
【図９】 本発明の付随情報抽出器をブロック図で示す。
【図１０】 汎用コンピュータを使用して実現された本発明のエンコーディング・システムの実施形態をブロック図で示す。

Claims (8)

  1. 画像シーケンスのフレームをエンコードする方法であって、
    （ａ）前記画像シーケンスの第１フレーム群から付随情報を抽出するステップと、
    （ｂ）前記画像シーケンスにおける前記第１フレーム群の以降の第２フレーム群に前記付随情報を挿入するステップと、
    （ｃ）前記挿入された付随情報に従って前記画像シーケンスの第２フレーム群をエンコードするステップと、を含む方法。
  2. 前記抽出ステップ（ａ）が、前記画像シーケンスから動き度付随情報を抽出するステップを含む、請求項１に記載の方法。
  3. 前記抽出ステップ（ａ）が、シーン・チェンジ付随情報を前記画像シーケンスから抽出するステップを含む、請求項１に記載の方法。
  4. 前記抽出ステップ（ａ）が、変則フレーム付随情報を前記画像シーケンスから抽出するステップを含む、請求項１に記載の方法。
  5. （ａ’）前記付随情報をストレージへ記憶するステップを更に含み、
    前記エンコード・ステップ（ｂ）が、前記記憶された付随情報に従って前記画像シーケンスの前記フレームをエンコードする、 請求項１に記載の方法。
  6. （ａ’）前記画像シーケンスへ遅延を適用するステップを更に含む、請求項１に記載の方法。
  7. 付随情報を有する画像シーケンスを発生する方法であって、
    （ａ）入力画像シーケンスの第１フレーム群から付随情報を生成するステップと、 （ｂ）前記付随情報に従って前記画像シーケンスにおける前記第１フレーム群の以降の第２フレーム群を符号化するため、前記入力画像シーケンスの第２フレーム群に前記付随情報を挿入するステップと、を含む方法。
  8. 画像シーケンスのフレームをエンコードする装置であって、
    付随情報を前記画像シーケンスの第１フレーム群から抽出する付随情報抽出器と、
    前記画像シーケンスにおける前記第１フレーム群の以降の第２フレーム群に前記付随情報を挿入する付随情報挿入器と、
    前記付随情報に従って前記画像シーケンスの第２フレーム群をエンコードするエンコーダとを含む装置。
JP2000529077A 1998-01-21 1999-01-19 符号化システムを改善するために付随情報を使用する装置及び方法 Expired - Lifetime JP4373606B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7208098P 1998-01-21 1998-01-21
US60/072,080 1998-01-21
US09/123,238 1998-07-28
US09/123,238 US6100940A (en) 1998-01-21 1998-07-28 Apparatus and method for using side information to improve a coding system
PCT/US1999/001049 WO1999038314A2 (en) 1998-01-21 1999-01-19 Apparatus and method for using side information to improve a coding system

Publications (2)

Publication Number Publication Date
JP2002502158A JP2002502158A (ja) 2002-01-22
JP4373606B2 true JP4373606B2 (ja) 2009-11-25

Family

ID=26752985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000529077A Expired - Lifetime JP4373606B2 (ja) 1998-01-21 1999-01-19 符号化システムを改善するために付随情報を使用する装置及び方法

Country Status (5)

Country Link
US (2) US6100940A (ja)
EP (1) EP1051837A4 (ja)
JP (1) JP4373606B2 (ja)
CA (1) CA2317719A1 (ja)
WO (1) WO1999038314A2 (ja)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715009A (en) 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
EP2387038A3 (en) * 1997-10-17 2012-01-11 Sony Corporation Processing apparatus and method for recording, processing apparatus and method for reproducing, program for controlling a recording apparatus, program for controlling a reproducing apparatus, recording medium
US6459459B1 (en) * 1998-01-07 2002-10-01 Sharp Laboratories Of America, Inc. Method for detecting transitions in sampled digital video sequences
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
GB2333657B (en) * 1998-01-22 2002-08-21 Snell & Wilcox Ltd Video signal compression
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JP4126126B2 (ja) * 1998-12-11 2008-07-30 株式会社日立製作所 送信システム、送信方法
EP1064790A1 (en) * 1999-01-15 2001-01-03 Koninklijke Philips Electronics N.V. Coding and noise filtering an image sequence
EP1069779B1 (en) * 1999-02-09 2016-04-13 Sony Corporation Coding system and its method
US7181073B1 (en) * 1999-03-08 2007-02-20 Texas Instruments Incorporated Image coding using embedded zerotree patterns and bitplanes
GB2356508B (en) * 1999-11-16 2004-03-17 Sony Uk Ltd Data processor and data processing method
US6792151B1 (en) * 1999-11-24 2004-09-14 General Electric Company Image data compression employing optimal subregion compression
US6912317B1 (en) * 1999-11-24 2005-06-28 General Electric Company Medical image data compression employing image descriptive information for optimal compression
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
CA2374067C (en) * 2000-03-13 2012-09-25 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
CN101035277A (zh) 2000-03-13 2007-09-12 索尼公司 产生压缩的代码转换提示元数据的方法和设备
GB0013273D0 (en) * 2000-06-01 2000-07-26 Philips Electronics Nv Video signal encoding and buffer management
GB0019121D0 (en) * 2000-08-03 2000-09-27 Wave Limited M Signal compression and decompression
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
EP1329109A2 (en) * 2000-10-10 2003-07-23 Koninklijke Philips Electronics N.V. Video bitrate control method and device for digital video recording
AU2002218009A1 (en) * 2000-11-01 2002-05-15 Webcast Technologies Inc Encoding and decoding of video signals
KR100357689B1 (ko) * 2000-11-13 2002-10-19 삼성전자 주식회사 일관된 화질을 가지는 실시간 가변 비트율 엠펙 비디오전송 시스템
US7982796B2 (en) * 2001-03-21 2011-07-19 Apple Inc. Track for improved video compression
US7050497B2 (en) * 2001-03-28 2006-05-23 Thomson Licensing Process and device for the video coding of high definition images
US7035468B2 (en) * 2001-04-20 2006-04-25 Front Porch Digital Inc. Methods and apparatus for archiving, indexing and accessing audio and video data
US6947598B2 (en) * 2001-04-20 2005-09-20 Front Porch Digital Inc. Methods and apparatus for generating, including and using information relating to archived audio/video data
US7110664B2 (en) 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
JP4447805B2 (ja) * 2001-08-09 2010-04-07 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US6970512B2 (en) 2001-08-28 2005-11-29 Sbc Technology Resources, Inc. Method and system to improve the transport of compressed video data
US7075990B2 (en) 2001-08-28 2006-07-11 Sbc Properties, L.P. Method and system to improve the transport of compressed video data in real time
US6996183B2 (en) * 2001-09-26 2006-02-07 Thomson Licensing Scene cut detection in a video bitstream
ATE513415T1 (de) 2001-12-28 2011-07-15 Koninkl Philips Electronics Nv Verfahren zur verarbeitung von multimediainhalt
US8582031B2 (en) * 2002-01-22 2013-11-12 Broadcom Corporation System and method of transmission and display of progressive video with hints for interlaced display
US6700935B2 (en) * 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
FR2835995B1 (fr) * 2002-02-11 2004-05-14 Nextream Sa Dispositif et methode de recodage d'un flux de donnees video
US7317840B2 (en) * 2002-02-26 2008-01-08 Decegama Angel Methods for real-time software video/audio compression, transmission, decompression and display
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7738551B2 (en) * 2002-03-18 2010-06-15 International Business Machines Corporation System and method for processing a high definition television (HDTV) image
US7180943B1 (en) * 2002-03-26 2007-02-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Compression of a data stream by selection among a set of compression tools
US7609767B2 (en) 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US7463684B2 (en) * 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
FR2840495B1 (fr) * 2002-05-29 2004-07-30 Canon Kk Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage
EP1387584A1 (en) * 2002-07-22 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for storing and transmiting audio-visual data
US20050259750A1 (en) * 2002-07-24 2005-11-24 Koninklijke Philips Electronics N.V. Method and encoder for encoding a digital video signal
US7336720B2 (en) 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
EP1418764A1 (en) * 2002-11-05 2004-05-12 STMicroelectronics S.A. Method and apparatus for transcoding sub-picture data, and video display system comprising such apparatus
US20040143849A1 (en) * 2003-01-16 2004-07-22 Pierre Costa Method and system to create a deterministic traffic profile for isochronous data networks
EP1439707A3 (en) * 2003-01-17 2006-01-11 Broadcom Corporation Transmission and display of progressive video with hints for interlaced display
US20040161036A1 (en) * 2003-02-13 2004-08-19 Satoru Yamauchi MPEG encoding system
KR20040079084A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
FR2852772B1 (fr) * 2003-03-17 2005-07-08 Thomson Licensing Sa Procede de codage applique a des documents multimedia et dispositif mettant en oeuvre le procede
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
US20050281289A1 (en) * 2004-06-21 2005-12-22 Huang Jau H System and method for embedding multimedia processing information in a multimedia bitstream
US20060026217A1 (en) * 2004-06-25 2006-02-02 Lindner James A Method and system for automated migration of media archives
US20060056506A1 (en) * 2004-09-13 2006-03-16 Ho Chia C System and method for embedding multimedia compression information in a multimedia bitstream
US20060059509A1 (en) * 2004-09-13 2006-03-16 Huang Jau H System and method for embedding commercial information in a video bitstream
US20060059510A1 (en) * 2004-09-13 2006-03-16 Huang Jau H System and method for embedding scene change information in a video bitstream
US20060078288A1 (en) * 2004-10-12 2006-04-13 Huang Jau H System and method for embedding multimedia editing information in a multimedia bitstream
JP4335779B2 (ja) * 2004-10-28 2009-09-30 富士通マイクロエレクトロニクス株式会社 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
CN101461248B (zh) 2006-06-09 2011-04-06 汤姆森许可贸易公司 自适应地确定用于视频图像编码的比特预算的方法和设备
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US20100309987A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and encoding system
US8300703B2 (en) * 2009-09-22 2012-10-30 Texas Instruments Incorporated System and method for adaptively allocating resources in a transcoder
WO2011100347A2 (en) 2010-02-09 2011-08-18 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
US9083984B2 (en) * 2010-03-19 2015-07-14 Texas Instruments Incorporated Adaptive coding structure and adaptive FCode determination in video coding
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US10027982B2 (en) 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
EP2777258B1 (en) * 2011-11-04 2017-01-11 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
JP5950157B2 (ja) * 2012-05-18 2016-07-13 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP6109956B2 (ja) * 2012-12-17 2017-04-05 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
JP6319271B2 (ja) * 2015-11-09 2018-05-09 横河電機株式会社 イベント解析装置、イベント解析システム、イベント解析方法、およびイベント解析プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0493130B1 (en) * 1990-12-28 1997-06-11 Canon Kabushiki Kaisha Image encoding apparatus optimizing the amount of generated code
JP3189861B2 (ja) * 1992-11-13 2001-07-16 ソニー株式会社 動画像符号化装置および方法
US5640208A (en) * 1991-06-27 1997-06-17 Sony Corporation Video signal encoding in accordance with stored parameters
JP3227674B2 (ja) * 1991-06-27 2001-11-12 ソニー株式会社 動画像符号化装置および方法
JP3315766B2 (ja) * 1992-09-07 2002-08-19 富士通株式会社 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JP3551447B2 (ja) * 1992-09-22 2004-08-04 ソニー株式会社 データ符号化装置および方法、データ復号化装置および方法
JP2785220B2 (ja) * 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
JP3264290B2 (ja) * 1992-09-22 2002-03-11 ソニー株式会社 復号方法および復号装置
US5532833A (en) * 1992-10-13 1996-07-02 International Business Machines Corporation Method and system for displaying selected portions of a motion video image
JPH06153202A (ja) * 1992-10-29 1994-05-31 F M T:Kk 異常監視装置
JP3277971B2 (ja) * 1993-03-31 2002-04-22 ソニー株式会社 データ多重化装置、データ多重化方法及びデータ記録媒体
JPH0865664A (ja) * 1994-08-23 1996-03-08 Hitachi Ltd 圧縮画像データの復号装置
US5530483A (en) * 1994-10-11 1996-06-25 Pixel Instruments Corp. Delay detector apparatus and method for plural image sequences
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
JP3800640B2 (ja) * 1995-07-04 2006-07-26 ソニー株式会社 画像情報の動き検出方法及びその装置、画像情報の符号化方法及びその装置、画像情報伝送システム、画像情報記録システム並びに記録媒体
JP3418485B2 (ja) * 1995-09-14 2003-06-23 シャープ株式会社 画像データ蓄積装置
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
JP3428332B2 (ja) * 1995-12-28 2003-07-22 ソニー株式会社 画像符号化方法及び装置、並びに画像伝送方法
US5724100A (en) * 1996-02-26 1998-03-03 David Sarnoff Research Center, Inc. Method and apparatus for detecting scene-cuts in a block-based video coding system
GB9607645D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Processing of video signals prior to compression
JPH09284770A (ja) * 1996-04-13 1997-10-31 Sony Corp 画像符号化装置および方法
GB9611455D0 (en) * 1996-05-29 1996-08-07 Digi Media Vision Ltd Method and apparatus for processing a digital signal
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system

Also Published As

Publication number Publication date
CA2317719A1 (en) 1999-07-29
US6100940A (en) 2000-08-08
EP1051837A4 (en) 2004-03-31
US6233278B1 (en) 2001-05-15
WO1999038314A3 (en) 2000-01-06
JP2002502158A (ja) 2002-01-22
WO1999038314A2 (en) 1999-07-29
EP1051837A2 (en) 2000-11-15

Similar Documents

Publication Publication Date Title
JP4373606B2 (ja) 符号化システムを改善するために付随情報を使用する装置及び方法
JP5180294B2 (ja) ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御
US6959044B1 (en) Dynamic GOP system and method for digital video encoding
US10013746B2 (en) High dynamic range video tone mapping
KR101326443B1 (ko) 콘텐츠 정보에 기초한 스케일러빌리티 기술
US9628811B2 (en) Adaptive group of pictures (AGOP) structure determination
JP4187405B2 (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US20060083310A1 (en) Adaptive overlapped block matching for accurate motion compensation
JP2007525921A (ja) ビデオ符号化方法及び装置
KR20000071026A (ko) 코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법
JPH11346362A (ja) リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器
KR20010021879A (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
KR20070085745A (ko) 코딩된 비디오 데이터를 처리하기 위한 방법 및 장치
US20100111180A1 (en) Scene change detection
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
US7636482B1 (en) Efficient use of keyframes in video compression
KR20040060980A (ko) 압축되지 않은 디지털 비디오로부터 인트라-코딩된화상들을 검출하고 인트라 ｄｃｔ 정확도 및매크로블록-레벨 코딩 파라메터들을 추출하는 방법 및시스템
JP2006311079A (ja) 画像ビットストリーム変換装置
US8503520B2 (en) Method and apparatus for encoding a flash picture occurring in a video sequence, and for decoding corresponding data for a flash picture
JP2011129979A (ja) 画像処理装置
JP2006311078A (ja) 高能率符号化記録装置
Overmeire et al. Constant quality video coding using video content analysis
Akujuobi Application of Wavelets to Video Compression
Rehan et al. Frame-Accurate video cropping in compressed MPEG domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051207

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term