JPH11177989A - ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置 - Google Patents

２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置

Info

Publication number
JPH11177989A
JPH11177989A JP10269386A JP26938698A JPH11177989A JP H11177989 A JPH11177989 A JP H11177989A JP 10269386 A JP10269386 A JP 10269386A JP 26938698 A JP26938698 A JP 26938698A JP H11177989 A JPH11177989 A JP H11177989A
Authority
JP
Japan
Prior art keywords
frame
quantization parameter
encoding
sequence
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10269386A
Other languages
English (en)
Other versions
JP3510495B2 (ja
Inventor
E Boyce Charles
チャールズ・イー・ボイス
A Hall Barbara
バーバラ・エイ・ホール
M Kakutsumaakujikku John
ジョン・エム・カクツマークジック
E Ngai Agnes
アグネス・イー・ンガイ
P Pokurinchakku Stephen
ステファン・ピー・ポクリンチャック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/948,442 external-priority patent/US6040861A/en
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH11177989A publication Critical patent/JPH11177989A/ja
Application granted granted Critical
Publication of JP3510495B2 publication Critical patent/JP3510495B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】リアルタイムＶＢＲビデオ符号化システムを提
供することによって高い圧縮率を得ながら符号化ビデオ
・シーケンスのピクチャ品質を向上させる。 【解決手段】ビデオ・フレームのシーケンスをハードウ
エア、ソフトウエア、又はそれらの組合せによりリアル
タイムで適応的に符号化するための方法、システム、及
びコンピュータ・プログラム製品が提供される。第１符
号化サブシステムがビデオ・フレームのシーケンスを分
析して、動き統計量、非動き統計量、シーン変化統計
量、又はシーン・フェーディング統計量のような、その
少なくとも１つの特性に関する情報を導出する。収集さ
れた情報はフレーム内特性又はフレーム間特性であって
もよい。制御プロセッサが第１符号化サブシステムに結
合されてその収集された情報をリアルタイムで自動的に
分析し、制御パラメータのセットを動的に生じさせる。
制御プロセッサに結合された第２符号化サブシステム
が、制御パラメータの対応するセットを使用してビデオ
・フレームのシーケンスの各フレームを符号化する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、概して云えば、デ
ィジタル・ビジュアル・イメージの圧縮に関するもので
あり、更に詳しく云えば、１つ又は複数の制御可能な符
号化パラメータをフレーム毎に又はフレーム内で動的に
変更するためにビデオ・シーケンスから導出されたイメ
ージ統計を使用してそのビデオ・シーケンスをリアルタ
イムで符号化するための技法に関するものである。
【０００２】
【従来の技術】過去の１０年において、世界的な電子通
信システムの出現は、人々が情報を送信及び受信できる
手段を強化させている。特に、リアルタイム・ビデオ及
びオーディオ・システムの機能は最近の数年間で非常に
改良されている。ビデオ・オン・デマンド及びテレビ会
議のようなサービスを加入者に提供するためには、莫大
な量のネットワーク帯域幅が必要とされる。事実、ネッ
トワーク帯域幅はそのようなシステムの実効性において
主な阻害要因となることが多い。
【０００３】ネットワークによって課せられた制約を克
服するために、圧縮方式が出現している。これらの方式
は、ピクチャ・シーケンスの中の冗長性を取り除くこと
によって、送信を要するビデオ及びオーディオ・データ
の量を減少させるものである。受信エンドにおいて、ピ
クチャ・シーケンスが圧縮解除され、リアルタイムで表
示可能である。
【０００４】最近出現したビデオ圧縮標準の一例は、動
画エキスパート・グループ（ＭＰＥＧ）標準である。そ
のＭＰＥＧ標準では、所与のピクチャ内及びピクチャ相
互間の両方におけるビデオ圧縮が定義されている。ピク
チャ内のビデオ圧縮は、離散コサイン変換、量子化、及
び可変長符号化により、時間ドメインから周波数ドメイ
ンにディジタル・イメージを変換することによって達成
される。ピクチャ相互間のビデオ圧縮は、動き推定及び
補償と呼ばれるプロセスを介して達成される。そのプロ
セスでは、１つのピクチャから他のピクチャへの一組の
画素（ペル）の変換を記述するために、動きベクトル及
び差分データが使用される。
【０００５】ＩＳＯ ＭＰＥＧ−２標準は、ビット・ス
トリームのシンタックス及び復号プロセスのセマンティ
ックスだけを指定する。符号化パラメータの選択及び性
能対複雑性におけるトレードオフがエンコーダ開発者に
残されている。
【０００６】符号化プロセスの１つの局面は、ビデオの
ディテール及び品質を維持しながらディジタル・イメー
ジをできるだけ小さいビットストリームに圧縮すること
である。ＭＰＥＧ標準はビットストリームのサイズに関
する制限を設け、エンコーダが符号化プロセスを遂行す
ることができることを必要とする。従って、所望のピク
チャ品質及びディテールを維持するためにビット・レー
トを単純に最適化することは困難であることがある。
【０００７】例えば、ビット・レートはビット／秒で定
義される。符号化されるピクチャのフレーム・レート及
びタイプに基づいて、１ピクチャ当たり、複数のビット
が割り振られる。６,０００,０００ビット／秒（６Ｍｂ
ｐｓ）及び３０ピクチャ・フレーム／秒の時、ビットが
一様に割り振られるものと仮定すると、各ピクチャには
２００,０００ビットを割り振られることになる。１３
５０個のマクロブロックを有する７２０×４８０ピクチ
ャの場合、これはマクロブロック当たり１４８ビットの
割り振りとなる。従って、シーン変化及びアクション・
ビデオの場合、ビット・レートは、マクロブロック相互
間又はフレーム相互間の激しい変化によってビット・レ
ートを急速に使い果たしてしまうことがある。その結
果、ピクチャの品質及びディテールが損なわれることが
ある。
【０００８】所望のピクチャ品質を得ながら最高の圧縮
量を得るためには、ビデオ圧縮は先進技術を必要とす
る。可変ビット・レート（ＶＢＲ）符号化はビデオ圧縮
におけるオプションであり、これは各圧縮されたピクチ
ャがピクチャ内及びピクチャ間の特性の複雑度に基づい
て異なるビット量を持つことを可能にする。例えば、所
望のピクチャ品質を得るためには、簡単なピクチャ内容
（カラー・テスト・パターンのような）を持ったシーン
は、符号化のためには、複雑なピクチャ内容（混雑した
街路のような）を持ったシーンよりもかなり少ないビッ
トしか必要としないであろう。ビデオを特徴付けるため
に必要とされる情報の量のために、及び情報を解釈して
符号化プロセスを効果的に強化させるために必要とされ
るアルゴリズムの複雑性のために、ＶＢＲ符号化は、２
つ以上のパスの非リアルタイム符号化プロセスによって
行われるのが一般的である。第１のパスでは、統計が収
集及び分析され、第２パスでは、符号化プロセスを制御
するために、その分析の結果が使用される。これは高品
質の符号化を生じさせるけれども、リアルタイム・オペ
レーションを可能にするものではない。
【０００９】
【発明が解決しようとする課題】本発明は、リアルタイ
ムＶＢＲビデオ符号化システムを提供することによって
高い圧縮率を得ながら符号化ビデオ・シーケンスのピク
チャ品質を向上させようとするものである。
【００１０】
【課題を解決するための手段】要約すれば、本発明は、
１つの局面では、フレーム・シーケンスを符号化するた
めの方法より成る。その方法は、ビデオ・フレームのシ
ーケンスを分析し、シーン変化、ピクチャ品質、使用ビ
ット、目標ビット・レート、及びピクチャ・タイプの少
なくとも１つである少なくとも１つの特性に関する情報
を導出するために第１符号化サブシステムを使用するス
テップ、ビデオ・フレームのシーケンスの符号化におい
て使用される少なくとも１つの制御可能なパラメータに
対する値を生じさせるために前記少なくとも１つの特性
をリアルタイムで自動的に処理するステップと、第２符
号化サブシステムを使用してビデオ・フレームのシーケ
ンスを符号化し、前記少なくとも１つの制御可能なパラ
メータの値を使用して符号化ビデオ・データのビットス
トリームを生じさせるステップとを含む。
【００１１】もう１つの局面では、本発明は、一連のビ
デオ・フレームを符号化するためのシステムを含む。そ
のシステムは第１符号化サブシステム、制御プロセッ
サ、及び第２符号化サブシステムを含む。第１符号化サ
ブシステムは、ビデオ・フレームのシーケンスを分析し
てそれの少なくとも１つの特性に関する情報を導出する
ために使用される。その少なくとも１つの特性は、シー
ン変化、ピクチャ品質、使用ビット、目標ビット・レー
ト、及びピクチャ・タイプのうちの少なくとも１つを含
む。制御プロセッサは、少なくとも１つの特性に関する
情報をリアルタイムで自動的に処理するために第１符号
化サブシステムに結合され、ビデオ・フレームのシーケ
ンスを符号化する場合に使用される少なくとも１つの制
御可能なパラメータに対する値を生じさせる。第２符号
化サブシステムは、少なくとも１つの制御可能なパラメ
ータの値を受け取るために制御プロセッサに結合され
る。第２符号化サブシステムは、少なくとも１つの制御
可能なパラメータの対応する値を使用してビデオ・フレ
ームのシーケンスの各フレームを符号化し、それによっ
て、符号化ビデオ・データのビットストリームを生じさ
せる。
【００１２】更なる局面では、本発明は、ビデオ・フレ
ームのシーケンスを符号化する場合に使用するためのコ
ンピュータ読取り可能なプログラム・コード手段を有す
るコンピュータで使用可能な媒体を含むコンピュータ・
プログラム製品より成る。そのコンピュータ・プログラ
ム製品におけるコンピュータ読取り可能なプログラム・
コード手段は、次のようなことをコンピュータに実行さ
せるためのコンピュータ読取り可能プログラム・コード
手段を含む。そのプログラム・コード手段は、ビデオ・
フレームのシーケンスを分析させ、シーン変化、ピクチ
ャ品質、使用ビット、目標ビット・レート、及びピクチ
ャ・タイプのうちの少なくとも１つを含む少なくとも１
つの特性に関する情報を導出させ、ビデオ・フレームの
シーケンスを符号化する場合に使用される少なくとも１
つの制御可能パラメータに対する値を生じさせるために
少なくとも１つの特性を自動的に処理させ、符号化され
たビデオ・データのビットストリームを生じさせるため
に少なくとも１つの制御可能なパラメータの値を使用し
てビデオ・フレームのシーケンスを符号化させる。
【００１３】一般的に云って、本発明の原理による符号
化は、特に低いビット・レートでは、非適応性のエンコ
ーダ・システムに比べて改良されたピクチャ品質を生じ
る。これは、例えば、フレーム間及びフレーム内の適応
ビット割振りを使用することが低いビット・レート符号
化では高いビット・レート符号化に比べてよりクリティ
カルであるためである。本発明は、２つのエンコーダ及
びリアルタイム統計処理を使用するリアルタイム・ビデ
オ・データ符号化方法を提供する。統計処理は、第１エ
ンコーダと第２エンコーダとの間に結合されたプロセッ
サにおいて達成され、第１エンコーダによって発生され
た統計を分析して第２エンコーダのための符号化パラメ
ータを発生させる。次に、第２エンコーダが、その符号
化パラメータを使用して高品質の、高度に圧縮されたビ
デオ・ストリームを供給する。ＭＰＥＧ−２標準が仮定
されるが、本願に示される概念は、他の標準にも適用し
得るものである。本発明の符号化技法は、固定ビット・
レート（ＣＢＲ）モードにおけるデコード・ビデオ・シ
ーケンスの半固定ピクチャ品質、或いは可変ビット・レ
ート（ＶＢＲ）符号化モードにおける固定ピクチャ品質
を保証し得るものである。
【００１４】
【発明の実施の形態】本発明は、例えば、「情報テクノ
ロジ − 動画及び関連のオーディオ情報に関する汎用符
号化：ビデオ（Information Technology-Generic codin
g of movingpictures and associated audio informati
on:Video）」と題した Ｈ.２６２、ＩＳＯ／ＩＥＣ
１３８１８−２、ドラフト国際標準、１９９４の勧告Ｉ
ＴＵ−Ｔに記述されているようなＭＰＥＧ準拠エンコー
ダ及び符号化プロセスに関するものである。そのエンコ
ーダによって遂行される符号化機能は、データ入力、空
間圧縮、動き推定、マクロブロック・タイプ発生、デー
タ再構成、エントロピ符号化、及びデータ出力を含む。
空間圧縮は、離散コサイン変換（ＤＣＴ）、量子化、及
びエントロピ符号化を含む。時間圧縮は、逆離散コサイ
ン変換、逆量子化、及び動き補償のような集中的再構成
処理を含む。動き推定及び補償は時間圧縮機能のために
使用される。空間圧縮及び時間圧縮は高度の計算要件を
持った反復機能である。
【００１５】更に詳しく云えば、本発明は、例えば、離
散コサイン変換、量子化、エントロピ符号化、動き推
定、動き補償、及び予測を含む空間及び時間圧縮を遂行
するためのプロセスに関するものであり、特に、空間及
び時間圧縮を達成するためのシステムに関するものであ
る。
【００１６】第１圧縮ステップは、空間冗長性の除去、
例えば、「Ｉ」フレーム・ピクチャの静止画における空
間冗長性の除去である。空間冗長性はピクチャ内の冗長
性である。ＭＰＥＧ−２ドラフト標準は、空間冗長性を
減少させるブロック・ベースの方法を使用しようとする
ものである。選択の方法は、離散コサイン変換及びピク
チャの離散コサイン変換符号化である。離散コサイン変
換符号化は加重スカラ量子化及びランレングス符号化と
結合され、望ましい圧縮を達成する。
【００１７】離散コサイン変換は直交変換である。直交
変換は、周波数ドメインの解釈を有するため、フィルタ
・バンク指向である。離散コサイン変換も局所化され
る。即ち、符号化プロセスは、６４個の変換係数又はサ
ブ・バンドを計算するに十分な８×８空間ウインドウで
サンプルする。
【００１８】離散コサイン変換のもう１つの利点は、速
い符号化及び復号アルゴリズムが使用可能であることで
ある。更に、離散コサイン変換のサブバンド分解は、心
理的な視覚特性の効果的な使用を可能にしている。
【００１９】変換後、周波数係数の多く、特に、高い空
間周波数に対する係数はゼロである。これらの係数はジ
グザグ状に又は交互走査パターン状に編成され、ラン−
振幅（ラン−レベル）の対に変換される。各対はゼロ係
数の数及び非ゼロ係数の振幅を表す。これは可変長符号
で符号化される。
【００２０】動き補償は、ピクチャ間の冗長性を減少さ
せるために或いは除去するために使用される。動き補償
は、現在のピクチャをブロックに、例えば、マクロブロ
ックに分けること、しかる後、同様な内容を持った近く
のブロックを求めて以前に伝送されたピクチャを探索す
ることによって時間冗長性を利用する。現在のブロック
・ペルと参照ピクチャから抽出された予測ブロック・ペ
ルとの間の差分だけが伝送のために実際に圧縮され、し
かる後、伝送される。
【００２１】動き補償及び予測の最も簡単な方法は、
「Ｉ」ピクチャにおけるすべてのペルの輝度及び色差を
記録し、しかる後、後続のピクチャにおける各ピクセル
に対する輝度及び色差の変化を記録することである。し
かし、これは、オブジェクトがピクチャ間で動くため、
即ち、ピクセル内容が１つのピクチャにおける１つのロ
ケーションから後続のピクチャにおける異なるロケーシ
ョンに動くため、伝送媒体帯域幅、メモリ、プロセッサ
能力、及び処理時間の面で不経済である。更に進んだ考
えは先行ピクチャ又は後続ピクチャを使用して、ピクセ
ルのブロックが、後続のピクチャ又は先行のピクチャの
何処にあるかを、例えば、動きベクトルを使って予測
し、その結果を「予測ピクチャ」、又は「Ｐ」ピクチャ
として書くということである。更に詳しく云えば、これ
は、ｉ番目のピクチャのピクセル又はピクセルのマクロ
ブロックがｉ−１番目のピクチャ又はｉ＋１番目のピク
チャ内の何処にあるかに関して最良の推定又は予測を行
うことを伴う。後続及び先行のピクチャの両方を使用し
て、ピクセルのブロックが中間ピクチャ又は「Ｂ」ピク
チャ内の何処にあるかを予測することも行われる。
【００２２】ピクチャ符号化順序及びピクチャ伝送順序
が必ずしもピクチャ表示順序に一致しないことは注意す
べきことである（図２参照）。Ｉ−Ｐ−Ｂシステムの場
合、入力ピクチャ伝送順序は符号化順序とは異なってお
り、入力ピクチャは符号化のために使用されるまで一時
的に記憶されなければならない。バッファはこの入力
を、それが使用されるまで記憶する。
【００２３】図１には、ＭＰＥＧ準拠符号化の一般化し
たフローチャートが示される。そのフローチャートにお
いて、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイ
メージが動きベクトルを発生するために処理される。動
きベクトルは、ピクセルのマクロブロックが先行又は後
続のピクチャ内の何処にあるかを予測する。動きベクト
ルの使用は、ＭＰＥＧ標準における時間圧縮の必須の要
件である。図１に示されるように、動きベクトルは、一
旦発生されると、ｉ番目のピクチャからｉ＋１番目のピ
クチャへのピクセルのマクロブロックの変換に使用され
る。
【００２４】図１に示されるように、符号化プロセスで
は、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイメ
ージがエンコーダ１１において処理され、例えば、ｉ＋
１番目のピクチャ及びそれに後続するピクチャが符号化
されそして伝送される形式である動きベクトルを発生す
る。後続ピクチャの入力イメージ１１１はエンコーダの
動き推定ユニット４３に進む。動きベクトル１１３は動
き推定ユニット４３の出力として形成される。これらの
ベクトルは動き補償ユニット４１によって使用され、こ
のユニットによる出力のために、「参照」データと呼ば
れるマクロブロック・データを先行ピクチャ又は後続ピ
クチャから検索する。動き補償ユニット４１の１つの出
力は、動き推定ユニット４３からの出力と負の和をとら
れ、離散コサイン変換器２１に進む。離散コサイン変換
器２１の出力は量子化器２３において量子化される。量
子化器２３の出力は２つの出力１２１及び１３１に分け
られる。一方の出力１２１は、伝送前の更なる圧縮及び
処理のために、ラン・レングス・エンコーダのような下
流エレメント２５に進む。他方の出力１３１は、フレー
ム・メモリ４２に記憶するためにピクセルの符号化され
たマクロブロックの再構成に進む。例示のエンコーダで
は、この第２出力１３１は、差分マクロブロック（Ｍ
Ｂ）を非可逆的に再構成するために、逆量子化器２９及
び逆離散コサイン変換器３１を通過する。このデータは
動き補償ユニット４１の出力との和をとられ、再構成さ
れた現マクロブロック・データをフレーム・メモリ４２
に戻す。
【００２５】図２に示されるように、３つのタイプのピ
クチャがある。全体を符号化されて伝送され、動きベク
トルが定義される必要のない「イントラ符号化ピクチ
ャ」又は「Ｉ」ピクチャがある。これらの「Ｉ」ピクチ
ャは動き推定のための参照イメージとして働く。先行ピ
クチャからの動きベクトルによって形成され、更なるピ
クチャに対する動き推定のための参照イメージとして働
き得る「予測符号化ピクチャ」又は「Ｐ」ピクチャがあ
る。最後に、他の２つのピクチャ、即ち、１つの過去の
ピクチャ及び１つの将来のピクチャからの動きベクトル
を使用して形成され、動き推定のための参照イメージと
して働き得ない「双方向予測符号化ピクチャ」又は
「Ｂ」ピクチャがある。動きベクトルは「Ｉ」ピクチャ
及び「Ｐ」ピクチャから発生され、「Ｐ」ピクチャ及び
「Ｂ」ピクチャを形成するために使用される。
【００２６】図３に示される動き推定を行う１つの方法
は、最良一致マクロブロック２１３を見つけるために、
ｉ番目のピクチャのマクロブロック２１１から次のピク
チャの領域を探索することによるものである。この方法
でマクロブロックを変換すると、図４に示されるよう
に、ｉ＋１番目のピクチャに対するマクロブロックのパ
ターンを生じる。この方法では、ｉ番目のピクチャが、
ｉ＋１番目のピクチャを発生するために、例えば、動き
ベクトル及び差分データによって少し変化させられる。
符号化されるものは、動きベクトル及び差分データであ
って、ｉ＋１番目のピクチャそのものではない。動きベ
クトルはピクチャ間でのイメージの位置変化を示し、一
方、差分データは色差、輝度、及び彩度の変化、即ち、
陰影及び照度の変化を示す。
【００２７】図３に戻ると、良好な一致を見つけるため
の探索は、ｉ番目及びｉ＋１番目のピクチャの同じ位置
から開始する。探索ウインドウがｉ番目のピクチャ内に
作られる。この探索ウインドウ内での最良一致を求めて
探索が行われる。それが見つかると、そのマクロブロッ
クに対する最良一致動きベクトルが符号化される。最良
一致マクロブロックの符号化は、次のピクチャにおいて
ｘ方向及びｙ方向に何ピクセル変位すると最良一致にな
るかを示す動きベクトルを含む。「予測誤差」とも呼ば
れる差分データも符号化される。差分データは、現マク
ロブロックと最良一致参照マクロブロックとの間の色差
及び輝度の差である。
【００２８】ＭＰＥＧ−２エンコーダの操作機能は、１
９９７年４月１日に出願された米国特許出願第０８／８
３１１５７号に詳しく説明されている。
【００２９】前述のように、エンコーダの性能やピクチ
ャ品質は、本発明の原理によるリアルタイム適応ビデオ
符号化によって向上する。ビデオ・エンコーダは、フレ
ームのシーケンスとして受信されたビデオ・データに適
応するように構成される。本発明の一実施例によれば、
２つの符号化サブシステムが使用される。２つの符号化
サブシステムを使用する重要な利点は、リアルタイム符
号化の前にビデオ・シーケンスを分析できることであ
る。ビデオ・シーケンスの分析は、ビデオ・データから
導出可能な１つ又は複数の統計量を計算することを含
む。
【００３０】統計的手法は、例えば、フレームの複雑
度、イメージ・フレーム間の動き、シーン変化、又はフ
ェーディング等の、イメージ・フレームの種々な特性を
説明することができる。計算された統計量を使用して、
リアルタイム符号化プロセスの１つ又は複数の符号化パ
ラメータを制御することにより、ビデオ・シーケンスの
適応符号化が行われる。例えば、ビット割振り、量子化
パラメータ、符号化モード等は、特定のフレームの特性
（例えば、シーン内容）の導出された統計に従ってフレ
ーム毎に又は所与のフレーム内のマクロブロック毎に変
更可能である。
【００３１】図５には、全体的に３００として表された
本発明の原理による符号化システムの一実施例が示され
る。ここでも、説明の便宜上、ＭＰＥＧ標準を仮定する
ことにする。しかし、他の実現方法及び標準が本発明の
適応符号化の概念を使用し得ることは当業者には明らか
であろう。システム３００は、２つの符号化サブシステ
ム（Ｅ１）３３０及び（Ｅ２）３６０を含む。１つの実
現方法では、後述のように、符号化サブシステムＥ１及
びＥ２は同じハードウエアを持つが、ソフトウエアは異
なっている。Ｅ１は、フレーム間／フレーム内の非動き
統計量、動き統計量等のような所望の統計量、即ち、符
号化サブシステム（Ｅ２）の特定のビット・レート制御
アルゴリズムにとって重要である統計量を発生するよう
にプログラムされる。Ｅ２は、符号化サブシステムＥ１
によって発生された統計量に基づいて符号化フレームを
発生する。
【００３２】動作的には、先ず、一連のビデオ・フレー
ム３１０がフレーム記憶装置３２０によって受信され
る。フレーム記憶装置３２０では、符号化の仕様（例え
ば、Ｉ、ＩＰ、ＩＢＢＰ符号化）に応じて、１つ又は複
数のフレームがバッファされる。これは、フレーム記憶
装置３２０を適当な数のピクチャ・バッファ（ピクチャ
・グループ（ＧＯＰ）構造によって決定される）に区分
することによって達せられる。これらの区分は遅延制御
ロジック３５０によって管理される。設計によって決ま
る十分な遅延の後、ビデオ・フレーム情報が符号化サブ
システム（Ｅ１）３３０に送られる。Ｅ１はイメージ統
計に関する情報を導出し、この情報を統計量バッファ３
４０にフレーム毎に記憶する。遅延制御ロジック３５０
は、着信ビデオ・データ及びイメージ統計量のバッファ
リングを管理し、フレーム記憶装置３２０からのビデオ
・フレーム及び統計量バッファ３４０からの導出された
統計量を符号化サブシステム（Ｅ２）３６０に符号化順
に給送する。これらの統計量を使用して、サブシステム
Ｅ２は、後述するように、フレームを適応的に符号化
し、そして受信されたビデオ入力３１０の１つ又は複数
の特性に関する統計量を発生することを可能にするに十
分なフレーム時間だけしか遅延されずにその符号化され
たビットストリーム３７０を出力する。
【００３３】図６には、汎用の符号化サブシステム４０
０が示される。このサブシステム４００は、受信したビ
デオ・データに関する非動き統計量を計算するためのハ
ードウエア／ソフトウエア４２０、及び実際のビデオ圧
縮、即ち、動き推定、動き圧縮、量子化、可変長符号化
等を遂行するためのハードウエア／ソフトウエアより成
る符号化エンジン４１０を含む。符号化サブシステム
（Ｅ１）３３０（図５）は統計量収集ロジック４２０及
び符号化エンジン４１０の両方を使用し、一方、符号化
サブシステム（Ｅ２）３６０（図５）は符号化エンジン
４１０だけを使用する。従って、サブシステムＥ１にお
ける符号化の第１パスの間、動きベクトルに基づく動き
統計量が符号化エンジン４１０により計算される。次い
で、符号化サブシステムＥ２は、符号化エンジン４１０
を通る第２パスを使用して符号化ビットストリームを出
力する。
【００３４】本発明によるシステムのリアルタイム・オ
ペレーション及び関連のフレーム遅延が表１のＭＰＥＧ
−２の例において示される。この例では、１つのＢピク
チャが２つのアンカ・ピクチャの間にある（ＩＢＰＢＰ
ＢＰ．．．）と想定され、非動き統計量が収集されてい
る。ビデオ・データの１つのフレームだけが統計量計算
の前にバッファされ、フレームの入力及び出力の間の遅
延は、この例では、最大４フレーム分である。
【表１】
【００３５】本発明の原理を使用した他の実現方法も当
業者には明らかであろう。例えば、ビデオ・データは、
それがＢピクチャを持たず、しかも統計量がフレーム内
である場合、第１符号化サブシステムＥ１及びフレーム
記憶装置に並列に入力可能である。
【００３６】符号化サブシステムＥ１において計算され
る統計量の例を次に説明することにする。
【００３７】前述のように、符号化サブシステムＥ１は
イメージ・データから統計量を計算する。これらの統計
量に基づいて、サブシステムは、シーン変化又はフェー
ディング検出を識別するというような事前処理ステップ
を実行することもできる。サブシステムＥ１によって計
算される特定の統計量は、サブシステムＥ２における速
度制御アルゴリズムの実現方法に依存する。ＭＰＥＧ−
２符号化の場合、フレームのための或いはフレーム内の
量子化を決定するために使用可能な広範囲のピクチャ統
計量が存在する。以下で開示される統計量は単に例とし
て与えられるだけであり、別のＥ２ビデオ圧縮アルゴリ
ズムが異なった統計量を使用することも可能である。
【００３８】一般に、フレーム統計量は２つのグルー
プ、即ち、フレーム内統計量及びフレーム間統計量に分
けられる。フレーム内統計量はフレーム内のピクセル・
データのみを使用して計算され、一方、フレーム間統計
量はイメージ・シーケンスからの幾つかの連続したイメ
ージ（一般には、２つの連続したイメージ）を使用して
得られる。フレーム内統計量及びフレーム間統計量は更
にグローバル量及びローカル量に分けられる。グローバ
ル量はイメージ・フレーム全体の特性を記述し、ローカ
ル統計値はフレームの各区画に対して、例えば、フレー
ムの各マクロブロックに対して計算される。ここで示さ
れる統計量は輝度データから計算可能である。しかし、
色差データからも更なる統計量を導出することが可能で
ある。
【００３９】Ａ．フレーム内統計量 （ａ）グローバル量： ＊ フレームの平均ピクセル間差分（ＡＩＤ）−ＡＩＤ
は、フレームのイメージ・ラインにおける２つの連続し
たピクセル間の絶対差分の平均である。ＡＩＤが高けれ
ば高いほど、フレームにおけるディテールも高い。この
量は、フレームのピクセルが通過する時、ピクセル・イ
ンターフェースのハードウエアによって計算される。 ＊ フレームの平均アクティビティ（ＡＶＡＣＴ）−Ａ
ＶＡＣＴは、フレーム中のマクロブロック変動の平均と
して算定される。マクロブロック変動は、マクロブロッ
クのピクセル値から統計的平均として算定可能である。
平均アクティビティはピクチャの複雑度に関する情報を
与える。
【００４０】（ｂ）ローカル量：上記グローバル量の計
算中、ローカル量も得られる。従って、各区画、例え
ば、マクロブロック（ＭＢ）に対して、ＭＢ−ＡＩＤ及
びＭＢ−ＡＶＡＣＴ統計量が記憶され、しかる後、フレ
ームのローカル適応符号化のためにサブシステムＥ２に
よって使用可能である。
【００４１】Ｂ．フレーム間統計量 これらの統計量は、イメージ・シーケンスの連続したフ
レーム間の関係、例えば、動きの発生、シーン変化、フ
ェーディング、又はマクロブロックにおけるノイズの識
別を記述する。
【００４２】（ａ）グローバル量： ＊ フレームの平均フレーム差分（ＡＦＤ）−ＡＦＤ
は、現ピクチャの輝度ピクセル値と先行フレームの同じ
位置におけるピクセル値との間の絶対差分の平均であ
る。 ＊ ＤＦＤ（変位フレーム差分）の変動 −ピクセルに
おけるＤＦＤを得るためには、２つの連続したフレーム
を使用して各マクロブロックに対する動きベクトルが計
算されなければならない。ＤＦＤは、現フレームにおけ
るピクセル値と先行又は後続フレームにおける対応する
（推定された動きベクトルによって変位された）ピクセ
ル値との間の差分である。変動は、フレーム全体の各ピ
クセルに対して計算されたＤＦＤの統計的平均として算
定可能である。
【００４３】（ｂ）ローカル量： ＊ マクロブロックに対するＤＦＤの変動 −グローバ
ル量と同じであるが、変動はマクロブロックに対して算
定される。 ＊ 動きベクトルの変動（隣接する動きベクトル間の差
分）
【００４４】Ｃ．シーン変化検出 ２つの連続したフレーム考察する。上記の統計量（グロ
ーバル及びローカル）はフレーム毎に得ることができ
る。シーン変化を検出するための種々の可能性が存在す
る。例えば、 （ａ）（ＡＶＡＣＴ（ｉ）−ＡＶＡＣＴ（ｉ−１））＞
閾値１ である場合、フレームｉは新しいシーンに属す
る。閾値１は経験的に決定される。 （ｂ）（ＡＩＤ（ｉ）−ＡＩＤ（ｉ−１））＞閾値２
である場合、フレームｉは新しいシーンに属する。閾値
２は経験的に決定される。 （ｃ）条件（ａ）及び（ｂ）の組合せ。 （ｄ）（ＡＦＤ）＞閾値３ である場合、フレームｉは
新しいシーンに属する。閾値３は経験的に決定される。 （ｅ）シーン変化検出 − フレーム間統計量。 ＤＦＤ変動＞閾値４ である場合、及び（ＡＩＤ（ｉ）
−ＡＩＤ（ｉ−１））＞閾値２ である場合、フレーム
ｉは新しいシーンに属する。それらの閾値は経験的に決
定される。１つの動きベクトルしかマクロブロック（Ｍ
Ｂ）にとって利用可能でなく、しかもそれが必ずしもそ
のＭＢの各ピクセルにとって真の動きベクトルではない
ので、閾値４は慎重に選択されなければならない。
【００４５】シーン変化が検出される場合、これはサブ
システムＥ２に知らされる。サブシステムＥ２は、それ
に応答して、先行のシーンに属する先行のピクチャから
の如何なる情報も無視することが可能である。Ｅ２は、
ピクチャの符号化モードを再構成することもできる。例
えば、新しいシーンに属する最初のピクチャはＩピクチ
ャとして符号化可能である。
【００４６】Ｄ．フェーディング検出 フェーディングは、基本的には、変化が急である真のシ
ーン・カットとは対照的にフレームが徐々に変化する遅
いシーン変化である。フェーディングは次のような２つ
の方向を有する。即ち、 （１）第１シーンが徐々に消える。 （２）第２シーンが徐々に現れる。
【００４７】フェーディングの存在及びその方向は先行
フレームに対するピクセル間の合計値の差分のパーセン
テージによって決定可能である。即ち、フレームＮ＋１
のピクセルの合計値が経験的に決定されたパーセンテー
ジだけフレームＮとは異なる場合、フェーディングが生
じている。その方向は、大きさの符号によって、即ち、
ゼロよりも大きいか小さいかによって決定される。フェ
ーディングが検出される場合、これはＥ２に知らされ
る。
【００４８】前述のように、符号化サブシステムＥ２
は、符号化サブシステムＥ１と同じ符号化エンジン・ア
ーキテクチャを持つことができるが、統計量収集ハード
ウエア／ソフトウエアは使用しない。フレーム・シーケ
ンスの適応符号化は、符号化エンジンのレート制御アル
ゴリズムによって、即ち、上記の発生された統計量を使
用することによって実行される。これは２ステップ・プ
ロセスである。
【００４９】先ず、ビット・レート、符号化モード、及
びフレーム相互の相対的特性に従って、ピクチャ毎にビ
ット割振りが定義される。次に、対応する量子化パラメ
ータ（ＱＵＡＮＴ）が定義される。ＭＰＥＧ−２互換の
ビットストリームでは、ＱＵＡＮＴ値はマクロブロック
毎に変化可能であり、フレーム内のローカル適応量子化
を可能にする。本発明によれば、前述のグローバル量を
使用して、ピクチャ毎に第１グローバルＱＵＡＮＴ値が
定義される。次に、特定のマクロブロックに対するＱＵ
ＡＮＴ値が、そのマクロブロックのローカル統計量に基
づいてグローバルＱＵＡＮＴ値を調整することにより得
られる。
【００５０】符号化サブシステムＥ１内でシーン変化を
検出することによって、及びピクチャ統計量を事前に知
ることによって、シーン変化の検出後、先行シーンに属
する先行ピクチャからの情報を放棄することが可能であ
る。例えば、新しいピクチャ・グループ（ＧＯＰ）を新
しいシーンから開始することができる。古いシーンから
のパラメータを使用する代わりに、事前定義された初期
レート制御パラメータを使用して、新しいＧＯＰのフレ
ームに対するグローバルＱＵＡＮＴ値を計算することが
可能である。
【００５１】フェーディングがサブシステムＥ１によっ
て検出された場合、サブシステムＥ２は、それに応答し
て、動き推定／補償のための適正な参照フレームを使用
するか、或いはフレームの符号化モードを変更すること
ができる。これの一例は、Ｉピクチャを強制すること、
或いはＰ又はＢピクチャにおけるすべてのマクロブロッ
クをイントラ・マクロブロックとして符号化することで
あってもよい。
【００５２】ローカル適応量子化も可能である。この方
法の目的は、割り振られたビットをシーン内容に基づい
てマクロブロック間で分配することであろう。１つの可
能な方法は、符号化されるべき現ピクチャのＡＶＡＣＴ
を使用することである。各マクロブロックに対するＭＢ
−ＡＶＡＣＴも統計量バッファに記憶される。ＭＢのＱ
ＵＡＮＴ値は、ＡＶＡＣＴ及びＭＢ−ＡＶＡＣＴの比に
よってグローバルＱＵＡＮＴ値を調整することにより得
られる。例えば、マクロブロック・アクティビティがピ
クチャＡＶＡＣＴに関して高い場合、この特定のマクロ
ブロックのＱＵＡＮＴはグローバルＱＵＡＮＴに関して
増加され、アクティビティが低い場合は減少される。
【００５３】本発明の適応符号化システムに従って、ロ
ーカル統計量は、ピクチャ内のノイズのあるマクロブロ
ックを識別するためにも使用可能である。マクロブロッ
クが高いＤＦＤ値を持ち、アクティビティも高い場合、
そのマクロブロックはノイズのあるものと宣言可能であ
る。ノイズのあるマクロブロックは高いＱＵＡＮＴ値に
よって符号化可能であり、その結果、ビット節約が生じ
る。余ったビットは、フレーム内のノイズのないマクロ
ブロックを符号化するために使用可能である。従って、
ピクチャの全体的品質が改良される。
【００５４】本発明の符号化システムがローカル適応量
子化の機能を遂行する方法の一例を次に示す。各マクロ
ブロックに対する量子化値を決定するために、符号化サ
ブシステムはマクロブロックのＭＢ−ＡＶＡＣＴ及びＤ
ＦＤを統計量バッファ３４０（図５）から受け取る。次
に、サブシステムＥ２は、それらの値を使用して、その
マクロブロックに対する最も効率的なＱＵＡＮＴ値を決
定する。
【００５５】本発明の原理による符号化システム／方法
の更なる局面を、図７乃至図９を参照して次に説明する
ことにする。この機能強化された実施例では、本発明
は、２つのエンコーダ及び１つの制御プロセッサを使用
してビデオ・データのリアルタイム符号化を行う。図７
に示されるように、第１エンコーダ即ち符号化サブシス
テム（Ｅ１）５１０は入力ビデオ・データ５０１を受信
し、制御プロセッサ（ＣＰ）５２０に送るための統計量
をそこから発生する。更に詳しく云えば、符号化サブシ
ステムＥ１は未圧縮のビデオ・データを受信し、現ピク
チャとビデオ・データのシーケンスにおける他のピクチ
ャに対するそれの関係とを記述した統計量を導出する。
【００５６】次に、制御プロセッサ５２０は、統計技法
（後述する）を使用してそれらの発生された統計量を分
析し、第２エンコーダ即ち符号化サブシステム（Ｅ２）
５４０による使用のために１つ又は複数の符号化パラメ
ータを発生する。符号化サブシステムＥ２は、そのよう
な機能強化された符号化パラメータを使用して高品質の
高度に圧縮されたビデオ・ストリーム５４１をリアルタ
イムで生じさせる。符号化サブシステムＥ２は、遅延ユ
ニット５３０でデルタＴ（１乃至Ｘフレーム）だけ遅延
された入力ビデオ・データ５０１も受け取る。遅延ユニ
ット５３０からの入力データは、サブシステムＥ２が制
御プロセッサからの対応する機能強化された符号化パラ
メータを使用して各フレームを符号化できるように、制
御プロセッサ５２０からの機能強化された符号化パラメ
ータに同期させられる。
【００５７】符号化サブシステムＥ１によって発生され
る統計量は、前述のように、ピクチャを伴う情報（フレ
ーム内）又は複数のピクチャ間の差分に基づいて収集さ
れた情報（フレーム間）に基づくものである。フレーム
内統計量の例は次のものである。 （１）ピクチャの複雑性 （２）ビット・カウント （３）信号対雑音比（ＳＮＲ） フレーム間統計量の例は次のものを含む。 （１）動きベクトル （２）動き検出 （３）反復フィールド （４）予測誤差 （５）シーン変化 これらの統計量を決定するために使用可能な技法は当業
者には明らかであろう。
【００５８】制御プロセッサは符号化サブシステムＥ１
からの統計量を使用して統計分析ルーチンを遂行し、第
２符号化サブシステムＥ２の符号化プロセスを制御する
ための１つ又は複数のパラメータを発生する。制御可能
なパラメータの例は、１ピクチャ当たりのビット数、ピ
クチャ・タイプ、反復フィールドの通知、フィールド又
はフレーム符号化、フレーム間の動きの最大量（探索ウ
インドウ）、及び量子化パラメータ（Ｍｑｕａｎｔ）を
含む。
【００５９】図８は、シーン変化が生じたかどうかを決
定するために及びピクチャ品質の測定を行うために、ビ
デオ・データのシーケンスが符号化サブシステム（Ｅ
１）５１０において分析されるという処理ルーチンの一
実施例を示す。これらの統計量は（使用されるビット、
ピクチャ・タイプ、及び目標ビット・レートと共に）制
御プロセッサ（ＣＰ）５２０に供給される。制御プロセ
ッサは、この例では、受け取った統計量から、第２符号
化サブシステム（Ｅ２）５４０に供給される量子化パラ
メータ（Ｍｑｕａｎｔ）を発生する。符号化サブシステ
ムＥ２は、符号化サブシステムＥ１によって使用された
ビデオ・データのシーケンスの遅延バージョンを受け、
符号化ビデオ・ビットストリームをそこから発生する。
【００６０】図９は、制御プロセッサ５２０内に実装さ
れる統計処理ルーチンの一例を示す。この例における制
御プロセッサの主要な機能は、最後に符号化されたピク
チャの統計量及び所与のシーン内の前に符号化されたピ
クチャのヒストリに基づいて新しいピクチャに対するエ
ンコーダ・パラメータの新しいセットを決定することで
ある。エンコーダ・パラメータの新しいセットは、第２
符号化サブシステムが可変出力ビット・レートを持った
一定品質のピクチャを生じることを可能にする。
【００６１】符号化サブシステムＥ２への入力ビデオ・
データは、遅延５３０を除けば、符号化サブシステムＥ
１へのそれと同じである。遅延は、符号化サブシステム
Ｅ１が、例えば、２つのピクチャを処理して、それらの
ピクチャの１つ又は複数の特性に対する平均値を発生す
ることを可能にする。この遅延は、制御プロセッサが符
号化サブシステムＥ１からの統計量を分析して、符号化
サブシステムＥ２において処理されるべき現ピクチャに
対する新しいパラメータのセットを発生することも可能
にする。
【００６２】制御プロセッサが、符号化プロセッサＥ１
において処理されるすべてのピクチャに関する統計量を
収集することが望ましい。この統計量の収集（ブロック
６００）は、一実施例では、シーン変化及びピクチャ品
質の統計量を含む。考えられる別の統計量は、使用され
るビット、ピクチャ・タイプ、目標ビット・レート、平
均ピクチャＭｑｕａｎｔ等を含む。図９のルーチンで
は、制御プロセッサは、先ず、所与のピクチャが最後の
ピクチャと同様な内容を有するかどうか、即ち現ピクチ
ャが新しいシーンに属するかどうかを識別する（ブロッ
ク６１０）。現ピクチャが同じシーンに属さない場合、
符号化パラメータは現ピクチャのピクチャ複雑性に基づ
いてリセットされる（ブロック６２０）。これらのリセ
ットされた符号化パラメータはバッファに供給され（ブ
ロック６６０）、前述のように、第２符号化サブシステ
ム５４０への出力及び第２符号化サブシステム５４０に
よる使用を待つ。
【００６３】現ピクチャの内容が先行ピクチャの内容と
同様である場合、即ち、シーン変化がない場合、符号化
パラメータは、そのシーンにおける同じタイプの先行ピ
クチャからの情報に基づくものでもよい。例えば、図９
のルーチンは、１つ又は複数のパラメータを定義するた
めに「ピクチャ品質」を使用する。ピクチャ品質は、現
ピクチャを符号化するために第１符号化サブシステムに
よって過剰なビットが使用されたかどうかを表す。（サ
ブシステムＥ１によって使用される符号化パラメータ
は、先行フレームを符号化するためにサブシステムＥ２
によって使用されるものであってもよく、或いは基準パ
ラメータ・セットを構成するものであってもよい）。
【００６４】ピクチャ品質閾値は事前定義され、当業者
によって経験的に導出可能である。例えば、その閾値
は、所望のビット・レート及びピクチャ内容に基づいて
定義可能である。ピクチャ品質を測定する方法は信号対
雑音比を決定するものであってもよい。代表的な適度の
信号対雑音比は３０乃至４０ｄｂの範囲にある。１つの
実施例では、「ピクチャ品質」は、符号化及び復号後の
フレームを、第１符号化サブシステムＥ１に入力された
オリジナルのフレームと比較することによって決定可能
である。制御プロセッサは、先ず、現ピクチャ品質（即
ち、Ｅ１からの出力品質）が事前定義の閾値を超えるか
どうかを決定する（ブロック６３０）。それが閾値を超
える場合、現ピクチャで使用したビットを、ビデオ・デ
ータのシーケンスにおける更に複雑なピクチャのために
取っておくことができる。
【００６５】例えば、制御プロセッサは、所与のシーン
のピクチャによって使用される平均Ｍｑｕａｎｔ、平均
品質、及び平均ビットのようなピクチャ統計量を収集及
び累積する。新たにＥ１で符号化された現シーンのピク
チャに関するこれらの統計量は、現ピクチャの符号化パ
ラメータをリファインすべき方法を決定するために平均
シーン統計量と比較される。従って、制御プロセッサ
は、第２符号化サブシステムＥ２による使用のために現
ピクチャの制御パラメータをシーンのヒストリから学習
し、それを調節する。
【００６６】調節の量は、この例では、最新のＭｑｕａ
ｎｔ（「先行Ｍｑ」）及び同じピクチャ・タイプの平均
Ｍｑｕａｎｔ（「Ａｖ Ｍｑ」）に関連する。品質が目
標の品質閾値よりも高い時、Ｍｑｕａｎｔはビット消費
を少なくするために増加されなければならない。品質が
目標の品質閾値よりも低い時、それとは逆にＭｑｕａｎ
ｔを減少する必要がある。その増加又は減少の量は、更
新された平均Ｍｑｕａｎｔと先行の平均Ｍｑｕａｎｔと
の差である。この調節により、目標の品質閾値への収斂
が可能になる。
【００６７】従って、ピクチャ品質がその事前定義され
た閾値を超える時、第２符号化サブシステムによって使
用されるべき現Ｍｑｕａｎｔ（即ち、「次のＭｑ」）
は、新しい平均Ｍｑｕａｎｔと先行の平均Ｍｑｕａｎｔ
との差と、最新のＭｑｕａｎｔ（先行Ｍｑ）との和とし
て定義される。新しい平均Ｍｑｕａｎｔは、第２符号化
サブシステムによって符号化されるべき現ピクチャまで
の且つその現ピクチャを含む、現シーンにおける同じピ
クチャ・タイプのピクチャのヒストリにわたって平均化
されたものである。先行の平均Ｍｑｕａｎｔは、現ピク
チャの前までの同様な平均である。第１符号化サブシス
テムからの出力品質が事前定義の閾値よりも小さい場
合、同じ差分値がオフセットとして使用される。この場
合、第２符号化サブシステムによって使用されるべきＭ
ｑｕａｎｔを小さくし、それによってピクチャ品質を高
めるために、その差分値が先行のＭｑｕａｎｔから減じ
られる（ブロック６５０）。図９に示されるように、次
の又は現在のＭｑｕａｎｔは第２符号化サブシステムＥ
２による使用のためにバッファされる（ブロック６６
０）。
【００６８】現ピクチャが新しいシーンの開始である
時、古いヒストリは適用不可能である。従って、現ピク
チャの複雑性に基づいて制御パラメータの新しいセット
が確認されなければならない。次いで、この制御パラメ
ータの新しいセットが、出力品質に基づいて収集及びリ
ファイン化される統計量を発生するために、第１符号化
サブシステムＥ１に与えられる。従って、符号化サブシ
ステムＥ１内のシーンの第１ピクチャの出力に従って、
そのシーンの第２ピクチャに対する制御パラメータが上
方又は下方に調節される。ピクチャ１及び２の出力統計
量が新しいシーンに対する開始ヒストリを形成するよう
に重量平均され、ピクチャ１の制御パラメータが、前述
のように、第２符号化サブシステムＥ２のために導出さ
れる。
【００６９】シーン変化に続く各ピクチャ・タイプのＭ
ｑｕａｎｔは、そのシーン変化に続くＩピクチャのＭｑ
ｕａｎｔに基づく。例えば、Ｐピクチャに対する初期Ｍ
ｑｕａｎｔは１.２ Ｍｑｕａｎｔ（Ｉ）として定義可能
であり、Ｂピクチャに対する初期Ｍｑｕａｎｔは２ Ｍ
ｑｕａｎｔ（Ｉ）として定義可能である。一旦ピクチャ
・タイプ当たりのＭｑｕａｎｔ値が初期設定されると、
その後のＭｑｕａｎｔ値は同じピクチャ・タイプの先行
Ｍｑｕａｎｔの平均及び現ピクチャの複雑性に基づく。
Ｍｑｕａｎｔのヒストリはピクチャ・タイプ毎に収集さ
れ、シーン変化が生じるまでリファインされ、シーン変
化が生じると、Ｍｑｕａｎｔは再初期設定される。
【００７０】前述のように、実際の符号化が行われる第
２符号化サブシステムＥ２に、同期的に遅延したビデオ
符号化シーケンス（入力データ）が供給される。その遅
延は、１フレームというわずかなものから、システムが
メモリに記憶し得る数のフレームまで変化可能である。
多数のフレームに跨る統計分析が望ましいアプリケーシ
ョンの場合、多くのビデオ・フレームをバッファするこ
とが非実用的なものになることがある。しかし、２つの
ビデオ・ソースを使用すること及びソースによる第２符
号化サブシステムＥ２への供給の開始を遅らせることに
よって、大量のメモリを追加することなく、より大きな
フレーム遅延が実現可能である。これらの技法により、
遅延した入力データ及び統計量の適切な調整によって、
リアルタイム・データが符号化可能である。最終ステッ
プにおいて、第２符号化サブシステムＥ２は制御プロセ
ッサからの符号化パラメータを受け入れ、それらを現ピ
クチャに適用して、高品質、低ビット・レートのＭＰＥ
Ｇ−２可変ビット・レート（ＶＢＲ）圧縮ビデオ・スト
リームを生じさせる。本発明をＶＢＲアプリケーション
に関して説明したけれども、開示された技法が固定ビッ
ト・レート（ＣＢＲ）符号化の品質を改良するように拡
張可能であることは当業者には明らかであろう。ＣＢＲ
適用のために統計分析及び符号化パラメータをチューニ
ングすることによって、これを行うことが可能である。
【００７１】本発明の原理に従った符号化の結果、非適
応エンコーダ・システムに比べて、特に、低ビット・レ
ートの場合、ピクチャ品質が改善されるということは上
記の説明から当業者には明らかであろう。これは、フレ
ーム間及びフレーム内の適応ビット割振りを使用するこ
とが、低いビット・レート符号化では、より高いビット
・レート符号化に比べてよりクリティカルであるためで
ある。更に、本発明の符号化技法は、固定ビット・レー
ト（ＣＢＲ）モードにおける符号化／復号ビデオ・シー
ケンスの半固定ピクチャ品質、又は可変ビット・レート
（ＶＢＲ）符号化モードにおける固定ピクチャ品質を保
証することが可能である。
【００７２】更に、本発明は、例えば、コンピュータ使
用可能な媒体を有する製造物（例えば、１つ又は複数の
コンピュータ・プログラム製品）に含まれることも可能
である。その媒体は、例えば、本発明の機能を提供及び
促進するためのコンピュータ読取り可能プログラム・コ
ード手段を組み込んだものである。それらの製造物は、
コンピュータ・システムの一部として含まれるか或いは
別個に販売可能である。
【００７３】本願において示された流れ図は例として与
えられたものである。本発明の精神から逸脱することな
く、これらの流れ図、或いは、本願に開示されたステッ
プ又はオペレーションを変更することができる。例え
ば、場合によっては、ステップは別の順序で遂行可能で
あり、ステップが追加、削除、又は修正されてもよい。
これらの変更はすべて、請求の範囲に記載されている本
発明の一部を構成するものと考えられる。
【００７４】まとめとして、本発明の構成に関して以下
の事項を開示する。
【００７５】（１）ビデオ・フレームのシーケンスを符
号化するための方法にして、（ａ）第１符号化サブシス
テムを使用して、ビデオ・フレームのシーケンスを分析
し、シーン変化、ピクチャ品質、使用ビット、目標ビッ
ト・レート、及びピクチャ・タイプのうちの少なくとも
１つを含む少なくとも１つの特性に関する情報を導出す
るステップと、（ｂ）前記少なくとも１つの特性を自動
的に処理して、ビデオ・フレームのシーケンスの符号化
で使用される少なくとも１つの制御可能なパラメータの
値を生成するステップと、（ｃ）第２符号化サブシステ
ムで前記少なくとも１つの制御可能なパラメータの値を
使用して前記ビデオ・フレームのシーケンスを符号化す
る符号化ステップと、を含む方法。 （２）前記少なくとも１つの特性はシーン変化を含み、
前記ステップ（ｂ）はシーン変化に対して各フレームを
自動的に評価し、シーン変化の検出時には、前記少なく
とも１つの制御可能なパラメータの値を決定する場合、
前記ビデオ・フレームのシーケンスにおける先行フレー
ムからの情報を無視することを特徴とする上記（１）に
記載の方法。 （３）前記少なくとも１つの特性は更にピクチャ品質を
含み、前記ステップ（ｂ）は、シーン変化が検出されな
かった各フレームについて、前記ピクチャ品質を事前定
義の閾値と自動的に比較することを特徴とする上記
（２）に記載の方法。 （４）前記ステップ（ｂ）は、更に、前記ステップ
（ｃ）で各フレームを符号化するためのビットの数を前
記ピクチャ品質が前記事前定義の閾値よりも低い場合に
は増加し、前記ピクチャ品質が前記事前定義の閾値より
も高い場合には減少するように、前記少なくとも１つの
制御可能なパラメータの値を設定するステップを含むこ
とを特徴とする上記（３）に記載の方法。 （５）前記少なくとも１つの制御可能なパラメータは量
子化パラメータを含み、各フレームに対して、前記ピク
チャ品質が前記事前定義の閾値よりも低い場合、前記量
子化パラメータは、前記ビデオ・フレームのシーケンス
における先行フレームの先行量子化パラメータから、新
しい平均量子化パラメータ及び先行平均量子化パラメー
タの間の差を減じたものとして定義され、前記新しい量
子化パラメータは現フレームを含む現シーンのすべての
フレームに対する平均量子化パラメータを含み、前記先
行平均量子化パラメータは現フレームの前までの現シー
ンのすべてのフレームに対する平均量子化パラメータを
含み、前記ピクチャ品質が前記閾値よりも高い場合、前
記量子化パラメータは前記先行平均量子化パラメータと
前記新しい平均量子化パラメータ及び前記先行平均量子
化パラメータの差との和として定義されることを特徴と
する上記（４）に記載の方法。 （６）前記少なくとも１つの制御可能なパラメータの値
をバッファするステップと、 現フレーム及びそれに対
応する少なくとも１つの制御可能なパラメータの値が前
記第２符号化サブシステムに同時に供給されるように、
前記バッファするステップに同期して前記ビデオ・フレ
ームのシーケンスを遅延させるステップと、を更に含む
ことを特徴とする上記（４）に記載の方法。 （７）ビデオ・フレームのシーケンスを符号化するため
のシステムにして、ビデオ・フレームのシーケンスを分
析し、シーン変化、ピクチャ品質、使用ビット、目標ビ
ット・レート、及びピクチャ・タイプのうちの少なくと
も１つを含む少なくとも１つの特性に関する情報を導出
する第１符号化サブシステムと、前記第１符号化サブシ
ステムに接続され、前記少なくとも１つの特性に関する
情報を処理してビデオ・フレームのシーケンスの符号化
において使用される少なくとも１つの制御可能なパラメ
ータの値を生成する制御プロセッサと、前記制御プロセ
ッサに接続され、前記少なくとも１つの制御可能なパラ
メータの値を受け取り、該値を使用して前記ビデオ・フ
レームのシーケンスを符号化し、符号化ビデオ・データ
のビットストリームを発生する第２符号化サブシステム
と、を含むシステム。 （８）前記符号化ビデオ・データのビットストリームは
可変ビット・レート又は固定ビット・レートのビットス
トリームを含むことを特徴とする上記（７）に記載のシ
ステム。 （９）前記少なくとも１つの特性はシーン変化を含み、
前記制御プロセッサは前記ビデオ・フレームのシーケン
スの各フレームを前記シーン変化について自動的に監視
し、シーン変化の検出時に、前記ビデオ・フレームのシ
ーケンスにおける１つ又は複数の先行フレームからの情
報を無視して、前記少なくとも１つの制御可能なパラメ
ータの値を決定する手段を含むことを特徴とする上記
（７）に記載のシステム。 （１０）前記少なくとも１つの特性は更にピクチャ品質
を含み、前記制御プロセッサは、シーン変化が検出され
なかった各フレームについて、そのピクチャ品質を事前
定義の閾値と自動的に比較するための手段を含むことを
特徴とする上記（９）に記載のシステム。 （１１）前記制御プロセッサは、更に、前記ピクチャ品
質が前記事前定義の閾値よりも低い場合、各フレームの
符号化において前記第２符号化サブシステムによって使
用されるビットの数が増加されるように、及び前記ピク
チャ品質が前記事前定義の閾値よりも高い場合、前記ビ
ットの数が減少されるように、前記少なくとも１つの制
御可能なパラメータの値を自動的に設定するための手段
を含むことを特徴とする上記（１０）に記載のシステ
ム。 （１２）前記少なくとも１つの制御可能なパラメータは
量子化パラメータを含み、各フレームに対して、前記ピ
クチャ品質が前記事前定義の閾値よりも低い場合、前記
制御プロセッサは、前記量子化パラメータを、ビデオ・
フレームのシーケンスにおける先行フレームの先行量子
化パラメータから、新しい平均量子化パラメータ及び先
行平均量子化パラメータの間の差を減じたものとして定
義するための手段を含み、前記新しい平均量子化パラメ
ータは現フレームを含む現シーンのすべてのフレームに
対する平均量子化パラメータを含み、前記先行平均量子
化パラメータは現フレームの前までの現シーンのすべて
のフレームに対する平均量子化パラメータを含み、前記
ピクチャ品質が前記閾値よりも高い場合、前記制御プロ
セッサは前記量子化パラメータを、前記先行量子化パラ
メータと前記新しい平均量子化パラメータ及び前記先行
平均量子化パラメータの間の差との和として定義するた
めの手段を含むことを特徴とする上記（１１）に記載の
システム。 （１３）前記少なくとも１つの制御可能なパラメータの
値をバッファするための手段と、現フレーム及びそれに
対応する少なくとも１つの制御可能なパラメータの値が
前記第２符号化サブシステムに同時に供給されるよう
に、前記値のバッファリングと同期して前記ビデオ・フ
レームのシーケンスを遅延させるための手段とを更に含
むことを特徴とする上記（１１）に記載のシステム。 （１４）コンピュータ読み取り可能なプログラム・コー
ド手段を有するコンピュータ使用可能媒体を含み、ビデ
オ・フレームのシーケンスを符号化する場合に使用する
ためのコンピュータ・プログラム製品にして、前記コン
ピュータ読み取り可能なプログラム・コード手段は、コ
ンピュータに、前記ビデオ・フレームのシーケンスを分
析させて、シーン変化、ピクチャ品質、使用ビット、目
標ビット・レート、及びピクチャ・タイプのうちの少な
くとも１つを含む少なくとも１つの特性に関する情報を
導出するための第１のコンピュータ読み取り可能なプロ
グラム・コード手段と、コンピュータに、前記少なくと
も１つの特性を自動的に処理させてビデオ・フレームの
シーケンスの符号化で使用される少なくとも１つの制御
可能なパラメータの値を生成するための第２のコンピュ
ータ読み取り可能なプログラム・コード手段と、前記少
なくとも１つの制御可能なパラメータの値を使用して、
コンピュータに、前記ビデオ・フレームのシーケンスを
符号化させる第３のコンピュータ読み取り可能なプログ
ラム・コード手段と、を含むことを特徴とするコンピュ
ータ・プログラム製品。 （１５）前記少なくとも１つの特性はシーン変化を含
み、前記第２のコンピュータ読み取り可能なプログラム
・コード手段はコンピュータに、各フレームをシーン変
化について自動的に監視させ、シーン変化の検出時に、
ビデオ・フレームのシーケンスにおける先行フレームか
らの情報を無視して前記少なくとも１つの制御可能なパ
ラメータの値を決定するための手段を含むことを特徴と
する上記（１４）に記載のコンピュータ・プログラム製
品。 （１６）前記少なくとも１つの特性は更にピクチャ品質
を含み、前記第２のコンピュータ読み取り可能なプログ
ラム・コード手段は、シーン変化が検出されない各フレ
ームに対してコンピュータに、当該フレームのピクチャ
品質を事前定義の閾値と自動的に比較させるためのコン
ピュータ読み取り可能なプログラム・コード手段を含む
ことを特徴とする上記（１５）に記載のコンピュータ・
プログラム製品。 （１７）前記第２のコンピュータ読み取り可能なプログ
ラム・コード手段は、更に、前記ピクチャ品質が前記事
前定義の閾値よりも低い場合、各フレームの符号化にお
いて使用されるビットの数が増加されるように、及び前
記ピクチャ品質が前記事前定義の閾値よりも高い場合、
前記ビットの数が減少されるように、コンピュータに、
前記少なくとも１つの制御可能なパラメータの値を自動
的に設定させるためのコンピュータ読み取り可能なプロ
グラム・コード手段を含むことを特徴とする上記（１
６）に記載のコンピュータ・プログラム製品。 （１８）前記少なくとも１つの制御可能なパラメータは
量子化パラメータを含み、各フレームに対して、前記ピ
クチャ品質が前記事前定義の閾値よりも低い場合、前記
量子化パラメータは、ビデオ・フレームのシーケンスに
おける先行フレームの先行量子化パラメータから、新し
い平均量子化パラメータ及び先行平均量子化パラメータ
の間の差を減じたものとして前記第２のコンピュータ読
み取り可能なプログラム・コード手段によって定義さ
れ、前記新しい平均量子化パラメータは現フレームを含
む現シーンのすべてのフレームに対する平均量子化パラ
メータを含み、前記先行平均量子化パラメータは現フレ
ームの前までの現シーンのすべてのフレームに対する平
均量子化パラメータを含み、前記ピクチャ品質が前記閾
値よりも高い場合、前記量子化パラメータは、前記先行
量子化パラメータと前記新しい平均量子化パラメータ及
び前記先行平均量子化パラメータの間の差との和として
定義されることを特徴とする上記（１７）に記載のコン
ピュータ・プログラム製品。 （１９）前記少なくとも１つの制御可能なパラメータの
値をバッファし、現フレーム及びそれに対応する少なく
とも１つの制御可能なパラメータの値の同時利用可能性
を保証するために、コンピュータに、前記値のバッファ
リングと同期して前記ビデオ・フレームのシーケンスを
遅延させるためのコンピュータ読み取り可能なプログラ
ム・コード手段を更に含むことを特徴とする上記（１
７）に記載のコンピュータ・プログラム製品。
【図面の簡単な説明】
【図１】汎用のＭＰＥＧ−２コンプライアント・エンコ
ーダ１１の流れ図を示す。エンコーダ１１は、離散コサ
イン変換器２１、量子化器２３、可変長符号化器２５、
逆量子化器２９、逆離散コサイン変換器３１、動き補償
器４１、フレーム・メモリ４２、及び動き推定器４３を
含む。データ・パスは、ｉ番目のピクチャ入力１１１、
差分データ１１２、動きベクトル１１３（動き補償器４
１及び可変長符号化器２５に対するものである）、ピク
チャ出力１２１、動き推定及び補償に対するフィードバ
ック・ピクチャ１３１、及び動き補償されたピクチャ１
０１を含む。この図は、ｉ番目のピクチャがフレーム・
メモリ又はフレーム記憶装置４２に存在すること及びｉ
＋１番目のピクチャが動き推定器によって符号化されよ
うとしているという仮定を有する。
【図２】Ｉ、Ｐ、及びＢピクチャ、それらの表示及び伝
送順序の例、並びに、順方向及び逆方向の動き予測を示
す。
【図３】現フレーム又はピクチャにおける動き推定ブロ
ックから後続又は先行フレーク又はピクチャにおける最
良一致ブロックまでの探索を示す。エレメント２１１及
び２１１' は両方のピクチャにおける同じロケーション
を表す。
【図４】先行ピクチャにおける位置から新しいピクチャ
まで動きベクトルに従ったブロックの移動、及び動きベ
クトルを使用した後に調節された先行ピクチャのブロッ
クを示す。
【図５】本発明の原理に従って第１符号化サブシステム
Ｅ１及び第２符号化サブシステムＥ２を使用する符号化
サブシステム３００の流れ図を示す。サブシステムＥ１
は、符号化されるべきフレームのシーケンスの１つ又は
複数の特性に関する統計量を導出するように構成され
る。これらの特性はサブシステムＥ２によって使用さ
れ、ピクチャ品質又は符号化パフォーマンスを最適化す
るようにそのフレームのシーケンスを適応的に符号化さ
せる。
【図６】本発明による符号化サブシステムの一般化した
図である。サブシステムＥ１は、例えば、非動き統計量
収集４２０及び符号化エンジン４１０を使用して、それ
ぞれ、非動き統計量及び動き間／動き内統計量を発生す
るために使用され、一方、サブシステムＥ２は符号化エ
ンジン４１０を使用して符号化ビットストリームを発生
する。
【図７】本発明の原理による符号化システム５００の別
の実施例のブロック図である。システム５００は制御プ
ロセッサ５２０を介して接続された第１符号化サブシス
テム（Ｅ１）５１０及び第２符号化サブシステム（Ｅ
２）５４０を使用する。サブシステムＥ１は、符号化さ
れるべきフレームのシーケンスの１つ又は複数の特性に
関する統計量を導出するように構成される。これらの特
性は制御プロセッサ５２０によって統計的に分析され、
フレームのシーケンスのうちの現フレームを符号化する
場合にサブシステムＥ２によって使用されるべき１つ又
は複数の制御可能なパラメータに対する値を動的に発生
させ、それによって、ピクチャ品質又は符号化パフォー
マンスを最適化する。
【図８】本発明に基づく汎用の流れ図である。ここで
は、一連のビデオ・データがサブシステムＥ１に入力さ
れる。サブシステムＥ１は、シーン変化、ピクチャ品
質、使用されるビット、ピクチャ・タイプ、又は目標ビ
ット・レートに関する情報を発生する。この情報は制御
プロセッサ（ＣＰ）５２０に送られ、その制御プロセッ
サは、この例では、量子化パラメータ（Ｍｑｕａｎｔ）
を第２符号化サブシステム（Ｅ２）５４０に供給する。
又、サブシステム５４０はビデオ・データのシーケンス
の同期した遅延バージョンを入力として受け取る。
【図９】第２符号化サブシステムＥ２によるビデオ・デ
ータのシーケンスの符号化の制御において使用するため
に、１つ又は複数のパラメータを発生する場合に制御プ
ロセッサ（ＣＰ）により遂行される統計処理の一実施例
のフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 バーバラ・エイ・ホール アメリカ合衆国13760、ニューヨーク州エ ンドウェル、ウィンストン・ドライブ 607 (72)発明者 ジョン・エム・カクツマークジック アメリカ合衆国13760、ニューヨーク州エ ンディコット、サラ・レーン 908 (72)発明者 アグネス・イー・ンガイ アメリカ合衆国13760、ニューヨーク州エ ンドウェル、パートリッジ・プレイス 725 (72)発明者 ステファン・ピー・ポクリンチャック アメリカ合衆国13827、ニューヨーク州オ ウェゴ、スペンサー・ロード 39

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】ビデオ・フレームのシーケンスを符号化す
    るための方法にして、 （ａ）第１符号化サブシステムを使用して、ビデオ・フ
    レームのシーケンスを分析し、シーン変化、ピクチャ品
    質、使用ビット、目標ビット・レート、及びピクチャ・
    タイプのうちの少なくとも１つを含む少なくとも１つの
    特性に関する情報を導出するステップと、 （ｂ）前記少なくとも１つの特性を自動的に処理して、
    ビデオ・フレームのシーケンスの符号化で使用される少
    なくとも１つの制御可能なパラメータの値を生成するス
    テップと、 （ｃ）第２符号化サブシステムで前記少なくとも１つの
    制御可能なパラメータの値を使用して前記ビデオ・フレ
    ームのシーケンスを符号化する符号化ステップと、 を含む方法。
  2. 【請求項２】前記少なくとも１つの特性はシーン変化を
    含み、 前記ステップ（ｂ）はシーン変化に対して各フレームを
    自動的に評価し、シーン変化の検出時には、前記少なく
    とも１つの制御可能なパラメータの値を決定する場合、
    前記ビデオ・フレームのシーケンスにおける先行フレー
    ムからの情報を無視することを特徴とする請求項１に記
    載の方法。
  3. 【請求項３】前記少なくとも１つの特性は更にピクチャ
    品質を含み、 前記ステップ（ｂ）は、シーン変化が検出されなかった
    各フレームについて、前記ピクチャ品質を事前定義の閾
    値と自動的に比較することを特徴とする請求項２に記載
    の方法。
  4. 【請求項４】前記ステップ（ｂ）は、更に、前記ステッ
    プ（ｃ）で各フレームを符号化するためのビットの数を
    前記ピクチャ品質が前記事前定義の閾値よりも低い場合
    には増加し、前記ピクチャ品質が前記事前定義の閾値よ
    りも高い場合には減少するように、前記少なくとも１つ
    の制御可能なパラメータの値を設定するステップを含む
    ことを特徴とする請求項３に記載の方法。
  5. 【請求項５】前記少なくとも１つの制御可能なパラメー
    タは量子化パラメータを含み、 各フレームに対して、前記ピクチャ品質が前記事前定義
    の閾値よりも低い場合、前記量子化パラメータは、前記
    ビデオ・フレームのシーケンスにおける先行フレームの
    先行量子化パラメータから、新しい平均量子化パラメー
    タ及び先行平均量子化パラメータの間の差を減じたもの
    として定義され、 前記新しい量子化パラメータは現フレームを含む現シー
    ンのすべてのフレームに対する平均量子化パラメータを
    含み、前記先行平均量子化パラメータは現フレームの前
    までの現シーンのすべてのフレームに対する平均量子化
    パラメータを含み、 前記ピクチャ品質が前記閾値よりも高い場合、前記量子
    化パラメータは前記先行平均量子化パラメータと前記新
    しい平均量子化パラメータ及び前記先行平均量子化パラ
    メータの差との和として定義されることを特徴とする請
    求項４に記載の方法。
  6. 【請求項６】前記少なくとも１つの制御可能なパラメー
    タの値をバッファするステップと、 現フレーム及びそれに対応する少なくとも１つの制御可
    能なパラメータの値が前記第２符号化サブシステムに同
    時に供給されるように、前記バッファするステップに同
    期して前記ビデオ・フレームのシーケンスを遅延させる
    ステップと、 を更に含むことを特徴とする請求項４に記載の方法。
  7. 【請求項７】ビデオ・フレームのシーケンスを符号化す
    るためのシステムにして、 ビデオ・フレームのシーケンスを分析し、シーン変化、
    ピクチャ品質、使用ビット、目標ビット・レート、及び
    ピクチャ・タイプのうちの少なくとも１つを含む少なく
    とも１つの特性に関する情報を導出する第１符号化サブ
    システムと、 前記第１符号化サブシステムに接続され、前記少なくと
    も１つの特性に関する情報を処理してビデオ・フレーム
    のシーケンスの符号化において使用される少なくとも１
    つの制御可能なパラメータの値を生成する制御プロセッ
    サと、 前記制御プロセッサに接続され、前記少なくとも１つの
    制御可能なパラメータの値を受け取り、該値を使用して
    前記ビデオ・フレームのシーケンスを符号化し、符号化
    ビデオ・データのビットストリームを発生する第２符号
    化サブシステムと、 を含むシステム。
  8. 【請求項８】前記符号化ビデオ・データのビットストリ
    ームは可変ビット・レート又は固定ビット・レートのビ
    ットストリームを含むことを特徴とする請求項７に記載
    のシステム。
  9. 【請求項９】前記少なくとも１つの特性はシーン変化を
    含み、 前記制御プロセッサは前記ビデオ・フレームのシーケン
    スの各フレームを前記シーン変化について自動的に監視
    し、シーン変化の検出時に、前記ビデオ・フレームのシ
    ーケンスにおける１つ又は複数の先行フレームからの情
    報を無視して、前記少なくとも１つの制御可能なパラメ
    ータの値を決定する手段を含むことを特徴とする請求項
    ７に記載のシステム。
  10. 【請求項１０】前記少なくとも１つの特性は更にピクチ
    ャ品質を含み、 前記制御プロセッサは、シーン変化が検出されなかった
    各フレームについて、そのピクチャ品質を事前定義の閾
    値と自動的に比較するための手段を含むことを特徴とす
    る請求項９に記載のシステム。
  11. 【請求項１１】前記制御プロセッサは、更に、前記ピク
    チャ品質が前記事前定義の閾値よりも低い場合、各フレ
    ームの符号化において前記第２符号化サブシステムによ
    って使用されるビットの数が増加されるように、及び前
    記ピクチャ品質が前記事前定義の閾値よりも高い場合、
    前記ビットの数が減少されるように、前記少なくとも１
    つの制御可能なパラメータの値を自動的に設定するため
    の手段を含むことを特徴とする請求項１０に記載のシス
    テム。
  12. 【請求項１２】前記少なくとも１つの制御可能なパラメ
    ータは量子化パラメータを含み、 各フレームに対して、前記ピクチャ品質が前記事前定義
    の閾値よりも低い場合、前記制御プロセッサは、前記量
    子化パラメータを、ビデオ・フレームのシーケンスにお
    ける先行フレームの先行量子化パラメータから、新しい
    平均量子化パラメータ及び先行平均量子化パラメータの
    間の差を減じたものとして定義するための手段を含み、 前記新しい平均量子化パラメータは現フレームを含む現
    シーンのすべてのフレームに対する平均量子化パラメー
    タを含み、前記先行平均量子化パラメータは現フレーム
    の前までの現シーンのすべてのフレームに対する平均量
    子化パラメータを含み、 前記ピクチャ品質が前記閾値よりも高い場合、前記制御
    プロセッサは前記量子化パラメータを、前記先行量子化
    パラメータと前記新しい平均量子化パラメータ及び前記
    先行平均量子化パラメータの間の差との和として定義す
    るための手段を含むことを特徴とする請求項１１に記載
    のシステム。
  13. 【請求項１３】前記少なくとも１つの制御可能なパラメ
    ータの値をバッファするための手段と、 現フレーム及びそれに対応する少なくとも１つの制御可
    能なパラメータの値が前記第２符号化サブシステムに同
    時に供給されるように、前記値のバッファリングと同期
    して前記ビデオ・フレームのシーケンスを遅延させるた
    めの手段とを更に含むことを特徴とする請求項１１に記
    載のシステム。
  14. 【請求項１４】コンピュータ読み取り可能なプログラム
    ・コード手段を有するコンピュータ使用可能媒体を含
    み、ビデオ・フレームのシーケンスを符号化する場合に
    使用するためのコンピュータ・プログラム製品にして、
    前記コンピュータ読み取り可能なプログラム・コード手
    段は、 コンピュータに、前記ビデオ・フレームのシーケンスを
    分析させて、シーン変化、ピクチャ品質、使用ビット、
    目標ビット・レート、及びピクチャ・タイプのうちの少
    なくとも１つを含む少なくとも１つの特性に関する情報
    を導出するための第１のコンピュータ読み取り可能なプ
    ログラム・コード手段と、 コンピュータに、前記少なくとも１つの特性を自動的に
    処理させてビデオ・フレームのシーケンスの符号化で使
    用される少なくとも１つの制御可能なパラメータの値を
    生成するための第２のコンピュータ読み取り可能なプロ
    グラム・コード手段と、 前記少なくとも１つの制御可能なパラメータの値を使用
    して、コンピュータに、前記ビデオ・フレームのシーケ
    ンスを符号化させる第３のコンピュータ読み取り可能な
    プログラム・コード手段と、 を含むことを特徴とするコンピュータ・プログラム製
    品。
  15. 【請求項１５】前記少なくとも１つの特性はシーン変化
    を含み、 前記第２のコンピュータ読み取り可能なプログラム・コ
    ード手段はコンピュータに、各フレームをシーン変化に
    ついて自動的に監視させ、シーン変化の検出時に、ビデ
    オ・フレームのシーケンスにおける先行フレームからの
    情報を無視して前記少なくとも１つの制御可能なパラメ
    ータの値を決定するための手段を含むことを特徴とする
    請求項１４に記載のコンピュータ・プログラム製品。
  16. 【請求項１６】前記少なくとも１つの特性は更にピクチ
    ャ品質を含み、 前記第２のコンピュータ読み取り可能なプログラム・コ
    ード手段は、シーン変化が検出されない各フレームに対
    してコンピュータに、当該フレームのピクチャ品質を事
    前定義の閾値と自動的に比較させるためのコンピュータ
    読み取り可能なプログラム・コード手段を含むことを特
    徴とする請求項１５に記載のコンピュータ・プログラム
    製品。
  17. 【請求項１７】前記第２のコンピュータ読み取り可能な
    プログラム・コード手段は、更に、前記ピクチャ品質が
    前記事前定義の閾値よりも低い場合、各フレームの符号
    化において使用されるビットの数が増加されるように、
    及び前記ピクチャ品質が前記事前定義の閾値よりも高い
    場合、前記ビットの数が減少されるように、コンピュー
    タに、前記少なくとも１つの制御可能なパラメータの値
    を自動的に設定させるためのコンピュータ読み取り可能
    なプログラム・コード手段を含むことを特徴とする請求
    項１６に記載のコンピュータ・プログラム製品。
  18. 【請求項１８】前記少なくとも１つの制御可能なパラメ
    ータは量子化パラメータを含み、 各フレームに対して、前記ピクチャ品質が前記事前定義
    の閾値よりも低い場合、前記量子化パラメータは、ビデ
    オ・フレームのシーケンスにおける先行フレームの先行
    量子化パラメータから、新しい平均量子化パラメータ及
    び先行平均量子化パラメータの間の差を減じたものとし
    て前記第２のコンピュータ読み取り可能なプログラム・
    コード手段によって定義され、 前記新しい平均量子化パラメータは現フレームを含む現
    シーンのすべてのフレームに対する平均量子化パラメー
    タを含み、前記先行平均量子化パラメータは現フレーム
    の前までの現シーンのすべてのフレームに対する平均量
    子化パラメータを含み、 前記ピクチャ品質が前記閾値よりも高い場合、前記量子
    化パラメータは、前記先行量子化パラメータと前記新し
    い平均量子化パラメータ及び前記先行平均量子化パラメ
    ータの間の差との和として定義されることを特徴とする
    請求項１７に記載のコンピュータ・プログラム製品。
  19. 【請求項１９】前記少なくとも１つの制御可能なパラメ
    ータの値をバッファし、現フレーム及びそれに対応する
    少なくとも１つの制御可能なパラメータの値の同時利用
    可能性を保証するために、コンピュータに、前記値のバ
    ッファリングと同期して前記ビデオ・フレームのシーケ
    ンスを遅延させるためのコンピュータ読み取り可能なプ
    ログラム・コード手段を更に含むことを特徴とする請求
    項１７に記載のコンピュータ・プログラム製品。
JP26938698A 1997-10-10 1998-09-24 ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置 Expired - Lifetime JP3510495B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US08/948,442 US6040861A (en) 1997-10-10 1997-10-10 Adaptive real-time encoding of video sequence employing image statistics
US08/948442 1998-01-16
US09/008,281 US5978029A (en) 1997-10-10 1998-01-16 Real-time encoding of video sequence employing two encoders and statistical analysis
US09/008281 1998-01-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003384190A Division JP2004120786A (ja) 1997-10-10 2003-11-13 ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置

Publications (2)

Publication Number Publication Date
JPH11177989A true JPH11177989A (ja) 1999-07-02
JP3510495B2 JP3510495B2 (ja) 2004-03-29

Family

ID=26678026

Family Applications (2)

Application Number Title Priority Date Filing Date
JP26938698A Expired - Lifetime JP3510495B2 (ja) 1997-10-10 1998-09-24 ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置
JP2003384190A Pending JP2004120786A (ja) 1997-10-10 2003-11-13 ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2003384190A Pending JP2004120786A (ja) 1997-10-10 2003-11-13 ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置

Country Status (5)

Country Link
US (1) US5978029A (ja)
JP (2) JP3510495B2 (ja)
KR (1) KR100295006B1 (ja)
SG (1) SG71157A1 (ja)
TW (1) TW390099B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080572A1 (en) * 2001-03-29 2002-10-10 Sony Corporation Image processing apparatus, image processing method, image processing program, and recording medium
US6834080B1 (en) 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
US7023914B2 (en) 2000-02-29 2006-04-04 Kabushiki Kaisha Toshiba Video encoding apparatus and method
JP2006279724A (ja) * 2005-03-30 2006-10-12 Nec Personal Products Co Ltd 画像データ符号化装置及び画像データ符号化方法
US7202892B1 (en) 1998-12-21 2007-04-10 Sony Corporation Image pickup method and apparatus, and image processing method and apparatus for adapting to synthesize a plurality of images
JP2007124580A (ja) * 2005-10-31 2007-05-17 Fujitsu Ltd 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
KR100922077B1 (ko) * 2001-04-24 2009-10-16 아이피지 일렉트로닉스 503 리미티드 노이즈 검출 및 감소 방법, 비디오 데이터 트랜스코딩 방법 및 장치, 컴퓨터 판독가능한 기록 매체 및 노이즈 감소기
US8090029B2 (en) 2005-09-13 2012-01-03 Kabushiki Kaisha Toshiba Dynamic image encoding device and method
JPWO2011142236A1 (ja) * 2010-05-12 2013-07-22 日本電信電話株式会社 符号量制御方法および装置
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745089B2 (ja) * 1997-07-15 2006-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US6097757A (en) * 1998-01-16 2000-08-01 International Business Machines Corporation Real-time variable bit rate encoding of video sequence employing statistics
US6307886B1 (en) * 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
US6252905B1 (en) * 1998-02-05 2001-06-26 International Business Machines Corporation Real-time evaluation of compressed picture quality within a digital video encoder
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
US6563549B1 (en) * 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
US6266369B1 (en) * 1998-06-09 2001-07-24 Worldgate Service, Inc. MPEG encoding technique for encoding web pages
US6192148B1 (en) * 1998-11-05 2001-02-20 Winbond Electronics Corp. Method for determining to skip macroblocks in encoding video
EP1003336A1 (en) * 1998-11-17 2000-05-24 STMicroelectronics S.r.l. Video pictures compression and coding with decision step for field/frame and motion vectors DCT
KR100750092B1 (ko) * 2000-01-28 2007-08-21 삼성전자주식회사 가변장 코딩방법 및 장치
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7367042B1 (en) 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
JP2001268575A (ja) 2000-03-14 2001-09-28 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
US7091985B1 (en) 2000-05-16 2006-08-15 International Business Machines Corporation System and method for compressing color data using expandable color palette
GB0014671D0 (en) * 2000-06-15 2000-08-09 Seos Displays Ltd Head slaved area of interest (HSAOI) using framestore demultiplexing
JP4710108B2 (ja) * 2000-07-14 2011-06-29 ソニー株式会社 画像信号符号化方法及び装置
EP1303146B1 (en) * 2000-07-21 2007-04-18 Matsushita Electric Industrial Co., Ltd. Signal transmission system
US6678590B1 (en) * 2000-10-17 2004-01-13 Bbnt Solutions Llc Vehicle navigation system with vision system preprocessor using MPEG encoder
US7072393B2 (en) 2001-06-25 2006-07-04 International Business Machines Corporation Multiple parallel encoders and statistical analysis thereof for encoding a video sequence
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7023471B2 (en) * 2001-10-31 2006-04-04 Intel Corporation Video quality assessment with test video sequences
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
US20030177255A1 (en) * 2002-03-13 2003-09-18 Yun David C. Encoding and decoding system for transmitting streaming video data to wireless computing devices
CN1650622B (zh) * 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
US6788227B2 (en) 2002-03-28 2004-09-07 International Business Machines Corporation Apparatus for integrated cascade encoding
US6993078B2 (en) * 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
US7463684B2 (en) * 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US6961376B2 (en) * 2002-06-25 2005-11-01 General Instrument Corporation Methods and apparatus for rate control during dual pass encoding
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7773112B2 (en) * 2002-08-20 2010-08-10 Tektronix, Inc. Automatic measurement of video parameters
CN100403793C (zh) * 2002-12-04 2008-07-16 汤姆森许可贸易公司 利用加权预测对视频交叉衰落进行编码
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
CN100387043C (zh) * 2003-01-28 2008-05-07 汤姆森特许公司 健壮模式交错播送的方法和设备
US20060082474A1 (en) * 2003-01-28 2006-04-20 Cooper Jeffrey A Robust mode staggercasting with multiple delays for multi-resolution signals
FR2851111B1 (fr) * 2003-02-10 2005-07-22 Nextream France Dispositif de codage d'un flux de donnees video
JP3873917B2 (ja) * 2003-03-14 2007-01-31 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US7580460B2 (en) * 2003-03-28 2009-08-25 Sony Corporation Video encoder with multiple outputs having different attributes
JP2007525063A (ja) * 2003-06-26 2007-08-30 トムソン ライセンシング スライディング・ウィンドウ・チャネル制限に一致させるようマルチパス・ビデオレートを制御する方法
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7535959B2 (en) * 2003-10-16 2009-05-19 Nvidia Corporation Apparatus, system, and method for video encoder rate control
US20050089232A1 (en) * 2003-10-23 2005-04-28 Chun-Ming Hsu Method of video compression that accommodates scene changes
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
US7474701B2 (en) * 2004-09-23 2009-01-06 International Business Machines Corporation Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames
JP4257655B2 (ja) * 2004-11-04 2009-04-22 日本ビクター株式会社 動画像符号化装置
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
MX2007011084A (es) * 2005-03-10 2007-11-15 Qualcomm Inc Clasificacion de contenido para procesamiento multimedia.
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
CA2636858C (en) 2006-01-27 2015-11-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
FR2898757A1 (fr) * 2006-03-14 2007-09-21 Canon Kk Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
WO2007148219A2 (en) 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
GB2451512A (en) 2007-08-02 2009-02-04 Tandberg Television Asa Scene cut detection based on flagging image parameters and trigger threshold comparison
FR2919779B1 (fr) * 2007-08-02 2010-02-26 Canon Kk Procede et dispositif de codage avec perte d'un signal numerique
CN101796840A (zh) * 2007-08-28 2010-08-04 汤姆森特许公司 无频道改变延迟的交错播送
EP2059049A1 (en) * 2007-11-07 2009-05-13 British Telecmmunications public limited campany Video coding
KR20100122386A (ko) * 2009-05-12 2010-11-22 삼성전자주식회사 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
US8532169B2 (en) * 2009-12-23 2013-09-10 General Instrument Corporation Rate control for two-pass encoder using adaptive quantization parameters
JP2011199414A (ja) * 2010-03-17 2011-10-06 Toshiba Corp 素材収録装置及び素材収録方法
JP2012178818A (ja) * 2011-01-31 2012-09-13 Panasonic Corp 映像符号化装置および映像符号化方法
US8711928B1 (en) 2011-10-05 2014-04-29 CSR Technology, Inc. Method, apparatus, and manufacture for adaptation of video encoder tuning parameters
US9094684B2 (en) 2011-12-19 2015-07-28 Google Technology Holdings LLC Method for dual pass rate control video encoding
US9071842B2 (en) 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
GB2501495B (en) * 2012-04-24 2015-07-08 Canon Kk Methods for encoding and decoding an image with competition of coding modes, and corresponding devices
FR2990814B1 (fr) * 2012-05-18 2014-05-16 Assistance Tech Et Etude De Materiels Electroniques Procede et systeme de traitement pour generer au moins deux flux video compresses
US9560361B2 (en) 2012-12-05 2017-01-31 Vixs Systems Inc. Adaptive single-field/dual-field video encoding
EP3107297A4 (en) * 2014-02-10 2017-09-06 Nec Corporation Video encoding device, video encoding method, and program
US9472168B2 (en) * 2014-03-07 2016-10-18 Apple Inc. Display pipe statistics calculation for video encoder
WO2015200727A1 (en) * 2014-06-25 2015-12-30 Arris Enterprises, Inc. A method for using a decoder or look-ahead encoder to control an adaptive pre-filter
CN104410863B (zh) * 2014-12-11 2017-07-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
US9955191B2 (en) 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
KR102347598B1 (ko) 2017-10-16 2022-01-05 삼성전자주식회사 영상 부호화 장치 및 인코더
CN113438501B (zh) * 2020-03-23 2023-10-27 腾讯科技（深圳）有限公司 视频压缩方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920426A (en) * 1986-11-10 1990-04-24 Kokusai Denshin Denwa Co., Ltd. Image coding system coding digital image signals by forming a histogram of a coefficient signal sequence to estimate an amount of information
US5111292A (en) * 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
US5151783A (en) * 1991-06-05 1992-09-29 Faroudja Y C Digital television with enhancement
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5434623A (en) * 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
US5325125A (en) * 1992-09-24 1994-06-28 Matsushita Electric Corporation Of America Intra-frame filter for video compression systems

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202892B1 (en) 1998-12-21 2007-04-10 Sony Corporation Image pickup method and apparatus, and image processing method and apparatus for adapting to synthesize a plurality of images
US7746387B2 (en) 1998-12-21 2010-06-29 Sony Corporation Methods and systems for synthesizing pickup images
US7023914B2 (en) 2000-02-29 2006-04-04 Kabushiki Kaisha Toshiba Video encoding apparatus and method
US6834080B1 (en) 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus
US7180945B2 (en) 2000-09-05 2007-02-20 Kabushiki Kaisha Toshiba Video encoding system calculating statistical video feature amounts
WO2002080572A1 (en) * 2001-03-29 2002-10-10 Sony Corporation Image processing apparatus, image processing method, image processing program, and recording medium
KR100922077B1 (ko) * 2001-04-24 2009-10-16 아이피지 일렉트로닉스 503 리미티드 노이즈 검출 및 감소 방법, 비디오 데이터 트랜스코딩 방법 및 장치, 컴퓨터 판독가능한 기록 매체 및 노이즈 감소기
JP4516874B2 (ja) * 2005-03-30 2010-08-04 Ｎｅｃパーソナルプロダクツ株式会社 画像データ符号化装置及び画像データ符号化方法
JP2006279724A (ja) * 2005-03-30 2006-10-12 Nec Personal Products Co Ltd 画像データ符号化装置及び画像データ符号化方法
US8090029B2 (en) 2005-09-13 2012-01-03 Kabushiki Kaisha Toshiba Dynamic image encoding device and method
JP2007124580A (ja) * 2005-10-31 2007-05-17 Fujitsu Ltd 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
JP4644097B2 (ja) * 2005-10-31 2011-03-02 富士通セミコンダクター株式会社 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
JPWO2011142236A1 (ja) * 2010-05-12 2013-07-22 日本電信電話株式会社 符号量制御方法および装置
JP5580887B2 (ja) * 2010-05-12 2014-08-27 日本電信電話株式会社 符号量制御方法および装置
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Also Published As

Publication number Publication date
SG71157A1 (en) 2000-03-21
JP3510495B2 (ja) 2004-03-29
JP2004120786A (ja) 2004-04-15
TW390099B (en) 2000-05-11
US5978029A (en) 1999-11-02
KR19990036646A (ko) 1999-05-25
KR100295006B1 (ko) 2001-07-12

Similar Documents

Publication Publication Date Title
JP3510495B2 (ja) ２つのエンコーダ及び統計分析を使用するビデオ・シーケンスのリアルタイム符号化方法及び装置
US6040861A (en) Adaptive real-time encoding of video sequence employing image statistics
US7072393B2 (en) Multiple parallel encoders and statistical analysis thereof for encoding a video sequence
US6097757A (en) Real-time variable bit rate encoding of video sequence employing statistics
US6307886B1 (en) Dynamically determining group of picture size during encoding of video sequence
KR100960742B1 (ko) 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서
US5757668A (en) Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination
EP1615447B1 (en) Method and system for delivery of coded information streams, related network and computer program product therefor
US5870146A (en) Device and method for digital video transcoding
US7532808B2 (en) Method for coding motion in a video sequence
US6895048B2 (en) Adaptive encoding of a sequence of still frames or partially still frames within motion video
US9071841B2 (en) Video transcoding with dynamically modifiable spatial resolution
US7920628B2 (en) Noise filter for video compression
US6252905B1 (en) Real-time evaluation of compressed picture quality within a digital video encoder
US7885341B2 (en) Spatial filtering for improving compression efficiency of motion compensated interframe coding
US20030161407A1 (en) Programmable and adaptive temporal filter for video encoding
US7016413B2 (en) Adaptively encoding a picture of contrasted complexity having normal video and noisy video portions
US5844607A (en) Method and apparatus for scene change detection in digital video compression
JPH10336662A (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
JP2004080786A (ja) 離散コサイン変換係数を参照する動き推定方法及び装置
US20030138048A1 (en) Macroblock coding using luminance data in analyzing temporal redundancy of a picture, biased by chrominance data
US7236529B2 (en) Methods and systems for video transcoding in DCT domain with low complexity
US6040875A (en) Method to compensate for a fade in a digital video input sequence
Abd Al-azeez et al. Optimal quality ultra high video streaming based H. 265
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031225

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term