JPH08294130A - 複数のプロセッサを使用したビデオ圧縮 - Google Patents

複数のプロセッサを使用したビデオ圧縮

Info

Publication number
JPH08294130A
JPH08294130A JP8074244A JP7424496A JPH08294130A JP H08294130 A JPH08294130 A JP H08294130A JP 8074244 A JP8074244 A JP 8074244A JP 7424496 A JP7424496 A JP 7424496A JP H08294130 A JPH08294130 A JP H08294130A
Authority
JP
Japan
Prior art keywords
picture
bits
video
modeling
subsequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8074244A
Other languages
English (en)
Other versions
JP3533282B2 (ja
Inventor
Prasoon Tiwari
プラスーン・ティワリ
Eric Viscito
エリック・ヴィシート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH08294130A publication Critical patent/JPH08294130A/ja
Application granted granted Critical
Publication of JP3533282B2 publication Critical patent/JP3533282B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 【課題】 複数プロセッサまたは圧縮エージェントによ
って実現される粒度の粗い並列性を使用したビデオ圧縮
を行うシステムおよび技法を提供することである。 【解決手段】 複数のプロセッサを使用してビデオ圧縮
を行うシステムおよび方法を提供する。ビデオ・シーケ
ンスをサブシーケンスに区分化し、各サブシーケンスの
処理割当てを複数のプロセッサに分散させる。次に各サ
ブシーケンス内の各ピクチャのピクチャ・タイプを判断
し、ピクチャ・タイプに基づいて各ピクチャの符号化の
複雑さをモデル化する。モデル化に基づいて、各ピクチ
ャにビット数を割り振る。次に、割り振られたビット数
に従って各ピクチャを圧縮する。他の態様では、ビデオ
・シーケンス内の未来のピクチャの符号化の複雑さの動
的モデル化を使用して、ビデオ・シーケンス内のピクチ
ャの符号化を行う。動的モデルに基づいて、ビデオ・シ
ーケンス内の現行ピクチャの符号化にビットを割り振
る。次に、割り振られたビット数に基づいて現行ピクチ
ャを符号化する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ圧縮の分野
に関し、具体的には、ディジタル動画像信号を圧縮する
システムおよび技法に係わる。
【0002】
【従来の技術】ディジタル伝送網、ディジタル記憶媒
体、超大規模集積デバイスと、ビデオ信号および音声信
号のディジタル処理の技術的進歩は、多様な応用分野に
おけるディジタル・ビデオの伝送と記憶を経済的にする
方向に収斂しつつある。ディジタル・ビデオ信号の記憶
と伝送は、多くの応用分野の中核であり、ビデオ信号の
非圧縮表現は大量の記憶域を必要とするために、この進
歩し続ける技術分野にとってディジタル・ビデオ圧縮技
法の使用はきわめて重要である。この関連では、過去1
0年間にディジタル・ビデオ信号の圧縮に関するいくつ
かの国際標準が生まれており、さらに多くの標準が現在
作成中である。これらの標準は、テレビ電話やテレビ会
議、高品位ディジタル・テレビジョンの同軸ケーブル網
および光ファイバ網による伝送や地上波放送および直接
衛星放送、CD−ROM、ディジタル・オーディオ・テ
ープ、およびディスク・ドライブに記憶された対話型マ
ルチメディア製品など、多様な用途における圧縮ディジ
タル・ビデオの伝送と記憶に適用される。
【0003】これらの標準のいくつかには、たとえばC
CITT(国際電信電話諮問委員会)のH.120勧
告、CCITTのH.261勧告、ISO/IECのM
PEG−1、MPEG−2標準などの圧縮技法の共通の
中核に基づくアルゴリズムが含まれている。
【0004】MPEG標準は、国際標準化機構(IS
O)と国際電気標準会議(IEC)との共同技術委員会
に属するムービング・ピクチャ・エキスパート・グルー
プ(MPEG)によって作成された。MPEG委員会
は、ビデオ信号とそれに付随する音声信号の多重化圧縮
表現に関する標準を開発してきた。これらの標準は、圧
縮ビット・ストリームの構文と復号の方法を規定してい
るが、エンコーダで使用するアルゴリズムの新規性と多
様性にはかなりの自由度を残している。
【0005】プログレッシブ・ビデオの圧縮に使用する
ためにMPEG−1標準が作成された。プログレッシブ
・ビデオ・シーケンスとは、離散的瞬間に見たときに、
各フレームが1つのシーンを表すシーケンスである。そ
れに対してインタレース・ビデオの場合は、フィールド
(画面上の1本おきの線)が周期的に捕捉される。イン
タレース・ビデオでは、画面上で上部フィールドと下部
フィールドが交互の瞬間にリフレッシュされる。任意の
時点で、2つのフィールド、すなわち1つのフレームの
データを見ることができる。
【0006】MPEG−2標準は、インタレース・ビデ
オまたはプログレッシブ・ビデオ、あるいはプログレッ
シブ・ビデオとインタレース・ビデオの混在したものの
いずれの圧縮にも使用することができる。各フレームが
プログレッシブであるかインタレースであるかは、エン
コーダが指定する。
【0007】
【発明が解決しようとする課題】現在の基準では、ビデ
オ・シーケンスの高品質MPEGビット・ストリームへ
の圧縮は計算を多用するタスクである。ビデオ圧縮プロ
セスは本質的に順次プロセスである。すなわち、多くの
一時的依存関係がある。これらの依存関係は、主として
動き見積もりを行う必要と、指定のビット・レート制約
内に収める必要、すなわちレート制御とによって生ず
る。これらの依存関係の結果、複数のプロセッサを使用
して圧縮プロセスを並列化する(したがって高速化す
る)ことが困難になっている。
【0008】MPEG−1準拠ビデオ圧縮を行う1つの
従来の方法は、圧縮をマクロブロック・レベルで並列化
すること、すなわち各プロセッサが1つのマクロブロッ
クを圧縮することである。純粋な順次処理よりは優れて
いるが、並列性の粒度が細かいために、プロセッサ間お
よびプロセッサと共有メモリとの間の通信オーバーヘッ
ドがかなり大きくなる。
【0009】上記に鑑みて、本発明の目的は、複数プロ
セッサまたは圧縮エージェントによって実現される粒度
の粗い並列性を使用したビデオ圧縮を行うシステムおよ
び技法を提供することである。
【0010】
【課題を解決するための手段】本発明の1つの態様は、
複数プロセッサを使用してビデオ圧縮を行うシステムお
よび方法を提供する。この方法によると、ビデオ・シー
ケンスがサブシーケンスに区分化され、サブシーケンス
の処理割当てが複数のプロセッサに分散される。次に、
各サブシーケンス内の各ピクチャについてピクチャ・タ
イプが判断され、そのピクチャ・タイプに基づいて各ピ
クチャの符号化の複雑さがモデル化される。このモデル
化に基づいて各ピクチャにいくつかのビットが割り振ら
れる。各ピクチャは割り振られたビットに従って圧縮さ
れる。
【0011】本発明の他の態様は、ビデオ・シーケンス
内の未来のピクチャの符号化の複雑さの動的モデル化を
使用して、ビデオ・シーケンス内のピクチャを符号化す
る方法を提供する。この方法によると、動的モデルに基
づいてビデオ・シーケンス内の現行ピクチャの符号化に
ビットが割り振られる。次に、割り振られたビットに基
づいて現行ピクチャが符号化される。
【0012】
【発明の実施の形態】
a. MPEG環境 本発明はMPEG−2エンコーダと組み合わせて適用す
ることができるため、本発明を理解しやすくするため
に、MPEG−2ビデオ圧縮標準のいくつかの関係点に
ついて検討する。しかし、本発明は、MPEG−2標準
の特徴のいくつかを共有する他のビデオ・コーディング
・アルゴリズムにも適用可能であることに留意された
い。
【0013】まず始めに、テキストのページ、画像、音
声のセグメント、またはビデオ・シーケンスなど、どの
ようなデータ・オブジェクトの圧縮も、一連のステップ
で実行されることを理解されたい。この一連のステップ
には、1)当該オブジェクトをトークンの集合に分解す
るステップと、2)それらのトークンを、ある意味で最
小の長さを有する2進ストリングによって表現するステ
ップと、3)ストリングを明確に定義された順序で連結
するステップが含まれる。ステップ2および3には損失
がない。すなわち、逆の操作によって元のデータを忠実
に回復することができる。ステップ2はエントロピー符
号化と呼ばれる。
【0014】ステップ1は一般に、損失がない場合とあ
る場合がある。ほとんどのビデオ圧縮アルゴリズムは、
ビット・レート要件が厳しいために損失がある。有効な
有損失圧縮アルゴリズムは冗長情報や無関係な情報をな
くして、視覚的に重大でないと思われる場合には比較的
大きな誤差を許容し、人間の目がきわめて敏感になるシ
ーケンスの局面は綿密に表現する。MPEG−2標準で
ステップ1のために採用している技法については、予測
/補間動き補償ハイブリッドDCT/DPCM符号化と
して説明することができる。ステップ2では、可変長符
号化とも呼ばれるハフマン符号化が使用される。前述の
ように、MPEG−2標準は実際にはデコーダと圧縮ビ
ット・ストリーム構文の仕様であるが、MPEG−2仕
様に関する以下の説明では、わかりやすくするために主
としてエンコーダの視点から説明する。
【0015】MPEGビデオ標準では、伝送のためのビ
デオの符号化表現が規定されている。これらの標準は、
インタレースまたは非インタレース・コンポーネント・
ビデオに適用されるように作成されている。各ピクチャ
は、輝度(Y)、赤色差(Cr)、青色差(Cb)の3つ
の成分を有する。Cr成分とCb成分のサンプル数はそれ
ぞれ、水平方向と垂直方向の両方でY成分の半分であ
る。
【0016】MPEGデータ・ストリームは、システム
情報とおそらくは他のビット・ストリームとともにシス
テム・データ・ストリームにパックされた、ビデオ・ス
トリームと音声ストリームから成り、層を成していると
みなすことができる。MPEGデータ・ストリームのビ
デオ層内では、圧縮データがさらに層を成している。こ
の層の構成の説明は、本発明の理解の助けとなるであろ
う。
【0017】これらの層は、圧縮方式の動作と、圧縮ビ
ット・ストリームの構成に関係する。最上位層はビデオ
・シーケンス層で、シーケンス全体の制御情報とパラメ
ータが含まれている。次の層では、シーケンスが、ピク
チャ・グループ(GOP)と呼ばれる数組の連続ピクチ
ャに細分されている。この層の概略図を図13に示す。
復号は、先行GOPとは本質的に無関係に、GOPのど
こからでも開始することができる。GOP内に含めるこ
とができるピクチャの数には制限がなく、すべてのGO
Pに同じ数のピクチャが入っている必要もない。
【0018】3番目の層、すなわち「ピクチャ」層は、
単一のピクチャである。この層の概略図を図14に示
す。各ピクチャの輝度成分は16×16の領域に細分さ
れる。色差成分は16×16の輝度領域と空間的に同じ
場所に配置された適切な大きさのブロックに細分されて
いる。4:4:4ビデオの場合、色差成分は16×16
であり、4:2:2ビデオの場合は色差成分は8×1
6、4:2:0ビデオの場合は色差成分は8×8であ
る。これらの同じ場所に配置された輝度領域と色差領域
をすべて合わせると、「マクロブロック」(MB)と呼
ばれる5番目の層が構成される。ピクチャ内のマクロブ
ロックには、ラスタ走査順に連続した番号が付けられて
いる。
【0019】ピクチャ層とMB層の間には、4番目の層
である「スライス」層がある。各スライスは、いくつか
の連続したMBから成る。スライスの大きさは同一ピク
チャ内でも異なるピクチャ間でも一様である必要はな
い。
【0020】最後に、図15に示すように、各MBは4
個の8×8輝度ブロックと(4:4:4、4:2:2、
および4:2:0ビデオの)8個、4個、または2個の
クロミナンス・ブロックから成る。画素数すなわちピク
セル数で表した輝度成分の幅をCで示し、高さをRで示
した場合(Cは列、Rは行を表す)、1つのピクチャの
幅はC/16MBで高さはR/16MBとなる。
【0021】シーケンス層、GOP層、ピクチャ層、お
よびスライス層はそれに関連するヘッダを持っている。
ヘッダはバイト位置合わせされた「開始コード」で始ま
り、対応する層に含まれているデータに関係する情報が
入っている。
【0022】ピクチャはフィールド構造またはフレーム
構造とすることができる。フレーム構造ピクチャには、
フレーム全体、すなわち2つのフィールドを再構成する
ための情報が入っている。フィールド構造ピクチャに
は、1つのフィールドを再構成するための情報が入って
いる。各輝度フレームの幅(画素数すなわちピクセル
数)をCで示し、高さをRで示した場合(Cは列、Rは
行を表す)、フレーム構造ピクチャにはC×Rピクセル
の情報が含まれ、フィールド構造ピクチャにはC×R/
2ピクセルの情報が含まれる。
【0023】フィールド構造ピクチャ内のマクロブロッ
クには、1つのフィールドの16×16ピクセルのセグ
メントが含まれる。フレーム構造ピクチャ内のマクロブ
ロックには、2つのフィールドによって構成されたフレ
ームの16×16ピクセルのセグメントが含まれてい
る。各マクロブロックには2つの各フィールドの16×
8の領域が含まれている。
【0024】MPEG−2シーケンスにおける各フレー
ムは、2つの符号化フィールド・ピクチャまたは1つの
符号化フレーム・ピクチャで構成されていなければなら
ない。たとえば、2つのフレームを、1つのフィールド
構造ピクチャの後に1つのフレーム構造ピクチャが続
き、その後に1つのフィールド構造ピクチャが続いた構
成として符号化することは不当である。正当な組合せ
は、2つのフレーム構造ピクチャ、4つのフィールド構
造ピクチャ、2つのフィールド構造ピクチャの後に1つ
のフレーム構造ピクチャ、または1つのフレーム構造ピ
クチャの後に2つのフィールド構造ピクチャのいずれか
の組合せである。したがって、MPEG−2構文にはフ
レーム・ヘッダはないが、概念的にはMPEG−2のフ
レーム層を考えることができる。
【0025】GOP内には、3つの「タイプ」のピクチ
ャを含むことができる。GOP内の3つのタイプのピク
チャの例を図16に示す。ピクチャのタイプを区別する
特徴は、使用されている圧縮方法である。第1のタイプ
のモード内ピクチャすなわちIピクチャは、他のピクチ
ャとは独立して圧縮されている。Iピクチャ間の距離に
は一定した上限はないが、ランダム・アクセスおよびそ
の他の特別な動作モードを容易にするために、シーケン
ス全体にわたって点在すると予想される。予測動き補償
ピクチャ(Pピクチャ)は、そのピクチャ内と、前に表
示されたIピクチャまたはPピクチャからの最も最近に
再構成された2つのフィールド内の圧縮データから再構
成される。双方向動き補償ピクチャ(Bピクチャ)は、
そのピクチャ内と、前に表示されたIピクチャまたはP
ピクチャからの2つの再構成フィールド内および将来表
示されるIピクチャまたはPピクチャからの2つの再構
成フィールド内の圧縮データから再構成される。再構成
されたIピクチャまたはPピクチャを使用して他のピク
チャを再構成することができるため、これらのピクチャ
はアンカー・ピクチャと呼ばれる。本明細書では、次の
アンカー・ピクチャがIピクチャである場合にアンカー
・ピクチャをターミナル・ピクチャと呼ぶ。
【0026】1つのきわめて有用な画像圧縮技法は、変
換符号化である。MPEGおよびその他のいくつかの圧
縮標準では、離散コサイン変換(DCT)を変換方式と
して選択している。Iピクチャの圧縮は、1)ピクセル
のブロックのDCTを行うステップと、2)DCT係数
を量子化するステップと、3)その結果をハフマン符号
化するステップとによって行われる。MPEGでは、D
CT操作によって、8×8ピクセルの1ブロックを1組
の8×8の変換係数に変換する。DCT変換自体は無損
失の操作であり、実行に使用している計算装置とアルゴ
リズムの精度内に変換することができる。
【0027】2番目のステップであるDCT係数の量子
化は、MPEG標準における有損失性のおもな発生源で
ある。DCT係数の2次元配列の要素をCmnで示し、m
およびnが0ないし7の値をとることができるとする
と、切り捨て修正や丸め修正は別にして、各DCT係数
mnをWmn×QPで割ることで量子化を行うことができ
る。このWmnは重み係数であり、QPはマクロブロック
量子化係数である。QPは各DCT係数に適用されるこ
とに留意されたい。重み係数Wmnによって、視覚的によ
り重要でない係数にはより粗い量子化を適用することが
できる。
【0028】これらの重みは数組存在することができ
る。たとえば、Iピクチャの重み係数が1つと、Pピク
チャおよびBピクチャの重み係数が1つ存在することが
できる。ビデオ・シーケンス層でカスタム重みを伝送す
ることも、省略時値を使用することもできるマクロブロ
ック量子化ステップ・パラメータは、MPEG−2で品
質とビット・レートの間で折り合いをつけるための主な
手段である。QPは、ピクチャ内のMBごとに異なって
いても構わないことに注目することが重要である。この
機能は、適応量子化(AQ)と呼ばれ、各ピクチャの異
なる領域を異なるステップ・サイズで量子化することが
でき、これを使用して各ピクチャ全体と、異なるピクチ
ャごとの視覚品質を一様化する(しかも最適化する)こ
とができる。一般に、たとえばMPEGテスト・モデル
では、マクロブロック量子化ステップはマクロブロック
・マスキング係数とピクチャ名目量子化ステップとの積
として算出される。
【0029】以下の量子化では、各MBのDCT係数情
報が1組のハフマン・コードを使用して構成され、符号
化される。このステップの詳細は本発明の理解にとって
は重要ではなく、当技術分野で一般に理解されているた
め、本明細書では詳細を述べない。
【0030】ほとんどのビデオ・シーケンスは連続した
ピクチャ間で強い相互関係を示している。ピクチャを符
号化する前にこの冗長性を取り除く有用な方法は動き補
償である。MPEG−2では、動き補償のためのいくつ
かの手段(後述する)を規定している。
【0031】動き補償のすべての方法には、以下のよう
な共通点がある。マクロブロックごとに1つまたは複数
の動きベクトルをビット・ストリームに符号化する。こ
れらの動きベクトルによって、デコーダは予測マクロブ
ロックと呼ぶマクロブロックを再構成することができ
る。エンコーダは、符号化するマクロブロックから予測
マクロブロックを差し引いて、差分マクロブロックを形
成する。エンコーダは、内部マクロブロックを圧縮する
ために使用する手段と本質的に同様の手段を使用して、
差分マクロブロックを圧縮する。
【0032】使用可能な動き補償の方法はピクチャ・タ
イプによって決まる。エンコーダはピクチャ内の各マク
ロブロックについてそれらの方法の中から選択する。動
き補償の方法について、使用するマクロブロック・モー
ドと動き補償モード別に説明する。マクロブロック・モ
ードには、イントラ(I)モード、フォワード(F)モ
ード、バックワード(B)モード、および補間フォワー
ド・バックワード(FB)モードの4種類がある。Iモ
ードでは、動き補償は使用しない。その他のマクロブロ
ック・モードでは、16×16(S)または16×8
(E)動き補償モードを使用することができる。Fマク
ロブロック・モードでは、デュアルプライム(D)動き
補償モードも使用することができる。
【0033】MPEG標準は、固定ビット・レート伝送
媒体で使用することができる。しかし、様々なタイプの
ピクチャ処理があるためと、時間の経過によって符号化
するシーンの時間空間的複雑さが変化するために、各ピ
クチャ内のビット数は厳密に一定しているわけではな
い。MPEG標準は、バッファベースのレート制御方法
を使用して、許容されるビット・レート変化に意味のあ
る限度を設けている。仮想バッファの形でビデオ・バッ
ファ検査機構(VBV)が考案されている。その唯一の
タスクは、各ピクチャの符号化に使用するビット数に限
度を設けて、全体的なビット・レートが目標割振りと等
しくなるようにし、目標からの短期間の逸脱が制限され
るようにすることである。このレート制御方式は以下の
ように説明することができる。
【0034】バッファの後に仮想的デコーダを有するシ
ステムを考えてみる。このバッファには、記憶媒体から
ビット・ストリーム内の圧縮データが一定したビット・
レートで満たされる。バッファ・サイズとビット・レー
トは両方とも、圧縮ビット・ストリームの形で伝送され
るパラメータである。同じくビット・ストリーム内の情
報から導き出される初期遅延の後、仮想デコーダはバッ
ファから最初のピクチャに関連するすべてのデータを瞬
間的に除去する。その後、デコーダは、シーケンスのピ
クチャ・レートと等しい間隔で、バッファ内の最も古い
ピクチャに関連するすべてのデータを除去する。ビット
・ストリームがMPEGレート制御要件を満たすために
は、デコーダが必要とする瞬間に各ピクチャのすべての
データがバッファ内に入っている必要がある。通常、こ
の要件によって、各ピクチャ内の許容ビット数の上限U
VBVと下限LVBVが設定される。所与のピクチャの上限と
下限は、それに先行するすべてのピクチャで使用されて
いるビット数によって決まる。この要件を満たすビット
・ストリームを生成するのは、エンコーダの役割であ
る。この要件を満たすために、レート制御方法は各マク
ロブロックについて差分マクロブロックの基準(以下予
測誤差と呼ぶ)の情報に依存することができる。このよ
うなレート制御方法の例については、ゴンザレスおよび
ヴィシトの米国特許第5231484号で開示されてい
る。その方法では、ピクチャを符号化する前に、エンコ
ーダがそのピクチャ内の各マクロブロックの予測誤差を
算出する。
【0035】 b.ビデオ圧縮のための複数プロセッサ実施例 本発明と組み合わせて使用するのに適した計算機システ
ムを図5に示す。図5のシステムは、システム・バス5
03(アドレスとデータの両方を伝送する)によって相
互接続された32個のプロセッサ502(0)〜502
(31)を備える。各プロセッサは専用のランダム・ア
クセス・メモリ504(0)〜504(31)を備え
る。このシステムは、共有ランダム・アクセス・メモリ
506も備える。ランダム・アクセス・メモリ504
(0)〜504(31)、506は、従来型の半導体メ
モリであることが好ましい。上記のほかに、システムは
D1テープ機508、ディスク・アレイ510、および
スタンドアロン・ディスク512へのアクセスを行える
ようにする入出力制御装置507を備える。
【0036】D1テープ機は、この実施例の関連では、
従来のD1形式でテープに記憶されている非圧縮動画ビ
デオを読み取るために使用される。以下、これらのビデ
オを「情報源素材」と呼ぶ。ディスク・アレイ510
は、情報源素材のセグメントをキャッシュするために使
用される。スタンドアロン・ディスク512は、本発明
の原理に従ってシステムによって出力される(情報源素
材から導き出された)圧縮ビデオ・ストリームを記憶す
るために使用される。
【0037】各プロセッサは、プリプロセッサ514
(0)〜514(31)と、プリプロセッサの出力を受
け取るIPUエンコーダ516(0)〜516(31)
を備える。1つのプロセッサ502(0)(本明細書で
は「符号化制御プロセッサ」と呼ぶ場合もある)は、符
号化マネージャ518を備える。プリプロセッサとIP
Uエンコーダは、各プロセッサのプライベート・メモリ
504(0)〜504(31)からしかるべく実行され
るプログラム・コードとして実施することが好ましい。
符号化マネージャ518も、符号化制御プロセッサ50
2(0)でそのプライベート・メモリ504(0)から
実行されるプログラム・コードとして実施することが好
ましい。プリプロセッサ、IPUエンコーダ、および符
号化マネージャは、別法として、ハードウェア論理回路
として実施することもできることを理解されたい。
【0038】図1に、図5のシステムによって実行され
るプロセスの概要を示す。図1のプリプロセッサ101
は、図5のプリプロセッサ514(0)〜514(3
1)の組合せによって実行される作業を総体的に表して
いる。同様に、図1のエンコーダ103は、図5のIP
Uエンコーダ516(0)〜516(31)によって行
われる作業を総体的に表している。システムが使用する
圧縮パラメータは、ユーザがスタンドアロン・ディスク
512に入っているパラメータ設定値ファイル105の
形で入力し、それを図5の符号化マネージャ518が読
み取って処理する。D1テープ機508から(ディスク
・アレイ510を介して)送られる非圧縮ビデオ・シー
ケンスも、入力100としてシステムに供給される。
【0039】プリプロセッサ101は、パラメータ設定
値ファイル105から取り出したパラメータ106のサ
ブセットに基づいて、入力ビデオ・シーケンス内のピク
チャにピクチャ構造、ピクチャタイプ、およびフィール
ド数を割り当てるなど、いくつかの補助機能を実行す
る。エンコーダ103への入力は、同じくパラメータ設
定値ファイル105から取り出されたパラメータ107
の他のサブセット(たとえばビット・レートなど)、入
力ビデオ・シーケンス100、およびプリプロセッサに
よって生成された補助情報102である。エンコーダ
は、パラメータ設定値ファイル105に従って、出力1
04で入力ビデオ100の圧縮MPEG−2準拠ビット
・ストリームを生成する。
【0040】プリプロセッサ514(0)〜514(3
1)の構造を図2に示す。入力ビデオ100は、(従来
の3:2プルダウン反転を使用する)繰り返しフィール
ド検出器201によって処理され、次にシーン・チェン
ジ検出器202によって処理される。繰り返しフィール
ド検出とシーン・チェンジ検出は両方とも当技術分野で
周知であり、本明細書では詳述しない。この2つの検出
器の出力203および204は、それぞれ、IPUパー
ティショナ205に入力として渡される。IPUパーテ
ィショナは、符号化マネージャ518の一部であり、従
って符号化制御プロセッサ502(0)の形でしか示し
ていない。IPU区分化機能については、後で詳しく説
明する。プリプロセッサの出力は補助情報102であ
る。
【0041】エンコーダの構造を図3に示す。エンコー
ダへの入力は、IPU300に区分化されたビデオ・シ
ーケンスと、ユーザ選択パラメータ107のサブセット
である。I区分単位(IPU)は、2つのターミナル・
ピクチャの間のすべての(表示順序の)ピクチャから成
る。2番目のターミナル・ピクチャはIPUに含まれる
が、最初のターミナル・ピクチャは含まれない。この定
義には例外が2つある。最初のIPUはシーケンスの先
頭から始まり最初のターミナル・ピクチャ(これを含
む)で終わる。最後のIPUは最後のターミナル・ピク
チャの直後の最初のピクチャで始まり、シーケンスの最
後までのすべてのピクチャを含む。ビット割振り単位
(BAU)は、1組の1つまたは複数の連続したIPU
である。
【0042】ビデオ・シーケンス300は実際にはビデ
オ入力100と補助データ102の組合せである。この
時点で、すでにIPUパーティショナ205によってピ
クチャ・タイプが割り当てられている。IPUビット・
アロケータ302によってIPUにビットが割り振られ
る。IPUビット・アロケータも符号化マネージャ51
8の一部であることが好ましい。IPUに割り当てるビ
ット数は、たとえばIPUの合計表示時間に所望のビッ
ト・レートを掛けた積とすることができる。
【0043】IPUビット・アロケータの出力は、IP
Uエンコーダ516(0)〜516(31)の各入力3
03に接続されている。さらに、各IPUエンコーダ
は、共有メモリ506の1つの領域を表す接続部306
によって結合されている。この接続部は、IPUの最終
再構成アンカー・ピクチャのエンコーダ再構成を交換す
るために使用される。
【0044】IPUビット・アロケータ302は、IP
Uを様々なIPUエンコーダに配布するディストリビュ
ータの機能も果たす。アロケータはその入力300から
次のIPUを入手してそれにビットを割り振り、次の使
用可能なIPUエンコーダにそれを渡す。また、そのI
PUエンコーダに対して、直前のIPUを符号化したI
PUエンコーダの番号(プロセッサID)も示す。
【0045】エンコーダは、符号化マネージャ518の
一部である連結器313も備えている。連結器313は
すべてのIPUビット・ストリームを正しい時間的順序
に組み立てて、その出力104で出力する。
【0046】IPUがIPUエンコーダ516(0)に
渡される場合を考えてみる。必要であれば、IPUエン
コーダ516(0)は、適切なプロセッサIDを参照す
ることによって、相互接続306を介して直前の再構成
アンカーを入手する。次に、完全なIPUのビット・ス
トリームを生成し、それを連結器313に送る。連結器
313はすべてのIPUビット・ストリームを正しい時
間的順序に組み立て、その出力104に連結ビット・ス
トリームを出力する。直前の再構成アンカーがまだ共有
メモリで入手できない可能性もある。その場合、直前の
再構成アンカーを必要としないピクチャが先に符号化さ
れ、直前の再構成アンカーを必要とするピクチャの符号
化は、再構成アンカーが入手可能になるまで延期され
る。これは、本明細書では、「順序外れ」符号化と呼
ぶ。
【0047】IPUエンコーダの構造を図4に詳細に示
す。IPUエンコーダへの入力303は、完全なIPU
とそのIPUに割り振られたビット数である。IPU内
の各ピクチャの各マクロブロックについて、予備動きエ
スティメータ400が、整数レベルの動きベクトル、マ
スキング係数、ACエネルギー、および処理中のマクロ
ブロックと動きベクトルによる予測との差のエネルギー
の各数量をしかるべく算出する。特定のピクチャのマク
ロブロックiについて、これらの数量をそれぞれm
i、maskfi、aci、およびdiffeiで示す。
この情報はIPUモデル機構402に渡される。IPU
モデル機構402はこの情報を使用して各ピクチャの符
号化モデルを構成する。これらのモデルはピクチャ・ビ
ット・アロケータ404がピクチャにビットを割り振る
ために使用する。モデル化プロセスとビット割振りプロ
セスについては、図8ないし図12をそれぞれ参照しな
がら後で詳述する。
【0048】ピクチャ・エンコーダ406がピクチャL
とそのビット割振りを入力405として受け取る。必要
であれば、適切なプロセッサIDを使用して、入力30
6を介して直前のIPUから再構成アンカーを入手す
る。次に、ピクチャ・エンコーダが、その所与のビット
限度aL内でピクチャを符号化して、その出力310で
(そのピクチャの)圧縮ビット・ストリームを生成す
る。所与のビット限度内でピクチャを符号化する技法
は、当技術分野で周知である。好適な技法の一例は、米
国特許第5231484号で開示されている。所望の場
合、ピクチャ・エンコーダは符号化時にピクチャの符号
化の複雑さを改変することができるタイプのものとする
こともできる。
【0049】以下に、IPUパーティショナ205につ
いて図6および図7を参照しながら詳細に説明する。I
PUパーティショナは符号化マネージャ518内のプロ
グラム・コードとして実施することが好ましい。共有メ
モリ506で入手可能な入力ビデオ・フレームがプロセ
ッサ間で均等に分割される。繰り返しフィールド検出と
シーン・チェンジ検出の後、すべてのプロセッサが同期
化される。その後で、符号化制御プロセッサ502
(0)を使用してIPU区分を算出する。他のプロセッ
サはこの計算の間、遊休状態のままになっている。
【0050】パラメータ設定値ファイル105の一部と
して、ユーザは最大IPUサイズ(maxipu)と名
目IPUサイズ(nomipu)を指定する。共有メモ
リ・セグメント内の第1のi個のフィールドがすでに第
1のm個のIPU(0、1、...、m−1と番号が付
けられている)に割り当てられている。次に、IPUm
が(i+1)番目のフィールドから開始するように定義
される。ステップ602で、符号化制御プロセッサ50
2(0)が(繰り返しフィールド・データを使用し
て)、次の2(maxipu+1)個のフィールドに収
まるピクチャを識別する。このプロセスを実行するのに
十分なフィールド・データがない場合、このステップは
スキップされる。ステップ604で、十分なフィールド
・データがあると判断された場合は、ステップ606に
入って、その1組のピクチャ内にシーン・チェンジがあ
るか否かが判断される。シーン・チェンジがある場合、
ステップ608で現行IPUがそのシーン・チェンジの
直前のピクチャで終了する。シーン・チェンジがない場
合、ステップ610で現行IPUが、最大2*nomi
pu個のフィールドを含む、ピクチャーの最大初期シー
ケンスが入るように定義される。
【0051】現行IPU内のピクチャ数が決定すると、
ステップ612でそれらのピクチャにピクチャ・タイプ
が割り当てられる。ピクチャ・タイプは、IPUパーテ
ィショナ205内でテーブル参照によって判断される。
許容連続Bピクチャの最大数と、新しいシーンが現行I
PUの先頭から開始するか否かに応じて、いくつかのテ
ーブルを使用することができる。{新しいシーン、古い
シーン}×{0,1,2}の各要素について1つのテー
ブルがあり、そのテーブルでシーン・チェンジ検出器2
02が現行IPUが新しいシーンを開始するか古いシー
ンを継続するかを判断し、0、1、2によって連続Bピ
クチャの最大数が決定し、パラメータ設定値ファイル1
05の一部のユーザ入力として指定される。
【0052】たとえば、IPUmが新しいシーンから始
まり、11個のピクチャと最大2個の許容連続Bピクチ
ャを有する場合、テーブルの11番目の項目(新しいシ
ーン、2)は「I B P B P B P B P」
のようになる。
【0053】現行IPUのピクチャ・タイプが判断され
た後、ステップ621で共有メモリ内にそのセグメント
のビデオ・データがまだ他にあるかどうかが判断され
る。ある場合には、プロセスは次のIPUのために再び
ステップ602に入る。そのセグメントのビデオ・デー
タがそれ以上ない場合には、ステップ622で、ビデオ
・シーケンスの最後に達したかどうかが判断される。最
後に達した場合、このプロセスは624で終了する。そ
のビデオ・シーケンスの情報源素材がまだある場合、ス
テップ626で共有メモリにさらにデータが読み込ま
れ、プロセスは再びステップ600に入ってその新しい
データを処理する。
【0054】現行ビデオ・セグメントの最後のIPUの
作成中に、そのセグメント用のデータが失われる(すな
わち、すべて処理済み)ことがある。その場合(これは
ステップ604で検出される)、圧縮する情報源素材が
まだあれば(これはステップ614で検出される)、ス
テップ618で現行セグメントの残りのフィールドが、
ディスク・アレイから共有メモリに読み込まれたデータ
の次のセグメントの先頭に追加される。圧縮する情報源
素材がなければ、ステップ620で残りのフィールドが
単独で追加のIPUに入れられる。その後、プロセスは
ステップ628で終了する。
【0055】実施を単純化するために、システムは偶数
のフィールドが繰り越されるようにする。これは、ステ
ップ616で、残りの数のフィールドが(取り消す前
に)奇数の場合に最後の繰り返しフィールドを取り消す
ことによって行われる。
【0056】IPUサイズを選択する上記の方式によっ
て、圧縮ビデオ・ビット・ストリーム内に多くのランダ
ム・アクセス点ができるようになる。さらに厳密に、1
つのフィールドの表示時間がTf秒であるとする。(そ
の場合、1つのフレームの表示時間は2 * Tf秒で
ある。)IPU内のすべてのピクチャがフレーム構造で
ある場合、シーン・チェンジがないときには2 * T
f * nomipu秒おきにIピクチャが存在するこ
とになる。
【0057】他の実施例では、IPUパーティショナ2
05はIPU内のピクチャのピクチャ・タイプを判断す
る必要がない。その代わりに、ピクチャ・タイプはIP
Uエンコーダ内の予備動きエスティメータ400の後、
またはその一部として、判断することができる。
【0058】以下に、IPUモデル機構402によって
行われる処理について図8および図9を参照しながら説
明する。IPUモデル機構は各IPUエンコーダ516
(0)〜516(32)内のプログラム・コードとして
実施することが好ましい。したがって、各IPUモデル
機構は他のIPUモデル機構と並行して、それぞれが自
身の別個のIPUに対して機能するものと理解された
い。
【0059】図8および図9のステップは、IPU内の
各ピクチャに適用される。
【0060】ステップ702において、IPUモデル機
構が前のIPUの名目量子化ステップに基づいてサンプ
リング量子化ステップQを選択する。たとえば、量子化
ステップQは、そのような情報を入手することができる
最後のIPUの名目量子化ステップとすることができ
る。さらに、Lが0(IPU内の最初のピクチャの索
引)に設定される。
【0061】ステップ704で、IPUモデル機構は、
共有メモリから現行IPUのピクチャLを読み取る。
【0062】ステップ706で、処理中のピクチャから
所与の(固定した)割合(たとえば10パーセント)の
マクロブロックが無作為に選択される。ここでは、
0、i1、i2、...、ikー1という番号のマクロブロ
ックがピクチャLからサンプリングされたマクロブロッ
クであるものとする。
【0063】ステップ708で、選択されたマクロブロ
ックが符号化され、各マクロブロックによって生成され
たDCT係数ビットの数biが測定される。イントラ・
マクロブロックの場合、DC係数を符号化するビットは
iには含まれない。非イントラ・マクロブロックの場
合、オリジナルを符号化の基準として使用する。
【0064】ステップ710で、イントラ・マクロブロ
ックとインター(非イントラ)マクロブロックが、イン
トラはUI、インターはUNのグループに分けられる。m
askfiをマクロブロックiのマスキング係数とす
る。
【0065】ステップ712で、サンプリングされた各
マクロブロックの複雑さが算出される。イントラ・マク
ロブロックの場合、複雑さc1はACエネルギーをma
skf1とサンプリング量子化ステップQとの積で割っ
た商であり、ci=aci/(maski * Q)とな
る。インター・マクロブロックの場合、ci=diff
1/maskfi * Q)となる。
【0066】ステップ714で、(前にステップ706
で決定した)選択したイントラ・マクロブロックUI
組内の各マクロブロックiについて(ci,bi)で得ら
れるポイントの組を使用して区分的線形単調非減少適合
I Lを算出する。この区分的線形適合FI Lは計算プロセ
ッサのプライベート・メモリ504(n)に記憶され
る。
【0067】ステップ716で、(前にステップ706
で決定した)選択したインター・マクロブロックUN
組内の各マクロブロックiについて(ci,bi)で得ら
れるポイントの組を使用して区分的線形単調非減少適合
N Lを算出する。この区分的線形適合FN Lは計算機プロ
セッサのプライベート・メモリ504(n)に記憶され
る。
【0068】ステップ718で、IPUモデル機構が、
現行IPU内にモデル化するピクチャがまだほかにある
かどうかを判断する。モデル化するピクチャがほかにあ
る場合には、ステップ720を実行してLを1だけ増や
し(L=L+1)、その後、プロセスは再びステップ7
04に入る。現行IPU内にそれ以上ピクチャがない場
合は、プロセスはステップ722で終了する。
【0069】以下に、ピクチャ・ビット・アロケータ4
04によって行われる処理について図10ないし12を
参照しながら説明する。IPUモデル機構の場合と同様
に、ピクチャ・ビット・アロケータは各IPUエンコー
ダ516(0)〜516(31)内のプログラム・コー
ドとして実施することが好ましい。したがって、各ピク
チャ・ビット・アロケータは、それ自身の別個のIPU
関連データに基づいて他のピクチャ・ビット・アロケー
タと並行して動作するものと理解されたい。説明をわか
りやすくするために、現行IPU内のすべてのピクチャ
がフレーム構造であるものと仮定する。
【0070】所与の量子化xについて、ピクチャ内の各
マクロブロックを符号化するのに必要なDCT係数ビッ
トの数を見積もる。次に、個々のマクロブロックの見積
もり値を加算してピクチャの見積もり値を得る。(ピク
チャLの)この見積もり値をeL(x)で示す。i番目
のマクロブロックがイントラ・マクロブロックの場合、
必要なDCT係数ビット数は、FI L(aci/(mas
kfi * x))と見積もられる。i番目のマクロブ
ロックがインター・マクロブロックの場合、必要なDC
T係数ビット数はFN L(diffei/(maskfi
* x))と見積もられる。MPEG試験モデルで示さ
れている周知の従来の技法を使用して、必要な「サイ
ド」ビットSLを見積もることができる。本明細書では
これらの技法については詳述しない。「サイド」ビット
という用語は、(1)インター・マクロブロックの場合
はすべてのDCT係数ビット以外、(2)イントラ・マ
クロブロックの場合はAC DCT係数ビット以外の、
ピクチャを符号化するのに使用されるすべてのビットを
指す。
【0071】まず、ステップ802でIPU内のすべて
のピクチャのモデルが、プロセッサのプライベート・メ
モリから読み取られる。次に、ステップ804で「現行
セグメント」をIPU内のすべてのピクチャであると定
義する。ステップ808で変数wをビット・レートに1
フィールドの表示時間を掛けた積と定義する。ステップ
810で変数zをwにIPU内のフィールド数を掛けた
積に設定する。ステップ812で、IPUのビット限度
Hをzと等しい値に設定する。
【0072】ステップ814で、ピクチャ品質が現行セ
グメント全体で一様になるようにz個のビットを現行セ
グメント内のピクチャに予備的に分配する。このビット
数はMPEGビット割振り(VBV)制約に従っていな
くてもよいものと理解されたい。予備割当てプロセスは
次のように実行することが好ましい。
【0073】どの量子化ステップxについても、現行セ
グメントに必要な合計ビット数は、各ピクチャのDCT
係数ビット数の見積もり値eL(x)の合計に各ピクチ
ャのその他のビットの見積もり値sLの合計を加算した
和に等しいものと見積もられる。従来の二等分技法を使
用して、zに最も近く(すなわち1%などの固定しきい
値内であり)、しかもz以下である値になるようなxを
選択する。xを選択したら、前述のようにeL(x)+
Lを計算することによって、各ピクチャのビット数aL
を決定する、aL=eL(x)+sL。とにかく、xはI
PUビット・アロケータによってIPUに割り当てられ
たビット数以下になるように設定しなければならない。
【0074】ステップ816で、MPEG VBV制約
に違反しているピクチャがないかどうか判断される。
【0075】違反がない場合、ステップ832で、現行
セグメント内の各ピクチャのビット数がaLに確定され
る。ステップ834で、Hから現行セグメントで使用す
る合計ビット数を差し引く。次に、ステップ836で、
現行IPU内にそれ以上ピクチャがあるか否かを判断す
る。それ以上ピクチャがない場合、IPU内のすべての
ピクチャの最終ビット割振りが、プロセッサのプライベ
ート・メモリを介してピクチャ・エンコーダ406に供
給され、次にプロセスはステップ844で終了する。ピ
クチャがまだほかにある場合は、ステップ838で現行
セグメントがIPU内の残りのすべてのピクチャとして
定義される。次に、ステップ840でzがHに等しい値
に設定され(z=H)、プロセスは再びステップ814
に入る。
【0076】ステップ816でMPEG VBV制約に
違反するピクチャがあると判断された場合、ステップ8
18でエンコーダ順序でピクチャを検査することによっ
て、違反が発生した最初のピクチャvが識別される。ス
テップ818では、違反がオーバーフロー(使用ビット
数が少なすぎる)とアンダーフロー(使用ビット数が多
すぎる)のいずれであるかも判断される。ステップ82
0で、オーバーフローまたはアンダーフローのビット数
Ovが判断される。ステップ822で、現行セグメント
が、ピクチャ0からvまでで構成されるように再定義す
る。
【0077】ステップ824では、ステップ818で判
断された違反タイプに応じて分岐をとる。違反がオーバ
ーフローだった場合、ステップ826でzがa0+a1
+a2+...+av+Ovに設定され、プロセスは再
びステップ814に入る。違反がアンダーフローだった
場合、ステップ828でzがa0+a1+a2+...
+av−Ovに設定され、プロセスは再びステップ81
4に入る。
【0078】この実施例についてはIPUに関して説明
したが、本発明の原理はビット割振り機構(BAU)レ
ベルでの並列化にも適用可能であることを理解された
い。
【0079】必要であれば、(再構成されたものではな
く)オリジナルの直前アンカーについてIPU(または
BAU)内の最初のIピクチャのコンシールメント動き
ベクトルを計算することもできる。
【0080】以上、本発明について好ましい実施例を用
いて説明したが、当業者なら様々な変更および改良を思
いつくであろう。したがって、好ましい実施例は例示的
なものであり、限定的なものではないことを理解された
い。本発明の範囲は、特許請求の範囲によって規定され
る。
【0081】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0082】(1)複数のプロセッサを使用してビデオ
圧縮を行う方法であって、ビデオ・シーケンスをサブシ
ーケンスに区分化するステップと、該サブシーケンスの
処理割当てを複数のプロセッサに分配するステップと、
各サブシーケンス内の各ピクチャのピクチャ・タイプを
判断するステップと、該ピクチャ・タイプに基づいて各
ピクチャの符号化の複雑さをモデル化するステップと、
該モデル化に基づいて各ピクチャにビット数を割り振る
ステップと、割り振られたビット数に従って各ピクチャ
を圧縮するステップと、各サブシーケンスのビット・ス
トリームを連結して圧縮ビデオ・ストリームを構成する
ステップとを含む方法。 (2)サブシーケンス内のすべてのピクチャのモデル
化、割振りおよび圧縮が、当該サブシーケンスに割り当
てられた所与のプロセッサによって行われることを特徴
とする、上記(1)に記載の方法。 (3)上記連結が所与の時点でプロセッサのうちのただ
1つによって行われることを特徴とする、上記(2)に
記載の方法。 (4)各サブシーケンスがI区分単位であることを特徴
とする、上記(1)に記載の方法。 (5)各サブシーケンスがビット割振り単位であること
を特徴とする、上記(1)に記載の方法。 (6)上記ピクチャ・タイプが参照テーブルを介して判
断されることを特徴とする、上記(1)に記載の方法。 (7)ビデオ・シーケンスを受信し、該ビデオ・シーケ
ンスをサブシーケンスに区分化するプリプロセッサと、
該プリプロセッサに結合され、各サブシーケンス内の各
ピクチャのピクチャ・タイプを判断する手段と、上記プ
リプロセッサから上記サブシーケンスを受け取るように
接続され、複数のプロセッサと、上記サブシーケンスの
処理割当てを上記複数のプロセッサに分配する手段と、
上記ピクチャ・タイプに基づいて各ピクチャの符号化の
複雑さをモデル化する手段と、該モデル化に基づいて各
ピクチャにビット数を割り振る手段と、割り振られたビ
ット数に従って各ピクチャを圧縮する手段と、各サブシ
ーケンスのビット・ストリームを連結して圧縮ビデオ・
ストリームを構成する手段とを備えたエンコーダとを含
む、ビデオ圧縮システム。 (8)上記分配する手段が、サブシーケンス内のすべて
のピクチャのモデル化、割振り、および圧縮を、該サブ
シーケンスに割り当てられた所与のプロセッサに割り当
てることを特徴とする、上記(7)に記載のシステム。 (9)上記分配する手段が所与の時点でプロセッサのう
ちのただ1つに連結を割り当て、連結に割り当てられた
プロセッサを時々変更することを特徴とする、上記
(8)に記載のシステム。 (10)各サブシーケンスがI区分化単位であることを
特徴とする、上記(7)に記載のシステム。 (11)各サブシーケンスがビット割振り単位であるこ
とを特徴とする、上記(7)に記載のシステム。 (12)各プロセッサが、ランダム・アクセス・メモリ
内に形成された参照テーブルと、該参照テーブルにアク
セスして上記ピクチャ・タイプを判断する手段とを備え
ることを特徴とする、上記(7)に記載の方法。 (13)上記参照テーブルがシーン・チェンジ情報を使
用して参照されることを特徴とする、上記(12)に記
載の方法。 (14)ビデオ・シーケンス内のピクチャを符号化する
方法であって、該ビデオ・シーケンス内の未来のピクチ
ャの符号化の複雑さを動的にモデル化するステップと、
該モデル化に基づいてビデオ・シーケンス内の現行ピク
チャの符号化にビットを割り振るステップと、割り振ら
れた該ビットに基づいて現行ピクチャを符号化するステ
ップとを含む方法。 (15)上記動的にモデル化するステップが、符号化順
序で現行ピクチャの後にある、ビデオ・シーケンス内の
ピクチャの複数の領域を選択するステップと、各領域を
符号化するのに必要なビット数を判断するステップと、
各領域の複雑さを決定するステップと、各領域の複雑さ
と該領域を符号化するのに必要なビット数との間の関係
を決定するステップと、現行ピクチャを符号化するのに
必要なビット数の見積もりを上記関係から導き出すステ
ップとをさらに含み、該見積もりに基づいてビットが現
行ピクチャに割り振られることを特徴とする、上記(1
4)に記載の方法。 (16)現行ピクチャを符号化するのに必要なビット数
を見積もり、現行ピクチャ見積もりと未来のピクチャの
見積もりに基づいて現行ピクチャに該ビット数を割り振
るステップをさらに含む、上記(15)に記載の方法。 (17)符号化の結果の符号化ピクチャを復号装置に供
給するステップと、該復号装置によって該符号化ピクチ
ャを復号し、該復号装置によって復号されたピクチャを
表示装置上に表示するステップとをさらに含む、上記
(15)に記載の方法。 (18)参照テーブルを介してピクチャ・タイプを判断
するステップをさらに含み、該ピクチャ・タイプに基づ
いて符号化を行うことを特徴とする、上記(15)に記
載の方法。
【図面の簡単な説明】
【図1】本発明の実施例によるビデオ圧縮システムの概
要を示す図である。
【図2】図1のプリプロセッサの詳細図である。
【図3】図1のエンコーダの詳細図である。
【図4】図3に示すタイプのIPUエンコーダの詳細図
である。
【図5】本発明の原理によるビデオ圧縮システムを実施
するコンピュータ・システムの図である。
【図6】図2のIPUパーティショナの動作を示すフロ
ー・チャートである。
【図7】図2のIPUパーティショナの動作を示すフロ
ー・チャートである。
【図8】図4のIPUモデル機構の動作を示すフロー・
チャートである。
【図9】図4のIPUモデル機構の動作を示すフロー・
チャートである。
【図10】図4のピクチャ・ビット・アロケータの動作
を示すフロー・チャートである。
【図11】図4のピクチャ・ビット・アロケータの動作
を示すフロー・チャートである。
【図12】図4のピクチャ・ビット・アロケータの動作
を示すフロー・チャートである。
【図13】ピクチャ・グループ層を示す図である。
【図14】ピクチャ層を示す図である。
【図15】マクロブロックの構成要素を示す図である。
【図16】典型的なピクチャ・グループ内のピクチャの
タイプを示す図である。
【符号の説明】
100 ビデオ・シーケンス 101 プリプロセッサ 103 エンコーダ 104 圧縮ビット・ストリーム 105 パラメータ設定値
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エリック・ヴィシート アメリカ合衆国94117 カリフォルニア州 サンフランシスコ オーク 1709 アパー トメント・ナンバー1

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】複数のプロセッサを使用してビデオ圧縮を
    行う方法であって、 ビデオ・シーケンスをサブシーケンスに区分化するステ
    ップと、 該サブシーケンスの処理割当てを複数のプロセッサに分
    配するステップと、 各サブシーケンス内の各ピクチャのピクチャ・タイプを
    判断するステップと、 該ピクチャ・タイプに基づいて各ピクチャの符号化の複
    雑さをモデル化するステップと、 該モデル化に基づいて各ピクチャにビット数を割り振る
    ステップと、 割り振られたビット数に従って各ピクチャを圧縮するス
    テップと、 各サブシーケンスのビット・ストリームを連結して圧縮
    ビデオ・ストリームを構成するステップとを含む方法。
  2. 【請求項2】サブシーケンス内のすべてのピクチャのモ
    デル化、割振りおよび圧縮が、当該サブシーケンスに割
    り当てられた所与のプロセッサによって行われることを
    特徴とする、請求項1に記載の方法。
  3. 【請求項3】上記連結が所与の時点でプロセッサのうち
    のただ1つによって行われることを特徴とする、請求項
    2に記載の方法。
  4. 【請求項4】各サブシーケンスがI区分単位であること
    を特徴とする、請求項1に記載の方法。
  5. 【請求項5】各サブシーケンスがビット割振り単位であ
    ることを特徴とする、請求項1に記載の方法。
  6. 【請求項6】上記ピクチャ・タイプが参照テーブルを介
    して判断されることを特徴とする、請求項1に記載の方
    法。
  7. 【請求項7】ビデオ・シーケンスを受信し、該ビデオ・
    シーケンスをサブシーケンスに区分化するプリプロセッ
    サと、 該プリプロセッサに結合され、各サブシーケンス内の各
    ピクチャのピクチャ・タイプを判断する手段と、 上記プリプロセッサから上記サブシーケンスを受け取る
    ように接続され、 複数のプロセッサと、 上記サブシーケンスの処理割当てを上記複数のプロセッ
    サに分配する手段と、 上記ピクチャ・タイプに基づいて各ピクチャの符号化の
    複雑さをモデル化する手段と、 該モデル化に基づいて各ピクチャにビット数を割り振る
    手段と、 割り振られたビット数に従って各ピクチャを圧縮する手
    段と、 各サブシーケンスのビット・ストリームを連結して圧縮
    ビデオ・ストリームを構成する手段とを備えたエンコー
    ダとを含む、ビデオ圧縮システム。
  8. 【請求項8】上記分配する手段が、サブシーケンス内の
    すべてのピクチャのモデル化、割振り、および圧縮を、
    該サブシーケンスに割り当てられた所与のプロセッサに
    割り当てることを特徴とする、請求項7に記載のシステ
    ム。
  9. 【請求項9】上記分配する手段が所与の時点でプロセッ
    サのうちのただ1つに連結を割り当て、連結に割り当て
    られたプロセッサを時々変更することを特徴とする、請
    求項8に記載のシステム。
  10. 【請求項10】各サブシーケンスがI区分化単位である
    ことを特徴とする、請求項7に記載のシステム。
  11. 【請求項11】各サブシーケンスがビット割振り単位で
    あることを特徴とする、請求項7に記載のシステム。
  12. 【請求項12】各プロセッサが、ランダム・アクセス・
    メモリ内に形成された参照テーブルと、該参照テーブル
    にアクセスして上記ピクチャ・タイプを判断する手段と
    を備えることを特徴とする、請求項7に記載の方法。
  13. 【請求項13】上記参照テーブルがシーン・チェンジ情
    報を使用して参照されることを特徴とする、請求項12
    に記載の方法。
  14. 【請求項14】ビデオ・シーケンス内のピクチャを符号
    化する方法であって、 該ビデオ・シーケンス内の未来のピクチャの符号化の複
    雑さを動的にモデル化するステップと、 該モデル化に基づいてビデオ・シーケンス内の現行ピク
    チャの符号化にビットを割り振るステップと、 割り振られた該ビットに基づいて現行ピクチャを符号化
    するステップとを含む方法。
  15. 【請求項15】上記動的にモデル化するステップが、 符号化順序で現行ピクチャの後にある、ビデオ・シーケ
    ンス内のピクチャの複数の領域を選択するステップと、 各領域を符号化するのに必要なビット数を判断するステ
    ップと、 各領域の複雑さを決定するステップと、 各領域の複雑さと該領域を符号化するのに必要なビット
    数との間の関係を決定するステップと、 現行ピクチャを符号化するのに必要なビット数の見積も
    りを上記関係から導き出すステップとをさらに含み、 該見積もりに基づいてビットが現行ピクチャに割り振ら
    れることを特徴とする、請求項14に記載の方法。
  16. 【請求項16】現行ピクチャを符号化するのに必要なビ
    ット数を見積もり、現行ピクチャ見積もりと未来のピク
    チャの見積もりに基づいて現行ピクチャに該ビット数を
    割り振るステップをさらに含む、請求項15に記載の方
    法。
  17. 【請求項17】符号化の結果の符号化ピクチャを復号装
    置に供給するステップと、該復号装置によって該符号化
    ピクチャを復号し、該復号装置によって復号されたピク
    チャを表示装置上に表示するステップとをさらに含む、
    請求項15に記載の方法。
  18. 【請求項18】参照テーブルを介してピクチャ・タイプ
    を判断するステップをさらに含み、該ピクチャ・タイプ
    に基づいて符号化を行うことを特徴とする、請求項15
    に記載の方法。
JP07424496A 1995-04-06 1996-03-28 複数のプロセッサを使用したビデオ圧縮 Expired - Fee Related JP3533282B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/471,315 US5694170A (en) 1995-04-06 1995-04-06 Video compression using multiple computing agents
US471315 1995-04-06

Publications (2)

Publication Number Publication Date
JPH08294130A true JPH08294130A (ja) 1996-11-05
JP3533282B2 JP3533282B2 (ja) 2004-05-31

Family

ID=23871138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07424496A Expired - Fee Related JP3533282B2 (ja) 1995-04-06 1996-03-28 複数のプロセッサを使用したビデオ圧縮

Country Status (2)

Country Link
US (2) US5694170A (ja)
JP (1) JP3533282B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290458A (ja) * 1997-04-15 1998-10-27 Sony Corp ビデオエンコードシステム

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997005745A1 (en) * 1995-07-31 1997-02-13 Sony Corporation Image pickup system, picture processor, encoder, encoding method, and random noise removing method
GB2306831B (en) * 1995-10-30 2000-05-24 Sony Uk Ltd Video data compression
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US6100931A (en) * 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
JPH10145779A (ja) * 1996-11-06 1998-05-29 Sony Corp フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US6141447A (en) * 1996-11-21 2000-10-31 C-Cube Microsystems, Inc. Compressed video transcoder
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6230200B1 (en) * 1997-09-08 2001-05-08 Emc Corporation Dynamic modeling for resource allocation in a file server
US20020044692A1 (en) * 2000-10-25 2002-04-18 Goertzen Kenbe D. Apparatus and method for optimized compression of interlaced motion images
US6327421B1 (en) 1998-03-10 2001-12-04 International Business Machines Corporation Multiple speed fast forward/rewind compressed video delivery system
US7016413B2 (en) 1998-03-20 2006-03-21 International Business Machines Corporation Adaptively encoding a picture of contrasted complexity having normal video and noisy video portions
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
AU6277199A (en) * 1998-10-02 2000-04-26 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6539124B2 (en) * 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model
US20030185455A1 (en) * 1999-02-04 2003-10-02 Goertzen Kenbe D. Digital image processor
US20030142875A1 (en) * 1999-02-04 2003-07-31 Goertzen Kenbe D. Quality priority
JP3778721B2 (ja) * 1999-03-18 2006-05-24 富士通株式会社 動画像符号化方法および装置
GB2356508B (en) 1999-11-16 2004-03-17 Sony Uk Ltd Data processor and data processing method
GB2357210A (en) * 1999-12-06 2001-06-13 Snell & Wilcox Ltd Inserting future bit rate information in a compressed data stream
EP1183873A1 (en) * 2000-02-29 2002-03-06 Koninklijke Philips Electronics N.V. Film source video detection and encoding
US6904094B1 (en) 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US7039115B1 (en) 2000-09-20 2006-05-02 General Instrument Corporation Processor allocation for channels in a video multi-processor system
US6724825B1 (en) 2000-09-22 2004-04-20 General Instrument Corporation Regeneration of program clock reference data for MPEG transport streams
US6847656B1 (en) * 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US6914939B1 (en) * 2000-11-13 2005-07-05 International Business Machines Corporation Method and apparatus for producing pseudo-constant bits per picture video bit-streams for low-delay compression system
KR100351159B1 (ko) * 2000-12-06 2002-09-05 엘지전자 주식회사 영상 복원 장치 및 방법
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6907081B2 (en) * 2001-03-30 2005-06-14 Emc Corporation MPEG encoder control protocol for on-line encoding and MPEG data storage
US7174561B2 (en) * 2001-04-13 2007-02-06 Emc Corporation MPEG dual-channel decoder data and control protocols for real-time video streaming
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
US6980594B2 (en) 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US20030159152A1 (en) * 2001-10-23 2003-08-21 Shu Lin Fast motion trick mode using dummy bidirectional predictive pictures
US7733345B2 (en) * 2001-11-27 2010-06-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding position interpolator
US20030182399A1 (en) * 2002-03-21 2003-09-25 Silber Matthew A. Method and apparatus for monitoring web access
JP3893344B2 (ja) * 2002-10-03 2007-03-14 松下電器産業株式会社 画像符号化方法および画像符号化装置
US7467180B2 (en) * 2003-05-29 2008-12-16 International Business Machines Corporation Automatically segmenting and populating a distributed computing problem
US7590984B2 (en) * 2003-05-29 2009-09-15 International Business Machines Corporation System and method for balancing a computing load among computing resources in a distributed computing problem
WO2005001771A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics N.V. Method of encoding a signal into a bit stream
US7239748B2 (en) * 2003-08-12 2007-07-03 International Business Machines Corporation System and method for segmenting an electronic image
US7324592B2 (en) * 2003-08-13 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Resource-constrained encoding of multiple videos
US7489726B2 (en) * 2003-08-13 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Resource-constrained sampling of multiple compressed videos
US8645336B2 (en) * 2003-11-07 2014-02-04 Magnaforte, Llc Digital interactive phrasing system and method
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
US8057307B2 (en) * 2004-04-08 2011-11-15 International Business Machines Corporation Handling of players and objects in massive multi-player on-line games
CN1954611A (zh) * 2004-04-09 2007-04-25 诺基亚公司 压缩图像数据文件的生成方法,图像数据压缩装置及摄影装置
JP2008527945A (ja) * 2005-01-19 2008-07-24 トムソン ライセンシング リアルタイム並列符号化の方法及び装置
JP4389883B2 (ja) * 2006-01-30 2009-12-24 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体
JP4358215B2 (ja) * 2006-09-27 2009-11-04 株式会社東芝 動画像符号化装置及びその方法
US20080152014A1 (en) * 2006-12-21 2008-06-26 On Demand Microelectronics Method and apparatus for encoding and decoding of video streams
US20080162743A1 (en) * 2006-12-28 2008-07-03 On Demand Microelectronics Method and apparatus to select and modify elements of vectors
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
WO2010082904A1 (en) * 2009-01-15 2010-07-22 Agency For Science, Technology And Research Image encoding methods, image decoding methods, image encoding apparatuses, and image decoding apparatuses
US9205328B2 (en) 2010-02-18 2015-12-08 Activision Publishing, Inc. Videogame system and method that enables characters to earn virtual fans by completing secondary objectives
US9682324B2 (en) 2010-05-12 2017-06-20 Activision Publishing, Inc. System and method for enabling players to participate in asynchronous, competitive challenges
EP2437486A1 (en) 2010-10-04 2012-04-04 Flir Systems AB IR Camera and Method for Processing Thermal Image Information
US10137376B2 (en) 2012-12-31 2018-11-27 Activision Publishing, Inc. System and method for creating and streaming augmented game sessions
MX2016012038A (es) 2014-03-22 2017-01-19 Endocare Inc Sistemas y metodos para planificacion de tratamiento de ablacion y actualizaciones de posicion intraoperativa de dispositivos de ablacion.
US9789406B2 (en) 2014-07-03 2017-10-17 Activision Publishing, Inc. System and method for driving microtransactions in multiplayer video games
US11351466B2 (en) 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
US10118099B2 (en) 2014-12-16 2018-11-06 Activision Publishing, Inc. System and method for transparently styling non-player characters in a multiplayer video game
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10471348B2 (en) 2015-07-24 2019-11-12 Activision Publishing, Inc. System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks
US10099140B2 (en) 2015-10-08 2018-10-16 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US11185784B2 (en) 2015-10-08 2021-11-30 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10376781B2 (en) 2015-10-21 2019-08-13 Activision Publishing, Inc. System and method of generating and distributing video game streams
US10245509B2 (en) 2015-10-21 2019-04-02 Activision Publishing, Inc. System and method of inferring user interest in different aspects of video game streams
US10232272B2 (en) 2015-10-21 2019-03-19 Activision Publishing, Inc. System and method for replaying video game streams
KR102525216B1 (ko) * 2016-03-21 2023-04-25 한국전자통신연구원 영상 압축률 및 프레임 제어를 통한 네트워크 대역폭 관리 방법 및 이를 반영한 영상 전송 시스템
US10226703B2 (en) 2016-04-01 2019-03-12 Activision Publishing, Inc. System and method of generating and providing interactive annotation items based on triggering events in a video game
US10500498B2 (en) 2016-11-29 2019-12-10 Activision Publishing, Inc. System and method for optimizing virtual games
US11040286B2 (en) 2017-09-27 2021-06-22 Activision Publishing, Inc. Methods and systems for improved content generation in multiplayer gaming environments
US10561945B2 (en) 2017-09-27 2020-02-18 Activision Publishing, Inc. Methods and systems for incentivizing team cooperation in multiplayer gaming environments
US10974150B2 (en) 2017-09-27 2021-04-13 Activision Publishing, Inc. Methods and systems for improved content customization in multiplayer gaming environments
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US11679330B2 (en) 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11097193B2 (en) 2019-09-11 2021-08-24 Activision Publishing, Inc. Methods and systems for increasing player engagement in multiplayer gaming environments
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0595536A (ja) * 1991-10-01 1993-04-16 Toshiba Corp 高能率符号化信号処理装置
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5289577A (en) * 1992-06-04 1994-02-22 International Business Machines Incorporated Process-pipeline architecture for image/video processing
KR960010196B1 (ko) * 1993-06-04 1996-07-26 배순훈 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US5686964A (en) * 1995-12-04 1997-11-11 Tabatabai; Ali Bit rate control mechanism for digital image and video data compression
US5771316A (en) * 1995-12-26 1998-06-23 C-Cube Microsystems Fade detection
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290458A (ja) * 1997-04-15 1998-10-27 Sony Corp ビデオエンコードシステム

Also Published As

Publication number Publication date
US6008848A (en) 1999-12-28
US5694170A (en) 1997-12-02
JP3533282B2 (ja) 2004-05-31

Similar Documents

Publication Publication Date Title
JP3533282B2 (ja) 複数のプロセッサを使用したビデオ圧縮
US5719632A (en) Motion video compression system with buffer empty/fill look-ahead bit allocation
KR100253931B1 (ko) 디지탈 영상 시퀀스의 디코딩 방법 및 장치
EP0959627B1 (en) A motion video compression system with adaptive bit allocation and quantization
US6522693B1 (en) System and method for reencoding segments of buffer constrained video streams
US6181742B1 (en) Single pass target allocation for video encoding
EP0562787B1 (en) Image coding method and apparatus
US5956426A (en) Multi-coding apparatus
EP0772362A2 (en) Video data compression
JPH11262003A (ja) 一定ビット・レ―トまたは可変ビット・レ―トのためのディジタル・モ―ション・ビデオ・シ―ケンスの2パス符号化方法
KR20010021879A (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
KR20000071026A (ko) 코딩 시스템내에서 속도 제어를 최적화하기 위한 장치 및 방법
US6137912A (en) Method of multichannel data compression
JPH09224254A (ja) 動き推定のための装置および方法
KR100238622B1 (ko) 새로운 적응형 양자화기를 이용한 동영상 압축 시스템 및 방법
EP1280356A2 (en) Apparatus and method for compressing multiplexed video signals
US20040234142A1 (en) Apparatus for constant quality rate control in video compression and target bit allocator thereof
EP1134981A1 (en) Automatic setting of optimal search window dimensions for motion estimation
US5757967A (en) Digital video decoder and deinterlacer, format/frame rate converter with common memory
US5652629A (en) Bidirectional motion estimation in a motion video compression system
JPH09154145A (ja) ビデオデータ圧縮方式
JP4619479B2 (ja) 統計的多重化システム
JP3463291B2 (ja) 圧縮ディジタル・ビデオ・シーケンスをデコードし表示する方法および装置
KR100228543B1 (ko) Dpcm/dct 비디오 인코더의 전송율 제어 방법
US6226326B1 (en) Coding device and coding method

Legal Events

Date Code Title Description
RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20031216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20031216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040203

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20040302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040308

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees