JPH10503358A - 対話型画像操作 - Google Patents

Abstract

(57)【要約】 デコーダ／表示システムにおいて、前処理工程部（１０）は、バイト整列を観測する独立表示を作るために、画像内のイントラコード化マクロブロックデータを再コード化する。マクロブロックデータは、外部の画像に高速にコピーするために容易に索引付けられるように、構造型式（２６）で記憶される。差分コード化問題を避けるために、各マクロブロックの２つの別々な表示が、マクロブロックのラインの始め部分として又はマクロブロックのラインの継続部分として使用するために作られる。前記前処理工程部は、別々にエンコードされた画面を結合しこれらの本来の場面からスプリット（定められた境界を持つ物体）を別々にするように使用されてもよい。前記ピクチャの内容は、所望の効果を作るために画像のシーケンスでマクロブロックの組み合わせを選択することで実行時間で変更される。前処理マクロブロックは、ＭＰＥＧシーケンスで対話型式で導入され移動されるＭＰＥＧ（又は類似の）画像データのデータベースを供給するために全体的にエンコードされた画面又は初期のスプリットとして、メモリ（２６）にロードされる。前記データベースの供給は、スプリット及び他の別々にエンコードされたデータを前記場面に導入することと、デコードする直前に前記場面にビデオ動画面を許容する動きベクトルの修正と、大きな画像背景の実行時間スクローリングすることとを含む様々な対話型効果を作るシステムを可能にする。

Description

【発明の詳細な説明】 対話型画像操作 技術分野 本発明は、ビデオ画像の修正、特に予測的にコード化された画像の対話型操作 をデコード段階で可能にすることに関する。 技術背景 本発明は、主にＩＳＯ 11172に定められたＭＰＥＧ1のコード化に関して以下 に説明されるが、これは、ビデオ電話方式用のＨ.261標準のようなコード化を基 にした他のハイブリッドＤＣＴ（離散コサイン変換）に同じように応用されるこ とが分かるだろう。 ＭＰＥＧ及びＨ.261は通例、自然画面のシーケンスを記憶して圧縮するために デコーダは、従来から使用されるデジタルシステムであり、このようにしてエン コードされたデータを解釈して同じ元のシーケンスの画像を再生するために設計 される。前記ＭＰＥＧシステムではマクロブロックの格子を定め、各格子は１６ ラインに１６ピクセルを有する。つまりこれらマクロブロックがコード化の基本 ユニットである。３つの主要画面型式、即ちイントラピクチャ、予測ピクチャ及 び補間ピクチャが、ＭＰＥＧでは定められていて、これらはそれぞれＩ-,Ｐ-及 びＢ-ピクチャと一般的に呼ばれる。 ピクチャ型式内で、マクロブロックは、多くの異なる方法の中の１つでコード 化される。ＭＰＥＧ標準の基本的な２つのマクロブロックコード化モードは、“ イントラモード”及び“動き補償、コード化されないモード”である。イントラ モードにおいては、マクロブロックのアドレスは、どのマクロブロックが表され マクロブロックのタイプによりフォローされているかとピクセル値に対するＤＣ Ｔ係数データとを記述する。動き補償モードにおいては、アドレス及びタイプ情 報をフォローする情報は、マクロブロックに対する動きベクトルである。動きベ クトルは、現ピクチャ内の現マクロブロックのアドレスから、現ピクチャにコピ ーされる前のピクチャのピクセル及びラインアドレスへの移動量を与える。イン ト ラコードのマクロブロックは、前フレームにない画像ブロックを導入するために 予測ピクチャで使用される。 前記ＭＰＥＧエンコーディングは、最小数のビットでイントラコードのマクロ ブロックを効果的に記憶するように設計され、この仕様は、エンコーダがバイト 整列の制限を見ることなしに、マクロブロックを一緒につめてパックすることを 許容するように設計される。差分コード化も、特定のコード化された値を持ち越 すために、隣接するマクロブロック間で用いられている。 発明の開示 ＭＰＥＧ及びＨ.261 のような体系でデータ操作するいくつかの問題が、Ｓhih -Ｆu,Ｃhang及びＤavid Ｇ.Ｍesserschmitt によって、ＩＥＥＥ Ｊounal on Ｓ elected Ａreas in Ｃommunications,Ｖol.13,Ｎo.1,Ｊanuary 1995,pp.1-11の" Ｍanipulation and Ｃompositing ofＭＣ-ＤＣＴ Ｃompressed Ｖideo"という表 題の論文に、ビデオ会議に対する合成画像スクリーンの形成に関して述べられて いる。合成することの問題に対する彼らのアプローチは、別々に動き補償された ＤＣＴ信号を入力し、当該動き補償を取り除くために各々を部分的にデコードし 、変換領域内で合成画像を形成し、それから適切な信号を従来のＭＣ-ＤＣＴデ コーダへ（つまり会議ターミナルに）供給するためにある程度動き補償を再び使 用する組み合わせユニットの対策を含む。本システムは、Ｃhang 及び Ｍessers cmitt が発明者として含まれる国際特許公報ＷＯ94/21079で更に詳細に説明され ている。 ＭＰＥＧのような体系の特徴により課される制約は、実時間で画像の使用者の 操作を許容するような速度で、画像データを操作及び編集することが難しいとい う副作用を持つ。マクロブロックは、原ピクチャの他のマクロブロックに関して の（他との間での）位置についてコード化されるので、例えば、あるピクチャか らのマクロブロックを取り出し、それを別のピクチャ内に置き換えることは簡単 な事ではない。 このような画像の操作を簡単にすることが、本発明の目的である。実時間且つ コンパクト ディスク インタラクティブ（ＣＤ-i）のような比較的限定された 処理能力を持つデコーダ装置でこのような操作を可能することがもう一つの目的 で ある。 本発明によると、ピクセルデータの離散コサイン変換（ＤＣＴ）でコード化さ れたマクロブロックに対する入力部を持ち、画像データ記憶部と、各マクロブロ ックの少なくとも１つの独立した表示を生成し、前記記憶部に当該表示を記憶し 、当該記憶部から読まれた当該表示から選択されたものからＤＣＴコード化画像 を生成するように、入力マクロブロックデータを処理することができる前処理制 御器と、前記制御器に結合される使用者入力手段であって、生成された画像内の 記憶されたマクロブロック表示の選択がこの使用者入力手段からの入力により少 なくとも部分的に決められるような使用者入力手段と、作成されたＤＣＴコード 化画像を入力しデコードするために配されるデコーダとを有する対話型画像操作 装置が供給される。前記デコーダと結合され、前記デコードされた画像を入力し 及び表示することができる表示器も適切に供給される。 また本発明によると、各マクロブロックの少なくとも１つの独立した表示を含 むマクロブロックデータのデータベースを生成させるように、コード化されたマ クロブロックを前処理する工程と、マクロブロックの選択で使用者の入力に応じ て少なくとも部分的に作られた画像を形成するために、前記マクロブロック表示 の選択されたものからＤＣＴコード化画像を組み立てる工程と、組み立てられた 画像をＤＣＴデコードする工程とを有するピクセルデータのＤＣＴコード化され たマクロブロックの対話型操作及びデコーディングする方法も供給される。 前記方法及び装置は、デコードする直前の画像を作りスクリーンを更新するＭ ＰＥＧのような体系で利用可能な動き補償とで、マクロブロックの利用可能性を 促進する。前記方法は、ＣＤ-iのような比較的低いパワーのシステムにおいてさ えも、実行時間でのＭＰＥＧの対話型動画を可能にするのに十分効果的である。 これは通常、ピクチャスプリットの動画又は大きなＭＰＥＧ背景のスクローリン グとして見られる。実際には、これは、画像を対話型式で再設定するようなＭＰ ＥＧデータの適切な修正により、様々な新しい特殊なビデオ効果を作れる。 デコードする直前のエンコードされたデータ上でピクチャ操作を行うことの利 点は、前記スクリーンの表示への劇的な変化がピクチャ中でいくつかの簡単なコ ードの変形又は導入によって可能であることである。ＭＰＥＧの場合は、各フレ ー ムを独自に明瞭にコード化するよりも、前フレームのデータをコピーするために 動きベクトルを使用するというＭＰＥＧコード化体系の規定により、これは可能 になる。 本発明の他の特徴は、添付された請求項に開示されていて、請求項の開示が、 以下の実施例で参照され具体化される。 図面の簡単な説明 本発明の好ましい実施例は、例としてＭＰＥＧシステムに関して添付図面を参 照して説明されるだろう。 第１図は、本発明を実施するデコーダ装置のブロック概略図であり、第２図は 、連続するピクチャ上を移動する物体の位置の決定を示し、第３図は、移動する 物体に対するマクロブロック除外ゾーンの適応を表し、第４図は、ＭＰＥＧピク チャから大きなスクローリング背景の原図を示し、第５図は、イントラコードの マクロブロックの構造を表し、第６図は、ピクチャ原図に対しフォーマットされ たマクロブロックデータを示す。 発明を実施するための最良の形態 本発明は、マクロブロック操作の問題を前処理工程を導入することで克服する 。この体系は、バイト整列を観測する独立した表示を作るために画像のイントラ コード化マクロブロックデータを再コード化することで働く。マクロブロックデ ータは、外部画像へ迅速にコピーするために容易に指示されるように構成された 型式で記憶される。差分符号化問題も、下記に説明される様に、マクロブロック がマクロブロックのラインの始め又はマクロブロックのラインの継続の一部とし て使用される時、この使用のために各マクロブロックに２つの別々な表示を定め るという解決法を用いることで解決される。この前処理のやり方は、別々にエン コードされた画像を結合し、これらのもとのＭＰＥＧシーンからスプリット（定 まった境界を持つ物体）を分離するためにも使用されてよい。 前記ＭＰＥＧシステムは、ディジタル的にエンコードされたピクチャのシーケ ンスを表示するのに使用される表示面を供給する。実行時間でグラフィック制御 言 語によるＭＰＥＧ表示面の使用及びマクロブロックの修正は、パワフルな対話型 ビデオ効果を作ることができる。これは、フレームシーケンスにわたるピクチャ 構築ブロックの選択及び操作によって可能となる。 前記ピクチャの内容は、所望の効果を作るために、画像のシーケンス内でマク ロブロックの組み合わせを選択することによって実行時間で変化されてもよい。 前処理されたマクロブロックは、ＭＰＥＧシーケンス内で対話型式で導入され移 動されてもよいＭＰＥＧ画像データのデータベースを供給するために、全体がエ ンコードされたピクチャ又は初期スプリットとしてメモリにロードされる。この データベースの備えは、ＭＰＥＧスプリット及び他の別々にエンコードされたデ ータの場面への導入、前記場面内でビデオ動画を許容するデコーディング直前の 動きベクトルの修正、大きな画像背景の実行時間でのスクローリングと、動画シ ーケンスに入れられるような、ＭＰＥＧの別々の部分からモザイクピクチャへの 対話形式的結合とを含む、様々な対話型ＭＰＥＧ効果を生成するシステムを可能 にする。これらの効果の生成は、今詳細に考察されるであろう。 前処理工程１０を持つデコーダ装置が第１図に示される。前記前処理工程部に 加えて、該装置は、ＭＰＥＧ画像データの装置（本例では、ディスクドライブ１ ２）と、関連する表示メモリ１６及び先行するバッファ１８を持つデコード工程 部１４と、陰極線管モニターのような表示器２０とを有する。装置１２からの前 記ＭＰＥＧデータは、データバス２４を介して前処理制御器２２へ進む。（下記 に詳細に説明される）前処理に続いて、この制御器は、前記前処理部によって決 定されたメモリの場所に、各マクロブロックの２つの独立した表示を記憶メモリ ２６にロードするので、記憶メモリ２６がＭＰＥＧ画像データのデータベースを 含む。 使用中、制御器２２は、使用者入力装置（ＵＩＤ）２８からの入力を参照して 所望する効果に依存した、表示される画像を形成するために、マクロブロックを 前記データベースから選択する。例えば所望の効果が大きな画像背景の実行時間 でのスクローリングの場合、使用者入力では、スクロール動きの方向及び／又は 速度を決定するだろう。前記ＵＩＤは好適には、既知の方法で表示器２０上に現 れる移動可能なカーソルを制御器２２を介して供給するマウス又はトラックボー ルシステムである。他のＵＩＤとしては、例えば上下左右のシフトキーを持つキ ーボー ド画像タブレット及びペンが代わりとして使用可能である。 スクリーン上に物体（スプリット）を表示し、これらを周りで動かすために、 多数の物体を表すデータは、上述のデータベースにＭＰＥＧコード化型式で記憶 される。これらスプリットは、明瞭な背景に対するＭＰＥＧエンコードされたピ クチャのシーケンスにこれらを挿入することによってスクリーン上に作れ、ＭＰ ＥＧが供給するベクトル更新モデルを使用してピクチャからピクチャスクリーン 上に移動できる。デコードする直前に簡単に計算された少量の情報が、前記スク リーンを更新するのに必要とされる。スクリーン上の物体の配置について（下記 に説明される）ある制限が観察されるとするならば、前記スクリーンの周りに物 体を対話型式で定めて動かすことが可能である。 スクリーン上の単一スプリットの操作のためには、２つのモード（イントラモ ード及び動き補償の非コード化モード）が以下のように使用される。１つ又はそ れ以上のマクロブロックを占める基本物体の形状及びピクセル値が識別され、こ れらのマクロブロックは記億部２６（第１図）にイントラ型式のマクロブロック として記億される。その次のピクチャにおいて、この物体の位置は第２図に示さ れるように変化される。この図は、t=Ｎ-1 と t=Ｎ での時間の連続するスクリ ーンを示す。t=Ｎ で基準位置Ｘの必要とされる新規位置Ｐ_Nが決定され、直前の ピクチャにおける基準点との間の変位量が計算され（t=Ｎ-1 での変位ベクトル Ｖ_d）、ＭＰＥＧによって定められたベクトルフォーマットでエンコードされる 。物体３０（第３図）の基準点の新規位置、大きさ及び形状の知識を使用して、 部分的に占められるだろうマクロブロック３２、３４及び３６の数と位置とが計 算される。これらのマクロブロックは、計算された変位ベクトルＶ_dを使用して 動き補償された非コード化マクロブロックとしてＰ-ピクチャにエンコードされ る。このモードでは、ＤＣＴデータは必要とされない。ピクチャ内の他のマクロ ブロックは、前のピクチャでは物体の一部又は全部を含むが現在のピクチャでは 物体を全く含まないマクロブロックを除いて、最大効果のために“スキップ（sk ipped）”マクロブロックとしてコード化されてもよい。これらを得るマクロブ ロックは、背景色を表すイントラマクロブロックとして最も簡単にコード化され る。他のコード化オプションも、これらのブロックに対して可能である。 物体間で起こり得る相互干渉により導入される余計な問題は存在するが、複数 の物体は、単一物体と同様な方法で移動される。前のピクチャの１６×１６の範 囲で示されるベクトルであって、前のピクチャへ示すベクトルを１個マクロブロ ック毎に送ることが可能なだけなので、物体は、同一のマクロブロックを占める ことないように抑制されるべきである。この抑制は、第３図に示されるように他 の物体が入るべきでなく、各物体３０の周りに除外ゾーン３８を定めることによ って実施される。この制限により、このシーンの複数の物体は、単一物体と同様 に簡単な操作となる。 ＭＰＥＧビデオ背景シーンの実行時間スクローリングを今考慮すると、このよ うなシーンは、通常は比較的高いレベルの細部を含む景色又は地図の高解像度の 固定のピクチャから得られる。ピクチャを実時間でデコードされることを許容す るようにエンコードできるように、ピクチャの領域（通常は３５２×２８８又は ７６８×１４４ピクセル）を制限する現在のＭＰＥＧエンコーダでは、大きな及 び／又は詳細な画像は、下記に説明されるように、再合成に用いる前処理工程の 段階で適切に処理される。しかしながら、ピクチャ領域の制限を有さない又は少 なくともより大きなピクチャを制御できるという目的で構築されたエンコーダで 気付くように、全体の背景が、前記記憶部へダウンロードするように、単一ピク チャとしてエンコードされてもよい。 ピクチャサイズに関するエンコーダ制限がある第１工程では、背景ピクチャを エンコードするために適切なサイズのフレームに分けるべきである。全体ピクチ ャが後で再構成されるべきであるので、データが隣接するフレーム間の境界で失 われたり又は重複しないことは重要である。この結果としてのフレームは、全体 の画像に関するこれらの各位置を保つためにラベルが付けられる。使用されるエ ンコーダに依存した特定の指示で、エンコードされる出力をどのように作るかを ＭＰＥＧエンコーダに指示するエンコード処理中に、命令ファイルが用いられる 。前記前処理工程部１０（第１図）は、前記フレームの各々を表示する一連のイ ントラコード化ピクチャを必要とし、結果として前記エンコーダ命令ファイルは 、Ｉ-ピクチャのみを特定しなければならない。画質が前記背景画像の全部分に 対し一定であるべき必要があるので、前記命令ファイルは、通常の固定されたビ ット レート条件よりもエンコードに対して固定された量子化レベルをより特定する。 第４図は、つなぎ合わされたＡ、Ｂ、Ｃ、Ｄの４つのフレーム４０を描いてお り、前記前処理工程部は、このデータから点線４２のボックスで示されるように スクリーン画像を抜き出すであろう。この場合、全４つのフレームのデータは、 最終画像で使用されるであろう。独立的にエンコードされた個別の各フレームが 構築されてはならず、この構成要素を成すデータが、記憶部２６で中間ファイル 型式を作る前処理工程部で再構築されるべきであり、この記億部２６は大きな単 一画像を含む。前記中間ファイル型式は、この画像が処理に対し特別な順番で配 されてＩ-ピクチャの各々を順番に処理することで作られる。入力画面データの Ｉピクチャの順番は、左から右及び上から下への順序で形成されるように設計さ れる。 各入力イントラコード化フレームは、ＭＰＥＧのビデオ仕様書中で説明される ように、階層構造のデータを有し、各マクロブロックは６ブロックに分かれ、最 初の４つが輝度コードを有し、残りの２つがクロミナンスコードを有する。各マ クロブロックが独立してコード化されるので、本明細書のイントラコードマクロ ブロックは動き情報を含まない。しかしながら、幾つかのパラメータが前のマク ロブロックから持ち越される差分コード化のために、拡大されるピクチャサイズ の結果として、マクロブロックの固有の再順序化によって問題が生じる。 第５図は、幾つかの実例的なコードで（６個のブロックの最初に示す）イント ラコードマクロブロックの構造を示す。前記マクロブロックは、一定の順序で現 れる多数のパラメータを有する。各パラメータに対応するビット数は可変であり 、データは各パラメータに対してビット毎に集められ、許容値のテーブルに対し て合わされるべきである。各パラメータに対する値のテーブルは、ＭＰＥＧのビ デオの仕様書で定められるコードの集合に基づいて定められる。 マッチングアルゴリズムは、一つずつこれらのビット内で読み、示された実際 の数字及びビット数が適切なパラメータテーブルの値に対応するかどうかを検査 するためのテストを行うことにより、各パラメータのコード値を見分けるのに使 用される。このコードは多くの先行する零で定められるので、これは必要である 。整合が見つかったならば、コード化パラメータが全て読まれるまで、マクロブ ロ ックデコーディングは、次のパラメータへ移動する。 マクロブロックがより簡単に操作されるように、当該マクロブロックはデコー ドされる。ピクチャ内にある各マクロブロックが記憶部２６（第１図）内に独自 にアドレスされコピーされることを許容するために、当該マクロブロックは、バ イト境界内にきちんと置かれるようにフォーマットされる。これは、スタッフィ ングデータの適当な数のビットを前記マクロブロックに加えることによって適切 に達成される。前記スタッフィングデータは、マクロブロックアドレスコードの 前に１１ビットの倍数で含まれるコードである。デコーダで認識されて無視され るので、前記コードはデコードされる画像に影響しないだろう。各マクロブロッ クがデコードされる前記前処理工程中、このサイズは、マクロブロックがバイト の境界で終わることを保証するためにマクロブロックの前に加えられるべきであ るスタッフィングビットの数（０から７７の間）を決定するために使用される。 マクロブロックコーディングの変化は、入力データに影響することなくデータの ビット位置の変化を認めるために、前記記憶部でコピーされたバージョンになさ れる。前記マクロブロックのデコーディングが完了するとき、その新規表示はバ イトのサイズ及び全体の画像に対する位置に沿って前記記憶部に記憶される。従 って画像データは、各マクロブロックが必要なときに独立して位置されコピーさ れるようにする大きさ及び位置情報を含む新規ファイルフォーマットに変換され る。 上述したように、ピクチャをデコードしているとき、以前のマクロブロックの 幾つかのパラメータは、持ち越され現在のマクロブロックをデコードするために 使用される。ピクチャサイズの拡大は、マクロブロックの再順序付けを引き起こ す。これは、完全なピクチャを再構築するために、前記前処理工程部が、一定の 変化をマクロブロックコードに与えなければならず、２つの問題が特に起きるこ とを意味する。第１に、差分コードがピクチャ境界で不一致を作るマクロブロッ ク間で実行され、第２に正しいマクロブロックの量子化が、各マクロブロックに 対してセットされなければならない。 ピクチャエンコード処理の部分で、各マクロブロックを表示するのに必要とさ れるデータ量は、ＤＣＴ係数のＤＣ成分を差分的にコーディングすることによっ て 減らされる。各スライスヘッダでの初期値（例えば１２８）で開始して、各ＤＣ 係数はマクロブロックの適切なブロックに記憶された差分値を加えることで評価 される。この後、差分値が各マクロブロック内の６個のブロックの各々に対して エンコードされて、この実行値は、次の差分などに持ち越される。 エンコードされたフレームが結合されるとき、マクロブロックの順序が変更さ れ、これは、あるラインの最後からその次のラインの最初へのマクロブロック間 を通るという差分コードについての破壊という問題を発生し、画像の崩壊の原因 となる。前のマクロブロックから持ち越された差分コードを再設定する方法の１ つは、スライスヘッダを導入することであり、差分値は１２８に再設定される。 しかしながら、これはピクチャを表示するのに必要とされるコード量をかなり増 加させ、付加的な処理が、ライン位置を示すスライスヘッダにコードを挿入する のに必要とされる。 他の解決法は、各マクロブロックの正しいＤＣＴ係数を記録することであり、 ラインの開始で各マクロブロックに対して、ＤＣＴ差分が再評価され、前記マク ロブロックに再コード化される。しかしながらこれは、当該マクロブロックに含 まれるビット数の変更となり、全マクロブロックデータを、バイト整列を達成す るためのスタッフィングデータを加える前に、新しいコードを収容するために必 要なビット数にシフトするための余分な作業が要求されるであろう。 好ましい解決法は、ラインの開始のマクロブロックを特別な場合として扱うこ とである。各マクロブロックは、ラインの開始のマクロブロックを形成するため 及びマクロブロックシーケンスの継続にも利用できなければならないので、該マ クロブロックは前記記憶部に２つの別々な型式で記憶されて、ピクチャの構成に おいて、前処理工程部は、当該２つの型式のどちらでも適切にアクセスできるよ うになる。 従って、前処理工程部は、２回入力マクロデータを走査する。１回目では、前 のマクロブロックから持ち越された値に関して各ＤＣＴコードの実際の値を評価 し、差分が初期値に関して再評価され再コード化される。前記マクロブロックデ ータは、当該マクロブロックに対する適切な量子化の値を持つスライスヘッダと 一緒に記憶される。２回目では、各マクロブロックの別々の表示が、差分値が変 化せずに残って記憶される。これら別々の２つの表示は、例えば２１個の連続マ クロブロックにより後続される開始マクロブロックで始めてラインを１度にコピ ーするためにスクリーン画像のフォーメーション内のアプリケーションプログラ ムによって使用される。 マクロブロックの再順序化に関する第２の問題は、連続するマクロブロック間 を通るマクロブロックの量子化の変化によって引き起こされる。ラインの残りの マクロブロックに対してラインの開始のマクロブロックを考慮するとき、再びこ れは異なる問題を与える。 前記マクロブロックが順番にデコードされると、値は現在の量子化を保つ。こ れは、スライスヘッダがマクロブロック間で出たり又は量子化がマクロブロック 内で定められているとき変更されてもよい。ラインの始まりでのマクロブロック に対し、各マクロブロックの前にスライスヘッダを置くことは便利であり、現在 の量子化が前記ヘッダにはっきり挿入される。ＤＣＴ差分を再設定し現在の量子 化を挿入するので、これは前処理中に比較的簡単に行うことができる。更に重要 なことは、多数のビット分（例えば６）マクロブロックの開始を移すことであり 、これは実行時間中のピクチャ編集中になされるならば時間を浪費する使用とな るだろう。スライスヘッダの挿入もまた、マクロブロックの量子化がもし存在す るならマクロブロック内から削除されることを可能にする。ラインの継続中に使 用されるべきマクロブロックに対しては、開始マクロブロックが初期の量子化を 設定するので、スライスヘッダがマクロブロック間で存在するならば、エンコー ドされた値を変更することが必要なだけである。 デコーダ１４（第１図）に通されるべきフレームの構築にもどると、第１の目 標は、必要とされる有効なＭＰＥＧピクチャをできるだけ早く作ることである。 この理由のために、できるだけ多くのデータが、事前に計算され記憶されて、フ レームのオンライン構造が、関連データをコピーし幾つかのパラメータを修正す ることで達成される。 当のデコーダ仕様で再生するビデオフレームに対して、これらがＭＰＥＧビデ オ及びシステムの仕様書により課せられる全条件を満たさなければならないこと は重要である。これは、フレームデータが、正確なセットのマクロブロックを含 む だけでなく、正しくデコードされて表示部に与えられるように要求されるタイミ ング及び多様な情報を送る付加的レベルのデータ全てもまた含むことを意味する 。この結果、フレームデータは、システム及びビデオの階層で包まれる。 前記フレーム構築は、２つの段階、すなわちビデオデータのフォーメーション と前記システム階層のパッケージ化で達成される。これらの最初に、必要とされ るマクロブロックデータが使用者の入力に応じて選択され、前記記憶部に記憶さ れている前処理したＭＰＥＧデータからバッファ１８にロードされる。前記デー タは、ブロックでコピーされるように配され、大きさの情報は、ピクチャ内の各 マクロブロックの始まりにポインタの配列をセットするために使用される。これ は、第６図に示されるように開始マクロブロック及び継続マクロブロックの両方 に対して行われる。上述のように、開始マクロブロックに対してスタッフィング ビット及びマクロブロックデータより先に、スライスヘッダを供給することに注 意されたい。必要とされる画像の大きさは所与のアプリケーションに対し既知で あるので、付加的な処理もまた、マクロブロックのライン価値をコピーするのに 必要とされるバイト数を事前に計算するために前記継続マクロブロックデータで 行われる。 実行時において、ビデオデータの各フレームは、ＭＰＥＧビデオ仕様書に適合 するようにコンパイルされるべきであり、従って、特定の構造を持たなければな らない。フレームは、シーケンスヘッダに指定された固定のピクチャサイズに基 づき、ビットレート及びストリーム情報を運ぶ付加的な情報もまた供給される。 これは、このアプリケーションとは関係ないグループピクチャレイヤ（ＧＯＰ） により先行される。このとき、このピクチャレイヤは異なるフレームを別々にす るために使用される。 （ＵＩＤ入力で決定される）次のピクチャに対するｘ及びｙ座標が与えられ、 前記マクロブロックデータは、ライン内にコピーされる。各ラインの始まりは第 ６図のようにスライスヘッダであり、これは開始マクロブロックに沿ってコピー され、前記ラインの残りは適切な継続マクロブロックからコピーされる。 ＭＰＥＧビデオフレームが表示のためのバッファ１８に編集されると、ＭＰＥ Ｇデコーダ１４が再生できるように、これは適切にパッケージ化されなければな らな い。これは、前記データをシステム層で定められるような、バイトの束（ビデオ ディスクセクタ又はバケット）にパッケージ化するよう要求する。タイミング及 びデータレートの情報を含む付加的な情報がパックに供給される。各パックは更 にＭＰＥＧデータを含む１つ又はそれ以上のパケットに分割される。この様にし て、パックは異なるＭＰＥＧストリームのためのパケットを含んでもよい。スト リームのＩＤに加えて、バケットヘッダはまたデータサイズの情報を含み、デコ ードを開始するとき又はデータの所与のフレームを表すとき前記デコーダを指示 するタイミング情報を含む。 パックヘッダはその開始コードで識別され、各セクタの始めに現れる。前記ヘ ッダに供給されたタイムスタンプは、デコーダ１４がデータの到着を含めて同期 するようにする。最初のパックの第１タイムスタンプは、０に設定され、その後 後続するパックは、インクリメントステップで増えるタイムスタンプを持つであ ろう。各パックがデータで満たされるように、これらの値は各パックヘッダに当 てられる。前記第１パックはまた、前記デコーダにデータ転送速度と前記データ ストリームをデコードするのに必要な操作条件とを知らせる様々な情報を含むシ ステムヘッダを有する。 前記パケットヘッダは、特別なストリーム及び特定された大きさのデータを含 む前記システムヘッダの最低レベルである。ＭＰＥＧデータは、前記システム層 のパケット間で分かれる。パッドパケットは、画像を記憶するために使用される 最後のセクタ内の余った空間を埋めるために用いられる。タイムスタンプをデコ ードすること（ＤＴＳ）及び表示タイムスタンプ（ＰＴＳ）は、ＭＰＥＧ標準の 任意の時間コードであり、次のピクチャをデコードしたり表すとき該デコーダに 知らせる。このアプリケーションにおいては、これらは各フレームの第１パック の第１データパケットに供給され、編集されたピクチャの現在のタイムスタンプ 及び大きさに依存するので、これらのフィールドは実時間で書かれる。 （３５２×２８８ピクセルに対応する）１８個のマクロブロックでフレームサ イズが２２と仮定すると、第１スクリーン画像は、完全なピクチャの左上に対応 するように編集される。第１ラインは０，０で開始マクロブロックから編集され 、１，０から２１個の継続マクロブロックが後続する。残りの１７ラインは、同 様 の方法でコピーされる。前記システム層に包まれ、セクタパッケージ化された後 に、前記データはビデオバッファに形成される。 このアプリケーションのための前記システム層についての重要な注意は、前も って計算されメモリに記億できることである。オンラインピクチャ編集中、処理 時間はメモリから直接システム層のヘッダをコピーすることで削減できる。 背景のスクローリングを今考慮すると、マウスの位置（ＵＩＤ ２８からの入 力）はオリジナルスクリーン画像に対応するように０，０に初期化され、デコー ダ１４が第１ピクチャをデコードしたとき、信号ライン５０を介して、信号は制 御器２２に入力される。マウスの位置が変わると、次のピクチャは、最後のピク チャがデコードされ終わったかどうか（すなわち、前記信号が入力される）に関 係なく編集される。記憶されたフレームの数がバッファ１８で増えない限り、こ のアプリケーションは、説明されるような望ましくスムーズなスクローリングに 適切であり、ピクチャ編集及びデコーディングが平行に操作されるので、より早 い更新レータという利益がある。 満足のいく更新レートを維持する一方で、比較的高い質のエンコードされた背 景を供給するために、フレームの大きさは、予測コピーの使用によって減少され てもよい。Ｐフレームを使用する能力は、背景の連続するフレームが非常に類似 し前の画像から大量の画像データを含むという事実に依存する。第１フレームが 示されると、Ｐフレームを使用する予測コピーは、後続フレームを編集するのに 使用され、幾つかの付加的なデータはスクロールする方向に依存して必要とされ る。上述のイントラフレーム技術に関する根本的な相違は、前の画像に依存し（ 画面メモリ１６に記憶される）これらマクロブロックをコピーするデコーダ１４ の使用である。 前記画面は、前のフレームからのデータを回復及び再位置決めする必要なマク ロブロックコピー命令と一緒にイントラコードマクロブロックの組み合わせを用 いて構築される。前記デコーダは、必要とされる画像を再構成するために必要な コピー操作を行うためにこの情報を使用する。画面の各ラインについては、前記 ピクチャが直前のフレームに関してどのように移動したか及び新しいデータが当 該ラインの前に又は後に付け加えられるべきかどうかを決定されなければならな い。適切なマクロブロックコピー命令が評価されなければならず、バイトに加え られたパッドデータは、コード化された表示を整列する。 画像は、あるフレームからその次のフレームへと、上下左右又は適当な組み合 わせで８つの異なる方向に様々な大きさで移動する。これらの場合は、前記ピク チャが動いたかどうかを決定する４つの別々な場合で扱われる。 フレームが上に動いたならば、新規フレーム位置に対応するイントラコード化 マクロブロックの適切な数のラインは、当該新規フレームの最初のラインを作成 するのに使用されるべきである。この場合、前記フレームの残りの編成は、当該 フレームが水平方向にも移動したかどうかに依存するだろう。 前記フレームが水平方向に移動したならば、そのときイントラコード化マクロ ブロックは前記ピクチャの各ラインに挿入されなければならない。前記フレーム が左に移動したならば、そのとき適切なイントラコード化マクロブロックは、各 ラインの始めに現れ、右に移動したならば、各ラインの終わりに現れる。各場合 において、前記ラインの残りは、前のフレームのマクロブロックから編成される 。前記デコーダは、前記ラインの他のマクロブロックを参照してデータがどこか らコピーされるべきかを識別するコード化シーケンスでこのデータをコピーする ように指示する。このコード化シーケンスは、実時間で整備される。 前記フレームが水平方向に移動しなかったとき、コード化シーケンスはデータ の多くのラインをコピーするように評価できる。スライスヘッダが、第１マクロ ブロックに先行して使用されなければならないとき、この指示がデータの第１の ラインで使用されることは重要である。 最後の場合は、前記フレームが下方へ移動したときである。これは、新規イン トラコード化データは、新規フレームの上辺よりも下辺に置かれることを除いて は、上方に動くことと同様の場合となる。 Ｉフレームとは対照的にＰフレーム内でイントラコード化マクロブロックを使 用するという複雑さは、ＭＰＥＧのビデオ仕様がＩフレームのマクロブロック型 式を示すために異なるコードを特定することである。早くマクロブロックをコピ ーするために、ＩフレームよりもＰフレームの部分として使用されるマクロブロ ックに対して別々の表示を有することが必要である。このデータは、フォーマッ トされ、前のようにパッドデータを用いてバイト整列されなければならない。プ ログラムは開始及び継続マクロブロックのために（事前に）もう一つの２重の重 複コピーセットも必要とし、その結果、全体の画像の重複コピーに対して必要と される記憶部メモリは、実際に倍になるであろう。 要約すると、ＭＰＥＧフレームのスクローリング及び実時間編集は、エンコー ド、前処理、実時間ピクチャの発生及び表示用の制御を含んで複雑な作業である 。素早くアクセスできコピーできるように、前記画像データは用意される。前処 理工程部は、各フレームがＭＰＥＧ1ビデオ及びシステム層の仕様に依然適合す る高速でデータストリームの部分として作られる単純化した高速エンコーダ及び マルチプレクサとして働く。 本願の説明を読むことにより、他の変形は当業者には明白であろう。このよう な変形は、対話式画像表示器及びその要素の設計、製造及び使用において既知で あり、既にここに説明されている特徴を代えて又は加えて使用される他の特徴を 含むかもしれない。請求の範囲は、本発明の特徴の特定の組み合わせでこの明細 書内に確かに述べられているが、本発明の開示の範囲はまた、本発明の請求項に 記載されたのと同じ発明に関するかどうか、及び本発明の開示の範囲はまた、今 のどの請求項に記載された同じ発明に関するかどうか、及び本発明に関する全て の同様な技術的問題を解決するかどうかに関わらず、明確に、絶対的に又は一般 的にここに開示された特徴のどんな新しい特徴又は新しい組み合わせをも含むと 理解されるべきである。出願人はここに、本願明細書又はこの明細書を基にした 他の明細書の審査中、この様な特徴、及び／又は特徴の組み合わせにより新しい 請求項を作るかもしれないことを注記する。

───────────────────────────────────────────────────── 【要約の続き】 前記データベースの供給は、スプリット及び他の別々に エンコードされたデータを前記場面に導入することと、 デコードする直前に前記場面にビデオ動画面を許容する 動きベクトルの修正と、大きな画像背景の実行時間スク ローリングすることとを含む様々な対話型効果を作るシ ステムを可能にする。

Claims (1)

1. 【特許請求の範囲】 １． ピクセルデータの離散コサイン変換（ＤＣＴ）でコード化されたマクロブ ロック入力部を持つ対話型画像操作装置において、画像データ記憶部と、各マク ロブロックの少なくとも１つの独立表示を生成し、前記記憶部に当該表示を記憶 し、前記記憶部から読まれた前記表示の選択されたものからＤＣＴ コード化画 像を生成するように、入力マクロブロックデータを処理できる前処理制御器と、 前記制御器と結合される使用者入力手段であって、前記生成された画像の記憶さ れたマクロブロック表示の前記選択が前記使用者入力手段からの入力によって少 なくとも部分的に決められる前記使用者入力手段と、前記生成されたＤＣＴコー ド化画像を入力しデコードするように配されたデコーダとを有することを特徴と する対話型画像操作装置。 ２． 請求項１に記載された装置において、前記デコーダと結合され前記デコー ドされた画像を入力し表示する表示部を更に有することを特徴とする装置。 ３． 請求項１に記載された装置において、前記前処理制御器が、前記ＤＣＴコ ード化画像をピクセル平面の前景及び背景のペアとして生成し各選択されたマク ロブロック表示を当該平面の１つに割り当てるように配されることを特徴とする 装置。 ４． 請求項３に記載された装置において、ピクセルデータの１つ又はそれ以上 のマクロブロックで定められた画像スプリットが、前記記憶部に記憶され、前記 使用者入力手段が使用者の入力に応じて位置信号を生成するように形成され、前 記前処理制御器が、前記位置信号によって決められた場所で前記画像の前記ピク セル平面の１つに前記スプリットを位置付けすることを特徴とする装置。 ５． ピクセルデータのＤＣＴコード化されたマクロブロックの対話型式操作及 びデコードのための方法において、各マクロブロックの少なくとも１つの独立表 示を含むマクロブロックデータのデータベースを生成するために前記コード化さ れたマクロブロックデータを前処理する工程と、前記マクロブロック表示の選択 されたものからＤＣＴコード化画像を組み立て、画像を形成するためにマクロブ ロックの前記選択が使用者の入力に応じて少なくとも部分的になされる工程と、 前 記組み立てられた画像をＤＣＴデコードする工程とを有することを特徴とする方 法。 ６． 請求項５に記載の方法において、前記前処理工程が、各マクロブロック表 示がデータバイトの整数を有するようにビットスタッフィングすることを含むこ とを特徴とする方法。 ７． 請求項５に記載の方法において、前記前処理工程が、組み立てられた画像 のマクロブロックデータのラインに、開始又は継続マクロブロックとしてそれぞ れ用いられる２つの異なる独立表示を生成することを有すること特徴とする方法 。 ８． 請求項５に記載の方法において、ＤＣＴコード化画像が前景及び背景画像 平面として組み立てられ、前記マクロブロック表示の選択されたものが前記画像 平面の個々のものに割り当てられ、前記画像平面の１つに、１つ又はそれ以上の 当該マクロブロック場所が使用者の入力で決められることを特徴とする方法。 ９． 請求項５に記載の方法において、ＤＣＴコード化マクロブロックデータが 、大きな背景画像のそれぞれの部分を供給する複数のピクチャを有し、前記前処 理工程が、前記背景画像を再現するために前記ピクチャを編集することを含み、 ＤＣＴコード化画像を組み立てる前記工程で使用される前記マクロブロック表示 の選択されたものが、前記背景画像の選択された部分を識別する窓内にあるもの であることを特徴とする方法。 １０． 請求項９に記載の方法において、前記使用者入力が動作方向を指定し、 前記窓がそれに応じて前記背景画像に関して動かされることを特徴とする方法。