JPH09331536A - 誤り訂正デコーダ及び誤り訂正デコーディング方法 - Google Patents

Abstract

(57)【要約】 【課題】 物体指向ビデオ圧縮、及びデコーダフィード
バックを使用する誤り訂正によって伝送及び記憶に好適
な、低コード伝送速度、かつ対誤り堅牢性のコード伝送
を可能にする。 【解決手段】 圧縮装置２０８は、エンコーダを含み、
差働領域コード化、ブロック単位輪郭コード化、ブロッ
ク単位輪郭タイリングに関係した運動補償故障コード
化、フレームの副領域に制限されたウェーブレット変換
コード化を含むサブバンド、物体に関連した覆われない
背景によるスケーラビリティ、コードへの同期埋込みを
実施し又は提供する。これに接続された遠隔デコーダ２
２０内でデコーダからデインタリーバへのフィードバッ
クを実施し伝送誤り訂正を向上する。したがって、ビデ
オ電話、及び遠隔記憶装置２１０内のディジタル記憶を
備える固定カメラ２０２による監視ビデオシステムに好
適である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子ビデオ方法及
び装置、特に、圧縮ビデオを用いるディジタル通信及び
記憶システムに関する。

【０００２】

【従来の技術】ビデオ通信（テレビジョン、テレビ会
議、等々）は、典型的に、視聴者による実時間視聴用に
伝送チャネルを通して音声と一緒にビデオフレーム（影
像）の流れを伝送する。しかしながら、伝送チャンネル
は、多くの場合、擾乱する雑音を生じかつバンド幅を限
定されている（例えば、６ＭＨｚに限定されたテレビジ
ョンチャンネル）。その結果、圧縮を用いるディジタル
ビデオ伝送が広範に使用されている。特に、ディジタル
ビデオの圧縮に関する種々の標準が出現しており、これ
らにはＨ．２６１、ＭＰＥＧ−１、及びＭＰＥＧ−２が
あり、更にこれらに続きＨ．２６３及びＭＰＥＧ−４が
ある。こられに似たＣＥＬＰ及びＭＥＬＰのような音声
圧縮方法もある。

【０００３】テカルプの、ディジタルビデオ処理（プレ
ンティス・ホール、１９９５年）［Ｔｅｋａｌｐ，Ｄｉ
ｇｉｔａｌ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ（Ｐｒ
ｅｎｔｉｃｅ Ｈａｌｌ、１９９５）］、クラークの、
静止影像及びビデオのディジタル圧縮（アカデミック・
プレス、１９９５年）［Ｃｌａｒｋ，ＤｉｇｉｔａｌＣ
ｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｓｔｉｌｌ Ｉｍａｇｅ
ｓ ａｎｄ Ｖｉｄｅｏ（Ａｃａｄｅｄｍｉｃ Ｐｒｅ
ｓｓ，１９９５）］、及びシェーファー他の、ディジタ
ルビデオコーディング標準及びビデオ通信におけるそれ
らの役割、会報８３、（米国）電気電子学会９０７（１
９９５年）［Ｓｃｈａｆｅｒ ｅｔ ａｌ，Ｄｉｇｉｔ
ａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄｓ
ａｎｄＴｈｅｉｒ Ｒｏｌｅ ｉｎ Ｖｉｄｅｏ Ｃ
ｏｍｍｕｎｉｃａｔｉｏｎｓ，８３Ｐｒｏｃ．ＩＥＥＥ
９０７（１９９５）」は、Ｈ．２６１、ＭＰＥＧ−
１、及びＭＰＥＧ−２標準、及びＨ．２６３推奨の説
明、及びＭＰＥＧ−４の所望された機能性についての指
摘を含む、種々の圧縮方法の要約を載せている。これら
の参考資料及び全て他の参考資料は、本明細書に列挙す
ることによって組み込まれる。

【０００４】Ｈ．２６１による圧縮は、時間冗長性を減
少させるためにフレーム間予測、及び空間冗長を減少さ
せるために高空間周波数遮断及びこれと一緒にブロック
レベル上の離散余弦変換（以下、ＤＣＴと称する）を使
用する。Ｈ．２６１は、６４Ｋｂｐｓ（キロビット／
秒）から２Ｍｂｐｓ（メガビット／秒）の倍数の伝送速
度での使用に推奨されている。

【０００５】Ｈ．２６３推奨は、Ｈ．２６１標準に類似
しているが、しかし（撚り対電話線適合性の）約２２Ｋ
ｂｐｓのコード伝送速度用であり、（Ｈ．２６１で利用
されているループフィルタリングの必要をなくす）半画
素精度での運動推算（運動予測）、多くの計算を費やし
て密度の高い運動の場（運動ベクトルの集合）を得る重
複運動補償、及び１６×１６マクロブロック単位の運動
補償と８×８ブロック単位の運動補償との間の適合スイ
ッチングを用いる。

【０００６】ＭＧＰＥＧ−１及びＭＰＥＧ−２は、Ｈ．
２６１のように時間推算（時間予測）及びこれに続きブ
ロックレベル上の二次元ＤＣＴ変換を使用するが、しか
しこれらは更に運動補償された予測、補間、及びフレー
ム内コード化の種々の組合わせを使用する。ＭＰＥＧ−
１は、ビデオＣＤ（コンパクトディスク）を対象として
おり、約３６０画素×２４０線のフレーム当たり約１〜
１．５Ｍｐｓかつ毎秒２４〜３０フレームの速度で充分
に働く。ＭＰＥＧ−１は、Ｉフレーム、Ｐフレーム、及
びＢフレームを定義し、Ｉフレームはフレーム内コード
化され、Ｐフレームは先行Ｉフレーム又はＰフレームか
らの運動補償予測を使用してコード化され、及びＢフレ
ームは隣接Ｉフレーム及び隣接Ｐフレームからの運動補
償された双方向予測−補間を使用してコード化される。

【０００７】ＭＰＥＧ−２は、ディジタルテレビジョン
（７２０画素×４８０線）を対象とし、最高約１０Ｍｂ
ｐｓまでのコード伝送速度、ＢフレームＭＰＥＧ−１型
運動補償、及びＩフレーム、Ｐフレーム、及びスケーラ
ビリティ（ｓｃａｌａｂｉｌｉｔｙ）を使用する（低解
像度影像を伝送するために低コード速度を取ることがあ
る）。

【０００８】しかしながら、前掲のＭＰＥＧの圧縮は、
非常に低ビットの速度で動作させられるとき、解像度の
損失（ｂｌｏｃｋｉｎｅｓｓ）及び不自然な物体運動の
ようないくつかの許容不可能なアーチファクトを生じ
る。これらの技術はブロックレベルで信号内の統計的依
存性のみを使用し、ビデオの流れの意味内容を考慮しな
いので、非常に低ビットの速度（高量子化係数）下のブ
ロック境界でアーチファクトが導入される。通常、これ
らのブロック境界は運動物体の物理的境界に対応せず、
それゆえ視覚を悩ますアーチファクトを生じる。限界バ
ンド幅のためにフレーム速度が平滑運動に必要とされる
フレーム速度より落ちるときにも不自然な運動が起こ
る。

【０００９】ＭＰＥＧ−４は、１０Ｋｂｐｓから１Ｍｐ
ｂｓのビット伝送速度に適用されることになっており、
かつスケーラビリティ、内容に基づくマニピュレーショ
ン、誤りが起こり勝ちな環境内での堅牢性、マルチメジ
アアクセスツール、改善されたコード化性能、グラフィ
ック及びビデオの両方をコード化する能力、及び改善さ
れたランダムアクセスのような機能性を備える内容に基
づくコード化調査研究（ａｐｐｒｏａｃｈ）を使用する
ことになっている。ビデオコード化方式は、コード化さ
れた同時物体の数及び（又は）品質を変動することがで
きるならば、内容がスケーラブルであると考えられる。
物体スケーラビリティは、コード化された同時物体の数
を制御することを指し、及び品質スケーラビリティはコ
ード化された物体の空間及び（又は）時間解像度を制御
することを指す。スケーラビリティは、限定されたバン
ド幅の伝送チャンネル及びまたバンド幅がダイナミック
であるチャンネルにわたって操作するビデオコード化方
法にとって重要な特徴である。例えば、内容がスケーラ
ブルなビデオコーダは、シーン内の重要物体のみを高品
質でコード化しかつ伝送することによって限定されたバ
ンド幅の下で性能を最適化する能力を有する。したがっ
て、このコーダは、残りの物体を放棄（ｄｒｏｐ）する
か又はそれらを遥かに低品質でコード化するかのどちら
かを選択することができる。そのチャンネルのバンド幅
が増大するとき、このコーダは、低劣にコード化された
物体の品質を改善するために追加のビットを伝送しかつ
欠けている物体を回復することができる。

【００１０】マスマン他の、運動影像の物体指向分析−
合成コーディング、信号処理 １、影像通信、１１７
（１９８９年）［Ｍｕｓｍａｎｎ ｅｔ ａｌ．，Ｏｂ
ｊｅｃｔ−Ｏｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ−Ｓｙ
ｎｔｈｅｓｉｓ Ｃｏｄｉｎｇｏｆ Ｍｏｖｉｎｇ Ｉ
ｍａｇｅｓ，１ Ｓｉｇ．Ｐｒｏｃ．：Ｉｍａｇｅ Ｃ
ｏｍｍ．１１７（１９８９）］は、ソースモデルを使用
する階層運動物体検出を解説している。前掲のテカルプ
（Ｔｅｋａｌｐ）の参考資料の章２３、２４もまた、物
体に基づくコード化を論じている。

【００１１】メジオニ他の、キュービックＢスプライン
を使用する隅検出及び曲率表示、コンピュータビジョン
グラフィック影像処理 ３９、２６７（１９８７年）
［Ｍｅｄｉｏｎｉ ｅｔ ａｌ．，Ｃｏｎｅｒ Ｄｅｔ
ｅｃｔｉｏｎ ａｎｄ Ｃｕｒｖａｔｕｒｅ Ｒｅｐｒ
ｅｓｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｃｕｂｉｃ Ｂ−
Ｓｐｌｉｎｅｓ，３９ Ｃｏｍｐ．Ｖｉｓ．Ｇｒａｐ
ｈ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２６７（１９
８７）］は、Ｂスプラインを用いる曲線のコード化を示
す。同様にフォーレイ他の、コンピュータグラフィック
ス（アジソン・ウェスレイ第２版）、４９１〜４９５頁
及び５０４〜５０７頁［Ｆｏｌｅｙ ｅｔａｌ．，Ｃｏ
ｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ（Ａｄｄｉｓｏｎ−Ｗ
ｅｓｌｅｙ２ｒｄＥｄ．）］は、キュービックＢスプイ
ライン、及び（制御点を通るように制約されている）カ
ットミュル・ロム（Ｃａｔｍｕｌｌ−Ｒｏｍ）スプライ
ンを論じている。

【００１２】

【発明が解決しようとする課題】ビデオの効率的伝送を
達成するために、通信システムはバンド幅にとって効率
的である圧縮方式を利用しなければならない。次いで、
圧縮されたビデオデータが誤りの起こり勝ちな通信チャ
ンネルを通して伝送される。ビデオデータ内の時間相関
を利用するビデオコード化方式の場合、チャンネル誤り
がエンコーダとのデコーダの同期喪失を生じる。もしこ
れを適当に取り扱わないならば、これが画像（ｐｉｃｔ
ｕｒｅ）品質を目に付く程に劣化させるおそれがある。
満足なビデオ品質又はサービス品質を維持するために、
データをこれらのチャンネル誤りから保護する方式を使
用するのが望ましい。しかしながら、対誤り保護方式
は、高めたビット速度を犠牲にして遂げられる。更に、
所与の誤り制御コードを使用して全ての起こり得る誤り
を訂正することは不可能である。それゆえ、これらのチ
ャンネル誘導誤りによって導入される不快なかつ視覚を
擾乱するアーチファクトを効率的に除去するために、誤
り制御に加えて或る他の技術に頼ることが必要になる。

【００１３】事実、圧縮されたビデオを伝送する無線チ
ャンネルのような、典型的チャンネルは、高ランダムビ
ット誤り（ＢＥＲ）及び多重バースト誤りによって特徴
としている。ランダムビット誤りは約０．００１の確率
で起こり、及びバースト誤りは通常最長２４ｍｓ（ミリ
秒）までの持続時間を有する。

【００１４】リード・ソロモン（Ｒｅｅｄ−Ｓｏｌｏｍ
ｏｎ； 以下、ＲＳと称する）コードのような誤り訂正
コードは、コードシンボルのブロック当たり指定数まで
のランダム誤りを訂正する。コードをバースト誤りが起
こり勝ちなチャンネルを通して使用するとき問題が起こ
る。それは、これらの誤りが少数の受信シンボル内に群
がる傾向があるからである。市販のディジタル音楽ＣＤ
は、チャンネルバーストがデコーディングに際して多数
コード語にわたって拡散するようにインタリーブされた
コード語（コードワード）を使用する。特に、ＣＤ誤り
制御エンコーダは、コード英数字ＧＦ（２５６）からの
８ビットシンボルを備える２つの短縮ＲＳコードを使用
する。それゆえ、１６ビット音響サンプルは、２つの情
報シンボルを各々取る。まず、これらのサンプルが（２
８，２４）ＲＳコードによって一度に１２（それゆえ２
４個のシンボル）コード化され、次いで、２８シンボル
のコード語が、分岐間でおそらく２８個のシンボルの遅
延増分を伴う２８分岐インタリーバを通過する。それゆ
え、２８個の順次２８シンボルコード語がシンボルから
シンボル式にインタリーブされる。インタリーブした
後、２８シンボルブロックが（３２，２８）ＲＳコーダ
で以て伝送用３２シンボルコード語にコード化される。
デコーダは、鏡像である、すなわち、（３２，２８）Ｒ
Ｓデコーダ、遅延増分４つのシンボルを伴う２８分岐デ
インタリーバ、及び（２８，２４）ＲＳデコーダであ
る。（３２，２８）ＲＳデコーダは、入力３２シンボル
コード語内の１つの誤りを訂正することができ、かつ３
２シンボル入力コード語内の２つ以上の誤りに対して２
８個の消去されたシンボルを出力することができる。次
いで、デインタリーバがこれらの消去されたシンボルを
２８個のコード語にわたって拡散する。（２８，２４）
ＲＳデコーダは、最高４つのシンボル誤りまでを検出す
るように設定され、これらのシンボル誤りは次いで２４
シンボル出力語内の消去されたシンボルで以て置換され
る。５つ以上のシンボル誤りの場合は、全ての２４個の
シンボルが消去される。これは、消去された音楽サンプ
ルに相当する。デコーダは、消去された音楽サンプルを
隣接のサンプルで以て補間することがある。全体的に
は、ウィックスの、ディジタル通信及び記憶に対する誤
り制御システム（プランティス・ホール、１９９５年）
［Ｗｉｃｋｅｓ、Ｅｒｒｏｒ Ｃｏｎｔｒｏｌ Ｓｙｓ
ｔｅｍｓ ｆｏｒ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃ
ａｔｉｏｎ ａｎｄ Ｓｔｏｒａｇｅ（Ｐｒｅｎｔｉｃ
ｅ Ｈａｌｌ １９５５）］参照。

【００１５】Ｈ．２６１、ＭＰＥＧ−１、及びＭＰＥＧ
−２の圧縮及び膨張についてのいくつかのハードウェア
処理系（ｉｍｐｌｅｍｅｔａｔｉｏｎ）及びソフトウェ
ア処理系がある。ハードウェア処理系は、シングルチッ
プ又はマルチチップの集積回路処理系［前掲のテカルプ
（Ｔｅｋａｌｐ）の参考資料の４５５〜４５６頁参
照）］、又は適当なソフトウェアをラン（ｒｕｎ）する
Ｕｌｔｒａｓｐａｒｃ又はＴＭＳ３２０Ｃ８０のような
汎用プロセッサであってよい。パブリック・ドメイン・
ソフトウェア（Ｐｕｂｌｉｃ ｄｏｍａｉｎ ｓｏｆｔ
ｗａｒｅ）は、スタンフォード大学のポータブル・ビデ
オ・リサーチ・グループ（ＰｏｔａｂｌｅＶｉｄｅｏ
Ｒｅｓｅａｒｃｈ Ｇｒｏｕｐ ａｔ Ｓｔａｎｆｏｒ
ｄ Ｕｎｉｖｅｒｓｉｔｙ）から入手可能である。

【００１６】

【問題を解決するための手段】本発明は、内容に基づく
ビデオ圧縮を提供し、この圧縮は次を用いる。すなわ
ち、運動物体の厳密なコード化ではなく差働領域コード
化、ブロック単位（ｂｌｏｃｋｗｉｓｅ）輪郭コード
化、ブロック単位輪郭タイリングに関係した運動補償故
障コード化、フレームの副領域に制限されたウェーブレ
ット（ｗａｖｅｌｅｔ）変換コード化を含むサブバン
ド、物体に関連した覆われない背景によるスケーラビリ
ティ、及び各運動物体のコードに埋め込まれた同期とコ
ーダからデインタリーバへのコーダフィードバックとに
よる対誤り堅牢性。本発明は、また、ビデオ電話、及び
ランダムアクセスメモリ内のディジタル記憶を備える微
速度（ｔｉｍｅ−ｌａｐｓｅ）監視を含む安全用固定カ
メラ監視のようなこの圧縮を応用するビデオシステムを
提供する。

【００１７】本発明の利点には、物体スケーラビリティ
を備える効率的で低コード伝送速度のビデオコード化及
び都合の良い伝送及び記憶を可能にする非常に低いコー
ド伝送速度のビデオ圧縮がある。これによって、低コー
ド伝送速度テレビ会議及びまた直列アクセス磁気テープ
でなくランダムアクセスハードディスク装置による監視
情報記憶が可能になる。また、運動物体のセグメンテー
ションによって、運動物体のどれか１つ又はいくつかへ
の情報の集中が可能になる（ＭＰＥＧ−４）。

【００１８】

【発明の実施の形態】

圧縮及び膨張の概観 図１は、コード化及びデコーディングと共に誤り訂正を
含む圧縮コード化、デコーディング、及び膨張を使用し
て話者の音声及びその影像の両方を伝送する本発明の好
適実施例のビデオ電話（テレビ会議）システムをブロッ
ク図で示す。もちろん、図１は一方向への伝送しか及び
１つの受信機しか示していないが、実際は第２カメラ及
び第２受信機が反対方向の伝送に使用されるであろう
し、及び第３又はもっと多くの受信機及び送信機をこの
システムに接続することもできる。ビデオ及び音声は分
離して圧縮され、かつビデオと音声との間の伝送チャン
ネルバンド幅の割当ては、状況に応じてダイナミックに
調節される。電話ネットワークバンド幅のコスト上、低
コード伝送速度が要求される。事実、非常に低いコード
伝送速度のビデオ圧縮は可視品質（ｖｉｓｕａｌ ｑｕ
ａｌｉｔｙ）を妥協のため犠牲にすることがあるマルチ
メジア応用に使用される。

【００１９】図２は、本発明の第１好適実施例の監視シ
ステム２００を示し、このシステムは静止背景に焦点を
合わせたカメラ２０２（その視野内を時折運動物体２０
６が通過する）、ビデオ圧縮装置２０８とこれに接続し
た遠隔記憶装置２１０、デコーダ及びディスプレイ２２
０を含む。圧縮装置２０８はシーンのビデオ影像（ビデ
オ映像）の流れの圧縮を行い（例えば、毎秒３０フレー
ム、各フレームは１７６×１４４個の８ビット単色画素
からなる）、それであるから圧縮装置２０８から記憶装
置２１０へのデータ伝送は非常に低速、例えば、２２Ｋ
ｂｐｓになる一方、高品質影像を維持する。システム２
００は、静止背景に依存しておりかつ低データ速度を達
成するために予測運動を用いて運動物体（背景に相対運
動するフレーム内の領域として現れる）のみをコード化
する。この低データ速度のために、カメラからモニタま
でに簡単な伝送チャンネルを及びパーソナルコンピュー
タ用磁気ハードディスク装置のようなランダムアクセス
メモリを使用することができる。事実、モデムを備える
単一電話線路は、圧縮されたビデオ影像の流れを遠隔モ
ニタへ送ることがある。更に、特定監視状況によって要
求される日、又は週のような時間間隔中のビデオ影像の
流れの記憶は、このような圧縮の後には遥かに小容量の
メモリしか必要としないことになる。

【００２０】ビデオカメラ２０２はカメラ内アナログ・
ディジタル変換装置を備えるＣＣＤ（電荷結合素子）カ
メラでよく、したがって圧縮装置２０８の出力が図２に
全体的に示された連続のディジタルフレームである。こ
れに代えて、追加のハードウェアを備えたアナログカメ
ラを使用してフレームのディジタルビデオの流れを発生
してもよい。圧縮装置２０８は、ハード配線されるか、
又は、もっと便利に、搭載メモリ、ＲＡＭ又はＲＯＭ、
又はこれらの両方内に記憶された圧縮ステップを備える
ディジタル信号プロセッサ（以下、ＤＳＰと称する）で
あってよい。例えば、ＴＭＳ３２０Ｃ５０又はＴＭＳ３
２０Ｃ８０型ＤＳＰが充分と云える。また、図１に示さ
れたテレビ会議システムの場合、実時間受信の際の誤り
訂正が伴いかつ汎用プロセッサ上で行われることがあ
る。

【００２１】図３は、本発明の好適実施例のビデオ圧縮
方法の高レベル流れ図であり、入力は連続のフレームＦ
₀ 、Ｆ₁ 、Ｆ₂ 、…、からなり、各フレームが１４４行
×１７６画素又は２８８行×３５２画素でからなりかつ
１０フレーム毎秒のフレーム速度を有し、このような入
力に対する次のステップを含む。これらのステップの詳
細は、後続の節で説明される。

【００２２】これら２つの寸法のフレームは、１１マク
ロブロックの９行のアレーであってかつマクロブロック
の各々が１６×１６画素からなるアレーに、又は２２マ
クロブロックの１８行のアレーに区分される。これらの
フレームはＩ画像又はＰ画像としてコード化され、これ
らの画素の後進補間（ｂａｃｋｗａｒｄ ｉｎｔｅｒｐ
ｏｌａｔｉｏｎ）を用いるＢ画像は非常に低いコード伝
送速度の伝送のためにオーバレー長時間遅延を生じる。
Ｉ画像は５ないし１０秒毎に１回だけ起こり、フレーム
の大部分はＰ画像である。１７６画素の１４４行の寸法
のフレームに対して、大体においてＩ画像は２０Ｋビッ
トで以てコード化され、一方Ｐ画像は２Ｋビットで以て
コード化され、それゆえ総合コード伝送速度は２２Ｋｂ
ｐｓ（わずか１０フレーム毎秒以下）ことになる。これ
らのフレームは、単色又は色彩であり、色彩は強度フレ
ーム（Ｙ信号）及び（サブサンプルされた）１／４解像
度色組合わせフレーム（Ｕ信号及びＶ信号）によって与
えられる。

【００２３】（１） 最初に、ＤＣＴ又はウェーブレッ
ト変換に基づく波形コード化技術を使用してＭＰＥＧ−
１、ＭＰＥＧ−２におけるＩ画像状のものとして第零フ
レームＦ₀ をコード化する。ＤＣＴの場合、フレームを
８×８画素ブロックに区分し、各ブロックのＤＣＴを計
算し、高空間周波数を遮断し、残りの周波数を量子化し
かつコード化し、次いで、伝送する。コード化は、ラン
レングスコード化（ｒｕｎ ｌｅｎｇｔｈ ｅｎｃｏｄ
ｉｎｇ）、ハフマンコード化（Ｈｕｆｆｍａｎｅｎｃｏ
ｄｉｎｇ）、及び誤り訂正コード化を含む。ウェーブレ
ット変換の場合、フレームの多レベル分解を計算し、結
果のウェーブレット係数を量子化しかつコード化し、か
つ伝送する。他のフレームも伝送チャンネルコード伝送
速度に依存する周波数を用いて画像としてコード化す
る。Ｉ画像であるフレームＦ_N をコード化する場合、上
と同様にしてコード化する。

【００２４】（２） Ｐ画像であるフレームＦ_N をコー
ド化する場合、再生フレームＦ_N-1からＦ_N への変化の
領域を見付け出すことによってそのフレーム内の運動物
体を検出する。再生フレームＦ_N-1 は、下に説明される
ように実際に伝送されたフレームＦ_N-1 の近似である。
注意するのは、この変化の領域は運動物体と覆われない
背景とに区分されることを必要とせず、運動物体を近似
的に記述するだけでよいことである。しかしながら、こ
の近似は、充分でありかつより効率的な低コード化を提
供する。もちろん、これに代えて、或る領域が先行フレ
ーム内の変化の領域の外側にマップし、それゆえこの領
域が覆われない背景であるかどうか判定するような逆運
動ベクトル、物体を判定する縁検出、又は物体を背景か
ら区別する物体特性（モデル）の推定のような機構を通
して、変化の領域を運動物体と覆われていない背景とに
区分することもあろう。

【００２５】（３） ステップ（２）からの変化の領域
の各関係要素毎に、なんらかの「ス（ｉｎｔｅｒｉｏｒ
ｈｏｌｅ）」があればこれも含めてその境界輪郭をコ
ード化する。それゆえ、運動物体の境界は正確にコード
化されるのではなくて、変化の領域の全体の境界がコー
ド化され、運動物体の境界を近似する。境界コード化
は、境界を近似するスプラインによるか又は変化の領域
内のブロックを表示する２進マスクによるかどちらかで
ある。スプラインは、境界のより正確な表示を行うのに
対して、２進マスクはより少ない数のビットを使用す
る。注意するのは、変化の領域の関係要素は、２進影像
マスクのラスタ走査、及びこのマスク内の画素の群への
分類によって判定されることがあり、これらの群が隣接
画素を分類するに従って併合するようになることであ
る。画素の最終群は、関係要素（関係領域）である。プ
ログラムの例は、バラード他の、コンピュータビジョン
（プランティス・ホール）１４９〜１５２頁［Ｂａｌｌ
ａｒｄ ｅｔ ａｌ．，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏ
ｎ（ＰｒｅｎｔｉｃｅＨａｌｌ）ａｔ ｐａｇｅｓ１４
９−１５２］参照。便宜上、以下では関係要素（関係領
域）を（運動）物体と称することがある。

【００２６】（４） 先行フレームからの物体の運動推
算によって連続のビデオ内の時間冗長性を除去する。特
に、現行フレームＦ_N 内の物体内の１６×１６画素マク
ロブロックを先行再生フレームＦ_N-1 内の同じ位置に内
の１６×１６画素マクロブロック及び後者のマクロブロ
ックを全方向に最高１５画素分移行させたものと整合さ
せる。最良の整合は、後者のブロックに対する運動ベク
トルを定義する。現行フレームＦ_N への近似Ｆ’_N を、
これらの運動ベクトルと先行フレームＦ_N-1N内のこれら
の運動ベクトルに対応するマクロブロックと共に使用す
ることによって、先行フレームから合成することができ
る。

【００２７】（５） 近似Ｆ’_N を合成するために物体
の運動を使用した後、現行フレーム内に依然として領域
があり、これらは高速変化する領域の場合のように可な
りの残留情報を含んでいる。すなわち、現行フレームＦ
_N と合成された近似Ｆ’_N との間の差領域は、可なりの
情報を含む運動故障領域を定義するためにステップ
（２）、（３）に類似した運動セグメントを適用され
る。

【００２８】（６） ＤＣＴ又はウェーブレット変換に
基づく波形コード化技術を使用してステップ（５）から
の運動故障領域をコード化する。ＤＣＴの場合、１６×
１６画素マクロブロックを持つ領域をタイルし、これら
のマクロブロックのうちの８×８画素ブロックにＤＣＴ
を適用し、量子化しかつコード化する（ランレングスコ
ード化、次いでホフマンコード化）。ウェーブレット変
換の場合、これらの領域外側の全ての画素値を零に設定
し、選択された領域に相当するウェーブレット係数のみ
を多レベル分解し、量子化し、かつコード化する［零木
（ｚｅｒｏｔｒｅｅ）コード化、次いで算術コード
化］。

【００２９】（７） Ｉ画像（ＤＣＴデータ又はウェー
ブレット変換データ）及びＰ画像（輪郭、運動ベクト
ル、及び運動補償故障データを有する各物体の順に従っ
て順序付けられた物体）を組み立てる（ａｓｓｅｍｂｌ
ｅ）。これらはホフマンコードのテーブルからのコード
語であり得る。このテーブルはダイナミックテーブルで
はなく、実験的に発生される。

【００３０】（８） 各Ｉ画像データ、各Ｐ画像デー
タ、各輪郭データ、各運動ベクトルデータ、及び各運動
補償故障データの開始に再同期語を埋め込む。これらの
再同期語はホフマンコード語テーブル内に現れず、それ
ゆえ、これらを明瞭に決定することができる。

【００３１】（９） ステップ（８）からの結果のビッ
トストリームをリードソロモンコードと共にインタリー
ブすることで以てコード化する。次いで、伝送又は記憶
する。

【００３２】（１０） 受信したコード化ビットストリ
ームをリードソロモンデコーダ及びデインタリーブ（ｄ
ｅｉｎｔｅｒｌｅａｖｅ）することによってデコードす
る。再同期語は、デコーディング故障の後に役立ちかつ
ランダムアクセスに対するアクセス点を提供する。更
に、デコーディングは、デインタリーバのどちらかの側
上の短縮リードソロモンデコーダ、及び誤り訂正の強化
（ｅｎｈａｎｃｅ）のための（デコーダ出力の記憶コピ
ーの）第２デコーダから第１デコーダへのフィードバッ
クを用いることがある。

【００３３】（１１） スケーラブルビットストリーム
を生じる物体スケーラビリティ（連続のフレーム中の物
体の選択コード化−デコーディング）及び品質スケーラ
ビリティ（物体の品質の選択強化）もまた維持される。

【００３４】運動物体検出及びセグメンテーション 本発明の第１好適実施例の方法は、順次ビデオフレーム
間の差領域を使用することによって運動物体を検出しか
つセグメント化するが、しかしこのような領域を運動物
体と覆われない背景とに分離するようなことはしない。
これによって、情報を簡単化し、しかも充分な品質を与
えることが判っている。特に、フレームＦ_N について、
各画素でフレームＦ_N と再生フレームＦ_N-1 との間の強
度（Ｙ信号）の差の絶対値を見付ける。８ビット強度
（０から２５５で標識された２５６レベル）毎に、カメ
ラ校正の変動性は、０から１５の強度範囲を暗であると
取り、２４０から２５５の強度範囲を飽和輝度と取るこ
とを表示するであろう。或る１つの画素での強度差の絶
対値は０から２５５の範囲内にあり、それゆえ、微小差
を除去し、かつしきい値を設定する［（シーン周囲照明
に応じて）５ないし１０以下の画素のあらゆる絶対差を
０に設定しかつ３０より大きい画素の絶対差を１に設定
する］ことによって差の２進影像を形成する。これによ
って、スペックルに見える２進影像が得られる。図４ａ
及び４ｂは２つの順次フレームを示し、図４ｃはしきい
値設定された絶対差の２進影像であり、黒画素は１を表
示し、白画素は０を表示する。

【００３５】次いで、雑音から生じるであろうような、
２進影像中の孤立領域を、メジアンフィルタリング［も
し或る画素の４つ（又はおそらく８つ）の最隣接の画素
が全て０ならば、或る画素における１を０で置換する］
によって除去する。

【００３６】次に、形態素（ｍｏｒｐｈｏｌｏｇｉｃａ
ｌ）閉操作［膨張（ｄｅｉｌａｔｅ）操作に続き侵食
（ｅｒｏｄｅ）操作］を適用して、閉と閉との間を１に
よって充填する、すなわち、図４ｃのスペックル領域を
「ベタ（ｓｏｌｉｄ）」領域で置換する。半径Ｋの画素
［ＫはＱＣＩＦフレームの場合１１及びＣＩＦ（共通画
像方式）フレームの場合１３］の円形カーネルを用いる
膨張操作及び侵食操作を使用する。特に、膨張操作はも
し元の０を持つ画素からＫ画素の距離内の他のどの画素
も１を持つ画素であるならば、元の０を持つ画素を１を
持つ画素で置換し、及び侵食操作はもし元の１を持つ画
素からＫ画素の距離内の全ての画素が全て１を持つ画素
でないならば、元の１を持つ画素を０を持つ画素で置換
する。この閉操作の後、開操作（侵食操作に続く膨張操
作）を適用して、１を持つ孤立した領域を除去する。こ
れによって、図４ｄに示されたようにきれいに平滑な境
界を備える１を持つ画素の関係要素（関係領域）の集合
が得られる。注意するのは、関係要素は、やはり境界輪
郭を与える１つ以上の「ス」を持つかもしれないことで
ある。

【００３７】次いで、２進影像をラスタ走査して関係領
域及びそれらの境界輪郭（１を持つ画素でありかつ０を
持つ最隣接画素を少なくとも１つ有するような画素は、
境界輪郭画素と見なされる）を検出しかつ標識付けす
る。ｃｃｏｍｐ［前掲のバラード（Ｂａｌｌａｒｄ）の
文献又は付録参照］のような手順をこれで完成すること
ができる。これらの領域の各々は、１つ以上の運動物体
と運動によって覆われない背景とを推定的に表示する。
小領域を、極端境界画素座標間の最小差のようなしきい
値を使用することによって無視することができる。この
ような小領域は、順次フレームを通じて成長し、遂には
後のフレームの運動故障領域内に起こる。もちろん、関
係領域はＫ画素半径膨張及び侵食カーネルより小さくな
ることはできない。小さくなるとしたならば、開操作を
経て生き残っていない。

【００３８】輪郭表現 本発明の好適実施例は、スプライン近似又は輪郭をスト
ラドルする（ｓｔｒａｄｄｌｅ）ブロックのどちらかに
よる境界輪郭コード化に関するオプションを有し、これ
によって高解像度又は低解像度のどちらかを選択でき、
ぞれゆえスケーラビリティを提供する。ブロック表現を
用いる境界輪郭コード化は、少数のビットしか使用しな
いが、スプライン表現よりも正確でない。それゆえ、ト
レードオフが存在し、これは応用に従って選択される。

【００３９】（ｉ） ブロック境界輪郭表現 前掲の節においてフレームＦ_N から導出された２進影像
内の関係領域の各々毎に、最小境界画素及び最大境界画
素のｘ座標及びｙ座標を見付けることによってこの領域
に対する境界長方形を見付ける。最小ｘ座標（ｘ₀ ）及
び最小ｙ座標（ｙ₀ ）は長方形の左下隅（ｘ₀ ，ｙ₀ ）
を定義し、及び最大ｘ座標（ｘ₁ ，ｙ₁）は右上隅を定
義する。関係領域を示す図５ａ及びこの領域と境界長方
形とを示す図５ｂ参照。

【００４０】次に、（ｘ₀ ，ｙ₀ ）から出発して１６×
１６画素マクロブロックを用いてかつもしこの長方形の
辺が１６画素の倍数でなければ、この長方形の上縁及び
（又は）右縁を過ぎて延びるマクロブロックを用いてこ
の長方形をタイルする。タイリングを示す図５ｃ参照。
もしこのタイリングがこのフレームの外側へ延びるなら
ば、タイリングがこのフレーム内にちょうど維持される
ように隅（ｘ₀ ，ｙ₀）を移行させる。

【００４１】マクロブロックの２５６画素のうちの少な
くとも５０画素（すなわち、少なくとも２０％）を領域
の境界上に有するか又はこの領域内側に有するようなタ
イリングマクロブロックを表す１及びこのようでないマ
クロブロックを表す０を用いてビットマップを形成す
る。これによって境界輪郭のブロック記述、すなわち、
開始隅（ｘ₀ ，ｙ₀ ）及びビットマップが提供される。
ビットマップを示す図５ｄ参照。

【００４２】もし領域が小さいならば、すなわち、もし
多くとも３ないし４マクロブロックがその境界長方形を
タイルするならば、その隅及びビットマップ情報を伝送
する。領域が大きい場合、より効率的なコード化プロセ
スは、次のようである。まず、ビットマップを先行フレ
ームのビットマップと比較する。典型的に、先行フレー
ムは３ないし４ビットマップしか有さない。もしビット
マップの整合が見付かるならば、先行フレームのビット
マップの関連した隅（ｘ’₀ ，ｙ’₀ ）を当該ビットマ
ップのそれ（ｘ₀ ，ｙ₀ ）と比較する。次いで、もし
（ｘ’₀ ，ｙ’₀）が（ｘ₀ ，ｙ₀ ）に等しいならば、
全ビットマップ及び隅の代わりにその隅及び先行フレー
ムのビットマップに整合するビットマップを表示する１
つのビットを伝送することができる。図６ａはこの単一
ビット輪郭伝送を示す。

【００４３】同様に、もし先行フレームのビットマップ
とのビットマップ整合が見付かるがしかし関連した隅
（ｘ’₀ ，ｙ’₀ ）が（ｘ₀ ，ｙ₀ ）に等しくないなら
ば、全ビットマップ及び隅の代わりに移行ベクトル
［（ｘ’₀ ，ｙ’₀ ）−（ｘ₀ ，ｙ₀ ）］を伝送する。
この移行ベクトルは、物体が余り多くのフレームからフ
レームに掛けては運動しないので、典型的には、可なり
小さい。図６ｂ参照。

【００４４】もしビットマップ整合が見付からないが、
しかしビットマップ差がわずか４ないし５マクロブロッ
ク差のように大きくないならば、マクロブロックの追加
と除去の両方を行い、次いで変化したマクロブロックの
位置及び関連した長方形の隅のあらゆる移行ベクトル、
［（ｘ’₀ ，ｙ’₀ ）−（ｘ₀ ，ｙ₀ ）］を伝送する。
図６ｃ参照。

【００４５】最後に、マクロブロック間に大きな差があ
る場合、隅（ｘ₀ ，ｙ₀ ）だけを伝送し、かつ伝送に当
たって図６ｄに示されたように境界長方形内のマクロブ
ロックの行に沿うビットマップをランレングスコード化
する。注意するのは、領域内の充分に大きい「ス」及び
透かし（ｐｒｏｊｅｃｔｉｏｎ）があると１行内に何回
もランを起こすおそれがある。

【００４６】（ｉｉ） スプライン境界輪郭表現 先行の節において導出された各関係領域毎に、その領域
の、あらゆる「ス」を含む、境界輪郭の隅点を見付け
る。注意するのは、半径が大体５０画素の寸法の領域
は、その境界輪郭の内部に非常に粗く見積もって２００
〜３００画素を有し、それゆえ輪郭表現内の画素の約２
０％を使用することである。隅点に適合するカットミュ
ール・ロムスプライン［前掲のフォーレイ（Ｆｏｌｅ
ｙ）の参考文献又は付録参照）は、境界を近似する。

【００４７】運動推算 先行節において導出された各関係領域及びビットマップ
毎に、次のようにその領域の運動ベクトルを推算（予
測）する。まず、ビットマップによってその領域内にあ
ると表示されたマクロブロックに相当するフレームＦ_N
内の各１６×１６画素マクロブロック毎に、このマクロ
ブロックを先行再生フレームＦ_N-1 内のマクロブロック
であって、Ｆ_N 内のこのマクロブロックを最高１５画素
分だけ移行させたマクロブロック（探索領域）と比較す
る。この比較は、フレームＦ_N 内の選択されたマクロブ
ロックとフレームＦ_N-1 内の比較されるマクロブロック
との画素強度における絶対差の和であり、この和はマク
ロブロックの２５６画素にわたるものである。良好な整
合を得るためにこの比較による探索を副画素（ｓｕｂ−
ｐｉｘｅｌ）解像度（補間による半画素を比較する）で
遂行しかつ全方向に１５画だけ拡張する。絶対差の和を
最小にするようにフレームＦ_N 内の選択されたマクロブ
ロックをフレームＦ_N-1 内のマクロブロックへ移行させ
ることに相当する運動ベクトルを、この選択されたマク
ロブックの運動の推算として取り上げることができる。
注意するのは、ビットマップ内と同じマクロブロック位
置を使用することによって追加開始位置を伝送する必要
がなくなることである。図７は、運動ベクトルを示す。

【００４８】もし運動ベクトルを定義する絶対差の最小
和がしきい値より大きいならば、フレームＦ_N-1 内で探
索されたマクロブロックのどれもフレームＦ_N 内の選択
されたマクロブロックと充分に整合せず、それゆえ運動
ベクトル表示は使用されない。そうでなく、選択された
マクロブロックを（全体としてフレーム内コード化され
た）Ｉブロックとして、しかし（先行フレームのブロッ
クの移行として予測された）Ｐブロックとしてではな
く、単にコード化する。

【００４９】次に、運動ベクトルを有するマクロブロッ
ク毎に、そのマクロブロックをフレームＦ_N 内の８×８
画素ブロックに再分し、フレームＦ_N-1 の８×８画素ブ
ロックの移行したものとの比較を繰り返して各８×８画
素ブロック毎に運動ベクトルを見付ける。もし８×８画
素ブロックの４つの運動ベクトルに必要なコードビット
の合計数が１６×１６画素マクロブロックの運動ベクト
ルに必要なコードビットの数より小さいならば、かつも
し４つの運動ベクトルの使用に伴う重み付け誤りが単一
マクロブロック運動ベクトルと比較されるならば、８×
８画素ブロック運動ベクトルを使用する。

【００５０】その領域内にあるフレームＦ_N 内の全ての
マクロブロックにわたる運動ベクトルを平均して、その
領域全体に対する平均運動ベクトルを見付ける。次い
で、もしマクロブロックの運動ベルトルのどれもが平均
運動ベクトルとしきい値を超える値だけ異なるならば、
平均運動ベクトルのみを伝送するだけでよい。また、平
均運動ベクトルを、後出の誤りいんぺいの節に挙げる誤
り回復に使用することができる。

【００５１】それゆえ、上述のセグメンテーションの節
でフレームＦ_N 内に見付けられた各関係領域毎に、運動
ベクトル及びビットマップを伝送する。典型的に、１７
６×１４４画素のフレームを用いるテレビ会議は、期待
される２ないし４の関係領域の形状をコード化するため
に１００〜１５０ビット及び運動ベクトル用に２００〜
３００ビットを必要とする。

【００５２】また、オプショナル８×８画素ブロック又
は１６×１６画素マクロブロックの運動ベクトル、及び
これらの重なり運動補償技術も使用されることがある。

【００５３】運動故障領域検出 フレームＦ_N への近似を、運動ベクトル及び先行の節で
見付けられたフレームＦ_N-1 から求めた相当する（マク
ロ）ブロックを使用することによって、再生フレームＦ
_N-1 から合成することができる。すなわち、セグメンテ
イーションの節において見付けられた、異なる領域の外
側に存在するフレームＦ_N の部分内の画素に対して、フ
レームＦ_N-1 内の相当する画素の値を利用し、及び関係
領域内の画素に対して、フレームＦ_N-1 内の相当する画
素の値、つまり運動ベクトルがフレームＦ_N 内のこの画
素を含むマクロブロックへ移行するような相当する画素
の値を使用する。運動ベクトルとフレームＦ_N-1 から得
られる相当する（マクロ）ブロックとを使用することに
よって合成された近似内の相当する画素の強度からしき
い値を超える値だけ異なる強度を有するフレームＦ_N 内
の画素は、運動故障領域を表示する。この運動故障領域
を取り扱うために、強度差がしきい値を設定され、次い
でメジアンフィルタ処理され、かつ、上掲の物体検出及
びセグメンテーションの節で説明したフレームＦ_N-1 と
フレームＦ_N と差の場合と同じように形態素閉操作及び
同開操作を施される。注意するのは、運動故障領域は、
運動物体領域の外側に存在することである。これを示す
図８参照。

【００５４】もしスプライン境界輪郭が使用されたなら
ば、境界輪郭の内側のマクロブロックの部分のみを考え
る。

【００５５】残留信号コード化 運動故障領域を次のようにコード化する。これらの運動
故障領域を前掲の境界輪郭の節で説明したビットマップ
の１６×１６画素マクロブロックで以てタイルする。こ
れによって、タイリイングに対する開始画素を伝送する
必要がなくなる。なぜならば、この開始画像は、ビット
マップに対するものと同じであるからである。これはま
た、タイリングが物体と共に運動し、ゆえに変化を示す
ことを意味する。

【００５６】これらの運動故障領域に対して、各マクロ
ブロック内に、単に、ＤＣＴを適用し、係数を量子化
し、ランレングスコード化、次いでホフマンコード化を
行う。格子内のマクロブロックを示す図９参照。

【００５７】本発明の好適実施例の運動故障領域コード
化は、ＤＣＴ又はＤＰＣＭ（差分ＰＣＭ）の代わりにウ
ェーブレット変換を使用する。特に、好適実施例は、図
９に示された運動故障領域のマクロブロック上のウェー
ブレット変換を使用する。ウェーブレット変換は慣例で
は親（ｍｏｔｈｅｒ）ウェーブレットΨＯ及び親スケー
リング関数ΦＯの移行及び膨張に基づく全フレーム変換
であり、ΨＯ及びΦＯの両方は特定親ウェーブレットに
応じて、少数の隣接画素のみに対して本質的に非零であ
ると云うことを想起されたい。したがって、一次元にお
けるウェーブレット変換に対する基本関数は、整数ｎ及
びｍに対して、Ψ_n,m （ｔ）＝２^-m/2Ψ（２^-mｔ−ｎ）
である。ΨＯ及びΦＯは、ｓｉｎ（ｋｔ）及びｃｏｓ
（ｋｔ）の直交性に類似した直交移行及び直交膨張を行
うように選択され、それゆえ変換を積分（離散の場合は
加算）によって容易に計算することができる。二次元変
換は、各次元におけるΨ_n,m Ｏの積として基本関数を単
に使用する。注意するのは、添字ｎは移行を表示し、添
字ｍは膨張を表示することである。圧縮は、ＤＣＴを用
いる圧縮に類似した変換係数の量子化から起こる。例と
して、ウェーブレット変換を論じた、アントニー他の、
ウェーブレット変換を使用する影像コーディング、（米
国）電気電子学会論文誌１、影像処理、２０５（１９９
２年）［Ａｎｔｏｎｎｉ ｅｔ ａｌ．，Ｉｍａｇｅ
Ｃｏｄｉｎｇ Ｕｓｉｎｇ Ｗａｖｅｌｅｔ Ｔｒａｎ
ｓｆｏｒｍ、１ ＩＥＥＥ Ｔｒａｎ．Ｉｍａｇｅ Ｐ
ｒｏｃ．２０５（１９９２）］及びマラートの、多解信
号分解に関する理論：ウェーブレット表現、（米国）電
気電子学会論文誌１１、パターン分析及び知能機械、６
７４（１９８９年）［Ａ Ｔｈｅｏｒｙ ｆｏｒ Ｍｕ
ｌｔｉｓｏｌｕｔｉｏｎＳｉｇｎａｌ Ｄｅｃｏｍｐｏ
ｓｉｔｉｏｎ： Ｔｈｅ Ｗａｖｅｌｅｔ Ｒｅｐｒｅ
ｓｅｎｔａｔｉｏｎ，１１ ＩＥＥＥ Ｔｒａｎ．Ａｎ
ａｌ．Ｍａｃｈ．Ｉｎｔｅｌ．６７４（１９８９）］参
照。離散変数に対して、ウェーブレット変換は、また、
サブバンドフィルタリングと見なされる。すなわち、そ
のフィルタ出力は、変換係数の集合からの再生である。
ウェーブレット変換は、影像を次のようなフィルタリン
グを通して４つのサブバンドに分解する順次ステージ踏
んで進行する。すなわち、水平低域通過と共に垂直低域
通過、水平高域通過共に垂直低域通過、水平低域通過と
共に垂直高域通過、及び水平高域通過と共に垂直高域通
過。第１ステージで、高域通過フィルタリングは移行Ψ
_n,1 を用いるたたみ込みでありかつ低域通過フィルタリ
ングはスケール関数移行Φ_n,1 を用いるたたみ込みであ
る。第２ステージで、水平及び垂直の両方における低域
通過の第１ステージサブバンドの出力が４つのサブバン
ドへ再びフィルタされるが、しかし高域通過フィルタリ
ングはΨ_n,2 を用いるたたみ込みであり、Ψ_n,2 は或る
意味ではΨ_n,1 の周波数の半分の周波数を有し、同様に
低域通過フィルタリングはΦ_n,2を用いるたたみ込みで
ある。図１０ａ及び１０ｂは、各フィルタされた影像を
各方向で２分してサブサンプルすることができ、それゆ
え４つの出力影像が元の入力影像と同じ数の画素を有す
る。好適実施例は、倍直交ウェーブレットを使用するこ
とがあり、これは線形位相を有するフィルタを提供す
る。倍直交ウェーブレットは、上に説明した直交ウェー
ブレットに類似しているが、しかし（分解ステージ及び
再生ステージ用に）２つの関連した親ウェーブレット及
び２つの関連した親スケーリング関数を使用する。例え
ば、良好な倍直交ウェーブレットの数例を提供するヴィ
ラセノー他の、ウェーブレット影像圧縮におけるフィル
タ評価及び選択、データ圧縮会議の（米国）電気電子学
会会報、スノーバード、ユタ（１９９４年）［Ｖｉｌｌ
ａｓｅｎｏｒ ｅｔ ａｌ．，Ｆｉｌｔｅｒ Ｅｖａｌ
ｕａｔｉｏｎａｎｄ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｗｅ
ｖｅｌｅｔ ＩｍａｇｅＣｏｍｐｒｅｓｓｉｏｎ，ＩＥ
ＥＥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＤａｔａＣｏｍ
ｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，Ｓｎｏｗｂ
ｉｒｄ Ｕｔａｈ（１９９４）］参照。好適実施例は、
ヴィラセノー（Ｖｉｌｌａｓｅｎｏｒ）の論文による
（６，２）タップフィルタ対を使用することがある。こ
のフィルタは、次の低域フィルタ係数を有する。分析フ
ィルタ及び合成フィルタ用に、ｈ₀ ＝０．７０７１０
７、ｈ₁ ＝０．７０７１０７、及びｇ₀ ＝−０．０８８
３８８、ｇ₁ ＝０．０８８３８８、ｇ₂ ＝０．７０７１
０７、ｇ₃ ＝０．７０７１０７、ｇ₄ ＝０．０８８３８
８、ｇ₅ ＝−０．０８８３８８

【００５８】好適実施例のウェーブレット変換は、一般
に、元の影像内の注目の元の領域に相当する領域であっ
て各ステージにおけるサブバンド内の領域のみをコード
化することによって影像内の注目の領域だけ内の情報を
選択的にコード化する。フィルタされたサブバンド出力
内にいかに領域が現れるかを発見的に示す図１１ａ〜１
１ｃ参照。この調査研究は、注目の領域の外側でビット
を消費するのを回避しかつビデオ品質を向上する。運動
故障領域向け特定用途は、注目の領域のみをコード化す
る特別の場合である。注意するのは、Ｈ・Ｊ・バーナー
ド（Ｈ．Ｊ．Ｂａｒｎａｒｄ）の論文「ウェーブレット
分解を使用する影像及びビデオコーディング」、デフル
ト工科大学、１９９４年（“Ｉｍａｇｅ ａｎｄ Ｖｉ
ｄｅｏＣｏｄｉｎｇ Ｕｓｉｎｇ ａ Ｗａｖｅｌｅｔ
Ｄｅｃｏｍｐｏｓｉｔｉｏｎ”，Ｔｅｃｈｎｉｓｃｈ
ｅ Ｕｎｉｖｅｒｓｉｔｅｉｔ Ｄｅｆｌｔ，１９９
４）が影像を比較的均一の領域にセグンメント化し、次
いで異なるウェーブレット変換を使用して各領域をコー
ド化しかつ個々の単一画像のみを考慮し、ビデオの連続
のフレームを考慮に入れないことである。バーナード
（Ｂａｒｎａｒｄ）の方法は、また、ウェーブレット変
換を各領域形状毎に修正することを必要とし、これがそ
のフィルタリングステージ及びコード化ステージに複雑
性を加える。本発明の好適実施例は、単一フィルタリン
グ変換を使用する。更に、本発明の好実施例は、注目の
領域に適用され、バーナードの方法におけるようにフレ
ーム全体を充填する均一領域に適用されるのではない。

【００５９】本発明の好適実施例は、ビットマップを用
いて注目の領域を表す。ビットマップは、所与の影像内
のどの画素が注目の領域内に存在するかを表す。最も簡
単な型式は、コード化されるか又はコード化されないか
を表す２進マップである。もし２値より多くの値がマッ
プに使用されるならば、変動優先権を異なる領域に与え
ることができる。このマップは、また、デコーダに副情
報として伝送される。効率上、マップ情報を運動補償情
報のような他の副情報と組み合わせて送ることができ
る。

【００６０】マップは、量子化中使用される。ウェーブ
レット変換は、影像をサブバンドに分解するので、第１
ステップはマップをサブバンド構造に変換することであ
るすなわち、サブバンド出力影像内のどの位置が元のマ
ップに相当するかを判定する）。これが、コード化され
るサブバンド内に副領域の集合を発生する。図１１ａ〜
１１ｃは副領域を示す。すなわち、図１１ａは示された
注目の領域を有する元の影像マップを示し、図１１ｂは
分解の１ステージの後にコード化される相当する注目の
領域を有する４つのサブバンド出力を示す。図１１ｃ
は、２ステージの後のかつ注目の領域を有するサブバン
ド構造を示す。

【００６１】好適実施例は、まず、注目の領域の外側の
画素を０に設定し、次いでウェーブレット分解を適用す
る（サブバンドフィルタリングステージ）。分解の後か
つウェーブレット変換係数の量子化中、エンコーダは、
コード化される注目の副領域内に存在する値に関する情
報しか送らない。係数の量子化は、ＤＣＴ変換係数量子
化に類似の圧縮を行う。実験が示す所では、ビデオ品質
は注目の領域調査研究を使用する圧縮を用いる方がこれ
を使用しない場合に比較して向上する。

【００６２】ウェーブレットフィルタリングプロセスは
情報をいくらかスミヤしかつ注目の領域の境界の外側を
スミヤする情報はいずれも喪失するので、注目の選択さ
れた領域の縁に近い値を表すに当たって僅かながら或る
程度の情報が犠牲にされる。このことは、たとえ注目の
領域内の値が完全にコード化されたとしても注目の領域
の内側の値を完全に再生する保証がないことを意味す
る。実際には、これは厳しい障害に当たらないと思われ
る。なぜならば、典型的な圧縮を適用するのに必要な量
子化のレベルから考えると、それらの影像は完全再生レ
ベルにはいずれにしても遠く及ばず、したがってそれら
の縁の近くに小さい影響があっても実際目的上無視する
ことができるからである。

【００６３】好適実施例は、変換係数に対して零木量子
化方法使用することがある。単一影像に適用される零木
方法の詳細については、シャピロの、ウェーブレット係
数の零木を使用する埋込み影像コーディング、（米国）
電気電子学会誌４１、信号処理、３４４５（１９９３
年）［Ｓｈａｐｉｒｏ、Ｅｍｂｅｄｄｅｄ Ｉｍａｇｅ
Ｃｏｄｉｎｇ Ｕｓｉｎｇ Ｚｅｒｏｔｒｅｅｓ ｏｆ
Ｗａｖｅｌｅｔ ｃｏｆｆｉｃｉｅｎｔｓ，４１ Ｉ
ＥＥＥ Ｔｒａｎｓ．Ｓｉｇ．Ｐｒｏｃ．３４４５（１
９９３）］参照。零木方法は、注目の副領域内に存在す
る零木のみがコード化されることを物語る。もちろん、
他の量子化方法を零木方法の代わりに使用することもで
きる。図１２は、零木の配置関係を示す。

【００６４】応用に当たって、注目の領域を、（運動補
償後のビデオ量子化のような）多数の誤りを含む領域、
又は（顔のような）知覚的に重要な影像特徴に相当する
領域、又はスケーラブル圧縮用物体のような多くの点か
ら選択することができる。領域を選択する能力を有する
ことは、残留影像が典型的にそのフレームにわたって均
一に拡散するのではなく、運動の領域内に集中された情
報を含む場合特に有効である。

【００６５】注目の領域を、運動補償の後にしきい値を
超える誤りを有するマクロブロックとして選択すること
ができる。この応用は、本質的に、注目の領域のマップ
情報を運動補償情報と組み合わせる。更に、上述のよう
に、注目の領域は、物体及びそれらの運動故障領域を覆
うマクロブロックであることもあり得る。

【００６６】図１３は、注目の領域上のウェーブレット
変換を使用するビデオ圧縮装置を示す。

【００６７】本発明の代替好適実施例は、運動故障領域
マクロブロック上のウェーブレット変換を使用し、かつ
これらのマクロブロックを方形格子に整列させることが
ある。

【００６８】（１） まず、Ｉ画像として第零フレーム
Ｆ₀ をコード化する。フレーム全体の多レベル分解を計
算し、結果のウェーブレット係数を量子化し、コード化
し、伝送する。この好適実施例は、量子化及びコード化
の零木方法を使用する。Ｉ画像であることになるどの後
続フレームＦ_N も同じようにコード化することができ
る。

【００６９】（２） Ｐ画像（Ｉ画像でない）としてコ
ード化された各フレーム毎に、そのフレーム内の画素値
を先行の再生フレーム内の画素値と比較することによっ
て入力フレームに運動補償を遂行する。結果の予測され
たフレームを入力フレームから減算して残留影像（予測
された画素値と実際画素値との間の差）を発生する。運
動補償を、先に説明したセグメンテーション調査研究を
使用して、又は（Ｈ．２６３におけるように）単にブロ
ックからブロック式で行うことができる。結果の運動ベ
クトル情報をコード化しかつ伝送する。

【００７０】（３） ステップ（２）で計算された各残
留影像毎に、追加の情報を送ることを必要とする注目の
領域を決定する。これは、先に説明した運動補償故障調
査研究を使用して、又は或るマクロブロック内の平方残
留値の和をしきい値と比較し、しきい値より高い残留値
を持つマクロブロックのみを注目の領域に含むことによ
って単にマクロブロック単位で実施することができる。
このマップをコード化しかつ伝送する。ステップ（２）
においてマップ情報を運動ベクトル情報と相関させてい
るので、代替好適実施例は、必要とされるビットの数を
減少させるために運動ベクトル及びマップ情報を一緒に
コード化しかつ伝送する。

【００７１】（４） ステップ（２）で計算された残留
影像及びステップ（３）で発生された注目の領域のマッ
プを使用して、注目の領域の外側の位置に相当する値で
あって残留影像内にあるこれらの値を零に設定すること
ができる。これは、注目の領域の外側の値がウェーブレ
ット分解の後に注目の領域内の値に影響しないことを保
証する。ステップ（４）は、オプショナルであって、も
し領域に基づくウェーブレット調査研究が運動補償され
た残留影像以外のなにかに適用されるならば、適当でな
い。

【００７２】（５） 慣例の多レベルウェーブレット分
解をステップ（４）で計算された影像に適用する。注目
の領域内でのみフィルタリングを遂行することによって
（高い複雑性を犠牲にして）フィルタリング操作の数を
減少させることができる。しかしながら、ステップ
（４）において零に設定する操作を行っているので、影
像全体にフィルタリングを遂行することによるのと同じ
結果を得ることになり、これがフィルタリングステージ
を簡単化する。

【００７３】（６） ステップ（５）で発生された分解
影像を、次に、量子化しかつコード化する。分解された
サブバンド内のどの相当するウェーブレット係数を考慮
するべきか指定するために、注目の領域のマップを使用
する。図１１は、サブバンド内のどの副領域がコード化
されるべきかを表示するためにいかに注目の領域のマッ
プを使用するかを示す。次に、注目の副領域内の全ての
係数を量子化しかつコード化する。本発明の好適実施例
はシャピロ（Ｓｈａｐｉｒｏ）による零木調査研究の修
正を使用するので、これはサブバンドとスカラ量子化と
算術コード化との間の相関を組み合わせる。零木調査研
究は、注目の副領域内の係数に適用される。他の量子化
及びコード化調査研究も、もし注目の副領域内のコード
係数をコード化するのみであるように修正されるなら
ば、使用することができる。次いで、量子化及びコード
化ステップの出力ビットを伝送する。結果の量子化され
た分解影像は、ステップ（７）で使用される。

【００７４】（７） 慣例の多レベルウェーブレット再
生を、ステップ（６）からの量子化された分解影像に適
用する。注目の領域内でのみフィルタリングを遂行する
ことによって（高い複雑性を犠牲にして）フィルタリン
グ操作の数を減少させることができる。しかしながら、
ステップ（４）において零に設定する操作を行っている
ので、影像全体にフィルタリングを遂行することによる
のと同じ結果を得ることになり、これがフィルタリング
ステージを簡化する。

【００７５】（８） ステップ（４）おけるように、ス
テップ（７）で計算された再生された残留影像及びステ
ップ（３）で発生された注目の領域のマップを、注目の
領域のマップの外側の位置に相当する値であって再生さ
れた影像内にあるこれらの値を零にするために使用する
ことができる。これは、再生残留影像が予測された影像
に加えられるとき、注目の領域の外側の値が修正されな
いことを保証する。ステップ（８）は、オプショナルで
あって、もし領域に基づく調査研究が運動補償された残
留影像以外のなにかに適用されるならば、適当でない。

【００７６】（９） ステップ（８）から生じる残留影
像がステップ（２）からの予測されたフレームに加えら
れて再生フレームを発生する（これはデコーダがデコー
ドしたものである）。再生フレームは、フレームメモリ
に記憶されて次のフレームに対する運動圧縮に使用され
る。

【００７７】より一般には、注目の領域に基づく調査研
究を維持するならば、ウェーブレットフィルタリングに
代えてＱＭＦ（直交変調フィルタリング）及びジョンス
トン（Ｊｏｈｎｓｔｏｎ）フィルタリングのような他の
型式のサブバンドをフィルタリングを使用することもで
きる。

【００７８】スケーラビリティ 本発明の好適実施例の物体指向調査研究によって、スケ
ーラビリティが許される。スケーラブル圧縮とは、除去
したコード化情報の副集合、例えば、一人の特定の人物
を表す数々の物体の全てを有することのできる圧縮され
たビデオビットストリームの構造を云い、残りのビット
ストリームは依然正しくデコードされる、すなわち、除
去された人物なしでも、あたかもその人物がそのビデオ
シーン内に決して存在しなかったかのように、デコード
される。注意するのは、これらの物体は、物体の損失が
この物体をシーンから除去するようにはならないで、そ
の視覚上の姿の品質を低下させる又はこの物体にリンク
した音声もしくは他のデータを省くにだけである「強
化」物体のような、異なる型式のものであってよいこと
である。

【００７９】本発明の好適実施例のスケーラブル物体ベ
ースビデオコード化は、次のように進行する。

【００８０】入力ビデオの連続のフレーム及びこれと一
緒に各フレーム毎のセグメンテーションマスクを想定す
る。このマクスは、どの画素がどの物体に属するかを描
画する。このようなマスクを差領域及びこれと一緒に逆
運動ベクトルによって発生することができる。このマス
クは、覆われない背景を決定する。また、関係領域のい
くつかのフレームを通してマスクを追跡し、併合し、及
び分離することによって物体を識別することができる。
背景参考資料参照。フレームは、Ｉフレーム及びＰフレ
ームとしてコード化され、開始フレームはＩフレームで
あり、かつ他のＩフレームがその後規則間隔又は不規則
間隔を取って生じることがある。介在フレームはＰフレ
ームであり、最近接の先行Ｉフレームからの予測に依存
する。Ｉフレームについて、セグメンテーションマスク
が、次のような物体を、すなわち、そのＩフレーム内に
確かにないが、しかしＰフレーム内には残存しているか
もしれない物体を「Ｉ物体」として定義する。と識別さ
れる物体。図１４ａ及び１４ｂは、第１フレーム及びそ
のセグメンテーションマスクを示す。

【００８１】セグメンテーションマスクの逆影像を形成
するために、まずＩフレームをコード化する。次いで、
この影像をブロックし（格子上に整列した最小数の１６
×１６画素マクロブロックで以て覆う）、かつブロック
された影像をマスクとして使用し、そのフレームから背
景影像を抽出する。ブロックされた影像及び抽出した背
景を示す図１４ｃ及び１４ｄ参照。

【００８２】次に、ブロックされたマスクを、上述の差
働輪郭コード化によるように、効率的にコード化する。
これらのマスクビットを物体＃０（背景物体）の部分と
して出力ビームに入れる。

【００８３】次いで、抽出し物体を、上述のＤＣＴコー
ド化１６×１６画素マクロブロックによるように、効率
的にコード化する。これらのビットを物体＃０の部分と
して出力ビットに入れる。

【００８４】次いで、第１フレーム内の各物体毎に、そ
の物体に対するセグメンテーションマスクをブロック
し、コード化し、かつ、背景影像に対して行ったよう
に、その物体を、ブロックされたマスクを経由して第１
フレームから抽出しかつコード化する。ブロックされた
物体に対するマスク及び抽出された物体を示す図１５ａ
及び図１５ｂ参照。ブロックされたマスク及び抽出され
た物体を、背景影像と同じようにコード化しかつそれら
のビットを出力ビットストリームに入れる。

【００８５】各物体をビットストリームに入れるに従
い、これが固定長のヘッダによって先導される。ヘッダ
には物体番号、（Ｉ物体のような）物体型式、及び物体
長（ビット単位）が記録されている。

【００８６】全ての物体をコード化した後、背景のコー
ドされた影像と各物体のコード化された影像を１つのフ
レームに組み合わせて再生フレームを作る。この再生フ
レームは、もしデコーダが全ての物体をデコードするな
らばこのデコーダによって発生されるのと同じフレーム
である。注意するのは、（異なる物体との）重なるマク
ロブロックは同じであり、それゆえ、再生が明瞭なこと
である。再生背景、再生物体、及び再生フレームを示す
図１５ｃ〜１５ｅ参照。

【００８７】平均フレームを再生フレームから計算す
る。平均画素値を再生フレーム内の各チャンネル（例え
ば、輝度、青、及び赤チャンネル）毎に計算し、かつこ
れらの画素値をこれらのチャンネル内にコピーして平均
フレームを作る。これら３つの平均画素値を出力ビット
ストリームに書き込む。これでＩフレームコード化を完
了する。

【００８８】Ｉフレームに続き、ビデオの連続のフレー
ムの各後続フレームを、もし次のＩフレームあればこの
フレームまで、Ｐフレームとしてコード化する。「Ｐ」
は「予測された（ｐｒｅｄｉｃｔｅｄ）」を表し、かつ
Ｐフレームがそれに先行するＩフレームから予測される
事実を云う（Ｉフレームはそれら自身に関してのみコー
ド化される）。注意するのは、入力の毎フレームをコー
ド化すると云う要件はエンコーダにはなく、３０Ｈｚの
フレーム周波数の連続するフレームを２つ置きにコード
化して１０Ｈｚフレーム周波数の連続するフレームを発
生することもできることである。

【００８９】Ｉフレームの場合のように、Ｐフレームに
ついて、各物体毎にセグメンテーションマスクをブロッ
クしかつ物体から抽出する。Ｐフレーム、物体（に対す
る）マスク、ブロックされた物体マスク、及び抽出され
た物体を、それぞれ、示す図１６ａ〜１６ｄ参照。物体
＃０（背景）は使用しない。なぜならば、これは、変化
することはなく、したがって、予測する必要がないから
である。

【００９０】次に、抽出された物体の各々を、先行フレ
ーム内のその再生物体と差働処理する。ブロックされた
マスクを、次いで、差働処理された影像内に開いている
「ス」があればこれらを反映するように調節する。すな
わち、再生物体が物体の部分に精密に整合しそれゆえそ
の差がこのセグメンテーションマスク内の領域内のしき
い値より低く、この部分を分離してコード化しなくてよ
いようにする。物体の差及び調節されたブロックされた
マスクを、それぞれ、示す図１６ｅ及び１６ｆ参照。次
いで、ブロックされたマスクを効率的にコード化し、か
つ出力流に入れる。

【００９１】真に物体スケーラブルなビットストリーム
を得るために、物体の各々をタイルするブロックに相当
する運動ベクトルは、この物体の前にあった場所内の位
置を指さねばならない。それゆえ、このようなビットス
トリームを形成するに当たって、エンコーダは、現行影
像内のコード化される物体の各々毎に先行フレーム内の
この物体の再生物体のみを備え、かつ全ての他の物体及
び背景を除去された分離再生影像を形成する。現行物体
に対する運動ベクトルは、この影像について推算され
る。運動推算を遂行する前に、この物体を画定しない再
生影像内の全ての他の領域（非マスク領域）を平均背景
値で以て充填して、そのブロック境界における良好な運
動推算を得る。この平均背景値は、物体の各々毎に異な
ることがありかつデコーダに使用されるためにビットス
トリームに入れて伝送することができる。図１７ａは、
非マスク領域内に平均背景値を有する再生物体の影像を
示す。これは、運動推算に使用される影像である。計算
された運動ベクトルを、次いで、効率的にコード化し、
かつビットストリームに入れる。

【００９２】次いで、運動補償された物体と現行物体と
の間の差をマクロブロック単位でＤＣＴ（又はウェーブ
レット変換）コード化する。もしその差がしきい値に適
合しないならば、それらをコード化しないで、８×８画
素粒状度に下げる。また、運動推算中、もし運動推算が
計算されたがそのブロック上ではうまく仕事できなかっ
たならば、或るいくつかのブロックを（Ｉフレーム内の
ブロックとしてのものであって、Ｐフレーム用のＩＮＴ
ＥＲブロックではないような）ＩＮＴＲＡブロックに指
定することもできる。ＩＮＴＲＡブロックは、運動ベク
トルを有せず、かつこれらのＤＣＴコード化は現行ブロ
ックに関してのみであり、補償された物体のブロックと
の差とは関係しない。ＤＣＴコード化されたブロック
（ＩＮＴＲＡブロック）を示す図１７ｂ及び１７ｃ参
照。

【００９３】次に、（先行フレーム内の物体の位置に対
して）物体の運動が作った覆われない背景を計算しかつ
ビットストリームに対する分離物体としてコード化す
る。（物体当たり運動補償と一緒の）覆われない背景の
この分離取扱いは、ビットストリームを（ビデオ物体に
ついて）スケーラブルにするものである。ビットストリ
ームをこれを作るに従って再生することができる。物体
及び覆われない背景を除去して物体を再生から削除する
ことができ、又は物体だけを抽出してそれ自体を再生す
るもしくは異なるビットストリームに加えることができ
る。

【００９４】覆われない背景を計算するために、物体の
元（ブロックされない）セグメンテーションマスクを、
現行マスクに属するもので先行マスク内にあった画素の
全てを除去するように差分処理する。次いで、生じた影
像をブロックし、かつこれらのブロックを使用して覆わ
れない背景を現行影像から抽出する。覆われない背景画
素、これらの画素に対するブロックされたマスク、及び
このマスク内の影像を示す図１８ａ〜１８ｃ参照。

【００９５】覆われない背景影像をＩＮＴＲＡブロック
としてＤＣＴコード化する（覆われない背景物体をＩ物
体とする）。再生フレームを示す図１８ｄ参照。

【００９６】一度にフレームをデコードする代わりに一
度に物体をデコードすることを除き上に説明したデコー
ダと同じようにスケーラブル物体ベースビデオ作業のた
めにビットストリームをデコードする。物体を放棄する
（ｄｒｏｐｐｉｎｇ）とき、デコーダは物体ヘッダを単
に読み出してどれだけ多くのビットがこの物体に属して
いるかを見付け、これら多くのビットを読み出し、これ
を捨てる（ｔｈｒｏｗａｗａｙ）。

【００９７】更に、品質スケーラビリティを、各物体に
関連した追加強化ビットストリームを供給することによ
って達成することができる。強化ビットストリームをデ
コードしかつ使用することによって、選択された物体の
品質を向上することができる。もしチャンネルバンド幅
がこの強化ビットストリームの伝送に向いていないなら
ば、エンコーダは、このビットストリームを放棄するこ
とがきる。代わりに、デコーダは、もしその応用が或る
物体に関連した強化ビットストリームを必要としないな
らば、この強化ビットストリームを放棄することを選択
することによってその性能を最適化することがある。エ
ンコーダは、特定物体に対応する強化ビットストリーム
を、現行フレーム内の物体と（運動故障領域コード化の
後の）最終再生物体との間の差を計算し、これらの差を
低量子化係数を用いてやはりＤＣＴ（又はウェーブレッ
ト変換）コード化することによって発生する。注意する
のは、ビットストリームをスケーラブルに維持する、す
なわち、たとえ或るいくつかの物体に対する強化ビット
ストリームが放棄されても、エンコーダ及びデコーダを
同期して維持するためには、再生影像をそのビットスト
リームに対するこれらの差で以て修正してはならないこ
とである。

【００９８】図１９ａ及び１９ｂは、好適実施例の物体
除去を示し、図１９ａ内の左側の人物は図１９ｂでは除
去されている。

【００９９】誤りいんぺい（ｅｒｒｏｒ ｃｏｎｃｅａ
ｌｍｅｎｔ） 上述の物体指向方法は、各フレーム内の運動物体（又は
物体及び覆われない背景の両方を含むことがある異なる
領域）を検出しかつこれらを静止背景から分離すること
によってビデオの連続するフレームを圧縮する。次い
で、これらの物体の形状、内容、及び運動を、運動補償
及びもし差があればこれを使用して、ＤＣＴ又はウエー
ブレット変換を用いて、効率的にコード化することがで
きる。これらの圧縮されたデータがチャンネル誤りに晒
されるとき、デコーダはエンコーダとの同期を失い、こ
れが画像品質に壊滅的喪失を持たらす。したがって、デ
コーダに同期を再開始させるために、好適実施例は、再
同期語をビットストリームに埋め込むことができる。こ
れらの再同期語は、Ｉフレームに対するデータの開始
で、後続のＰフレームの開始で、更にＰフレーム内の検
出された毎運動物体についてのアイテムに対する各コー
ドの開始で、導入される。これらのアイテムには、次が
ある。

【０１００】（ｉ） 境界輪郭データ（ビットマップ又
はスプライン）、（ｉｉ） 運動べクトルデータ、及び
（ｉｉｉ） 運動故障領域についてのＤＣＴデータ。

【０１０１】更に、もし制御データ又はその他のデータ
も含まれるならば、これらのデータもまた再同期語を持
つことができる。同期語は、これが特有である事実によ
って特徴付けられる。すなわち、これらは、所与の順序
の同じビット長のコード化ビットとは異なる。なぜなら
ば、これらは、静止テーブルであるホフマンコードテー
ブル内には現れない。例えば、もしＰフレームが３つの
運動物体を有していたとするならば、その順序は、

【０１０２】フレーム開始再同期語 輪郭再同期語 第１物体の輪郭データ（例えば、ビットマップ又はスプ
ライン） 運動ベクトル再同期語 第１物体の運動ベクトル（ビットマップマクロブロック
に関係している） ＤＣＴ−ウェーブレット再同期語 第１物体の運動補償故障データ 輪郭再同期語 第２物体の輪郭データ 運動ベクトル再同期語 第２物体の運動ベクトルデータ ＤＣＴ−ウェーブレット再同期語 第２物体の運動補償故障データ 輪郭再同期語 第３物体の輪郭データ 運動ベクトル再同期語 第３物体の運動ベクトルデータ ＤＣＴ−ウェーブレット再同期語 第３物体の運動補償故障データ

【０１０３】これらの再同期語は、また、誤り検出に当
たってデコーダを助援する。

【０１０４】いったんデコーダが受信したビットストリ
ーム内に誤りを検出すると、デコーダは、最も近い再同
期語を見付けようとする。それゆえ、デコーダは、コー
ド化されたデータに最少の損失を生じるだけで可能な限
り早く同期を確立する。

【０１０５】もし次の条件のどれかが観察されるなら
ば、デコーダは誤りを検出する。すなわち、

【０１０６】（ｉ）不当コード語が発見される。 （ｉｉ）デコードしている間に不当モードが検出され
る。 （ｉｉｉ）再同期語がデータのデコードされたブロック
に続かない。 （ｉｖ）運動ベクトルがフレームの外側を指す。 （ｖ）デコードされたＤＣＴ値が許容限界の外側にあ
る。又は、 （ｖｉ）境界輪郭が不当である（影像の外側にある）。

【０１０７】もし誤りが境界輪郭内で検出されるなら
ば、その輪郭が放棄されかつ背景の部分とされる。これ
は、先行フレームの相当する領域が使用されることを意
味する。これは或るひずみを減少させる。なぜならば、
ビデオの連続するフレーム内で多くの時間相関が頻繁に
行われるからである。

【０１０８】もし誤りが運動ベクトル内で検出されるな
らば、その物体に対する平均運動ベクトルが、それ自体
の運動ベクトルを使用する各マクロブロックではなくそ
の物体全体に適用される。これは、所与のフレーム内に
大きな空間相関がある、したがって、所与の物体の運動
ベクトルのほとんどは近似的に同じであると云う事実に
依存する。それゆえ、物体の種々のマクロブロックに適
用される平均運動ベクトルは、良好な近似であって、可
視ひずみを可なり減少させる。

【０１０９】もし誤りが運動故障領域ＤＣＴデータ内で
検出されるならば、ＤＣＴ係数の全てを零に設定しかつ
デコーダは再同期を図る。

【０１１０】誤り訂正 本発明の誤り制御コードは、図２０に示されたように、
インタリーバを挟んだ２つのリード・ソロモン（以下、
ＲＳと称する）コーダを含む。ビットストリームは、６
つの順次ビットの群に分割されてＲＳコーダ用のシンボ
ルを形成する。これは、一般にバースト誤りに加えてラ
ンダム誤りを伴うチャンネルを通る伝送に適用される。
インタリーバはいくつかのコード語からのシンボルを混
合し、それであるから所与のコード語からのシンボルは
伝送中充分に分離される。コード語が受信機内のデイン
タリーバによって再生されるとき、チャンネルによって
導入された誤りバーストは有効に分裂されていくつかの
コード語にわたって拡散する。それゆえ、インタリーバ
とデインタリーバの対は、バースト誤りをランダム誤り
に有効に変換する。遅延乗算器ｍは、総合遅延が２５０
ｍｓ未満であるように選択される。

【０１１１】ＲＳコーダの各々は、ガロア体（Ｇａｌｏ
ｉｓ ｆｉｅｌｄ）ＧＦ（６４）を通してＲＳコードを
使用し、かつ１つのブロックの６ビット情報シンボルを
６ビットコード語シンボルの１つの大きいブロックにマ
ップする。第１ＲＳコーダはｋ個の６ビット情報シンボ
ルの１つの入力ブロックをｎ₂ 個の６ビットシンボルと
してコード化し、かつこれらをインタリーバに供給し、
及び第２ＲＳコーダはインタリーバの出力を受けて、ｎ
₂ 個の６ビットシンボルをｎ₁ 個の６ビットコード語シ
ンボルにマップする。ただしｎ₁ −ｎ₂ ＝４である。

【０１１２】受信機において、ｎ₁ 個の６ビットシンボ
ルの各々は第２コーダ用のデコーダに供給される。この
ＲＳデコーダは、最高２６ビットシンボル誤りまでを訂
正する能力を有するが、単一誤りのみを訂正するように
設定される。このデコーダが多数の誤りを検出すると、
ｎ₂ 個の消去されたシンボルを出力する。デインタリー
バは、これらの消去されたシンボルをｎ₂ 個のコード語
にわたって拡散させ、これらのコード語は次いで第１Ｒ
Ｓコーダ用デコーダに入力される。このデコーダは、２
Ｅ＋Ｓ≦ｎ₂ −ｋのようなＥ個の誤りとＳ個の消去され
たシンボル（ｅｒａｓｕｒｅ）のあらゆる組合わせを訂
正することができる。もし２Ｅ＋Ｓが前掲の数より大き
ければ、データはそのまま出力されかつデータ内の消去
されたシンボルは、もしあれば、そのデコーダによって
注記（ｎｏｔｅ）される。

【０１１３】本発明の好適実施例の誤り訂正の性能は、
先に述べたように、更に（デインタリーバの後に）第２
デコーダから第１デコーダヘのフィードバックを付け加
え、これによって第１デコーダの誤り訂正を向上させ、
それゆえ、単一訂正を超えることができる。特に、第１
デコーダがＥ個の誤りを訂正しかつＴ個の誤りを検出し
（かつ消去する）と想定する。また、第２デコーダはＮ
₂ 個のシンボルの所与のブロック内のＳ個の消去された
シンボルを訂正することができると想定する。更に、時
刻ｔに第１デコーダがＮ₁ 個の６ビットシンボルで構成
される入力ブロックＢ内のＸ個の誤りを検出する。ただ
し、Ｘ＞Ｅと仮定する。これは、時刻ｔにおけるデコー
ディング故障を物語る。このデコーディング誤りの結
果、第１デコーダがＮ₂ 個の消去されたシンボルを出力
する。図２１に示されたような本発明の好適実施例の誤
り訂正システムは、Ｎ₁ 個のシンボルの入力ブロックＢ
を記憶するバッファを含みかつ時刻ｔにおいてデコーデ
ィング故障が起こる。このシステムは、下に説明するフ
ィードバックに使用される。デインタリーバは、第１デ
コーダから出力されるＮ₂ 個の消去されたシンボルのブ
ロックを受け取り、かつこれらの消去されたシンボルを
次のＮ₂ 個のブロックにわたって拡散する。それゆえ、
ブロックＢからの消去されたシンボルは、時刻ｔ、ｔ＋
ｄ、ｔ＋２ｄ、…、ｔ＋（Ｎ₂ −１）ｄに第２デコーダ
に現れる。ここに、ｄはデインタリーバの遅延増分でか
つブロック長に関係する。

【０１１４】時刻ｔを考えよう。もし時刻ｔにおける第
２デコーダへの入力ブロック内の消去されたシンボルの
数がＳ以下ならば、第２デコーダはこの入力ブロック内
の全ての消去されたシンボルを訂正することができる。
訂正された消去されたシンボルの１つが入力ブロックＢ
から時刻ｔに第１デコーダヘ導出される。この消去され
たシンボルは、（１）第１デコーダによって検出された
誤りであった入力ブロックＢのシンボルの１つか又は
（２）ブロックＢ内の誤り内のシンボルの１つではなく
デコーディング故障に起因して消去されたシンボルであ
ったかのどちらかであり得る。

【０１１５】訂正された消去されたシンボルをバッファ
に記憶されているブロックＢ内の相当する場所の内容と
比較する。もし訂正され消去されたシンボルが前掲のカ
テゴリー（２）のものであったならば、第２デコーダか
らのこの出力はなんらの修正も要せずに使用される。し
かしながら、もし訂正された消去されたシンボルがブロ
ックＢ内の相当する場所の内容と整合しないならば、こ
の相当する場所のシンボルはブロックＢ内の誤りシンボ
ルの１つであったことになる。それゆえ、この誤りは第
２デコーダによって訂正されており、及びこの訂正はブ
ロックＢ内でこれがバッファに記憶された際に行われる
と云える。すなわち、第１デコーダにとってブロックＢ
内の元もとは訂正不能の誤りが第２デコーダからのフィ
ードバックによってブロックＢの記憶コピー内で訂正さ
れている。これによって、もしこのように訂正されたブ
ロックＢが第１デコーダに再び入力されたとしたなら
ば、第１デコーダによって検出されるであろう誤りＸの
数が減少させられる。ブロックＢから導出される消去さ
れたシンボルに対応する後の時刻ｔ＋ｉｄ（ｉ＝１，
…，（Ｎ₂ −１））に、第２デコーダによってこの消去
されたシンボルの訂正を繰り返す。これが、ブロックＢ
内の検出可能の誤りの数を減少させると云える。いった
んＸ−ＹがＥより小さくなると、いま現在訂正された入
力ブロックＢ内の残存誤りの全てを訂正することがで
き、このように訂正された入力ブロックＢで以てデイン
タリーバを更新することができる。これが、後続の時刻
に第２デコーダへ送られる消去されたシンボルの数を減
少させ、それによって誤り訂正の総合確立を増大させ
る。これに反して、もし入力ブロックＢ内の誤りの全て
を訂正することが不可能ならば、第２デコーダによって
行われる訂正は修正を伴わずに使用される。注意するの
は、もし総合遅延の延長が許容可能であったならば、訂
正されたブロックＢを第１デコーダに再入力することも
できることである。

【０１１６】

【発明の効果】シミュレーションの示す所では、上述の
チャンネルコード化は、２４Ｋｂｐｓ及び４８Ｋｂｐｓ
の伝送速度で２４ｍｓ未満の持続時間の全てのバースト
長を訂正する能力を有する。

【０１１７】（ｋ，ｎ₂ ，ｎ₁ ）を（２４，２８，３
２）、（２６，３０，３４）、（２７，３１，３４）、
及び（２８，３２，３６）に等しく選択しこれらに対し
て確率０．００１のランダム誤りの場合、デコードされ
たビット誤り率は、乗数ｍ＝１を用いて、それぞれ、
０．０００００１２５、０．０００００７、及び０．０
０００２８５より小さかった。（フィードバックを）同
様に、ｍ＝２（３８，４３，４８）に対して使用しても
よい。注意するのは、総合遅延はインタリーバ遅延に起
因するコード語に依存することである。事実、総合遅延
は、次のようである。

【０１１８】

【数１】遅延＝（ｍｎ₂ ）² ６／コード伝送速度

【０１１９】ここに、６は６ビットシンボルの使用に由
来し、及びコード語中のシンボルの数に由来する指数２
は遅延の数及び遅延間の増分を決定する。もちろん、使
用されたパリティシンボル（ｎ₁ −ｎ₂ 及びｎ₂ −ｋ）
の数は、所望されるビット誤り率及び総合遅延に依存す
る。

【０１２０】３６０４４８０のビットストリーム、６ビ
ットシンボルを用い、１ｅ−３の誤り確率でのわれわれ
のシミュレーションでは、フィードバックなしの消去さ
れたシンボルの数は４６／３６０４４８０、６ビットシ
ンボルは（１．２８ｅ−５）であった。フィードバック
付きの場合、消去されたシンボルの数は２４／３６０４
４８０、６ビットシンボルは（６．６６ｅ−６）であっ
た。バースト誤りとランダム誤りの組合わせの場合、フ
ィードバックなしの消去されたシンボルの数は１３５／
３６０４４８０、６ビットシンボルは（３．５７ｅ−
５）、及びフィードバック付きの消去されたシンボルの
数は１１８／２７０３３６０、６ビットシンボルは
（３．２７ｅ−５）であった。

【０１２１】図２２及び２３は、フィードバック誤り訂
正の発見的例を示す。特に、図２２の第１行は、伝送さ
れる情報ビットストリームである連続のシンボルＡ１、
Ｂ１、Ａ２、Ｂ２、…、を示し、各シンボルは順次続く
ビット（例えば、６ビット）の群である。図解の簡単化
のため、第１エンコーダは、３シンボルコード語である
が２つの情報シンボルをコード化すると想定する、すな
わち、３シンボル語Ａ１、Ｂ１、Ｐ１であるがＰ１はパ
リティシンボルであるので、情報シンボルＡ１、Ｂ１を
コード化する。これは、上述の好適実際例の１つにおけ
ると同じように、３０個のシンボルであるがそのうち４
つはパリティシンボルであるので２６個の情報シンボル
をコード化するのと類似している。図２２の第２行は、
コード語を示す。インタリーバは、図２２の第２、３行
に示されているようにこれらのシンボルを遅延すること
によって拡散させる。詳しくは、Ａｊシンボルは遅延さ
れず、Ｂｊシンボルが３シンボル分遅延され、かつＰｊ
シンボルは６シンボル分遅延される。図２２中の斜めの
矢印は、これらの遅延を表示する。

【０１２２】インタリーバの出力（連続の３シンボル
語）は、４シンボルコード語として第２コード化によっ
てコード化される。図２２の第４行は、３シンボルコー
ド語にパリティシンボルＱｊを付け加えることによって
４シンボルコード語を形成する第３行の第２コード化を
示す。

【０１２３】図２２の第５行は、シンボルＡ３、Ｐ１、
及びＢ３に×印を施して３つの例証伝送誤りを示す。簡
単のために、デコーダはコード語当たり１つの誤りを訂
正し又は２つの誤りを検出しかつコード語シンボルを消
去することができると想定する。図２２の第６行は、シ
ンボルＢ３内の誤りを訂正しかつシンボルをＯで囲むこ
とによって表示したようにシンボルＡ３、Ｂ２、Ｐ１を
消去したことを示す。

【０１２４】デインタリーバは、インタリーバ遅延に共
役である遅延によって３シンボルコード語を再組み立て
する（ｒｅａｓｓｅｍｌｅ）。すなわち、Ａｊシンボル
は６シンボル分遅延させられ、Ｂｊシンボルは３シンボ
ル分遅延させられ、及びＰｊシンボルは遅延されない。
第６、７行は斜め矢印で示されたこれらの遅延である。
注意するのは、消去されたシンボルがデインタリーバ内
で拡散することである。

【０１２５】図２２の第８行は、Ａ１、Ｂ１、Ａ２、Ｂ
２、…情報を回復するために消去されたシンボルを訂正
する第２デコーダを示す。

【０１２６】図２３は、図２２の同じ構成であるが、デ
インタリーバへ本発明の好適実施のフィードバックを使
用することによってのみ訂正することのできる追加の誤
りを伴う。特に、図２３の第５行はシンボルの上に施さ
れた×印によって表される６つの誤りを示す。該当する
のは、Ａ２、Ｂ１、Ａ３、Ｐ１、Ｂ３、及びＡ４であ
る。この場合、第１デコーダは、該当するコード語の各
々内の２つの誤りを検出し、かつ図２３の第６行中のＯ
で囲まれたシンボルで示されように全てで３つの誤りを
消去する。

【０１２７】デインタリーバは、再び、インタリーバの
遅延に共役の遅延によって３シンボルコード語を組み立
てる。図２３の第６、７行は斜めの矢印で以てこれらの
遅延を示す。消去されたシンボルは再び拡散するが、コ
ード語内の３つのシンボルＡ２、Ｂ２、Ｐ２を訂正する
ことはできない。しかしながら、Ｂ１及びＰ１を消去さ
れたコード語Ａ１、Ｂ１、Ｐ１を第２デコーダによって
訂正することができ、その結果、真のコード語Ａ１、Ｂ
１、Ｐ１を与える。次いで、真のＢ１を第５行のコード
語Ａ２、Ｂ１、Ｐ０、Ｑ２と比較することができ、かつ
Ｂ１がこの語内で異なっていると云う事実は、Ｂ１がこ
の語内の２つの誤りの１つであることを物語る。それゆ
え、真のＢ１を使用して１つの残留誤り（Ａ２）のみを
伴う語を形成することができ、この語を誤り訂正して真
のＡ２、Ｂ１、Ｐ０を得る。これがフィードバックであ
る。すなわち、後に行われる誤り訂正（この例ではＢ
１）を使用して（既にデコードされている）先行未訂正
語内の誤り訂正を行い、次いで過去のこの訂正がまた将
来使用されるシンボル（この例ではＡ２）の訂正を行
う。すなわち、インタリーバ内で遅延された消去された
Ａ２を訂正することによって真のＡ２を得ることがで
き、かつコード語Ａ２、Ｂ２、Ｐ２内の誤りの数を２に
減少させる。それゆえ、コード語Ａ２、Ｂ２、Ｐ２を、
結局、訂正することができる。また、それゆえ、Ａ１、
Ｂ１、Ｐ１の訂正からのＡ２、Ｂ１、Ｐ０、Ｑ２のデコ
ーディングへのこのフィードバックがＡ２の訂正を導
き、次いで、これがコード語Ａ２、Ｂ２、Ｐ２の訂正を
可能にする。もちろん、これらの例における使用された
かつ訂正可能のシンボルの数は、発見的であって、単な
る例示に過ぎない。

【０１２８】付 録 前掲の好適実施例の処理系に対するＣ言語で書かれた機
械命令のリスティングを付録に掲げる。

【０１２９】変 形 本発明の好適実施例は、その特徴の１つ以上を維持しな
がら多様な変形が可能である。例えば、ブロックの寸
法、コード、しきい値、形態素近旁（ｍｏｒｐｈｏｒｏ
ｇｉｃａｌ ｎｅｉｇｈｂｏｒｈｏｏｄ）、量子化レベ
ル、シンボル等々を変えることができる。特定スプライ
ン、量子化方法、変換方法、等々のような方法も変える
ことができる。

【０１３０】以上の説明に関して更に以下の項を開示す
る。

【０１３１】（１） （ａ） 第１誤り訂正デコーダ、
（ｂ） 前記第１誤り訂正デコーダの出力に結合された
デインタリーバ、（ｃ） 前記デインタリーバの出力に
結合された第２誤り訂正デコーダ、（ｄ） 前記第１誤
り訂正デコーダの出力に結合されたバッファ、及び
（ｅ） 前記バッファと前記第２誤り訂正デコーダとに
結合され、かつ前記デインタリーバの出力に結合された
フィードバックデコーダを備え、前記フィードバックデ
コーダが前記第２誤り訂正デコーダからの置換された誤
り訂正されたシンボルで以て前記バッファからのコード
語をデコードする、誤り訂正デコーダ。

【０１３２】（２） １項記載の誤り訂正デコーダにお
いて、（ａ） 前記第１誤り訂正デコーダと、前記デイ
ンタリーバと、前記第２誤り訂正デコーダと、前記フィ
ードバックデコーダとが、プログラマブルディジタルブ
ロセッサ内で実現される、前記誤り訂正デコーダ。

【０１３３】（３） １項記載の誤り訂正デコーダにお
いて、（ａ） 前記第１誤り訂正デコーダと前記第２誤
り訂正デコーダとがリード・ソロモンの誤り訂正コード
を使用する、前記誤り訂正デコーダ。

【０１３４】（４） （ａ） 誤りを含む可能性のある
コード語の第１系列を供給するステップであって、
（ｉ）誤り訂正コード語の第２系列を形成するために情
報シンボルの入力系列をコード化するステップと、（ｉ
ｉ）インタリーブされた語の第３系列を形成するために
前記第２系列のコード語のシンボルをインタリーブする
ステップと、（ｉｉｉ）誤り訂正コード語の第４系列を
形成するために前記インタルーブされた語の第３系列を
コード化するステップと、及び（ｉｖ）前記第１系列を
形成するために前記第４系列に可能な誤りを導入するス
テップとによって作られる形状の前記第１系列を供給す
るステップ、 （ｂ） 語の第５系列を形成するために誤り訂正で以て
前記第１系列をデコードするステップ、 （ｃ） コード語の第６系列を形成するために前記第５
系列をデインタリーブするステップ、 （ｄ） 語の第７系列を形成するために誤り訂正で以て
前記第６系列をデコードするステップ、 （ｅ） 前記第７系列の語のシンボルが前記第１系列の
語の対応するシンボルと異なるとき、前記第７系列のコ
ード語のシンボルで前記第１系列のコード語の対応する
前記シンボルを置換するステップ、 （ｆ） 前記第５系列の訂正されたシンボルで以て語を
形成するために誤り訂正で以て先行ステップ（ｅ）から
の置換されたシンボルで以て前記コード語をデコードす
るステップ、 （ｇ） 先行ステップ（ｃ）の前記デインタリーブにお
いて先行ステップ（ｆ）の前記訂正されたシンボルの１
つを使用するステップを含む誤り訂正デコーディング方
法。

【０１３５】（５） （ａ） 単一物体を備えるフレー
ムを供給するステップ、（ｂ） 一定値で以て前記フレ
ーム内の背景を置換するステップ、（ｃ） 前記フレー
ムに続く第２フレームを供給するステップ、（ｄ） 前
記第２フレームの画素の各ブロック毎にかつ前記物体に
関連して、前記ブロックを前記置換するステップ（ｂ）
の結果の画素の第２ブロックと比較するステップ、
（ｅ） 前記比較するステップ（ｄ）の比較によって前
記ブロックに対する運動ベクトルを定義するステップを
含む物体指向ビデオストリーム内の運動補償方法。

【０１３６】（６） （ａ） 分離してコード化される
物体Ｏ１、Ｏ２、…、Ｏｎを備えるフレームを供給する
ステップ、 （ｂ） 前記物体Ｏｊの各々毎に、（ｉ）先行フレーム
から再生された前記物体Ｏｊを備えるかつ背景画素値の
平均に等しく設定された前記再生されたＯｊの外側の画
素を備える影像を形成するステップ、（ｉｉ）前記物体
Ｏｊの画素の各ブロック毎に、前記ブロックを前記ステ
ップ（ｉ）で形成された前記影像内の画素のブロックと
比較するステップ、（ｉｉｉ）前記ステップ（ｉｉ）の
比較によって前記各ブロックに対する運動ベクトルを定
義するステップを含む物体指向ビデオストリーム内の運
動圧縮方法。

【０１３７】（７） （ａ） 注目の領域を含む影像を
供給するステップ、（ｂ） 前記注目の領域の外側の前
記影像の画素を一定値に設定するステップ、（ｃ） 前
記ステップ（ｂ）の結果にサブバンド変換を適用するス
テップ、を含むサブバンド変換方法。

【０１３８】（８） （ａ） 画素のＭ行×Ｎ列として
影像を供給するステップであって、前記影像が領域を含
む、前記影像を供給するステップ、（ｂ） 前記領域を
画素のｋ×ｋブロックのｍ行×ｎ列で以てタイルするス
テップであって、ｋは少なくとも２である、前記タイル
するステップ、（ｃ） 前記ブロックの少なくともｔｋ
² の画素が前記領域（前記領域の境界上を含む）内にあ
るとき前記領域内にある前記ブロックの各々を標識付け
するステップであって、前記乗数ｔが０から１までの正
の数である、前記標識付けするステップ、（ｄ） 前記
ブロックの前記標識付けによって前記領域の境界を記述
するステップを含む、影像内の領域の境界を記述する方
法。

【０１３９】（９） （ａ） ８項の前記タイルするス
テップ（ｂ）が、（ｉ）前記行と列とにそれぞれ平行な
辺を有しかつ前記領域を覆う最小寸法の長方形を見付け
るステップと、（ｉｉ）前記ブロックのうちの少なくと
も１つのブロックの辺と一致する前記長方形の１つの辺
と前記ブロックのうちの少なくとも１つのブロックの辺
と一致する前記長方形の第２の辺とで以て前記ブロック
を画定するステップであって、前記第２の辺は前記１つ
の辺に垂直であり、かつ前記ブロックの各々が前記長方
形の少なくとも１つの画素を含む、前記画定するステッ
プとを含む、境界を記述する方法。

【０１４０】（１０） ９項記載の境界を記述する方法
であって、 （ａ） ８項の前記記述するステップ（ｄ）が、（ｉ）
前記長方形の前記１つの辺と前記第２の辺との交差点を
位置決めするステップと、（ｉｉ）８項の前記標識付け
するステップ（ｃ）に該当する前記ブロックのビットマ
ップを形成するステップとを含む、境界を記述する方
法。

【０１４１】（１１） （ａ） 影像の各々を画素のＭ
行×Ｎ列として第１影像と第２影像とを供給するステッ
プであって、前記第２影像が領域を含む、前記供給する
ステップ、 （ｂ） 画素のｋ×ｋブロックのうちのｍ行×ｎ列で以
て前記領域をタイルするステップであって、（ｉ）前記
行と列とにそれぞれ平行な辺を有しかつ前記領域を覆う
最小寸法の長方形を見付けるステップと、（ｉｉ）前記
ブロックのうちの少なくとも１つのブロックの辺と一致
する前記長方形の１つの辺と前記ブロックのうちの少な
くとも１つのブロックの辺と一致する前記長方形の第２
の辺とで以て前記ブロックを画定するステップであっ
て、前記第２の辺は前記１つの辺に垂直であり、かつ前
記ブロックの各々が前記長方形の少なくとも１つの画素
を含む、前記画定するステップとによって、行われる前
記タイルするステップ、 （ｃ） 前記ブロックの少なくともｔｋ² の画素が前記
領域（前記領域の境界上を含む）内にあるとき、前記ビ
ットマップを前記１つのブロックだけ１であると定義
し、そうでない場合０に定義するステップであって、前
記乗数ｔが０から１までの正の数である、前記ビットマ
ップを定義するステップ、 （ｄ） 前記長方形の前記１つの辺と前記第２の辺との
交差点を位置決めするステップ、 （ｅ） 前記交差点と前記ビットマップとによって前記
領域の境界を記述するステップであって、前記記述が前
記第１影像との差を含む、前記記述するステップを含
む、影像の系列内の領域の境界を記述する方法。

【０１４２】（１２） 物体指向圧縮及びデコーダフィ
ードバックを使用する誤り訂正を含むビデオ圧縮方法及
びシステム（図１）。

【図面の簡単な説明】

【図１】本発明の好適実施例のビデオ電話システムのブ
ロック図。

【図２】本発明の好適実施例の監視システムのブロック
図。

【図３】本発明の好適実施例のビデオ圧縮方法の高レベ
ル流れ図。

【図４】本発明の好適実施例によるセグメンテーション
を説明するフレームの図であって、ａは画素の絶対差２
進影像のフレームの図、ｂはａの後続のフレームの図、
ｃはしきい値を設定された２進影像の図、ｄはセグメン
テーショを施された２進影像の図。

【図５】本発明の好適実施例によるブロック境界コード
化を説明するフレームの図であって、ａは関係領域の
図、ｂは関係領域と境界長方形の図、ｃはタイリングの
図、ｄはビットマップの図。

【図６】本発明の好適実施例によるビデオ伝送の説明図
であって、ａは単一ビット輪郭伝送の図、ｂは小さい移
行ベクトル伝送の図、ｃは移行ベクトルの伝送の図、ｄ
はビットマップのランレングスコード化の図。

【図７】本発明の好適実施例による運動ベクトルの図。

【図８】本発明の好適実施例による運動故障領域の図。

【図９】本発明の好適実施例による運動故障領域上のマ
クロブロック（制御格子）の図。

【図１０】本発明の好適実施例によるウェーブレット変
換フィルタリングステージにおける影像の図であって、
ａは第１ステージの図、ｂは第２ステージの図。

【図１１】本発明の好適実施例によるウェーブレット変
換影像分解を示す図であって、ａは元のマップの図、ｂ
は分解の１ステージ後の図、ｃは２ステージ後の図。

【図１２】本発明の好適実施例によるウェーブレット変
換係数量子化用零木の構成図。

【図１３】本発明の好適実施例によるウェーブレット変
換圧縮装置のブロック図。

【図１４】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、ａは第１フレー
ムの図、ｂはそのセグメンテーションマスクの図、ｃは
ブロックされた背景影像マスクの図、ｄは抽出された背
景影像の図。

【図１５】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレーム図であって、ａはブロックされ
た物体マスクの図、ｂは抽出された物体の図、ｃは再生
背景の図、ｄは再生物体の図、ｅは再生フレームの図。

【図１６】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、ａはＰフレーム
の図、ｂは物体マスクの図、ｃはブロックされた物体マ
スクの図、ｃは再生背景の図、ｄは抽出された物体の
図、ｅは物体差の図、ｆは調節されたブロックされたマ
スクの図。

【図１７】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、ａは平均背景値
を有する再生物体の図、ｂはＤＣＴコード化されたブロ
ックの図、ｃはＤＣＴコード化された他のブロックの
図。

【図１８】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレーム図であって、ａは分離物体とし
てコード化された覆われない背景画素の図の、ｂはこれ
らの画素に対するブロックされたマスクの図、ｃはマス
ク内の影像の図。

【図１９】本発明の好適実施例による物体除去のフレー
ムの図であって、ａは削除前の図、ｂは除去後の図。

【図２０】本発明の好適実施例のシステムの誤り訂正エ
ンコーダのブロック図。

【図２１】本発明の好適実施例のシステムの誤り訂正デ
コーダのブロック図。

【図２２】本発明の好適実施例のシステムの誤り訂正フ
ィードバックの構成線図。

【図２３】本発明の好適実施例のシステムの他の誤り訂
正フィードバックの構成線図。

【符号の説明】

２２０ 監視システム ２０２ ビデオカメラ ２０６ 運動物体 ２０８ 圧縮装置 ２１０ 遠隔記憶装置 ２２０ デコーダ及びディスプレイ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成９年５月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】本発明の好適実施例のビデオ電話システムのブ
ロック図。

【図２】本発明の好適実施例の監視システムのブロック
図。

【図３】本発明の好適実施例のビデオ圧縮方法の高レベ
ル流れ図。

【図４】本発明の好適実施例によるセグメンテーション
を説明するフレームのディスプイ上に表示した中間調画
像の写真であって、ａは画素の絶対差２進影像のフレー
ムの写真、ｂはａの後続のフレームの写真、ｃはしきい
値を設定された２進影像の写真、ｄはセグメンテーショ
を施された２進影像の写真。

【図５】本発明の好適実施例によるブロック境界コード
化を説明するフレームの図であって、ａは関係領域の
図、ｂは関係領域と境界長方形の図、ｃはタイリングの
図、ｄはビットマップの図。

【図６】本発明の好適実施例によるビデオ伝送の説明図
であって、ａは単一ビット輪郭伝送の図、ｂは小さい移
行ベクトル伝送の図、ｃは移行ベクトルの伝送の図、ｄ
はビットマップのランレングスコード化の図。

【図７】本発明の好適実施例による運動ベクトルの図。

【図８】本発明の好適実施例による運動故障領域の図。

【図９】本発明の好適実施例による運動故障領域上のマ
クロブロック（制御格子）の図。

【図１０】本発明の好適実施例によるウェーブレット変
換フィルタリングステージにおける影像のディスプレイ
上に表示した中間調画像の写真であって、ａは第１ステ
ージの写真、ｂは第２ステージの写真。

【図１１】本発明の好適実施例によるウェーブレット変
換影像分解を示す図であって、ａは元のマップの図、ｂ
は分解の１ステージ後の図、ｃは２ステージ後の図。

【図１２】本発明の好適実施例によるウェーブレット変
換係数量子化用零木の構成図。

【図１３】本発明の好適実施例によるウェーブレット変
換圧縮装置のブロック図。

【図１４】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、ａは第１フレームの写真、ｂ
はそのセグメンテーションマスクの写真、ｃはブロック
された背景影像マスクの写真、ｄは抽出された背景影像
の写真。

【図１５】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、ａはブロックされた物体マス
クの写真、ｂは抽出された物体の写真、ｃは再生背景の
写真、ｄは再生物体の写真、ｅは再生フレームの写真。

【図１６】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、ａはＰフレームの写真、ｂは
物体マスクの写真、ｃはブロックされた物体マスクの写
真、ｃは再生背景の写真、ｄは抽出された物体の写真、
ｅは物体差の写真、ｆは調節されたブロックされたマス
クの写真。

【図１７】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、ａは平均背景値を有する再生
物体の写真、ｂはＤＣＴコード化されたブロックの写
真、ｃはＤＣＴコード化された他のブロックの写真。

【図１８】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、ａは分離物体としてコード化
された覆われない背景画素の写真の、ｂはこれらの画素
に対するブロックされたマスクの写真、ｃはマスク内の
影像の写真。

【図１９】本発明の好適実施例による物体除去のフレー
ムのディスプレイ上に表示した中間調画像の写真であっ
て、ａは削除前の写真、ｂは除去後の写真。

【図２０】本発明の好適実施例のシステムの誤り訂正エ
ンコーダのブロック図。

【図２１】本発明の好適実施例のシステムの誤り訂正デ
コーダのブロック図。

【図２２】本発明の好適実施例のシステムの誤り訂正フ
ィードバックの構成線図。

【図２３】本発明の好適実施例のシステムの他の誤り訂
正フィードバックの構成線図。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 （ａ） 第１誤り訂正デコーダ、 （ｂ） 前記第１誤り訂正デコーダの出力に結合された
   デインタリーバ、 （ｃ） 前記デインタリーバの出力に結合された第２誤
   り訂正デコーダ、 （ｄ） 前記第１誤り訂正デコーダの出力に結合された
   バッファ、及び （ｅ） 前記バッファと前記第２誤り訂正デコーダとに
   結合され、かつ前記デインタリーバの出力に結合された
   フィードバックデコーダを備え、前記フィードバックデ
   コーダが前記第２誤り訂正デコーダからの置換された誤
   り訂正されたシンボルで以て前記バッファからのコード
   語をデコードする、誤り訂正デコーダ。
2. 【請求項２】 （ａ） 誤りを含む可能性のあるコード
   語の第１系列を供給するステップであって、（ｉ）誤り
   訂正コード語の第２系列を形成するために情報シンボル
   の入力系列をコード化するステップと、（ｉｉ）インタ
   リーブされた語の第３系列を形成するために前記第２系
   列のコード語のシンボルをインタリーブするステップ
   と、（ｉｉｉ）誤り訂正コード語の第４系列を形成する
   ために前記インタルーブされた語の第３系列をコード化
   するステップと、（ｉｖ）前記第１系列を形成するため
   に前記第４系列に可能な誤りを導入するステップとによ
   って作られる形状の前記第１系列を供給するステップ、 （ｂ） 語の第５系列を形成するために誤り訂正で以て
   前記第１系列をデコードするステップ、 （ｃ） コード語の第６系列を形成するために前記第５
   系列をデインタリーブするステップ、 （ｄ） 語の第７系列を形成するために誤り訂正で以て
   前記第６系列をデコードするステップ、 （ｅ） 前記第７系列の語のシンボルが前記第１系列の
   語の対応するシンボルと異なるとき、前記第７系列のコ
   ード語のシンボルで前記第１系列のコード語の対応する
   前記シンボルを置換するステップ、 （ｆ） 前記第５系列の訂正されたシンボルで以て語を
   形成するために誤り訂正で以て先行ステップ（ｅ）から
   の置換されたシンボルで以て前記コード語をデコードす
   るステップ、 （ｇ） 先行ステップ（ｃ）のデインタリーブにおいて
   先行ステップ（ｆ）の前記訂正されたシンボルの１つを
   使用するステップを含む誤り訂正デコーディング方法。