JPH09331536A - 誤り訂正デコーダ及び誤り訂正デコーディング方法 - Google Patents
誤り訂正デコーダ及び誤り訂正デコーディング方法Info
- Publication number
- JPH09331536A JPH09331536A JP8302416A JP30241696A JPH09331536A JP H09331536 A JPH09331536 A JP H09331536A JP 8302416 A JP8302416 A JP 8302416A JP 30241696 A JP30241696 A JP 30241696A JP H09331536 A JPH09331536 A JP H09331536A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decoder
- error correction
- image
- symbols
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
Abstract
(57)【要約】
【課題】 物体指向ビデオ圧縮、及びデコーダフィード
バックを使用する誤り訂正によって伝送及び記憶に好適
な、低コード伝送速度、かつ対誤り堅牢性のコード伝送
を可能にする。 【解決手段】 圧縮装置208は、エンコーダを含み、
差働領域コード化、ブロック単位輪郭コード化、ブロッ
ク単位輪郭タイリングに関係した運動補償故障コード
化、フレームの副領域に制限されたウェーブレット変換
コード化を含むサブバンド、物体に関連した覆われない
背景によるスケーラビリティ、コードへの同期埋込みを
実施し又は提供する。これに接続された遠隔デコーダ2
20内でデコーダからデインタリーバへのフィードバッ
クを実施し伝送誤り訂正を向上する。したがって、ビデ
オ電話、及び遠隔記憶装置210内のディジタル記憶を
備える固定カメラ202による監視ビデオシステムに好
適である。
バックを使用する誤り訂正によって伝送及び記憶に好適
な、低コード伝送速度、かつ対誤り堅牢性のコード伝送
を可能にする。 【解決手段】 圧縮装置208は、エンコーダを含み、
差働領域コード化、ブロック単位輪郭コード化、ブロッ
ク単位輪郭タイリングに関係した運動補償故障コード
化、フレームの副領域に制限されたウェーブレット変換
コード化を含むサブバンド、物体に関連した覆われない
背景によるスケーラビリティ、コードへの同期埋込みを
実施し又は提供する。これに接続された遠隔デコーダ2
20内でデコーダからデインタリーバへのフィードバッ
クを実施し伝送誤り訂正を向上する。したがって、ビデ
オ電話、及び遠隔記憶装置210内のディジタル記憶を
備える固定カメラ202による監視ビデオシステムに好
適である。
Description
【0001】
【発明の属する技術分野】本発明は、電子ビデオ方法及
び装置、特に、圧縮ビデオを用いるディジタル通信及び
記憶システムに関する。
び装置、特に、圧縮ビデオを用いるディジタル通信及び
記憶システムに関する。
【0002】
【従来の技術】ビデオ通信(テレビジョン、テレビ会
議、等々)は、典型的に、視聴者による実時間視聴用に
伝送チャネルを通して音声と一緒にビデオフレーム(影
像)の流れを伝送する。しかしながら、伝送チャンネル
は、多くの場合、擾乱する雑音を生じかつバンド幅を限
定されている(例えば、6MHzに限定されたテレビジ
ョンチャンネル)。その結果、圧縮を用いるディジタル
ビデオ伝送が広範に使用されている。特に、ディジタル
ビデオの圧縮に関する種々の標準が出現しており、これ
らにはH.261、MPEG−1、及びMPEG−2が
あり、更にこれらに続きH.263及びMPEG−4が
ある。こられに似たCELP及びMELPのような音声
圧縮方法もある。
議、等々)は、典型的に、視聴者による実時間視聴用に
伝送チャネルを通して音声と一緒にビデオフレーム(影
像)の流れを伝送する。しかしながら、伝送チャンネル
は、多くの場合、擾乱する雑音を生じかつバンド幅を限
定されている(例えば、6MHzに限定されたテレビジ
ョンチャンネル)。その結果、圧縮を用いるディジタル
ビデオ伝送が広範に使用されている。特に、ディジタル
ビデオの圧縮に関する種々の標準が出現しており、これ
らにはH.261、MPEG−1、及びMPEG−2が
あり、更にこれらに続きH.263及びMPEG−4が
ある。こられに似たCELP及びMELPのような音声
圧縮方法もある。
【0003】テカルプの、ディジタルビデオ処理(プレ
ンティス・ホール、1995年)[Tekalp,Di
gital Video Processing(Pr
entice Hall、1995)]、クラークの、
静止影像及びビデオのディジタル圧縮(アカデミック・
プレス、1995年)[Clark,DigitalC
ompression of Still Image
s and Video(Acadedmic Pre
ss,1995)]、及びシェーファー他の、ディジタ
ルビデオコーディング標準及びビデオ通信におけるそれ
らの役割、会報83、(米国)電気電子学会907(1
995年)[Schafer et al,Digit
al Video Coding Standards
andTheir Role in Video C
ommunications,83Proc.IEEE
907(1995)」は、H.261、MPEG−
1、及びMPEG−2標準、及びH.263推奨の説
明、及びMPEG−4の所望された機能性についての指
摘を含む、種々の圧縮方法の要約を載せている。これら
の参考資料及び全て他の参考資料は、本明細書に列挙す
ることによって組み込まれる。
ンティス・ホール、1995年)[Tekalp,Di
gital Video Processing(Pr
entice Hall、1995)]、クラークの、
静止影像及びビデオのディジタル圧縮(アカデミック・
プレス、1995年)[Clark,DigitalC
ompression of Still Image
s and Video(Acadedmic Pre
ss,1995)]、及びシェーファー他の、ディジタ
ルビデオコーディング標準及びビデオ通信におけるそれ
らの役割、会報83、(米国)電気電子学会907(1
995年)[Schafer et al,Digit
al Video Coding Standards
andTheir Role in Video C
ommunications,83Proc.IEEE
907(1995)」は、H.261、MPEG−
1、及びMPEG−2標準、及びH.263推奨の説
明、及びMPEG−4の所望された機能性についての指
摘を含む、種々の圧縮方法の要約を載せている。これら
の参考資料及び全て他の参考資料は、本明細書に列挙す
ることによって組み込まれる。
【0004】H.261による圧縮は、時間冗長性を減
少させるためにフレーム間予測、及び空間冗長を減少さ
せるために高空間周波数遮断及びこれと一緒にブロック
レベル上の離散余弦変換(以下、DCTと称する)を使
用する。H.261は、64Kbps(キロビット/
秒)から2Mbps(メガビット/秒)の倍数の伝送速
度での使用に推奨されている。
少させるためにフレーム間予測、及び空間冗長を減少さ
せるために高空間周波数遮断及びこれと一緒にブロック
レベル上の離散余弦変換(以下、DCTと称する)を使
用する。H.261は、64Kbps(キロビット/
秒)から2Mbps(メガビット/秒)の倍数の伝送速
度での使用に推奨されている。
【0005】H.263推奨は、H.261標準に類似
しているが、しかし(撚り対電話線適合性の)約22K
bpsのコード伝送速度用であり、(H.261で利用
されているループフィルタリングの必要をなくす)半画
素精度での運動推算(運動予測)、多くの計算を費やし
て密度の高い運動の場(運動ベクトルの集合)を得る重
複運動補償、及び16×16マクロブロック単位の運動
補償と8×8ブロック単位の運動補償との間の適合スイ
ッチングを用いる。
しているが、しかし(撚り対電話線適合性の)約22K
bpsのコード伝送速度用であり、(H.261で利用
されているループフィルタリングの必要をなくす)半画
素精度での運動推算(運動予測)、多くの計算を費やし
て密度の高い運動の場(運動ベクトルの集合)を得る重
複運動補償、及び16×16マクロブロック単位の運動
補償と8×8ブロック単位の運動補償との間の適合スイ
ッチングを用いる。
【0006】MGPEG−1及びMPEG−2は、H.
261のように時間推算(時間予測)及びこれに続きブ
ロックレベル上の二次元DCT変換を使用するが、しか
しこれらは更に運動補償された予測、補間、及びフレー
ム内コード化の種々の組合わせを使用する。MPEG−
1は、ビデオCD(コンパクトディスク)を対象として
おり、約360画素×240線のフレーム当たり約1〜
1.5Mpsかつ毎秒24〜30フレームの速度で充分
に働く。MPEG−1は、Iフレーム、Pフレーム、及
びBフレームを定義し、Iフレームはフレーム内コード
化され、Pフレームは先行Iフレーム又はPフレームか
らの運動補償予測を使用してコード化され、及びBフレ
ームは隣接Iフレーム及び隣接Pフレームからの運動補
償された双方向予測−補間を使用してコード化される。
261のように時間推算(時間予測)及びこれに続きブ
ロックレベル上の二次元DCT変換を使用するが、しか
しこれらは更に運動補償された予測、補間、及びフレー
ム内コード化の種々の組合わせを使用する。MPEG−
1は、ビデオCD(コンパクトディスク)を対象として
おり、約360画素×240線のフレーム当たり約1〜
1.5Mpsかつ毎秒24〜30フレームの速度で充分
に働く。MPEG−1は、Iフレーム、Pフレーム、及
びBフレームを定義し、Iフレームはフレーム内コード
化され、Pフレームは先行Iフレーム又はPフレームか
らの運動補償予測を使用してコード化され、及びBフレ
ームは隣接Iフレーム及び隣接Pフレームからの運動補
償された双方向予測−補間を使用してコード化される。
【0007】MPEG−2は、ディジタルテレビジョン
(720画素×480線)を対象とし、最高約10Mb
psまでのコード伝送速度、BフレームMPEG−1型
運動補償、及びIフレーム、Pフレーム、及びスケーラ
ビリティ(scalability)を使用する(低解
像度影像を伝送するために低コード速度を取ることがあ
る)。
(720画素×480線)を対象とし、最高約10Mb
psまでのコード伝送速度、BフレームMPEG−1型
運動補償、及びIフレーム、Pフレーム、及びスケーラ
ビリティ(scalability)を使用する(低解
像度影像を伝送するために低コード速度を取ることがあ
る)。
【0008】しかしながら、前掲のMPEGの圧縮は、
非常に低ビットの速度で動作させられるとき、解像度の
損失(blockiness)及び不自然な物体運動の
ようないくつかの許容不可能なアーチファクトを生じ
る。これらの技術はブロックレベルで信号内の統計的依
存性のみを使用し、ビデオの流れの意味内容を考慮しな
いので、非常に低ビットの速度(高量子化係数)下のブ
ロック境界でアーチファクトが導入される。通常、これ
らのブロック境界は運動物体の物理的境界に対応せず、
それゆえ視覚を悩ますアーチファクトを生じる。限界バ
ンド幅のためにフレーム速度が平滑運動に必要とされる
フレーム速度より落ちるときにも不自然な運動が起こ
る。
非常に低ビットの速度で動作させられるとき、解像度の
損失(blockiness)及び不自然な物体運動の
ようないくつかの許容不可能なアーチファクトを生じ
る。これらの技術はブロックレベルで信号内の統計的依
存性のみを使用し、ビデオの流れの意味内容を考慮しな
いので、非常に低ビットの速度(高量子化係数)下のブ
ロック境界でアーチファクトが導入される。通常、これ
らのブロック境界は運動物体の物理的境界に対応せず、
それゆえ視覚を悩ますアーチファクトを生じる。限界バ
ンド幅のためにフレーム速度が平滑運動に必要とされる
フレーム速度より落ちるときにも不自然な運動が起こ
る。
【0009】MPEG−4は、10Kbpsから1Mp
bsのビット伝送速度に適用されることになっており、
かつスケーラビリティ、内容に基づくマニピュレーショ
ン、誤りが起こり勝ちな環境内での堅牢性、マルチメジ
アアクセスツール、改善されたコード化性能、グラフィ
ック及びビデオの両方をコード化する能力、及び改善さ
れたランダムアクセスのような機能性を備える内容に基
づくコード化調査研究(approach)を使用する
ことになっている。ビデオコード化方式は、コード化さ
れた同時物体の数及び(又は)品質を変動することがで
きるならば、内容がスケーラブルであると考えられる。
物体スケーラビリティは、コード化された同時物体の数
を制御することを指し、及び品質スケーラビリティはコ
ード化された物体の空間及び(又は)時間解像度を制御
することを指す。スケーラビリティは、限定されたバン
ド幅の伝送チャンネル及びまたバンド幅がダイナミック
であるチャンネルにわたって操作するビデオコード化方
法にとって重要な特徴である。例えば、内容がスケーラ
ブルなビデオコーダは、シーン内の重要物体のみを高品
質でコード化しかつ伝送することによって限定されたバ
ンド幅の下で性能を最適化する能力を有する。したがっ
て、このコーダは、残りの物体を放棄(drop)する
か又はそれらを遥かに低品質でコード化するかのどちら
かを選択することができる。そのチャンネルのバンド幅
が増大するとき、このコーダは、低劣にコード化された
物体の品質を改善するために追加のビットを伝送しかつ
欠けている物体を回復することができる。
bsのビット伝送速度に適用されることになっており、
かつスケーラビリティ、内容に基づくマニピュレーショ
ン、誤りが起こり勝ちな環境内での堅牢性、マルチメジ
アアクセスツール、改善されたコード化性能、グラフィ
ック及びビデオの両方をコード化する能力、及び改善さ
れたランダムアクセスのような機能性を備える内容に基
づくコード化調査研究(approach)を使用する
ことになっている。ビデオコード化方式は、コード化さ
れた同時物体の数及び(又は)品質を変動することがで
きるならば、内容がスケーラブルであると考えられる。
物体スケーラビリティは、コード化された同時物体の数
を制御することを指し、及び品質スケーラビリティはコ
ード化された物体の空間及び(又は)時間解像度を制御
することを指す。スケーラビリティは、限定されたバン
ド幅の伝送チャンネル及びまたバンド幅がダイナミック
であるチャンネルにわたって操作するビデオコード化方
法にとって重要な特徴である。例えば、内容がスケーラ
ブルなビデオコーダは、シーン内の重要物体のみを高品
質でコード化しかつ伝送することによって限定されたバ
ンド幅の下で性能を最適化する能力を有する。したがっ
て、このコーダは、残りの物体を放棄(drop)する
か又はそれらを遥かに低品質でコード化するかのどちら
かを選択することができる。そのチャンネルのバンド幅
が増大するとき、このコーダは、低劣にコード化された
物体の品質を改善するために追加のビットを伝送しかつ
欠けている物体を回復することができる。
【0010】マスマン他の、運動影像の物体指向分析−
合成コーディング、信号処理 1、影像通信、117
(1989年)[Musmann et al.,Ob
ject−Oriented Analysis−Sy
nthesis Codingof Moving I
mages,1 Sig.Proc.:Image C
omm.117(1989)]は、ソースモデルを使用
する階層運動物体検出を解説している。前掲のテカルプ
(Tekalp)の参考資料の章23、24もまた、物
体に基づくコード化を論じている。
合成コーディング、信号処理 1、影像通信、117
(1989年)[Musmann et al.,Ob
ject−Oriented Analysis−Sy
nthesis Codingof Moving I
mages,1 Sig.Proc.:Image C
omm.117(1989)]は、ソースモデルを使用
する階層運動物体検出を解説している。前掲のテカルプ
(Tekalp)の参考資料の章23、24もまた、物
体に基づくコード化を論じている。
【0011】メジオニ他の、キュービックBスプライン
を使用する隅検出及び曲率表示、コンピュータビジョン
グラフィック影像処理 39、267(1987年)
[Medioni et al.,Coner Det
ection and Curvature Repr
esentation Using Cubic B−
Splines,39 Comp.Vis.Grap
h.Image Processing,267(19
87)]は、Bスプラインを用いる曲線のコード化を示
す。同様にフォーレイ他の、コンピュータグラフィック
ス(アジソン・ウェスレイ第2版)、491〜495頁
及び504〜507頁[Foley etal.,Co
mputer Graphics(Addison−W
esley2rdEd.)]は、キュービックBスプイ
ライン、及び(制御点を通るように制約されている)カ
ットミュル・ロム(Catmull−Rom)スプライ
ンを論じている。
を使用する隅検出及び曲率表示、コンピュータビジョン
グラフィック影像処理 39、267(1987年)
[Medioni et al.,Coner Det
ection and Curvature Repr
esentation Using Cubic B−
Splines,39 Comp.Vis.Grap
h.Image Processing,267(19
87)]は、Bスプラインを用いる曲線のコード化を示
す。同様にフォーレイ他の、コンピュータグラフィック
ス(アジソン・ウェスレイ第2版)、491〜495頁
及び504〜507頁[Foley etal.,Co
mputer Graphics(Addison−W
esley2rdEd.)]は、キュービックBスプイ
ライン、及び(制御点を通るように制約されている)カ
ットミュル・ロム(Catmull−Rom)スプライ
ンを論じている。
【0012】
【発明が解決しようとする課題】ビデオの効率的伝送を
達成するために、通信システムはバンド幅にとって効率
的である圧縮方式を利用しなければならない。次いで、
圧縮されたビデオデータが誤りの起こり勝ちな通信チャ
ンネルを通して伝送される。ビデオデータ内の時間相関
を利用するビデオコード化方式の場合、チャンネル誤り
がエンコーダとのデコーダの同期喪失を生じる。もしこ
れを適当に取り扱わないならば、これが画像(pict
ure)品質を目に付く程に劣化させるおそれがある。
満足なビデオ品質又はサービス品質を維持するために、
データをこれらのチャンネル誤りから保護する方式を使
用するのが望ましい。しかしながら、対誤り保護方式
は、高めたビット速度を犠牲にして遂げられる。更に、
所与の誤り制御コードを使用して全ての起こり得る誤り
を訂正することは不可能である。それゆえ、これらのチ
ャンネル誘導誤りによって導入される不快なかつ視覚を
擾乱するアーチファクトを効率的に除去するために、誤
り制御に加えて或る他の技術に頼ることが必要になる。
達成するために、通信システムはバンド幅にとって効率
的である圧縮方式を利用しなければならない。次いで、
圧縮されたビデオデータが誤りの起こり勝ちな通信チャ
ンネルを通して伝送される。ビデオデータ内の時間相関
を利用するビデオコード化方式の場合、チャンネル誤り
がエンコーダとのデコーダの同期喪失を生じる。もしこ
れを適当に取り扱わないならば、これが画像(pict
ure)品質を目に付く程に劣化させるおそれがある。
満足なビデオ品質又はサービス品質を維持するために、
データをこれらのチャンネル誤りから保護する方式を使
用するのが望ましい。しかしながら、対誤り保護方式
は、高めたビット速度を犠牲にして遂げられる。更に、
所与の誤り制御コードを使用して全ての起こり得る誤り
を訂正することは不可能である。それゆえ、これらのチ
ャンネル誘導誤りによって導入される不快なかつ視覚を
擾乱するアーチファクトを効率的に除去するために、誤
り制御に加えて或る他の技術に頼ることが必要になる。
【0013】事実、圧縮されたビデオを伝送する無線チ
ャンネルのような、典型的チャンネルは、高ランダムビ
ット誤り(BER)及び多重バースト誤りによって特徴
としている。ランダムビット誤りは約0.001の確率
で起こり、及びバースト誤りは通常最長24ms(ミリ
秒)までの持続時間を有する。
ャンネルのような、典型的チャンネルは、高ランダムビ
ット誤り(BER)及び多重バースト誤りによって特徴
としている。ランダムビット誤りは約0.001の確率
で起こり、及びバースト誤りは通常最長24ms(ミリ
秒)までの持続時間を有する。
【0014】リード・ソロモン(Reed−Solom
on; 以下、RSと称する)コードのような誤り訂正
コードは、コードシンボルのブロック当たり指定数まで
のランダム誤りを訂正する。コードをバースト誤りが起
こり勝ちなチャンネルを通して使用するとき問題が起こ
る。それは、これらの誤りが少数の受信シンボル内に群
がる傾向があるからである。市販のディジタル音楽CD
は、チャンネルバーストがデコーディングに際して多数
コード語にわたって拡散するようにインタリーブされた
コード語(コードワード)を使用する。特に、CD誤り
制御エンコーダは、コード英数字GF(256)からの
8ビットシンボルを備える2つの短縮RSコードを使用
する。それゆえ、16ビット音響サンプルは、2つの情
報シンボルを各々取る。まず、これらのサンプルが(2
8,24)RSコードによって一度に12(それゆえ2
4個のシンボル)コード化され、次いで、28シンボル
のコード語が、分岐間でおそらく28個のシンボルの遅
延増分を伴う28分岐インタリーバを通過する。それゆ
え、28個の順次28シンボルコード語がシンボルから
シンボル式にインタリーブされる。インタリーブした
後、28シンボルブロックが(32,28)RSコーダ
で以て伝送用32シンボルコード語にコード化される。
デコーダは、鏡像である、すなわち、(32,28)R
Sデコーダ、遅延増分4つのシンボルを伴う28分岐デ
インタリーバ、及び(28,24)RSデコーダであ
る。(32,28)RSデコーダは、入力32シンボル
コード語内の1つの誤りを訂正することができ、かつ3
2シンボル入力コード語内の2つ以上の誤りに対して2
8個の消去されたシンボルを出力することができる。次
いで、デインタリーバがこれらの消去されたシンボルを
28個のコード語にわたって拡散する。(28,24)
RSデコーダは、最高4つのシンボル誤りまでを検出す
るように設定され、これらのシンボル誤りは次いで24
シンボル出力語内の消去されたシンボルで以て置換され
る。5つ以上のシンボル誤りの場合は、全ての24個の
シンボルが消去される。これは、消去された音楽サンプ
ルに相当する。デコーダは、消去された音楽サンプルを
隣接のサンプルで以て補間することがある。全体的に
は、ウィックスの、ディジタル通信及び記憶に対する誤
り制御システム(プランティス・ホール、1995年)
[Wickes、Error Control Sys
tems for Digital Communic
ation and Storage(Prentic
e Hall 1955)]参照。
on; 以下、RSと称する)コードのような誤り訂正
コードは、コードシンボルのブロック当たり指定数まで
のランダム誤りを訂正する。コードをバースト誤りが起
こり勝ちなチャンネルを通して使用するとき問題が起こ
る。それは、これらの誤りが少数の受信シンボル内に群
がる傾向があるからである。市販のディジタル音楽CD
は、チャンネルバーストがデコーディングに際して多数
コード語にわたって拡散するようにインタリーブされた
コード語(コードワード)を使用する。特に、CD誤り
制御エンコーダは、コード英数字GF(256)からの
8ビットシンボルを備える2つの短縮RSコードを使用
する。それゆえ、16ビット音響サンプルは、2つの情
報シンボルを各々取る。まず、これらのサンプルが(2
8,24)RSコードによって一度に12(それゆえ2
4個のシンボル)コード化され、次いで、28シンボル
のコード語が、分岐間でおそらく28個のシンボルの遅
延増分を伴う28分岐インタリーバを通過する。それゆ
え、28個の順次28シンボルコード語がシンボルから
シンボル式にインタリーブされる。インタリーブした
後、28シンボルブロックが(32,28)RSコーダ
で以て伝送用32シンボルコード語にコード化される。
デコーダは、鏡像である、すなわち、(32,28)R
Sデコーダ、遅延増分4つのシンボルを伴う28分岐デ
インタリーバ、及び(28,24)RSデコーダであ
る。(32,28)RSデコーダは、入力32シンボル
コード語内の1つの誤りを訂正することができ、かつ3
2シンボル入力コード語内の2つ以上の誤りに対して2
8個の消去されたシンボルを出力することができる。次
いで、デインタリーバがこれらの消去されたシンボルを
28個のコード語にわたって拡散する。(28,24)
RSデコーダは、最高4つのシンボル誤りまでを検出す
るように設定され、これらのシンボル誤りは次いで24
シンボル出力語内の消去されたシンボルで以て置換され
る。5つ以上のシンボル誤りの場合は、全ての24個の
シンボルが消去される。これは、消去された音楽サンプ
ルに相当する。デコーダは、消去された音楽サンプルを
隣接のサンプルで以て補間することがある。全体的に
は、ウィックスの、ディジタル通信及び記憶に対する誤
り制御システム(プランティス・ホール、1995年)
[Wickes、Error Control Sys
tems for Digital Communic
ation and Storage(Prentic
e Hall 1955)]参照。
【0015】H.261、MPEG−1、及びMPEG
−2の圧縮及び膨張についてのいくつかのハードウェア
処理系(implemetation)及びソフトウェ
ア処理系がある。ハードウェア処理系は、シングルチッ
プ又はマルチチップの集積回路処理系[前掲のテカルプ
(Tekalp)の参考資料の455〜456頁参
照)]、又は適当なソフトウェアをラン(run)する
Ultrasparc又はTMS320C80のような
汎用プロセッサであってよい。パブリック・ドメイン・
ソフトウェア(Public domain soft
ware)は、スタンフォード大学のポータブル・ビデ
オ・リサーチ・グループ(PotableVideo
Research Group at Stanfor
d University)から入手可能である。
−2の圧縮及び膨張についてのいくつかのハードウェア
処理系(implemetation)及びソフトウェ
ア処理系がある。ハードウェア処理系は、シングルチッ
プ又はマルチチップの集積回路処理系[前掲のテカルプ
(Tekalp)の参考資料の455〜456頁参
照)]、又は適当なソフトウェアをラン(run)する
Ultrasparc又はTMS320C80のような
汎用プロセッサであってよい。パブリック・ドメイン・
ソフトウェア(Public domain soft
ware)は、スタンフォード大学のポータブル・ビデ
オ・リサーチ・グループ(PotableVideo
Research Group at Stanfor
d University)から入手可能である。
【0016】
【問題を解決するための手段】本発明は、内容に基づく
ビデオ圧縮を提供し、この圧縮は次を用いる。すなわ
ち、運動物体の厳密なコード化ではなく差働領域コード
化、ブロック単位(blockwise)輪郭コード
化、ブロック単位輪郭タイリングに関係した運動補償故
障コード化、フレームの副領域に制限されたウェーブレ
ット(wavelet)変換コード化を含むサブバン
ド、物体に関連した覆われない背景によるスケーラビリ
ティ、及び各運動物体のコードに埋め込まれた同期とコ
ーダからデインタリーバへのコーダフィードバックとに
よる対誤り堅牢性。本発明は、また、ビデオ電話、及び
ランダムアクセスメモリ内のディジタル記憶を備える微
速度(time−lapse)監視を含む安全用固定カ
メラ監視のようなこの圧縮を応用するビデオシステムを
提供する。
ビデオ圧縮を提供し、この圧縮は次を用いる。すなわ
ち、運動物体の厳密なコード化ではなく差働領域コード
化、ブロック単位(blockwise)輪郭コード
化、ブロック単位輪郭タイリングに関係した運動補償故
障コード化、フレームの副領域に制限されたウェーブレ
ット(wavelet)変換コード化を含むサブバン
ド、物体に関連した覆われない背景によるスケーラビリ
ティ、及び各運動物体のコードに埋め込まれた同期とコ
ーダからデインタリーバへのコーダフィードバックとに
よる対誤り堅牢性。本発明は、また、ビデオ電話、及び
ランダムアクセスメモリ内のディジタル記憶を備える微
速度(time−lapse)監視を含む安全用固定カ
メラ監視のようなこの圧縮を応用するビデオシステムを
提供する。
【0017】本発明の利点には、物体スケーラビリティ
を備える効率的で低コード伝送速度のビデオコード化及
び都合の良い伝送及び記憶を可能にする非常に低いコー
ド伝送速度のビデオ圧縮がある。これによって、低コー
ド伝送速度テレビ会議及びまた直列アクセス磁気テープ
でなくランダムアクセスハードディスク装置による監視
情報記憶が可能になる。また、運動物体のセグメンテー
ションによって、運動物体のどれか1つ又はいくつかへ
の情報の集中が可能になる(MPEG−4)。
を備える効率的で低コード伝送速度のビデオコード化及
び都合の良い伝送及び記憶を可能にする非常に低いコー
ド伝送速度のビデオ圧縮がある。これによって、低コー
ド伝送速度テレビ会議及びまた直列アクセス磁気テープ
でなくランダムアクセスハードディスク装置による監視
情報記憶が可能になる。また、運動物体のセグメンテー
ションによって、運動物体のどれか1つ又はいくつかへ
の情報の集中が可能になる(MPEG−4)。
【0018】
圧縮及び膨張の概観 図1は、コード化及びデコーディングと共に誤り訂正を
含む圧縮コード化、デコーディング、及び膨張を使用し
て話者の音声及びその影像の両方を伝送する本発明の好
適実施例のビデオ電話(テレビ会議)システムをブロッ
ク図で示す。もちろん、図1は一方向への伝送しか及び
1つの受信機しか示していないが、実際は第2カメラ及
び第2受信機が反対方向の伝送に使用されるであろう
し、及び第3又はもっと多くの受信機及び送信機をこの
システムに接続することもできる。ビデオ及び音声は分
離して圧縮され、かつビデオと音声との間の伝送チャン
ネルバンド幅の割当ては、状況に応じてダイナミックに
調節される。電話ネットワークバンド幅のコスト上、低
コード伝送速度が要求される。事実、非常に低いコード
伝送速度のビデオ圧縮は可視品質(visual qu
ality)を妥協のため犠牲にすることがあるマルチ
メジア応用に使用される。
含む圧縮コード化、デコーディング、及び膨張を使用し
て話者の音声及びその影像の両方を伝送する本発明の好
適実施例のビデオ電話(テレビ会議)システムをブロッ
ク図で示す。もちろん、図1は一方向への伝送しか及び
1つの受信機しか示していないが、実際は第2カメラ及
び第2受信機が反対方向の伝送に使用されるであろう
し、及び第3又はもっと多くの受信機及び送信機をこの
システムに接続することもできる。ビデオ及び音声は分
離して圧縮され、かつビデオと音声との間の伝送チャン
ネルバンド幅の割当ては、状況に応じてダイナミックに
調節される。電話ネットワークバンド幅のコスト上、低
コード伝送速度が要求される。事実、非常に低いコード
伝送速度のビデオ圧縮は可視品質(visual qu
ality)を妥協のため犠牲にすることがあるマルチ
メジア応用に使用される。
【0019】図2は、本発明の第1好適実施例の監視シ
ステム200を示し、このシステムは静止背景に焦点を
合わせたカメラ202(その視野内を時折運動物体20
6が通過する)、ビデオ圧縮装置208とこれに接続し
た遠隔記憶装置210、デコーダ及びディスプレイ22
0を含む。圧縮装置208はシーンのビデオ影像(ビデ
オ映像)の流れの圧縮を行い(例えば、毎秒30フレー
ム、各フレームは176×144個の8ビット単色画素
からなる)、それであるから圧縮装置208から記憶装
置210へのデータ伝送は非常に低速、例えば、22K
bpsになる一方、高品質影像を維持する。システム2
00は、静止背景に依存しておりかつ低データ速度を達
成するために予測運動を用いて運動物体(背景に相対運
動するフレーム内の領域として現れる)のみをコード化
する。この低データ速度のために、カメラからモニタま
でに簡単な伝送チャンネルを及びパーソナルコンピュー
タ用磁気ハードディスク装置のようなランダムアクセス
メモリを使用することができる。事実、モデムを備える
単一電話線路は、圧縮されたビデオ影像の流れを遠隔モ
ニタへ送ることがある。更に、特定監視状況によって要
求される日、又は週のような時間間隔中のビデオ影像の
流れの記憶は、このような圧縮の後には遥かに小容量の
メモリしか必要としないことになる。
ステム200を示し、このシステムは静止背景に焦点を
合わせたカメラ202(その視野内を時折運動物体20
6が通過する)、ビデオ圧縮装置208とこれに接続し
た遠隔記憶装置210、デコーダ及びディスプレイ22
0を含む。圧縮装置208はシーンのビデオ影像(ビデ
オ映像)の流れの圧縮を行い(例えば、毎秒30フレー
ム、各フレームは176×144個の8ビット単色画素
からなる)、それであるから圧縮装置208から記憶装
置210へのデータ伝送は非常に低速、例えば、22K
bpsになる一方、高品質影像を維持する。システム2
00は、静止背景に依存しておりかつ低データ速度を達
成するために予測運動を用いて運動物体(背景に相対運
動するフレーム内の領域として現れる)のみをコード化
する。この低データ速度のために、カメラからモニタま
でに簡単な伝送チャンネルを及びパーソナルコンピュー
タ用磁気ハードディスク装置のようなランダムアクセス
メモリを使用することができる。事実、モデムを備える
単一電話線路は、圧縮されたビデオ影像の流れを遠隔モ
ニタへ送ることがある。更に、特定監視状況によって要
求される日、又は週のような時間間隔中のビデオ影像の
流れの記憶は、このような圧縮の後には遥かに小容量の
メモリしか必要としないことになる。
【0020】ビデオカメラ202はカメラ内アナログ・
ディジタル変換装置を備えるCCD(電荷結合素子)カ
メラでよく、したがって圧縮装置208の出力が図2に
全体的に示された連続のディジタルフレームである。こ
れに代えて、追加のハードウェアを備えたアナログカメ
ラを使用してフレームのディジタルビデオの流れを発生
してもよい。圧縮装置208は、ハード配線されるか、
又は、もっと便利に、搭載メモリ、RAM又はROM、
又はこれらの両方内に記憶された圧縮ステップを備える
ディジタル信号プロセッサ(以下、DSPと称する)で
あってよい。例えば、TMS320C50又はTMS3
20C80型DSPが充分と云える。また、図1に示さ
れたテレビ会議システムの場合、実時間受信の際の誤り
訂正が伴いかつ汎用プロセッサ上で行われることがあ
る。
ディジタル変換装置を備えるCCD(電荷結合素子)カ
メラでよく、したがって圧縮装置208の出力が図2に
全体的に示された連続のディジタルフレームである。こ
れに代えて、追加のハードウェアを備えたアナログカメ
ラを使用してフレームのディジタルビデオの流れを発生
してもよい。圧縮装置208は、ハード配線されるか、
又は、もっと便利に、搭載メモリ、RAM又はROM、
又はこれらの両方内に記憶された圧縮ステップを備える
ディジタル信号プロセッサ(以下、DSPと称する)で
あってよい。例えば、TMS320C50又はTMS3
20C80型DSPが充分と云える。また、図1に示さ
れたテレビ会議システムの場合、実時間受信の際の誤り
訂正が伴いかつ汎用プロセッサ上で行われることがあ
る。
【0021】図3は、本発明の好適実施例のビデオ圧縮
方法の高レベル流れ図であり、入力は連続のフレームF
0 、F1 、F2 、…、からなり、各フレームが144行
×176画素又は288行×352画素でからなりかつ
10フレーム毎秒のフレーム速度を有し、このような入
力に対する次のステップを含む。これらのステップの詳
細は、後続の節で説明される。
方法の高レベル流れ図であり、入力は連続のフレームF
0 、F1 、F2 、…、からなり、各フレームが144行
×176画素又は288行×352画素でからなりかつ
10フレーム毎秒のフレーム速度を有し、このような入
力に対する次のステップを含む。これらのステップの詳
細は、後続の節で説明される。
【0022】これら2つの寸法のフレームは、11マク
ロブロックの9行のアレーであってかつマクロブロック
の各々が16×16画素からなるアレーに、又は22マ
クロブロックの18行のアレーに区分される。これらの
フレームはI画像又はP画像としてコード化され、これ
らの画素の後進補間(backward interp
olation)を用いるB画像は非常に低いコード伝
送速度の伝送のためにオーバレー長時間遅延を生じる。
I画像は5ないし10秒毎に1回だけ起こり、フレーム
の大部分はP画像である。176画素の144行の寸法
のフレームに対して、大体においてI画像は20Kビッ
トで以てコード化され、一方P画像は2Kビットで以て
コード化され、それゆえ総合コード伝送速度は22Kb
ps(わずか10フレーム毎秒以下)ことになる。これ
らのフレームは、単色又は色彩であり、色彩は強度フレ
ーム(Y信号)及び(サブサンプルされた)1/4解像
度色組合わせフレーム(U信号及びV信号)によって与
えられる。
ロブロックの9行のアレーであってかつマクロブロック
の各々が16×16画素からなるアレーに、又は22マ
クロブロックの18行のアレーに区分される。これらの
フレームはI画像又はP画像としてコード化され、これ
らの画素の後進補間(backward interp
olation)を用いるB画像は非常に低いコード伝
送速度の伝送のためにオーバレー長時間遅延を生じる。
I画像は5ないし10秒毎に1回だけ起こり、フレーム
の大部分はP画像である。176画素の144行の寸法
のフレームに対して、大体においてI画像は20Kビッ
トで以てコード化され、一方P画像は2Kビットで以て
コード化され、それゆえ総合コード伝送速度は22Kb
ps(わずか10フレーム毎秒以下)ことになる。これ
らのフレームは、単色又は色彩であり、色彩は強度フレ
ーム(Y信号)及び(サブサンプルされた)1/4解像
度色組合わせフレーム(U信号及びV信号)によって与
えられる。
【0023】(1) 最初に、DCT又はウェーブレッ
ト変換に基づく波形コード化技術を使用してMPEG−
1、MPEG−2におけるI画像状のものとして第零フ
レームF0 をコード化する。DCTの場合、フレームを
8×8画素ブロックに区分し、各ブロックのDCTを計
算し、高空間周波数を遮断し、残りの周波数を量子化し
かつコード化し、次いで、伝送する。コード化は、ラン
レングスコード化(run length encod
ing)、ハフマンコード化(Huffmanenco
ding)、及び誤り訂正コード化を含む。ウェーブレ
ット変換の場合、フレームの多レベル分解を計算し、結
果のウェーブレット係数を量子化しかつコード化し、か
つ伝送する。他のフレームも伝送チャンネルコード伝送
速度に依存する周波数を用いて画像としてコード化す
る。I画像であるフレームFN をコード化する場合、上
と同様にしてコード化する。
ト変換に基づく波形コード化技術を使用してMPEG−
1、MPEG−2におけるI画像状のものとして第零フ
レームF0 をコード化する。DCTの場合、フレームを
8×8画素ブロックに区分し、各ブロックのDCTを計
算し、高空間周波数を遮断し、残りの周波数を量子化し
かつコード化し、次いで、伝送する。コード化は、ラン
レングスコード化(run length encod
ing)、ハフマンコード化(Huffmanenco
ding)、及び誤り訂正コード化を含む。ウェーブレ
ット変換の場合、フレームの多レベル分解を計算し、結
果のウェーブレット係数を量子化しかつコード化し、か
つ伝送する。他のフレームも伝送チャンネルコード伝送
速度に依存する周波数を用いて画像としてコード化す
る。I画像であるフレームFN をコード化する場合、上
と同様にしてコード化する。
【0024】(2) P画像であるフレームFN をコー
ド化する場合、再生フレームFN-1からFN への変化の
領域を見付け出すことによってそのフレーム内の運動物
体を検出する。再生フレームFN-1 は、下に説明される
ように実際に伝送されたフレームFN-1 の近似である。
注意するのは、この変化の領域は運動物体と覆われない
背景とに区分されることを必要とせず、運動物体を近似
的に記述するだけでよいことである。しかしながら、こ
の近似は、充分でありかつより効率的な低コード化を提
供する。もちろん、これに代えて、或る領域が先行フレ
ーム内の変化の領域の外側にマップし、それゆえこの領
域が覆われない背景であるかどうか判定するような逆運
動ベクトル、物体を判定する縁検出、又は物体を背景か
ら区別する物体特性(モデル)の推定のような機構を通
して、変化の領域を運動物体と覆われていない背景とに
区分することもあろう。
ド化する場合、再生フレームFN-1からFN への変化の
領域を見付け出すことによってそのフレーム内の運動物
体を検出する。再生フレームFN-1 は、下に説明される
ように実際に伝送されたフレームFN-1 の近似である。
注意するのは、この変化の領域は運動物体と覆われない
背景とに区分されることを必要とせず、運動物体を近似
的に記述するだけでよいことである。しかしながら、こ
の近似は、充分でありかつより効率的な低コード化を提
供する。もちろん、これに代えて、或る領域が先行フレ
ーム内の変化の領域の外側にマップし、それゆえこの領
域が覆われない背景であるかどうか判定するような逆運
動ベクトル、物体を判定する縁検出、又は物体を背景か
ら区別する物体特性(モデル)の推定のような機構を通
して、変化の領域を運動物体と覆われていない背景とに
区分することもあろう。
【0025】(3) ステップ(2)からの変化の領域
の各関係要素毎に、なんらかの「ス(interior
hole)」があればこれも含めてその境界輪郭をコ
ード化する。それゆえ、運動物体の境界は正確にコード
化されるのではなくて、変化の領域の全体の境界がコー
ド化され、運動物体の境界を近似する。境界コード化
は、境界を近似するスプラインによるか又は変化の領域
内のブロックを表示する2進マスクによるかどちらかで
ある。スプラインは、境界のより正確な表示を行うのに
対して、2進マスクはより少ない数のビットを使用す
る。注意するのは、変化の領域の関係要素は、2進影像
マスクのラスタ走査、及びこのマスク内の画素の群への
分類によって判定されることがあり、これらの群が隣接
画素を分類するに従って併合するようになることであ
る。画素の最終群は、関係要素(関係領域)である。プ
ログラムの例は、バラード他の、コンピュータビジョン
(プランティス・ホール)149〜152頁[Ball
ard et al.,Computer Visio
n(PrenticeHall)at pages14
9−152]参照。便宜上、以下では関係要素(関係領
域)を(運動)物体と称することがある。
の各関係要素毎に、なんらかの「ス(interior
hole)」があればこれも含めてその境界輪郭をコ
ード化する。それゆえ、運動物体の境界は正確にコード
化されるのではなくて、変化の領域の全体の境界がコー
ド化され、運動物体の境界を近似する。境界コード化
は、境界を近似するスプラインによるか又は変化の領域
内のブロックを表示する2進マスクによるかどちらかで
ある。スプラインは、境界のより正確な表示を行うのに
対して、2進マスクはより少ない数のビットを使用す
る。注意するのは、変化の領域の関係要素は、2進影像
マスクのラスタ走査、及びこのマスク内の画素の群への
分類によって判定されることがあり、これらの群が隣接
画素を分類するに従って併合するようになることであ
る。画素の最終群は、関係要素(関係領域)である。プ
ログラムの例は、バラード他の、コンピュータビジョン
(プランティス・ホール)149〜152頁[Ball
ard et al.,Computer Visio
n(PrenticeHall)at pages14
9−152]参照。便宜上、以下では関係要素(関係領
域)を(運動)物体と称することがある。
【0026】(4) 先行フレームからの物体の運動推
算によって連続のビデオ内の時間冗長性を除去する。特
に、現行フレームFN 内の物体内の16×16画素マク
ロブロックを先行再生フレームFN-1 内の同じ位置に内
の16×16画素マクロブロック及び後者のマクロブロ
ックを全方向に最高15画素分移行させたものと整合さ
せる。最良の整合は、後者のブロックに対する運動ベク
トルを定義する。現行フレームFN への近似F’N を、
これらの運動ベクトルと先行フレームFN-1N内のこれら
の運動ベクトルに対応するマクロブロックと共に使用す
ることによって、先行フレームから合成することができ
る。
算によって連続のビデオ内の時間冗長性を除去する。特
に、現行フレームFN 内の物体内の16×16画素マク
ロブロックを先行再生フレームFN-1 内の同じ位置に内
の16×16画素マクロブロック及び後者のマクロブロ
ックを全方向に最高15画素分移行させたものと整合さ
せる。最良の整合は、後者のブロックに対する運動ベク
トルを定義する。現行フレームFN への近似F’N を、
これらの運動ベクトルと先行フレームFN-1N内のこれら
の運動ベクトルに対応するマクロブロックと共に使用す
ることによって、先行フレームから合成することができ
る。
【0027】(5) 近似F’N を合成するために物体
の運動を使用した後、現行フレーム内に依然として領域
があり、これらは高速変化する領域の場合のように可な
りの残留情報を含んでいる。すなわち、現行フレームF
N と合成された近似F’N との間の差領域は、可なりの
情報を含む運動故障領域を定義するためにステップ
(2)、(3)に類似した運動セグメントを適用され
る。
の運動を使用した後、現行フレーム内に依然として領域
があり、これらは高速変化する領域の場合のように可な
りの残留情報を含んでいる。すなわち、現行フレームF
N と合成された近似F’N との間の差領域は、可なりの
情報を含む運動故障領域を定義するためにステップ
(2)、(3)に類似した運動セグメントを適用され
る。
【0028】(6) DCT又はウェーブレット変換に
基づく波形コード化技術を使用してステップ(5)から
の運動故障領域をコード化する。DCTの場合、16×
16画素マクロブロックを持つ領域をタイルし、これら
のマクロブロックのうちの8×8画素ブロックにDCT
を適用し、量子化しかつコード化する(ランレングスコ
ード化、次いでホフマンコード化)。ウェーブレット変
換の場合、これらの領域外側の全ての画素値を零に設定
し、選択された領域に相当するウェーブレット係数のみ
を多レベル分解し、量子化し、かつコード化する[零木
(zerotree)コード化、次いで算術コード
化]。
基づく波形コード化技術を使用してステップ(5)から
の運動故障領域をコード化する。DCTの場合、16×
16画素マクロブロックを持つ領域をタイルし、これら
のマクロブロックのうちの8×8画素ブロックにDCT
を適用し、量子化しかつコード化する(ランレングスコ
ード化、次いでホフマンコード化)。ウェーブレット変
換の場合、これらの領域外側の全ての画素値を零に設定
し、選択された領域に相当するウェーブレット係数のみ
を多レベル分解し、量子化し、かつコード化する[零木
(zerotree)コード化、次いで算術コード
化]。
【0029】(7) I画像(DCTデータ又はウェー
ブレット変換データ)及びP画像(輪郭、運動ベクト
ル、及び運動補償故障データを有する各物体の順に従っ
て順序付けられた物体)を組み立てる(assembl
e)。これらはホフマンコードのテーブルからのコード
語であり得る。このテーブルはダイナミックテーブルで
はなく、実験的に発生される。
ブレット変換データ)及びP画像(輪郭、運動ベクト
ル、及び運動補償故障データを有する各物体の順に従っ
て順序付けられた物体)を組み立てる(assembl
e)。これらはホフマンコードのテーブルからのコード
語であり得る。このテーブルはダイナミックテーブルで
はなく、実験的に発生される。
【0030】(8) 各I画像データ、各P画像デー
タ、各輪郭データ、各運動ベクトルデータ、及び各運動
補償故障データの開始に再同期語を埋め込む。これらの
再同期語はホフマンコード語テーブル内に現れず、それ
ゆえ、これらを明瞭に決定することができる。
タ、各輪郭データ、各運動ベクトルデータ、及び各運動
補償故障データの開始に再同期語を埋め込む。これらの
再同期語はホフマンコード語テーブル内に現れず、それ
ゆえ、これらを明瞭に決定することができる。
【0031】(9) ステップ(8)からの結果のビッ
トストリームをリードソロモンコードと共にインタリー
ブすることで以てコード化する。次いで、伝送又は記憶
する。
トストリームをリードソロモンコードと共にインタリー
ブすることで以てコード化する。次いで、伝送又は記憶
する。
【0032】(10) 受信したコード化ビットストリ
ームをリードソロモンデコーダ及びデインタリーブ(d
einterleave)することによってデコードす
る。再同期語は、デコーディング故障の後に役立ちかつ
ランダムアクセスに対するアクセス点を提供する。更
に、デコーディングは、デインタリーバのどちらかの側
上の短縮リードソロモンデコーダ、及び誤り訂正の強化
(enhance)のための(デコーダ出力の記憶コピ
ーの)第2デコーダから第1デコーダへのフィードバッ
クを用いることがある。
ームをリードソロモンデコーダ及びデインタリーブ(d
einterleave)することによってデコードす
る。再同期語は、デコーディング故障の後に役立ちかつ
ランダムアクセスに対するアクセス点を提供する。更
に、デコーディングは、デインタリーバのどちらかの側
上の短縮リードソロモンデコーダ、及び誤り訂正の強化
(enhance)のための(デコーダ出力の記憶コピ
ーの)第2デコーダから第1デコーダへのフィードバッ
クを用いることがある。
【0033】(11) スケーラブルビットストリーム
を生じる物体スケーラビリティ(連続のフレーム中の物
体の選択コード化−デコーディング)及び品質スケーラ
ビリティ(物体の品質の選択強化)もまた維持される。
を生じる物体スケーラビリティ(連続のフレーム中の物
体の選択コード化−デコーディング)及び品質スケーラ
ビリティ(物体の品質の選択強化)もまた維持される。
【0034】運動物体検出及びセグメンテーション 本発明の第1好適実施例の方法は、順次ビデオフレーム
間の差領域を使用することによって運動物体を検出しか
つセグメント化するが、しかしこのような領域を運動物
体と覆われない背景とに分離するようなことはしない。
これによって、情報を簡単化し、しかも充分な品質を与
えることが判っている。特に、フレームFN について、
各画素でフレームFN と再生フレームFN-1 との間の強
度(Y信号)の差の絶対値を見付ける。8ビット強度
(0から255で標識された256レベル)毎に、カメ
ラ校正の変動性は、0から15の強度範囲を暗であると
取り、240から255の強度範囲を飽和輝度と取るこ
とを表示するであろう。或る1つの画素での強度差の絶
対値は0から255の範囲内にあり、それゆえ、微小差
を除去し、かつしきい値を設定する[(シーン周囲照明
に応じて)5ないし10以下の画素のあらゆる絶対差を
0に設定しかつ30より大きい画素の絶対差を1に設定
する]ことによって差の2進影像を形成する。これによ
って、スペックルに見える2進影像が得られる。図4a
及び4bは2つの順次フレームを示し、図4cはしきい
値設定された絶対差の2進影像であり、黒画素は1を表
示し、白画素は0を表示する。
間の差領域を使用することによって運動物体を検出しか
つセグメント化するが、しかしこのような領域を運動物
体と覆われない背景とに分離するようなことはしない。
これによって、情報を簡単化し、しかも充分な品質を与
えることが判っている。特に、フレームFN について、
各画素でフレームFN と再生フレームFN-1 との間の強
度(Y信号)の差の絶対値を見付ける。8ビット強度
(0から255で標識された256レベル)毎に、カメ
ラ校正の変動性は、0から15の強度範囲を暗であると
取り、240から255の強度範囲を飽和輝度と取るこ
とを表示するであろう。或る1つの画素での強度差の絶
対値は0から255の範囲内にあり、それゆえ、微小差
を除去し、かつしきい値を設定する[(シーン周囲照明
に応じて)5ないし10以下の画素のあらゆる絶対差を
0に設定しかつ30より大きい画素の絶対差を1に設定
する]ことによって差の2進影像を形成する。これによ
って、スペックルに見える2進影像が得られる。図4a
及び4bは2つの順次フレームを示し、図4cはしきい
値設定された絶対差の2進影像であり、黒画素は1を表
示し、白画素は0を表示する。
【0035】次いで、雑音から生じるであろうような、
2進影像中の孤立領域を、メジアンフィルタリング[も
し或る画素の4つ(又はおそらく8つ)の最隣接の画素
が全て0ならば、或る画素における1を0で置換する]
によって除去する。
2進影像中の孤立領域を、メジアンフィルタリング[も
し或る画素の4つ(又はおそらく8つ)の最隣接の画素
が全て0ならば、或る画素における1を0で置換する]
によって除去する。
【0036】次に、形態素(morphologica
l)閉操作[膨張(deilate)操作に続き侵食
(erode)操作]を適用して、閉と閉との間を1に
よって充填する、すなわち、図4cのスペックル領域を
「ベタ(solid)」領域で置換する。半径Kの画素
[KはQCIFフレームの場合11及びCIF(共通画
像方式)フレームの場合13]の円形カーネルを用いる
膨張操作及び侵食操作を使用する。特に、膨張操作はも
し元の0を持つ画素からK画素の距離内の他のどの画素
も1を持つ画素であるならば、元の0を持つ画素を1を
持つ画素で置換し、及び侵食操作はもし元の1を持つ画
素からK画素の距離内の全ての画素が全て1を持つ画素
でないならば、元の1を持つ画素を0を持つ画素で置換
する。この閉操作の後、開操作(侵食操作に続く膨張操
作)を適用して、1を持つ孤立した領域を除去する。こ
れによって、図4dに示されたようにきれいに平滑な境
界を備える1を持つ画素の関係要素(関係領域)の集合
が得られる。注意するのは、関係要素は、やはり境界輪
郭を与える1つ以上の「ス」を持つかもしれないことで
ある。
l)閉操作[膨張(deilate)操作に続き侵食
(erode)操作]を適用して、閉と閉との間を1に
よって充填する、すなわち、図4cのスペックル領域を
「ベタ(solid)」領域で置換する。半径Kの画素
[KはQCIFフレームの場合11及びCIF(共通画
像方式)フレームの場合13]の円形カーネルを用いる
膨張操作及び侵食操作を使用する。特に、膨張操作はも
し元の0を持つ画素からK画素の距離内の他のどの画素
も1を持つ画素であるならば、元の0を持つ画素を1を
持つ画素で置換し、及び侵食操作はもし元の1を持つ画
素からK画素の距離内の全ての画素が全て1を持つ画素
でないならば、元の1を持つ画素を0を持つ画素で置換
する。この閉操作の後、開操作(侵食操作に続く膨張操
作)を適用して、1を持つ孤立した領域を除去する。こ
れによって、図4dに示されたようにきれいに平滑な境
界を備える1を持つ画素の関係要素(関係領域)の集合
が得られる。注意するのは、関係要素は、やはり境界輪
郭を与える1つ以上の「ス」を持つかもしれないことで
ある。
【0037】次いで、2進影像をラスタ走査して関係領
域及びそれらの境界輪郭(1を持つ画素でありかつ0を
持つ最隣接画素を少なくとも1つ有するような画素は、
境界輪郭画素と見なされる)を検出しかつ標識付けす
る。ccomp[前掲のバラード(Ballard)の
文献又は付録参照]のような手順をこれで完成すること
ができる。これらの領域の各々は、1つ以上の運動物体
と運動によって覆われない背景とを推定的に表示する。
小領域を、極端境界画素座標間の最小差のようなしきい
値を使用することによって無視することができる。この
ような小領域は、順次フレームを通じて成長し、遂には
後のフレームの運動故障領域内に起こる。もちろん、関
係領域はK画素半径膨張及び侵食カーネルより小さくな
ることはできない。小さくなるとしたならば、開操作を
経て生き残っていない。
域及びそれらの境界輪郭(1を持つ画素でありかつ0を
持つ最隣接画素を少なくとも1つ有するような画素は、
境界輪郭画素と見なされる)を検出しかつ標識付けす
る。ccomp[前掲のバラード(Ballard)の
文献又は付録参照]のような手順をこれで完成すること
ができる。これらの領域の各々は、1つ以上の運動物体
と運動によって覆われない背景とを推定的に表示する。
小領域を、極端境界画素座標間の最小差のようなしきい
値を使用することによって無視することができる。この
ような小領域は、順次フレームを通じて成長し、遂には
後のフレームの運動故障領域内に起こる。もちろん、関
係領域はK画素半径膨張及び侵食カーネルより小さくな
ることはできない。小さくなるとしたならば、開操作を
経て生き残っていない。
【0038】輪郭表現 本発明の好適実施例は、スプライン近似又は輪郭をスト
ラドルする(straddle)ブロックのどちらかに
よる境界輪郭コード化に関するオプションを有し、これ
によって高解像度又は低解像度のどちらかを選択でき、
ぞれゆえスケーラビリティを提供する。ブロック表現を
用いる境界輪郭コード化は、少数のビットしか使用しな
いが、スプライン表現よりも正確でない。それゆえ、ト
レードオフが存在し、これは応用に従って選択される。
ラドルする(straddle)ブロックのどちらかに
よる境界輪郭コード化に関するオプションを有し、これ
によって高解像度又は低解像度のどちらかを選択でき、
ぞれゆえスケーラビリティを提供する。ブロック表現を
用いる境界輪郭コード化は、少数のビットしか使用しな
いが、スプライン表現よりも正確でない。それゆえ、ト
レードオフが存在し、これは応用に従って選択される。
【0039】(i) ブロック境界輪郭表現 前掲の節においてフレームFN から導出された2進影像
内の関係領域の各々毎に、最小境界画素及び最大境界画
素のx座標及びy座標を見付けることによってこの領域
に対する境界長方形を見付ける。最小x座標(x0 )及
び最小y座標(y0 )は長方形の左下隅(x0 ,y0 )
を定義し、及び最大x座標(x1 ,y1)は右上隅を定
義する。関係領域を示す図5a及びこの領域と境界長方
形とを示す図5b参照。
内の関係領域の各々毎に、最小境界画素及び最大境界画
素のx座標及びy座標を見付けることによってこの領域
に対する境界長方形を見付ける。最小x座標(x0 )及
び最小y座標(y0 )は長方形の左下隅(x0 ,y0 )
を定義し、及び最大x座標(x1 ,y1)は右上隅を定
義する。関係領域を示す図5a及びこの領域と境界長方
形とを示す図5b参照。
【0040】次に、(x0 ,y0 )から出発して16×
16画素マクロブロックを用いてかつもしこの長方形の
辺が16画素の倍数でなければ、この長方形の上縁及び
(又は)右縁を過ぎて延びるマクロブロックを用いてこ
の長方形をタイルする。タイリングを示す図5c参照。
もしこのタイリングがこのフレームの外側へ延びるなら
ば、タイリングがこのフレーム内にちょうど維持される
ように隅(x0 ,y0)を移行させる。
16画素マクロブロックを用いてかつもしこの長方形の
辺が16画素の倍数でなければ、この長方形の上縁及び
(又は)右縁を過ぎて延びるマクロブロックを用いてこ
の長方形をタイルする。タイリングを示す図5c参照。
もしこのタイリングがこのフレームの外側へ延びるなら
ば、タイリングがこのフレーム内にちょうど維持される
ように隅(x0 ,y0)を移行させる。
【0041】マクロブロックの256画素のうちの少な
くとも50画素(すなわち、少なくとも20%)を領域
の境界上に有するか又はこの領域内側に有するようなタ
イリングマクロブロックを表す1及びこのようでないマ
クロブロックを表す0を用いてビットマップを形成す
る。これによって境界輪郭のブロック記述、すなわち、
開始隅(x0 ,y0 )及びビットマップが提供される。
ビットマップを示す図5d参照。
くとも50画素(すなわち、少なくとも20%)を領域
の境界上に有するか又はこの領域内側に有するようなタ
イリングマクロブロックを表す1及びこのようでないマ
クロブロックを表す0を用いてビットマップを形成す
る。これによって境界輪郭のブロック記述、すなわち、
開始隅(x0 ,y0 )及びビットマップが提供される。
ビットマップを示す図5d参照。
【0042】もし領域が小さいならば、すなわち、もし
多くとも3ないし4マクロブロックがその境界長方形を
タイルするならば、その隅及びビットマップ情報を伝送
する。領域が大きい場合、より効率的なコード化プロセ
スは、次のようである。まず、ビットマップを先行フレ
ームのビットマップと比較する。典型的に、先行フレー
ムは3ないし4ビットマップしか有さない。もしビット
マップの整合が見付かるならば、先行フレームのビット
マップの関連した隅(x’0 ,y’0 )を当該ビットマ
ップのそれ(x0 ,y0 )と比較する。次いで、もし
(x’0 ,y’0)が(x0 ,y0 )に等しいならば、
全ビットマップ及び隅の代わりにその隅及び先行フレー
ムのビットマップに整合するビットマップを表示する1
つのビットを伝送することができる。図6aはこの単一
ビット輪郭伝送を示す。
多くとも3ないし4マクロブロックがその境界長方形を
タイルするならば、その隅及びビットマップ情報を伝送
する。領域が大きい場合、より効率的なコード化プロセ
スは、次のようである。まず、ビットマップを先行フレ
ームのビットマップと比較する。典型的に、先行フレー
ムは3ないし4ビットマップしか有さない。もしビット
マップの整合が見付かるならば、先行フレームのビット
マップの関連した隅(x’0 ,y’0 )を当該ビットマ
ップのそれ(x0 ,y0 )と比較する。次いで、もし
(x’0 ,y’0)が(x0 ,y0 )に等しいならば、
全ビットマップ及び隅の代わりにその隅及び先行フレー
ムのビットマップに整合するビットマップを表示する1
つのビットを伝送することができる。図6aはこの単一
ビット輪郭伝送を示す。
【0043】同様に、もし先行フレームのビットマップ
とのビットマップ整合が見付かるがしかし関連した隅
(x’0 ,y’0 )が(x0 ,y0 )に等しくないなら
ば、全ビットマップ及び隅の代わりに移行ベクトル
[(x’0 ,y’0 )−(x0 ,y0 )]を伝送する。
この移行ベクトルは、物体が余り多くのフレームからフ
レームに掛けては運動しないので、典型的には、可なり
小さい。図6b参照。
とのビットマップ整合が見付かるがしかし関連した隅
(x’0 ,y’0 )が(x0 ,y0 )に等しくないなら
ば、全ビットマップ及び隅の代わりに移行ベクトル
[(x’0 ,y’0 )−(x0 ,y0 )]を伝送する。
この移行ベクトルは、物体が余り多くのフレームからフ
レームに掛けては運動しないので、典型的には、可なり
小さい。図6b参照。
【0044】もしビットマップ整合が見付からないが、
しかしビットマップ差がわずか4ないし5マクロブロッ
ク差のように大きくないならば、マクロブロックの追加
と除去の両方を行い、次いで変化したマクロブロックの
位置及び関連した長方形の隅のあらゆる移行ベクトル、
[(x’0 ,y’0 )−(x0 ,y0 )]を伝送する。
図6c参照。
しかしビットマップ差がわずか4ないし5マクロブロッ
ク差のように大きくないならば、マクロブロックの追加
と除去の両方を行い、次いで変化したマクロブロックの
位置及び関連した長方形の隅のあらゆる移行ベクトル、
[(x’0 ,y’0 )−(x0 ,y0 )]を伝送する。
図6c参照。
【0045】最後に、マクロブロック間に大きな差があ
る場合、隅(x0 ,y0 )だけを伝送し、かつ伝送に当
たって図6dに示されたように境界長方形内のマクロブ
ロックの行に沿うビットマップをランレングスコード化
する。注意するのは、領域内の充分に大きい「ス」及び
透かし(projection)があると1行内に何回
もランを起こすおそれがある。
る場合、隅(x0 ,y0 )だけを伝送し、かつ伝送に当
たって図6dに示されたように境界長方形内のマクロブ
ロックの行に沿うビットマップをランレングスコード化
する。注意するのは、領域内の充分に大きい「ス」及び
透かし(projection)があると1行内に何回
もランを起こすおそれがある。
【0046】(ii) スプライン境界輪郭表現 先行の節において導出された各関係領域毎に、その領域
の、あらゆる「ス」を含む、境界輪郭の隅点を見付け
る。注意するのは、半径が大体50画素の寸法の領域
は、その境界輪郭の内部に非常に粗く見積もって200
〜300画素を有し、それゆえ輪郭表現内の画素の約2
0%を使用することである。隅点に適合するカットミュ
ール・ロムスプライン[前掲のフォーレイ(Fole
y)の参考文献又は付録参照)は、境界を近似する。
の、あらゆる「ス」を含む、境界輪郭の隅点を見付け
る。注意するのは、半径が大体50画素の寸法の領域
は、その境界輪郭の内部に非常に粗く見積もって200
〜300画素を有し、それゆえ輪郭表現内の画素の約2
0%を使用することである。隅点に適合するカットミュ
ール・ロムスプライン[前掲のフォーレイ(Fole
y)の参考文献又は付録参照)は、境界を近似する。
【0047】運動推算 先行節において導出された各関係領域及びビットマップ
毎に、次のようにその領域の運動ベクトルを推算(予
測)する。まず、ビットマップによってその領域内にあ
ると表示されたマクロブロックに相当するフレームFN
内の各16×16画素マクロブロック毎に、このマクロ
ブロックを先行再生フレームFN-1 内のマクロブロック
であって、FN 内のこのマクロブロックを最高15画素
分だけ移行させたマクロブロック(探索領域)と比較す
る。この比較は、フレームFN 内の選択されたマクロブ
ロックとフレームFN-1 内の比較されるマクロブロック
との画素強度における絶対差の和であり、この和はマク
ロブロックの256画素にわたるものである。良好な整
合を得るためにこの比較による探索を副画素(sub−
pixel)解像度(補間による半画素を比較する)で
遂行しかつ全方向に15画だけ拡張する。絶対差の和を
最小にするようにフレームFN 内の選択されたマクロブ
ロックをフレームFN-1 内のマクロブロックへ移行させ
ることに相当する運動ベクトルを、この選択されたマク
ロブックの運動の推算として取り上げることができる。
注意するのは、ビットマップ内と同じマクロブロック位
置を使用することによって追加開始位置を伝送する必要
がなくなることである。図7は、運動ベクトルを示す。
毎に、次のようにその領域の運動ベクトルを推算(予
測)する。まず、ビットマップによってその領域内にあ
ると表示されたマクロブロックに相当するフレームFN
内の各16×16画素マクロブロック毎に、このマクロ
ブロックを先行再生フレームFN-1 内のマクロブロック
であって、FN 内のこのマクロブロックを最高15画素
分だけ移行させたマクロブロック(探索領域)と比較す
る。この比較は、フレームFN 内の選択されたマクロブ
ロックとフレームFN-1 内の比較されるマクロブロック
との画素強度における絶対差の和であり、この和はマク
ロブロックの256画素にわたるものである。良好な整
合を得るためにこの比較による探索を副画素(sub−
pixel)解像度(補間による半画素を比較する)で
遂行しかつ全方向に15画だけ拡張する。絶対差の和を
最小にするようにフレームFN 内の選択されたマクロブ
ロックをフレームFN-1 内のマクロブロックへ移行させ
ることに相当する運動ベクトルを、この選択されたマク
ロブックの運動の推算として取り上げることができる。
注意するのは、ビットマップ内と同じマクロブロック位
置を使用することによって追加開始位置を伝送する必要
がなくなることである。図7は、運動ベクトルを示す。
【0048】もし運動ベクトルを定義する絶対差の最小
和がしきい値より大きいならば、フレームFN-1 内で探
索されたマクロブロックのどれもフレームFN 内の選択
されたマクロブロックと充分に整合せず、それゆえ運動
ベクトル表示は使用されない。そうでなく、選択された
マクロブロックを(全体としてフレーム内コード化され
た)Iブロックとして、しかし(先行フレームのブロッ
クの移行として予測された)Pブロックとしてではな
く、単にコード化する。
和がしきい値より大きいならば、フレームFN-1 内で探
索されたマクロブロックのどれもフレームFN 内の選択
されたマクロブロックと充分に整合せず、それゆえ運動
ベクトル表示は使用されない。そうでなく、選択された
マクロブロックを(全体としてフレーム内コード化され
た)Iブロックとして、しかし(先行フレームのブロッ
クの移行として予測された)Pブロックとしてではな
く、単にコード化する。
【0049】次に、運動ベクトルを有するマクロブロッ
ク毎に、そのマクロブロックをフレームFN 内の8×8
画素ブロックに再分し、フレームFN-1 の8×8画素ブ
ロックの移行したものとの比較を繰り返して各8×8画
素ブロック毎に運動ベクトルを見付ける。もし8×8画
素ブロックの4つの運動ベクトルに必要なコードビット
の合計数が16×16画素マクロブロックの運動ベクト
ルに必要なコードビットの数より小さいならば、かつも
し4つの運動ベクトルの使用に伴う重み付け誤りが単一
マクロブロック運動ベクトルと比較されるならば、8×
8画素ブロック運動ベクトルを使用する。
ク毎に、そのマクロブロックをフレームFN 内の8×8
画素ブロックに再分し、フレームFN-1 の8×8画素ブ
ロックの移行したものとの比較を繰り返して各8×8画
素ブロック毎に運動ベクトルを見付ける。もし8×8画
素ブロックの4つの運動ベクトルに必要なコードビット
の合計数が16×16画素マクロブロックの運動ベクト
ルに必要なコードビットの数より小さいならば、かつも
し4つの運動ベクトルの使用に伴う重み付け誤りが単一
マクロブロック運動ベクトルと比較されるならば、8×
8画素ブロック運動ベクトルを使用する。
【0050】その領域内にあるフレームFN 内の全ての
マクロブロックにわたる運動ベクトルを平均して、その
領域全体に対する平均運動ベクトルを見付ける。次い
で、もしマクロブロックの運動ベルトルのどれもが平均
運動ベクトルとしきい値を超える値だけ異なるならば、
平均運動ベクトルのみを伝送するだけでよい。また、平
均運動ベクトルを、後出の誤りいんぺいの節に挙げる誤
り回復に使用することができる。
マクロブロックにわたる運動ベクトルを平均して、その
領域全体に対する平均運動ベクトルを見付ける。次い
で、もしマクロブロックの運動ベルトルのどれもが平均
運動ベクトルとしきい値を超える値だけ異なるならば、
平均運動ベクトルのみを伝送するだけでよい。また、平
均運動ベクトルを、後出の誤りいんぺいの節に挙げる誤
り回復に使用することができる。
【0051】それゆえ、上述のセグメンテーションの節
でフレームFN 内に見付けられた各関係領域毎に、運動
ベクトル及びビットマップを伝送する。典型的に、17
6×144画素のフレームを用いるテレビ会議は、期待
される2ないし4の関係領域の形状をコード化するため
に100〜150ビット及び運動ベクトル用に200〜
300ビットを必要とする。
でフレームFN 内に見付けられた各関係領域毎に、運動
ベクトル及びビットマップを伝送する。典型的に、17
6×144画素のフレームを用いるテレビ会議は、期待
される2ないし4の関係領域の形状をコード化するため
に100〜150ビット及び運動ベクトル用に200〜
300ビットを必要とする。
【0052】また、オプショナル8×8画素ブロック又
は16×16画素マクロブロックの運動ベクトル、及び
これらの重なり運動補償技術も使用されることがある。
は16×16画素マクロブロックの運動ベクトル、及び
これらの重なり運動補償技術も使用されることがある。
【0053】運動故障領域検出 フレームFN への近似を、運動ベクトル及び先行の節で
見付けられたフレームFN-1 から求めた相当する(マク
ロ)ブロックを使用することによって、再生フレームF
N-1 から合成することができる。すなわち、セグメンテ
イーションの節において見付けられた、異なる領域の外
側に存在するフレームFN の部分内の画素に対して、フ
レームFN-1 内の相当する画素の値を利用し、及び関係
領域内の画素に対して、フレームFN-1 内の相当する画
素の値、つまり運動ベクトルがフレームFN 内のこの画
素を含むマクロブロックへ移行するような相当する画素
の値を使用する。運動ベクトルとフレームFN-1 から得
られる相当する(マクロ)ブロックとを使用することに
よって合成された近似内の相当する画素の強度からしき
い値を超える値だけ異なる強度を有するフレームFN 内
の画素は、運動故障領域を表示する。この運動故障領域
を取り扱うために、強度差がしきい値を設定され、次い
でメジアンフィルタ処理され、かつ、上掲の物体検出及
びセグメンテーションの節で説明したフレームFN-1 と
フレームFN と差の場合と同じように形態素閉操作及び
同開操作を施される。注意するのは、運動故障領域は、
運動物体領域の外側に存在することである。これを示す
図8参照。
見付けられたフレームFN-1 から求めた相当する(マク
ロ)ブロックを使用することによって、再生フレームF
N-1 から合成することができる。すなわち、セグメンテ
イーションの節において見付けられた、異なる領域の外
側に存在するフレームFN の部分内の画素に対して、フ
レームFN-1 内の相当する画素の値を利用し、及び関係
領域内の画素に対して、フレームFN-1 内の相当する画
素の値、つまり運動ベクトルがフレームFN 内のこの画
素を含むマクロブロックへ移行するような相当する画素
の値を使用する。運動ベクトルとフレームFN-1 から得
られる相当する(マクロ)ブロックとを使用することに
よって合成された近似内の相当する画素の強度からしき
い値を超える値だけ異なる強度を有するフレームFN 内
の画素は、運動故障領域を表示する。この運動故障領域
を取り扱うために、強度差がしきい値を設定され、次い
でメジアンフィルタ処理され、かつ、上掲の物体検出及
びセグメンテーションの節で説明したフレームFN-1 と
フレームFN と差の場合と同じように形態素閉操作及び
同開操作を施される。注意するのは、運動故障領域は、
運動物体領域の外側に存在することである。これを示す
図8参照。
【0054】もしスプライン境界輪郭が使用されたなら
ば、境界輪郭の内側のマクロブロックの部分のみを考え
る。
ば、境界輪郭の内側のマクロブロックの部分のみを考え
る。
【0055】残留信号コード化 運動故障領域を次のようにコード化する。これらの運動
故障領域を前掲の境界輪郭の節で説明したビットマップ
の16×16画素マクロブロックで以てタイルする。こ
れによって、タイリイングに対する開始画素を伝送する
必要がなくなる。なぜならば、この開始画像は、ビット
マップに対するものと同じであるからである。これはま
た、タイリングが物体と共に運動し、ゆえに変化を示す
ことを意味する。
故障領域を前掲の境界輪郭の節で説明したビットマップ
の16×16画素マクロブロックで以てタイルする。こ
れによって、タイリイングに対する開始画素を伝送する
必要がなくなる。なぜならば、この開始画像は、ビット
マップに対するものと同じであるからである。これはま
た、タイリングが物体と共に運動し、ゆえに変化を示す
ことを意味する。
【0056】これらの運動故障領域に対して、各マクロ
ブロック内に、単に、DCTを適用し、係数を量子化
し、ランレングスコード化、次いでホフマンコード化を
行う。格子内のマクロブロックを示す図9参照。
ブロック内に、単に、DCTを適用し、係数を量子化
し、ランレングスコード化、次いでホフマンコード化を
行う。格子内のマクロブロックを示す図9参照。
【0057】本発明の好適実施例の運動故障領域コード
化は、DCT又はDPCM(差分PCM)の代わりにウ
ェーブレット変換を使用する。特に、好適実施例は、図
9に示された運動故障領域のマクロブロック上のウェー
ブレット変換を使用する。ウェーブレット変換は慣例で
は親(mother)ウェーブレットΨO及び親スケー
リング関数ΦOの移行及び膨張に基づく全フレーム変換
であり、ΨO及びΦOの両方は特定親ウェーブレットに
応じて、少数の隣接画素のみに対して本質的に非零であ
ると云うことを想起されたい。したがって、一次元にお
けるウェーブレット変換に対する基本関数は、整数n及
びmに対して、Ψn,m (t)=2-m/2Ψ(2-mt−n)
である。ΨO及びΦOは、sin(kt)及びcos
(kt)の直交性に類似した直交移行及び直交膨張を行
うように選択され、それゆえ変換を積分(離散の場合は
加算)によって容易に計算することができる。二次元変
換は、各次元におけるΨn,m Oの積として基本関数を単
に使用する。注意するのは、添字nは移行を表示し、添
字mは膨張を表示することである。圧縮は、DCTを用
いる圧縮に類似した変換係数の量子化から起こる。例と
して、ウェーブレット変換を論じた、アントニー他の、
ウェーブレット変換を使用する影像コーディング、(米
国)電気電子学会論文誌1、影像処理、205(199
2年)[Antonni et al.,Image
Coding Using Wavelet Tran
sform、1 IEEE Tran.Image P
roc.205(1992)]及びマラートの、多解信
号分解に関する理論:ウェーブレット表現、(米国)電
気電子学会論文誌11、パターン分析及び知能機械、6
74(1989年)[A Theory for Mu
ltisolutionSignal Decompo
sition: The Wavelet Repre
sentation,11 IEEE Tran.An
al.Mach.Intel.674(1989)]参
照。離散変数に対して、ウェーブレット変換は、また、
サブバンドフィルタリングと見なされる。すなわち、そ
のフィルタ出力は、変換係数の集合からの再生である。
ウェーブレット変換は、影像を次のようなフィルタリン
グを通して4つのサブバンドに分解する順次ステージ踏
んで進行する。すなわち、水平低域通過と共に垂直低域
通過、水平高域通過共に垂直低域通過、水平低域通過と
共に垂直高域通過、及び水平高域通過と共に垂直高域通
過。第1ステージで、高域通過フィルタリングは移行Ψ
n,1 を用いるたたみ込みでありかつ低域通過フィルタリ
ングはスケール関数移行Φn,1 を用いるたたみ込みであ
る。第2ステージで、水平及び垂直の両方における低域
通過の第1ステージサブバンドの出力が4つのサブバン
ドへ再びフィルタされるが、しかし高域通過フィルタリ
ングはΨn,2 を用いるたたみ込みであり、Ψn,2 は或る
意味ではΨn,1 の周波数の半分の周波数を有し、同様に
低域通過フィルタリングはΦn,2を用いるたたみ込みで
ある。図10a及び10bは、各フィルタされた影像を
各方向で2分してサブサンプルすることができ、それゆ
え4つの出力影像が元の入力影像と同じ数の画素を有す
る。好適実施例は、倍直交ウェーブレットを使用するこ
とがあり、これは線形位相を有するフィルタを提供す
る。倍直交ウェーブレットは、上に説明した直交ウェー
ブレットに類似しているが、しかし(分解ステージ及び
再生ステージ用に)2つの関連した親ウェーブレット及
び2つの関連した親スケーリング関数を使用する。例え
ば、良好な倍直交ウェーブレットの数例を提供するヴィ
ラセノー他の、ウェーブレット影像圧縮におけるフィル
タ評価及び選択、データ圧縮会議の(米国)電気電子学
会会報、スノーバード、ユタ(1994年)[Vill
asenor et al.,Filter Eval
uationand Selection in We
velet ImageCompression,IE
EE Proceedings of DataCom
pression Conference,Snowb
ird Utah(1994)]参照。好適実施例は、
ヴィラセノー(Villasenor)の論文による
(6,2)タップフィルタ対を使用することがある。こ
のフィルタは、次の低域フィルタ係数を有する。分析フ
ィルタ及び合成フィルタ用に、h0 =0.70710
7、h1 =0.707107、及びg0 =−0.088
388、g1 =0.088388、g2 =0.7071
07、g3 =0.707107、g4 =0.08838
8、g5 =−0.088388
化は、DCT又はDPCM(差分PCM)の代わりにウ
ェーブレット変換を使用する。特に、好適実施例は、図
9に示された運動故障領域のマクロブロック上のウェー
ブレット変換を使用する。ウェーブレット変換は慣例で
は親(mother)ウェーブレットΨO及び親スケー
リング関数ΦOの移行及び膨張に基づく全フレーム変換
であり、ΨO及びΦOの両方は特定親ウェーブレットに
応じて、少数の隣接画素のみに対して本質的に非零であ
ると云うことを想起されたい。したがって、一次元にお
けるウェーブレット変換に対する基本関数は、整数n及
びmに対して、Ψn,m (t)=2-m/2Ψ(2-mt−n)
である。ΨO及びΦOは、sin(kt)及びcos
(kt)の直交性に類似した直交移行及び直交膨張を行
うように選択され、それゆえ変換を積分(離散の場合は
加算)によって容易に計算することができる。二次元変
換は、各次元におけるΨn,m Oの積として基本関数を単
に使用する。注意するのは、添字nは移行を表示し、添
字mは膨張を表示することである。圧縮は、DCTを用
いる圧縮に類似した変換係数の量子化から起こる。例と
して、ウェーブレット変換を論じた、アントニー他の、
ウェーブレット変換を使用する影像コーディング、(米
国)電気電子学会論文誌1、影像処理、205(199
2年)[Antonni et al.,Image
Coding Using Wavelet Tran
sform、1 IEEE Tran.Image P
roc.205(1992)]及びマラートの、多解信
号分解に関する理論:ウェーブレット表現、(米国)電
気電子学会論文誌11、パターン分析及び知能機械、6
74(1989年)[A Theory for Mu
ltisolutionSignal Decompo
sition: The Wavelet Repre
sentation,11 IEEE Tran.An
al.Mach.Intel.674(1989)]参
照。離散変数に対して、ウェーブレット変換は、また、
サブバンドフィルタリングと見なされる。すなわち、そ
のフィルタ出力は、変換係数の集合からの再生である。
ウェーブレット変換は、影像を次のようなフィルタリン
グを通して4つのサブバンドに分解する順次ステージ踏
んで進行する。すなわち、水平低域通過と共に垂直低域
通過、水平高域通過共に垂直低域通過、水平低域通過と
共に垂直高域通過、及び水平高域通過と共に垂直高域通
過。第1ステージで、高域通過フィルタリングは移行Ψ
n,1 を用いるたたみ込みでありかつ低域通過フィルタリ
ングはスケール関数移行Φn,1 を用いるたたみ込みであ
る。第2ステージで、水平及び垂直の両方における低域
通過の第1ステージサブバンドの出力が4つのサブバン
ドへ再びフィルタされるが、しかし高域通過フィルタリ
ングはΨn,2 を用いるたたみ込みであり、Ψn,2 は或る
意味ではΨn,1 の周波数の半分の周波数を有し、同様に
低域通過フィルタリングはΦn,2を用いるたたみ込みで
ある。図10a及び10bは、各フィルタされた影像を
各方向で2分してサブサンプルすることができ、それゆ
え4つの出力影像が元の入力影像と同じ数の画素を有す
る。好適実施例は、倍直交ウェーブレットを使用するこ
とがあり、これは線形位相を有するフィルタを提供す
る。倍直交ウェーブレットは、上に説明した直交ウェー
ブレットに類似しているが、しかし(分解ステージ及び
再生ステージ用に)2つの関連した親ウェーブレット及
び2つの関連した親スケーリング関数を使用する。例え
ば、良好な倍直交ウェーブレットの数例を提供するヴィ
ラセノー他の、ウェーブレット影像圧縮におけるフィル
タ評価及び選択、データ圧縮会議の(米国)電気電子学
会会報、スノーバード、ユタ(1994年)[Vill
asenor et al.,Filter Eval
uationand Selection in We
velet ImageCompression,IE
EE Proceedings of DataCom
pression Conference,Snowb
ird Utah(1994)]参照。好適実施例は、
ヴィラセノー(Villasenor)の論文による
(6,2)タップフィルタ対を使用することがある。こ
のフィルタは、次の低域フィルタ係数を有する。分析フ
ィルタ及び合成フィルタ用に、h0 =0.70710
7、h1 =0.707107、及びg0 =−0.088
388、g1 =0.088388、g2 =0.7071
07、g3 =0.707107、g4 =0.08838
8、g5 =−0.088388
【0058】好適実施例のウェーブレット変換は、一般
に、元の影像内の注目の元の領域に相当する領域であっ
て各ステージにおけるサブバンド内の領域のみをコード
化することによって影像内の注目の領域だけ内の情報を
選択的にコード化する。フィルタされたサブバンド出力
内にいかに領域が現れるかを発見的に示す図11a〜1
1c参照。この調査研究は、注目の領域の外側でビット
を消費するのを回避しかつビデオ品質を向上する。運動
故障領域向け特定用途は、注目の領域のみをコード化す
る特別の場合である。注意するのは、H・J・バーナー
ド(H.J.Barnard)の論文「ウェーブレット
分解を使用する影像及びビデオコーディング」、デフル
ト工科大学、1994年(“Image and Vi
deoCoding Using a Wavelet
Decomposition”,Technisch
e Universiteit Deflt,199
4)が影像を比較的均一の領域にセグンメント化し、次
いで異なるウェーブレット変換を使用して各領域をコー
ド化しかつ個々の単一画像のみを考慮し、ビデオの連続
のフレームを考慮に入れないことである。バーナード
(Barnard)の方法は、また、ウェーブレット変
換を各領域形状毎に修正することを必要とし、これがそ
のフィルタリングステージ及びコード化ステージに複雑
性を加える。本発明の好適実施例は、単一フィルタリン
グ変換を使用する。更に、本発明の好実施例は、注目の
領域に適用され、バーナードの方法におけるようにフレ
ーム全体を充填する均一領域に適用されるのではない。
に、元の影像内の注目の元の領域に相当する領域であっ
て各ステージにおけるサブバンド内の領域のみをコード
化することによって影像内の注目の領域だけ内の情報を
選択的にコード化する。フィルタされたサブバンド出力
内にいかに領域が現れるかを発見的に示す図11a〜1
1c参照。この調査研究は、注目の領域の外側でビット
を消費するのを回避しかつビデオ品質を向上する。運動
故障領域向け特定用途は、注目の領域のみをコード化す
る特別の場合である。注意するのは、H・J・バーナー
ド(H.J.Barnard)の論文「ウェーブレット
分解を使用する影像及びビデオコーディング」、デフル
ト工科大学、1994年(“Image and Vi
deoCoding Using a Wavelet
Decomposition”,Technisch
e Universiteit Deflt,199
4)が影像を比較的均一の領域にセグンメント化し、次
いで異なるウェーブレット変換を使用して各領域をコー
ド化しかつ個々の単一画像のみを考慮し、ビデオの連続
のフレームを考慮に入れないことである。バーナード
(Barnard)の方法は、また、ウェーブレット変
換を各領域形状毎に修正することを必要とし、これがそ
のフィルタリングステージ及びコード化ステージに複雑
性を加える。本発明の好適実施例は、単一フィルタリン
グ変換を使用する。更に、本発明の好実施例は、注目の
領域に適用され、バーナードの方法におけるようにフレ
ーム全体を充填する均一領域に適用されるのではない。
【0059】本発明の好適実施例は、ビットマップを用
いて注目の領域を表す。ビットマップは、所与の影像内
のどの画素が注目の領域内に存在するかを表す。最も簡
単な型式は、コード化されるか又はコード化されないか
を表す2進マップである。もし2値より多くの値がマッ
プに使用されるならば、変動優先権を異なる領域に与え
ることができる。このマップは、また、デコーダに副情
報として伝送される。効率上、マップ情報を運動補償情
報のような他の副情報と組み合わせて送ることができ
る。
いて注目の領域を表す。ビットマップは、所与の影像内
のどの画素が注目の領域内に存在するかを表す。最も簡
単な型式は、コード化されるか又はコード化されないか
を表す2進マップである。もし2値より多くの値がマッ
プに使用されるならば、変動優先権を異なる領域に与え
ることができる。このマップは、また、デコーダに副情
報として伝送される。効率上、マップ情報を運動補償情
報のような他の副情報と組み合わせて送ることができ
る。
【0060】マップは、量子化中使用される。ウェーブ
レット変換は、影像をサブバンドに分解するので、第1
ステップはマップをサブバンド構造に変換することであ
るすなわち、サブバンド出力影像内のどの位置が元のマ
ップに相当するかを判定する)。これが、コード化され
るサブバンド内に副領域の集合を発生する。図11a〜
11cは副領域を示す。すなわち、図11aは示された
注目の領域を有する元の影像マップを示し、図11bは
分解の1ステージの後にコード化される相当する注目の
領域を有する4つのサブバンド出力を示す。図11c
は、2ステージの後のかつ注目の領域を有するサブバン
ド構造を示す。
レット変換は、影像をサブバンドに分解するので、第1
ステップはマップをサブバンド構造に変換することであ
るすなわち、サブバンド出力影像内のどの位置が元のマ
ップに相当するかを判定する)。これが、コード化され
るサブバンド内に副領域の集合を発生する。図11a〜
11cは副領域を示す。すなわち、図11aは示された
注目の領域を有する元の影像マップを示し、図11bは
分解の1ステージの後にコード化される相当する注目の
領域を有する4つのサブバンド出力を示す。図11c
は、2ステージの後のかつ注目の領域を有するサブバン
ド構造を示す。
【0061】好適実施例は、まず、注目の領域の外側の
画素を0に設定し、次いでウェーブレット分解を適用す
る(サブバンドフィルタリングステージ)。分解の後か
つウェーブレット変換係数の量子化中、エンコーダは、
コード化される注目の副領域内に存在する値に関する情
報しか送らない。係数の量子化は、DCT変換係数量子
化に類似の圧縮を行う。実験が示す所では、ビデオ品質
は注目の領域調査研究を使用する圧縮を用いる方がこれ
を使用しない場合に比較して向上する。
画素を0に設定し、次いでウェーブレット分解を適用す
る(サブバンドフィルタリングステージ)。分解の後か
つウェーブレット変換係数の量子化中、エンコーダは、
コード化される注目の副領域内に存在する値に関する情
報しか送らない。係数の量子化は、DCT変換係数量子
化に類似の圧縮を行う。実験が示す所では、ビデオ品質
は注目の領域調査研究を使用する圧縮を用いる方がこれ
を使用しない場合に比較して向上する。
【0062】ウェーブレットフィルタリングプロセスは
情報をいくらかスミヤしかつ注目の領域の境界の外側を
スミヤする情報はいずれも喪失するので、注目の選択さ
れた領域の縁に近い値を表すに当たって僅かながら或る
程度の情報が犠牲にされる。このことは、たとえ注目の
領域内の値が完全にコード化されたとしても注目の領域
の内側の値を完全に再生する保証がないことを意味す
る。実際には、これは厳しい障害に当たらないと思われ
る。なぜならば、典型的な圧縮を適用するのに必要な量
子化のレベルから考えると、それらの影像は完全再生レ
ベルにはいずれにしても遠く及ばず、したがってそれら
の縁の近くに小さい影響があっても実際目的上無視する
ことができるからである。
情報をいくらかスミヤしかつ注目の領域の境界の外側を
スミヤする情報はいずれも喪失するので、注目の選択さ
れた領域の縁に近い値を表すに当たって僅かながら或る
程度の情報が犠牲にされる。このことは、たとえ注目の
領域内の値が完全にコード化されたとしても注目の領域
の内側の値を完全に再生する保証がないことを意味す
る。実際には、これは厳しい障害に当たらないと思われ
る。なぜならば、典型的な圧縮を適用するのに必要な量
子化のレベルから考えると、それらの影像は完全再生レ
ベルにはいずれにしても遠く及ばず、したがってそれら
の縁の近くに小さい影響があっても実際目的上無視する
ことができるからである。
【0063】好適実施例は、変換係数に対して零木量子
化方法使用することがある。単一影像に適用される零木
方法の詳細については、シャピロの、ウェーブレット係
数の零木を使用する埋込み影像コーディング、(米国)
電気電子学会誌41、信号処理、3445(1993
年)[Shapiro、Embedded Image
Coding Using Zerotrees of
Wavelet cofficients,41 I
EEE Trans.Sig.Proc.3445(1
993)]参照。零木方法は、注目の副領域内に存在す
る零木のみがコード化されることを物語る。もちろん、
他の量子化方法を零木方法の代わりに使用することもで
きる。図12は、零木の配置関係を示す。
化方法使用することがある。単一影像に適用される零木
方法の詳細については、シャピロの、ウェーブレット係
数の零木を使用する埋込み影像コーディング、(米国)
電気電子学会誌41、信号処理、3445(1993
年)[Shapiro、Embedded Image
Coding Using Zerotrees of
Wavelet cofficients,41 I
EEE Trans.Sig.Proc.3445(1
993)]参照。零木方法は、注目の副領域内に存在す
る零木のみがコード化されることを物語る。もちろん、
他の量子化方法を零木方法の代わりに使用することもで
きる。図12は、零木の配置関係を示す。
【0064】応用に当たって、注目の領域を、(運動補
償後のビデオ量子化のような)多数の誤りを含む領域、
又は(顔のような)知覚的に重要な影像特徴に相当する
領域、又はスケーラブル圧縮用物体のような多くの点か
ら選択することができる。領域を選択する能力を有する
ことは、残留影像が典型的にそのフレームにわたって均
一に拡散するのではなく、運動の領域内に集中された情
報を含む場合特に有効である。
償後のビデオ量子化のような)多数の誤りを含む領域、
又は(顔のような)知覚的に重要な影像特徴に相当する
領域、又はスケーラブル圧縮用物体のような多くの点か
ら選択することができる。領域を選択する能力を有する
ことは、残留影像が典型的にそのフレームにわたって均
一に拡散するのではなく、運動の領域内に集中された情
報を含む場合特に有効である。
【0065】注目の領域を、運動補償の後にしきい値を
超える誤りを有するマクロブロックとして選択すること
ができる。この応用は、本質的に、注目の領域のマップ
情報を運動補償情報と組み合わせる。更に、上述のよう
に、注目の領域は、物体及びそれらの運動故障領域を覆
うマクロブロックであることもあり得る。
超える誤りを有するマクロブロックとして選択すること
ができる。この応用は、本質的に、注目の領域のマップ
情報を運動補償情報と組み合わせる。更に、上述のよう
に、注目の領域は、物体及びそれらの運動故障領域を覆
うマクロブロックであることもあり得る。
【0066】図13は、注目の領域上のウェーブレット
変換を使用するビデオ圧縮装置を示す。
変換を使用するビデオ圧縮装置を示す。
【0067】本発明の代替好適実施例は、運動故障領域
マクロブロック上のウェーブレット変換を使用し、かつ
これらのマクロブロックを方形格子に整列させることが
ある。
マクロブロック上のウェーブレット変換を使用し、かつ
これらのマクロブロックを方形格子に整列させることが
ある。
【0068】(1) まず、I画像として第零フレーム
F0 をコード化する。フレーム全体の多レベル分解を計
算し、結果のウェーブレット係数を量子化し、コード化
し、伝送する。この好適実施例は、量子化及びコード化
の零木方法を使用する。I画像であることになるどの後
続フレームFN も同じようにコード化することができ
る。
F0 をコード化する。フレーム全体の多レベル分解を計
算し、結果のウェーブレット係数を量子化し、コード化
し、伝送する。この好適実施例は、量子化及びコード化
の零木方法を使用する。I画像であることになるどの後
続フレームFN も同じようにコード化することができ
る。
【0069】(2) P画像(I画像でない)としてコ
ード化された各フレーム毎に、そのフレーム内の画素値
を先行の再生フレーム内の画素値と比較することによっ
て入力フレームに運動補償を遂行する。結果の予測され
たフレームを入力フレームから減算して残留影像(予測
された画素値と実際画素値との間の差)を発生する。運
動補償を、先に説明したセグメンテーション調査研究を
使用して、又は(H.263におけるように)単にブロ
ックからブロック式で行うことができる。結果の運動ベ
クトル情報をコード化しかつ伝送する。
ード化された各フレーム毎に、そのフレーム内の画素値
を先行の再生フレーム内の画素値と比較することによっ
て入力フレームに運動補償を遂行する。結果の予測され
たフレームを入力フレームから減算して残留影像(予測
された画素値と実際画素値との間の差)を発生する。運
動補償を、先に説明したセグメンテーション調査研究を
使用して、又は(H.263におけるように)単にブロ
ックからブロック式で行うことができる。結果の運動ベ
クトル情報をコード化しかつ伝送する。
【0070】(3) ステップ(2)で計算された各残
留影像毎に、追加の情報を送ることを必要とする注目の
領域を決定する。これは、先に説明した運動補償故障調
査研究を使用して、又は或るマクロブロック内の平方残
留値の和をしきい値と比較し、しきい値より高い残留値
を持つマクロブロックのみを注目の領域に含むことによ
って単にマクロブロック単位で実施することができる。
このマップをコード化しかつ伝送する。ステップ(2)
においてマップ情報を運動ベクトル情報と相関させてい
るので、代替好適実施例は、必要とされるビットの数を
減少させるために運動ベクトル及びマップ情報を一緒に
コード化しかつ伝送する。
留影像毎に、追加の情報を送ることを必要とする注目の
領域を決定する。これは、先に説明した運動補償故障調
査研究を使用して、又は或るマクロブロック内の平方残
留値の和をしきい値と比較し、しきい値より高い残留値
を持つマクロブロックのみを注目の領域に含むことによ
って単にマクロブロック単位で実施することができる。
このマップをコード化しかつ伝送する。ステップ(2)
においてマップ情報を運動ベクトル情報と相関させてい
るので、代替好適実施例は、必要とされるビットの数を
減少させるために運動ベクトル及びマップ情報を一緒に
コード化しかつ伝送する。
【0071】(4) ステップ(2)で計算された残留
影像及びステップ(3)で発生された注目の領域のマッ
プを使用して、注目の領域の外側の位置に相当する値で
あって残留影像内にあるこれらの値を零に設定すること
ができる。これは、注目の領域の外側の値がウェーブレ
ット分解の後に注目の領域内の値に影響しないことを保
証する。ステップ(4)は、オプショナルであって、も
し領域に基づくウェーブレット調査研究が運動補償され
た残留影像以外のなにかに適用されるならば、適当でな
い。
影像及びステップ(3)で発生された注目の領域のマッ
プを使用して、注目の領域の外側の位置に相当する値で
あって残留影像内にあるこれらの値を零に設定すること
ができる。これは、注目の領域の外側の値がウェーブレ
ット分解の後に注目の領域内の値に影響しないことを保
証する。ステップ(4)は、オプショナルであって、も
し領域に基づくウェーブレット調査研究が運動補償され
た残留影像以外のなにかに適用されるならば、適当でな
い。
【0072】(5) 慣例の多レベルウェーブレット分
解をステップ(4)で計算された影像に適用する。注目
の領域内でのみフィルタリングを遂行することによって
(高い複雑性を犠牲にして)フィルタリング操作の数を
減少させることができる。しかしながら、ステップ
(4)において零に設定する操作を行っているので、影
像全体にフィルタリングを遂行することによるのと同じ
結果を得ることになり、これがフィルタリングステージ
を簡単化する。
解をステップ(4)で計算された影像に適用する。注目
の領域内でのみフィルタリングを遂行することによって
(高い複雑性を犠牲にして)フィルタリング操作の数を
減少させることができる。しかしながら、ステップ
(4)において零に設定する操作を行っているので、影
像全体にフィルタリングを遂行することによるのと同じ
結果を得ることになり、これがフィルタリングステージ
を簡単化する。
【0073】(6) ステップ(5)で発生された分解
影像を、次に、量子化しかつコード化する。分解された
サブバンド内のどの相当するウェーブレット係数を考慮
するべきか指定するために、注目の領域のマップを使用
する。図11は、サブバンド内のどの副領域がコード化
されるべきかを表示するためにいかに注目の領域のマッ
プを使用するかを示す。次に、注目の副領域内の全ての
係数を量子化しかつコード化する。本発明の好適実施例
はシャピロ(Shapiro)による零木調査研究の修
正を使用するので、これはサブバンドとスカラ量子化と
算術コード化との間の相関を組み合わせる。零木調査研
究は、注目の副領域内の係数に適用される。他の量子化
及びコード化調査研究も、もし注目の副領域内のコード
係数をコード化するのみであるように修正されるなら
ば、使用することができる。次いで、量子化及びコード
化ステップの出力ビットを伝送する。結果の量子化され
た分解影像は、ステップ(7)で使用される。
影像を、次に、量子化しかつコード化する。分解された
サブバンド内のどの相当するウェーブレット係数を考慮
するべきか指定するために、注目の領域のマップを使用
する。図11は、サブバンド内のどの副領域がコード化
されるべきかを表示するためにいかに注目の領域のマッ
プを使用するかを示す。次に、注目の副領域内の全ての
係数を量子化しかつコード化する。本発明の好適実施例
はシャピロ(Shapiro)による零木調査研究の修
正を使用するので、これはサブバンドとスカラ量子化と
算術コード化との間の相関を組み合わせる。零木調査研
究は、注目の副領域内の係数に適用される。他の量子化
及びコード化調査研究も、もし注目の副領域内のコード
係数をコード化するのみであるように修正されるなら
ば、使用することができる。次いで、量子化及びコード
化ステップの出力ビットを伝送する。結果の量子化され
た分解影像は、ステップ(7)で使用される。
【0074】(7) 慣例の多レベルウェーブレット再
生を、ステップ(6)からの量子化された分解影像に適
用する。注目の領域内でのみフィルタリングを遂行する
ことによって(高い複雑性を犠牲にして)フィルタリン
グ操作の数を減少させることができる。しかしながら、
ステップ(4)において零に設定する操作を行っている
ので、影像全体にフィルタリングを遂行することによる
のと同じ結果を得ることになり、これがフィルタリング
ステージを簡化する。
生を、ステップ(6)からの量子化された分解影像に適
用する。注目の領域内でのみフィルタリングを遂行する
ことによって(高い複雑性を犠牲にして)フィルタリン
グ操作の数を減少させることができる。しかしながら、
ステップ(4)において零に設定する操作を行っている
ので、影像全体にフィルタリングを遂行することによる
のと同じ結果を得ることになり、これがフィルタリング
ステージを簡化する。
【0075】(8) ステップ(4)おけるように、ス
テップ(7)で計算された再生された残留影像及びステ
ップ(3)で発生された注目の領域のマップを、注目の
領域のマップの外側の位置に相当する値であって再生さ
れた影像内にあるこれらの値を零にするために使用する
ことができる。これは、再生残留影像が予測された影像
に加えられるとき、注目の領域の外側の値が修正されな
いことを保証する。ステップ(8)は、オプショナルで
あって、もし領域に基づく調査研究が運動補償された残
留影像以外のなにかに適用されるならば、適当でない。
テップ(7)で計算された再生された残留影像及びステ
ップ(3)で発生された注目の領域のマップを、注目の
領域のマップの外側の位置に相当する値であって再生さ
れた影像内にあるこれらの値を零にするために使用する
ことができる。これは、再生残留影像が予測された影像
に加えられるとき、注目の領域の外側の値が修正されな
いことを保証する。ステップ(8)は、オプショナルで
あって、もし領域に基づく調査研究が運動補償された残
留影像以外のなにかに適用されるならば、適当でない。
【0076】(9) ステップ(8)から生じる残留影
像がステップ(2)からの予測されたフレームに加えら
れて再生フレームを発生する(これはデコーダがデコー
ドしたものである)。再生フレームは、フレームメモリ
に記憶されて次のフレームに対する運動圧縮に使用され
る。
像がステップ(2)からの予測されたフレームに加えら
れて再生フレームを発生する(これはデコーダがデコー
ドしたものである)。再生フレームは、フレームメモリ
に記憶されて次のフレームに対する運動圧縮に使用され
る。
【0077】より一般には、注目の領域に基づく調査研
究を維持するならば、ウェーブレットフィルタリングに
代えてQMF(直交変調フィルタリング)及びジョンス
トン(Johnston)フィルタリングのような他の
型式のサブバンドをフィルタリングを使用することもで
きる。
究を維持するならば、ウェーブレットフィルタリングに
代えてQMF(直交変調フィルタリング)及びジョンス
トン(Johnston)フィルタリングのような他の
型式のサブバンドをフィルタリングを使用することもで
きる。
【0078】スケーラビリティ 本発明の好適実施例の物体指向調査研究によって、スケ
ーラビリティが許される。スケーラブル圧縮とは、除去
したコード化情報の副集合、例えば、一人の特定の人物
を表す数々の物体の全てを有することのできる圧縮され
たビデオビットストリームの構造を云い、残りのビット
ストリームは依然正しくデコードされる、すなわち、除
去された人物なしでも、あたかもその人物がそのビデオ
シーン内に決して存在しなかったかのように、デコード
される。注意するのは、これらの物体は、物体の損失が
この物体をシーンから除去するようにはならないで、そ
の視覚上の姿の品質を低下させる又はこの物体にリンク
した音声もしくは他のデータを省くにだけである「強
化」物体のような、異なる型式のものであってよいこと
である。
ーラビリティが許される。スケーラブル圧縮とは、除去
したコード化情報の副集合、例えば、一人の特定の人物
を表す数々の物体の全てを有することのできる圧縮され
たビデオビットストリームの構造を云い、残りのビット
ストリームは依然正しくデコードされる、すなわち、除
去された人物なしでも、あたかもその人物がそのビデオ
シーン内に決して存在しなかったかのように、デコード
される。注意するのは、これらの物体は、物体の損失が
この物体をシーンから除去するようにはならないで、そ
の視覚上の姿の品質を低下させる又はこの物体にリンク
した音声もしくは他のデータを省くにだけである「強
化」物体のような、異なる型式のものであってよいこと
である。
【0079】本発明の好適実施例のスケーラブル物体ベ
ースビデオコード化は、次のように進行する。
ースビデオコード化は、次のように進行する。
【0080】入力ビデオの連続のフレーム及びこれと一
緒に各フレーム毎のセグメンテーションマスクを想定す
る。このマクスは、どの画素がどの物体に属するかを描
画する。このようなマスクを差領域及びこれと一緒に逆
運動ベクトルによって発生することができる。このマス
クは、覆われない背景を決定する。また、関係領域のい
くつかのフレームを通してマスクを追跡し、併合し、及
び分離することによって物体を識別することができる。
背景参考資料参照。フレームは、Iフレーム及びPフレ
ームとしてコード化され、開始フレームはIフレームで
あり、かつ他のIフレームがその後規則間隔又は不規則
間隔を取って生じることがある。介在フレームはPフレ
ームであり、最近接の先行Iフレームからの予測に依存
する。Iフレームについて、セグメンテーションマスク
が、次のような物体を、すなわち、そのIフレーム内に
確かにないが、しかしPフレーム内には残存しているか
もしれない物体を「I物体」として定義する。と識別さ
れる物体。図14a及び14bは、第1フレーム及びそ
のセグメンテーションマスクを示す。
緒に各フレーム毎のセグメンテーションマスクを想定す
る。このマクスは、どの画素がどの物体に属するかを描
画する。このようなマスクを差領域及びこれと一緒に逆
運動ベクトルによって発生することができる。このマス
クは、覆われない背景を決定する。また、関係領域のい
くつかのフレームを通してマスクを追跡し、併合し、及
び分離することによって物体を識別することができる。
背景参考資料参照。フレームは、Iフレーム及びPフレ
ームとしてコード化され、開始フレームはIフレームで
あり、かつ他のIフレームがその後規則間隔又は不規則
間隔を取って生じることがある。介在フレームはPフレ
ームであり、最近接の先行Iフレームからの予測に依存
する。Iフレームについて、セグメンテーションマスク
が、次のような物体を、すなわち、そのIフレーム内に
確かにないが、しかしPフレーム内には残存しているか
もしれない物体を「I物体」として定義する。と識別さ
れる物体。図14a及び14bは、第1フレーム及びそ
のセグメンテーションマスクを示す。
【0081】セグメンテーションマスクの逆影像を形成
するために、まずIフレームをコード化する。次いで、
この影像をブロックし(格子上に整列した最小数の16
×16画素マクロブロックで以て覆う)、かつブロック
された影像をマスクとして使用し、そのフレームから背
景影像を抽出する。ブロックされた影像及び抽出した背
景を示す図14c及び14d参照。
するために、まずIフレームをコード化する。次いで、
この影像をブロックし(格子上に整列した最小数の16
×16画素マクロブロックで以て覆う)、かつブロック
された影像をマスクとして使用し、そのフレームから背
景影像を抽出する。ブロックされた影像及び抽出した背
景を示す図14c及び14d参照。
【0082】次に、ブロックされたマスクを、上述の差
働輪郭コード化によるように、効率的にコード化する。
これらのマスクビットを物体#0(背景物体)の部分と
して出力ビームに入れる。
働輪郭コード化によるように、効率的にコード化する。
これらのマスクビットを物体#0(背景物体)の部分と
して出力ビームに入れる。
【0083】次いで、抽出し物体を、上述のDCTコー
ド化16×16画素マクロブロックによるように、効率
的にコード化する。これらのビットを物体#0の部分と
して出力ビットに入れる。
ド化16×16画素マクロブロックによるように、効率
的にコード化する。これらのビットを物体#0の部分と
して出力ビットに入れる。
【0084】次いで、第1フレーム内の各物体毎に、そ
の物体に対するセグメンテーションマスクをブロック
し、コード化し、かつ、背景影像に対して行ったよう
に、その物体を、ブロックされたマスクを経由して第1
フレームから抽出しかつコード化する。ブロックされた
物体に対するマスク及び抽出された物体を示す図15a
及び図15b参照。ブロックされたマスク及び抽出され
た物体を、背景影像と同じようにコード化しかつそれら
のビットを出力ビットストリームに入れる。
の物体に対するセグメンテーションマスクをブロック
し、コード化し、かつ、背景影像に対して行ったよう
に、その物体を、ブロックされたマスクを経由して第1
フレームから抽出しかつコード化する。ブロックされた
物体に対するマスク及び抽出された物体を示す図15a
及び図15b参照。ブロックされたマスク及び抽出され
た物体を、背景影像と同じようにコード化しかつそれら
のビットを出力ビットストリームに入れる。
【0085】各物体をビットストリームに入れるに従
い、これが固定長のヘッダによって先導される。ヘッダ
には物体番号、(I物体のような)物体型式、及び物体
長(ビット単位)が記録されている。
い、これが固定長のヘッダによって先導される。ヘッダ
には物体番号、(I物体のような)物体型式、及び物体
長(ビット単位)が記録されている。
【0086】全ての物体をコード化した後、背景のコー
ドされた影像と各物体のコード化された影像を1つのフ
レームに組み合わせて再生フレームを作る。この再生フ
レームは、もしデコーダが全ての物体をデコードするな
らばこのデコーダによって発生されるのと同じフレーム
である。注意するのは、(異なる物体との)重なるマク
ロブロックは同じであり、それゆえ、再生が明瞭なこと
である。再生背景、再生物体、及び再生フレームを示す
図15c〜15e参照。
ドされた影像と各物体のコード化された影像を1つのフ
レームに組み合わせて再生フレームを作る。この再生フ
レームは、もしデコーダが全ての物体をデコードするな
らばこのデコーダによって発生されるのと同じフレーム
である。注意するのは、(異なる物体との)重なるマク
ロブロックは同じであり、それゆえ、再生が明瞭なこと
である。再生背景、再生物体、及び再生フレームを示す
図15c〜15e参照。
【0087】平均フレームを再生フレームから計算す
る。平均画素値を再生フレーム内の各チャンネル(例え
ば、輝度、青、及び赤チャンネル)毎に計算し、かつこ
れらの画素値をこれらのチャンネル内にコピーして平均
フレームを作る。これら3つの平均画素値を出力ビット
ストリームに書き込む。これでIフレームコード化を完
了する。
る。平均画素値を再生フレーム内の各チャンネル(例え
ば、輝度、青、及び赤チャンネル)毎に計算し、かつこ
れらの画素値をこれらのチャンネル内にコピーして平均
フレームを作る。これら3つの平均画素値を出力ビット
ストリームに書き込む。これでIフレームコード化を完
了する。
【0088】Iフレームに続き、ビデオの連続のフレー
ムの各後続フレームを、もし次のIフレームあればこの
フレームまで、Pフレームとしてコード化する。「P」
は「予測された(predicted)」を表し、かつ
Pフレームがそれに先行するIフレームから予測される
事実を云う(Iフレームはそれら自身に関してのみコー
ド化される)。注意するのは、入力の毎フレームをコー
ド化すると云う要件はエンコーダにはなく、30Hzの
フレーム周波数の連続するフレームを2つ置きにコード
化して10Hzフレーム周波数の連続するフレームを発
生することもできることである。
ムの各後続フレームを、もし次のIフレームあればこの
フレームまで、Pフレームとしてコード化する。「P」
は「予測された(predicted)」を表し、かつ
Pフレームがそれに先行するIフレームから予測される
事実を云う(Iフレームはそれら自身に関してのみコー
ド化される)。注意するのは、入力の毎フレームをコー
ド化すると云う要件はエンコーダにはなく、30Hzの
フレーム周波数の連続するフレームを2つ置きにコード
化して10Hzフレーム周波数の連続するフレームを発
生することもできることである。
【0089】Iフレームの場合のように、Pフレームに
ついて、各物体毎にセグメンテーションマスクをブロッ
クしかつ物体から抽出する。Pフレーム、物体(に対す
る)マスク、ブロックされた物体マスク、及び抽出され
た物体を、それぞれ、示す図16a〜16d参照。物体
#0(背景)は使用しない。なぜならば、これは、変化
することはなく、したがって、予測する必要がないから
である。
ついて、各物体毎にセグメンテーションマスクをブロッ
クしかつ物体から抽出する。Pフレーム、物体(に対す
る)マスク、ブロックされた物体マスク、及び抽出され
た物体を、それぞれ、示す図16a〜16d参照。物体
#0(背景)は使用しない。なぜならば、これは、変化
することはなく、したがって、予測する必要がないから
である。
【0090】次に、抽出された物体の各々を、先行フレ
ーム内のその再生物体と差働処理する。ブロックされた
マスクを、次いで、差働処理された影像内に開いている
「ス」があればこれらを反映するように調節する。すな
わち、再生物体が物体の部分に精密に整合しそれゆえそ
の差がこのセグメンテーションマスク内の領域内のしき
い値より低く、この部分を分離してコード化しなくてよ
いようにする。物体の差及び調節されたブロックされた
マスクを、それぞれ、示す図16e及び16f参照。次
いで、ブロックされたマスクを効率的にコード化し、か
つ出力流に入れる。
ーム内のその再生物体と差働処理する。ブロックされた
マスクを、次いで、差働処理された影像内に開いている
「ス」があればこれらを反映するように調節する。すな
わち、再生物体が物体の部分に精密に整合しそれゆえそ
の差がこのセグメンテーションマスク内の領域内のしき
い値より低く、この部分を分離してコード化しなくてよ
いようにする。物体の差及び調節されたブロックされた
マスクを、それぞれ、示す図16e及び16f参照。次
いで、ブロックされたマスクを効率的にコード化し、か
つ出力流に入れる。
【0091】真に物体スケーラブルなビットストリーム
を得るために、物体の各々をタイルするブロックに相当
する運動ベクトルは、この物体の前にあった場所内の位
置を指さねばならない。それゆえ、このようなビットス
トリームを形成するに当たって、エンコーダは、現行影
像内のコード化される物体の各々毎に先行フレーム内の
この物体の再生物体のみを備え、かつ全ての他の物体及
び背景を除去された分離再生影像を形成する。現行物体
に対する運動ベクトルは、この影像について推算され
る。運動推算を遂行する前に、この物体を画定しない再
生影像内の全ての他の領域(非マスク領域)を平均背景
値で以て充填して、そのブロック境界における良好な運
動推算を得る。この平均背景値は、物体の各々毎に異な
ることがありかつデコーダに使用されるためにビットス
トリームに入れて伝送することができる。図17aは、
非マスク領域内に平均背景値を有する再生物体の影像を
示す。これは、運動推算に使用される影像である。計算
された運動ベクトルを、次いで、効率的にコード化し、
かつビットストリームに入れる。
を得るために、物体の各々をタイルするブロックに相当
する運動ベクトルは、この物体の前にあった場所内の位
置を指さねばならない。それゆえ、このようなビットス
トリームを形成するに当たって、エンコーダは、現行影
像内のコード化される物体の各々毎に先行フレーム内の
この物体の再生物体のみを備え、かつ全ての他の物体及
び背景を除去された分離再生影像を形成する。現行物体
に対する運動ベクトルは、この影像について推算され
る。運動推算を遂行する前に、この物体を画定しない再
生影像内の全ての他の領域(非マスク領域)を平均背景
値で以て充填して、そのブロック境界における良好な運
動推算を得る。この平均背景値は、物体の各々毎に異な
ることがありかつデコーダに使用されるためにビットス
トリームに入れて伝送することができる。図17aは、
非マスク領域内に平均背景値を有する再生物体の影像を
示す。これは、運動推算に使用される影像である。計算
された運動ベクトルを、次いで、効率的にコード化し、
かつビットストリームに入れる。
【0092】次いで、運動補償された物体と現行物体と
の間の差をマクロブロック単位でDCT(又はウェーブ
レット変換)コード化する。もしその差がしきい値に適
合しないならば、それらをコード化しないで、8×8画
素粒状度に下げる。また、運動推算中、もし運動推算が
計算されたがそのブロック上ではうまく仕事できなかっ
たならば、或るいくつかのブロックを(Iフレーム内の
ブロックとしてのものであって、Pフレーム用のINT
ERブロックではないような)INTRAブロックに指
定することもできる。INTRAブロックは、運動ベク
トルを有せず、かつこれらのDCTコード化は現行ブロ
ックに関してのみであり、補償された物体のブロックと
の差とは関係しない。DCTコード化されたブロック
(INTRAブロック)を示す図17b及び17c参
照。
の間の差をマクロブロック単位でDCT(又はウェーブ
レット変換)コード化する。もしその差がしきい値に適
合しないならば、それらをコード化しないで、8×8画
素粒状度に下げる。また、運動推算中、もし運動推算が
計算されたがそのブロック上ではうまく仕事できなかっ
たならば、或るいくつかのブロックを(Iフレーム内の
ブロックとしてのものであって、Pフレーム用のINT
ERブロックではないような)INTRAブロックに指
定することもできる。INTRAブロックは、運動ベク
トルを有せず、かつこれらのDCTコード化は現行ブロ
ックに関してのみであり、補償された物体のブロックと
の差とは関係しない。DCTコード化されたブロック
(INTRAブロック)を示す図17b及び17c参
照。
【0093】次に、(先行フレーム内の物体の位置に対
して)物体の運動が作った覆われない背景を計算しかつ
ビットストリームに対する分離物体としてコード化す
る。(物体当たり運動補償と一緒の)覆われない背景の
この分離取扱いは、ビットストリームを(ビデオ物体に
ついて)スケーラブルにするものである。ビットストリ
ームをこれを作るに従って再生することができる。物体
及び覆われない背景を除去して物体を再生から削除する
ことができ、又は物体だけを抽出してそれ自体を再生す
るもしくは異なるビットストリームに加えることができ
る。
して)物体の運動が作った覆われない背景を計算しかつ
ビットストリームに対する分離物体としてコード化す
る。(物体当たり運動補償と一緒の)覆われない背景の
この分離取扱いは、ビットストリームを(ビデオ物体に
ついて)スケーラブルにするものである。ビットストリ
ームをこれを作るに従って再生することができる。物体
及び覆われない背景を除去して物体を再生から削除する
ことができ、又は物体だけを抽出してそれ自体を再生す
るもしくは異なるビットストリームに加えることができ
る。
【0094】覆われない背景を計算するために、物体の
元(ブロックされない)セグメンテーションマスクを、
現行マスクに属するもので先行マスク内にあった画素の
全てを除去するように差分処理する。次いで、生じた影
像をブロックし、かつこれらのブロックを使用して覆わ
れない背景を現行影像から抽出する。覆われない背景画
素、これらの画素に対するブロックされたマスク、及び
このマスク内の影像を示す図18a〜18c参照。
元(ブロックされない)セグメンテーションマスクを、
現行マスクに属するもので先行マスク内にあった画素の
全てを除去するように差分処理する。次いで、生じた影
像をブロックし、かつこれらのブロックを使用して覆わ
れない背景を現行影像から抽出する。覆われない背景画
素、これらの画素に対するブロックされたマスク、及び
このマスク内の影像を示す図18a〜18c参照。
【0095】覆われない背景影像をINTRAブロック
としてDCTコード化する(覆われない背景物体をI物
体とする)。再生フレームを示す図18d参照。
としてDCTコード化する(覆われない背景物体をI物
体とする)。再生フレームを示す図18d参照。
【0096】一度にフレームをデコードする代わりに一
度に物体をデコードすることを除き上に説明したデコー
ダと同じようにスケーラブル物体ベースビデオ作業のた
めにビットストリームをデコードする。物体を放棄する
(dropping)とき、デコーダは物体ヘッダを単
に読み出してどれだけ多くのビットがこの物体に属して
いるかを見付け、これら多くのビットを読み出し、これ
を捨てる(throwaway)。
度に物体をデコードすることを除き上に説明したデコー
ダと同じようにスケーラブル物体ベースビデオ作業のた
めにビットストリームをデコードする。物体を放棄する
(dropping)とき、デコーダは物体ヘッダを単
に読み出してどれだけ多くのビットがこの物体に属して
いるかを見付け、これら多くのビットを読み出し、これ
を捨てる(throwaway)。
【0097】更に、品質スケーラビリティを、各物体に
関連した追加強化ビットストリームを供給することによ
って達成することができる。強化ビットストリームをデ
コードしかつ使用することによって、選択された物体の
品質を向上することができる。もしチャンネルバンド幅
がこの強化ビットストリームの伝送に向いていないなら
ば、エンコーダは、このビットストリームを放棄するこ
とがきる。代わりに、デコーダは、もしその応用が或る
物体に関連した強化ビットストリームを必要としないな
らば、この強化ビットストリームを放棄することを選択
することによってその性能を最適化することがある。エ
ンコーダは、特定物体に対応する強化ビットストリーム
を、現行フレーム内の物体と(運動故障領域コード化の
後の)最終再生物体との間の差を計算し、これらの差を
低量子化係数を用いてやはりDCT(又はウェーブレッ
ト変換)コード化することによって発生する。注意する
のは、ビットストリームをスケーラブルに維持する、す
なわち、たとえ或るいくつかの物体に対する強化ビット
ストリームが放棄されても、エンコーダ及びデコーダを
同期して維持するためには、再生影像をそのビットスト
リームに対するこれらの差で以て修正してはならないこ
とである。
関連した追加強化ビットストリームを供給することによ
って達成することができる。強化ビットストリームをデ
コードしかつ使用することによって、選択された物体の
品質を向上することができる。もしチャンネルバンド幅
がこの強化ビットストリームの伝送に向いていないなら
ば、エンコーダは、このビットストリームを放棄するこ
とがきる。代わりに、デコーダは、もしその応用が或る
物体に関連した強化ビットストリームを必要としないな
らば、この強化ビットストリームを放棄することを選択
することによってその性能を最適化することがある。エ
ンコーダは、特定物体に対応する強化ビットストリーム
を、現行フレーム内の物体と(運動故障領域コード化の
後の)最終再生物体との間の差を計算し、これらの差を
低量子化係数を用いてやはりDCT(又はウェーブレッ
ト変換)コード化することによって発生する。注意する
のは、ビットストリームをスケーラブルに維持する、す
なわち、たとえ或るいくつかの物体に対する強化ビット
ストリームが放棄されても、エンコーダ及びデコーダを
同期して維持するためには、再生影像をそのビットスト
リームに対するこれらの差で以て修正してはならないこ
とである。
【0098】図19a及び19bは、好適実施例の物体
除去を示し、図19a内の左側の人物は図19bでは除
去されている。
除去を示し、図19a内の左側の人物は図19bでは除
去されている。
【0099】誤りいんぺい(error concea
lment) 上述の物体指向方法は、各フレーム内の運動物体(又は
物体及び覆われない背景の両方を含むことがある異なる
領域)を検出しかつこれらを静止背景から分離すること
によってビデオの連続するフレームを圧縮する。次い
で、これらの物体の形状、内容、及び運動を、運動補償
及びもし差があればこれを使用して、DCT又はウエー
ブレット変換を用いて、効率的にコード化することがで
きる。これらの圧縮されたデータがチャンネル誤りに晒
されるとき、デコーダはエンコーダとの同期を失い、こ
れが画像品質に壊滅的喪失を持たらす。したがって、デ
コーダに同期を再開始させるために、好適実施例は、再
同期語をビットストリームに埋め込むことができる。こ
れらの再同期語は、Iフレームに対するデータの開始
で、後続のPフレームの開始で、更にPフレーム内の検
出された毎運動物体についてのアイテムに対する各コー
ドの開始で、導入される。これらのアイテムには、次が
ある。
lment) 上述の物体指向方法は、各フレーム内の運動物体(又は
物体及び覆われない背景の両方を含むことがある異なる
領域)を検出しかつこれらを静止背景から分離すること
によってビデオの連続するフレームを圧縮する。次い
で、これらの物体の形状、内容、及び運動を、運動補償
及びもし差があればこれを使用して、DCT又はウエー
ブレット変換を用いて、効率的にコード化することがで
きる。これらの圧縮されたデータがチャンネル誤りに晒
されるとき、デコーダはエンコーダとの同期を失い、こ
れが画像品質に壊滅的喪失を持たらす。したがって、デ
コーダに同期を再開始させるために、好適実施例は、再
同期語をビットストリームに埋め込むことができる。こ
れらの再同期語は、Iフレームに対するデータの開始
で、後続のPフレームの開始で、更にPフレーム内の検
出された毎運動物体についてのアイテムに対する各コー
ドの開始で、導入される。これらのアイテムには、次が
ある。
【0100】(i) 境界輪郭データ(ビットマップ又
はスプライン)、(ii) 運動べクトルデータ、及び
(iii) 運動故障領域についてのDCTデータ。
はスプライン)、(ii) 運動べクトルデータ、及び
(iii) 運動故障領域についてのDCTデータ。
【0101】更に、もし制御データ又はその他のデータ
も含まれるならば、これらのデータもまた再同期語を持
つことができる。同期語は、これが特有である事実によ
って特徴付けられる。すなわち、これらは、所与の順序
の同じビット長のコード化ビットとは異なる。なぜなら
ば、これらは、静止テーブルであるホフマンコードテー
ブル内には現れない。例えば、もしPフレームが3つの
運動物体を有していたとするならば、その順序は、
も含まれるならば、これらのデータもまた再同期語を持
つことができる。同期語は、これが特有である事実によ
って特徴付けられる。すなわち、これらは、所与の順序
の同じビット長のコード化ビットとは異なる。なぜなら
ば、これらは、静止テーブルであるホフマンコードテー
ブル内には現れない。例えば、もしPフレームが3つの
運動物体を有していたとするならば、その順序は、
【0102】フレーム開始再同期語 輪郭再同期語 第1物体の輪郭データ(例えば、ビットマップ又はスプ
ライン) 運動ベクトル再同期語 第1物体の運動ベクトル(ビットマップマクロブロック
に関係している) DCT−ウェーブレット再同期語 第1物体の運動補償故障データ 輪郭再同期語 第2物体の輪郭データ 運動ベクトル再同期語 第2物体の運動ベクトルデータ DCT−ウェーブレット再同期語 第2物体の運動補償故障データ 輪郭再同期語 第3物体の輪郭データ 運動ベクトル再同期語 第3物体の運動ベクトルデータ DCT−ウェーブレット再同期語 第3物体の運動補償故障データ
ライン) 運動ベクトル再同期語 第1物体の運動ベクトル(ビットマップマクロブロック
に関係している) DCT−ウェーブレット再同期語 第1物体の運動補償故障データ 輪郭再同期語 第2物体の輪郭データ 運動ベクトル再同期語 第2物体の運動ベクトルデータ DCT−ウェーブレット再同期語 第2物体の運動補償故障データ 輪郭再同期語 第3物体の輪郭データ 運動ベクトル再同期語 第3物体の運動ベクトルデータ DCT−ウェーブレット再同期語 第3物体の運動補償故障データ
【0103】これらの再同期語は、また、誤り検出に当
たってデコーダを助援する。
たってデコーダを助援する。
【0104】いったんデコーダが受信したビットストリ
ーム内に誤りを検出すると、デコーダは、最も近い再同
期語を見付けようとする。それゆえ、デコーダは、コー
ド化されたデータに最少の損失を生じるだけで可能な限
り早く同期を確立する。
ーム内に誤りを検出すると、デコーダは、最も近い再同
期語を見付けようとする。それゆえ、デコーダは、コー
ド化されたデータに最少の損失を生じるだけで可能な限
り早く同期を確立する。
【0105】もし次の条件のどれかが観察されるなら
ば、デコーダは誤りを検出する。すなわち、
ば、デコーダは誤りを検出する。すなわち、
【0106】(i)不当コード語が発見される。 (ii)デコードしている間に不当モードが検出され
る。 (iii)再同期語がデータのデコードされたブロック
に続かない。 (iv)運動ベクトルがフレームの外側を指す。 (v)デコードされたDCT値が許容限界の外側にあ
る。又は、 (vi)境界輪郭が不当である(影像の外側にある)。
る。 (iii)再同期語がデータのデコードされたブロック
に続かない。 (iv)運動ベクトルがフレームの外側を指す。 (v)デコードされたDCT値が許容限界の外側にあ
る。又は、 (vi)境界輪郭が不当である(影像の外側にある)。
【0107】もし誤りが境界輪郭内で検出されるなら
ば、その輪郭が放棄されかつ背景の部分とされる。これ
は、先行フレームの相当する領域が使用されることを意
味する。これは或るひずみを減少させる。なぜならば、
ビデオの連続するフレーム内で多くの時間相関が頻繁に
行われるからである。
ば、その輪郭が放棄されかつ背景の部分とされる。これ
は、先行フレームの相当する領域が使用されることを意
味する。これは或るひずみを減少させる。なぜならば、
ビデオの連続するフレーム内で多くの時間相関が頻繁に
行われるからである。
【0108】もし誤りが運動ベクトル内で検出されるな
らば、その物体に対する平均運動ベクトルが、それ自体
の運動ベクトルを使用する各マクロブロックではなくそ
の物体全体に適用される。これは、所与のフレーム内に
大きな空間相関がある、したがって、所与の物体の運動
ベクトルのほとんどは近似的に同じであると云う事実に
依存する。それゆえ、物体の種々のマクロブロックに適
用される平均運動ベクトルは、良好な近似であって、可
視ひずみを可なり減少させる。
らば、その物体に対する平均運動ベクトルが、それ自体
の運動ベクトルを使用する各マクロブロックではなくそ
の物体全体に適用される。これは、所与のフレーム内に
大きな空間相関がある、したがって、所与の物体の運動
ベクトルのほとんどは近似的に同じであると云う事実に
依存する。それゆえ、物体の種々のマクロブロックに適
用される平均運動ベクトルは、良好な近似であって、可
視ひずみを可なり減少させる。
【0109】もし誤りが運動故障領域DCTデータ内で
検出されるならば、DCT係数の全てを零に設定しかつ
デコーダは再同期を図る。
検出されるならば、DCT係数の全てを零に設定しかつ
デコーダは再同期を図る。
【0110】誤り訂正 本発明の誤り制御コードは、図20に示されたように、
インタリーバを挟んだ2つのリード・ソロモン(以下、
RSと称する)コーダを含む。ビットストリームは、6
つの順次ビットの群に分割されてRSコーダ用のシンボ
ルを形成する。これは、一般にバースト誤りに加えてラ
ンダム誤りを伴うチャンネルを通る伝送に適用される。
インタリーバはいくつかのコード語からのシンボルを混
合し、それであるから所与のコード語からのシンボルは
伝送中充分に分離される。コード語が受信機内のデイン
タリーバによって再生されるとき、チャンネルによって
導入された誤りバーストは有効に分裂されていくつかの
コード語にわたって拡散する。それゆえ、インタリーバ
とデインタリーバの対は、バースト誤りをランダム誤り
に有効に変換する。遅延乗算器mは、総合遅延が250
ms未満であるように選択される。
インタリーバを挟んだ2つのリード・ソロモン(以下、
RSと称する)コーダを含む。ビットストリームは、6
つの順次ビットの群に分割されてRSコーダ用のシンボ
ルを形成する。これは、一般にバースト誤りに加えてラ
ンダム誤りを伴うチャンネルを通る伝送に適用される。
インタリーバはいくつかのコード語からのシンボルを混
合し、それであるから所与のコード語からのシンボルは
伝送中充分に分離される。コード語が受信機内のデイン
タリーバによって再生されるとき、チャンネルによって
導入された誤りバーストは有効に分裂されていくつかの
コード語にわたって拡散する。それゆえ、インタリーバ
とデインタリーバの対は、バースト誤りをランダム誤り
に有効に変換する。遅延乗算器mは、総合遅延が250
ms未満であるように選択される。
【0111】RSコーダの各々は、ガロア体(Galo
is field)GF(64)を通してRSコードを
使用し、かつ1つのブロックの6ビット情報シンボルを
6ビットコード語シンボルの1つの大きいブロックにマ
ップする。第1RSコーダはk個の6ビット情報シンボ
ルの1つの入力ブロックをn2 個の6ビットシンボルと
してコード化し、かつこれらをインタリーバに供給し、
及び第2RSコーダはインタリーバの出力を受けて、n
2 個の6ビットシンボルをn1 個の6ビットコード語シ
ンボルにマップする。ただしn1 −n2 =4である。
is field)GF(64)を通してRSコードを
使用し、かつ1つのブロックの6ビット情報シンボルを
6ビットコード語シンボルの1つの大きいブロックにマ
ップする。第1RSコーダはk個の6ビット情報シンボ
ルの1つの入力ブロックをn2 個の6ビットシンボルと
してコード化し、かつこれらをインタリーバに供給し、
及び第2RSコーダはインタリーバの出力を受けて、n
2 個の6ビットシンボルをn1 個の6ビットコード語シ
ンボルにマップする。ただしn1 −n2 =4である。
【0112】受信機において、n1 個の6ビットシンボ
ルの各々は第2コーダ用のデコーダに供給される。この
RSデコーダは、最高26ビットシンボル誤りまでを訂
正する能力を有するが、単一誤りのみを訂正するように
設定される。このデコーダが多数の誤りを検出すると、
n2 個の消去されたシンボルを出力する。デインタリー
バは、これらの消去されたシンボルをn2 個のコード語
にわたって拡散させ、これらのコード語は次いで第1R
Sコーダ用デコーダに入力される。このデコーダは、2
E+S≦n2 −kのようなE個の誤りとS個の消去され
たシンボル(erasure)のあらゆる組合わせを訂
正することができる。もし2E+Sが前掲の数より大き
ければ、データはそのまま出力されかつデータ内の消去
されたシンボルは、もしあれば、そのデコーダによって
注記(note)される。
ルの各々は第2コーダ用のデコーダに供給される。この
RSデコーダは、最高26ビットシンボル誤りまでを訂
正する能力を有するが、単一誤りのみを訂正するように
設定される。このデコーダが多数の誤りを検出すると、
n2 個の消去されたシンボルを出力する。デインタリー
バは、これらの消去されたシンボルをn2 個のコード語
にわたって拡散させ、これらのコード語は次いで第1R
Sコーダ用デコーダに入力される。このデコーダは、2
E+S≦n2 −kのようなE個の誤りとS個の消去され
たシンボル(erasure)のあらゆる組合わせを訂
正することができる。もし2E+Sが前掲の数より大き
ければ、データはそのまま出力されかつデータ内の消去
されたシンボルは、もしあれば、そのデコーダによって
注記(note)される。
【0113】本発明の好適実施例の誤り訂正の性能は、
先に述べたように、更に(デインタリーバの後に)第2
デコーダから第1デコーダヘのフィードバックを付け加
え、これによって第1デコーダの誤り訂正を向上させ、
それゆえ、単一訂正を超えることができる。特に、第1
デコーダがE個の誤りを訂正しかつT個の誤りを検出し
(かつ消去する)と想定する。また、第2デコーダはN
2 個のシンボルの所与のブロック内のS個の消去された
シンボルを訂正することができると想定する。更に、時
刻tに第1デコーダがN1 個の6ビットシンボルで構成
される入力ブロックB内のX個の誤りを検出する。ただ
し、X>Eと仮定する。これは、時刻tにおけるデコー
ディング故障を物語る。このデコーディング誤りの結
果、第1デコーダがN2 個の消去されたシンボルを出力
する。図21に示されたような本発明の好適実施例の誤
り訂正システムは、N1 個のシンボルの入力ブロックB
を記憶するバッファを含みかつ時刻tにおいてデコーデ
ィング故障が起こる。このシステムは、下に説明するフ
ィードバックに使用される。デインタリーバは、第1デ
コーダから出力されるN2 個の消去されたシンボルのブ
ロックを受け取り、かつこれらの消去されたシンボルを
次のN2 個のブロックにわたって拡散する。それゆえ、
ブロックBからの消去されたシンボルは、時刻t、t+
d、t+2d、…、t+(N2 −1)dに第2デコーダ
に現れる。ここに、dはデインタリーバの遅延増分でか
つブロック長に関係する。
先に述べたように、更に(デインタリーバの後に)第2
デコーダから第1デコーダヘのフィードバックを付け加
え、これによって第1デコーダの誤り訂正を向上させ、
それゆえ、単一訂正を超えることができる。特に、第1
デコーダがE個の誤りを訂正しかつT個の誤りを検出し
(かつ消去する)と想定する。また、第2デコーダはN
2 個のシンボルの所与のブロック内のS個の消去された
シンボルを訂正することができると想定する。更に、時
刻tに第1デコーダがN1 個の6ビットシンボルで構成
される入力ブロックB内のX個の誤りを検出する。ただ
し、X>Eと仮定する。これは、時刻tにおけるデコー
ディング故障を物語る。このデコーディング誤りの結
果、第1デコーダがN2 個の消去されたシンボルを出力
する。図21に示されたような本発明の好適実施例の誤
り訂正システムは、N1 個のシンボルの入力ブロックB
を記憶するバッファを含みかつ時刻tにおいてデコーデ
ィング故障が起こる。このシステムは、下に説明するフ
ィードバックに使用される。デインタリーバは、第1デ
コーダから出力されるN2 個の消去されたシンボルのブ
ロックを受け取り、かつこれらの消去されたシンボルを
次のN2 個のブロックにわたって拡散する。それゆえ、
ブロックBからの消去されたシンボルは、時刻t、t+
d、t+2d、…、t+(N2 −1)dに第2デコーダ
に現れる。ここに、dはデインタリーバの遅延増分でか
つブロック長に関係する。
【0114】時刻tを考えよう。もし時刻tにおける第
2デコーダへの入力ブロック内の消去されたシンボルの
数がS以下ならば、第2デコーダはこの入力ブロック内
の全ての消去されたシンボルを訂正することができる。
訂正された消去されたシンボルの1つが入力ブロックB
から時刻tに第1デコーダヘ導出される。この消去され
たシンボルは、(1)第1デコーダによって検出された
誤りであった入力ブロックBのシンボルの1つか又は
(2)ブロックB内の誤り内のシンボルの1つではなく
デコーディング故障に起因して消去されたシンボルであ
ったかのどちらかであり得る。
2デコーダへの入力ブロック内の消去されたシンボルの
数がS以下ならば、第2デコーダはこの入力ブロック内
の全ての消去されたシンボルを訂正することができる。
訂正された消去されたシンボルの1つが入力ブロックB
から時刻tに第1デコーダヘ導出される。この消去され
たシンボルは、(1)第1デコーダによって検出された
誤りであった入力ブロックBのシンボルの1つか又は
(2)ブロックB内の誤り内のシンボルの1つではなく
デコーディング故障に起因して消去されたシンボルであ
ったかのどちらかであり得る。
【0115】訂正された消去されたシンボルをバッファ
に記憶されているブロックB内の相当する場所の内容と
比較する。もし訂正され消去されたシンボルが前掲のカ
テゴリー(2)のものであったならば、第2デコーダか
らのこの出力はなんらの修正も要せずに使用される。し
かしながら、もし訂正された消去されたシンボルがブロ
ックB内の相当する場所の内容と整合しないならば、こ
の相当する場所のシンボルはブロックB内の誤りシンボ
ルの1つであったことになる。それゆえ、この誤りは第
2デコーダによって訂正されており、及びこの訂正はブ
ロックB内でこれがバッファに記憶された際に行われる
と云える。すなわち、第1デコーダにとってブロックB
内の元もとは訂正不能の誤りが第2デコーダからのフィ
ードバックによってブロックBの記憶コピー内で訂正さ
れている。これによって、もしこのように訂正されたブ
ロックBが第1デコーダに再び入力されたとしたなら
ば、第1デコーダによって検出されるであろう誤りXの
数が減少させられる。ブロックBから導出される消去さ
れたシンボルに対応する後の時刻t+id(i=1,
…,(N2 −1))に、第2デコーダによってこの消去
されたシンボルの訂正を繰り返す。これが、ブロックB
内の検出可能の誤りの数を減少させると云える。いった
んX−YがEより小さくなると、いま現在訂正された入
力ブロックB内の残存誤りの全てを訂正することがで
き、このように訂正された入力ブロックBで以てデイン
タリーバを更新することができる。これが、後続の時刻
に第2デコーダへ送られる消去されたシンボルの数を減
少させ、それによって誤り訂正の総合確立を増大させ
る。これに反して、もし入力ブロックB内の誤りの全て
を訂正することが不可能ならば、第2デコーダによって
行われる訂正は修正を伴わずに使用される。注意するの
は、もし総合遅延の延長が許容可能であったならば、訂
正されたブロックBを第1デコーダに再入力することも
できることである。
に記憶されているブロックB内の相当する場所の内容と
比較する。もし訂正され消去されたシンボルが前掲のカ
テゴリー(2)のものであったならば、第2デコーダか
らのこの出力はなんらの修正も要せずに使用される。し
かしながら、もし訂正された消去されたシンボルがブロ
ックB内の相当する場所の内容と整合しないならば、こ
の相当する場所のシンボルはブロックB内の誤りシンボ
ルの1つであったことになる。それゆえ、この誤りは第
2デコーダによって訂正されており、及びこの訂正はブ
ロックB内でこれがバッファに記憶された際に行われる
と云える。すなわち、第1デコーダにとってブロックB
内の元もとは訂正不能の誤りが第2デコーダからのフィ
ードバックによってブロックBの記憶コピー内で訂正さ
れている。これによって、もしこのように訂正されたブ
ロックBが第1デコーダに再び入力されたとしたなら
ば、第1デコーダによって検出されるであろう誤りXの
数が減少させられる。ブロックBから導出される消去さ
れたシンボルに対応する後の時刻t+id(i=1,
…,(N2 −1))に、第2デコーダによってこの消去
されたシンボルの訂正を繰り返す。これが、ブロックB
内の検出可能の誤りの数を減少させると云える。いった
んX−YがEより小さくなると、いま現在訂正された入
力ブロックB内の残存誤りの全てを訂正することがで
き、このように訂正された入力ブロックBで以てデイン
タリーバを更新することができる。これが、後続の時刻
に第2デコーダへ送られる消去されたシンボルの数を減
少させ、それによって誤り訂正の総合確立を増大させ
る。これに反して、もし入力ブロックB内の誤りの全て
を訂正することが不可能ならば、第2デコーダによって
行われる訂正は修正を伴わずに使用される。注意するの
は、もし総合遅延の延長が許容可能であったならば、訂
正されたブロックBを第1デコーダに再入力することも
できることである。
【0116】
【発明の効果】シミュレーションの示す所では、上述の
チャンネルコード化は、24Kbps及び48Kbps
の伝送速度で24ms未満の持続時間の全てのバースト
長を訂正する能力を有する。
チャンネルコード化は、24Kbps及び48Kbps
の伝送速度で24ms未満の持続時間の全てのバースト
長を訂正する能力を有する。
【0117】(k,n2 ,n1 )を(24,28,3
2)、(26,30,34)、(27,31,34)、
及び(28,32,36)に等しく選択しこれらに対し
て確率0.001のランダム誤りの場合、デコードされ
たビット誤り率は、乗数m=1を用いて、それぞれ、
0.00000125、0.000007、及び0.0
000285より小さかった。(フィードバックを)同
様に、m=2(38,43,48)に対して使用しても
よい。注意するのは、総合遅延はインタリーバ遅延に起
因するコード語に依存することである。事実、総合遅延
は、次のようである。
2)、(26,30,34)、(27,31,34)、
及び(28,32,36)に等しく選択しこれらに対し
て確率0.001のランダム誤りの場合、デコードされ
たビット誤り率は、乗数m=1を用いて、それぞれ、
0.00000125、0.000007、及び0.0
000285より小さかった。(フィードバックを)同
様に、m=2(38,43,48)に対して使用しても
よい。注意するのは、総合遅延はインタリーバ遅延に起
因するコード語に依存することである。事実、総合遅延
は、次のようである。
【0118】
【数1】遅延=(mn2 )2 6/コード伝送速度
【0119】ここに、6は6ビットシンボルの使用に由
来し、及びコード語中のシンボルの数に由来する指数2
は遅延の数及び遅延間の増分を決定する。もちろん、使
用されたパリティシンボル(n1 −n2 及びn2 −k)
の数は、所望されるビット誤り率及び総合遅延に依存す
る。
来し、及びコード語中のシンボルの数に由来する指数2
は遅延の数及び遅延間の増分を決定する。もちろん、使
用されたパリティシンボル(n1 −n2 及びn2 −k)
の数は、所望されるビット誤り率及び総合遅延に依存す
る。
【0120】3604480のビットストリーム、6ビ
ットシンボルを用い、1e−3の誤り確率でのわれわれ
のシミュレーションでは、フィードバックなしの消去さ
れたシンボルの数は46/3604480、6ビットシ
ンボルは(1.28e−5)であった。フィードバック
付きの場合、消去されたシンボルの数は24/3604
480、6ビットシンボルは(6.66e−6)であっ
た。バースト誤りとランダム誤りの組合わせの場合、フ
ィードバックなしの消去されたシンボルの数は135/
3604480、6ビットシンボルは(3.57e−
5)、及びフィードバック付きの消去されたシンボルの
数は118/2703360、6ビットシンボルは
(3.27e−5)であった。
ットシンボルを用い、1e−3の誤り確率でのわれわれ
のシミュレーションでは、フィードバックなしの消去さ
れたシンボルの数は46/3604480、6ビットシ
ンボルは(1.28e−5)であった。フィードバック
付きの場合、消去されたシンボルの数は24/3604
480、6ビットシンボルは(6.66e−6)であっ
た。バースト誤りとランダム誤りの組合わせの場合、フ
ィードバックなしの消去されたシンボルの数は135/
3604480、6ビットシンボルは(3.57e−
5)、及びフィードバック付きの消去されたシンボルの
数は118/2703360、6ビットシンボルは
(3.27e−5)であった。
【0121】図22及び23は、フィードバック誤り訂
正の発見的例を示す。特に、図22の第1行は、伝送さ
れる情報ビットストリームである連続のシンボルA1、
B1、A2、B2、…、を示し、各シンボルは順次続く
ビット(例えば、6ビット)の群である。図解の簡単化
のため、第1エンコーダは、3シンボルコード語である
が2つの情報シンボルをコード化すると想定する、すな
わち、3シンボル語A1、B1、P1であるがP1はパ
リティシンボルであるので、情報シンボルA1、B1を
コード化する。これは、上述の好適実際例の1つにおけ
ると同じように、30個のシンボルであるがそのうち4
つはパリティシンボルであるので26個の情報シンボル
をコード化するのと類似している。図22の第2行は、
コード語を示す。インタリーバは、図22の第2、3行
に示されているようにこれらのシンボルを遅延すること
によって拡散させる。詳しくは、Ajシンボルは遅延さ
れず、Bjシンボルが3シンボル分遅延され、かつPj
シンボルは6シンボル分遅延される。図22中の斜めの
矢印は、これらの遅延を表示する。
正の発見的例を示す。特に、図22の第1行は、伝送さ
れる情報ビットストリームである連続のシンボルA1、
B1、A2、B2、…、を示し、各シンボルは順次続く
ビット(例えば、6ビット)の群である。図解の簡単化
のため、第1エンコーダは、3シンボルコード語である
が2つの情報シンボルをコード化すると想定する、すな
わち、3シンボル語A1、B1、P1であるがP1はパ
リティシンボルであるので、情報シンボルA1、B1を
コード化する。これは、上述の好適実際例の1つにおけ
ると同じように、30個のシンボルであるがそのうち4
つはパリティシンボルであるので26個の情報シンボル
をコード化するのと類似している。図22の第2行は、
コード語を示す。インタリーバは、図22の第2、3行
に示されているようにこれらのシンボルを遅延すること
によって拡散させる。詳しくは、Ajシンボルは遅延さ
れず、Bjシンボルが3シンボル分遅延され、かつPj
シンボルは6シンボル分遅延される。図22中の斜めの
矢印は、これらの遅延を表示する。
【0122】インタリーバの出力(連続の3シンボル
語)は、4シンボルコード語として第2コード化によっ
てコード化される。図22の第4行は、3シンボルコー
ド語にパリティシンボルQjを付け加えることによって
4シンボルコード語を形成する第3行の第2コード化を
示す。
語)は、4シンボルコード語として第2コード化によっ
てコード化される。図22の第4行は、3シンボルコー
ド語にパリティシンボルQjを付け加えることによって
4シンボルコード語を形成する第3行の第2コード化を
示す。
【0123】図22の第5行は、シンボルA3、P1、
及びB3に×印を施して3つの例証伝送誤りを示す。簡
単のために、デコーダはコード語当たり1つの誤りを訂
正し又は2つの誤りを検出しかつコード語シンボルを消
去することができると想定する。図22の第6行は、シ
ンボルB3内の誤りを訂正しかつシンボルをOで囲むこ
とによって表示したようにシンボルA3、B2、P1を
消去したことを示す。
及びB3に×印を施して3つの例証伝送誤りを示す。簡
単のために、デコーダはコード語当たり1つの誤りを訂
正し又は2つの誤りを検出しかつコード語シンボルを消
去することができると想定する。図22の第6行は、シ
ンボルB3内の誤りを訂正しかつシンボルをOで囲むこ
とによって表示したようにシンボルA3、B2、P1を
消去したことを示す。
【0124】デインタリーバは、インタリーバ遅延に共
役である遅延によって3シンボルコード語を再組み立て
する(reassemle)。すなわち、Ajシンボル
は6シンボル分遅延させられ、Bjシンボルは3シンボ
ル分遅延させられ、及びPjシンボルは遅延されない。
第6、7行は斜め矢印で示されたこれらの遅延である。
注意するのは、消去されたシンボルがデインタリーバ内
で拡散することである。
役である遅延によって3シンボルコード語を再組み立て
する(reassemle)。すなわち、Ajシンボル
は6シンボル分遅延させられ、Bjシンボルは3シンボ
ル分遅延させられ、及びPjシンボルは遅延されない。
第6、7行は斜め矢印で示されたこれらの遅延である。
注意するのは、消去されたシンボルがデインタリーバ内
で拡散することである。
【0125】図22の第8行は、A1、B1、A2、B
2、…情報を回復するために消去されたシンボルを訂正
する第2デコーダを示す。
2、…情報を回復するために消去されたシンボルを訂正
する第2デコーダを示す。
【0126】図23は、図22の同じ構成であるが、デ
インタリーバへ本発明の好適実施のフィードバックを使
用することによってのみ訂正することのできる追加の誤
りを伴う。特に、図23の第5行はシンボルの上に施さ
れた×印によって表される6つの誤りを示す。該当する
のは、A2、B1、A3、P1、B3、及びA4であ
る。この場合、第1デコーダは、該当するコード語の各
々内の2つの誤りを検出し、かつ図23の第6行中のO
で囲まれたシンボルで示されように全てで3つの誤りを
消去する。
インタリーバへ本発明の好適実施のフィードバックを使
用することによってのみ訂正することのできる追加の誤
りを伴う。特に、図23の第5行はシンボルの上に施さ
れた×印によって表される6つの誤りを示す。該当する
のは、A2、B1、A3、P1、B3、及びA4であ
る。この場合、第1デコーダは、該当するコード語の各
々内の2つの誤りを検出し、かつ図23の第6行中のO
で囲まれたシンボルで示されように全てで3つの誤りを
消去する。
【0127】デインタリーバは、再び、インタリーバの
遅延に共役の遅延によって3シンボルコード語を組み立
てる。図23の第6、7行は斜めの矢印で以てこれらの
遅延を示す。消去されたシンボルは再び拡散するが、コ
ード語内の3つのシンボルA2、B2、P2を訂正する
ことはできない。しかしながら、B1及びP1を消去さ
れたコード語A1、B1、P1を第2デコーダによって
訂正することができ、その結果、真のコード語A1、B
1、P1を与える。次いで、真のB1を第5行のコード
語A2、B1、P0、Q2と比較することができ、かつ
B1がこの語内で異なっていると云う事実は、B1がこ
の語内の2つの誤りの1つであることを物語る。それゆ
え、真のB1を使用して1つの残留誤り(A2)のみを
伴う語を形成することができ、この語を誤り訂正して真
のA2、B1、P0を得る。これがフィードバックであ
る。すなわち、後に行われる誤り訂正(この例ではB
1)を使用して(既にデコードされている)先行未訂正
語内の誤り訂正を行い、次いで過去のこの訂正がまた将
来使用されるシンボル(この例ではA2)の訂正を行
う。すなわち、インタリーバ内で遅延された消去された
A2を訂正することによって真のA2を得ることがで
き、かつコード語A2、B2、P2内の誤りの数を2に
減少させる。それゆえ、コード語A2、B2、P2を、
結局、訂正することができる。また、それゆえ、A1、
B1、P1の訂正からのA2、B1、P0、Q2のデコ
ーディングへのこのフィードバックがA2の訂正を導
き、次いで、これがコード語A2、B2、P2の訂正を
可能にする。もちろん、これらの例における使用された
かつ訂正可能のシンボルの数は、発見的であって、単な
る例示に過ぎない。
遅延に共役の遅延によって3シンボルコード語を組み立
てる。図23の第6、7行は斜めの矢印で以てこれらの
遅延を示す。消去されたシンボルは再び拡散するが、コ
ード語内の3つのシンボルA2、B2、P2を訂正する
ことはできない。しかしながら、B1及びP1を消去さ
れたコード語A1、B1、P1を第2デコーダによって
訂正することができ、その結果、真のコード語A1、B
1、P1を与える。次いで、真のB1を第5行のコード
語A2、B1、P0、Q2と比較することができ、かつ
B1がこの語内で異なっていると云う事実は、B1がこ
の語内の2つの誤りの1つであることを物語る。それゆ
え、真のB1を使用して1つの残留誤り(A2)のみを
伴う語を形成することができ、この語を誤り訂正して真
のA2、B1、P0を得る。これがフィードバックであ
る。すなわち、後に行われる誤り訂正(この例ではB
1)を使用して(既にデコードされている)先行未訂正
語内の誤り訂正を行い、次いで過去のこの訂正がまた将
来使用されるシンボル(この例ではA2)の訂正を行
う。すなわち、インタリーバ内で遅延された消去された
A2を訂正することによって真のA2を得ることがで
き、かつコード語A2、B2、P2内の誤りの数を2に
減少させる。それゆえ、コード語A2、B2、P2を、
結局、訂正することができる。また、それゆえ、A1、
B1、P1の訂正からのA2、B1、P0、Q2のデコ
ーディングへのこのフィードバックがA2の訂正を導
き、次いで、これがコード語A2、B2、P2の訂正を
可能にする。もちろん、これらの例における使用された
かつ訂正可能のシンボルの数は、発見的であって、単な
る例示に過ぎない。
【0128】付 録 前掲の好適実施例の処理系に対するC言語で書かれた機
械命令のリスティングを付録に掲げる。
械命令のリスティングを付録に掲げる。
【0129】変 形 本発明の好適実施例は、その特徴の1つ以上を維持しな
がら多様な変形が可能である。例えば、ブロックの寸
法、コード、しきい値、形態素近旁(morphoro
gical neighborhood)、量子化レベ
ル、シンボル等々を変えることができる。特定スプライ
ン、量子化方法、変換方法、等々のような方法も変える
ことができる。
がら多様な変形が可能である。例えば、ブロックの寸
法、コード、しきい値、形態素近旁(morphoro
gical neighborhood)、量子化レベ
ル、シンボル等々を変えることができる。特定スプライ
ン、量子化方法、変換方法、等々のような方法も変える
ことができる。
【0130】以上の説明に関して更に以下の項を開示す
る。
る。
【0131】(1) (a) 第1誤り訂正デコーダ、
(b) 前記第1誤り訂正デコーダの出力に結合された
デインタリーバ、(c) 前記デインタリーバの出力に
結合された第2誤り訂正デコーダ、(d) 前記第1誤
り訂正デコーダの出力に結合されたバッファ、及び
(e) 前記バッファと前記第2誤り訂正デコーダとに
結合され、かつ前記デインタリーバの出力に結合された
フィードバックデコーダを備え、前記フィードバックデ
コーダが前記第2誤り訂正デコーダからの置換された誤
り訂正されたシンボルで以て前記バッファからのコード
語をデコードする、誤り訂正デコーダ。
(b) 前記第1誤り訂正デコーダの出力に結合された
デインタリーバ、(c) 前記デインタリーバの出力に
結合された第2誤り訂正デコーダ、(d) 前記第1誤
り訂正デコーダの出力に結合されたバッファ、及び
(e) 前記バッファと前記第2誤り訂正デコーダとに
結合され、かつ前記デインタリーバの出力に結合された
フィードバックデコーダを備え、前記フィードバックデ
コーダが前記第2誤り訂正デコーダからの置換された誤
り訂正されたシンボルで以て前記バッファからのコード
語をデコードする、誤り訂正デコーダ。
【0132】(2) 1項記載の誤り訂正デコーダにお
いて、(a) 前記第1誤り訂正デコーダと、前記デイ
ンタリーバと、前記第2誤り訂正デコーダと、前記フィ
ードバックデコーダとが、プログラマブルディジタルブ
ロセッサ内で実現される、前記誤り訂正デコーダ。
いて、(a) 前記第1誤り訂正デコーダと、前記デイ
ンタリーバと、前記第2誤り訂正デコーダと、前記フィ
ードバックデコーダとが、プログラマブルディジタルブ
ロセッサ内で実現される、前記誤り訂正デコーダ。
【0133】(3) 1項記載の誤り訂正デコーダにお
いて、(a) 前記第1誤り訂正デコーダと前記第2誤
り訂正デコーダとがリード・ソロモンの誤り訂正コード
を使用する、前記誤り訂正デコーダ。
いて、(a) 前記第1誤り訂正デコーダと前記第2誤
り訂正デコーダとがリード・ソロモンの誤り訂正コード
を使用する、前記誤り訂正デコーダ。
【0134】(4) (a) 誤りを含む可能性のある
コード語の第1系列を供給するステップであって、
(i)誤り訂正コード語の第2系列を形成するために情
報シンボルの入力系列をコード化するステップと、(i
i)インタリーブされた語の第3系列を形成するために
前記第2系列のコード語のシンボルをインタリーブする
ステップと、(iii)誤り訂正コード語の第4系列を
形成するために前記インタルーブされた語の第3系列を
コード化するステップと、及び(iv)前記第1系列を
形成するために前記第4系列に可能な誤りを導入するス
テップとによって作られる形状の前記第1系列を供給す
るステップ、 (b) 語の第5系列を形成するために誤り訂正で以て
前記第1系列をデコードするステップ、 (c) コード語の第6系列を形成するために前記第5
系列をデインタリーブするステップ、 (d) 語の第7系列を形成するために誤り訂正で以て
前記第6系列をデコードするステップ、 (e) 前記第7系列の語のシンボルが前記第1系列の
語の対応するシンボルと異なるとき、前記第7系列のコ
ード語のシンボルで前記第1系列のコード語の対応する
前記シンボルを置換するステップ、 (f) 前記第5系列の訂正されたシンボルで以て語を
形成するために誤り訂正で以て先行ステップ(e)から
の置換されたシンボルで以て前記コード語をデコードす
るステップ、 (g) 先行ステップ(c)の前記デインタリーブにお
いて先行ステップ(f)の前記訂正されたシンボルの1
つを使用するステップを含む誤り訂正デコーディング方
法。
コード語の第1系列を供給するステップであって、
(i)誤り訂正コード語の第2系列を形成するために情
報シンボルの入力系列をコード化するステップと、(i
i)インタリーブされた語の第3系列を形成するために
前記第2系列のコード語のシンボルをインタリーブする
ステップと、(iii)誤り訂正コード語の第4系列を
形成するために前記インタルーブされた語の第3系列を
コード化するステップと、及び(iv)前記第1系列を
形成するために前記第4系列に可能な誤りを導入するス
テップとによって作られる形状の前記第1系列を供給す
るステップ、 (b) 語の第5系列を形成するために誤り訂正で以て
前記第1系列をデコードするステップ、 (c) コード語の第6系列を形成するために前記第5
系列をデインタリーブするステップ、 (d) 語の第7系列を形成するために誤り訂正で以て
前記第6系列をデコードするステップ、 (e) 前記第7系列の語のシンボルが前記第1系列の
語の対応するシンボルと異なるとき、前記第7系列のコ
ード語のシンボルで前記第1系列のコード語の対応する
前記シンボルを置換するステップ、 (f) 前記第5系列の訂正されたシンボルで以て語を
形成するために誤り訂正で以て先行ステップ(e)から
の置換されたシンボルで以て前記コード語をデコードす
るステップ、 (g) 先行ステップ(c)の前記デインタリーブにお
いて先行ステップ(f)の前記訂正されたシンボルの1
つを使用するステップを含む誤り訂正デコーディング方
法。
【0135】(5) (a) 単一物体を備えるフレー
ムを供給するステップ、(b) 一定値で以て前記フレ
ーム内の背景を置換するステップ、(c) 前記フレー
ムに続く第2フレームを供給するステップ、(d) 前
記第2フレームの画素の各ブロック毎にかつ前記物体に
関連して、前記ブロックを前記置換するステップ(b)
の結果の画素の第2ブロックと比較するステップ、
(e) 前記比較するステップ(d)の比較によって前
記ブロックに対する運動ベクトルを定義するステップを
含む物体指向ビデオストリーム内の運動補償方法。
ムを供給するステップ、(b) 一定値で以て前記フレ
ーム内の背景を置換するステップ、(c) 前記フレー
ムに続く第2フレームを供給するステップ、(d) 前
記第2フレームの画素の各ブロック毎にかつ前記物体に
関連して、前記ブロックを前記置換するステップ(b)
の結果の画素の第2ブロックと比較するステップ、
(e) 前記比較するステップ(d)の比較によって前
記ブロックに対する運動ベクトルを定義するステップを
含む物体指向ビデオストリーム内の運動補償方法。
【0136】(6) (a) 分離してコード化される
物体O1、O2、…、Onを備えるフレームを供給する
ステップ、 (b) 前記物体Ojの各々毎に、(i)先行フレーム
から再生された前記物体Ojを備えるかつ背景画素値の
平均に等しく設定された前記再生されたOjの外側の画
素を備える影像を形成するステップ、(ii)前記物体
Ojの画素の各ブロック毎に、前記ブロックを前記ステ
ップ(i)で形成された前記影像内の画素のブロックと
比較するステップ、(iii)前記ステップ(ii)の
比較によって前記各ブロックに対する運動ベクトルを定
義するステップを含む物体指向ビデオストリーム内の運
動圧縮方法。
物体O1、O2、…、Onを備えるフレームを供給する
ステップ、 (b) 前記物体Ojの各々毎に、(i)先行フレーム
から再生された前記物体Ojを備えるかつ背景画素値の
平均に等しく設定された前記再生されたOjの外側の画
素を備える影像を形成するステップ、(ii)前記物体
Ojの画素の各ブロック毎に、前記ブロックを前記ステ
ップ(i)で形成された前記影像内の画素のブロックと
比較するステップ、(iii)前記ステップ(ii)の
比較によって前記各ブロックに対する運動ベクトルを定
義するステップを含む物体指向ビデオストリーム内の運
動圧縮方法。
【0137】(7) (a) 注目の領域を含む影像を
供給するステップ、(b) 前記注目の領域の外側の前
記影像の画素を一定値に設定するステップ、(c) 前
記ステップ(b)の結果にサブバンド変換を適用するス
テップ、を含むサブバンド変換方法。
供給するステップ、(b) 前記注目の領域の外側の前
記影像の画素を一定値に設定するステップ、(c) 前
記ステップ(b)の結果にサブバンド変換を適用するス
テップ、を含むサブバンド変換方法。
【0138】(8) (a) 画素のM行×N列として
影像を供給するステップであって、前記影像が領域を含
む、前記影像を供給するステップ、(b) 前記領域を
画素のk×kブロックのm行×n列で以てタイルするス
テップであって、kは少なくとも2である、前記タイル
するステップ、(c) 前記ブロックの少なくともtk
2 の画素が前記領域(前記領域の境界上を含む)内にあ
るとき前記領域内にある前記ブロックの各々を標識付け
するステップであって、前記乗数tが0から1までの正
の数である、前記標識付けするステップ、(d) 前記
ブロックの前記標識付けによって前記領域の境界を記述
するステップを含む、影像内の領域の境界を記述する方
法。
影像を供給するステップであって、前記影像が領域を含
む、前記影像を供給するステップ、(b) 前記領域を
画素のk×kブロックのm行×n列で以てタイルするス
テップであって、kは少なくとも2である、前記タイル
するステップ、(c) 前記ブロックの少なくともtk
2 の画素が前記領域(前記領域の境界上を含む)内にあ
るとき前記領域内にある前記ブロックの各々を標識付け
するステップであって、前記乗数tが0から1までの正
の数である、前記標識付けするステップ、(d) 前記
ブロックの前記標識付けによって前記領域の境界を記述
するステップを含む、影像内の領域の境界を記述する方
法。
【0139】(9) (a) 8項の前記タイルするス
テップ(b)が、(i)前記行と列とにそれぞれ平行な
辺を有しかつ前記領域を覆う最小寸法の長方形を見付け
るステップと、(ii)前記ブロックのうちの少なくと
も1つのブロックの辺と一致する前記長方形の1つの辺
と前記ブロックのうちの少なくとも1つのブロックの辺
と一致する前記長方形の第2の辺とで以て前記ブロック
を画定するステップであって、前記第2の辺は前記1つ
の辺に垂直であり、かつ前記ブロックの各々が前記長方
形の少なくとも1つの画素を含む、前記画定するステッ
プとを含む、境界を記述する方法。
テップ(b)が、(i)前記行と列とにそれぞれ平行な
辺を有しかつ前記領域を覆う最小寸法の長方形を見付け
るステップと、(ii)前記ブロックのうちの少なくと
も1つのブロックの辺と一致する前記長方形の1つの辺
と前記ブロックのうちの少なくとも1つのブロックの辺
と一致する前記長方形の第2の辺とで以て前記ブロック
を画定するステップであって、前記第2の辺は前記1つ
の辺に垂直であり、かつ前記ブロックの各々が前記長方
形の少なくとも1つの画素を含む、前記画定するステッ
プとを含む、境界を記述する方法。
【0140】(10) 9項記載の境界を記述する方法
であって、 (a) 8項の前記記述するステップ(d)が、(i)
前記長方形の前記1つの辺と前記第2の辺との交差点を
位置決めするステップと、(ii)8項の前記標識付け
するステップ(c)に該当する前記ブロックのビットマ
ップを形成するステップとを含む、境界を記述する方
法。
であって、 (a) 8項の前記記述するステップ(d)が、(i)
前記長方形の前記1つの辺と前記第2の辺との交差点を
位置決めするステップと、(ii)8項の前記標識付け
するステップ(c)に該当する前記ブロックのビットマ
ップを形成するステップとを含む、境界を記述する方
法。
【0141】(11) (a) 影像の各々を画素のM
行×N列として第1影像と第2影像とを供給するステッ
プであって、前記第2影像が領域を含む、前記供給する
ステップ、 (b) 画素のk×kブロックのうちのm行×n列で以
て前記領域をタイルするステップであって、(i)前記
行と列とにそれぞれ平行な辺を有しかつ前記領域を覆う
最小寸法の長方形を見付けるステップと、(ii)前記
ブロックのうちの少なくとも1つのブロックの辺と一致
する前記長方形の1つの辺と前記ブロックのうちの少な
くとも1つのブロックの辺と一致する前記長方形の第2
の辺とで以て前記ブロックを画定するステップであっ
て、前記第2の辺は前記1つの辺に垂直であり、かつ前
記ブロックの各々が前記長方形の少なくとも1つの画素
を含む、前記画定するステップとによって、行われる前
記タイルするステップ、 (c) 前記ブロックの少なくともtk2 の画素が前記
領域(前記領域の境界上を含む)内にあるとき、前記ビ
ットマップを前記1つのブロックだけ1であると定義
し、そうでない場合0に定義するステップであって、前
記乗数tが0から1までの正の数である、前記ビットマ
ップを定義するステップ、 (d) 前記長方形の前記1つの辺と前記第2の辺との
交差点を位置決めするステップ、 (e) 前記交差点と前記ビットマップとによって前記
領域の境界を記述するステップであって、前記記述が前
記第1影像との差を含む、前記記述するステップを含
む、影像の系列内の領域の境界を記述する方法。
行×N列として第1影像と第2影像とを供給するステッ
プであって、前記第2影像が領域を含む、前記供給する
ステップ、 (b) 画素のk×kブロックのうちのm行×n列で以
て前記領域をタイルするステップであって、(i)前記
行と列とにそれぞれ平行な辺を有しかつ前記領域を覆う
最小寸法の長方形を見付けるステップと、(ii)前記
ブロックのうちの少なくとも1つのブロックの辺と一致
する前記長方形の1つの辺と前記ブロックのうちの少な
くとも1つのブロックの辺と一致する前記長方形の第2
の辺とで以て前記ブロックを画定するステップであっ
て、前記第2の辺は前記1つの辺に垂直であり、かつ前
記ブロックの各々が前記長方形の少なくとも1つの画素
を含む、前記画定するステップとによって、行われる前
記タイルするステップ、 (c) 前記ブロックの少なくともtk2 の画素が前記
領域(前記領域の境界上を含む)内にあるとき、前記ビ
ットマップを前記1つのブロックだけ1であると定義
し、そうでない場合0に定義するステップであって、前
記乗数tが0から1までの正の数である、前記ビットマ
ップを定義するステップ、 (d) 前記長方形の前記1つの辺と前記第2の辺との
交差点を位置決めするステップ、 (e) 前記交差点と前記ビットマップとによって前記
領域の境界を記述するステップであって、前記記述が前
記第1影像との差を含む、前記記述するステップを含
む、影像の系列内の領域の境界を記述する方法。
【0142】(12) 物体指向圧縮及びデコーダフィ
ードバックを使用する誤り訂正を含むビデオ圧縮方法及
びシステム(図1)。
ードバックを使用する誤り訂正を含むビデオ圧縮方法及
びシステム(図1)。
【図1】本発明の好適実施例のビデオ電話システムのブ
ロック図。
ロック図。
【図2】本発明の好適実施例の監視システムのブロック
図。
図。
【図3】本発明の好適実施例のビデオ圧縮方法の高レベ
ル流れ図。
ル流れ図。
【図4】本発明の好適実施例によるセグメンテーション
を説明するフレームの図であって、aは画素の絶対差2
進影像のフレームの図、bはaの後続のフレームの図、
cはしきい値を設定された2進影像の図、dはセグメン
テーショを施された2進影像の図。
を説明するフレームの図であって、aは画素の絶対差2
進影像のフレームの図、bはaの後続のフレームの図、
cはしきい値を設定された2進影像の図、dはセグメン
テーショを施された2進影像の図。
【図5】本発明の好適実施例によるブロック境界コード
化を説明するフレームの図であって、aは関係領域の
図、bは関係領域と境界長方形の図、cはタイリングの
図、dはビットマップの図。
化を説明するフレームの図であって、aは関係領域の
図、bは関係領域と境界長方形の図、cはタイリングの
図、dはビットマップの図。
【図6】本発明の好適実施例によるビデオ伝送の説明図
であって、aは単一ビット輪郭伝送の図、bは小さい移
行ベクトル伝送の図、cは移行ベクトルの伝送の図、d
はビットマップのランレングスコード化の図。
であって、aは単一ビット輪郭伝送の図、bは小さい移
行ベクトル伝送の図、cは移行ベクトルの伝送の図、d
はビットマップのランレングスコード化の図。
【図7】本発明の好適実施例による運動ベクトルの図。
【図8】本発明の好適実施例による運動故障領域の図。
【図9】本発明の好適実施例による運動故障領域上のマ
クロブロック(制御格子)の図。
クロブロック(制御格子)の図。
【図10】本発明の好適実施例によるウェーブレット変
換フィルタリングステージにおける影像の図であって、
aは第1ステージの図、bは第2ステージの図。
換フィルタリングステージにおける影像の図であって、
aは第1ステージの図、bは第2ステージの図。
【図11】本発明の好適実施例によるウェーブレット変
換影像分解を示す図であって、aは元のマップの図、b
は分解の1ステージ後の図、cは2ステージ後の図。
換影像分解を示す図であって、aは元のマップの図、b
は分解の1ステージ後の図、cは2ステージ後の図。
【図12】本発明の好適実施例によるウェーブレット変
換係数量子化用零木の構成図。
換係数量子化用零木の構成図。
【図13】本発明の好適実施例によるウェーブレット変
換圧縮装置のブロック図。
換圧縮装置のブロック図。
【図14】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、aは第1フレー
ムの図、bはそのセグメンテーションマスクの図、cは
ブロックされた背景影像マスクの図、dは抽出された背
景影像の図。
ステップを示すフレームの図であって、aは第1フレー
ムの図、bはそのセグメンテーションマスクの図、cは
ブロックされた背景影像マスクの図、dは抽出された背
景影像の図。
【図15】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレーム図であって、aはブロックされ
た物体マスクの図、bは抽出された物体の図、cは再生
背景の図、dは再生物体の図、eは再生フレームの図。
ステップを示すフレーム図であって、aはブロックされ
た物体マスクの図、bは抽出された物体の図、cは再生
背景の図、dは再生物体の図、eは再生フレームの図。
【図16】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、aはPフレーム
の図、bは物体マスクの図、cはブロックされた物体マ
スクの図、cは再生背景の図、dは抽出された物体の
図、eは物体差の図、fは調節されたブロックされたマ
スクの図。
ステップを示すフレームの図であって、aはPフレーム
の図、bは物体マスクの図、cはブロックされた物体マ
スクの図、cは再生背景の図、dは抽出された物体の
図、eは物体差の図、fは調節されたブロックされたマ
スクの図。
【図17】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームの図であって、aは平均背景値
を有する再生物体の図、bはDCTコード化されたブロ
ックの図、cはDCTコード化された他のブロックの
図。
ステップを示すフレームの図であって、aは平均背景値
を有する再生物体の図、bはDCTコード化されたブロ
ックの図、cはDCTコード化された他のブロックの
図。
【図18】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレーム図であって、aは分離物体とし
てコード化された覆われない背景画素の図の、bはこれ
らの画素に対するブロックされたマスクの図、cはマス
ク内の影像の図。
ステップを示すフレーム図であって、aは分離物体とし
てコード化された覆われない背景画素の図の、bはこれ
らの画素に対するブロックされたマスクの図、cはマス
ク内の影像の図。
【図19】本発明の好適実施例による物体除去のフレー
ムの図であって、aは削除前の図、bは除去後の図。
ムの図であって、aは削除前の図、bは除去後の図。
【図20】本発明の好適実施例のシステムの誤り訂正エ
ンコーダのブロック図。
ンコーダのブロック図。
【図21】本発明の好適実施例のシステムの誤り訂正デ
コーダのブロック図。
コーダのブロック図。
【図22】本発明の好適実施例のシステムの誤り訂正フ
ィードバックの構成線図。
ィードバックの構成線図。
【図23】本発明の好適実施例のシステムの他の誤り訂
正フィードバックの構成線図。
正フィードバックの構成線図。
220 監視システム 202 ビデオカメラ 206 運動物体 208 圧縮装置 210 遠隔記憶装置 220 デコーダ及びディスプレイ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成9年5月8日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図1】本発明の好適実施例のビデオ電話システムのブ
ロック図。
ロック図。
【図2】本発明の好適実施例の監視システムのブロック
図。
図。
【図3】本発明の好適実施例のビデオ圧縮方法の高レベ
ル流れ図。
ル流れ図。
【図4】本発明の好適実施例によるセグメンテーション
を説明するフレームのディスプイ上に表示した中間調画
像の写真であって、aは画素の絶対差2進影像のフレー
ムの写真、bはaの後続のフレームの写真、cはしきい
値を設定された2進影像の写真、dはセグメンテーショ
を施された2進影像の写真。
を説明するフレームのディスプイ上に表示した中間調画
像の写真であって、aは画素の絶対差2進影像のフレー
ムの写真、bはaの後続のフレームの写真、cはしきい
値を設定された2進影像の写真、dはセグメンテーショ
を施された2進影像の写真。
【図5】本発明の好適実施例によるブロック境界コード
化を説明するフレームの図であって、aは関係領域の
図、bは関係領域と境界長方形の図、cはタイリングの
図、dはビットマップの図。
化を説明するフレームの図であって、aは関係領域の
図、bは関係領域と境界長方形の図、cはタイリングの
図、dはビットマップの図。
【図6】本発明の好適実施例によるビデオ伝送の説明図
であって、aは単一ビット輪郭伝送の図、bは小さい移
行ベクトル伝送の図、cは移行ベクトルの伝送の図、d
はビットマップのランレングスコード化の図。
であって、aは単一ビット輪郭伝送の図、bは小さい移
行ベクトル伝送の図、cは移行ベクトルの伝送の図、d
はビットマップのランレングスコード化の図。
【図7】本発明の好適実施例による運動ベクトルの図。
【図8】本発明の好適実施例による運動故障領域の図。
【図9】本発明の好適実施例による運動故障領域上のマ
クロブロック(制御格子)の図。
クロブロック(制御格子)の図。
【図10】本発明の好適実施例によるウェーブレット変
換フィルタリングステージにおける影像のディスプレイ
上に表示した中間調画像の写真であって、aは第1ステ
ージの写真、bは第2ステージの写真。
換フィルタリングステージにおける影像のディスプレイ
上に表示した中間調画像の写真であって、aは第1ステ
ージの写真、bは第2ステージの写真。
【図11】本発明の好適実施例によるウェーブレット変
換影像分解を示す図であって、aは元のマップの図、b
は分解の1ステージ後の図、cは2ステージ後の図。
換影像分解を示す図であって、aは元のマップの図、b
は分解の1ステージ後の図、cは2ステージ後の図。
【図12】本発明の好適実施例によるウェーブレット変
換係数量子化用零木の構成図。
換係数量子化用零木の構成図。
【図13】本発明の好適実施例によるウェーブレット変
換圧縮装置のブロック図。
換圧縮装置のブロック図。
【図14】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは第1フレームの写真、b
はそのセグメンテーションマスクの写真、cはブロック
された背景影像マスクの写真、dは抽出された背景影像
の写真。
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは第1フレームの写真、b
はそのセグメンテーションマスクの写真、cはブロック
された背景影像マスクの写真、dは抽出された背景影像
の写真。
【図15】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aはブロックされた物体マス
クの写真、bは抽出された物体の写真、cは再生背景の
写真、dは再生物体の写真、eは再生フレームの写真。
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aはブロックされた物体マス
クの写真、bは抽出された物体の写真、cは再生背景の
写真、dは再生物体の写真、eは再生フレームの写真。
【図16】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aはPフレームの写真、bは
物体マスクの写真、cはブロックされた物体マスクの写
真、cは再生背景の写真、dは抽出された物体の写真、
eは物体差の写真、fは調節されたブロックされたマス
クの写真。
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aはPフレームの写真、bは
物体マスクの写真、cはブロックされた物体マスクの写
真、cは再生背景の写真、dは抽出された物体の写真、
eは物体差の写真、fは調節されたブロックされたマス
クの写真。
【図17】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは平均背景値を有する再生
物体の写真、bはDCTコード化されたブロックの写
真、cはDCTコード化された他のブロックの写真。
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは平均背景値を有する再生
物体の写真、bはDCTコード化されたブロックの写
真、cはDCTコード化された他のブロックの写真。
【図18】本発明の好適実施例によるスケーラブル圧縮
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは分離物体としてコード化
された覆われない背景画素の写真の、bはこれらの画素
に対するブロックされたマスクの写真、cはマスク内の
影像の写真。
ステップを示すフレームのディスプレイ上に表示した中
間調画像の写真であって、aは分離物体としてコード化
された覆われない背景画素の写真の、bはこれらの画素
に対するブロックされたマスクの写真、cはマスク内の
影像の写真。
【図19】本発明の好適実施例による物体除去のフレー
ムのディスプレイ上に表示した中間調画像の写真であっ
て、aは削除前の写真、bは除去後の写真。
ムのディスプレイ上に表示した中間調画像の写真であっ
て、aは削除前の写真、bは除去後の写真。
【図20】本発明の好適実施例のシステムの誤り訂正エ
ンコーダのブロック図。
ンコーダのブロック図。
【図21】本発明の好適実施例のシステムの誤り訂正デ
コーダのブロック図。
コーダのブロック図。
【図22】本発明の好適実施例のシステムの誤り訂正フ
ィードバックの構成線図。
ィードバックの構成線図。
【図23】本発明の好適実施例のシステムの他の誤り訂
正フィードバックの構成線図。
正フィードバックの構成線図。
Claims (2)
- 【請求項1】 (a) 第1誤り訂正デコーダ、 (b) 前記第1誤り訂正デコーダの出力に結合された
デインタリーバ、 (c) 前記デインタリーバの出力に結合された第2誤
り訂正デコーダ、 (d) 前記第1誤り訂正デコーダの出力に結合された
バッファ、及び (e) 前記バッファと前記第2誤り訂正デコーダとに
結合され、かつ前記デインタリーバの出力に結合された
フィードバックデコーダを備え、前記フィードバックデ
コーダが前記第2誤り訂正デコーダからの置換された誤
り訂正されたシンボルで以て前記バッファからのコード
語をデコードする、誤り訂正デコーダ。 - 【請求項2】 (a) 誤りを含む可能性のあるコード
語の第1系列を供給するステップであって、(i)誤り
訂正コード語の第2系列を形成するために情報シンボル
の入力系列をコード化するステップと、(ii)インタ
リーブされた語の第3系列を形成するために前記第2系
列のコード語のシンボルをインタリーブするステップ
と、(iii)誤り訂正コード語の第4系列を形成する
ために前記インタルーブされた語の第3系列をコード化
するステップと、(iv)前記第1系列を形成するため
に前記第4系列に可能な誤りを導入するステップとによ
って作られる形状の前記第1系列を供給するステップ、 (b) 語の第5系列を形成するために誤り訂正で以て
前記第1系列をデコードするステップ、 (c) コード語の第6系列を形成するために前記第5
系列をデインタリーブするステップ、 (d) 語の第7系列を形成するために誤り訂正で以て
前記第6系列をデコードするステップ、 (e) 前記第7系列の語のシンボルが前記第1系列の
語の対応するシンボルと異なるとき、前記第7系列のコ
ード語のシンボルで前記第1系列のコード語の対応する
前記シンボルを置換するステップ、 (f) 前記第5系列の訂正されたシンボルで以て語を
形成するために誤り訂正で以て先行ステップ(e)から
の置換されたシンボルで以て前記コード語をデコードす
るステップ、 (g) 先行ステップ(c)のデインタリーブにおいて
先行ステップ(f)の前記訂正されたシンボルの1つを
使用するステップを含む誤り訂正デコーディング方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US005970 | 1993-01-19 | ||
US008029 | 1993-01-25 | ||
US802995P | 1995-10-27 | 1995-10-27 | |
US597195P | 1995-10-27 | 1995-10-27 | |
US597095P | 1995-10-27 | 1995-10-27 | |
US005971 | 1995-10-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09331536A true JPH09331536A (ja) | 1997-12-22 |
Family
ID=27358005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8302416A Pending JPH09331536A (ja) | 1995-10-27 | 1996-10-28 | 誤り訂正デコーダ及び誤り訂正デコーディング方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP0790741B1 (ja) |
JP (1) | JPH09331536A (ja) |
CA (1) | CA2188840C (ja) |
DE (1) | DE69637008T2 (ja) |
SG (1) | SG74571A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019009686A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社日立製作所 | 情報処理装置及び画像データの処理方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1169356A (ja) * | 1997-08-25 | 1999-03-09 | Mitsubishi Electric Corp | 動画像符号化方式及び動画像復号方式 |
US6477201B1 (en) | 1998-05-22 | 2002-11-05 | Sarnoff Corporation | Content-adaptive compression encoding |
US6501861B1 (en) * | 1998-09-17 | 2002-12-31 | Samsung Electronics Co., Ltd. | Scalable coding/decoding methods and apparatus for producing still image using wavelet transformation |
US6999673B1 (en) | 1999-09-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Moving picture decoding method, moving picture decoding apparatus and program recording medium |
FR2800957B1 (fr) * | 1999-11-10 | 2002-05-17 | Samsung Electronics Co Ltd | Methodes evolutives et appareil d'encodage/de decodage pour la creation d'image fixe utilisant la transformation par ondelettes |
US7123745B1 (en) | 1999-11-24 | 2006-10-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for detecting moving objects in video conferencing and other applications |
US6662329B1 (en) | 2000-03-23 | 2003-12-09 | International Business Machines Corporation | Processing errors in MPEG data as it is sent to a fixed storage device |
JP4903967B2 (ja) | 2000-04-14 | 2012-03-28 | シーメンス アクチエンゲゼルシヤフト | データストリームのチャネル復号化方法、チャネル復号化装置、コンピュータで読み取り可能な記憶媒体、および、コンピュータプログラム |
AU2001262594A1 (en) * | 2000-05-11 | 2001-11-20 | Vision2Vision Inc. | Video processing method and apparatus |
FR2817698B1 (fr) * | 2000-12-05 | 2003-03-07 | Canon Kk | Procede et dispositif de traitement d'un ensemble de donnees representatives de grandeurs physiques |
GB2425011A (en) * | 2005-04-07 | 2006-10-11 | Ely Jay Malkin | Encoding video data using a transformation function |
US10219014B2 (en) | 2016-06-02 | 2019-02-26 | Biamp Systems, LLC | Systems and methods for bandwidth-limited video transport |
CN116645372B (zh) * | 2023-07-27 | 2023-10-10 | 汉克威(山东)智能制造有限公司 | 一种制动气室外观图像智能检测方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5710558A (en) * | 1980-06-20 | 1982-01-20 | Sony Corp | Error correcting method |
US4637021A (en) * | 1983-09-28 | 1987-01-13 | Pioneer Electronic Corporation | Multiple pass error correction |
-
1996
- 1996-10-25 CA CA002188840A patent/CA2188840C/en not_active Expired - Fee Related
- 1996-10-25 DE DE69637008T patent/DE69637008T2/de not_active Expired - Lifetime
- 1996-10-25 EP EP96307760A patent/EP0790741B1/en not_active Expired - Lifetime
- 1996-10-26 SG SG1996010950A patent/SG74571A1/en unknown
- 1996-10-28 JP JP8302416A patent/JPH09331536A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019009686A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社日立製作所 | 情報処理装置及び画像データの処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2188840A1 (en) | 1997-04-28 |
EP0790741A3 (en) | 2000-05-31 |
DE69637008D1 (de) | 2007-05-16 |
CA2188840C (en) | 2005-08-09 |
DE69637008T2 (de) | 2007-12-13 |
EP0790741A2 (en) | 1997-08-20 |
SG74571A1 (en) | 2000-08-22 |
EP0790741B1 (en) | 2007-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6272253B1 (en) | Content-based video compression | |
US6614847B1 (en) | Content-based video compression | |
US5896176A (en) | Content-based video compression | |
US6026183A (en) | Content-based video compression | |
CN1156167C (zh) | 运动图象编码方法和运动图象编码设备 | |
Talluri et al. | A robust, scalable, object-based video compression technique for very low bit-rate coding | |
US6148028A (en) | Video coding apparatus and method which codes information indicating whether an intraframe or interframe predictive coding mode is used | |
US8050329B2 (en) | Method and apparatus for generic scalable shape coding | |
JPH09331536A (ja) | 誤り訂正デコーダ及び誤り訂正デコーディング方法 | |
JP2011142663A (ja) | 効率的な映像処理のための方法および装置 | |
Chen et al. | Design of digital video coding systems: a complete compressed domain approach | |
KR20010102155A (ko) | '블러키 화상' 효과의 감소 | |
JPH11122617A (ja) | 画像圧縮 | |
Whybray et al. | Video coding—techniques, standards and applications | |
JP2007511938A (ja) | ビデオ信号の符号化方法 | |
KR100494275B1 (ko) | 내용기초형비디오압축 | |
JP2004007266A (ja) | 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体 | |
EP1830574A2 (en) | Video compression using resynchronization words between sequences of symbols | |
Schäfer et al. | Improving image compression—Is it worth the effort? | |
Motta | Optimization methods for data compression | |
JP3958033B2 (ja) | 動画像情報の圧縮方法およびそのシステム | |
Sohel et al. | Video coding for mobile communications | |
Garnham | Motion compensated video coding | |
JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
JPH05130585A (ja) | 符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070301 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070306 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080229 |