JP2925563B2 - 信号コーディング - Google Patents

Description

【発明の詳細な説明】 本発明は、とくに条件付き補充コーディング（condit
ional replenishment coding）を用いるビデオ信号のコ
ーディングに関し、この場合情報は一般に先のフレーム
に対して変化した画像のフレームの要素のみに関して伝
送され、伝送されたデータは、記憶した画像を更新する
受信機で用いられる。

したがって、コード化されるべき画像の各ブロックの
画素は、ブロックが２つの画像間で変化したかどうかを
決定するために、前もってコード化した画像に対応する
ブロックの画素と比較される。もしもそうならば、画素
データは出力に対して発生される。

このようなシステムは、公開された国際特許出願第WO
86/03922号に記述されており、ここでこのシステムはブ
ロックを先の（基準）画像の対応するブロックと比較す
る。それらが同じであると考えられるときは、画像デー
タは生成されず、その代わりにコードワードを生成し
て、受信機は基準画像の局部的に記憶したコピー（レプ
リカ）からデータを得る。

本発明の一つの態様によると、複数の各画像ブロック
に対して下記の段階でなる画像のコーディング方法が提
供される。

（ｉ） ブロックの画素と先にコード化した画像の対応
するブロックの画素とを比較し、対応する画素が所定基
準に従って２つの画像間で変化したと考えられる否かを
夫々示す値のマトリックスを生成する段階と； （ii） 変化したと考えられるブロック領域を識別する
所定の一組のマトリックスの一つに前記マトリックスを
整合させ、その組の一つのマトリックスを識別するコー
ドワードを生成する段階と； （iii） ブロックの画素を少なくとも一つの先のフレ
ームからのブロックにより構成された基準画像の対応ブ
ロックの画素と比較し、前記ブロックが所定基準に従っ
て２つの画像間で変化したと考えられるか否かを判断す
る段階と； （iv） 前記領域内の全ての画素が、基準画像に関して
変化していると比較段階（iii）によって識別されれば
コードワードが生成され、識別された領域内で画素を出
力するコード化をする段階。

もう一つの態様では、本発明は下記の構成手段（ｉ）
〜（iv）で構成される画像のコーディング装置を提供す
る。

（ｉ） 各画像の複数のブロック毎に、ブロックの画素
と先にコード化した画像の対応するブロックの画素とを
比較し、対応する要素が所定基準に従って２つの画像間
で変化したと考えられるか否かを夫々示す値のマトリッ
クスを生成する手段と； （ii） 変化したと考えられるブロックの領域を識別す
る所定の一組のマトリックスの一つに前記マトリックス
を整合させ、その組の一つのマトリックスを識別するコ
ードワードを生成する手段と；。

（iii） 少なくとも一つの先のフレームからのブロッ
クにより構成される基準画像を形成するようにされたメ
モリと、ブロック画素を基準画像の対応するブロックの
画素と比較して、前記ブロックが所定基準に従って、２
つの画像間で変化したと考えられるか否かを判断する手
段と； （iv） 前記領域内の全ての画素が、基準画像に関して
変化していると比較手段（iii）によって識別されれば
コードワードを生成し、前記識別された領域内で画素を
出力するコード化する手段。

画像のコーディングに関して、しばしばベクトル量子
化と呼ばれる、２次元マップの整合段階が、例えば欧州
特許出願第0239076A号で以前に提案されており、この場
合、変換係数ブロックのブロックが分類される。

しかしながら、本発明はこのベクトル量子化を更に発
展させ、この分類を使用して、どの要素が出力に対して
コード化されたかを示すために伝送されなければならな
い情報量を（必要であれば）減少するだけでなく、代わ
りに“基準”コードワードを生成する回数を増加するこ
とができるようにしている。

ここで本発明のいくつかの実施形態は、例示的に添付
の図面を引用して記載される。

第１図は、本発明の一実施形態に従ったコーダのブロ
ック図である。

第２図は、第１図のコーダの変化検出器によって生成
された典型的なビットマップを示す。

第３図は、第１図のコーダのベクトル量子化器で用い
られる少数の基準ビットパターンを示す。

第４図は、本発明の別の実施形態に従ったコーダのブ
ロック図である。

第１図は、条件付き補充ビデオコーダを示し、ビデオ
信号（デジタル形式であると想定される）は入力１に供
給される。画像の現フレームは、変化または移動検出器
２で局部デコーダ３の出力と比較される。この局部デコ
ーダは、遠隔デコーダで生成されるのと同じ“先行フレ
ーム”の出力を生成する。すなわち、比較は変化した画
像の部分を識別するために行われ、したがってその部分
に関する情報のみをデコーダに送ってフレームの記憶表
示を更新することが必要である。

変化モニタ35はコーダでのビデオを監視し、フレーム
メモリ31内に記憶された元の背景と違うが所定時間は不
変に保たれた映像部分をフレームメモリ内に挿入し、ラ
イン36を経てユニット35からデコーダへ信号が送られて
デコーダに同様のことをするように命令する。

信号はブロック・バイ・ブロック方式で処理される。
すなわち８×８のブロックを想定して、変化検出器２が
８×８のビットマップを生成する。典型的なマップは第
２図に示されており、ここで変化した画素（ピクセル）
に対応する画素のブロックが斜線で示されている。

この発明では、現在のフレームの１ブロックが以前に
コード化された画像の対応するブロックと比較される。
マトリックス値が生成されてそのブロックの各要素が２
つの画像間で変化したと思われるかどうかを示すように
する。マトリックス（複数）の所定の組が用意されて、
生成されたマトリックスがこれら所定のマトリックス
（複数）の各々と比較されて、所定のマトリックス（複
数）のどれが生成されたマトリックスと整合するが判断
される。

第２図は比較手段によって生成された典型的なマトリ
ックスを示す。第３図はこの発明によるコード（符号化
器）で使用するためのマトリックス（複数）の所定の組
の例を示す。第２図ではブロックのうちの左側の３つの
列内の要素だけが現在の画像と以前にコード化された画
像との間で変わったと思われるものである。第３図
（ｈ）に示したマトリックスは変化したと思われるブロ
ックの範囲（領域）を識別するマトリックス（複数）の
所定の組の１つである。他の所定のマトリックス（第３
図（ａ）乃至（ｇ）に示す）の何れのものも２つの画像
間で変化したと思われる要素全部を含んでいる領域を識
別はしていない。代３図（ｈ）に示した識別された領域
内の現在のブロックの画素は次々に基準画像の対応する
ブロックの画素と比較される。もし第３図（ｈ）に示し
た範囲内の全画素が基準画像に対して変わっていないと
同定（識別）されると、これを示すコードワードが生成
される。しかし、第３図（ｈ）に示した領域内の若干の
画素が基準画像の画素と異なるときは、識別された領域
内の現在のフレームの画素がコード化される。

実際には、変化した画素のみに関する情報は、意味の
あるアドレス指定用オーバヘッドを含んで伝送されるの
で、限定された数、一般的には40個の標準形状（幾つか
が第３図に例示されている）の一つにビットマップを整
合させることが好ましい。変化したピクセルの情報を伝
送しそこなうよりはむしろ、変化しないピクセルの情報
を伝送することが好ましいので、ビットマップの斜線を
付けられた画素を包括する斜線領域を有する最小の形状
（すなわち、斜線を付けられた最少数の画素をもつも
の）が選択される。この処理はベクトル量子化（VQ）と
呼ばれ、第１図にはベクトル量子化器４として示されて
いる。選択した形状と一致して変化したと考えられるピ
クセルの情報と共に選択した形状を識別するVQ数をブロ
ックに対して伝送することになる。出力データは、バッ
ファー５において結合され、緩衝されてから出力６へ送
られる。このようなシステムで一般に行なわれているよ
うに、バッファーは（画像内容に依存するコーディング
による）データ発生速度の変化を平滑化して、正規の伝
送速度と調和させるために用いられ、バッファー満杯状
態は（例えば、変化検出器しきい値（制御ライン７）を
変化させることで）発生速度を制御するために用いられ
る。

変化したと考えられるピクセルは、エンコーダ８（例
えば、国際特許出願PCT/GB88/00709号、欧州特許出願88
−307981.6号、および日本国特許出願特願昭63−507364
号に記述されているやり方）でコード化される。

この先願明細書には第１図のユニット８によって実行
されるコーディング機構の一例が更に詳細に説明されて
いる。

特にビデオ会議またはビデオ電話環境の多くのテレビ
放送画面は、固定した背景をバックにして移動する人物
または物体（オブジェクト）の集合を含んでいる。変化
検出器２によって変化したと認められるピクセルは、そ
の位置を変えた（または画面に入った）物体またはその
物体で覆われていない背景の部分のどちらかと関係付け
られることになる。このコーダには、第２の変化検出器
30も示されており、それは現フレームとフレームメモリ
31に記憶された基準または背景フレームとを比較する。
記憶された背景フレームの捕捉については、以下でさら
に記載するが、第１図では伝送の開始時におけるスイッ
チ32の手動操作に応答して局部デコーダ３から捕捉した
と想定されている。コードは受信機に伝送されて、遠隔
デコーダで同様な動作を開始する。

変化検出器30は、背景と同じ現フレームのピクセルを
識別するビットマップを生成する。

新たな画像がVQ形状によって変化したことが示された
いくつかのピクセルの背景とは異なることを変化検出器
30が示すときは、背景情報を使用することができず、そ
れらのピクセルの情報はVQ番号（シンボル）と共に伝送
される。

しかしながら、VQ形状によって与えられる変化領域
が、記憶した背景フレームの対応ピクセルと同様に検出
器30によって識別されるピクセルのみを包括するとき
は、VQ番号（シンボル）は“背景”を示す指定コードワ
ードを伴ない、このブロックに対しては情報をさらに伝
送する必要がない。

これらの機能はコンパレータ33によって第２図で示す
ように成し遂げられ、その出力34はエンコーダ８の動作
に優る。

第４図は、デコーダを示している。入力処理装置40は
コード化された入力信号を受信する。背景フレームは背
景メモリ41に記憶される。正常動作の下では、処理装置
40は受信したピクセル情報を使用して、フレームメモリ
43の内容をライン42を介して更新し、ライン44を介して
受信したVQ番号（シンボル）を使用して、フレームメモ
リ43のアドレス指定を制御する。しかしながら、処理装
置が指定した“背景”のコードワードを（ライン45を介
して）受信すると、背景メモリ41から（VQ番号（シンボ
ル）によって識別された）関連するピクセルを回復し、
フレームメモリ43へ入る。これは、切換スイッチ４によ
って概略的に図示されている。フレームメモリ43は（出
力制御手段47によって）読取られて、出力８で受信した
ビデオを生成する。コーダの場合のように、“背景をロ
ードせよ（ロードバックグラウンド）”命令が（ライン
49から）受信されたとき、背景メモリ41はメモリ43のデ
コーダされた画像によってロードされる。

第１図の局部デコーダ３は、第４図のデコーダと同様
な構成であるが、もちろん実際には、局部デコーダはメ
モリを内蔵しているのではなく、むしろ背景メモリ31を
使用することに注意すべきである。

変化検出器2,30は、原則的には一般的に使用されてい
るものか、または我々の上述の特許出願に記述されてい
るものを使用してもよい。さらにベクトル量子化器４も
周知の装置でよい。例えば、我々の国際特許出願第PCG/
GB87/00816号（公開番号WO88/04084）、および欧州特許
出願第8627787号（公開番号0272794）に記載されている
ものでもよい。

もっと簡単だが、より粗雑なもう一つのやり方は、４
つの“旧”画素のオア（OR）機能として各“新”画素を
作り出すことによって、８×８のマトリックスから４×
４のマトリックスに変換することである。すなわち、こ
れは適切なVQ数を記憶している64Kバイトの読取り専用
メモリによってマトリックスの画素数をルックアップテ
ーブルをアドレスするために使用できるサイズ（16）に
減少するやり方である。

背景画面は、伝送の開始時に手動で“フリーズ（コマ
止め）”することができる。それは固定された背景のみ
から構成してもよいが、必ずしもそうする必要はない。
例えば、背景画像は座っている人物を含んでもよい（こ
れによって、人物が自分の顔の前で一瞬手を動かす状況
をカバーし、顔が背景の一部を構成しているときに、顔
を再度伝送する必要はない。） 背景を更新するための用意を備えることが望ましい。
例えば、入力ビデオは（第１図において点線で示された
ユニット35によって）コーダで監視でき、本来の背景と
相違するが所定時間の間変化しなかった画像の部分がフ
レームメモリに挿入されて、デコーダに同様にせよと命
令する信号が（ライン36を介して）デコーダに送られ
る。

背景メモリを更新する代りの方法では、純粋な本物の
背景を識別する試みを放棄し、その代わりとしてある期
間中に先行画像から取出したブロックの複合体である基
準画像を形成する。画像領域にわたって散在している少
数（例えば８個）の選択したブロックのデータを各フレ
ーム期間に背景メモリに入力し、全画像領域を包括（カ
バー）するまで、各フレームから異なる（違った）ブロ
ックを選択する。１秒につき25フレームで１フレームに
つき1024ブロックと仮定すれば、これはほぼ40秒の期間
を表わす。ブロックは、デコーダのフレームメモリ43、
およびローカル（局部）デコーダの対応するメモリから
ロードでき、この場合、変化モニタは適切なブロックを
選択する簡単なアドレス発生器35に置換される。したが
って明らかに、基準画像のいくつかのブロックが背景素
材を表わさないので効果がより低いが、依然としてコー
ディングにおける明確な利点、すなわち簡素であるとい
う長所を有する。

この種のやり方の変形では、デコードした画像から選
択したブロックのデータを得る代わりに、このデータを
実際に伝送する。すなわち、たとえ検出器２および量子
化器４によって一部分のみが動いている、または全く動
いていないと示されたとしても、全ブロックが強制的に
伝送される。この場合、フレームメモリ31,41は、それ
ぞれ入力１および処理装置40から入力を得る。したがっ
て都合よく、ほとんど変化しないブロックについて伝送
エラーが、デコードした画像に残らないことが確実にな
る。

フロントページの続き (72)発明者 レーニング，アンソニー・リチヤード イギリス国 サフオーク，アイプスウイ ツチ，エルムハースト・ドライブ 43 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】画像のコード化装置であって、 （ｉ）各画像の複数のブロック毎に、ブロックの画素と
   先にコード化した画像の対応するブロックの画素とを比
   較し、対応する画素が所定基準に従って２つの画像間に
   おいて変化したと考えられるか否かを夫々示す値のマト
   リックスを生成する手段と； （ii）変化したと考えられるブロックの領域を識別する
   所定の一組のマトリックスの一つに前記マトリックスを
   整合させ、その組の一つのマトリックスを識別するコー
   ドワードを生成する手段と； （iii）少なくとも一つの先のフレームからのブロック
   により構成される基準画像を記憶するようにされたメモ
   リと、 ブロックの識別された領域の画素を基準画像の対応する
   ブロックの画素と比較して、前記識別された領域が所定
   基準に従って２つの画像間で変化したと考えられるか否
   かを判断する手段と； （iv）（ａ）（iii）での比較が識別された領域内の全
   ての画素が基準画像と同じ位置の画素と同じであること
   を示せば、識別された領域の画素のコード化を要しない
   として、特殊のコードワードを生成し、 （ｂ）（iii）での比較が識別された領域内の全ての画
   素が基準画像と同じ位置の画素と同じでないことを示せ
   ば、該特殊のコードワードを生成せずに、識別された領
   域内の画素をコードとする、識別された領域内での画素
   を出力するコード化手段と； により構成された画像のコード化装置。
2. 【請求項２】所定時間変化しなかった前記画像の部分を
   識別し、そのような部分が識別された場合には、 （ａ）記憶された基準画像を更新し、さらに、 （ｂ）基準画像のどの部分がこうして更新されたかを示
   す出力データをコード化するために一連の画像を比較す
   る手段を含む請求項１記載の装置。
3. 【請求項３】（ａ）受信された画像を記憶するフレーム
   メモリ（41）と； （ｂ）第２のフレームメモリ（43）と； （ｃ）受信したデータに応答して、この受信したデータ
   を用いて前記第２のフレームメモリ（43）の内容を更新
   し、かつ受信したコードワードに応答して前記第１のフ
   レームメモリ（41）からの情報で前記第２のフレームメ
   モリ（43）を更新する制御手段（46）と； （ｄ）ビデオ出力信号を生成するために前記第２のフレ
   ームメモリ（43）の内容を繰返して読み取るための手段
   （47）と； で構成される請求項１記載のコード化装置と共に用いる
   ためのデコーダ。