JPH0244883A

JPH0244883A - 動画像伝送方式

Info

Publication number: JPH0244883A
Application number: JP63194525A
Authority: JP
Inventors: Toshiaki Watanabe; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-08-05
Filing date: 1988-08-05
Publication date: 1990-02-14

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の目的〕（産業上の利用分野）この発明はＴＶ会議システム、ＴＶ電話等に用いる動き
補償付きの動画像伝送方式に関する。

（従来の技術）動画像の圧縮符号化において、動き補償（＝Ｍｏｔｉｏ
ｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ　、以後ＭＣと略す）の
効果は従来から知られている。ＭＣは画素単位に行なう
方法（ベル・マツチング）とブロック単位に行なう方法
（ブロック・マツチング）とがあるが、前者は、ｉ）画素ごとの処理であるため雑音に弱い。

ｉｌ）有力な圧縮技術の一つである直交変換が使いすら
い。

ｉｎ）直交変換を使おうとすると膨大な動ベクトルを伝
送する必要が生じる。

等の問題点があり、また後者は、１）ブロックごとに動ベクトルを発生させるのでベル・
マツチング雑正確にＭＣが行なわれない。

道）同一ブロック内に動部分と静止部分がある場合は、
ＭＣによって静止部分も動きを持つと見なされ処理され
てしまう。

等の問題点がある。

この様な状況の中で特に大幅な帯域圧縮を行なう必要が
ある場合、直交変換は不可欠な技術であり、あるいは直
交変換にかわるベクトル量子化を用いる場合でもブロッ
ク単位の処理を避けることはできない。従って上記方式
にＭＣを組み合わせるためにはブロック・マツチング法
を行なう必要があるが、すでに前述した様にいくつかの
問題点を含んでいる。特に同一ブロック内に動部分と静
止部分が混在している場合に不都合が大きく、例えば第
８図（ａ）に示す様に動部分の右上に縞模様の背景があ
り、物体が矢印に動く場合、動部分に注目すると正しい
動ベクトルによって差分がとられるべきブロックは第８
図（ｂ）の点線の部分になるべきである。ところが差分
をとるブロックのみをそれぞれ抜き出してみると第８図
（Ｃ）、　（ｄ）の間で差分をとることになるため動部
分は差分が小さくなるが背景部分（本来は静止している
部分）も同時に動かされてしまうため、この部分の差分
が大きくなり、差分誤差最小というマツチングの条件に
はあてはらず、正しい動ベクトルが求まらない場合が生
じてくる。

また、上の例の様にはっきりした背景がなく仮に動ベク
トルが正しく求められたとしても、本来静止している部
分、つまり差分が零になるべき部分を動かして差分をと
ることになるからその部分には予測誤差が生じてしまう
。しかもこの誤差に高周波成分が含まれていると、その
後の直交変換において圧縮効率を低下させることになり
、これがブロック歪などの原因になるという欠点もある
。

さらに動ベクトルが正しく求められない場合にはこの現
象がさらに助長される可能性もある。

（発明が解決しようとする課題）このように従来は、ＭＣとしてブロック・マツチングを
用いる場合、同一ブロック内に動部分と静止とが混在し
ていると、本来は静止しているはずの背景部分等が動部
分と同じように動かされて差分をとることになるため、
差分誤差最小というマツチングの条件では正しい動ベク
トルが求まらない場合があり、また、動ベクトルが正し
いとしても、本来差分が零となるべき静止部分が動ベク
トルの方向に動かされて差分をとることになるため、そ
の部分に予測誤差が新たに発生する。これが直交変換の
圧縮効率の低下を招くとともにブロック歪などの原因に
もなっていた。

本発明はこの点に基づき、同一ブロック内に動部分と静
止部分とが混在している場合は、あらかじめ動部分と静
止部分とを区別しておき、ＭＣは動部分についてのみ行
なって正確な物ベクトルを求めるとともに受信側への伝
送情報も動部分（ＭＣ後の差分値）のみとし、一方、静
止部分についてはすでに伝送されている前フレームの情
報を用いて再生画像を作る。

さらにＭＣ後に直交変換を用いる場合は、変換後に低周
波成分への電力集中度を高めるため、動部分以外の画素
については静止部分との境界あるいはその他の動部分以
外で高周波成分が発生しないように補間することによっ
て新たなブロックを作成してから変換を行ない、変換効
率を向上させる。受信側では直交逆変換後にブロック内
の動部分の位置情報（チェーン符号化等で伝送する）を
もとに動部分以外の画素は前フレームの情報をそのまま
割り当てて再生画像を作成することにより、動部分は正
確なＭＣが施され、静止部分は完全な形で再現されるよ
うにしたものである。しかるにさの目的は圧縮効率の低
下を招くことなくブロック歪を低減させる動画像伝送方
式を提供することにある。

〔発明の構成〕

（課題を解決するための手段）この発明は、まずブロック内を動部分と静止部分とに区
別してマツプを作成し、物部分のみを用いてＭＣを行な
い、受信側への伝送情報も動部分のみとし、静止部分は
すでに伝送されている前フレームの情報を用いて画像静
を再生する。一方、画像再生の際に必要なブロック内の
動部分の位置情報（上記のマツプ）はチェーン符号化（
あるいはそのハフマン符号化）等を用いて受信側へ伝送
する。また、ＭＣ後に直交変換を行なう場合は、動部分
以外の画素については動部分と静止部分との境界あるい
はその他の動部分以外の画素で、なる入く高周波成分が
発生しないように動部分以外を補間することによって新
たなブロックを作成してからそのブロックを直交変換し
、変換面における高周波成分の量子化ビット数割当ての
削減あるいは高周波成分の切り捨て等を行なっても性能
が劣化しない様にする（ブロック歪の削減）。

一方静止部分については強制的にφにすることにより、
受信側でこのφの部分を見つけ出してその部分について
は前フレームの同じ位置にある情報をそのまま用い、そ
れ以外の部分は動き補償に基づいた情報を用いる手法を
とれば、直交変換の効率はやや劣化するもののブロック
内の動部分位置情報は伝送しなくとも良いことになる。

（作　用）このようにブロック内を動部分と静止部分とに区別し、
動部分のみでＭＣを行なうことにより、特に人間の視覚
特性上目立ちやすいエツジ部分（人物等の動いている部
分と背景等の静止している部分との境界）でのＭＣが正
確に行なわれ、動部分のみについての正しい動ベクトル
が求まることになる。

一方、伝送されるのはＭＣ後の動部分情報であり、静止
部分は前フレームの情報をそのまま利用するから、より
正確な画像が再生でき、また、ＭＣ後に直交変換を行な
う場合も、高周波成分の発生を極力少なくする様にブロ
ックを再構成するので変換効率が向上し、ブロック歪等
のブロック符号化に伴なって発生する歪を低減すること
が可能となる。

さらにブロック内の動部分の位置を示すマツプの伝送に
はチェーン符号が利用でき、画素の連絡−つの当り１ｂ
ｉｔ強で表現することが可能である（坂内、大沢「画像
データベース」　：昭晃堂）。

従ってブロックサイズとして８×８を用いるとすれば、
ブロック内のエツジが１つであれば１ブロツクにつき１
０〜１５ｂｉｔでマツプが伝送できる。

方、上述した様に直交変換に際して、従来よりも高周波
成分が減少するから、この部分への量子化ビット配分を
例えば第４図（ａ）から（ｂ）の様に削減することがで
きるので（中、高周波成分のみでも２０ｂｉｔ以上の削
減）１ブロツクにつき割り当てられるビット数としては
マツプ情報に必要なピッ１〜数との相殺が可能であり、
生体としては情報量を増加させずに再生画像の画質改善
ができることになる。

（実施例）以下に本発明の一実施例を図面を参照して詳述する。

第１図は本発明の一実施例の送信側のブロック図である
。入力信号はブロック分割回路１０１でブロックに分割
（この例では８Ｘ８）され、１０２で予めフレームメモ
リ】１６に格納されている前フレムとの間の差分をとり
、有意ブロック判定回路］０３で有意ブロックのみが選
択される。その後有意ブロックのみについてマツプ作成
回路１０４において、ブロック内の各画素について動部
分が静止部分かが判定され、マツプが作成される。この
マツプは例えば第２図のように静止部分２０２を″φ″
動部分０３をＬＬ　Ｉ　Ｉ＋で表わし、φ″とｒｔ　１
　ｎとの境界２０４をチェーン符号化回路１１７でチェ
ーン符号化する。

動き補償回路１０５では、１０４で作成されたマツプに
基づき、動部分のみについて動き補償を行ない、物部分
のみについて求めた動ベクトルに従って可変遅延回路１
０６により、フレームメモ１月１６から差分をとるべき
ブロックを取り出し、差分回路１０７で動部分のみにつ
いてフレーム間差分がとられる。

従ってこの部分ではブロック内の情報は静止部分がφ、
動部分は動き補償後のフレーム間差分値がそれぞれ割り
当てられている。

次に条件付画素補充判定回路１０８において、動き補償
によってフレーム間差分値が予め定められているスレッ
ショルド以下になっているが否がが判定され、もしスレ
ッショルド以下であればその後の符号化処理は行なわず
、前フレームの情報をそのまま現フレームの情報として
用いる（条件付画素補充）ことにする。つまり、可変遅
延回路１０６内にある前フレームのブロック情報のうち
、マツプ作成回路１０４で動部分と判定された部分のも
について動ベクトル分だけ画像を移動させて現フレムの
再生画像とする。

一方、１０８で条件付画素補充不可と判定された場合は
以降の符号化処理を行なうことになる。まず静止部分画
素補間回路１０７では例えば第３図（ａ）の様に動部分
と静止部分の境界３０３に隣接する動部分画素値ａ。（
ｎ＝１．２．　　・、８）をもとに、方向に同じ値を当
てはめていく手法、あるいは第３図（ｂ）の様にブロッ
クのすみの画素ａ、及びａ８をまず一方向に補間し、そ
れ以外の画素については（ｃ）に示す様に、補間すべき
画素Ｘをｘ　＝　（ａｎ　十ａｎ＋１）／　２　　　（
ｎ　＝１．＋　Ｌ　・・・、７）によって求め、当ては
めていく手法等によって、境界、及び静止部分と判定さ
れた画素の位置でなるべく高周波骨が発生しない様に補
間を行なって新たにブロックを構成する。その後離散コ
サイン変換（ＤＣＴ）回路１１０でコサイン変換が施さ
れるが、従来に比べて高周波成分が減少しているのでＤ
ＣＴの低域への圧縮効率が向上し、その全高周波成分の
量子化ビット配分を例えば第４図（ａ）から（ｂ）のよ
うに変更することによって、チェーン符号化によって増
加する情報量を相殺することが可能である。従って量子
化器１１１では第４図（ｂ）様に従来よりも高周波成分
のビット配分を削減した量子化を行ない、量子化後の値
とチェーン符号化後の値及び動ベクトル情報が多重化回
路１１８で多重化され、伝送路に送り出される。

−力場部復号器では１１２で逆量子化を行ない、１１３
で逆ＤＣＴを行なった後動部分抜き出し回路１１４では
、マツプ情報を用いてブロック内の動部分だけを抜き出
し、１１５で前フレーム情報に加算して現在の動部分を
再生する。静止部分は前フレームの情報をそのまま使用
するので、これら一連の処理により、ブロック内の動部
分だけが動き補償されて再生されることになる。

なお、チェーン符号化に際しては、一つの画素間ごとの
つながりを符号化するのではなく、一画素おきにチェー
ン符号化を行なうことも可能である。この手法を用いる
と輪郭がやや不正確になるものの、チェーン符号に要す
る情報量を削減することができるので、多少の画質劣化
を許容すればさらにデータ圧縮が可能になる。

第５図は本発明の別の一実施例の送信側のブロック図で
ある。ブロック分割回路５０１でブロックに分割され５
０３で有意ブロック判定された後、有意ブロックのみに
ついて５０４でブロック内の動部分、及び静止部分を示
すマツプを作成する。５０５では作成されたマツプに基
づき動部分のみを用いた動き補償を行ない。求められた
動ベクトルで示される位置のブロックを可変遅延回路５
０６によりフレームメモリ５１３から取り出して差分回
路５０７で動部分のみについてフレーム間差分をとる。

シリアル変換回路５０８では動部分の動き補償フレーム
間差分信号をシリアルに変換し、１画素ごとに５０９で
量子化を行なう。この量子化後の値と５１４でのチェー
ン符号化の情報及び動ベクトル情報を５１５で多重化し
て受信側へ伝送する。

一方、局部後信器では、５　］、　Ｏで逆量子化を行な
い、動部分再生回路５１１でシリアルな動部分差分信号
からマツプ情報によってブロック内の所定の位置に動部
分差情報を割り当て、５１２で現在の信号を再生してフ
レームメモリ５１３内に路内する。

なお、この場合も静止部分は前フレームの情報量をその
まま用いており、動部分のみについて動き補償の操作が
行なわれていることになる。

第６図は本発明の別の一実施例の送信側のブロック図で
ある。前述の実施例と同様に有意ブロックのみについて
７０４で動部分、静止部分のマツプ作成を行ない、動部
分のみについて７０５で動き補償を行なう。７０６によ
って動き補償を行なうべきブロックがフレームメモリ７
１４から取り出され、７０７で差分がとられる。この時
に第７図に示すように動き補償が行なわれた動部分８０
３については動き補償後のフレーム間差分値となってい
るが７０４で静止部分と判定された領域８０２について
は強制的に差分零としておく。このブロックを７０８で
ＤＣＴを施こし７０９で量子化されて受信側へ伝送され
る。

局部復号器内では７１０で逆量子化を行ない、７１１で
逆ＤＣＴが行なわれた後、動部分判定回路７１２では再
生された第７図に示す様なブロック情報においてＯの部
分（８０２）とφでない部分（８０３）とを見つけて７
１３において、動部分８０３（φでない部分）について
は動き補償された情報を静止部分８０２（φの部分）に
ついては前フレームの同じ位置にある情報をそれぞれ用
いて現ブロックを再生し、フレームメモリ７】４内に格
納する。

〔発明の効果〕

以上説明したように本発明によれば、同一ブロック内に
動部分と静止部分がある場合でも、動部分のもによって
動き補償が行なわれて、動部分に対する正確な動ベクト
ルが求まることになる。さらに、直交変換を行なう際に
も高周波成分を極力少なくする様な操作が可能となるの
で変換効率が向上すると同時に、従来高周波成分の誤差
によって生じていたブロック歪を低減することもできる
。

なお、ブロック内の動部分及び静止部分の境界はチェー
ン符号化を行なうが、直交変換後の量子化において高周
波成分のビット配分を少なくすることが可能であるので
、全体としては発生情報量を増加させることなしに上述
の効果が得られることになる。

また、静止部分に強制的にφをあてはめることによって
受信側でそのφの部分のみについて前フレームの同じ位
置にある情報を用いて再生する追法をとれば直交変換の
性能はやや劣化するが、境界情報を伝送する必要はなく
なる。

【図面の簡単な説明】

第１図は本発明の一実施例の送信側のブロック図、第２
図はブロック内の動部分及び静止部分を区別するための
マツプを説明した図、第３図は直交変換を行なう前に、
高周波成分を極力少なくするようにブロックを再構成す
る処理を説明した図、第４図は従来方式（ａ）と本方式
（ｂ）の変換係数の量子化ビット配分を説明した図、第
５図、第６図は本発明の別の一実施例の送信側のブロッ
ク図、第７図は静止部分を強制的にφとする操作を説明
した図、第８図は従来の動き補償を説明した図である。２０１．１８０１・・８×８ブロツク２０２・・静止部分２０３・・動部分２０４・動部分と静止部分との境界３０１．３１１・・・静止部分であったために直交変換
を行う前に補間された画素値３０２．３１２・・動部分の画素値３０３．３１３・・境界３２１．３２２・・・動防部分の画素値３２３・・・静
止部分であったため補間しなければならない画素の補間
値６０１．６１１・・・静止している背景部分６０２．６
１２・・・動物体６０３・・・動物体の動く方向６０４．６１．３・・動き補償を行なう前のブロックの
位置６０５・・・動いた後の動物体の位置６１４・・・動き補償を行なった後のブロックの位置６
１５・・・動ベクトル（＝６０３）６２１・・・動き補償を行なう前のブロック６３１・・
・動き補償を行なった後のブロック６２２．６３２・・
・動物体８０２・静止部分８０３・・・動部分

Claims

【特許請求の範囲】

（１）一画面をブロックに分割し、その後各ブロックご
とに動き補償を行なって情報を圧縮する動画像伝送方式
において、一ブロック内に動部分と静止部分が混在して
いる様な場合には、動部分のみを用いたマッチング法に
より動き補償を行ない、静止部分は動き補償に際して用
いないことを特徴とする動画像伝送方式。
（２）請求項１記載の動き補償を行なうことにより動部
分のフレーム間差分が予め定められたスレッショルドよ
り小さくなった場合には、動ベクトル、及びブロック内
の動部分の位置を示す情報のみを受信側へ伝送し、動き
補償後の動部分の情報そのものは伝送しないことを特徴
とする請求項１記載の動画像伝送方式。
（３）受信側に伝送する際に動き補償を行なった動部分
以外の静止部分については強制的に零とすることにより
１つのブロックを構成してから直交変換あるいは他の符
号化処理を行なうことにより、受信側で再生した際に、
強制的に零とされた部分については前フレームの同じ位
置にある情報をそのままあてはめ、それ以外の部分につ
いてのみ動き補償の結果に基づいて情報を再生すること
を特徴とする請求項１記載の動画像伝送方式。
（４）受信側に伝送する際に動き補償を行なった後の動
部分のみであることを特徴とする請求項１記載の動画像
伝送方式。
（５）動き補償後の動部分のみを受信側へ伝送する際に
直交変換を用いる場合は、変換を行なう前に、ブロック
内の動部分と静止部分との境界及び静止部分であった画
素の位置で高周波成分が生じない様に動部分以外を補間
することによって一ブロック分の情報を新たに作成して
から直交変換を行なうことを特徴とする請求項２項記載
の動画像伝送方式。
（６）受信側に伝送する動部分が一ブロック内のどの位
置にあるかを示す情報にはチェーン符号を用いることを
特徴とする請求項２記載の動画像伝送方式。