JPH0472985A - フレーム内挿方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） この発明は、ＴＶ電話、ＴＶ会議等の動画像を圧縮して
符号化する際の圧縮符号化方式に関する。

（従来の技術） 低ビツトレートの動画像符号化においては、情報量を低
減するために画素数や周波数帯域の削減と同時にコマ落
としによってフレームレートを低減している。しかし、
受信側での動きの滑らがさが確保できない場合は、この
コマ落としによって失われたフレームを、実際に伝送さ
れたフレームを用いて再生し、フレームレートを増加さ
せることによって滑らかな動きを再現するフレーム内挿
が有効な手段となる。

このフレーム内挿は、第６図に示すように、実際に伝送
されたフレームＦｌ、Ｆ２によって内挿フレームＩＰを
作成する手法である。その具体例としては、Ｆ１上のブ
ロックＢ１がＦ２上のブロックＢ２に移動したとすると
、動きベクトルはｙよ（受信側に伝送）となり、内挿す
べきＩＰ上のブロックＢはこのＶｌとフレーム間の時間
的距離比ａ、１−ａを用いて、Ｂ１をａＶｌだけ移動、
あるいはＢ２を−（１−ａ）Ｖｌだけ移動、あるいはま
たＢ１をａＶｌだけ移動したものとＢ２を−（１−ａ）
Ｖｌだけ移動したものとの平均をとるなどの処理によっ
て作成される。この様に、フレームを内挿する場合には
動きベクトルが必要になり、この動きベクトルの検出精
度の良し悪しによって内挿フレームの画質が左右される
ことになる。

そこで従来は、コマ落としされたフレームも用いて送信
側で精度の良い動きベクトルを求めたり（利用、“カラ
ー動画像信号の動き補償フレーム内挿方式″、電子情報
通信学会論文誌Ｂ（、Ｖｏｌ。

Ｊ−７２，Ｎα５　、　ｐｐ、　４４６−４５５．１９
８９年）、　誤った方向に検出された動きベクトルの影
響を吸収するために、動いている物体を一つの剛体と見
なして、受信側においてその剛体の動きを代表する動き
ベクトルを一つだけ設定し、その動きベクトルによって
剛体全体を平行移動することによって内挿フレームを作
成したり（古川、古閑、“動き内挿を用いたＴＶ会議符
号化方式”　、　１９８４年ＴＶ学会全国大会、　Ｂ２
−３）　、あるいはまた、送信側で内挿フレームの予測
を行い、その予測誤差を受信側に伝送したり　（Ａ、Ｐ
ｕｒｉ、　”Ｃｏｎｄｉｔｉｏｎａｌ　Ｍｏｔｉｏｎ−
ｃｏｍｐｅｎｓａｔｅｄ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ
　ａｎｄ　Ｃｏｄｉｎｇ”５ｅｃｏｎｄ　Ｉｎｔｅｒｎ
ａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ　６４ＫＢＩ
Ｔ／Ｓ　Ｃ０ＤＩＮＧ　ＯＦ　ＭＯＶＩＮＧ　ＶＩＤＥ
Ｏ１−５，１９８９年）シティた。

しかしながら、例えば前記第一の例では、送信側に精度
の良い動きベクトル検出回路を設けなければならず、こ
の様な回路が設定されていない場合は受信側にフレーム
内挿回路のみを付加しても性能の良い内挿画像が得られ
ないことになる（動物体のエツジ部分にずれが生じたり
、ブロック歪みが発生したりする）。従って送信側の動
きベクトル検出精度に左右されないフレーム内挿処理、
つまりオプションとして受信側に付加するだけで性能の
良い内挿画像が得られるような処理は不可能となる。ま
た前記第二の例では、オプションとして付加することは
可能であるが、動物体が一定方向だけでなく、複雑な動
きをしている場合には適用できない。さらに前記第五の
例では、送信側、受信側双方に内挿フレームの予測回路
を備えていなければならず、この場合もオプションとし
て受信側に付加するだけの処理が出来ないばかりか、予
測誤差を伝送しなければならないため符号化効率が劣化
することになる。

（発明が解決しようとする課題） 以上説明したように従来のフレーム内挿方式では、既成
の符号化復号化回路の受信側にオプションとして付加す
るだけで性能の良、い内挿画像が得られるような処理が
出来ず、またオプションとして付加出来る場合でも、動
物体が平行移動以外の動きをしている場合には適用でき
ないという問題点があった。

そこで本発明はこの様な問題点を解決するためになされ
たもので、その目的は、動物体が一定方向の平行移動の
みでなく、複雑な動きをしている場合にも適用可能であ
り、しかも送信側での動きベクトルの検出精度に左右さ
れずにオプションとして受信側に付加するだけで、動画
像部分のエツジずれ等がない内挿画像が得られるような
方式を提供することにある。

〔発明の構成〕

（発明を解決するための手段） 上述した目的を達成するために本発明では、伝送されて
来た動き補償誤差が予め定められたスレッショルド以上
の値を持っとき、その動きベクトルは信頼できないもの
と見なして、受信側で修正を行う。具体的には、信頼で
きない動きベクトルを持っているブロックがある場合、
その範囲のブロックのうち、信頼できる動きベクトルを
持つているものを検索し、それらのブロックの動きベク
トルの平均を前記信頼できない動きベクトルを持ってい
るブロックの新たな動きベクトルとして置き換える。こ
こで置き換えるべき動きベクトルを決定する際に、単純
に周囲の信頼できる動きベクトルの平均を計算しても良
いし、これら信頼できる各動きベクトルに対応する動き
補償誤差を考慮した重み付けを行った後に（例えば誤差
の大きさに反比例した重み付け）、その重み付はベクト
ルを平均しても良い。また、上記信頼できる動きベクト
ルのうち、動き補償誤差が最も小さなベクトルで置き換
える手法でも良い。

また、修正された動きベクトルをその後の他の信頼でき
ない動きベクトルの修正にも用いることにすれば（動き
補償誤差を考慮した重み付けを行う場合には、修正され
た動きベクトルの動き補償誤差を、信頼できる動きベク
トルと判定されるためのスレッショルドよりも小さな値
に修正する）、信頼できない動きベクトルのなかで、周
囲に信頼できるベクトルがないために修正できないとい
うようなものの数が減少する。つまり、第３図の斜線で
示すブロックの動きベクトルが信頼できない場合、周囲
の参照ブロック群（信頼できるベクトルを検索する範囲
）の中には信頼できるベクトルが無いが、修正されたベ
クトルをその後の他の信頼できない動きベクトルの修正
にも用いることにすれば（この場合はフレーム内の左上
からラスク方向に処理しているものとする）、第３図中
のブロックＡ、Ｂ、Ｃの動きベクトルはＨ，Ｉ、Ｊ。

Ｋなどにより随時修正されるので、斜線で示すブロック
の動きベクトルも修正できることになる。

なお１フレ一ム全体について、上述の処理を方向を変え
て２回行えば、さらに修正できないベクトルの数が減少
する。

（作用） 上述したように本発明のフレーム内挿方式によれば、送
信側での動きベクトルの検出精度に左右されずにオプシ
ョンとして受信側に付加するだけで、つまり受信側だけ
の処理で、検出精度の悪い動きベクトルが、信頼できる
動きベクトルによって修正されるので、性能の良い内挿
画像を得ることが可能になる。しかも、動きベクトルは
動き補償を行ったブロックごとに独立に発生しているの
で、動物体の局所的な動きや、複雑な動きにも対応した
内挿画像の作成が可能になる。

（実施例） 以下に図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例の送信側、および受信側の構
成図である。カメラ１０１から取り込まれた画像信号は
ブロック（例えば８画素×８画素）に分割された後、各
ブロックごとに動き補償（ＭＣ）付き符号化回路１０２
において処理され（離散コサイン変換やベクトル量子化
等が施される）、符号化された動きベクトルとＭＣ誤差
信号（ブロックごとにＭＣを行った後のフレーム間差分
信号）とが多重化回路１０３で多重化されて受信側に伝
送される。

受信側では伝送されてきた符号化済みの動きベクトルと
ＭＣ誤差信号とが分離回路１０４において分離され、そ
れぞれ復号化回路１０５において復号される。フレーム
内挿回路１２０が付加されていない状態では、復号され
た画像信号がそのままモニタ１１５に表示される（送信
側で廃棄されたフレームはそのまま再生されずに、コマ
落としのある動画像となる）。

次にフレーム内挿回路１２０が付加された場合の動作を
示す。復号化回路１０５で復号されたブロックごとのＭ
Ｃ誤差信号は誤差計算回路１０６に取り込まれ、ここで
誤差の評価値が計算される。誤差の評価値としては、ブ
ロック内の各ＭＣ誤差信号値から求めたそのブロック内
の電力２分散、標準偏差、あるいはＭＣ誤差信号値の絶
対値和などが考えられる。その後、これら評価値は評価
値メモリ１０７に格納されるが、その後スレッショルド
（しきい値）判定回路１０９にも取り込まれ、ここで予
め設定されているスレッショルドＴ　Ｈ１−（外部から
自由に設定できる）との大小比較を行う。

一方復号化回路１０５で復号された動きベクトルは、動
きベクトルメモリ１１１に格納されるが、スレッショル
ド判定回路１０９でのスレッショルド判定でＭＣ誤差の
評価値がＴＨＩよりも大きかった場合は、その動きベク
トルを用いても動き補償が正しく行われなかったことに
なり、その動きベクトルは１１信頼できない動きベクト
ル″と判断される。この判断結果により、該当する動き
ベクトルはそのベクトルを持つブロック２０５（第２図
の斜線部分）の周辺のブロック（ここでは第２図に示す
ように周辺の８個のブロックを考える：以降これらのブ
ロックを“参照ブロック群”と呼ぶ）の中の信頼できる
動きベクトルによって修正されることになる。その修正
手順はまず、参照ブロック群の中の各ブロックごとのＭ
Ｃ誤差評価値が、重み係数決定回路１０８において予め
設定されているスレッショルド（この場合も外部から自
由に設定できる）ＴＨ２と大小比較され、ＴＨ２以下の
ＭＣ誤差評価値をもつ動きベクトルのみを″信頼できる
動きベクトル”として選定する（第２図のＯ印ブロック
）。なおＴＨ２はＴＨＩと同じ値でも良いし、異なる値
（例えばＴＨＩの１／２）でも良＝１１− い。ここで動きベクトルが零であるもの（第２図の・印
ブロック）については、背景などの静止している部分と
見なして修正には用いないこととする。その後重み係数
決定回路１０ｇ内で、前記○印ブロックのみについてＭ
Ｃ誤差評価値を考慮した重み係数を決定する。ここでは
−例として、評価値に反比例した重み係数を考える。

その後これら１１信頼できる動きベクトル″を動きベク
トルメモリ１１１から、また各１１信頼できる動きベク
トル′″に対応する重み係数を重み係数決定回路１０８
からそれぞれ出力し、これらが動きベクトル修正回路１
１２に取り込まれて、ここでベクトルの修正が行われる
。いま第２図の○印ブロックＡ、Ｂ、Ｄ、Ｈの動きベク
トル、ＭＣ誤差評価値、および重み係数をそれぞれＶａ
、　Ｖｂ、　Ｖｄ、　Ｖｈ、Ｒａ、　Ｒｂ、　Ｒｄ、　
Ｒｈ、およびＰａ、　Ｐｂ、　Ｐｄ、　Ｐｈとすると、
まず重み係数決定回路１０８の出力として、Ｐａ＝１／
Ｒａ Ｐｂ＝１７Ｒｂ Ｐｄ＝　１　／Ｒｄ Ｐｈ＝　１　／Ｒｈ が決定され、さらに重みベクトル修正回路１１２におい
て、修正されたブロックＥの動きベクトルＶｅ’が Ｖｅ’＝　（Ｐａ＊ｖａ＋Ｐｂ’ｋＶｂ＋Ｐｄ１ＩＩｖ
ｄ＋Ｐｈ４＋ｖｈ）／　ＰただしＰ　＝Ｐａ＋Ｐｂ＋Ｐ
ｄ＋Ｐｈ によって決定される。この修正された動きベクトルはあ
らためてブロックＥの動きベタ１−ルとして動きベクト
ルメモリ１１１内に格納される。つまりこの修正された
動きベクトルは、その後の動きベクトルの修正の際に“
信頼できる動きベクトル”として用いられることになる
。そのため、誤差修正回路１１０において、ブロックＥ
の修正前のＭＣ誤差評価値が、ＴＨ２よりも小さな値に
修正され、その値があらためてブロックＥのＭＣ誤差評
価値としてメモリ１０７内に格納される。つまりこの修
正後のＭＣ誤差評価値をもとに重み係数が重み係数決定
回路１０８で決定される。

その後内挿フレーム作成回路１１３において、上記修正
された動きベクトルと、もともとＭＣ誤差評価値がＴＨ
Ｉよりも小さいため修正が行われなかった信頼できる動
きベクトルとを用いて、前記第６図に示したように、実
際に伝送されたフレームＦｌ、Ｆ２によって内挿フレー
ムＩＰを作成する手法である。その具体例としては、Ｆ
１上のブロックＢ１がＦ２上のブロックＢ２に移動した
とすると、動きベクトルはＶｌ（受信側に伝送）となり
、内挿すべきＩＰ上のブロックＢはこのｖｌとフレーム
間の時間的距離比ａ、１−ａを用いて、Ｂ１をａＶ上だ
け移動、あるいはＢ２を−（１−ａ）Ｖｌだけ移動、あ
るいはまたＢ１をａ　Ｖ　１だけ移動したものとＢ２を
−（１−ａ）Ｖｌだけ移動したものとの平均をとるなど
の処理によって内挿フレームの作成が行われる。そして
実際に受信側に伝送され、復号化回路１０５で復号され
たフレームと内挿フレーム作成回路１１３で作成された
内挿フレームとは、時間軸多重回路１１４を通って時間
的に正しい順序で出力され、モニタ１１５上に表示され
る。

ここで上記説明における、修正された動きベクトルは、
その後の動きベクトルの修正の際に“信頼できる動きベ
クトル”として用いられるという処理について、第３図
を用いてさらに詳細に説明する。

第３図において、斜線部分のブロック２０５の動きベク
トルを修正したいとき、参照ブロック群２０１内には修
正に用いるべき信頼できるベクトルが存在しない。つま
りこのままではブロック２０５の動きベクトルは修正さ
れないことになるが、修正された動きベクトルを、その
後の動きベクトルの修正の際に“信頼できる動きベクト
ル”として用いることにすると（この場合はフレーム内
の左上からラスク方向に処理しているものとする）、ま
ずＩのベクトルを用いてＤのベクトルが修正され、さら
にＥのベクトルはり、Ｈ，Ｉ、Ｊ、にのベクトルを用い
て修正される。これらの処理を続けていくと、ブロック
ＡやＢのベクトルも逐次修正されるので、最終的にブロ
ック２０５のベクトルは修正されたＡ、Ｂ、Ｃのベクト
ルを用いて修正できることになる。ただし第４図のよう
に矢印２１０方向に修正を行なった場合にはやはり修正
できないことになるが、この場合はこれら修正処理をフ
レームの左上のブロックから右下のブロックまで順に行
った後に、今度は逆にフレームの右下のブロックから左
上のブロックに向かって処理を行えば、やはり修正でき
ることになる。

第５図は本発明の別の実施例における受信側の構成図で
ある。

ブロックによっては動きベクトルが伝送されてこない場
合がある。つまり背景などの静止している部分、あるい
はフレーム間差分が微少であるために伝送する必要がな
い部分、あるいはまたフレーム間差分信号を符号化伝送
するよりも差分を取らずにフレーム内の信号そのままを
符号化伝送したほうが符号化効率が良いために、ＭＣが
行われなかった部分などがその例としてあげられる。こ
れらのブロックについては、フレーム内挿を行う際に必
要な動きベクトルが存在しないことになるので、何等か
の形で動きベクトルを定義する必要がある。その−例と
して、これらのブロックを前述の“信頼できる動きベク
トル”をもつブロックと同様に見なして、周囲のベクト
ルから作成することが考えられる。また別の例として、
受信側で新たにそのブロックに関してのみ動きベクトル
を検出する手法も考えられる。

この場合は第５図に示すように、復号化回路１０５にお
いて復号再生された２枚のフレームを用いて、動き補償
回路５０１において該当ブロックの動きベクトルを検出
し、求められた動きベクトルを動きベクトルメモリ１１
１に、ＭＣ誤差信号を誤差計算回路１０６にそれぞれ送
り出す。その他の処理については、第１図を用いた実施
例で説明したのと同様である。

この結果、フレーム内で修正不可能な箇所をなくすこと
ができるので、エツジずれ等を生じない内挿画面を得る
ことができる。

〔発明の効果〕

以上説明したように本発明のフレーム内挿方式によれば
、送信側での動きベクトルの検出精度に左右されずにオ
プションとして受信側に付加するだけで、つまり受信側
だけの処理で、検出精度の悪い動きベクトルが、信頼で
きる動きベクトルによって修正されるので、これらの動
きベクトルを用いて内挿画像を作成することによって、
動き部分にエツジずれ等の生じない内挿画像を得ること
が可能になる。しかも、動きベクトルは動き補償を行っ
たブロックごとに独立に発生しているので、動物体の局
所的な動きや、複雑な動きにも対応した内挿画像の作成
が可能になる。また修正された動きベクトルを、その後
の動きベクトルの修正の際に“信頼できる動きベクトル
”として用いることにより、広い範囲で誤った動きベク
トルが発生している場合でも、一部の信頼できる動きベ
クトルを頼りに、これらのベクトルを修正することが可
能となる。

【図面の簡単な説明】

第１図は本発明の一実施例の送信側および受信側の構成
図、第２図は動きベクトル修正の際に用いる周囲の参照
ブロック群を示した図、第３図。 第４図は参照ブロック群とさらにその回りのブロックの
動きベクトルの信頼度の様子を示した図、第５図は本発
明の別の一実施例の受信側を示した構成図、第６図は従
来から用いられている内挿フレーム作成の様子を説明し
た図である。 １２０・・・フレーム内挿回路 ２０２・・・信頼できる動きベクトルをもったブロック
。 ２０３・・・信頼できない動きベクトルをもったブロッ
ク、２０４・・・静止部分（動きベクトルなし、または
動きベクトルが零）のブロック、 ２０５・・・動きベクトルを修正しようとしているブロ
ック、２１０・・・動きベクトル修正処理方向、７０１
．７０３・・・受信側に伝送されたフレーム。 ７０２・・内挿フレーム、 ７０４．７０５・・・内挿処理に用いるブロック、７０
６・・・現在内挿処理をしているブロック。 ７０７・・・フレーム７０１内のブロック７０４が、次
のフレーム７０３においてブロック７０５の位置まで移
動したときの動きベクトル。 代理人　弁理士　則　近　憲　佑 路より

Claims (7)

【特許請求の範囲】
1. （１）図面内をブロックに分割し、分割された各ブロッ
   クごとに、あるいはそれらを数個まとめたブロック群ご
   とに動き補償を行い、動きベクトルと動き誤差とを符号
   化して受信側に伝送する圧縮符号化方式の受信の処理で
   、送信側でコマ落としされたフレームを再生し、フレー
   ムレートを増加する処理を行なうフレーム内挿方式にお
   いて、動き補償誤差が予め定められた第１の閾値以下の
   値をもつ動きベクトルを、その周辺にあって、動き補償
   誤差が予め定められた第２の閾値以下の値をもつ動きベ
   クトルを用いて修正し、その後に、動き補償誤差が予め
   定められた前記第１の閾値以下の値をもつ動きベクトル
   と前記修正されたベクトルとを用いて、前記送信側でコ
   マ落としされたフレームを再生することを特徴とするフ
   レーム内挿方式。
2. （２）前記動きベクトルの修正の際には、動き補償誤差
   を考慮した重み付けを行なうことを特徴とする請求項１
   記載のフレーム内挿方式。
3. （３）前記動きベクトルの修正の際には、動き補償誤差
   が前記予め定められた第２の閾値以下の値をもつ周辺の
   動きベクトルのうちで、最小の動き補償誤差を有する動
   きベクトルを用いて修正することを特徴とする請求項１
   記載のフレーム内挿方式。
4. （４）動きベクトルが伝送されて来ないブロックについ
   ては、前記補償誤差が予め定められた第１の閾値以上の
   値をもつ動きベクトルと同等の扱いとすること、あるい
   は受信側で改めてそのブロックについての動きベクトル
   を検出し直す処理をすることを特徴とする請求項１記載
   のフレーム内挿方式。
5. （５）前記修正された動きベクトルを、その後の他の動
   ベクトル修正時にも用いることを特徴とする請求項１記
   載のフレーム内挿方式。
6. （６）前記動きベクトルの修正は、画面内における処理
   方向を変えて２回以上行なうことを特徴とする請求項５
   記載のフレーム内挿方式。
7. （７）前記修正された動きベクトルの動き補償誤差は、
   強制的に前記予め定められた第２の閾値以下に変更する
   ことを特徴とする請求項２および請求項５記載のフレー
   ム内挿方式。