JPH07284108A

JPH07284108A - ビデオ信号符号化及び復号方式

Info

Publication number: JPH07284108A
Application number: JP7030886A
Authority: JP
Inventors: James Hedley Wilkinson; ヘドリーウィルキンソンジェームズ
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1994-02-21
Filing date: 1995-02-20
Publication date: 1995-10-27
Anticipated expiration: 2021-11-15
Also published as: GB9403243D0; US5659363A; GB2286740A; GB2286740B; JP3845458B2

Abstract

(57)【要約】【目的】従来方式の処理が時間的に非対称であるため
エラーが後段全部に伝わり、また人間の視覚感度を利用
できない欠点を改善する。【構成】ビデオ信号符号化装置２０は、第１及び第２
入力映像Ａ，Ｂのピクセルを突合せて動きベクトルを作
る動きベクトル発生器２２と、２入力映像Ａ，Ｂを処理
して第１及び第２出力映像Ｃ，Ｄを作る符号化器２３と
を含む。第１出力映像Ｃのピクセルは２入力映像Ａ，Ｂ
内のピクセルを加重して加算し、第２出力映像Ｄのピク
セルは２入力映像Ａ，Ｂ内のピクセルを加重して減算す
ることによって生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオ信号の符号化及
び復号方式（方法及び装置）に関し、例えはデジタルビ
デオ圧縮及び伸長処理に適用されるものである。

【０００２】

【従来の技術】公知のビデオ圧縮技法は、ビデオ信号の
空間的（即ち、映像内）及び（又は）時間的（即ち、映
像間）符号化を含んでいる。公知の空間的符号化方法の
１つは、２次元空間周波数領域におけるビデオ映像（即
ち、ビデオ信号のフィールド又はフレーム）のサブバン
ド周波数分割を必要としている。所望数のサブバンド
（小帯域）への周波数分割は、水平映像方向におけるフ
ィルタリング（ろ波処理）が垂直映像方向におけるフィ
ルタリングとは別個に行われるフィルタ装置を用いて達
成できる。各水平及び垂直フィルタリングのために、該
フィルタ装置は、樹枝構造に配設された一連のフィルタ
段で構成され、各フィルタ段は相補的なロー及びハイパ
スフィルタを含んでいる。水平フィルタ装置の第１フィ
ルタ段にて上記ロー及びハイパスフィルタに供給される
ビデオ映像は、２つの水平周波数バンド（帯域）即ちロ
ーパスバンド及びハイパスバンドに分割され、それらは
各フィルタの出力側で別々にデシメート（サブサンプリ
ング）される。これらの各バンドはそれから、類似のフ
ィルタ段に供給され、更に低及び高周波成分に再分割さ
れ、この処理が所望数の水平サブバンドが得られるまで
繰返される。各サブバンド成分はそれから、垂直フィル
タ装置に送られ垂直バンドに再分割され、最後に入力映
像は、２次元空間周波数領域内で所望数の空間周波数成
分へと非相関化される。

【０００３】フィルタ装置の構成に応じて、映像は、均
一又は不均一のサイズのサブバンド成分に分離される。
後者の場合の周波数分割処理は、対数的又は「ウェーブ
レット」符号化として知られている。どちらの場合も、
空間周波数成分データにそれから量子化処理を施すが、
種々異なる空間周波数成分に対する量子化度を、種々異
なる空間周波数における人間の視覚感度によって決め、
得た量子化データをそれからエントロピー符号化して圧
縮したデータを送信したり、蓄積したりしている。伸長
（圧縮解除）処理では、圧縮処理の種々の段階を逆にし
て原映像データを再構成している。

【０００４】上述の周波数分割技法は単なる空間符号化
処理にすぎず、連続するビデオ映像間の類似性による時
間軸に沿って冗長度を考慮していない。標準化のための
国際機構によって開発されたＭＰＥＧ（映像専門家グル
ープ）標準方式は、特にビデオ圧縮に対する規格を定め
ており、空間的及び時間的両方の処理を含む方式を提案
している。このＭＰＥＧ方式は、「Communications of
the ACM 」April 1991,Volume 34,No.4 の47〜58ページ
に要約されている。

【０００５】１つのＭＰＥＧ案は、添付の図１に示すよ
うなフレーム単位ＤＰＣＭループを用いるものである。
この案によれば、連続ビデオ映像間の差を計算して幾つ
かの時間的冗長度をなくすようにし、その差信号に空間
的符号化処理を施す。差信号におけるエントロピーを確
実に低くするために、この方式では、動きベクトル推定
を使用して連続ビデオ映像間のピクセルブロック（又は
「マクロブロック」）の映像内容の動きを表す動きベク
トルを導出し、上記の差を１ブロック毎に動きベクトル
の方向に沿って計算する。

【０００６】図１において、１対の連続ビデオフレーム
が動きベクトル発生器１に供給され、そこで公知の動き
ベクトル推定技法を用いて、第２入力フレームの各マク
ロブロック（ここでは、１６×１６ピクセルアレイ）に
対し第２フレーム及び第１フレーム間の当該マクロブロ
ックの動きを表す（水平及び垂直映像方向におけるピク
セル数で表す）動きベクトルを導出する。第１フレーム
をそれから減算器２を介して空間的符号化器３に出力
し、そこで空間（的）符号化処理が行われ、空間符号化
されたフレームは出力４ａに供給され、蓄積、送信その
他の処理に供される。符号化された第１フレームはま
た、復号器５を介して動き補正器６にフィードバックさ
れる。復号器５では、符号化器３によって行われた空間
符号化処理の逆を行う。動き補正器６はまた、動きベク
トル発生器１によって導出されベクトル出力４ｂに供給
される動きベクトルを受取る。

【０００７】第２フレームは、１ブロックずつ動きベク
トル発生器１により次に出力されることになり、第２フ
レームの各ブロック及び第１フレームのブロック間の差
は、第２フレームの当該ブロックに関する動きベクトル
によって「指し示された」位置で、計算されることにな
る。こうして、第２フレームの各連続ブロックに対し、
動き補正器６は、当該ブロックに対して供給された動き
ベクトルを用いて第１フレームの適正ブロックを識別
し、それを補正遅延回路７ａに出力する。そして、第２
フレームの各ブロックが減算器２に出力されるにつれ
て、当該ブロックに関する動きベクトルによって指し示
された位置における、第１フレームのピクセルブロック
が、遅延回路７ａを介して減算器２の負入力に出力され
る。これらのピクセルはそれから、減算器２の正入力に
供給された第２フレームのマクロブロックにおける対応
ピクセルから減算され、得られた差値は空間符号化器３
に出力される。

【０００８】この処理は、動きベクトル発生器１から出
力される第２フレームの全マクロブロックについて繰返
される。こうして、第１及び第２フレーム間の差が１ブ
ロックずつ動きベクトルの方向に沿って計算され、差値
（空間符号化後の）が出力４ａに供給されると共に加算
器７ｂの一方の入力にループを回ってフィードバックさ
れる。遅延回路７ａから減算器２に出力された第１フレ
ームのピクセルブロックはまた、加算器７ｂの他方の入
力にも供給される。こうして、第１フレームのピクセル
ブロックは第２フレームとの差値に加算され、動き補正
器６に供給される第２フレームを再構成する。この処理
を繰返して第３フレーム及び第２フレーム間の差を得る
等々のことを行うことができる。

【０００９】

【発明が解決しようとする課題】上述のＭＰＥＧ案は、
時間（的）符号化処理に動き補正を用いることにより低
エントロピーを達成するが、この案には幾つかの欠点が
ある。第１点は、ＤＰＣＭ処理が非対称的である、即ち
処理が行き当たりばったりで、第２出力「フレーム」を
第１フレームから、第３フレームを第２フレームから、
以下同様に計算することである。したがって、どこかの
処理段階で入ってきたエラーがその後段全部に伝搬され
ることになる。更に、ＤＰＣＭ処理はフレームを時間的
周波数バンドに分割しないので、例えば量子化処理にお
いて人間の視覚組織の時間的特性を利用できない。よっ
て、本発明の課題は、これらの欠点を改善することであ
る。

【００１０】

【課題を解決するための手段及び作用】本発明は、一面
において、次の構成要素を具える第１及び第２入力ビデ
オ映像を符号化するビデオ信号符号化装置を提供する。
該装置は、第２入力映像のピクセルを第１入力映像のピ
クセルと突合せ（照合し）て、第２映像におけるピクセ
ルの上記２つの映像間の動きを表す動きベクトルを導出
する動きベクトル発生器であって、各動きベクトルが、
第２映像におけるピクセルの位置及び第１映像における
マッチした（合っているとされた）ピクセルの位置に対
応するものである、上記動きベクトル発生器と、上記２
つの入力映像を処理して第１及び第２出力ビデオ映像を
生成する符号化器であって、第１出力映像のピクセル
は、上記２入力映像において同等に加重（重み付け）さ
れたピクセルを加算することによって生成し、第２出力
映像のピクセルは、上記２入力映像における同等に加重
されたピクセルを減算することによって生成する上記符
号化器と、動きベクトルに応じて符号化器を制御する符
号化制御器であって、第１出力映像の各上記ピクセル
が、第１入力映像における同じ位置のピクセルと、対応
する動きベクトルによって決定される、第２入力映像に
おけるそれにマッチしたピクセルとを加算することによ
り生成され、第２出力映像の各上記ピクセルが、第２入
力映像における同じ位置のピクセルを、対応する動きベ
クトルによって決定される、第１入力映像におけるそれ
にマッチしたピクセルから減算することによって生成さ
れるように制御する符号化制御器とを具える。

【００１１】本発明は、動きベクトルを時間的フィルタ
リング処理に適用し、ビデオ信号のサブバンド周波数分
割を、上述の技法と同様にして、ただし空間符号化でな
く時間符号化で可能にしようとするものである。この着
想は、時間的エイリアスのレベルが高く連続ビデオ列に
て編集処理できるという要求があるため、時間軸に沿っ
た符号化については多タップ付きフィルタは望ましくな
いので、簡単な２タップ・フィルタを使用するというこ
とから始まっており、該フィルタも係数１，１をもつＨ
ａａｒ型のものがよい。

【００１２】本発明をもっと詳細に考察する前に、図２
〜５を参照してＨａａｒフィルタ装置を用いる時間デシ
メーション及び再構成の基本原理を述べる。

【００１３】図２は、１つのデシメーション段８ａ及び
１つの再構成段８ｂより成る基本的Ｈａａｒフィルタ装
置のブロック図である。デシメーション段８ａは、係数
１，１をもつローパスフィルタ（ＬＰＦ）９ａと、共通
入力に接続された係数１，−１をもつ相補的なハイパス
フィルタ（ＨＰＦ）１０ａとを有する。各フィルタ９
ａ，１０ａの出力は、２で割るユニット１１及びデシメ
ータ１２に接続される。再構成段８ｂは、同じように、
夫々係数１，１及び１，−１をもつＬＰＦ９ａ及びＨＰ
Ｆ１０ｂを有する。各フィルタ９ｂ，１０ｂの入力には
補間器１３が接続され、該フィルタの出力は、再構成段
の出力を供給する加算器１４に接続される。

【００１４】基本的な時間フィルタリング処理は、空間
における同じ位置のサンプル、ここでは、フィルタの入
力に供給されるビデオ信号の連続フレームにおける同じ
位置のサンプルを連続的に一直線に並べることに頼って
いる。即ち、図２のフィルタ９，１０は、図３に示すよ
うに、フレーム遅延器（Ｆ）１５を具えており、デシメ
ータ１２は、フィルタ９ａ，１０ａから出力される１つ
おきのフレームを除去し、補間器１３は、デシメータに
より除去されたフレームに対応する０値フレームを挿入
する。

【００１５】図３を考察すると、１対のフレームＡ，Ｂ
が連続してデシメータ段８ａの入力に供給される場合、
低周波路における出力は（Ａ＋Ｂ）／２で与えられる。
即ち、２フレームＡ，Ｂ内の同位置ピクセルは、１ピク
セルずつ合算され、２で割算される。デシメーション段
８ａの高周波路における出力は、（Ａ−Ｂ）／２で与え
られる。即ち、フレームＢの各ピクセルはフレームＡの
同位置ピクセルから減算され、得られた値は２で割算さ
れる。デシメータ段８ａの出力が再構成段８ｂの対応す
る低及び高周波路に供給されると、加算器１４から出力
される第１フレームは｛（Ａ＋Ｂ）／２｝＋｛（Ａ−
Ｂ）／２｝＝Ａとなり、加算器１４から出力される第２
フレームは｛（Ａ＋Ｂ）／２｝−｛（Ａ−Ｂ）／２｝＝
Ｂとなることが分かるであろう。

【００１６】上述の簡単な処理は、多段システムにおけ
る対数的、即ちウェーブレット・デシメーション処理に
対しても、次段だけが前段の合算項をデシメートする
（間引く）ことを保証することにより、容易にこれを適
用することができる。８つのフレームＦ₀〜Ｆ₇のグル
ープに対するこの処理を、図４の模式図により説明す
る。８つのフレームＦ₀〜Ｆ₇は、対数的デシメーショ
ン処理の第１段階を形成する４つのデシメーション段８
ａに１対ずつ入力される。各デシメーション段８ａは、
図４の段１に示すように、１ピクセルずつ２入力フレー
ムの和の半分に対応する低周波出力と、１ピクセルずつ
２入力フレーム間の差の半分に対応する高周波出力とを
生成する。段１の低周波出力はそれから、２つのデシメ
ーション段８ａに対で供給され、更に低及び高周波数成
分（夫々和と差成分に対応する）に再分割される（図４
の段２参照）。段２の低周波出力はそれから、もう１つ
のデシメーション段８ａに供給され、段３に示すよう
に、低周波バンド及び高周波バンドに再分割される。た
だし、図では略して低及び高周波バンドを単に「＋」及
び「−」で示した。

【００１７】図４に示す処理は、図５に模式的に示すよ
うに、低周波バンドのプログレッシブ（連続又は順次）
デシメーションをもたらす。ここで、「Ｌ」は低周波
数、「Ｈ」は高周波数、ω_nはナイキスト周波数を表
す。図５に示す如く、段３の出力におけるＬＬＬ及びＬ
ＬＨバンドは夫々１フレームより成り、ＬＨバンドは２
フレームより成り、Ｈバンドは４フレームより成る。即
ち、ビデオ信号の原８フレームの列は、時間軸に沿って
ウェーブレット符号化され、サイズが異なる４つの周波
数サブバンドとなり、各サブバンドは、原８フレーム列
の異なる時間的周波数成分を表す。フレームＦ₀〜Ｆ₇
は勿論、該サブバンドを相補的な多段再構成フィルタに
加え、周波数分割処理と逆を行って再生成することがで
きる。

【００１８】時間軸に沿ってウェーブレット符号化のこ
の簡単な処理でさえ、前述の単なるフレーム内、即ち空
間符号化処理より幾らか改良された可視画像を生成す
る。ただし、得られる画質はＭＰＥＧ規格には合わな
い。しかし、本発明によれば、１対の入力ビデオ映像を
組合せて低及び高周波成分に夫々対応する和成分及び差
成分を生成するとき、出力ピクセルの少なくとも幾つか
は、２入力フレーム内でマッチ（整合）したピクセル、
即ち動きベクトルにより結ばれたピクセル同士を加算及
び減算することにより、生成する。換言すると、上述の
簡単な時間フィルタ段８ａにおける如く、同位置のピク
セル同士を加算又は減算するように時間軸に平行な方向
に時間フィルタリングを行うのではなく、本発明は、実
効的に動きベクトルの方向に沿う時間フィルタリングを
１ピクセルずつ行うものである。

【００１９】動きベクトルの使用をフレーム間処理に適
用すると、高周波信号におけるエネルギ内容を、上述の
基本的時間フィルタリング処理に比べて相当に減少させ
ることができ、したがって、ＭＰＥＧ規格に従った画質
を、図１に示したＭＰＥＧ・ＤＰＣＭシステムの欠点な
しに達成できる。詳しくいえば、時間フィルタリング処
理が、時間的に対称であって、圧縮処理にて行われる可
能性のある、ビデオ信号のどんな空間処理からも完全に
分離されており、本発明の具体構成では、フィルタリン
グ処理によって生成される種々異なる時間周波数バンド
に対する人間の視覚感度における変化を利用することが
できる。よって、システムの性能に著しい利点をもたら
す。

【００２０】一方、本発明によれば、少なくとも幾つか
の出力ピクセルが上述の如くマッチしたピクセル同士の
加算・減算により生成されるが、例えば映像素材の性質
及び動きベクトル発生処理によっては、第１入力映像に
おけるピクセルの全部が第２映像におけるピクセルとマ
ッチしないことがある。与えられた機器に要求される画
質に応じ、第１映像内のマッチしないピクセルを処理す
るのに種々の方法が考えられるが、装置に、第１入力映
像内にマッチしないピクセルがあればその位置を識別す
る手段を含め、且つ、第１入力映像内のマッチしないピ
クセルと同位置の、第１出力映像のピクセルを直接マッ
チしないピクセルから生成するように、符号化器を制御
する符号化制御器を配するのがよい。

【００２１】更に、動きベクトル発生処理の結果、第１
入力映像のピクセルの中に第２入力映像内の１以上のピ
クセルとマッチするものがある。この問題を処理するの
に色々なシステムが考えられるが、装置に、第１入力映
像内に１以上の動きベクトルと結び付いた（対応した）
ピクセルがあればそのピクセル位置を識別し、かかる各
ピクセル位置に対し、対応する動きベクトルの１つを当
該ピクセル位置に関する最有力ベクトルとして選択し、
当該ピクセル位置に対応する残りのベクトル又は各ベク
トルに下位ベクトルとしてフラグを付ける手段を含め、
且つ、第１入力映像内のピクセル位置に１以上のベクト
ルが対応している場合、第１出力映像内の同位置ピクセ
ルを上記最有力ベクトルと対応するベクトル同士の加算
により生成するように、符号化器を制御する符号化制御
器を配するのがよい。

【００２２】本発明はまた、請求項５〜８に記載した如
き、上述の符号化装置により符号化された入力ビデオ映
像に対応する復号されたビデオ映像を生成するビデオ信
号復号装置をも提供する。更に本発明は、前述の符号化
装置及び復号装置を具えるビデオ信号処理装置を提供す
る。

【００２３】前述のとおり、動きベクトル発生処理から
来るマッチしないピクセル及び１以上のベクトルに対応
するピクセルに関する問題を処理するのに、種々の方法
が考えられるが、本発明の好適な具体構成により実施さ
れる符号化及び復号装置は、後述のように、ビデオ映像
のいわゆる「完全再構成」を可能とするものである。

【００２４】本発明は、他の面からみて、次の如きステ
ップを含む第１及び第２入力ビデオ映像を符号化するビ
デオ信号符号化方法を提供する。該方法は、第２入力映
像のピクセルを第１入力映像のピクセルと突合せて、第
２映像におけるピクセルの上記２映像間の動きを表す動
きベクトルを導出するステップであって、各動きベクト
ルは、第２映像内のピクセルの位置及び第１映像内のマ
ッチしたピクセルの位置に対応するものである、上記ス
テップと、上記２つの入力映像を処理して第１及び第２
出力ビデオ映像を生成するステップであって、第１出力
映像のピクセルは、上記２つの入力映像内の同等に加重
されたピクセル同士を加算して生成し、第２出力映像の
ピクセルは、上記２つの入力映像内の同等に加重された
ピクセル同士を減算して生成するステップとを含み、第
１出力映像の上記各ピクセルを、第１入力映像内の同位
置のピクセルと、対応する動きベクトルによって決定さ
れる、第２入力映像内のそれにマッチしたピクセルとを
加算することによって生成し、第２出力映像の上記各ピ
クセルを、第２入力映像内の同位置のピクセルを、対応
する動きベクトルによって決定される、第１入力映像内
のそれにマッチしたピクセルから減算することによって
生成する方法である。

【００２５】本発明はまた、本発明による符号化方法に
より符号化された入力ビデオ映像に対応する復号された
ビデオ映像を生成するビデオ信号復号方法を提供する。

【００２６】一般に、本明細書において本発明による装
置について特徴を述べる場合は、本発明方法により対応
する特徴が与えられ、その逆も同様であることを理解さ
れたい。

【００２７】

【実施例】以下、図面により本発明を具体的に説明す
る。図１は、以前に提案されたビデオ信号符号化装置を
示す略式ブロック図である。図２は、ビデオ信号のデシ
メーション及び再構成用の簡単なＨａａｒフィルタ装置
を示すブロック図である。図３は、図２のフィルタ装置
の詳細を示すブロック図である。図４は、ビデオ信号の
８フレームのグループについて行われるウェーブレット
符号化処理を示す模式図である。図５は、図４のウェー
ブレット符号化処理によるサブバンド周波数分割を示す
模式図である。図６は、本発明によるビデオ信号処理装
置を示すブロック図である。

【００２８】図６に示すビデオ信号処理装置は、動き補
正符号化装置２０と動き補正復号装置２１を具える。動
き補正符号化装置２０は、動きベクトル発生器２２とベ
クトル駆動符号化器２３を有する。符号化装置２０の入
力２４に供給される入力ビデオ映像、ここではビデオフ
レームＡ，Ｂは、映像内容の２入力映像間の動きを表す
動きベクトルを発生する動きベクトル発生器２２に供給
される。動きベクトルは後述のように処理され、得られ
たベクトルデータはベクトル駆動符号化器２３に供給さ
れる。該符号化器はまた、動きベクトル発生器２２から
入力フレームＡ，Ｂを受ける。ベクトル駆動符号化器２
３は、実質的に動きベクトルの方向に沿って入力フレー
ムＡ，Ｂの時間フィルタリングを行い、その出力２６に
２出力フレームＣ，Ｄを生成するベクトル駆動デシメー
ション・フィルタ段である。

【００２９】動きベクトル発生器２２により生成されベ
クトル駆動符号化器２３に供給されたベクトルデータ
は、符号化装置２０の出力２８に送られる。出力２８の
ベクトルデータは、出力２６に供給されたフレームＣ，
Ｄと共に符号化装置２０から出力され、蓄積、送信、そ
の他の処理３０に供される。

【００３０】動き補正復号装置２１は実質的に、フレー
ムＣ，Ｄ及び符号化装置２０から最初に発生されたベク
トルデータを夫々入力３１，３３に受けるベクトル駆動
再構成フィルタ段である。復号装置２１は、動きベクト
ルに応じてフレームＣ，Ｄを組合せ、原入力ビデオフレ
ームＡ，Ｂに対応する復号もしくは再構成されたフレー
ムＡ′，Ｂ′を生成する。復号されたフレームＡ′，
Ｂ′は、本具体構成では原フレームＡ，Ｂの完全に再構
成されたものとなり、復号装置の出力３４に供給され
る。

【００３１】符号化装置２０及び復号装置２１の構成及
び動作を一層詳しく述べる前に、本発明による符号化及
び復号処理の基本原理を、図７の簡単な図解により説明
する。

【００３２】図７は、符号化装置２０に供給される入力
フレームＡ，Ｂのピクセル、符号化装置２０から出力さ
れる符号化されたフレームＣ，Ｄのピクセル、及び復号
装置２１から出力される復号されたフレームＡ′，Ｂ′
のピクセルを表す。同図において、ピクセルは丸で示し
た。各フレームＡ，Ｂ，Ｃ，Ｄ，Ａ′．Ｂ′は、説明を
容易にするため各フレームが単一のピクセル・コラムと
して示されるように、１次元方向に表した。図７の左側
コラム（縦列）は、各フレームを表す１次元アレイ内の
ピクセルの横列番号を示し、各フレームのピクセルの隣
に示す数字は、ピクセル値を表す。本処理装置の動作原
理をこの１次元表示により説明するが、実際は勿論、各
フレームがピクセルの２次元アレイを有するので、処理
動作は２次元で行われる。

【００３３】まず入力フレームＡ，Ｂを考えると、符号
化装置２０の動きベクトル発生器２２は、第２フレーム
Ｂ内の各ピクセルの該フレームＢ及び第１フレームＡ間
の動きを表す動きベクトル（図では矢印で表す）を導出
する。（勿論フレームＡ，Ｂのどちらか一方が、ビデオ
信号により表される映像列に関して時間的に先であ
る。）図９により更に後述するように、この処理は、フ
レームＢのピクセルをフレームＡのピクセルと突合せる
こと（matching）によって行う。動きベクトルは、各フ
レームＢのピクセルに対して導出され、当該ピクセルを
フレームＡ内のそれにマッチしたピクセルと結ぶ。即
ち、例えば図において列０のフレームＢピクセルと列０
のフレームＡピクセルとがマッチし、列２のフレームＢ
ピクセルと列１のフレームＡピクセルとがマッチする等
々である。

【００３４】映像の素材及び動きベクトル推定処理の性
質により、各フレームＢピクセルが対応する動きベクト
ルを有するのに、フレームＡピクセルの中には、フレー
ムＢピクセルとマッチしないもの、即ち合わないものが
残る。これらのピクセル（図では黒丸で示す。）に関し
ては、対応する動きベクトルがない。同様に、フレーム
Ａピクセルの中に１以上のフレームＢピクセルと合うも
のがあり、これらのピクセルは１以上の動きベクトルと
対応することになる。これらのピクセル、例えばフレー
ムＡの列０及び列７のピクセルについては、結び付けら
れた動きベクトルの１つを最有力ベクトルとして選択
し、残りのベクトルは、更に後述する如く下位ベクトル
としてフラグを付ける。（勿論、フレームＡピクセルに
対応するベクトルが１つしかない場合は、当該ベクトル
が最有力ベクトルであり、下位ベクトルはない。）図７
では、下位ベクトルを破線で示し、最有力ベクトルを実
線で示す。

【００３５】符号化装置２０は、入力フレームＡ，Ｂか
ら出力フレームＣ，Ｄを次のようにして発生する。第１
出力フレーム即ちフレームＣのピクセルは、２入力フレ
ームＡ，Ｂ内の同等に加重されたピクセル同士を加算す
ることにより発生する。ただし、フレームＡ内のマッチ
しないピクセルと同じ位置にあるフレームＣピクセルは
除く。具体的にいえば、マッチしたフレームＡピクセル
と同位置のフレームＣピクセルをまず考えると、これら
フレームＣピクセルは夫々、フレームＡ内の同位置のピ
クセルと、対応する動きベクトルにより決定される、フ
レームＢ内のそれにマッチしたピクセルとを加算して生
成される。１以上の動きベクトルが適正なフレームＡピ
クセルに対応している場合は、最有力ベクトルを用い
る。

【００３６】加算されてフレームＣピクセルを生成する
フレームＡ及びフレームＢのピクセルは、係数ｘで等し
く加重される（ただし、数学的過剰を防ぐためｘ＝１／
２とする。）。加重は、加算の前又は後のどちらかに行
ってもよい（ただし、後で行う方がよい。）。こうし
て、例えば列０のフレームＣピクセルを考えると、出力
ピクセル値は、列０のフレームＡピクセルと列０のフレ
ームＢピクセルとを加算し、２で割ることにより得ら
れ、図に示す如く１の出力ピクセル値を与える。列１の
フレームＣピクセルは、列１のフレームＡピクセルと、
列２のフレームＢピクセルとの値を加算し、２で割るこ
とにより生成され、図に示す如く２の出力ピクセル値を
与える。

【００３７】（上述のように、この好適な例では、フレ
ームＣピクセルを生成するのに数学的過剰を防ぐためｘ
＝１／２の加重係数を用いた。しかし、これは分数値を
生じる可能性があり、不十分な解像度の具体例では、こ
れに対処するのに小さな丸めエラーが入ってくる。した
がって、代替策として、算術的処理がより大きな値を受
入れうるならば、フレームＣピクセルを生成するのにｘ
＝１という加重係数を用いてもよい。そのときは、１／
２という増減係数を、後述の復号処理のあとで適用すべ
きである。こうすれば、数字的精確度が保たれ、完全な
再構成が達成できる。）

【００３８】フレームＡのマッチしないピクセルと同位
置のフレームＣピクセルは、マッチしないフレームＡピ
クセルから直接作る。本例の場合、他のフレームＣピク
セルを作るのに用いた加重係数の２倍、即ち２ｘ＝２×
（１／２）＝１の加重係数で作る。こうして、例えば図
に示すように、列４のフレームＣピクセルは単に列４の
マッチしないフレームＡピクセルの値を取り、列６のフ
レームＣピクセルは列６のマッチしないフレームＡピク
セルの値を取る。

【００３９】第２出力フレーム即ちフレームＤのピクセ
ルは、符号化器２３において２入力フレームＡ，Ｂ内の
等しく加重された夫々のピクセルを減算することによ
り、発生される。詳しくいえば、各フレームＤピクセル
は、同位置のフレームＢピクセルを、最有力であれ下位
であれ対応する動きベクトルによって決定される、フレ
ームＡ内のそれにマッチしたピクセルから差引いて作
る。この例では、このときの加重係数はｘ、即ち１／２
である。即ち、各フレームＤピクセルは、減算の前又は
（好ましくは）後にｘ＝１／２の係数をフレームＡ及び
Ｂピクセルに乗じて生成される。例えば、列０のフレー
ムＤピクセルは、列０のフレームＢピクセルを列０のフ
レームＡピクセルから減じ、２で割って作り、図に示す
如く出力ピクセル値０を与える。列２のフレームＤピク
セルは、列２のフレームＢピクセルを列１のフレームＡ
ピクセルから減じ、２で割って作り、図示の如く−１の
フレームＤピクセル値を与える。列６のフレームＤピク
セルは、列６のフレームＢピクセルを列７のフレームＡ
ピクセルから減じ、２で割って作り、１のフレームＤピ
クセル値を与える。以下同様である。

【００４０】図７から、符号化器２３の動作は、図２及
び３について述べたＨａａｒフィルタ段８ａの動作とお
おむね対応するベクトル駆動フィルタ段の動作である
が、ただ、動きベクトルの方向に沿って時間フィルタリ
ングが行われ、特別な符号化規則がマッチしないフレー
ムＡピクセルに適用されていることが分かるであろう。
即ち、フレームＣは、図７に示す如くフレーム和（Ａ＋
Ｂ）／２におおむね対応し、したがって入力フレーム対
の低周波成分に対応する。同様に、フレームＤは、フレ
ーム差（Ａ−Ｂ）／２におおむね対応し、したがって入
力フレーム対の高周波成分に対応する。よって、符号化
器の作用は、入力フレーム対を２つの時間的周波数サブ
バンドに分割することである。

【００４１】図７の右側に、図６の復号装置２１により
復号されたフレームＡ′，Ｂ′を示す。前述のとおり、
この好適な例では、復号フレームＡ′，Ｂ′は原入力フ
レームＡ，Ｂの完全に再構成されたものとなる。再構成
されたフレームＡ′，Ｂ′は、原入力フレームＡ，Ｂに
ついて導出された動きベクトルに応じて符号化されたフ
レームＣ，Ｄから作られる。説明を容易にするため、上
述では動きベクトルを入力フレームＡ，Ｂ内の個々のピ
クセルに結び付いて（対応して）いるとしたが、動きベ
クトルは実際には入力フレーム内のピクセル位置に結び
付いている。理解し易いように、図７では、動きベクト
ルを符号化されたフレームＣ，Ｄ及び復号されたフレー
ムＡ′，Ｂ′内の対応ピクセル位置に関連させて示して
ある。

【００４２】復号装置２１は、符号化されたフレーム
Ｃ，Ｄから復号フレームＡ′，Ｂ′を次のように発生す
る。第１復号フレームＡ′のピクセルは、フレームＣ，
Ｄの夫々等しく加重されたピクセルを加算して作る。た
だし、原入力フレームＡ内のマッチしないピクセルに対
応するＡ′フレームピクセルは、直接フレームＣ内の同
位置ピクセルから作る。もっと具体的にいえば、まずマ
ッチしたＡフレームピクセルに対応するＡ′フレームピ
クセルを考えるに、これらの各ピクセルは、同位置のＣ
フレームピクセルと、対応する動きベクトルによって決
定される、生成すべき（生成しようとする）Ａ′フレー
ムピクセルに対応するＡフレームピクセルにマッチした
ピクセル位置にあるＤフレームピクセルとを加算して生
成する。

【００４３】対応するＡフレームピクセルに１以上の動
きベクトルが対応している場合、最有力ベクトルを使用
する。フレームＡ′ピクセルを作るために加算されたフ
レームＣ，Ｄは、本例では加重係数２ｘ＝２×（１／
２）＝１をピクセル値に乗じて加重する。こうすると、
確実に過剰又は丸めエラーがなくなる。即ち、例えば列
０のフレームＡ′ピクセルは、列０のフレームＣピクセ
ルと列０のフレームＤピクセルとを加算して作り、再構
成されたピクセル値は図示の如く１となる。同様に、列
１のフレームＡ′ピクセルは、列１のフレームＣピクセ
ルと列２のフレームＤピクセルとを加算して作り、図示
の如く１の再構成ピクセル値を与える。

【００４４】マッチしないフレームＡピクセルに対応す
るフレームＡ′ピクセルは、同位置のフレームＣピクセ
ルから直接作られる。この場合も、加重係数は２ｘ、即
ち１である。即ち、列４のフレームＡ′ピクセルは単に
列４のフレームＣピクセルの値を取り、列６のフレーム
Ａ′ピクセルは列６のフレームＣピクセルの値を取る。

【００４５】再構成されたフレームＢ′ピクセルは、フ
レームＢ内の対応ピクセルが最有力又は下位ベクトルに
対応するかどうかによって、作り方が異なる。まず、最
有力ベクトルに対応する位置にあるフレームＢピクセル
に対応するフレームＢ′ピクセルを考えるに、これらフ
レームＢ′ピクセルは、２フレームＣ，Ｄ内の夫々等し
く加重されたピクセルの減算によって作られる。詳しく
いえば、これらフレームＢ′ピクセルは、フレームＤ内
の同位置ピクセルを、対応する動きベクトルにより決定
される、作ろうとするフレームＢ′ピクセルに対応する
フレームＢピクセルにマッチしたピクセル位置にあるフ
レームＣピクセルから減じることにより、作成する。こ
の場合もまた、加重係数は２ｘ、即ち１である。このよ
うにして、例えば列０のフレームＢ′ピクセルは、列０
のフレームＤピクセルを列０のフレームＣピクセルから
差引いて作り、図示の如く１の再構成ピクセル値を得
る。列３のフレームＢ′ピクセルは、列３のフレームＤ
ピクセルを、列２のフレームＣピクセルから減じて作
り、６の再構成値を与える。

【００４６】下位ベクトルに対応する位置にあるフレー
ムＢピクセルに対応するフレームＢ′ピクセルを作成す
るには、本例では復号フレームＡ′にアクセスする必要
がある。即ち、フレームＡ′はフレームＢ′の前に作ら
れる。このフレームＢ′ピクセルは、フレームＤ内の同
位置ピクセルを、対応する動きベクトルによって決定さ
れる、作ろうとするピクセルに対応するフレームＢピク
セルにマッチしたピクセル位置にあるフレームＡ′ピク
セルから減じて作る。フレームＤ及びＡ′ピクセルは、
減算の前に適正に加重され、フレームＡ′ピクセルに対
する加重係数は２ｘ、即ち１であり、フレームＤピクセ
ルに対する加重係数は４ｘ、即ち２である。このように
して、例えば列１のフレームＢ′ピクセルは、列１のフ
レームＤピクセルに２を乗じて得た値を列０のフレーム
Ａ′ピクセルから減じて作り、フレームＢ′ピクセルに
１の値を与える。同様に、列６のフレームＢ′ピクセル
は、列６のフレームＤピクセルに２を乗じて得た値を列
７のフレームＡ′ピクセルから減じて作り、図示の如く
１の再構成ピクセル値を与える。

【００４７】図７から、復号装置３４の動作は、図２及
び３について述べたＨａａｒフィルタ段８ｂの動作にお
おむね対応したベクトル駆動再構成フィルタの動作であ
るが、ただ、動きベクトルの方向に沿って時間フィルタ
リングが行われ、マッチしないフレームＡ′ピクセル
と、下位ベクトルに対応する位置にあるフレームＢ′ピ
クセルとに特別な符号化規則が適用されていることが分
かるであろう。即ち、フレームＡ′は図示の如くおおむ
ね和フレーム（Ｃ＋Ｄ）に対応し、フレームＢ′はおお
むね差フレーム（Ｃ−Ｄ）に対応する。しかし、この好
適な例では、フレームＡ′，Ｂ′及びフレームＡ，Ｂを
比較すると、マッチしないピクセル位置及び下位ベクト
ルについて適用した特別な符号化規則と、処理の各段階
に用いた加重係数とによって、原入力フレームＡ，Ｂが
完全に再構成されていることが分かる。即ち、フレーム
Ａ′はフレームＡの、フレームＢ′はフレームＢの完全
に再構成されたものである。

【００４８】上述システムの動作は、図７に示すサンプ
ル値を全部用いて確認できる。勿論前述のとおり、実際
は各フレームはピクセルの２次元アレイであるが、２次
元における本装置の動作は、上述の簡略した１次元の例
から容易に想像できるであろう。

【００４９】符号化装置２０の動きベクトル発生器２２
の詳細を図８に示す。動きベクトル発生器２２は、動き
ベクトル推定器４０、ベクトルデータメモリ４１及びベ
クトルデータ解析器４２を含む。動きベクトル推定器４
０は、フレームＡ，Ｂを受け２フレーム間の映像内容の
動きを表す動きベクトルを発生する。詳しくは、動きベ
クトル推定器は、フレームＢのピクセルをフレームＡの
ピクセルと突合せ、フレームＡ，Ｂ間におけるフレーム
Ｂピクセルの動きを表す動きベクトルを導出する。適切
な動きベクトル推定方法は周知である。しかし、簡単に
いえば、動きベクトル推定器は、フレームＢ内のピクセ
ルブロックの内容をフレームＡ内のピクセルブロックと
比較し、フレームＡ内のどの位置のフレームＢブロック
が最も良くマッチする（合う）かを決める動作を行う。
この処理は、ブロック突合せ（block matching）として
知られている。最良のマッチは、フレームＡ内のフレー
ムＢブロックの各位置について、比較したブロック間の
絶対差、即ち、２フレーム内の対応ピクセル間の絶対差
を上記ブロック領域にわたって合計したものを計算する
ことにより、決定できる。（他の方法では、平均自乗誤
差（mse)技法を用いる。この場合は、まず対応ピクセル
間の差を自乗し、常に正の値としてからアキュムレータ
で加算する。）このようにすると、最低の絶対差値（又
はｍｓｅ技法における最低誤差）が最良のマッチを表
し、動きベクトルは、フレームＢブロックの位置とマッ
チしたフレームＡブロックの位置との間の変位（水平及
び垂直方向のピクセル数で表す。）として決定される。
こうして、動きベクトルは、実際上個々のピクセルでは
なくフレームＢピクセルブロック（通常１６×１６ピク
セルブロック）と結び付け（対応させ）られるが、各動
きベクトルは、当該ブロック内の全フレームＢピクセル
に対して使用される。したがって、動きベクトルは、実
効的に各フレームＢピクセルについて導出されている。
対応する動きベクトルは、各フレームＢピクセルについ
て、ブロック突合せ処理で決められたマッチしたフレー
ムＡピクセルを「指し示す」（即ち、そのベクトルオフ
セットを与える）。

【００５０】図７について前述したとおり、後続の処理
動作のために、フレームＡ，Ｂ内の所与のピクセル位置
に対応する動きベクトルを知らねばならない。この目的
のために、各動きベクトルを動きベクトル推定器４０で
決定するにつれて、対応するＡ，Ｂピクセル位置に関す
る該ベクトルをベクトルデータメモリ４１に記録する。
ベクトルデータメモリ４１は、２つのメモリアレイ、Ａ
アレイ４４及びＢアレイ４５を有する。Ａアレイ４４
は、フレームＡの各ピクセル位置に対するアレイ位置を
含み、Ｂアレイ４５は、フレームＢの各ピクセル位置に
対するアレイ位置を含む。動きベクトル推定器４０によ
りベクトルデータメモリ４１に供給された動きベクトル
は、動きベクトルと結び付けられたＡピクセル位置に対
応するＡアレイ４４内の位置に記憶されると共に、動き
ベクトルに結び付けられたＢピクセル位置に対応するＢ
アレイ４５内の位置に記憶される。よって、動きベクト
ル推定処理が終わると、Ｂアレイ４５は、各Ｂピクセル
位置に対応する動きベクトルを収納し、Ａアレイ４４
は、すべてのマッチしたフレームＡピクセル位置に対す
る動きベクトルを収納する。動きベクトルを収納しない
Ａアレイ４４内のメモリ位置があれば、それはマッチし
ないＡピクセル位置を示す。

【００５１】図７について述べたように、後続処理で
は、最有力及び下位ベクトルを区別する必要がある。よ
って、ベクトルメモリ４１にベクトルを蓄積したのち、
ベクトルデータ解析器４２がＡアレイ４４に記憶された
データの全Ａピクセル位置を巡回する。１以上のベクト
ルがどれかのＡピクセル位置と対応しておれば、ベクト
ルデータ解析器は、最低の大きさのベクトル（即ち、最
低のベクトルオフセット）を最有力ベクトルとして選
ぶ。（この最低の大きさをもつベクトルが１つ以上ある
場合、これらをどれも最有力ベクトルとして選んでもよ
い。）

【００５２】残りのベクトル、即ち最有力ベクトルとし
て選ばれなかった各ベクトルは下位ベクトルに対応する
ので、これらのベクトルに後続処理のためそれを示すフ
ラグを付けなければならない。即ち、Ａアレイ４４内の
Ａピクセル位置にある各下位ベクトルに対し、ベクトル
データ解析器４２は、Ａピクセル位置及び動きベクトル
からマッチしたＢピクセル位置を計算する。ベクトルデ
ータ解析器はそれから、Ｂアレイ４５内の適当なＢピク
セル位置にアクセスし、当該ベクトルが下位ベクトルで
あることを示すフラグを当該位置に記憶されたベクトル
に対してセットする。ベクトルデータ解析器は次に、Ａ
アレイ４４内の対応するＡピクセル位置に再アクセス
し、最有力ベクトルの外は皆削除する。

【００５３】この処理を全Ａピクセル位置について反復
し終わると、Ａアレイ４４は、マッチした各Ａピクセル
位置に対応する最有力ベクトルのみを収容し、Ｂアレイ
４５は、各Ｂピクセル位置に対応するベクトルを、適切
ならば、下位ベクトルを示す下位ベクトルフラグと一緒
に収容する。勿論、下位ベクトルにフラグを付けず、最
有力ベクトルにそれを示すフラグを付けてもよい。同様
に、マッチしないＡピクセル位置を示す「空（から）」
Ａアレイ位置に頼らずに、マッチしないピクセル位置に
対応するＡアレイ位置に「非整合フラグ」をセットする
こともできる。また、他の方法を最有力ベクトルの選択
に使用してもよい。例えば、動きベクトル発生器を、前
述した最低絶対差値又は最低ｍｓｅ値に対応するベクト
ル、即ち「最良マッチ」に対応するベクトルを最有力ベ
クトルとして選ぶように構成することもできる。

【００５４】一旦ベクトルデータ（動きベクトル及び対
応するＡ，Ｂピクセル位置を含む。）を上述の如く決定
し終わると、ベクトルデータは動きベクトル発生器２２
からベクトル駆動符号化器２３に出力される（図６）。
原入力フレームＡ，Ｂも動きベクトル発生器２２からベ
クトル駆動符号化器２３に遅延器（ＤＥＬ）２５を介し
て出力される。ＤＥＬ２５は、動きベクトル推定器及び
ベクトルデータ解析器の処理時間に従って入力フレーム
を遅らせる。

【００５５】動きベクトル発生器２２及びベクトル駆動
符号化器２３を有する符号化装置２０の詳細を図９に示
す。ベクトル駆動符号化器２３は、動きベクトル発生器
２２からベクトルデータを受けるアドレス制御器５０を
有する。アドレス制御器５０は、２フレームメモリ、フ
レームＡメモリ５１及びフレームＢメモリ５２に対する
データの書込み及び読出しを制御する。フレームメモリ
５１，５２は、動きベクトル発生器２２から入力フレー
ムＡ，Ｂを受けるように接続される。フレームＡメモリ
５１の出力は、減算器５３の正入力に接続され、該減算
器の負入力は、動きベクトル発生器２２から直接入力フ
レームを受けるように接続される。フレームＢメモリ５
２の出力は、アドレス制御器５０により後述のように制
御されるクリアレジスタ（ＣＬＲＲＥＧ）５５に接続
される。

【００５６】クリアレジスタ５５の出力は、加算器５６
の一方の入力に接続され、該加算器の他方の入力は、２
つの１フレーム遅延器Ｆ１，Ｆ２を介して入力フレーム
を受けるように接続される。減算器５３及び加算器５６
の出力は夫々、２で割るユニット５９，６０に接続さ
れ、ユニット６０はアドレス制御器５０によって制御さ
れる。２で割るユニット５９，６０はセレクタ（ＳＥ
Ｌ）６１の入力となり、該セレクタは、アドレス制御器
５０の制御の下にその入力の一方を符号化装置の出力２
６に選択的に接続する。アドレス制御器５０のもう１つ
の出力は符号化装置の出力２８となり、該出力に、蓄
積、送信、その他の処理など３０のためのベクトルデー
タが、出力２６に供給されるフレームＣ，Ｄと共に出力
される。

【００５７】符号化装置２０の動作は、次のとおりであ
る。入力フレームＡ，Ｂが動きベクトル発生器２２に供
給され、そこで図８により述べたベクトルデータが発生
される。入力フレームＡ，Ｂは、ベクトルデータを発生
する動きベクトル発生器２２によって遅らされ、遅れた
フレームがベクトルデータと共にベクトル駆動符号化器
２３に出力される。ベクトルデータは、アドレス制御器
５０に記憶される。第１のフレーム、フレームＡが符号
化器２３に供給されると、このフレームはフレーム遅延
器Ｆ１及びフレームＡメモリ５１に入力される。フレー
ムＡメモリ５１は、アドレス制御器５０によりイネーブ
ル（可能化）される。フレームＢが動きベクトル発生器
２２から出力されると、このフレームは、フレームＡが
遅延器Ｆ１によって遅延器Ｆ２に出力されるに従い、フ
レーム遅延器Ｆ１に入力される。フレームＢもフレーム
Ｂメモリ５２に書込まれ、フレームＢメモリはアドレス
制御器５０により適正な時間にイネーブルされ、フレー
ムＢはまた減算器５３の負入力に直接供給される。

【００５８】符号化されたフレームＤが本装置の出力２
６にまず発生され、そのあと符号化されたフレームＣが
続く。これらの出力フレームのピクセルは、図７につい
て前述したように発生される。図９の符号化装置２０の
下部によるフレームＤの発生について、先に説明する。

【００５９】フレームＤピクセルは、動きベクトル発生
器２２によりフレームＢとして出力され、減算器５３の
負入力に１ピクセルずつ供給される。このとき、フレー
ムＡは既にフレームＡメモリに記憶されている。各フレ
ームＢピクセルが減算器５３に供給されるにつれて、ア
ドレス制御器５０は、フレームＡメモリを制御して、対
応する動きベクトルにより決定されるマッチしたフレー
ムＡピクセルを出力する。フレームＢピクセルは、減算
器５３に順次供給されるので、どの時点に出力されるフ
レームＢピクセルの位置も既知である。したがって、出
力されるべき適正なフレームＡピクセルの位置は、Ｂピ
クセル位置及びベクトルデータで示される対応動きベク
トルから、アドレス制御器５０によって計算することが
できる。

【００６０】こうして、各フレームＢピクセルが減算器
５３の負入力に供給されるに従って、対応する動きベク
トルにより決定される、それにマッチしたフレームＡピ
クセルが減算器５３の正入力に供給される。よって、そ
のマッチしたフレームＡピクセルからフレームＢピクセ
ルが減算され、得られた値が２で割るユニット５９に供
給される。ユニット５９は、入力ピクセル値に１／２の
係数を乗じて加重し、得た値をフレームＤのピクセルと
してセレクタ６１に送る。こうして、各フレームＤピク
セルは、フレームＡ内のマッチしたピクセルから同位置
のフレームＢピクセルを減じ、２で割ることにより、発
生される（図７に関する説明参照）。セレクタ６１は、
アドレス制御器５０によって制御され、２で割るユニッ
ト５９の出力をこの処理の間本装置の出力２６に接続す
る。したがって、フレームＤの連続するピクセルは、出
力２６に供給される。

【００６１】上述のフレームＤの発生は、フレームＢが
動きベクトル発生器２２より出力されるに従って行われ
る。この処理の終わりに、フレームＢはフレームＢメモ
リ５２及び遅延器Ｆ１に記憶され、フレームＡは遅延器
Ｆ２に記憶される。これより、符号化装置２０の上部に
よる符号化フレームＣの発生について述べる。

【００６２】次のフレーム（符号化装置２０により処理
されている連続フレーム列における）が動きベクトル発
生器２２により出力されるにつれて、フレームＡが遅延
器Ｆ２より１ピクセルずつ出力される。まず、マッチし
たフレームＡピクセルを考えるに、これら各Ａフレーム
ピクセルが遅延器Ｆ２から出力されるに従い、それにマ
ッチしたフレームＢピクセルが、アドレス制御器５０の
制御の下にフレームＢメモリ５２から読出される。フレ
ームＡは遅延器Ｆ２から１ピクセルずつ出力されるの
で、アドレス制御器５０は、出力されるべきフレームＢ
ピクセルの位置を、フレームＡピクセルの位置及びベク
トルデータによって示される当該Ａピクセル位置に対応
する動きベクトルから、決定することができる。よっ
て、各Ａフレームピクセルが加算器５６の一方の入力に
供給されるに従って、対応動きベクトルによって決定さ
れる、それにマッチしたＢフレームピクセルが、クリア
レジスタ５５を介して加算器５６の他方の入力に供給さ
れる。ピクセル値は、加算器５６で合算され、２で割る
ユニット６０で係数１／２により加重され、フレームＣ
のピクセルとしてセレクタ６１に供給される。この処理
は、連続するＡフレームピクセルについて反復され（後
述のマッチしないピクセルは別にして）、連続するＣフ
レームピクセルを生成する。

【００６３】こうして、マッチしたＡフレームピクセル
と同位置の各Ｃフレームピクセルが、同位置のＡフレー
ムピクセルと、対応する最有力動きベクトルによって決
定される、それにマッチしたフレームＢ内のピクセルと
を合算し、２で割ることにより、発生される（図７に関
する前述参照）。しかし、アドレス制御器５０に記憶さ
れたベクトルデータが、遅延器Ｆ２より出力すべき個々
のＡフレームピクセルがマッチしないピクセル（前述の
如く、当該ピクセルに関する対応動きベクトルの不在又
はマッチしないピクセルのフラグにより示される。）で
あることを示す場合、アドレス制御器５０は、クリアレ
ジスタ５５を作動させて加算器５６にゼロ値サンプルを
出力させる。アドレス制御器５０はまた、２で割るユニ
ット６０を制御して当該ピクセルに対する加重係数を１
に調整し、即ち２で割る動作を取止め、図７で前述した
とおり、マッチしないＡフレームピクセルを直接同位置
のＣフレームピクセルとして出力する。このようにし
て、フレームＣが出力２６に１ピクセルずつ発生され、
セレクタ６１は、アドレス制御器５０により、２で割る
ユニット６０の出力をこの処理の間本装置の出力２６に
接続するよう制御される。

【００６４】上述より、図７の方式に従って符号化され
たフレームＣ，Ｄは、前述の如く原入力フレーム対Ａ，
Ｂの低及び高時間周波数成分に対応することが分かるで
あろう。フレームＣ，Ｄはセレクタ６１により順次、ア
ドレス制御器５０により出力されるベクトルデータと一
緒に出力される。（出力２６における符号化フレームの
順序Ｄ，Ｃは、単に図９に示す実施上の問題で、動作に
対し基本的なことではない。下方の信号路に適当な遅延
器を付加すれば、順序をＣ，Ｄに容易に変えられるであ
ろう。）

【００６５】図１０は、図６の動き補正復号装置２１の
詳細を示す。本装置２１は、符号化装置２０により符号
化された原入力フレームＡ，Ｂに対応する復号されたフ
レームＡ′，Ｂ′を生成する。本装置２１は、３つのフ
レームメモリ、フレームＣメモリ７２、フレームＤメモ
リ７１及びフレームＡ′メモリ７３を有する。アドレス
制御器７４の形の復号制御器が、原入力フレームＡ，Ｂ
内のピクセル位置に対応する動きベクトルを含むベクト
ルデータを受けるように配置され、フレームメモリ７１
〜７３に対するデータの書込み及び読出しを制御する。

【００６６】フレームＤメモリ７１は、入力３１におけ
る符号化フレームを受けるように接続され、その出力
は、アドレス制御器７４により制御されるクリアレジス
タ（ＣＬＲＲＥＧ）７９に接続される。クリアレジス
タ７９の出力は、加算器７５の一方の入力に接続され
る。加算器７５の他方の入力は、直接入力３１に接続さ
れる。フレームＣメモリ７２は、入力３１における符号
化フレームを受けるよう接続され、その出力は、セレク
タ（ＳＥＬ）７７を介して減算器７８の正入力に接続さ
れる。減算器７８の負入力は、２つの１フレーム遅延器
Ｆ３，Ｆ４及び２を乗じる乗算器７０（アドレス制御器
７４により制御される。）を介して入力３１に接続され
る。

【００６７】加算器７５及び減算器７８の出力は、セレ
クタ（ＳＥＬ）８２の夫々の入力に接続される。セレク
タ８２は、アドレス制御器７４により制御され、その入
力の一方を、復号装置２１の出力３４を形成するその出
力に選択的に接続する。出力３４はまた、フレームＡ′
メモリ７３の入力にも接続され、フレームＡ′メモリ７
３の出力はまた、セレクタ７７の第２入力に接続され
る。セレクタ７７は、アドレス制御器７４により制御さ
れ、その入力の一方をその出力に、したがって減算器７
８に接続する。

【００６８】動作時、符号化装置２０より出力された符
号化フレームＤ，Ｃは、記憶、送信その他の処理のあと
復号装置２１の入力３１に順次供給される。同様に、符
号化装置により原入力フレームＡ，Ｂから発生されたベ
クトルデータも、入力３３を介してアドレス制御器７４
に供給される。フレームＤが入力されると、このフレー
ムは、アドレス制御器７４の制御の下にフレームＤメモ
リに書込まれると共に、フレーム遅延器Ｆ３に入力され
る。次にフレームＣが入力されると、このフレームは、
フレームＣメモリ７２に記憶されると共に、加算器７５
に直接供給される。同時に、フレームＣは、フレームＤ
がフレーム遅延器Ｆ４に出力されるに従ってフレーム遅
延器Ｆ３に入力される。

【００６９】図７について前述したとおり、復号フレー
ムＡ′はフレームＢ′の前に発生され、Ａ′フレームピ
クセルは、符号化フレームＣ，Ｄ内の等しく加重された
ピクセルの加算によって発生されるが、原入力フレーム
Ａ内のマッチしないピクセルに対応するＡ′フレームピ
クセルには、異なる符号化規則を適用する。詳しくいえ
ば、マッチしないＡフレームピクセルに対応しない各
Ａ′フレームピクセルは、同位置のＣフレームピクセル
と、対応する動きベクトルによって決定される、再構成
しようとするピクセルに対してマッチしたピクセル位置
にあるＤフレームピクセルとを加算して作る。ただし、
この具体例では加重係数は１である。図１０において、
フレームＡ′は、フレームＣが入力３１から１ピクセル
ずつ加算器７５に供給されるにつれて発生される。フレ
ームＤは、この段階で既にフレームＤメモリ７１に記憶
されている。各Ｃフレームピクセルが加算器７５に供給
されるに従い、アドレス制御器７４は、フレームＤメモ
リ７１を制御し、再構成すべきピクセルに対するマッチ
したピクセルの位置にあるＤフレームピクセルを出力さ
せる。

【００７０】再構成しようとするＡ′フレームピクセル
は、現在加算器７５に供給されているＣフレームピクセ
ルと同位置であるので、アドレス制御器は、Ｃピクセル
位置と、原入力フレームＡにおける当該位置に対応する
最有力動きベクトルとから、適正なＤフレームピクセル
の位置を決定する。Ｄフレームピクセルは、クリアレジ
スタ７９を介して加算器７５の他方の入力に供給され
る。したがって、これらのピクセルは、加算されたのち
Ａ′フレームピクセルとしてセレクタ８２を介して本装
置の出力３４に供給される。この処理は、フレームＣが
１ピクセルずつ入力されるに従って繰返され、出力３４
に次々にＡ′フレームピクセルが発生される。しかし、
加算器７５に供給されるＣフレームピクセルの位置が、
アドレス制御器７４に記憶されたベクトルデータによっ
て示される、原入力フレーム内のマッチしないピクセル
の位置に対応するときは、アドレス制御器７４は、クリ
アレジスタ７９を作動させてゼロ値サンプルを加算器７
５に出力させる。セレクタ８２の出力３４に発生される
Ａ′フレームピクセルはそのとき、単なる同位置のＣフ
レームピクセルである。

【００７１】したがって、復号されたフレームＡ′は、
１ピクセルずつ図７で述べた方式に従って復号装置２１
により発生される。フレームＡ′が発生されると、アド
レス制御器７４は、フレームＡ′メモリ７３をイネーブ
ルしてフレームＡ′をこれに書込ませる。こうして、フ
レームＡ′が復号装置２１から出力され終わると、フレ
ームＡ′はフレームＡ′メモリ７３に記憶され、フレー
ムＣはフレームＣメモリ７２に記憶され、フレームＤは
フレーム遅延器Ｆ４に保持される。

【００７２】次の符号化フレーム対が（連続して）復号
装置２１に供給されると、フレームＤが１ピクセルずつ
遅延器Ｆ４から出力され、これらのピクセルは、乗算器
７０にて係数１又は２により選択的に加重され、減算器
７８の負入力に供給される。遅延器Ｆ４より出力される
各Ｄフレームピクセルに関して、アドレス制御器７４
は、フレームＣメモリ７２及びフレームＡ′メモリ７３
を制御して、適正なＣフレームピクセルとＡ′フレーム
ピクセルとを出力させ、セレクタ７７を介してＤフレー
ムピクセルと選択的に組合せ、フレームＢ′のピクセル
を発生する。図７について前述したとおり、最有力ベク
トルに対応する位置にあるＢフレームピクセルに対応す
るＢ′フレームピクセルは、同位置のＤフレームピクセ
ルを、対応動きベクトルにより決定される、再構成しよ
うとするピクセルに対してマッチしたピクセル位置にあ
るＣフレームピクセルから減じることにより、作る。

【００７３】遅延器Ｆ４から出力されるＤフレームピク
セルの位置はいつでも既知であるから、アドレス制御器
７４は、原入力フレームＢ内のＤフレームピクセル位置
に対応する動きベクトルから、適正なＣフレームピクセ
ルの位置を決定する。適正なＣフレームピクセルは、フ
レームＣメモリ７２からセレクタ７７の一方の入力に出
力され、対応するＡ′フレームピクセルは、フレーム
Ａ′メモリ７３からセレクタ７７の他方の入力に出力さ
れる。この場合必要とされるのはＣフレームピクセルで
あるから、アドレス制御器７４は、セレクタ７７を制御
して、Ｃフレームピクセルを減算器７８の正入力に供給
させる。同様に、アドレス制御器７４は、乗算器７０を
制御して、加重係数を１に調節し、即ち２を乗じる動作
を取止め、Ｄフレームピクセルを直接減算器７８の負入
力に供給させる。したがって、これらの場合、減算器７
８は、Ｄフレームピクセルを適正なＣフレームピクセル
から差引いて出力３４にＢ′フレームピクセルを発生
し、セレクタ８２は、アドレス制御器７４により制御さ
れて、減算器７８の出力を本装置の出力３４に接続す
る。

【００７４】この処理は、遅延器Ｆ４から出力される全
Ｄフレームピクセルについて反復され、最有力ベクトル
に結び付いたＢフレームピクセルに対応する同位置の
Ｂ′フレームピクセルを生成する。しかし、再構成すべ
きＢ′フレームピクセル、したがって現在遅延器Ｆ４か
ら出力されているＤフレームピクセルが、下位ベクトル
に結び付いた位置にあるＢフレームピクセルに対応する
場合（アドレス制御器７４に供給されるベクトルデータ
内の下位ベクトルフラグによって示される。）Ｂ′フレ
ームピクセルは、フレームＤ及びフレームＡ′の適正に
加重されたピクセルを組合せて発生される。詳しくいえ
ば、図７について述べた如く、各Ｂ′フレームピクセル
は、同位置のＤフレームピクセルに加重係数２を乗じた
ものを、対応する動きベクトルにより決定される、再構
成すべきピクセルにマッチしたピクセル位置にあるＡ′
フレームピクセルから減ずることにより、発生される。
かかるＢ′フレームピクセルに関し、同位置のＤフレー
ムピクセルが遅延器Ｆ４より出力されるにつれて、アド
レス制御器７４は、乗算器７０を制御して２を乗じる動
作をさせ、加重されたＤフレームピクセルを減算器７８
の負入力に供給させる。アドレス制御器７４はまた、セ
レクタ７７を制御して、Ｃフレームピクセルでなく、こ
れに供給される適正な位置にあるＡ′フレームピクセル
を減算器７８の正入力に出力させる。再び、フレーム
Ａ′メモリ７３から出力される適正なＡ′フレームピク
セルの位置が、Ｄフレームピクセルの既知の位置と適正
な下位動きベクトルとから決定される。このようにし
て、本例では、減算器７８は、加重し同位置のＤフレー
ムピクセルを適正なＡ′フレームピクセルから減じて
Ｂ′フレームピクセルを発生し、該Ｂ′フレームピクセ
ルをセレクタ８２を介して出力３４に供給する。

【００７５】復号装置２１はこうして、図７の方式に従
って１ピクセルずつ出力３４にフレームＡ′，Ｂ′を発
生する働きをする。先に図７を参照して説明したよう
に、この特定の好適な実施例では、復号されたフレーム
Ａ′，Ｂ′は原入力フレームＡ，Ｂの完全に再構成され
たものである。

【００７６】本発明の実施例を、１つの低及び１つの高
周波時間サブバンドを生じる単一の時間デシメーション
段と単一の再構成段とを含む簡単な処理に関連して述べ
てきたが、勿論本発明を多段処理に適用することもでき
る。例えば、入力映像列をサイズが不同の多数のサブバ
ンドに周波数分割する、図４に示したウェーブレット符
号化処理にも適用できる。この場合、図４の各デシメー
ション・ステップは図９に示す符号化装置２０によって
行われるが、ベクトルデータは、符号化処理の各段階で
符号化されたフレーム対について再計算されることにな
る。再構成処理は符号化処理を逆にして行われ、サブバ
ンド成分は、図１０に示すように、再構成の各段階にお
いて復号装置２１に、対応するベクトルデータと一緒に
対をなして供給され、原入力フレーム列が得られるまで
続けられる。８フレームのソース列を用いる方法は確認
されたが、他の長さのフレーム列でもそれが２の整数乗
（integer power)に基くものである限り使用することが
できる。

【００７７】上述のように、ベクトル駆動時間処理は、
時間的に対称であり、行われるどんな空間符号化処理か
らも全く分離しており、時間軸に平行な時間（的）フィ
ルタリングに優るかなり改善された画質を提供する。本
発明による時間デシメーション処理により発生されたサ
ブバンド周波数成分は、量子化処理を受けるが、再構成
段階では対応する逆量子化処理が行われる。詳しくは、
図４に示した如きウェーブレット符号化処理では、各バ
ンドの量子化エラーによって生じる人工雑音に対する目
視者の感度に従って、各サブバンドに種々異なる量子化
パラメータを適用してもよい。更に、時間圧縮（即ち、
サブバンド分割及び量子化など）の後、所望により空間
符号化処理を時間符号化されたフレームに施してもよ
い。そのときは、再構成についての時間復号処理に先立
ち、相補的な空間復号処理を行う。

【００７８】勿論、本発明は、特許請求の範囲内におい
て前述の実施例に種々の変形、変更を加えうるものであ
る。例えば、図１０の乗算器１０が行うように復号処理
で幾つかのフレームＤピクセルに４ｘ（ここでは２）の
加重係数を適用する代わりに、これらのピクセルに対
し、図９の符号化装置２０で行う２で割る動作を止めて
もよい。即ち、下位ベクトルに対応する位置にあるＢフ
レームピクセルと同位置のＤフレームピクセルを作るの
に、２ｘ（即ち、上の例では１）の加重係数を用いるこ
ともできる。そのとき復号装置２１では、復号フレーム
のピクセルを作るのに用いられた全ピクセルに対する加
重係数が２ｘ（即ち、上の例では１）であってもよい。

【００７９】

【発明の効果】以上述べたとおり、本発明によれば、時
間フィルタリング処理が時間的に対称であって、該処理
により生成される種々異なる時間周波数バンドに対する
人間の視覚感度の変化を利用することができる。

【図面の簡単な説明】

【図１】ビデオ信号符号化装置の従来例を示すブロック
図である。

【図２】ビデオ信号のデシメーション及び再構成用の簡
単なＨａａｒフィルタ装置を示すブロック図である。

【図３】図２のフィルタ装置の詳細ブロック図である。

【図４】ビデオ信号の８フレームのグループに行ったウ
ェーブレット符号化処理を示す模式図である。

【図５】図４のウェーブレット符号化によるサブバンド
周波数分割を示す模式図である。

【図６】本発明によるビデオ信号処理装置を示す簡略ブ
ロック図である。

【図７】図６の装置による符号化及び復号処理を示す原
理図である。

【図８】図６の動きベクトル発生器の詳細ブロック図で
ある。

【図９】図６の符号化装置の詳細ブロック図である。

【図１０】図６の復号装置の詳細ブロック図である。

【符号の説明】

２０ビデオ信号符号化装置２２動きベクトル発生器２３（ベクトル駆動）符号化器５０符号化制御器２１ビデオ信号復号装置７４復号制御器

Claims

【特許請求の範囲】

【請求項１】第１及び第２入力ビデオ映像を符号化す
るビデオ信号符号化装置であって、第２入力映像のピクセルを第１入力映像のピクセルと突
合せて、上記２つの入力映像間における上記第２映像内
のピクセルの動きを表す動きベクトルを導出する動きベ
クトル発生器であって、これら各動きベクトルは、上記
第２映像内のピクセルの位置及び上記第１映像内のマッ
チしたピクセルの位置に対応するものである、上記動き
ベクトル発生器と、上記２つの入力映像を処理して第１及び第２出力ビデオ
映像を生成する符号化器であって、第１出力映像のピク
セルは、上記２つの入力映像内の夫々同等に加重された
ピクセルを加算して生成し、第２出力映像のピクセル
は、上記２つの入力映像内の夫々同等に加重されたピク
セルを減算して生成する上記符号化器と、上記動きベクトルに応じて上記符号化器を制御する符号
化制御器であって、第１出力映像の各上記ピクセルが、
第１入力映像内の同位置のピクセルと、対応する動きベ
クトルによって決定される、第２入力映像内のそれにマ
ッチしたピクセルとを加算することにより生成され、第
２出力映像の各上記ピクセルが、第２入力映像内の同位
置のピクセルを、対応する動きベクトルによって決定さ
れる、第１入力映像内のそれにマッチしたピクセルから
減算することにより生成されるように制御する上記符号
化制御器とを具えたビデオ信号符号化装置。
【請求項２】第１入力映像内のマッチしないピクセル
の全位置を識別する手段を含み、上記符号化制御器は、
第１入力映像内のマッチしないピクセルと同位置の第１
出力映像のピクセルを該マッチしないピクセルから直接
生成するように、上記符号化器を制御する請求項１の装
置。
【請求項３】１以上の動きベクトルと対応する第１入
力映像内の全ピクセル位置を識別し、該ピクセル位置の
各々について、上記対応する動きベクトルの１つを当該
ピクセル位置に対する最有力ベクトルとして選択し、当
該ピクセル位置と対応する残りのベクトルを下位ベクト
ルとしてフラグを付ける手段を含み、上記符号化制御器
は、第１入力映像内のピクセル位置に１以上の動きベク
トルが対応する場合、第１出力映像内の同位置ピクセル
を上記最有力ベクトルに対応するピクセル同士の加算に
よって生成するように、上記符号化器を制御する請求項
１又は請求項２の装置。
【請求項４】上記最有力ベクトルを選択する手段は、
１以上の動きベクトルと対応する各上記ピクセル位置に
ついて、大きさが最も小さいベクトルを当該ピクセル位
置に対する最有力ベクトルとして選択するように構成さ
れた請求項３の装置。
【請求項５】請求項１の符号化装置によって符号化さ
れた第１及び第２入力映像に対応する第１及び第２の復
号されたビデオ映像を生成するビデオ信号復号装置であ
って、上記符号化装置によって生成された第１及び第２の出力
ビデオ映像を受け、第１入力ビデオ映像に対応する第１
復号映像のピクセルを、上記２つの出力映像内の同等に
加重されたピクセル同士の加算によって生成し、第２入
力ビデオ映像に対応する第２復号映像のピクセルを上記
２つの出力映像内の同等に加算されたピクセル同士の減
算によって生成する復号器と、上記２つの入力映像のマッチしたピクセルの位置に対応
する動きベクトルを受け、第１復号映像の各上記ピクセ
ルが、第１出力映像内の同位置ピクセルと、対応する動
きベクトルによって決定される、生成しようとするピク
セルに対応する第１入力映像内のピクセルにマッチした
ピクセル位置にある第２出力映像内のピクセルとを加算
することにより生成され、第２復号映像の各上記ピクセ
ルが、第２出力映像内の同位置ピクセルを、対応する動
きベクトルによって決定される、生成しようとするピク
セルに対応する第２入力映像内のピクセルにマッチした
ピクセル位置にある第１出力映像内のピクセルから減算
することにより生成されるように、上記復号器を制御す
る復号制御器とを具えるビデオ信号復号装置。
【請求項６】請求項２の符号化装置によって符号化さ
れた入力ビデオ映像に対応する復号されたビデオ映像を
生成するビデオ信号復号装置であで、上記復号制御器
は、第１入力映像のマッチしないピクセルに対応する第
１復号映像のピクセルを直接第１出力映像内の同位置ピ
クセルから生成するように、上記復号器を制御する請求
項５のビデオ信号復号装置。
【請求項７】請求項３又は請求項４の符号化装置によ
って符号化された入力ビデオ映像に対応する復号された
映像を生成するビデオ信号復号装置であって、上記復号
制御器は、１以上の動きベクトルが第１入力映像内のピ
クセル位置に対応する場合、第１復号映像内の対応する
ピクセルを、上記最有力ベクトルに対応する位置にある
出力映像ピクセル同士の加算によって生成するように、
上記復号器を制御する請求項５又は請求項６のビデオ信
号復号装置。
【請求項８】請求項３又は請求項４の符号化装置によ
って符号化された入力ビデオ映像に対応する復号された
ビデオ映像を生成するビデオ信号復号装置であって、上
記復号器は第１復号映像のあとに第２復号映像を生成
し、上記復号制御器は、下位ベクトルに対応する位置に
ある第２入力映像内のピクセルに対応する第２復号映像
内のピクセルが、第２出力映像内の同位置ピクセルを、
対応する動きベクトルによって決定される、生成しよう
とするピクセルに対応する第２入力映像内のピクセルに
マッチしたピクセル位置にある第１復号映像内のピクセ
ルから減算することにより生成されるように、上記復号
器を制御する請求項５ないし７のいずれか１項のビデオ
信号復号装置。
【請求項９】請求項１の符号化装置及び請求項５の復
号装置を具えたビデオ信号処理装置。
【請求項１０】請求項２の符号化装置及び請求項６の
復号装置を具えたビデオ信号処理装置。
【請求項１１】請求項３又は請求項４の符号化装置及
び請求項７又は請求項８の復号装置を具えたビデオ信号
処理装置。
【請求項１２】上記符号化制御器は、出力映像ピクセ
ルを入力映像ピクセルの加算又は減算によって生成する
とき、上記符号化器が入力映像ピクセルをｘの乗算加重
係数で加重し、他のすべての出力映像ピクセルを生成す
るとき、上記符号化器が入力映像ピクセルを２ｘの乗算
加重係数で加重するように、上記符号化器を制御する請
求項１１のビデオ信号処理装置。
【請求項１３】上記復号制御器は、第２出力映像内の
ピクセルを第１復号映像内のピクセルから減じて生成す
るとき、第２出力映像内の上記ピクセルを先に４ｘの乗
算加重係数で加重し、復号映像のピクセルを生成するの
に使用された他のすべてのピクセルを２ｘの乗算加重係
数で加重するように、上記復号器を制御する、請求項８
に従属する場合の請求項１２の装置。
【請求項１４】ｘ＝１／２である請求項１２又は請求
項１３の装置。
【請求項１５】第１及び第２入力ビデオ映像を符号化
するビデオ信号符号化方法であって、第２入力映像のピクセルを第１入力映像のピクセルと突
合せて、これら２つの映像の間における上記第２映像内
のピクセルの動きを表す動きベクトルを導出するステッ
プであって、各動きベクトルは、上記第２映像内のピク
セルの位置と上記第１映像内のマッチしたピクセルの位
置とに対応するものである、上記ステップと、上記２つの映像を処理して第１及び第２出力ビデオ映像
を生成するステップであって、第１出力映像のピクセル
は、上記２つの入力映像内の夫々同等に加重されたピク
セルの加算により生成し、第２出力映像のピクセルは、
上記２つの入力映像内の夫々同等に加重されたピクセル
の減算により生成する上記ステップとを含み、第１出力映像の各上記ピクセルは、第１入力映像内の同
位置ピクセルと、対応する動きベクトルにより決定され
る、第２入力映像内のそれにマッチしたピクセルとを加
算して生成し、第２出力映像の各上記ピクセルは、第２
入力映像内の同位置ピクセルを、対応する動きベクトル
により決定される、第１入力映像内のそれにマッチした
ピクセルから減算して生成するビデオ信号符号化方法。
【請求項１６】第１入力映像内のマッチしないピクセ
ルの全位置を識別する手段を含み、第１入力映像内のマ
ッチしないピクセルと同位置の第１出力映像のピクセル
を、直接そのマッチしないピクセルから生成する請求項
１５の方法。
【請求項１７】１以上の動きベクトルと対応する第１
入力映像内の全ピクセル位置を識別し、該ピクセル位置
の各々について、対応する動きベクトルの１つを当該ピ
クセルに対する最有力ベクトルとして選択し、当該ピク
セル位置に対応する残りのベクトルを下位ベクトルとし
てフラグを付けるステップを含み、１以上の動きベクト
ルが第１入力映像内のピクセル位置に対応するとき、第
１出力映像内の同位置ピクセルを上記最有力ベクトルに
対応するピクセル同士の加算によって生成する請求項１
５又は請求項１６の方法。
【請求項１８】１以上の動きベクトルに対応する各上
記ピクセル位置について、大きさが最も小さいベクトル
を当該ピクセル位置に対する最有力ベクトルとして選択
する請求項１７の方法。
【請求項１９】請求項１５の符号化方法によって符号
化された第１及び第２の入力ビデオ映像に対応する第１
及び第２の復号されたビデオ映像を生成するビデオ信号
復号方法であって、第１及び第２出力ビデオ映像と、上記符号化装置によっ
て生成された、マッチしたピクセルの位置に対応する動
きベクトルとを受けるステップと、第１入力ビデオ映像に対する第１復号映像のピクセル
を、上記２つの出力映像内の夫々同等に加重されたピク
セルの加算により生成し、第２入力ビデオ映像に対応す
る第２復号映像のピクセルを、上記２つの出力映像内の
夫々同等に加重されたピクセルの減算により生成するス
テップを含み、第１復号映像の各上記ピクセルは、第１出力映像内の同
位置ピクセルと、対応する動きベクトルによって決定さ
れる、生成すべきピクセルに対応する第１入力映像内の
ピクセルにマッチしたピクセル位置にある、第２出力映
像内のピクセルとを加算することにより生成し、第２復
号映像の各上記ピクセルは、第２出力映像内の同位置ピ
クセルを、対応する動きベクトルによって決定される、
生成すべきピクセルに対応する第２入力映像内のピクセ
ルにマッチしたピクセル位置にある、第１出力映像内の
ピクセルから減算することにより生成するビデオ信号復
号方法。
【請求項２０】請求項１６の符号化方法により符号化
された入力ビデオ映像に対応する復号ビデオ映像を生成
するビデオ信号復号方法であって、第１入力映像のマッ
チしないピクセルに対応する第１復号映像のピクセル
は、第１出力映像内の同位置ピクセルから直接生成され
る請求項１９のビデオ信号復号方法。
【請求項２１】請求項１７又は請求項１８の符号化方
法により符号化された入力ビデオ映像に対応する復号さ
れたビデオ映像を生成するビデオ信号復号方法であっ
て、１以上の動きベクトルが第１入力映像内のピクセル
位置に対応する場合、第１復号映像内の対応ピクセル
は、上記最有力ベクトルと対応する位置にある出力映像
ピクセル同士を加算することにより生成される請求項１
９又は請求項２０のビデオ信号復号方法。
【請求項２２】請求項１７又は請求項１８の符号化方
法により符号化された入力ビデオ映像に対応する復号さ
れたビデオ映像を生成するビデオ信号復号方法であっ
て、第１復号映像が第２復号映像に先立って生成され、
上記下位ベクトルに対応する位置にある、第２入力映像
内のピクセルに対応する第２復号映像内のピクセルは、
第２出力映像内の同位置ピクセルを、対応する動きベク
トルによって決定される、生成すべきピクセルに対応す
る第２入力映像内のピクセルとマッチしたピクセル位置
にある第１復号映像内のピクセルから減算することによ
り生成される請求項１９〜２１のいずれか１項のビデオ
信号復号方法。
【請求項２３】請求項１５の符号化方法及び請求項１
９の復号方法を含むビデオ信号処理方法。
【請求項２４】請求項１６の符号化方法及び請求項２
０の復号方法を含むビデオ信号処理方法。
【請求項２５】請求項１７又は請求項１８の符号化方
法及び請求項２１又は請求項２２の復号方法を含むビデ
オ信号処理方法。
【請求項２６】上記入力映像内のピクセル同士の加算
又は減算により上記出力映像のピクセルを生成すると
き、上記入力ピクセルをｘの乗算加重係数で加重し、上
記出力映像の他の全ピクセルを生成するのに、上記入力
映像ピクセルを２ｘの乗算加重係数で加重する請求項２
５のビデオ信号処理方法。
【請求項２７】請求項２２に従属するときの請求項２
６の方法であって、第２出力映像内のピクセルを第１復
号映像内のピクセルから減算することにより第２復号映
像内のピクセルを生成するとき、第２出力映像内の上記
ピクセルが先に４ｘの乗算加重係数で加重され、上記復
号映像のピクセルを生成するのに用いられた他の全ピク
セルは、２ｘの乗算加重係数で加重されるビデオ信号処
理方法。
【請求項２８】ｘ＝１／２である請求項２６又は請求
項２７のビデオ信号処理方法。