JP3295228B2 - 動画像の動きベクトル検出装置及びそれを用いた動き補償予測装置及び動き補償予測フレーム間符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビカメラ等から連続
して入力される動画像の低ビットレート符号化にあるい
は内挿に有用な、動きベクトル検出装置、動き補償予測
装置及び動き補償予測フレーム間符号化装置に関する。

【０００２】

【従来の技術】

＜第１従来例＞従来の動画像の動き補償予測技術として
は、図６に示されるように、画面１００を所望のブロッ
ク１０１に分割し、ブロック単位の並行移動ベクトル１
０２を周知のブロックマッチング方法により検出し、検
出した並行移動ベクトル１０２を用いて動き補償予測を
行うのが一般であった。しかし、ブロック単位の並行移
動ベクトル１０２を用いることから、しばしば予測画像
にブロック間の境界が乱れるというブロック歪が発生
し、それによって現フレーム画像との差が大きくなり、
符号化のビットレートが増大することがある。

【０００３】＜第２従来例＞そこで近年は、図７に示さ
れるように、ブロック１０１を構成する各隅の格子点１
０３における動きベクトル１０４を周知のブロックマッ
チング方法により検出し、この動きベクトル１０４を利
用して、バイリニア変換やアフィン変換により動き補償
予測を行う方法が提案されている（文献：“Motion Vec
tor Field Reconstruction for Predictive Video Sequ
ence Coding"，Proc.VLBV94,6-4,April,1994）

【０００４】図７において、各格子点１０３における動
きベクトル１０４の検出は、各格子点１０３にそれを囲
む仮想的なブロック１０５を設定し、時間的に前後した
２枚のフレーム画像（前フレーム画像と現フレーム画
像）との間で仮想的ブロック１０５の動きをブロックマ
ッチング方法により検出する。

【０００５】バイリニア変換とは下記の式（４）で与え
られる非線形変換である。バイリニア変換を用いて動き
補償予測を行う場合は、まずその変換係数ａ〜ｈを四角
形のブロック１０１毎に、その四隅の格子点１０３で検
出した動きベクトルの値（ｖ _x1，ｖ_y1），（ｖ_x2，
ｖ_y2），（ｖ_x3，ｖ_y3）及び（ｖ_x4，ｖ_y4）から計算に
よって決定する。次に、ブロック１０１毎に、前フレー
ム画像をＰ（ｘ，ｙ）とし現フレーム画像に対応する予
測画像をＣ（ｘ，ｙ）とすれば、下記の式（５）によっ
てブロック内各画素の動き補償予測を行う。なお、ｘは
ｘ座標値、ｙはｙ座標値を示す。

【数４】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ＋ｄｘｙ ｖ_y ＝ｅ＋ｆｘ＋ｇｙ＋ｈｘｙ …式（４）

【数５】 Ｃ（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_x ，ｙ＋ｖ_y ） ＝Ｐ（ｘ＋ａ＋ｂｘ＋ｃｙ＋ｄｘｙ， ｙ＋ｅ＋ｆｘ＋ｇｙ＋ｈｘｙ） …式（５）

【０００６】アフィン変換とは下記の式（６）で与えら
れる線形の変換である。アフィン変換を用いて動き補償
予測を行う場合は、図７に破線で示す三角形のブロック
１０６を設定し、各ブロック１０６毎にその三隅の格子
点１０３で検出した動きベクトルの値（ｖ_x1，ｖ_y1），
（ｖ_x2，ｖ_y2）及び（ｖ_x3，ｖ_y3）から計算によって６
個の変換係数ａ〜ｆを決定する。次に、ブロック１０６
毎に、各変換係数ａ〜ｆを用いて下記の式（７）によっ
てブロック内各画素の動き補償予測を行うことにより、
前フレーム画像Ｐ（ｘ，ｙ）から予測画像Ｃ（ｘ，ｙ）
を求める。

【数６】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ ｖ_y ＝ｄ＋ｅｘ＋ｆｙ …式（６）

【数７】 Ｃ（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_x ，ｙ＋ｖ_y ） ＝Ｐ（ｘ＋ａ＋ｂｘ＋ｃｙ，ｙ＋ｄ＋ｅｘ＋ｆｙ） …式（７）

【０００７】バイリニア変換、アフィン変換いずれを用
いた動き補償予測の場合も、予測画像Ｃ（ｘ，ｙ）を求
めたら、現フレーム画像とそれに対応する予測画像との
間での差分画像を計算し、差分画像をＤＣＴ（Ｄiscret
e Ｃosine Ｔransform）やＶＱ（Ｖector Ｑuantizer）
等の適宜な符号化方法で符号化して、受信側へ送る。ま
た、受信側において送信側と同様な動き補償予測画像を
生成するため、各ブロック１０１または１０６毎の格子
点の動きベクトル１０４のデータも受信側に送る。

【０００８】

【発明が解決しようとする課題】従来の動きベクトル１
０４は格子点１０３の周囲に仮想的ブロック１０５を設
定してブロックマッチング方法により検出したものであ
るから、仮想的ブロック１０５の平均的な動きベクトル
であり、格子点１０３自体の動きベクトルに必ずしも正
確に一致するとは言えない。また、検出した動きベクト
ル１０４の動き量の精度は整数画素精度にすぎず、小数
点精度で動き量を検出することができない。そのため、
バイリニア変換やアフィン変換を用いて動き補償予測を
行っても、予測画像の精度に限界があり、ひいては低ビ
ットレートな符号化を制約している。一方、バイリニア
変換やアフィン変換を用いた動き補償予測は或る程度複
雑な動きを表現できる点で優れた方法ではあるが、例え
ば３次元空間内の平面が平面自体回転しながらテレビカ
メラに接近してくるような場合など、更に複雑な動きを
表現することは困難である。

【０００９】本発明は上述した従来技術の問題点に鑑
み、バイリニア変換やアフィン変換を用いても予測画像
の精度が向上し、ひいては低ビットレートの符号化を可
能とする、動画像の動きベクトル検出装置及びそれを用
いた動き補償予測装置及び動き補償予測フレーム間符号
化装置を提供することを第１の目的とする。また、本発
明は、バイリニア変換やアフィン変換よりも複雑な動き
を表現できる変換式を用いた、動画像の動きベクトル検
出装置及びそれを用いた動き補償予測装置及び動き補償
予測フレーム間符号化装置を提供することを第２の目的
とする。

【００１０】

【課題を解決するための手段】上記目的を達成する第１
の発明に係る動画像の動きベクトル検出装置は：現フレ
ーム画像中の画素値の空間微分画像を計算する空間微分
計算手段と；現フレーム画像と前フレーム画像間での画
素値の時間微分画像を計算する時間微分計算手段と；動
きベクトルが検出されるべき格子点の位置情報を蓄積す
る格子点位置蓄積手段と；ｎ個（但し、ｎ＝６または
８）の変換係数Ｃ _k （但し、ｋ＝１〜ｎ）を有し、動き
補償予測のための画面上の位置（ｘ，ｙ）とｘ方向の動
きベクトルｖ _x との関係、並びに、同位置（ｘ，ｙ）と
ｙ方向の動きベクトルｖ _y との関係を表す変換式を、動
きベクトルのモデル情報として蓄積する動きモデル蓄積
手段と；前記格子点位置蓄積手段に蓄積された隣接する
ｎ／２個の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ
＝１〜ｎ／２）毎に、Ｅ _tq を前記ｎ／２個の格子点を境
界上に持つブロック上の任意点ｑにおいて前記時間微分
画像より得られる時間微分値、Ｅ _xq とＥ _yq を前記任意点
ｑにおいて前記空間微分画像より得られる空間微分値、
Ｄ _x 及びＤ _y を前記任意点ｑの位置（ｘｑ、ｙｑ）及び
空間微分値Ｅ _xq 、Ｅ _yq 並びに前記ｎ／２個の格子点の位
置（ｘ _i 、ｙ _i ）を含む係数とするとき、前記変換式に
基づく前記ｎ／２個の格子点位置（ｘ _i 、ｙ _i ）及びこ
れら各格子点位置での動きベクトル（ｖ _xi 、ｖ _yi ）（但
し、ｉ＝１〜ｎ／２）の関係と、時空間勾配の拘束条件
とから与えられる式Σ（Ｄ _xi ｖ _xi ＋Ｄ _yi ｖ _yi ）＝Ｅ
_tq （但し、ｉ＝１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）
の任意点について連立させ、得られる連立方程式から前
式中の係数Ｄ _xi 、Ｄ _yi を計算し、設定する係数設定手段
と；この係数設定手段から得られる前記係数Ｄ _xi 、Ｄ _yi
に基づいて、前記連立方程式から前記格子点位置におけ
る動きベクトルを計算する動きベクトル計算手段と；を
具備することを特徴とするものである。第２の発明に係
る動画像の動きベクトル検出装置は： 動きベクトルが検
出されるべき格子点の位置情報を蓄積する格子点位置蓄
積手段と； この格子点位置情報と、現フレーム画像と、
前フレーム画像とに基づいて、画像間におけるブロック
単位の粗い動きベクトルを検出する粗いベクトル検出手
段と； この粗い動きベクトルと、前記格子点位置情報
と、前フレーム画像とに基づいて、前フレーム画像に対
応する粗い予測画像を生成する粗い予測画像生成手段
と； 現フレーム画像中の画素値の空間微分画像を計算す
る空間微分計算手段と； 現フレーム画像と前記粗い予測
画像間での画素値の時間微分画像を計算する時間微分計
算手段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ
_k （但し、ｋ＝１〜ｎ）を有し、動き補償予測のための
画面上の位置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x と
の関係、並びに、同位置（ｘ，ｙ）とｙ方向の動きベク
トルｖ _y との関係を表す変換式を、動きベクトルのモデ
ル情報として蓄積する動きモデル蓄積手段と； 前記格子
点位置蓄積手段に蓄積された隣接するｎ／２個の格子点
Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ／２）毎
に、ｖ _rx 、ｖ _ry を前記ｎ／２個の格子点を境界上に持つ
ブロックの粗い動きベクトル、Ｅ _tq を前記ｎ／２個の格
子点を境界上に持つブロック上の任意点ｑにおいて前記
時間微分画像より得られる時間微分値、Ｅ _xq とＥ _yq を前
記任意点ｑにおいて前記空間微分画像より得られる空間
微分値、Ｄ _x 及びＤ _y を前記任意点ｑの位置（ｘｑ、ｙ
ｑ）及び空間微分値Ｅ _xq 、Ｅ _yq 並びに前記ｎ／２個の格
子点の位置（ｘ _i 、ｙ _i ）を含む係数とするとき、前記
変換式に基づく前記ｎ／２個の格子点位置（ｘ _i 、
ｙ _i ）及びこれら各格子点位置での動きベクトル
（ｖ _xi 、ｖ _yi ）（但し、ｉ＝１〜ｎ／２）の関係と、時
空間勾配の拘束条件とから与えられる式Σ（Ｄ _xi ｖ _xi ＋
Ｄ _yi ｖ _yi ）＝Ｅ _tq ^' −Ｅ _xq ｖ _rx −Ｅ _yq ｖ _ry （但し、ｉ＝
１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）の任意点につい
て連立させ、得られる連立方程式から前式中の係数
Ｄ _xi 、Ｄ _yi を計算し、設定する係数設定手段と； この係
数設定手段から得られる前記係数Ｄ _xi 、Ｄ _yi に基づい
て、前記連立方程 式から前記格子点位置における動きベ
クトルを計算する動きベクトル計算手段と；を具備する
ことを特徴とするものである。第３の発明に係る動画像
の動きベクトル検出装置は： 現フレーム画像中の画素値
の空間微分画像を計算する空間微分計算手段と； 現フレ
ーム画像と前フレーム画像間での画素値の時間微分画像
を計算する時間微分計算手段と； 動きベクトルが検出さ
れるべき格子点の位置情報を蓄積する格子点位置蓄積手
段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ
_k （但し、ｋ＝１〜ｎ）を有し、動き補償予測のための
画面上の位置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x と
の関係、並びに、同位置（ｘ，ｙ）とｙ方向の動きベク
トルｖ _y との関係を表す変換式を、動きベクトルのモデ
ル情報として蓄積する動きモデル蓄積手段と； 前記格子
点位置蓄積手段に蓄積された隣接するｎ／２個の格子点
Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ／２）毎
に、Ｅ _tq を前記ｎ／２個の格子点を境界上に持つブロッ
ク上の任意点ｑにおいて前記時間微分画像より得られる
時間微分値、Ｅ _xq とＥ _yq を前記任意点ｑにおいて前記空
間微分画像より得られる空間微分値、Ｄ _x 及びＤ _y を前
記任意点ｑの位置（ｘｑ、ｙｑ）及び空間微分値Ｅ _xq 、
Ｅ _yq 並びに前記ｎ／２個の格子点の位置（ｘ _i 、ｙ _i ）
を含む係数とするとき、前記変換式に基づく前記ｎ／２
個の格子点位置（ｘ _i 、ｙ _i ）及びこれら各格子点位置
での動きベクトル（ｖ _xi 、ｖ _yi ）（但し、ｉ＝１〜ｎ／
２）の関係と、時空間勾配の拘束条件とから与えられる
式Σ（Ｄ _xi ｖ _xi ＋Ｄ _yi ｖ _yi ）＝Ｅ _tq （但し、ｉ＝１〜ｎ
／２）を、ｊ個（但し、ｊ≧ｎ）の任意点について連立
させ、得られる連立方程式から前記格子点位置における
動きベクトルを計算する動きベクトル計算手段と； を具
備することを特徴とするものである。 第４の発明にかか
る動画像の動きベクトル検出装置は： 動きベクトルが検
出されるべき格子点の位置情報を蓄積する格子点位置蓄
積手段と； この格子点位置情報と、現フレーム画像と、
前フレーム画像とに基づいて、画像間におけるブロック
単位の粗い動きベクトルを検出する粗いベクトル検出手
段と； この粗い動きベクトルと、前記格子点位置情報
と、前フレーム画像とに基づいて、前フレーム画像に対
応する粗い予測画像を生成する粗い予測画像生成手段
と； 現フレーム画像中の画素値の空間微分画像を計算す
る空間微分計算手段と； 現フレーム画像と前記粗い予測
画像間での画素値の時間微分画像を計算する時間微分計
算手段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ
_k （但し、ｋ＝１〜ｎ）を有し、動き補償予測のための
画面上の位置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x と
の関係、並びに、同位置（ｘ，ｙ）とｙ方向の動きベク
トルｖ _y との関係を表す変換式を、動きベクトルのモデ
ル情報として蓄積する動きモデル蓄積手段と； 前記格子
点位置蓄積手段に蓄積された隣接するｎ／２個の格子点
Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ／２）毎
に、ｖ _rx 、ｖ _ry を前記ｎ／２個の格子点を境界上に持つ
ブロックの粗い動きベクトル、Ｅ _tq を前記ｎ／２個の格
子点を境界上に持つブロック上の任意点ｑにおいて前記
時間微分画像より得られる時間微分値、Ｅ _xq とＥ _yq を前
記任意点ｑにおいて前記空間微分画像より得られる空間
微分値、Ｄ _x 及びＤ _y を前記任意点ｑの位置（ｘｑ、ｙ
ｑ）及び空間微分値Ｅ _xq 、Ｅ _yq 並びに前記ｎ／２個の格
子点の位置（ｘ _i 、ｙ _i ）を含む係数とするとき、前記
変換式に基づく前記ｎ／２個の格子点位置（ｘ _i 、
ｙ _i ）及びこれら各格子点位置での動きベクトル
（ｖ _xi 、ｖ _yi ）（但し、ｉ＝１〜ｎ／２）の関係と、時
空間勾配の拘束条件とから与えられる式Σ（Ｄ _xi ｖ _xi ＋
Ｄ _yi ｖ _yi ）＝Ｅ _tq ^' −Ｅ _xq ｖ _rx −Ｅ _yq ｖ _ry （但し、ｉ＝
１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）の任意点につい
て連立させ、得られる連立方程式から前記格子点位置に
おける動きベクトルを計算する動きベクトル計算手段
と； を具備することを特徴とするものである。 第５の発
明に係る動画像の動きベクトル検出装置は、第１ないし
第４いずれかの発明に加えて、前記動きベクトル計算手
段は隣接するブロックと共通する格子 点での動きベクト
ルを最小２乗法により求めることを特徴とするものであ
る。

【００１１】また、第６の発明に係る動画像の動きベク
トル検出装置は： 現フレーム画像中の画素値の空間微分
画像を計算する空間微分計算手段と； 現フレーム画像と
前フレーム画像間での画素値の時間微分画像を計算する
時間微分計算手段と； 動きベクトルが検出されるべき格
子点の位置情報を蓄積する格子点位置蓄積手段と； ｎ個
（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、ｋ＝
１〜ｎ）を有し、動き補償予測のための画面上の位置
（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並び
に、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y との
関係を表す変換式を、動きベクトルのモデル情報として
蓄積する動きモデル蓄積手段と； 前記格子点位置蓄積手
段に蓄積された隣接するｎ／２個の格子点Ｐ _i の位置
（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ／２）毎に、ｘｑと
ｙｑを前記ｎ／２個の格子点を境界上に持つブロック上
の任意点ｑの位置、Ｅ _tq を前記任意点ｑにおいて前記時
間微分画像より得られる時間微分値、Ｅ _xq とＥ _yq を前記
任意点ｑにおいて前記空間微分画像より得られる空間微
分値とするとき、時空間勾配の拘束条件から与えられる
ｘｑ、ｙｑ、Ｅ _tq 、Ｅ _xq 、Ｅ _yq 及び前記変換係数Ｃ _k を
含む式を、ｊ個（但し、ｊ≧ｎ）の任意点について連立
させ、得られる連立方程式から前記変換係数Ｃ _k を計算
し、この変換係数Ｃ _k に基づいて、前記変換式から前記
格子点位置における動きベクトルを計算する動きベクト
ル計算手段と； を具備することを特徴とするものであ
る。 第７の発明に係る動画像の動きベクトル検出装置
は： 動きベクトルが検出されるべき格子点の位置情報を
蓄積する格子点位置蓄積手段と； この格子点位置情報
と、現フレーム画像と、前フレーム画像とに基づいて、
画像間におけるブロック単位の粗い動きベクトルを検出
する粗いベクトル検出手段と； この粗い動きベクトル
と、前記格子点位置情報と、前フレーム画像とに基づい
て、前フレーム画像に対応する粗い予測画像を生成する
粗い予測画像生成手段と ； 現フレーム画像中の画素値の
空間微分画像を計算する空間微分計算手段と； 現フレー
ム画像と前記粗い予測画像間での画素値の時間微分画像
を計算する時間微分計算手段と； ｎ個（但し、ｎ＝６ま
たは８）の変換係数Ｃ _k （但し、ｋ＝１〜ｎ）を有し、
動き補償予測のための画面上の位置（ｘ，ｙ）とｘ方向
の動きベクトルｖ _x との関係、並びに、同位置（ｘ，
ｙ）とｙ方向の動きベクトルｖ _y との関係を表す変換式
を、動きベクトルのモデル情報として蓄積する動きモデ
ル蓄積手段と； 前記格子点位置蓄積手段に蓄積された隣
接するｎ／２個の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但
し、ｉ＝１〜ｎ／２）毎に、ｖ _rx とｖ _ry を前記ｎ／２個
の格子点を境界上に持つブロックの粗い動きベクトル、
ｘｑとｙｑを前記ｎ／２個の格子点を境界上に持つブロ
ック上の任意点ｑの位置、Ｅ _tq ' を前記任意点ｑにおい
て前記時間微分画像より得られる時間微分値、Ｅ _xq とＥ
_yq を前記任意点ｑにおいて前記空間微分画像より得られ
る空間微分値とするとき、時空間勾配の拘束条件から与
えられる、ｖ _rx 、ｖ _ry 、ｘｑ、ｙｑ、Ｅ _tq ' 、Ｅ _xq 、Ｅ
_yq 及び前記変換係数Ｃ _k を含む式を、ｊ個（但し、ｊ≧
ｎ）の任意点について連立させ、得られる連立方程式か
ら前記変換係数Ｃ _k を計算し、この変換係数Ｃ _k に基づ
いて、前記変換式から前記格子点位置における動きベク
トルを計算する動きベクトル計算手段と； を具備するこ
とを特徴とするものである。第８の発明に係る動画像の
動きベクトル検出装置は、第６または第７の発明に加え
て、前記動きベクトル計算手段は隣接するブロックと共
通する格子点での動きベクトルを平均により求めること
を特徴とするものである。

【００１２】また、第９の発明に係る動画像の動きベク
トル検出装置は、第１ないし第８いずれか一つの発明に
加えて、前記ｊ個の任意点として少なく１つの格子点を
含むことを特徴とするものである。更に、第１０の発明
に係る動画像の動きベクトル検出装置は、第１ないし第
９いずれか一つの発明に加えて、画面上の位置（ｘ，
ｙ）と動きベクトル（ｖ_x ，ｖ_y ）との変換式が下記の
式（８）、式（９）及び式（１０）のうちいずれか１つ
であることを特徴とするものである。

【数８】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ＋ｄｘ² ＋ｅｘｙ ｖ_y ＝ｆ＋ｇｘ＋ｈｙ＋ｅｙ² ＋ｄｘｙ …式（８）

【数９】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ＋ｅｘｙ ｖ_y ＝ｅ＋ｆｘ＋ｇｙ＋ｈｘｙ …式（９）

【数１０】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ ｖ_y ＝ｄ＋ｅｘ＋ｆｙ …式（１０）

【００１３】第１１の発明に係る動画像の動きベクトル
検出装置は、第１ないし第１０いづれか一つの発明に加
えて、前フレーム画像が、当該前フレーム画像の動き補
償予測フレーム間符号化後に局部復号された画像である
ことを特徴とするものである。

【００１４】次に、第１２の発明に係る動画像の動き補
償予測装置は、第１ないし第１１いづれか一つの発明の
動画像の動きベクトル検出装置の格子点位置蓄積手段、
動きモデル蓄積手段及び動きベクトル計算手段からそれ
ぞれ得られる格子点位置情報、変換式及び動きベクトル
情報に基づいて、予測画像の生成に必要な同変換式の前
記変換係数を計算する変換係数計算手段と；この変換係
数計算手段から得られる前記変換係数と、前記変換式と
に基づいて、現フレーム画像に対応する動き補償予測画
像を生成すると予測画像生成手段と；を具備することを
特徴とするものである。

【００１５】更に、第１３の発明に係る動画像の動き補
償予測フレーム間符号化装置は：第１ないし第１１いず
れか一つの発明の動画像の動きベクトル検出装置と；第
１２の発明の動画像の動き補償予測装置と；現フレーム
画像と前記動画像の動き補償予測装置で得られた動き補
償予測画像間で差分画像を計算する差分画像計算手段
と；この差分画像を符号化する符号化手段と；符号化さ
れた差分画像を復号する復号手段と；復号された差分画
像と、前記動き補償予測画像とに基づいて、現フレーム
画像に対応する局部復号画像を計算する局部復号画像計
算手段と；この局部復号画像を前フレーム画像として記
憶する記憶手段と；を具備することを特徴とするもので
ある。

【００１６】

【作用】

＜原理説明＞本発明の原理を前出の変換式（８）を用い
る場合を例にとって説明する。まず変換式（８）につい
て説明すると、テレビカメラから得られる画像とは、３
次元空間内に存在する物体の透視変換による投影図であ
ると考えることができるから、３次元空間内における物
体が複数の（微小）平面で近似できると仮定すると、物
体を構成する個々の平面の動きに関しては、平面の投影
面上における見かけ上の動き即ち動きベクトルを
（ｖ_x ，ｖ_y ）、投影面における座標位置を（ｘ，ｙ）
とすると、前出の非線形な変換式（８）で記述できるこ
とが良く知られている。つまり、変換式（８）はバイリ
ニア変換やアフィン変換よりも、複雑な動きを表現する
能力が高い。以下、変換式（８）を透視変換式と呼ぶ。
ここで、透視変換式（８）の変換係数ａ〜ｈが具体的な
変換を規定するので、投影面上での見かけ上の動き即ち
変換係数ａ〜ｈは、平面内の４点における動きベクトル
が与えられれば決定することができる。そこでまず、動
き補償予測への適用を考慮し、動き検出の方向を現フレ
ーム画像から前フレーム画像への方向とし、更に動き補
償予測の単位を四角形のブロックとする。今、或るブロ
ックを構成する四隅の格子点をＰ１（ｘ１，ｙ１）、Ｐ
２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）及びＰ４（ｘ
４，ｙ４）とし、仮に各格子点において透視変換式
（８）が成立しているとすると、下記の式（１１）が得
られる。

【００１７】

【数１１】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１＋ｄｘ１² ＋ｅｘ１ｙ１ ｖ_y1＝ｆ＋ｇｘ１＋ｈｙ１＋ｅｙ１² ＋ｄｘ１ｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２＋ｄｘ２² ＋ｅｘ２ｙ２ ｖ_y2＝ｆ＋ｇｘ２＋ｈｙ２＋ｅｙ２² ＋ｄｘ２ｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３＋ｄｘ３² ＋ｅｘ３ｙ３ ｖ_y3＝ｆ＋ｇｘ３＋ｈｙ３＋ｅｙ３² ＋ｄｘ３ｙ３ ｖ_x4＝ａ＋ｂｘ４＋ｃｙ４＋ｄｘ４² ＋ｅｘ４ｙ４ ｖ_y4＝ｆ＋ｇｘ４＋ｈｙ４＋ｅｙ４² ＋ｄｘ４ｙ４ …式（１１）

【００１８】また、Ｐ１〜Ｐ４の各点における動きベク
トルが与えられれば、前式（１１）は変換係数ａ〜ｈか
らなる連立１次方程式となるから、ブロック内の全ての
点における動きを規定する変換係数ａ〜ｈは、ブロック
の四隅を構成する格子点Ｐ１〜Ｐ４における動きベクト
ル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）の線形結合で表され
る。

【００１９】一方、現フレーム画像と前フレーム画像間
で動きが小さい（例えば数画素）と仮定すると、ブロッ
ク内の任意の点ｑにおいて、画素値の時空間勾配の拘束
条件から、良く知られている次式（１２）が成り立つ。
ここで、Ｅ_xqとＥ_yqは現フレーム画像の点ｑにおける画
素値のｘ，ｙ方向の勾配即ち画素値の空間微分、Ｅ_tqは
点ｑにおけるフレーム間差分即ち画素値の時間微分、ｖ
_xqとｖ_yqは点ｑにおけるｘ，ｙ方向の動きベクトルの成
分である。

【００２０】

【数１２】 Ｅ_xqｖ_xq＋Ｅ_yqｖ_yq＋Ｅ_tq＝０ …式（１２）

【００２１】更に、点ｑにおいて透視変換式（８）が成
り立つと仮定すれば、透視変換式（８）を式（１２）に
代入することにより、次式（１３）を得る。この式（１
３）は画素値の時空間勾配と式（８）で規定された透視
変換とに基づく、動きに関する方程式である。

【００２２】

【数１３】 Ｅ_tq＋ａＥ_xq＋ｆＥ_yq＋ｂＥ_xqｘ_q ＋ｇＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｈＥ_yqｙ_q ＋ｄ（Ｅ_xqｘ_q ² ＋Ｅ_yqｘ_qｙ_q ）＋ ｅ（Ｅ_xqｘ_qｙ_q ＋Ｅ_yqｙ_q ² ）＝０ …式（１３）

【００２３】そこで、式（１３）について考察すると、
ブロック内の点の動きを規定する変換係数ａ〜ｈは先に
示したブロックを構成する四隅の格子点Ｐ１〜Ｐ４にお
ける動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）の線形
結合で記述されるので、式（１３）は結果的に、格子点
における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_x4）を
変数とする下記の方程式（１４）として表わされる。

【数１４】 α_x1ｖ_x1＋α_y1ｖ_y1＋α_x2ｖ_x2＋α_y2ｖ_y2＋α_x3ｖ_x3＋α_y3ｖ_y3＋ α_x4ｖ_x4＋α_y4ｖ_y4＝Ｅ_tq …式（１４）

【００２４】ここで、式（１４）中の係数α_xiとα
_yi（ｉ＝１〜４）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（１４）は前出の連立一次方程式（１１）を変
換係数ａ〜ｈについて解き、得られた変換係数ａ〜ｈを
式（１３）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4につ
いて整理したものであるから、この式（１４）には変換
係数ａ〜ｈは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4の各
係数α_xiとα_yi（ｉ＝１〜４）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００２５】そこで、ブロック内の最低８個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tqとを求め、式（１４）における係数α_xi，α_yiを計算
して方程式を立てれば、四隅の格子点における動きベク
トル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）に関する連立一次方
程式となる。このようにして得られた連立一次方程式を
解けば、透視変換式（８）で規定された動きに基づくよ
うに各格子点Ｐ１〜Ｐ４自身における動きベクトル（ｖ
_x1，ｖ_y1，ｖ_x2…，ｖ_y4）を直接に計算することができ
る。また、この計算により、各格子点Ｐ１〜Ｐ４におけ
る動きベクトルは小数点精度で求まる。実際には、ブロ
ックの四隅を構成する格子点は上下左右の隣接するブロ
ックにおける格子点と共通であるから、画面を構成する
全てのブロック、または適当に選んだ複数のブロックに
対してそれぞれ式（１４）を立て、最小２乗法によりブ
ロックを構成する各格子点における動きベクトルを求め
ることができる。

【００２６】上述した式（１４）及びその係数α_xi，α
_yiの計算により各格子点自身における動きベクトルを求
める場合は、透視変換式（８）の変換係数ａ〜ｈが表面
上直接には現われないから、ブロック間の動きの差異に
影響されず、１つの格子点につき１つの動きベクトルを
直接に求めることができる。しかし、式（１３）を用い
てブロック毎に変換係数ａ〜ｈを直接求めてから、各格
子点自身における動きベクトルを計算することも可能で
ある。その場合には、次のように処理すれば良い。即
ち、ブロック内の最低８個の任意の点ｑについて画素値
の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tqを求め、
各点毎に式（１３）を立てて連立１次方程式として解
き、変換係数ａ〜ｈを求める。これらの変換係数ａ〜ｈ
を式（１１）に設定することにより、透視変換式（８）
で規定された動きに基づくように各格子点Ｐ１〜Ｐ４自
身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）
を計算により求める。実際には、ブロックの四隅を構成
する格子点は上下左右の隣接するブロックにおける格子
点と共通であるから、画面を構成する全てのブロック、
または適当に選んだ複数のブロックに対してそれぞれ式
（１３）を立て、同じ格子点に異なる動きベクトルが得
られたならば例えば平均によりブロックを構成する各格
子点における動きベクトルを求める。

【００２７】上述の原理によりブロックの四隅を構成す
る格子点Ｐ１〜Ｐ４の動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2
…，ｖ_y4）が検出されたならば、重み補償予測のための
透視変換に必要な変換係数ａ〜ｈを計算する。即ち、４
つの格子点Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ２），
Ｐ３（ｘ３，ｙ３）及びＰ４（ｘ４，ｙ４）において、
透視変換式（８）が成り立っているので、下記の連立一
次方程式（１５）が得られる。

【００２８】

【数１５】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１＋ｄｘ１² ＋ｅｘ１ｙ１ ｖ_y1＝ｆ＋ｇｘ１＋ｈｙ１＋ｅｙ１² ＋ｄｘ１ｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２＋ｄｘ２² ＋ｅｘ２ｙ２ ｖ_y2＝ｆ＋ｇｘ２＋ｈｙ２＋ｅｙ２² ＋ｄｘ２ｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３＋ｄｘ３² ＋ｅｘ３ｙ３ ｖ_y3＝ｆ＋ｇｘ３＋ｈｙ３＋ｅｙ３² ＋ｄｘ３ｙ３ ｖ_x4＝ａ＋ｂｘ４＋ｃｙ４＋ｄｘ４² ＋ｅｘ４ｙ４ ｖ_y4＝ｆ＋ｇｘ４＋ｈｙ４＋ｅｙ４² ＋ｄｘ４ｙ４ …式（１５）

【００２９】この連立一次方程式を解けば、透視変換に
必要な変換係数ａ〜ｈをブロック単位に求めることがで
きる。そこで、前フレーム画像をＰ（ｘ，ｙ）、動き補
償予測画像をＣ（ｘ，ｙ）とすれば、下記の式（１６）
によって動き補償予測画像を生成することができる。

【００３０】

【数１６】 Ｃ（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_x ，ｙ＋ｖ_y ） ＝Ｐ（ｘ＋ａ＋ｂｘ＋ｃｙ＋ｄｘ² ＋ｅｘｙ， ｙ＋ｆ＋ｇｘ＋ｈｙ＋ｅｙ² ＋ｄｘｙ） …式（１６）

【００３１】動き補償画像Ｃ（ｘ，ｙ）を生成したなら
ば、現フレーム画像との差分画像を求め、この差分画像
を符号化する。これにより、動き補償予測フレーム間符
号化が達成され、符号化データを受信側に送出すること
ができる。なお、各格子点の動きベクトルも符号化して
受信側に送出する。これにより、送信側と同様な処理を
受信側においても行うことにより、送られてきた動きベ
クトルから変換に必要な係数を計算し、動き補償予測画
像を生成することができる。

【００３２】ところで、前フレーム画像としてはテレビ
カメラ等から入力した原画像自体でも良いが、受信側に
は原画像が存在せず、復号した画像のみがあるから、符
号化及び復号の各段階での画質劣化を少しでも吸収する
ために、受信側と同様に送信側でも前フレーム画像とし
て局部復号画像を用いるのが好ましい。

【００３３】上述した原理説明では、画素値の時空間勾
配の拘束条件即ち式（１２）を適用するために、前フレ
ーム画像と現フレーム画像間で動きが小さいと仮定し
た。そのため、動きが大きい場合には必ずしも十分では
ない。その場合の対策は次の通りである。

【００３４】まず、従来と同様、ブロックマッチング方
法や勾配法を適用してブロック単位に粗い動きベクトル
（ｖ_rx，ｖ_ry）を求める。そして、得られた粗い動きベ
クトル（ｖ_rx，ｖ_ry）をブロック単位に前フレーム画像
Ｐ（ｘ，ｙ）に適用して、下記の式（１７）のように粗
い予測画像Ｃ′（ｘ，ｙ）を作成する。

【００３５】

【数１７】 Ｃ′（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_rx，ｙ＋ｖ_ry） …式（１７）

【００３６】この粗い予測画像Ｃ′（ｘ，ｙ）は粗いと
は言っても、前フレーム画像よりも大幅に現フレーム画
像に似ているから、前述の画素値の時空間勾配の拘束条
件を適用することができる。即ち、粗い動きベクトル
（ｖ_rx，ｖ_ry）を用いることにより、前出の式（１２）
は下記の式（１８）に変形される。但し、Ｅ_xqとＥ_yqは
現フレーム画像の点ｑにおけるｘ，ｙ方向の画素値の空
間微分、Ｅ_tq′は点ｑにおける現フレーム画像と粗い予
測画像Ｃ′（ｘ，ｙ）間での画素値の時間微分、ｖ_xqと
ｖ_yqは点ｑにおけるｘ，ｙ方向の動きベクトルである。

【００３７】

【数１８】 Ｅ_xq（ｖ_xq−ｖ_rx）＋Ｅ_yq（ｖ_yq−ｖ_ry）＋Ｅ_tq′＝０ …式（１８）

【００３８】そして、透視変換式（８）を式（１８）に
代入すれば、粗い動きベクトルを考慮した下記の式（１
９）を得る。この式（１９）は前出の式（１３）に対応
しており、Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ryの項だけが異な
る。また、式（１９）は式（１３）と同様、最終的に
は、格子点における動きベクトル（ｖ_x1，ｖ_y1，ｖ
_x2…，ｖ_y4）を変数とする下記の方程式（２０）として
表わされる。

【００３９】

【数１９】 Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry＋ ａＥ_xq＋ｆＥ_yq＋ｂＥ_xqｘ_q ＋ｇＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｈＥ_yqｙ_q ＋ｄ（Ｅ_xqｘ_q ² ＋Ｅ_yqｘ_qｙ_q ）＋ ｅ（Ｅ_xqｘ_qｙ_q ＋Ｅ_yqｙ_q ² ）＝０ …式（１９）

【００４０】

【数２０】 α_x1ｖ_x1＋α_y1ｖ_y1＋α_x2ｖ_x2＋α_y2ｖ_y2＋α_x3ｖ_x3＋α_y3ｖ_y3＋ α_x4ｖ_x4＋α_y4ｖ_y4＝Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry …式（２０）

【００４１】ここで、式（２０）中の係数α_xiとα
_yi（ｉ＝１〜４）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（２０）は前出の連立一次方程式（１１）を変
換係数ａ〜ｈについて解き、得られた変換係数ａ〜ｈを
式（１９）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4につ
いて整理したものであるから、この式（２０）には変換
係数ａ〜ｈは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4の各
係数α_xiとα_yi（ｉ＝１〜４）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００４２】そこで、ブロック内の最低８個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tq′とを求め、式（２０）における係数α_xi，α_yiを計
算して方程式を立てれば、四隅の格子点における動きベ
クトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）に関する連立一次
方程式となる。このようにして得られた連立一次方程式
を解けば、透視変換式（８）で規定された動きに基づく
ように各格子点Ｐ１〜Ｐ４自身における動きベクトル
（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）を直接に計算することが
できる。また、この計算により、各格子点Ｐ１〜Ｐ４に
おける動きベクトルは少数点精度で求まる。実際には、
ブロックの四隅を構成する格子点は上下左右の隣接する
ブロックにおける格子点と共通であるから、画面を構成
する全てのブロック、または適当に選んだ複数のブロッ
クに対してそれぞれ式（２０）を立て、最小２乗法によ
りブロックを構成する各格子点における動きベクトルを
求めることができる。

【００４３】上述した式（２０）及びその係数α_xi，α
_yiの計算により各格子点自身における動きベクトルを求
める場合は、透視変換式（８）の変換係数ａ〜ｈが表面
上直接には現われないから、ブロック間の動きの差異に
影響されず、１つの格子点につき１つの動きベクトルを
直接に求めることができる。しかし、式（１９）を用い
てブロック毎に変換係数ａ〜ｈを直接求めてから、各格
子点自身における動きベクトルを計算することも可能で
ある。その場合には、次のように処理すれば良い。即
ち、ブロック内の最低８個の任意の点ｑについて画素値
の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tq′を求
め、各点毎に式（１９）を立てて連立１次方程式として
解き、変換係数ａ〜ｈを求める。これらの変換係数ａ〜
ｈを式（１１）に設定することにより、透視変換式
（８）で規定された動きに基づくように各格子点Ｐ１〜
Ｐ４自身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，
ｖ_y4）を計算により求める。また、実際には、ブロック
の四隅を構成する格子点は上下左右の隣接するブロック
における格子点と共通であるから、画面を構成する全て
のブロック、または適当に選んだ複数のブロックに対し
てそれぞれ式（１９）を立て、同じ格子点に異なる動き
ベクトルが得られるならば例えば平均によりブロックを
構成する各格子点における動きベクトルを求める。

【００４４】＜バイリニア変換を用いる場合＞次に、前
出の変換式（９）に基づくバイリニア変換の場合につい
て説明する。バイリニア変換の場合も、変換式（９）の
変換係数ａ〜ｈが具体的な変換を規定するので、各変換
係数ａ〜ｈはブロック内の４点における動きベクトルが
与えられれば決定することができる。そこでまず、動き
補償予測への適用を考慮し、動き検出の方向を現フレー
ム画像から前フレーム画像への方向とし、更に動き補償
予測の単位を四角形のブロックとする。今、或るブロッ
クを構成する四隅の格子点をＰ１（ｘ１，ｙ１）、Ｐ２
（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）及びＰ４（ｘ４，
ｙ４）とし、仮に各点において変換式（９）が成立して
いるとすると、下記の式（２１）が得られる。

【００４５】

【数２１】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１＋ｄｘ１ｙ１ ｖ_y1＝ｅ＋ｆｘ１＋ｇｙ１＋ｈｘ１ｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２＋ｄｘ２ｙ２ ｖ_y2＝ｅ＋ｆｘ２＋ｇｙ２＋ｈｘ２ｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３＋ｄｘ３ｙ３ ｖ_y3＝ｅ＋ｆｘ３＋ｇｙ３＋ｈｘ３ｙ３ ｖ_x4＝ａ＋ｂｘ４＋ｃｙ４＋ｄｘ４ｙ４ ｖ_y4＝ｅ＋ｆｘ４＋ｇｙ４＋ｈｘ４ｙ４ …式（２１）

【００４６】また、Ｐ１〜Ｐ４の各点における動きベク
トルが与えられれば、前式（２１）は変換変数ａ〜ｈか
らなる連立１次方程式となるから、ブロック内の全ての
点における動きを規定する変換係数ａ〜ｈは、ブロック
の四隅を構成する格子点Ｐ１〜Ｐ４における動きベクト
ル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）の線形結合で表され
る。

【００４７】一方、前述の如く現フレーム画像と前フレ
ーム画像間で動きが小さい（例えば数画素）と仮定する
と、ブロック内の任意の点ｑにおいて、画素値の時空間
勾配の拘束条件から、良く知られている前式（１２）が
成り立つ。

【００４８】更に、点ｑにおいて変換式（９）が成り立
つと仮定すれば、変換式（９）を式（１２）に代入する
ことにより、次式（２２）を得る。この式（２２）は画
素値の時空間勾配と式（９）で規定されたバイリニア変
換とに基づく、動きに関する方程式である。更に、この
式（２２）は最終的に、格子点における動きベクトル
（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_x4）を変数とする下記の方程
式（２３）として表わされる。

【００４９】

【数２２】 Ｅ_tq＋ａＥ_xq＋ｅＥ_yq＋ｂＥ_xqｘ_q ＋ｆＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｇＥ_yqｙ_q ＋ｄＥ_xqｘ_q ｙ_q ＋ ｈＥ_yqｘ_q ｙ_q ＝０ …式（２２）

【００５０】

【数２３】 β_x1ｖ_x1＋β_y1ｖ_y1＋β_x2ｖ_x2＋β_y2ｖ_y2＋β_x3ｖ_x3＋β_y3ｖ_y3＋ β_x4ｖ_x4＋β_y4ｖ_y4＝Ｅ_tq …式（２３）

【００５１】ここで、式（２３）中の係数β_xiとβ
_yi（ｉ＝１〜４）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（２３）は前出の連立一次方程式（２１）を変
換係数ａ〜ｈについて解き、得られた変換係数ａ〜ｈを
式（２２）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4につ
いて整理したものであるから、この式（２３）には変換
係数ａ〜ｈは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4の各
係数β_xiとβ_yi（ｉ＝１〜４）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００５２】そこで、ブロック内の最低８個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tqとを求め、式（２３）における係数β_xi，β_yiを計算
して方程式を立てれば、四隅の格子点における動きベク
トル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）に関する連立一次方
程式となる。このようにして得られた連立一次方程式を
解けば、バイリニア変換式（９）で規定された動きに基
BR>づくように各格子点Ｐ１〜Ｐ４自身における動きベ
クトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）を直接に計算する
ことができる。また、この計算により、各格子点Ｐ１〜
Ｐ４における動きベクトルは小数点精度で求まる。実際
には、ブロックの四隅を構成する格子点は上下左右の隣
接するブロックにおける格子点と共通であるから、画面
を構成する全てのブロック、または適当に選んだ複数の
ブロックに対してそれぞれ式（２３）を立て、最小２乗
法によりブロックを構成する各格子点における動きベク
トルを求めることができる。

【００５３】上述した式（２３）及びその係数β_xi，β
_yiの計算により各格子点自身における動きベクトルを求
める場合は、バイリニア変換式（９）の変換係数ａ〜ｈ
が表面上直接には現われないから、ブロック間の動きの
差異に影響されず、１つの格子点につき１つの動きベク
トルを直接に求めることができる。しかし、式（２２）
を用いてブロック毎に変換係数ａ〜ｈを直接求めてか
ら、各格子点自身における動きベクトルを計算すること
も可能である。その場合には、次のように処理すれば良
い。即ち、ブロック内の最低８個の任意の点ｑについて
画素値の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tqを
求め、各点毎に式（２２）を立てて連立１次方程式とし
て解き、変換係数ａ〜ｈを求める。これらの変換係数ａ
〜ｈを式（２１）に設定することにより、バイリニア変
換式（９）で規定された動きに基づくように各格子点Ｐ
１〜Ｐ４自身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2
…，ｖ_y4）を計算により求める。実際には、ブロックの
四隅を構成する格子点は上下左右の隣接するブロックに
おける格子点と共通であるから、画面を構成する全ての
ブロック、または適当に選んだ複数のブロックに対して
それぞれ式（２２）を立て、同じ格子点に異なる動きベ
クトルが得られるならば例えは平均によりブロックを構
成する各格子点における動きベクトルを求める。

【００５４】上述の原理によりブロックの四隅を構成す
る格子点Ｐ１〜Ｐ４の動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2
…，ｖ_y4）が検出されたならば、重み補償予測のための
バイリニア変換に必要な変換係数ａ〜ｈを計算する。即
ち、４つの格子点Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ
２），Ｐ３（ｘ３，ｙ３）及びＰ４（ｘ４，ｙ４）にお
いて、変換式（９）が成り立っているので、下記の連立
一次方程式（２４）が得られる。

【００５５】

【数２４】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１＋ｄｘ１ｙ１ ｖ_y1＝ｅ＋ｆｘ１＋ｇｙ１＋ｈｘ１ｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２＋ｄｘ２ｙ２ ｖ_y2＝ｅ＋ｆｘ２＋ｇｙ２＋ｈｘ２ｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３＋ｄｘ３ｙ３ ｖ_y3＝ｅ＋ｆｘ３＋ｇｙ３＋ｈｘ３ｙ３ ｖ_x4＝ａ＋ｂｘ４＋ｃｙ４＋ｄｘ４ｙ４ ｖ_y4＝ｅ＋ｆｘ４＋ｇｙ４＋ｈｘ４ｙ４ …式（２４）

【００５６】この連立一次方程式を解けば、バイリニア
変換に必要な変換係数ａ〜ｈをブロック単位に求めるこ
とができる。そこで、前フレーム画像をＰ（ｘ，ｙ）、
動き補償予測画像をＣ（ｘ，ｙ）とすれば、下記の式
（２５）によって動き補償予測画像を生成することがで
きる。

【００５７】

【数２５】 Ｃ（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_x ，ｙ＋ｖ_y ） ＝Ｐ（ｘ＋ａ＋ｂｘ＋ｃｙ＋ｄｘｙ， ｙ＋ｅ＋ｆｘ＋ｇｙ＋ｈｘｙ） …式（２５）

【００５８】動き補償画像Ｃ（ｘ，ｙ）を生成したなら
ば、現フレーム画像との差分画像を求め、この差分画像
を符号化する。

【００５９】前フレーム画像と現フレーム画像間で動き
が大きい場合の対策は次の通りである。

【００６０】まず、従来と同様、ブロックマッチング方
法や勾配法を適用してブロック単位に粗い動きベクトル
（ｖ_rx，ｖ_ry）を求める。そして、得られた粗い動きベ
クトル（ｖ_rx，ｖ_ry）をブロック単位に前フレーム画像
Ｐ（ｘ，ｙ）に適用して、前出の式（１７）のように粗
い予測画像Ｃ′（ｘ，ｙ）を作成する。この粗い予測画
像Ｃ′（ｘ，ｙ）は粗いとは言っても、前フレーム画像
よりも大幅に現フレーム画像に似ているから、前述の画
素値の時空間勾配の拘束条件を適用することができる。
つまり、バイリニア変換式（９）を前出の式（１８）に
代入すれば、粗い動きベクトルを考慮した下記の式（２
６）を得る。この式（２６）は前出の式（２２）に対応
しており、Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ryの項だけが異な
る。また、式（２６）は式（２２）と同様、最終的に
は、格子点における動きベクトル（ｖ_x1，ｖ_y1，ｖ
_x2…，ｖ_y4）を変数とする下記の方程式（２７）として
表わされる。

【００６１】

【数２６】 Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry＋ ａＥ_xq＋ｅＥ_yq＋ｂＥ_xqｘ_q ＋ｆＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｇＥ_yqｙ_q ＋ｄＥ_xqｘ_qｙ_q ｈＥ_yqｘ_q ｙ_q ＝０ …式（２６）

【００６２】

【数２７】 β_x1ｖ_x1＋β_y1ｖ_y1＋β_x2ｖ_x2＋β_y2ｖ_y2＋β_x3ｖ_x3＋β_y3ｖ_y3＋ β_x4ｖ_x4＋β_y4ｖ_y4＝Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry …式（２７）

【００６３】ここで、式（２７）中の係数β_xiとβ
_yi（ｉ＝１〜４）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（２７）は前出の連立一次方程式（２１）を変
換係数ａ〜ｈについて解き、得られた変換係数ａ〜ｈを
式（２６）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4につ
いて整理したものであるから、この式（２７）には変換
係数ａ〜ｈは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4の各
係数β_xiとβ_yi（ｉ＝１〜４）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００６４】そこで、ブロック内の最低８個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tq′とを求め、式（２７）における係数β_xi，β_yiを計
算して方程式を立てれば、四隅の格子点における動きベ
クトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）に関する連立一次
方程式となる。このようにして得られた連立一次方程式
を解けば、バイリニア変換式（９）で規定された動きに
基づくように各格子点Ｐ１〜Ｐ４自身における動きベク
トル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）を直接に計算するこ
とができる。また、この計算により、各格子点Ｐ１〜Ｐ
４における動きベクトルは小数点精度で求まる。実際に
は、ブロックの四隅を構成する格子点は上下左右の隣接
するブロックにおける格子点と共通であるから、画面を
構成する全てのブロック、または適当に選んだ複数のブ
ロックに対してそれぞれ式（２７）を立て、最小２乗法
によりブロックを構成する各格子点における動きベクト
ルを求めることができる。

【００６５】上述した式（２７）及びその係数β_xi，β
_yiの計算により各格子点自身における動きベクトルを求
める場合は、バイリニア変換式（９）の変換係数ａ〜ｈ
が表面上直接には現われないから、ブロック間の動きの
差異に影響されず、１つの格子点につき１つの動きベク
トルを直接に求めることができる。しかし、式（２６）
を用いてブロック毎に変換係数ａ〜ｈを直接求めてか
ら、各格子点自身における動きベクトルを計算すること
も可能である。その場合には、次のように処理すれば良
い。即ち、ブロック内の最低８個の任意の点ｑについて
画素値の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tq′
を求め、各点毎に式（２６）を立てて連立１次方程式と
して解き、変換係数ａ〜ｈを求める。これらの変換係数
ａ〜ｈを式（２１）に設定することにより、変換式
（９）で規定された動きに基づくように各格子点Ｐ１〜
Ｐ４自身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，
ｖ_y4）を計算により求める。また、実際には、ブロック
の四隅を構成する格子点は上下左右の隣接するブロック
における格子点と共通であるから、画面を構成する全て
のブロック、または適当に選んだ複数のブロックに対し
てそれぞれ式（２６）を立て、同じ格子点に異なる動き
ベクトルが得られるならば例えば平均によりブロックを
構成する各格子点における動きベクトルを求める。

【００６６】＜アフィン変換を用いる場合＞次に、前出
の変換式（１０）に基づくアフィン変換の場合について
説明する。アフィン変換の場合は、変換式（１０）の変
換係数ａ〜ｆが具体的な変換を規定するので、各変換係
数ａ〜ｆはブロック内の３点における動きベクトルが与
えられれば決定することができる。そこでまず、動き補
償予測への適用を考慮し、動き検出の方向を現フレーム
画像から前フレーム画像への方向とし、更に動き補償予
測の単位を三角形のブロックとする。今、或るブロック
を構成する三隅の格子点をＰ１（ｘ１，ｙ１）、Ｐ２
（ｘ２，ｙ２）及びＰ３（ｘ３，ｙ３）とし、仮に各点
において変換式（１０）が成立しているとすると、下記
の式（２８）が得られる。

【００６７】

【数２８】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１ ｖ_y1＝ｄ＋ｅｘ１＋ｆｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２ ｖ_y2＝ｄ＋ｅｘ２＋ｆｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３ ｖ_y3＝ｄ＋ｅｘ３＋ｆｙ３ …式（２８）

【００６８】また、Ｐ１〜Ｐ３の各点における動きベク
トルが与えられれば、前式（２８）は変換変数ａ〜ｆか
らなる連立１次方程式となるから、ブロック内の全ての
点における動きを規定する変換係数ａ〜ｆは、ブロック
の三隅を構成する格子点Ｐ１〜Ｐ３における動きベクト
ル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）の線形結合で表され
る。

【００６９】一方、前述の如く現フレーム画像と前フレ
ーム画像間で動きが小さい（例えば数画素）と仮定する
と、ブロック内の任意の点ｑにおいて、画素値の時空間
勾配の拘束条件から、良く知られている前式（１２）が
成り立つ。

【００７０】更に、点ｑにおいて変換式（１０）が成り
立つと仮定すれば、変換式（１０）を式（１２）に代入
することにより、次式（２９）を得る。この式（２９）
は画素値の時空間勾配と式（１０）で規定されたアフィ
ン変換とに基づく、動きに関する方程式である。更に、
この式（２９）は最終的に、格子点における動きベクト
ル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）を変数とする下記の方
程式（３０）として表わされる。

【００７１】

【数２９】 Ｅ_tq＋ａＥ_xq＋ｄＥ_yq＋ｂＥ_xqｘ_q ＋ｅＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｆＥ_yqｙ_q ＝０ …式（２９）

【００７２】

【数３０】 γ_x1ｖ_x1＋γ_y1ｖ_y1＋γ_x2ｖ_x2＋γ_y2ｖ_y2＋γ_x3ｖ_x3＋γ_y3ｖ_y3 ＝Ｅ_tq …式（３０）

【００７３】ここで、式（３０）中の係数γ_xiとγ
_yi（ｉ＝１〜３）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（３０）は前出の連立一次方程式（２８）を変
換係数ａ〜ｆについて解き、得られた変換係数ａ〜ｆを
式（２９）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3につ
いて整理したものであるから、この式（３０）には変換
係数ａ〜ｆは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3の各
係数γ_xiとγ_yi（ｉ＝１〜３）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００７４】そこで、ブロック内の最低６個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tqとを求め、式（３０）における係数γ_xi，γ_yiを計算
して方程式を立てれば、三隅の格子点における動きベク
トル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）に関する連立一次方
程式となる。このようにして得られた連立一次方程式を
解けば、アフィン変換式（１０）で規定された動きに基
づくように各格子点Ｐ１〜Ｐ３自身における動きベクト
ル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）を直接に計算すること
ができる。また、この計算により、各格子点Ｐ１〜Ｐ３
における動きベクトルは小数点精度で求まる。実際に
は、ブロックの三隅を構成する格子点は上下左右の隣接
するブロックにおける格子点と共通であるから、画面を
構成する全てのブロック、または適当に選んだ複数のブ
ロックに対してそれぞれ式（３０）を立て、最小２乗法
によりブロックを構成する各格子点における動きベクト
ルを求めることができる。

【００７５】上述した式（３０）及びその係数γ_xi，γ
_yiの計算により各格子点自身における動きベクトルを求
める場合は、アフィン変換式（１０）の変換係数ａ〜ｆ
が表面上直接には現われないから、ブロック間の動きの
差異に影響されず、１つの格子点につき１つの動きベク
トルを直接に求めることができる。しかし、式（２９）
を用いてブロック毎に変換係数ａ〜ｆを直接求めてか
ら、各格子点自身における動きベクトルを計算すること
も可能である。その場合には、次のように処理すれば良
い。即ち、ブロック内の最低６個の任意の点ｑについて
画素値の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tqを
求め、各点毎に式（２９）を立てて連立１次方程式とし
て解き、変換係数ａ〜ｆを求める。これらの変換係数ａ
〜ｆを式（２８）に設定することにより、アフィン変換
式（１０）で規定された動きに基づくように各格子点Ｐ
１〜Ｐ３自身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2
…，ｖ_y3）を計算により求めることができる。実際に
は、ブロックの三隅を構成する格子点は上下左右の隣接
するブロックにおける格子点と共通であるから、画面を
構成する全てのブロック、または適当に選んだ複数のブ
ロックに対してそれぞれ式（２９）を立て、同じ格子点
に異なる動きベクトルが得られるならば例えば平均によ
りブロックを構成する各格子点における動きベクトルを
求める。

【００７６】上述の原理によりブロックの三隅を構成す
る格子点Ｐ１〜Ｐ３の動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2
…，ｖ_y3）が検出されたならば、重み補償予測のための
アフィン変換に必要な変換係数ａ〜ｆを計算する。即
ち、３つの格子点Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ
２）及びＰ３（ｘ３，ｙ３）において、変換式（１０）
が成り立っているので、下記の連立一次方程式（３１）
が得られる。

【００７７】

【数３１】 ｖ_x1＝ａ＋ｂｘ１＋ｃｙ１ ｖ_y1＝ｄ＋ｅｘ１＋ｆｙ１ ｖ_x2＝ａ＋ｂｘ２＋ｃｙ２ ｖ_y2＝ｄ＋ｅｘ２＋ｆｙ２ ｖ_X3＝ａ＋ｂｘ３＋ｃｙ３ ｖ_y3＝ｄ＋ｅｘ３＋ｆｙ３ …式（３１）

【００７８】この連立一次方程式を解けば、アフィン変
換に必要な変換係数ａ〜ｆをブロック単位に求めること
ができる。そこで、前フレーム画像をＰ（ｘ，ｙ）、動
き補償予測画像をＣ（ｘ，ｙ）とすれば、下記の式（３
２）によって動き補償予測画像を生成することができ
る。

【００７９】

【数３２】 Ｃ（ｘ，ｙ）＝Ｐ（ｘ＋ｖ_x ，ｙ＋ｖ_y ） ＝Ｐ（ｘ＋ａ＋ｂｘ＋ｃｙ， ｙ＋ｄ＋ｅｘ＋ｆｙ） …式（３２）

【００８０】動き補償画像Ｃ（ｘ，ｙ）を生成したなら
ば、現フレーム画像との差分画像を求め、この差分画像
を符号化する。

【００８１】前フレーム画像と現フレーム画像間で動き
が大きい場合の対策は次の通りである。

【００８２】まず、従来と同様、ブロックマッチング方
法や勾配法を適用してブロック単位に粗い動きベクトル
（ｖ_rx，ｖ_ry）を求める。そして、得られた粗い動きベ
クトル（ｖ_rx，ｖ_ry）をブロック単位に前フレーム画像
Ｐ（ｘ，ｙ）に適用して、前出の式（１７）のように粗
い予測画像Ｃ′（ｘ，ｙ）を作成する。この粗い予測画
像Ｃ′（ｘ，ｙ）は粗いとは言っても、前フレーム画像
よりも大幅に現フレーム画像に似ているから、前述の画
素値の時空間勾配の拘束条件を適用することができる。

【００８３】つまり、変換式（１０）を前出の式（１
８）に代入すれば、粗い動きベクトルを考慮した下記の
式（３３）を得る。この式（３３）は前出の式（２９）
に対応しており、Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ryの項だけ
が異なる。また、式（３３）は式（２９）と同様、最終
的には格子点の動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ
_y3）を変数とする下記の方程式（３４）として表わされ
る。

【００８４】

【数３３】 Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry＋ ａＥ_xq＋ｄＥ_yq＋ｂＥ_xqｘ_q ＋ｅＥ_yqｘ_q ＋ ｃＥ_xqｙ_q ＋ｆＥ_yqｙ_q ＝０ …式（３３）

【００８５】

【数３４】 γ_x1ｖ_x1＋γ_y1ｖ_y1＋γ_x2ｖ_x2＋γ_y2ｖ_y2＋γ_x3ｖ_x3＋γ_y3ｖ_y3 ＝Ｅ_tq′−Ｅ_xqｖ_rx−Ｅ_yqｖ_ry …式（３４）

【００８６】ここで、式（３４）中の係数γ_xiとγ
_yi（ｉ＝１〜３）は、点ｑの位置（ｘ_q，ｙ_q ）と点ｑ
での画素値の空間微分Ｅ_xq及びＥ_yqとで表現できる。つ
まり、式（３４）は前出の連立一次方程式（２８）を変
換係数ａ〜ｆについて解き、得られた変換係数ａ〜ｈを
式（３３）に代入して、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3につ
いて整理したものであるから、この式（３４）には変換
係数ａ〜ｈは現われず、ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3の各
係数γ_xiとγ_yi（ｉ＝１〜３）は式に表わさないが
ｘ_q ，ｙ_q 及びＥ_xq，Ｅ_yqで表現される。

【００８７】そこで、ブロック内の最低６個の任意の点
ｑについて、画素値の空間微分Ｅ_xq，Ｅ_yqと時間微分Ｅ
_tq′とを求め、式（３４）における係数γ_xi，γ_yiを計
算して方程式を立てれば、三隅の格子点における動きベ
クトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）に関する連立一次
方程式となる。このようにして得られた連立一次方程式
を解けば、アフィン変換式（１０）で規定された動きに
基づくように各格子点Ｐ１〜Ｐ３自身における動きベク
トル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）を直接に計算するこ
とができる。また、この計算により、各格子点Ｐ１〜Ｐ
３における動きベクトルは小数点精度で求まる。実際に
は、ブロックの三隅を構成する格子点は上下左右の隣接
するブロックにおける格子点と共通であるから、画面を
構成する全てのブロック、または適当に選んだ複数のブ
ロックに対してそれぞれ式（３４）を立て、最小２乗法
によりブロックを構成する各格子点における動きベクト
ルを求めることができる。

【００８８】上述した式（３４）及びその係数γ_xi，γ
_yiの計算により各格子点自身における動きベクトルを求
める場合は、アフィン変換式（１０）の変換係数ａ〜ｆ
が表面上直接には現われないから、ブロック間の動きの
差異に影響されず、１つの格子点につき１つの動きベク
トルを直接に求めることができる。しかし、式（３３）
を用いてブロック毎に変換係数ａ〜ｆを直接求めてか
ら、各格子点自身における動きベクトルを計算すること
も可能である。その場合には、次のように処理すれば良
い。即ち、ブロック内の最低６個の任意の点ｑについて
画素値の空間微分Ｅ_xq，Ｅ _yqと画素値の時間微分Ｅ_tq′
を求め、各点毎に式（３３）を立てて連立１次方程式と
して解き、変換係数ａ〜ｆを求める。これらの変換係数
ａ〜ｆを式（２８）に設定することにより、変換式（１
０）で規定された動きに基づくように各格子点Ｐ１〜Ｐ
３自身における動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ
_y3）を計算により求めることができる。また、実際に
は、ブロックの三隅を構成する格子点は上下左右の隣接
するブロックにおける格子点と共通であるから、画面を
構成する全てのブロック、または適当に選んだ複数のブ
ロックに対してそれぞれ式（３３）を立て、同じ格子点
に異なる動きベクトルが得られるならば例えは平均によ
りブロックを構成する各格子点における動きベクトルを
求める。

【００８９】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１には動画像の動きベクトル検出装置の第１実
施例の構成が示され、図２には動きベクトルが示され、
図３には動画像の動きベクトル検出装置の第２実施例の
構成が示され、図４には動画像の動き補償予測装置の一
実施例の構成が示され、図５には動画像の動き補償予測
フレーム間符号化装置の一実施例の構成が示されてい
る。

【００９０】＜動画像の動き補償予測フレーム間符号化
装置について＞まず、図５を参照して動画像の動き補償
予測フレーム間符号化装置を説明する。この装置は動き
ベクトル検出装置２０に、動き補償予測装置４０と、差
分画像計算装置５０と、符号化装置５１と、局部復号画
像計算装置５２とフレームメモリ５５とから構成され
る。

【００９１】詳細は後述するが、動きベクトル検出装置
２０は図１または図３に示される構成のものであり、デ
ジタル信号の形でテレビジョンカメラ等より入力された
動画像から時間的に連続する現フレーム画像１と前フレ
ーム画像２を用い、図２に示すような各ブロック３を構
成する各格子点４自身の動きベクトル５検出する。動き
補償予測装置４０は詳細は後述するが、図４に示される
構成のものであり、動きベクトル検出装置２０で検出さ
れた各格子点４自身の動きベクトル５の情報を用い、現
フレーム画像１に対応する予測画像６を前フレーム画像
２を基に作成する。差分画像計算装置５０は現フレーム
画像１とそれに対応する予測画像６間での差分画像７を
計算するものである。符号化装置５１は差分画像７をＤ
ＣＴやＶＱ等の適宜な方法により符号化し、出力データ
８とするものである。局部復号画像計算装置５２は復号
装置５３と加算装置５４から構成され、復号装置５３に
より出力データ８から差分画像９を復号し、この差分画
像９に対して加算装置５４により予測画像６を加算し、
現フレーム画像１に対応する局部復号画像１０を作成す
る。フレームメモリ５５は局部復号画像１０を蓄積し次
回の動きベクトル検出及び動き補償予測の際に、前フレ
ーム画像２として、動きベクトル検出装置２０及び動き
補償予測装置４０に出力するものである。

【００９２】＜動きベクトル検出装置の第１実施例＞次
に、図１に示される動画像の動きベクトル検出装置につ
いて説明する。この装置は空間微分計算部２１と、時間
微分計算部２２と、格子点位置蓄積部２３と、動きのモ
デル蓄積部２４と、係数設定部２５と、動きベクトル計
算部２６とから構成される。

【００９３】空間微分計算部２１は現フレーム画像１の
画素値の濃度勾配を表わす空間微分画像２１ａを計算に
より求める。時間微分計算部２２は現フレーム画像１と
前フレーム画像２間での画素値の変化を表わす時間微分
画像２２ａを計算により求める。格子点位置蓄積部２３
は図２に示されるように、動きベクトル５を検出すべき
各格子点４の位置ｘ，ｙ座標値２３ａを予め蓄積してい
る。格子点４は画像１，２を分割したブロック３を構成
する各隅の点であり、ブロック３は実線の如く四角形、
あるいは破線の如く三角形である。

【００９４】動きモデル蓄積部２４は動き補償予測に用
いるための画像上の任意位置（ｘ，ｙ）と動きベルトル
（ｖ_x ，ｖ_y ）との変換式、例えば前出の式（８）また
は式（９）または式（１０）を、動きベクトルのモデル
情報２４ａとして蓄積している。係数設定部２５は変換
式（８）または（９）または（１０）と、格子点位置の
ｘ，ｙ座標値２３ａと、時間微分画像２２ａと、空間微
分画像２１ａとに基づいて、各格子点位置４における動
きベクトル５を計算するために必要な係数を設定する
（詳細は後述する）。動きベクトル計算部２６はこれら
の係数に基づいて、各格子点位置４における動きベクト
ル５を計算する。

【００９５】次に、個々の変換式毎に、具体的に動きベ
クトルの検出を説明する。

【００９６】＜透視変換式（８）を用いる場合＞透視変
換式（８）を用いる場合は動き補償予測の単位を四角形
のブロックとし、格子点位置蓄積部２３には各ブロック
の四隅を構成する格子点のｘ，ｙ座標値を予め蓄積して
ある。係数設定部２５は画面を構成する全ての四角形ブ
ロックに対して、あるいは適宜に選んだ複数の四角形ブ
ロックに対して、各ブロック内の最低８点における画素
値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間微分Ｅ_tqを空
間微分計算部２１が計算した空間微分画像２１ａ及び時
間微分計算部２２が計算した時間微分画像２２ａから求
め、各点毎に前出の式（１４）における変数である動き
ベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）の係数（α_x1，
α_y1，α_x2…，α_y4）を各点の位置（ｘ _q ，ｙ_q ）及び
画素値の空間微分値Ｅ_xq，Ｅ_yqを用いて計算し、動きベ
クトル計算に必要なこれらの係数を設定する。式（１
３）（１４）及び係数の算出式は動きモデル蓄積部２４
に蓄積されている透視変換式（８）を前出の式（１２）
に代入すること等により得られるが、予め式（１３）
（１４）及び係数の算出式を動きベクトルのモデル情報
として蓄積しておいても良い。最低８点には格子点を含
めると良い。動きベクトル計算部２６は、係数設定部２
５がブロック毎に設定した係数（α _x1，α_y1，α_x2…，
α_y4）を用い、式（１４）の連立一次方程式を立てて最
小２乗法等により解き、格子点位置蓄積部２３に蓄積さ
れている全ての格子点位置における動きベクトルを求め
る。

【００９７】＜バイリニア変換式（９）を用いる場合＞
バイリニア変換式（９）を用いる場合も動き補償予測の
単位を四角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの四隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。係数設定部２５は画面を構成する全
ての四角形ブロックに対して、あるいは適宜に選んだ複
数の四角形ブロックに対して、各ブロック内の最低８点
における画素値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間
微分Ｅ_tqを空間微分計算部２１が計算した空間微分画像
２１ａ及び時間微分計算部２２が計算した時間微分画像
２２ａから求め、各点毎に前出の式（２３）における変
数である動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y4）の
係数（β_x1，β_y1，β_x2…，β_y4）を各点の位置
（ｘ _q ，ｙ_q ）及び画素値の空間微分値Ｅ_xq，Ｅ_yqを用
いて計算し、動きベクトル計算に必要なこれらの係数を
設定する。式（２２）（２３）及び係数の算出式は動き
モデル蓄積部２４に蓄積されているバイリニア変換式
（９）を前出の式（１２）に代入すること等により得ら
れるが、予め式（２２）（２３）及び係数算出式を動き
ベクトルのモデル情報として蓄積しておいても良い。最
低８点には格子点を含めると良い。動きベクトル計算部
２６は、係数設定部２５がブロック毎に設定した係数
（β _x1，β_y1，β_x2…，β_y4）を用い、式（２３）の連
立一次方程式を立てて最小２乗法等により解き、格子点
位置蓄積部２３に蓄積されている全ての格子点位置にお
ける動きベクトルを求める。

【００９８】＜アフィン変換式（１０）を用いる場合＞
アフィン変換式（１０）を用いる場合は動き補償予測の
単位を三角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの三隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。係数設定部２５は画面を構成する全
ての三角形ブロックに対して、あるいは適宜に選んだ複
数の三角形ブロックに対して、各ブロック内の最低６点
における画素値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間
微分Ｅ_tqを空間微分計算部２１が計算した空間微分画像
２１ａ及び時間微分計算部２２が計算した時間微分画像
２２ａから求め、各点毎に前出の式（３０）における変
数である動きベクトル（ｖ_x1，ｖ_y1，ｖ_x2…，ｖ_y3）の
係数（γ_x1，γ_y1，γ_x2…，γ_y3）を各点の位置
（ｘ _q ，ｙ_q ）及び画素値の空間微分値Ｅ_xq，Ｅ_yqを用
いて計算し、動きベクトル計算に必要なこれらの係数を
設定する。式（２９）（３０）及び係数の算出式は動き
モデル蓄積部２４に蓄積されているアフィン変換式（１
０）を前出の式（１２）に代入すること等により得られ
るが、予め式（２９）（３０）及び係数算出式を動きベ
クトルのモデル情報として蓄積しておいても良い。最低
６点には格子点を含めると良い。動きベクトル計算部２
６は、係数設定部２５がブロック毎に設定した係数（γ
_x1，γ_y1，γ_x2…，γ_y3）を用い、式（３０）の連立一
次方程式を立てて最小２乗法等により解き、格子点位置
蓄積部２３に蓄積されている全ての格子点位置における
動きベクトルを求める。

【００９９】＜動きベクトル検出装置の第２実施例＞次
に、図３に示される動画像の動きベクトル検出装置につ
いて説明する。この装置は空間微分計算部２１と、時間
微分計算部２２と、格子点位置蓄積部２３と、動きベク
トル蓄積部２４と、係数設定部２５と、動きベクトル計
算部２６に加え、粗い動きベクトル検出部３１及び粗い
予測画像生成部３２を具備している。

【０１００】格子点位置蓄積部２３は先の第１実施例と
同様、図２に示されるように、動きベクトル５を検出す
べき格子点４の位置のｘ，ｙ座標値２３ａを予め蓄積し
ている。図２の如く、格子点４は画面を分割したブロッ
ク３を構成する各隅の点であり、ブロック３は四角形、
あるいは三角形である。

【０１０１】粗い動きベクトル検出部３１は、従来と同
様ブロックマッチング方法あるいは勾配法により、粗い
動きベクトル（ｖ_rx，ｖ_ry）３１ａとしてブロック３単
位の動きベクトルを検出する。粗い予測画像生成部３２
はブロック単位の粗い動きベクトル３１ａを前フレーム
画像２に適用して、粗い予測画像（Ｃ′（ｘ，ｙ））３
２ａを生成する。

【０１０２】時間微分計算部２２は先の第１実施例とは
異なり、現フレーム画像１と粗い予測画像３２ａ間での
画素値の変化を表わす時間微分画像２２ｂを計算により
求める。

【０１０３】空間微分計算部２１は先の第１実施例と同
じであり、現フレーム画像１の画素値の濃度勾配を表わ
す空間微分画像２１ａを計算により求める。動きモデル
蓄積部２４も先の第１実施例と同じであり、動き補償予
測に用いるための画像上の任意位置（ｘ，ｙ）と動きベ
ルトル（ｖ_x ，ｖ_y ）との変換式、例えば前出の式
（８）または式（９）または式（１０）を、動きベクト
ルのモデル情報２４ａとして蓄積している。係数設定部
２５は変換式（８）または（９）または（１０）と、格
子点位置のｘ，ｙ座標値２３ａと、時間微分画像２２ｂ
と、空間微分画像２１ａとに基づいて、各格子点位置４
における動きベクトル５を計算するために必要な係数を
設定する（詳細は後述する）。動きベクトル計算部２６
はこれらの係数に基づいて、各格子点位置４における動
きベクトル５を計算する。

【０１０４】次に、個々の変換式毎に、具体的に動きベ
クトルの検出を説明する。

【０１０５】＜透視変換式（８）を用いる場合＞透視変
換式（８）を用いる場合は動き補償予測の単位を四角形
のブロックとし、格子点位置蓄積部２３には各ブロック
の四隅を構成する格子点のｘ，ｙ座標値を予め蓄積して
ある。係数設定部２５は画面を構成する全ての四角形ブ
ロックに対して、あるいは適宜に選んだ複数の四角形ブ
ロックに対して、各ブロック内の最低８点における画素
値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間微分Ｅ_tq′を
空間微分計算部２１が計算した空間微分画像２１ａ及び
時間微分計算部２２が計算した時間微分画像２２ｂから
求め、各点毎に前出の式（２０）における変数である動
きベクトル（ｖ _x1，ｖ_y1，ｖ_x2…，ｖ_y4）の係数
（α_x1，α_y1，α_x2…，α_y4）を各点の位置（ｘ_q ，ｙ
_q ）及び画素値の空間微分値Ｅ_xq，Ｅ_yqを用いて計算
し、動きベクトル計算に必要なこれらの係数を設定す
る。式（１９）（２０）及び係数算出式は動きモデル蓄
積部２４に蓄積されている透視変換式（８）を前出の式
（１８）に代入すること等により得られるが、予め式
（１９）（２０）及び係数算出式を動きベクトルのモデ
ル情報として蓄積しておいても良い。最低点８点には格
子点を含めると良い。動きベクトル計算部２６は、係数
設定部２５がブロック毎に設定した係数（α _x1，α_y1，
α_x2…，α_y4）を用い、式（２０）の連立一次方程式を
立てて最小２乗法等により解き、格子点位置蓄積部２３
に蓄積されている全ての格子点位置における動きベクト
ルを求める。

【０１０６】＜バイリニア変換式（９）を用いる場合＞
バイリニア変換式（９）を用いる場合も動き補償予測の
単位を四角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの四隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。係数設定部２５は画面を構成する全
ての四角形ブロックに対して、あるいは適宜に選んだ複
数の四角形ブロックに対して、各ブロック内の最低８点
における画素値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間
微分Ｅ_tq′を空間微分計算部２１が計算した空間微分画
像２１ａ及び時間微分計算部２２が計算した時間微分画
像２２ｂから求め、各点毎に前出の式（２７）における
変数である動きベクトル（ｖ _x1，ｖ_y1，ｖ_x2…，ｖ_y4）
の係数（β_x1，β_y1，β_x2…，β_y4）を各点の位置（ｘ
_q ，ｙ_q ）及び画素値の空間微分値Ｅ_xq，Ｅ_yqを用いて
計算し、動きベクトル計算に必要なこれらの係数を設定
する。式（２６）（２７）及び係数の算出式は動きモデ
ル蓄積部２４に蓄積されているバイリニア変換式（９）
を前出の式（１８）に代入すること等により得られる
が、予め式（２６）（２７）及び係数の算出式を動きベ
クトルのモデル情報として蓄積しておいても良い。最低
８点には格子点を含めると良い。動きベクトル計算部２
６は、係数設定部２５がブロック毎に設定した係数（β
_x1，β_y1，β_x2…，β_y4）を用い、式（２７）の連立一
次方程式を立てて最小２乗法等により解き、格子点位置
蓄積部２３に蓄積されている全ての格子点位置における
動きベクトルを求める。

【０１０７】＜アフィン変換式（１０）を用いる場合＞
アフィン変換式（１０）を用いる場合は動き補償予測の
単位を三角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの三隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。係数設定部２５は画面を構成する全
ての三角形ブロックに対して、あるいは適宜に選んだ複
数の三角形ブロックに対して、各ブロック内の最低６点
における画素値の空間微分Ｅ_xq，Ｅ_yq及び画素値の時間
微分Ｅ_tq′を空間微分計算部２１が計算した空間微分画
像２１ａ及び時間微分計算部２２が計算した時間微分画
像２２ｂから求め、各点毎に前出の式（３４）における
変数である動きベクトル（ｖ _x1，ｖ_y1，ｖ_x2…，ｖ_y3）
の係数（γ_x1，γ_y1，γ_x2…，γ_y3）を各点の位置（ｘ
_q ，ｙ_q ）及び画素値の空間微分値Ｅ_xq，Ｅ_yqを用いて
計算し、動きベクトル計算に必要なこれらの係数を設定
する。式（３３）（３４）及び係数の算出式は動きモデ
ル蓄積部２４に蓄積されているアフィン変換式（１０）
を前出の式（１８）に代入すること等により得られる
が、予め式（３３）（３４）及び係数算出式を動きベク
トルのモデル情報として蓄積しておいても良い。最低６
点には格子点を含めると良い。動きベクトル計算部２６
は、係数設定部２５がブロック毎に設定した係数
（γ _x1，γ_y1，γ_x2…，γ_y3）を用い、式（３４）の連
立一次方程式を立てて最小２乗法等により解き、格子点
位置蓄積部２３に蓄積されている全ての格子点位置にお
ける動きベクトルを求める。

【０１０８】＜動画像の動き補償予測装置の実施例＞次
に、図４に示される動画像の動き補償予測装置について
説明する。この装置は変換係数計算部４１と、予測画像
生成部４２と、格子点位置蓄積部２３と、動きモデル蓄
積部２４とから構成される。これらのうち、格子点位置
蓄積部２３と動きモデル蓄積部２４は、図１または図３
に示された動画像の動きベクトル検出装置を構成する同
じ符号を付したものと共用しているが、それぞれ別であ
ってもよい。

【０１０９】格子点位置蓄積部２３は図２に示されるよ
うに、動きベクトル５を検出すべき各格子点４の位置
ｘ，ｙ座標値２３ａを予め蓄積している。格子点４は画
像１，２を分割したブロック３を構成する各隅の点であ
り、ブロック３は実線の如く四角形、あるいは破線の如
く三角形である。動きモデル蓄積部２４は動き補償予測
に用いるための画像上の任意位置（ｘ，ｙ）と動きベル
トル（ｖ_x ，ｖ_y ）との変換式、例えば前出の式（８）
または式（９）または式（１０）を、動きベクトルのモ
デル情報２４ａとして蓄積している。

【０１１０】変換係数計算部４１は図１または図３に示
された動画像の動きベクトル検出装置の動きベクトル計
算部２６により得られた各格子点４における動きベクト
ル５と、格子点位置蓄積部２３に蓄積されている各格子
点４の位置のｘ，ｙ座標値２３ａと、動きモデル蓄積部
２４にモデル情報２４ａとして蓄積されている前出の変
換式（８）または式（９）または式（１０）とに基づい
て、各ブロック毎に、予測画像の生成に必要なこれら変
換式の変換係数ａ〜ｈまたはａ〜ｆを計算する。

【０１１１】予測画像生成部４２は変換係数計算部４１
により得られた変換係数ａ〜ｈまたはａ〜ｆと、これに
対応する変換式（８）または式（９）または式（１０）
とに基づいて、現フレーム画像１に対応する動き補償予
測画像６を生成する。

【０１１２】次に、個々の変換式毎に、具体的に動き補
償予測について説明する。

【０１１３】＜透視変換式（８）を用いる場合＞透視変
換式（８）を用いる場合は動き補償予測の単位を四角形
のブロックとし、格子点位置蓄積部２３には各ブロック
の四隅を構成する格子点のｘ，ｙ座標値を予め蓄積して
ある。変換係数計算部４１は画面を構成する全ての四角
形ブロックに対し、既に検出されたブロックの四隅の格
子点における動きベクトルを用いて前出の連立一次方程
式（１５）を立て、これを解くことにより、ブロック単
位に変換係数ａ〜ｈを求める。予測画像生成部４１は、
前出の式（１６）にブロック単位に変換係数ａ〜ｈを代
入することにより、ブロック単位に動き補償予測を行っ
て全体の動き補償予測画像６を生成する。

【０１１４】＜バイリニア変換式（９）を用いる場合＞
バイリニア変換式（９）を用いる場合も動き補償予測の
単位を四角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの四隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。変換係数計算部４１は画面を構成す
る全ての四角形ブロックに対し、既に検出されたブロッ
クの四隅の格子点における動きベクトルを用いて前出の
連立一次方程式（２４）を立て、これを解くことによ
り、ブロック単位に変換係数ａ〜ｈを求める。予測画像
生成部４１は、前出の式（２５）にブロック単位に変換
係数ａ〜ｈを代入することにより、ブロック単位に動き
補償予測を行って全体の動き補償予測画像６を生成す
る。

【０１１５】＜アフィン変換式（１０）を用いる場合＞
アフィン変換式（１０）を用いる場合も動き補償予測の
単位を三角形のブロックとし、格子点位置蓄積部２３に
は各ブロックの三隅を構成する格子点のｘ，ｙ座標値を
予め蓄積してある。変換係数計算部４１は画面を構成す
る全ての三角形ブロックに対し、既に検出されたブロッ
クの三隅の格子点における動きベクトルを用いて前出の
連立一次方程式（３１）を立て、これを解くことによ
り、ブロック単位に変換係数ａ〜ｈを求める。予測画像
生成部４１は、前出の式（３２）にブロック単位に変換
係数ａ〜ｈを代入することにより、ブロック単位に動き
補償予測を行って全体の動き補償予測画像６を生成す
る。

【０１１６】上記実施例では、前フレーム画像２とし
て、局部復号画像１０を利用したが、テレビカメラ等か
ら入力された原画像自体を用いることも可能である。ま
た、動きモデル情報２４ａとしては変換式（８）または
式（９）または式（１０）を用いたが、他の変換式を用
いることも可能であり、その変換式の変換係数の個数２
ｎに応じてｎ角形のブロックを動き補償予測の単位と
し、各ブロックのｎ個の隅の格子点における動きベクト
ルを計算により検出すれば良い。

【０１１７】

【発明の効果】第１、第３、第６の発明、並びに、これ
らを引用する第５、第８、第９の発明によれば、動き補
償予測に用いられる画面上の位置と動きベクトルとの変
換式を利用し、且つ、時間微分画像と空間微分画像とを
用いて時空間勾配の拘束条件により、各格子点における
動きベクトルを連立方程式に基づいて計算するので、従
来のブロックマッチング方法に比べて、動きベクトルが
格子点自体の動き量を良く表わすことになり、また、小
数点精度で動きベクトルを検出することができる。

【０１１８】第２、第４、第７の発明、並びに、これら
を引用する第５、第８、第９の発明では、動き補償予測
に用いられる画面上の位置と動きベクトルとの変換式を
利用し、且つ、時間微分画像と空間微分画像とを用いて
時空間勾配の拘束条件により、各格子点における動きベ
クトルを連立方程式に基づいて計算する場合に、予めブ
ロック単位の粗い動きベクトルを求め、これにより予め
粗い予測画像を生成し、この粗い予測画像を前フレーム
画像の代わりに用いて時間微分画像を計算するので、前
フレーム画像と現フレーム画像間で動きが大きい場合で
も時空間勾配の拘束条件を利用することができることに
なり、格子点自体の動きベクトルを良く検出することが
できる。

【０１１９】第１０の発明では、変換式としてアフィン
変換あるいはバイリニア変換あるいは透視変換を利用す
るが、いずれの場合も、前述のように従来のブロックマ
ッチング方法に比べて、動きベクトルが格子点自体の動
き量を良く表わすことになり、また、小数点精度で動き
ベクトルを検出することができる。特に、透視変換を利
用する場合は、アフィン変換あるいはバイリニア変換を
利用する場合に比べて、複雑な動きがある場合にも格子
点自体の動きベクトルを正しく検出することができる。

【０１２０】第１１の発明では前フレーム画像として局
部復号画像を用いるので、動き補償予測フレーム間符号
化後のデータを受信する側と同じ条件で動きベクトルを
検出することになり、符号化及び復号の各段階で生じる
画質劣化を少しでも吸収することができる。

【０１２１】第１２の発明では、各格子点自体の精度の
良い動きベクトルを用いて変換式の変換係数を計算する
ので、動き補償予測の精度が向上する。

【０１２２】第１３の発明では、精度の高い動き補償予
測画像を用いて符号化を行うので、符号化のビットレー
トが低くなる。

【図面の簡単な説明】

【図１】動画像の動きベクトル検出装置の第１実施例の
構成を示す図。

【図２】動きベクトルを格子点、ブロックと共に示す
図。

【図３】動画像の動きベクトル検出装置の第２実施例の
構成を示す図。

【図４】動画像の動き補償予測装置の一実施例の構成を
示す図。

【図５】動画像の動き補償予測フレーム間符号化装置の
一実施例の構成を示す図。

【図６】動画像の動き補償予測の第１従来例に関する動
きベクトル検出を示す図。

【図７】動画像の動き補償予測の第２従来例に関する動
きベクトル検出を示す図。

【符号の説明】

１ 現フレーム画像 ２ 前フレーム画像 ３ ブロック ４ 格子点 ５ 動きベクトル ６ 予測画像 ７，９ 差分画像 ８ 出力データ １０ 局部復号画像 ２０ 動きベクトル検出装置 ２１ 空間微分計算部 ２１ａ 空間微分画像 ２２ 時間微分計算部 ２２ａ，２２ｂ 時間微分画像 ２３ 格子点位置蓄積部 ２３ａ 格子点位置のｘ，ｙ座標値 ２４ 動きモデル蓄積部 ２４ａ 動きベクトルのモデル情報 ２５ 係数設定部 ２６ 動きベクトル計算部 ３１ 粗い動きベクトル検出部 ３１ａ 粗い動きベクトル ３２ 粗い予測画像生成部 ３２ａ 粗い予測画像 ４０ 動画像の動き補償予測装置 ４１ 変換係数計算部 ４２ 予測画像生成部 ５０ 差分画像計算装置 ５１ 符号化装置 ５２ 局部復号画像計算装置 ５３ 復号装置 ５４ 加算装置 ５５ フレームメモリ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−334992（ＪＰ，Ａ) 特開 平７−67111（ＪＰ，Ａ) 特開 平７−95592（ＪＰ，Ａ) 特開 平７−99660（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (13)

(57)【特許請求の範囲】
1. 【請求項１】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前フレーム画像間での画素値の時間微
   分画像を計算する時間微分計算手段と； 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手段と；ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、 動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と；前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、Ｅ _tq を前記ｎ／２個の格子点を境界上に持
   つブロック上の任意点ｑにおいて前記時間微分画像より
   得られる時間微分値、Ｅ _xq とＥ _yq を前記任意点ｑにおい
   て前記空間微分画像より得られる空間微分値、Ｄ _x 及び
   Ｄ _y を前記任意点ｑの位置（ｘｑ、ｙｑ）及び空間微分
   値Ｅ _xq 、Ｅ _yq 並びに前記ｎ／２個の格子点の位置
   （ｘ _i 、ｙ _i ）を含む係数とするとき、前記変換式に基
   づく前記ｎ／２個の格子点位置（ｘ _i 、ｙ _i ）及びこれ
   ら各格子点位置での動きベクトル（ｖ _xi 、ｖ _yi ）（但
   し、ｉ＝１〜ｎ／２）の関係と、時空間勾配の拘束条件
   とから与えられる式Σ（Ｄ _xi ｖ _xi ＋Ｄ _yi ｖ _yi ）＝Ｅ
   _tq （但し、ｉ＝１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）
   の任意点について連立させ、得られる連立方程式から前
   式中の係数Ｄ _xi 、Ｄ _yi を計算し、 設定する係数設定手段
   と； この係数設定手段から得られる前記係数Ｄ _xi 、Ｄ _yi に基
   づいて、前記連立方程式から前記格子点位置における動
   きベクトルを計算する動きベクトル計算手段と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
2. 【請求項２】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手段と； この格子点位置情報と、現フレーム画像と、前フレーム
   画像とに基づいて、画像間におけるブロック単位の粗い
   動きベクトルを検出する粗いベクトル検出手段と； この粗い動きベクトルと、前記格子点位置情報と、前フ
   レーム画像とに基づいて、前フレーム画像に対応する粗
   い予測画像を生成する粗い予測画像生成手段と； 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前記粗い予測画像間での画素値の時間
   微分画像を計算する時間微分計算手段と；ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、 動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と；前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、ｖ _rx 、ｖ _ry を前記ｎ／２個の格子点を境界
   上に持つブロックの粗い動きベクトル、Ｅ _tq を前記ｎ／
   ２個の格子点を境界上に持つブロック上の任意点ｑにお
   いて前記時間微分画像より得られる時間微分値、Ｅ _xq と
   Ｅ _yq を前記任意点ｑにおいて前記空間微分画像より得ら
   れる空間微分値、Ｄ _x 及びＤ _y を前記任意点ｑの位置
   （ｘｑ、ｙｑ）及び空間微分値Ｅ _xq 、Ｅ _yq 並びに前記ｎ
   ／２個の格子点の位置（ｘ _i 、ｙ _i ）を含む係数とする
   とき、前記変換式に基づく前記ｎ／２個の格子点位置
   （ｘ _i 、ｙ _i ）及びこれら各格子点位置での動きベクト
   ル（ｖ _xi 、ｖ _yi ）（但し、ｉ＝１〜ｎ／２）の関係と、
   時空間勾配の拘束条件とから与えられる式Σ（Ｄ _xi ｖ _xi
   ＋Ｄ _yi ｖ _yi ）＝Ｅ _tq ^' −Ｅ _xq ｖ _rx −Ｅ _yq ｖ _ry （但し、ｉ
   ＝１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）の任意点につ
   いて連立させ、得られる連立方程式から前式中の係数Ｄ
   _xi 、Ｄ _yi を計算し、 設定する係数設定手段と； この係数設定手段から得られる前記係数Ｄ _xi 、Ｄ _yi に基
   づいて、前記連立方程式から前記格子点位置における動
   きベクトルを計算する動きベクトル計算手段と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
3. 【請求項３】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前フレーム画像間での画素値の時間微
   分画像を計算する時間微分計算手段と； 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と； 前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、Ｅ _tq を前記ｎ／２個の格子点を境界上に持
   つブロック上の任意点ｑにおいて前記時間微分画像より
   得られる時間微分値、Ｅ _xq とＥ _yq を前記任意点ｑにおい
   て前記空間微分画像より得られる空間微分値、Ｄ _x 及び
   Ｄ _y を前記任意点ｑの位置（ｘｑ、ｙｑ）及び空間微分
   値Ｅ _xq 、Ｅ _yq 並びに前記ｎ／２個の格子点の位置
   （ｘ _i 、ｙ _i ）を含む係数とするとき、前記変換式に基
   づく前記ｎ／２個の格子点位置（ｘ _i 、ｙ _i ）及びこれ
   ら各格子点位置での動きベクトル（ｖ _xi 、ｖ _yi ）（但
   し、ｉ＝１〜ｎ／２）の関係と、時空間勾配の拘束条件
   とから与えられる式Σ（Ｄ _xi ｖ _xi ＋Ｄ _yi ｖ _yi ）＝Ｅ
   _tq （但し、ｉ＝１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）
   の任意点について連立させ、得られる連立方程式から前
   記格子点位置における動きベクトルを計算する動きベク
   トル計算手段と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
4. 【請求項４】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像 と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手段と； この格子点位置情報と、現フレーム画像と、前フレーム
   画像とに基づいて、画像間におけるブロック単位の粗い
   動きベクトルを検出する粗いベクトル検出手段と； この粗い動きベクトルと、前記格子点位置情報と、前フ
   レーム画像とに基づいて、前フレーム画像に対応する粗
   い予測画像を生成する粗い予測画像生成手段と； 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前記粗い予測画像間での画素値の時間
   微分画像を計算する時間微分計算手段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と； 前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、ｖ _rx 、ｖ _ry を前記ｎ／２個の格子点を境界
   上に持つブロックの粗い動きベクトル、Ｅ _tq を前記ｎ／
   ２個の格子点を境界上に持つブロック上の任意点ｑにお
   いて前記時間微分画像より得られる時間微分値、Ｅ _xq と
   Ｅ _yq を前記任意点ｑにおいて前記空間微分画像より得ら
   れる空間微分値、Ｄ _x 及びＤ _y を前記任意点ｑの位置
   （ｘｑ、ｙｑ）及び空間微分値Ｅ _xq 、Ｅ _yq 並びに前記ｎ
   ／２個の格子点の位置（ｘ _i 、ｙ _i ）を含む係数とする
   とき、前記変換式に基づく前記ｎ／２個の格子点位置
   （ｘ _i 、ｙ _i ）及びこれら各格子点位置での動きベクト
   ル（ｖ _xi 、ｖ _yi ）（但し、ｉ＝１〜ｎ／２）の関係と、
   時空間勾配の拘束条件とから与えられる式Σ（Ｄ _xi ｖ _xi
   ＋Ｄ _yi ｖ _yi ）＝Ｅ _tq ^' −Ｅ _xq ｖ _rx −Ｅ _yq ｖ _ry （但し、ｉ
   ＝１〜ｎ／２）を、ｊ個（但し、ｊ≧ｎ）の任意点につ
   いて連立させ、得られる連立方程式から前記格子点位置
   における動きベクトルを計算する動きベクトル計算手段
   と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
5. 【請求項５】 請求項１ないし４いずれか一つに記載の
   動画像の動きベクトル検出装置において、前記動きベク
   トル計算手段は隣接するブロックと共通する格子点での
   動きベクトルを最小２乗法により求めることを特徴とす
   る動画像の動きベクトル検出装置。
6. 【請求項６】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前フレーム画像間での画素値の時間微
   分画像を計算する時間微分計算手段と； 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と； 前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、ｘｑとｙｑを前記ｎ／２個の格子点を境界
   上に持つブロック上の任意点ｑの位置、Ｅ _tq を前記任意
   点ｑにおいて前記時間微分画像より得られる時間微分
   値、Ｅ _xq とＥ _yq を前記任意点ｑにおいて前記空間微分画
   像より得られる空間微分値とするとき、時空間勾配の拘
   束条件から与えられるｘｑ、ｙｑ、Ｅ _tq 、Ｅ _xq 、Ｅ _yq 及
   び前記変換係数Ｃ _k を含む式を、ｊ個（但し、ｊ≧ｎ）
   の任意点について連立させ、得られる連立方程式から前
   記変換係数Ｃ _k を計算し、この変換係数Ｃ _k に基づい
   て、前記変換式から前記格子点位置における動きベクト
   ルを計算する動きベクトル計算手段と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
7. 【請求項７】 テレビカメラ等より入力された動画像か
   ら、現フレーム画像と前フレーム画像間での見かけ上の
   動きベクトルを検出する装置において： 動きベクトルが検出されるべき格子点の位置情報を蓄積
   する格子点位置蓄積手 段と； この格子点位置情報と、現フレーム画像と、前フレーム
   画像とに基づいて、画像間におけるブロック単位の粗い
   動きベクトルを検出する粗いベクトル検出手段と； この粗い動きベクトルと、前記格子点位置情報と、前フ
   レーム画像とに基づいて、前フレーム画像に対応する粗
   い予測画像を生成する粗い予測画像生成手段と； 現フレーム画像中の画素値の空間微分画像を計算する空
   間微分計算手段と； 現フレーム画像と前記粗い予測画像
   間での画素値の時間微分画像を計算する時間微分計算手
   段と； ｎ個（但し、ｎ＝６または８）の変換係数Ｃ _k （但し、
   ｋ＝１〜ｎ）を有し、動き補償予測のための画面上の位
   置（ｘ，ｙ）とｘ方向の動きベクトルｖ _x との関係、並
   びに、同位置（ｘ，ｙ）とｙ方向の動きベクトルｖ _y と
   の関係を表す変換式を、動きベクトルのモデル情報とし
   て蓄積する動きモデル蓄積手段と； 前記格子点位置蓄積手段に蓄積された隣接するｎ／２個
   の格子点Ｐ _i の位置（ｘ _i 、ｙ _i ）（但し、ｉ＝１〜ｎ
   ／２）毎に、ｖ _rx とｖ _ry を前記ｎ／２個の格子点を境界
   上に持つブロックの粗い動きベクトル、ｘｑとｙｑを前
   記ｎ／２個の格子点を境界上に持つブロック上の任意点
   ｑの位置、Ｅ _tq ' を前記任意点ｑにおいて前記時間微分
   画像より得られる時間微分値、Ｅ _xq とＥ _yq を前記任意点
   ｑにおいて前記空間微分画像より得られる空間微分値と
   するとき、時空間勾配の拘束条件から与えられる、
   ｖ _rx 、ｖ _ry 、ｘｑ、ｙｑ、Ｅ _tq ' 、Ｅ _xq 、Ｅ _yq 及び前記
   変換係数Ｃ _k を含む式を、ｊ個（但し、ｊ≧ｎ）の任意
   点について連立させ、得られる連立方程式から前記変換
   係数Ｃ _k を計算し、この変換係数Ｃ _k に基づいて、前記
   変換式から前記格子点位置における動きベクトルを計算
   する動きベクトル計算手段と； を具備することを特徴とする動画像の動きベクトル検出
   装置。
8. 【請求項８】 請求項６または７に記載の動画像の動き
   ベクトル検出装置において、前記動きベクトル計算手段
   は隣接するブロックと共通する格子点での動きベクトル
   を平均により求めることを特徴とする動画像の動きベク
   トル検出装置 。
9. 【請求項９】 請求項１ないし８いずれか一つに記載の
   動画像の動きベクトル検出装置において、前記ｊ個の任
   意点として少なく１つの格子点を含むことを特徴とする
   動画像の動きベクトル検出装置。
10. 【請求項１０】 請求項１ないし９いずれか一つに記載
    の動画像の動きベクトル検出装置において、画面上の位
    置（ｘ，ｙ）と動きベクトル（ｖ_x ，ｖ_y ）との変換式
    が下記の式（１）、式（２）及び式（３）のうちいずれ
    か１つであることを特徴とする動画像の動きベクトル検
    出装置。 【数１】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ＋ｄｘ² ＋ｅｘｙ ｖ_y ＝ｆ＋ｇｘ＋ｈｙ＋ｅｙ² ＋ｄｘｙ …式（１） 【数２】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ＋ｅｘｙ ｖ_y ＝ｅ＋ｆｘ＋ｇｙ＋ｈｘｙ …式（２） 【数３】 ｖ_x ＝ａ＋ｂｘ＋ｃｙ ｖ_y ＝ｄ＋ｅｘ＋ｆｙ …式（３）
11. 【請求項１１】 請求項１ないし１０いづれか一つに記
    載の動画像の動きベクトル検出装置において、前フレー
    ム画像が、当該前フレーム画像の動き補償予測フレーム
    間符号化後に局部復号された画像であることを特徴とす
    る動画像の動きベクトル検出装置。
12. 【請求項１２】 テレビカメラ等より入力された動画像
    から、動きベクトルを用いて現フレームに対応する動き
    補償予測画像を得る装置において： 請求項１ないし１１いずれか一つに記載の動画像の動き
    ベクトル検出装置の格子点位置蓄積手段、動きモデル蓄
    積手段及び動きベクトル計算手段からそれぞれ得られる
    格子点位置情報、変換式及び動きベクトル情報に基づい
    て、予測画像の生成に必要な同変換式の変換係数を計算
    する変換係数計算手段と； この変換係数計算手段から得られる前記変換係数と、前
    記変換式とに基づいて、現フレーム画像に対応する動き
    補償予測画像を生成すると予測画像生成手段と； を具備することを特徴とする動画像の動き補償予測装
    置。
13. 【請求項１３】 テレビカメラ等より入力される動画像
    に対し動き補償予測フレーム間符号化を行う装置におい
    て： 請求項１ないし１１いずれか一つに記載の動画像の動き
    ベクトル検出装置と； 請求項１２記載の動画像の動き補償予測装置と； 現フレーム画像と前記動画像の動き補償予測装置で得ら
    れた動き補償予測画像間で差分画像を計算する差分画像
    計算手段と； この差分画像を符号化する符号化手段と； 符号化された差分画像を復号する復号手段と； 復号された差分画像と、前記動き補償予測画像とに基づ
    いて、現フレーム画像に対応する局部復号画像を計算す
    る局部復号画像計算手段と； この局部復号画像を前フレーム画像として記憶する記憶
    手段と； を具備することを特徴とする動画像の動き補償予測フレ
    ーム間符号化装置。