JPH07131783A

JPH07131783A - 動きベクトル検出装置および画像符号化装置

Info

Publication number: JPH07131783A
Application number: JP27083693A
Authority: JP
Inventors: Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-10-28
Filing date: 1993-10-28
Publication date: 1995-05-19
Anticipated expiration: 2018-03-10
Also published as: JP3385077B2; US6040864A

Abstract

(57)【要約】【目的】ブロックの大きさを小さくしても滑らかな動
きベクトルが得られ、動き補償画像にブロック歪を生じ
ることがなく、動きベクトル符号化量を低く抑えること
ができ、リンギングの少ないサブバンド符号化が可能な
動きベクトル検出装置および画像符号化装置を提供する
こと。【構成】動きベクトル補正回路３１３により、動きベ
クトルを変数とする２次誤差関数と隣接ブロックにおけ
る動きベクトル変化量の和を最小とする動きベクトルを
求め、これを動きベクトル補間回路３１４が線形補間に
より画素単位の動きベクトルを求め、動き補償画像を生
成し、現フレームとこの動き補償画像との差分画像を画
像変換回路３０４がサブバンド分割を行い、差分信号エ
ネルギーの大きな領域の情報のみを符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の符号化、ノイズ
低減に使用する動きベクトル検出装置と画像を少ない符
号化量で伝送蓄積する画像符号化装置に関するものであ
る。

【０００２】

【従来の技術】従来の動きベクトル検出の手法は、例え
ば吹抜敬彦：「画像のデジタル信号処理」、第１０章、
日刊工業新聞社刊行（１９８５）に述べられている。こ
の中で、「連続する画像間の差を最小にする方法」は、
（数１）を最小化する偏位（ａ、ｂ）として動きベクト
ルが求まる。ここでｇ_t（ｘ、ｙ）はフレームｔにおけ
る画面位置（ｘ、ｙ）における輝度、Ｒは画面上のブロ
ック領域を表す。

【０００３】

【数１】

【０００４】この原理を図９に示す。動きベクトルは時
刻ｔ−１のフレームの画像の中で、ブロックＲと最も相
関の強いブロックＲ’への偏位（ａ、ｂ）として求ま
る。式１では、相関の評価に絶対値の和が求められてい
るが２乗誤差の和も用いられる。このような、「連続す
る画像間の差を最小にする方法」をブロック相関法とよ
ぶことにする。

【０００５】ここでブロックは、必ずしも矩形である必
要はない。ブロック相関法による動きベクトル検出に
は、以下の課題がある。（Ａ１）ブロック領域を小さくすると、雑音成分の擾乱
により検出された動きベクトルの信頼性が低くなる。逆
に領域を大きくすると検出精度は高くなるが動きベクト
ル検出の粒度が粗くなる。（Ａ２）ブロックで規定される領域の中に方向の違う輝
度変化成分が無いと異なるフレーム上の領域の対応が定
まらない。

【０００６】以上の課題を解決すべく、ブロック相関法
の改良がいくつかなされている。例えば、上記（Ａ１）
の課題に対する従来技術として、例えば特開昭６２−２
３０１８０記載の動きベクトル検出方式（従来例１）が
ある。これは、フレーム間領域対応の基本単位となるブ
ロックを画像を等分割して作るのではなく、お互いのブ
ロックが重なるように広く設定する方式である。この方
式によれば、動きベクトル検出の間隔を小さくしても、
相関を計算するブロックが動きベクトル検出の間隔より
も大きいので、動きベクトル検出の間隔で等分割したブ
ロック相関よりも安定に動きベクトル推定が行なえる。

【０００７】又、上記（Ａ２）の課題に対する従来技術
として、例えば特開昭６２−１０５５８７記載の動きベ
クトル検出装置がある（従来例２）。この装置では、ブ
ロック内輝度値の分散を求めることにより、相関を計算
するブロックが動きベクトル検出に有効であるか否かを
評価する。ブロック内の輝度の分散が小さければ、異な
るフレーム上の領域の対応が定まらない無効ブロックと
して、信頼性の低い動きベクトルの利用を避けることが
できる。以上、動きベクトル検出方式または装置の２つ
の従来例を紹介した。

【０００８】次に画像符号化装置の従来技術を紹介す
る。例えば、ＣＣＩＴＴ勧告Ｈ．２６１に記載されてい
る画像符号化装置（従来例３）がある。この符号化装置
のフレーム間符号化モードでは、現在のフレーム画像を
符号化する際に、ブロック相関法により前フレームの画
像から現フレームの予測画像を動き補償画像として作
り、この動き補償画像と現フレーム画像との差分画像を
符号化している。この符号化装置では、動き補償画像
が、前フレームと誤差なく一致している時、送る情報量
が、動きベクトルだけで済み、少ない符号化量で画像を
伝送することができる。

【０００９】ところでＨ．２６１は、小さくとも縦横１
４４×１８０画素程度の大きさの画像を毎秒６４キロビ
ット以上の符号化量で伝送することを目的に勧告された
画像符号化装置の仕様である。同程度の画像の大きさで
符号化速度を毎秒２０キロビット程度で符号化（以後、
超低ビットレート符号化とよぶ）しようとすると、以下
の課題が生じてくる。（Ｂ１）動き補償画像は、検出された動きベクトルで定
まるブロック単位の並行移動を用いて生成される。この
ために、一般的に、動き補償画像はブロック境界で不連
続となる。伝送可能な符号化量が十分であれば、このブ
ロック境界は動き補償画像と現フレーム画像との差分情
報として伝送されることにより、知覚されない。しか
し、限られた符号化量では、視覚妨害として知覚され
る。（Ｂ２）Ｈ．２６１に基づく画像符号化装置では、画像
をブロック毎に離散コサイン変換し、周波数の高域成分
を粗く量子化することにより、高能率符号化が行われ
る。しかし、限られた符号化量では、ブロック毎の直流
成分の量子化誤差が、ブロック境界として知覚され視覚
妨害となる。

【００１０】上記（Ｂ１）の課題に対する従来技術とし
て、例えば川島正久ほか：”動画像の極低ビットレート
符号化”、電子情報通信学会技術報告ＩＥ９２−１１７
（１９９３年２月）に開示されている画像符号化方式
（従来例４）がある。これは、伝送された動きベクトル
を内挿補間して各画素の動き量を求めて、動き補償画像
を生成する方式である。これによれば、少ない動きベク
トルで滑らかな動き補償画像を作ることができる。

【００１１】上記（Ｂ２）の課題に対する従来技術とし
て、例えば特開昭６２−２３０１８０記載のサブバンド
符号化方式がある（従来例５）。サブバンド符号化方式
では、画像をフィルタ走査により異なる周波数帯域に分
割する。前記した従来例では、サブバンド化された画像
すなわち、異なる周波数帯域で構成される画像を同一空
間位置にあるサンプル点を低域から高域にかけて走査す
ることにより、画像を高能率に符号化することができ
る。このサブバンド符号化方式では、画像の周波数成分
が離散コサイン変換とは違いブロックに閉じないことか
ら、低域周波数成分の量子化誤差が、ブロック境界とし
て知覚されるような視覚妨害を生じない。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術を用いても以下の課題が存在する。（Ｃ１）従来例１および、従来例２では、隣接するブロ
ックの相関を利用して動きベクトルを求めていない。従
来例１では、隣接するブロックと大きく異なった動きベ
クトルを検出する可能性がある。また従来例２では、無
効となったブロックの動きベクトルを求めようとする
と、隣接ブロックで得られた動きベクトルの補間により
求めるより他に方法がない。（Ｃ２）超低ビットレート符号化では、差分画像の符号
化量だけでなく動きベクトルの符号化量も少なくする必
要が生じてくる。前述の従来例３としたＨ．２６１に基
づく画像符号化装置では、隣接する動きベクトルとの差
分をハフマン符号化することにより、符号化量を低く抑
えている。しかし、符号化に利用する動きベクトル間の
相関は１次元１方向だけであり、超低ビットレート符号
化では、より効率のよい動きベクトル符号化が望まれ
る。（Ｃ３）従来例４では、まず始めにブロック相関法によ
り、動きベクトルを求め、さらに輝度勾配により画素単
位の動きベクトル求めたのち、フレーム間差分電力が最
小になるように代表動きベクトルを修正して求めてい
る。この従来例では、少ない代表動きベクトルを補間し
画素単位の動きベクトルを求めることができるが、開示
されている手法は複雑である。（Ｃ４）従来例５による符号化方式を採用しても、サブ
バンド分割を用いて超低ビットレート符号化を行うとす
ると、サブバンド分割された画像を粗く量子化する必要
がある。これを復号すると、粗く量子化された各周波数
成分を合成する結果として、リンギングが視覚妨害とし
て知覚される。

【００１３】本発明は、従来の動きベクトル検出、画像
符号化におけるこのような課題を考慮し、ブロックの大
きさを小さくしても滑らかな動きベクトルを得ることが
でき、動き補償画像にブロック歪を生ずることがなく、
また、動きベクトル符号化量を低く抑えることができ、
リンギングの少ないサブバンド化が可能な動きベクトル
検出装置および画像符号化装置を提供することを目的と
するものである。

【００１４】

【課題を解決するための手段】請求項１の本発明は、符
号化された画像を保持するメモリと、画像を分割して得
られる複数の部分領域について、メモリから時間的に前
後するフレーム画像を読みだし、それら異なるフレーム
画像の部分領域間の誤差を演算し、最小誤差となる部分
領域間の偏位及びその偏位近傍における誤差値を求める
誤差演算手段と、最小誤差となる偏位及び近傍における
誤差値から偏位を変数とする誤差関数を求める誤差関数
演算手段と、誤算関数及び隣接する部分領域における偏
位の変化の和が最小となる偏位を求める最適化手段とを
備えた動きベクトル検出装置である。

【００１５】請求項２の本発明は、符号化された画像を
保持するメモリと、画像を分割して得られる複数の部分
領域について、時間的に前後するフレーム画像において
対応する部分領域間の偏位を記憶する偏位記憶手段と、
メモリから時間的に前後するフレーム画像を読みだし、
偏位記憶手段に記憶されている偏位近傍で、それら異な
るフレーム画像の部分領域間の誤差及び、隣接する部分
領域の偏位との変化の和が最小となる方向を求める最小
偏位方向演算手段と、その最小偏位方向演算手段で得ら
れた最小偏位方向へ、偏位記憶手段に記憶されている偏
位を変化させる補正手段とを備え、偏位記憶手段は、最
小偏位方向演算手段と補正手段を複数回繰り返し動作さ
せた時に記憶された偏位を動きベクトルとして出力する
動きベクトル検出装置である。

【００１６】請求項３の本発明は、請求項１、又は２記
載の動きベクトル検出装置と、その動きベクトル検出装
置により得られた複数の動きベクトルを補間して画素毎
の動きベクトルを求める動きベクトル補間手段とを備え
た動きベクトル検出装置である。

【００１７】請求項４の本発明は、画像を複数の周波数
帯域成分に分割する帯域分割手段と、画像において輝度
変化量が所定量より大きな領域を検出する変化領域検出
手段と、帯域分割手段により分割された画像の各周波数
帯域成分に、変化領域検出手段により検出された領域に
ついては非零の、それ以外の領域には零の窓係数を乗ず
る窓係数乗算手段とを備えた画像符号化装置である。

【００１８】請求項５の本発明は、画像を複数の周波数
帯域成分に分割する帯域分割手段と、画像において輝度
変化量が所定量より大きな領域を検出する変化領域検出
手段と、その変化領域検出手段により検出された領域の
位置情報を伝送する領域情報符号化手段と、変化領域検
出手段により検出された領域における帯域分割手段によ
り分割された画像の各周波数帯域成分のみを伝送する帯
域成分符号化手段とを備えた画像符号化装置である。

【００１９】請求項６の本発明は、画像を分割して得ら
れる複数の部分領域の動きベクトルを入力として、隣接
する複数の動きベクトルを、それらの代表値と差分値に
変換する動きベクトル変換手段と、代表値と差分値を並
べて符号化する動きベクトル符号化手段とを備えた画像
符号化装置である。

【００２０】

【作用】請求項１本発明は、誤差演算手段が、時間的に
前後するフレーム画像の部分領域間の誤差を演算し、最
小誤差となる部分領域間の偏位及びその偏位近傍の誤差
値を求め、この結果を受けて、誤差関数演算手段が、最
小誤差となる偏位及びその近傍の誤差値から偏位を変数
とする誤差関数を求め、最適化手段が、この誤算関数と
隣接する部分領域における偏位の変化の和が最小となる
ように動きベクトルを求める。結果として、動きベクト
ルは現フレームの部分領域と前フレームの部分領域と大
きな誤差なく対応するように、かつ、空間的に滑らかに
変化するように求められることになる。

【００２１】請求項２の本発明は、最小偏位方向演算手
段が、偏位記憶手段に記憶されている偏位近傍で、異な
るフレーム画像の部分領域との誤差及び隣接する部分領
域の偏位との変化の和が最小となる方向を求め、この結
果を受けて、補正手段が、偏位記憶手段に記憶されてい
る偏位を修正する。以上の偏位の修正は反復して行わ
る。結果として、動きベクトルとして出力された偏位で
対応付けられる異なるフレームの部分領域間誤差が少な
く、かつ得られる動きベクトルが滑らかとなるよう動き
ベクトルが求められる。

【００２２】以上の２つの発明によれば、ある部分領域
で安定に動きベクトルが得られていれば、その隣接領域
が輝度変化の小さな領域であっても動きベクトルをより
安定に推定することができ、（Ｃ１）の課題に対して効
果がある。

【００２３】請求項３の本発明は、特許請求の範囲第３
項記載の発明では、請求項１あるいは２記載の動きベク
トル検出装置を用いるため、動きベクトルは部分領域間
で滑らかに得られる。この性質を利用して、動きベクト
ル補間手段は、複数の部分領域の動きベクトルを補間し
て画素毎の動きベクトルを求める（請求項１あるいは２
に記した動きベクトル検出装置を用いないブロック相関
法では、得られた動きベクトルは空間的に滑らかである
との保証がないため、画素毎の動きベクトルを補間によ
り求めることが難しい）。

【００２４】請求項４の本発明は、帯域分割手段により
画像を複数の周波数帯域成分に分割し、変化領域検出手
段により輝度変化量の大きな領域を検出し、窓係数乗算
手段により、この領域の周波数成分には非零の、それ以
外の領域には零の窓係数を乗ずる。その結果、輝度変化
量の大きな領域情報のみを伝送し（従来のサブバンド符
号化では分割された周波数成分を走査してすべて伝送す
る）、輝度変化量の小さな領域の情報伝送を抑制するこ
とになる。（Ｃ４）の課題に対して、符号化量を一部の
選ばれた部分領域に集中させることによりリンギングの
少ない画像符号化を行うことができる。

【００２５】請求項５の本発明は、（Ｃ４）の課題に対
して、サブバンド符号化において、変化領域検出手段に
より輝度変化量の大きな領域を検出し、領域情報符号化
手段が、その領域の位置情報を伝送し、又これに対応し
て、帯域成分符号化手段が検出された領域の周波数成分
のみを符号化する。符号化量を一部の選ばれた部分領域
に集中させることによりリンギングの少ない画像符号化
を行うことができる。請求項４の発明に比べると、選ば
れた部分領域情報を伝送する必要が新たに生じるが、逆
に周波数成分は当該部分領域についてのみ伝送するだけ
で済む。

【００２６】請求項６の本発明は、動きベクトル変換手
段が、隣接する複数の動きベクトルを、それらの代表値
と差分値に変換し、動きベクトル符号化手段が、画像の
多くの領域では動きベクトルは連続あるいは一様である
から、差分値は零であることが多いという冗長性を利用
して、代表値と差分値を並べて符号化する。これによっ
て動きベクトルを少ない情報量で符号化することができ
る。

【００２７】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００２８】尚、本明細書に記す実施例では、実施例に
示す装置の動作を容易に理解するために、画像は縦横１
４４×１７６画素で構成され、相関演算を行なうブロッ
クは縦８画素、横８画素で構成されているとする。

【００２９】図１は、本発明にかかる第１の実施例の動
きベクトル検出装置の構成図である。又、図９、図１０
はブロック相関処理を説明する図である。図１におい
て、１００は映像入力端子、１０１は映像アナログ信号
を量子化するＡ／Ｄ変換回路、１０２、１０３は、映像
の前後するフレームを記憶しておくフレームメモリ、１
０４はブロック相関演算を行なう相関演算回路、１０５
はブロック相関演算の結果から相関パラメータを演算す
る相関パラメータ演算回路、１０６は動きベクトル格納
メモリ、１０７は相関パラメータ格納メモリ、１０８は
相関パラメータによって動きベクトルを補正する動きベ
クトル補正回路、１０９は動きベクトル出力端子であ
る。ここで、本実施例は特許請求の範囲第１項に該当
し、フレームメモリ１０２，１０３がメモリを構成し、
相関演算回路１０４が誤差演算手段を構成し、相関パラ
メータ演算回路１０５が誤差関数演算手段を構成し、動
きベクトル補正回路１０８が最適化手段を構成してい
る。又、本実施例は縦横１８×２２個に分割されたブロ
ックについてその平行移動成分を動きベクトルとして検
出する動きベクトル検出装置である。

【００３０】以上のように構成された上記第１の実施例
について以下にその処理手順を説明する。

【００３１】まず、Ａ／Ｄ変換回路１０１によりデジタ
ル化された前フレームの画像がフレームメモリ１０３に
格納され、現フレームの画像がフレームメモリ１０２に
格納される。相関演算回路１０４は、図９に示すように
現フレームメモリ１０２からブロック情報Ｒを読みだす
と同時に偏位（ｕ，ｖ）を１画素毎に変化させながら、
前フレームのブロック情報Ｒ’を読みだし、（数２）に
示す相関演算を行なう。（数２）において、ｇ_t（ｘ，
ｙ）はフレームｔ、画面位置（ｘ，ｙ）における輝度
値を表している。そして、（数３）に示すように最も値
の小さくなる偏位を探索して原推定（ａ，ｂ）を得る。
この（ａ，ｂ）は１画素精度で求められる。

【００３２】

【数２】

【００３３】

【数３】

【００３４】以上の演算は、縦横１８×２２個に分割さ
れた各ブロックについて行われ、その結果は動きベクト
ル格納メモリ１０６に記憶される。各ブロックについて
最小偏位を求める過程で、（数４）に示す最小偏位近傍
の２乗誤差の並びＳが計算されている。（）^t は行列の
転置を表している。これを相関演算回路１０４は、相関
パラメータ演算回路１０５へ出力する。

【００３５】

【数４】

【００３６】相関パラメータ演算回路１０５は、（数
５）、（数６）、（数７）（数８）、（数９）、（数１
０）に示す相関パラメータを計算する。

【００３７】

【数５】

【００３８】

【数６】

【００３９】

【数７】

【００４０】

【数８】

【００４１】

【数９】

【００４２】

【数１０】

【００４３】以上の相関パラメータの演算は、横１８×
２２個に分割された各ブロックについて行われ、その結
果は相関パラメータ格納メモリ１０７に格納される。こ
こで、相関パラメータは次の意味を持っている。（数
５）〜（数１０）の係数が求まっていることにより、フ
レームｔにおける各ブロックの２乗誤差を（数１１）に
示す偏位（ｕ，ｖ）を変数とする２次関数として表現で
きる。（数１１）に示すＥ_ext は、各ブロックの２乗誤
差の位置（ａ，ｂ）でのテーラー展開として表現されて
いる。この関数により、相関を評価する。

【００４４】

【数１１】

【００４５】一方、隣接するブロック間で動きベクトル
が滑らかに変化するとの制約は、（数１２）で表現でき
る。（数１２）において、（ｕ￣，ｖ￣）は隣接ブロッ
クの動きベクトルから求まる平均ベクトルである。動き
ベクトル補正回路１０８では、相関の良さを表現する
（数１１）と、隣接ブロック間での動きベクトルの滑ら
かさを表現する（数１２）との線形和を最小化すること
により、動きベクトルを補正する。最小化の対象となる
評価数を（数１３）に示す。λは実験的に定まる非負定
数である。（数１３）の最小化は（数１４）に示すオイ
ラー条件を解くことにより行われる。

【００４６】

【数１２】

【００４７】

【数１３】

【００４８】

【数１４】

【００４９】具体的には、動きベクトル補正回路１０８
では、以下の演算が行われる。ステップ１：各ブロックについて、（数１５）、（数１
６）により平均ベクトル（ｕ￣，ｖ￣）を求める。（数
１５）、（数１６）において、ｉ、ｊは図１０に例示す
るように演算対象ブロックの水平、垂直位置を表してお
り、（ｕ，ｖ）の初期値にはそのブロックにおける原推
定ａ、ｂを用いる。

【００５０】

【数１５】

【００５１】

【数１６】

【００５２】ステップ２：各ブロックについて（数１
７）、（数１８）、（数１９）、（数２０）、（数２
１）により、（ｕ＾，ｖ＾）を計算する。

【００５３】

【数１７】

【００５４】

【数１８】

【００５５】

【数１９】

【００５６】

【数２０】

【００５７】

【数２１】

【００５８】最後に動きベクトル補正回路１０８は、動
きベクトル出力端子１０９に上記（ｕ＾，ｖ＾）を出力
する。本実施例では、動きベクトルの原推定（ａ，ｂ）
を隣接ブロックの動きベクトル平均に近付けるように修
正することにより、空間的に滑らかな動きベクトルを得
ることができる。ただし、単純な動きベクトルの平滑化
とは異なり、（数１３）の最小化をはかることから、
（数１９）に示したｔ３の値が大きな、すなわち動きベ
クトル推定に必要な水平垂直に安定した輝度変化がある
ブロックでは、そのブロックについての修正量は小さく
なる。

【００５９】なお、本実施例では、（数１５）から（数
２１）までの処理を１回のみ行っているが、これに限ら
ず、修正された動きベクトルを使って再度動きベクトル
平均を計算し、（数２１）までの処理を行っても良い。
この場合、動きベクトル補正回路１０８を複数個用意
し、相関パラメータ格納メモリ１０７と接続しかつ、動
きベクトルの補正値を新たな原推定値として読めるよう
に従続に接続することにより実現することができる。

【００６０】図２は、本発明にかかる第２の実施例の動
きベクトル検出装置の構成図である。図２において、２
００は映像入力端子、２０１は映像アナログ信号を量子
化するＡ／Ｄ変換回路、２０２、２０３は、映像の前後
するフレームを記憶しておくフレームメモリ、２０４は
動きベクトル格納メモリ、２０５、２０６、２０７、２
０８、２０９は差分絶対値和演算回路（１）〜（５）、
２１０は最小値判定回路、２１１は動きベクトル補正値
格納メモリ、２１２は動きベクトル補正回路、２１３は
動きベクトル出力端子である。ここで、本実施例は特許
請求の範囲第２項に該当し、動きベクトル格納メモリ２
０４が偏位記憶手段を構成し、差分絶対値和演算回路
（１）２０５〜（５）２０９及び最小値判定回路２１０
が最小偏位方向演算手段を構成し、動きベクトル補正回
路２１２が補正手段を構成している。又、第１の実施例
と同じく縦横１８×２２個に分割されたブロックについ
てその平行移動成分を動きベクトルとして検出する動き
ベクトル検出装置である。

【００６１】次に、上記第２の実施例の動きベクトル検
出装置の処理手順について、図２、図９、図１０を参照
しながら説明する。

【００６２】第１の実施例と異なり、第２の実施例では
零ベクトルを動きベクトルの初期推定値として局所相関
演算の反復により各ブロックの動きベクトルを修正して
求める。

【００６３】本実施例では、この演算の反復ステップを
ｓ、その時点の推定動きベクトルを（ｕ（ｓ），ｖ
（ｓ））と表わすことにする。動きベクトル格納メモリ
２０４にはステップｓ＝０の時点で、各ブロックについ
て（ｕ（ｓ），ｖ（ｓ））＝（０，０）とされた動きベ
クトルが格納されている。差分絶対値和演算回路（１）
２０５は（数２２）、差分絶対値和演算回路（２）２０
６は（数２３）、差分絶対値和演算回路（３）２０７は
（数２４）、差分絶対値和演算回路（４）２０８は（数
２５）、差分絶対値和演算回路（５）２０９は（数２
６）の演算を各々独立に行う。

【００６４】

【数２２】

【００６５】

【数２３】

【００６６】

【数２４】

【００６７】

【数２５】

【００６８】

【数２６】

【００６９】（数２２）〜（数２６）において、（ｕ
（ｓ）￣，ｖ（ｓ）￣）は（数１５）、（数１６）と同
様の手順で求める動きベクトル平均である。ｒ（ｓ）は
（数２７）で表される。（数２７）のα、βは実験的に
定める非負定数である。ｄ（）は（数２８）に示すよう
に当該ブロックの動きベクトルと隣接ベクトル平均との
差分絶対値を評価する関数であり、Ｔｈは実験的に定め
る非負定数である。

【００７０】

【数２７】

【００７１】

【数２８】

【００７２】

【表１】

【００７３】最小値判定回路２１０は（表１）に示す動
作により、動きベクトルの補正値を各ブロックについて
動きベクトル補正値格納メモリ２１１に書き込む。動き
ベクトル補正回路２１２は（表１）から明らかなよう
に、各ブロックの動きベクトルについて、（数２２）〜
（数２６）のなかで、最小値を出したＥ_g の引数に動き
ベクトルが変更されるよう動作する。この動作を（数２
９）に示す。

【００７４】

【数２９】

【００７５】新しく得られた（ｕ（ｓ＋１），ｖ（ｓ＋
１））は動きベクトル格納メモリ２０４に書き込まれ
る。差分絶対値和演算回路（１）２０５〜（５）２０９
では、ｓの値を１増やして、（数２２）から（数２９）
に至る処理が反復される。本実施例ではこの反復回数は
３０回行うとする。（数２７）に示すｒ（ｓ）は、演算
ステップが増えるに従い増加する。これは、動きベクト
ル推定の初期段階では領域間の輝度差分絶対値和の減少
を重視して動きベクトルを推定し、その後、隣接領域と
の動きベクトル差分絶対値項の影響を大きくして空間的
に滑らかな動きベクトルを得ようとする戦略をとるため
である。

【００７６】本実施例では、第１の実施例に比べて、動
きベクトルの推定値が１画素単位であったり（第１の実
施例ではサブ画素単位で可能）、反復演算が必須である
などの不利があるが、逆に簡単な構成で滑らかな動きベ
クトルを得ることができる。また、本実施例では（数２
８）に示されている動きベクトル差分絶対値の評価関数
出力に所定のしきい値Ｔｈで定まる上限を設けている。
これにより、動き推定に必要なブロック内の輝度変化が
十分ある領域では、動きの大きく異なる領域の境界で
も、より安定に動きベクトルを推定することが期待でき
る。

【００７７】図３は、本発明にかかる第３の実施例の画
像符号化装置の構成図である。又、図４は、その画像符
号化装置に対応する画像復号化装置の構成図である。図
３と図４のおいて、３００は映像入力端子、３０１は映
像アナログ信号を量子化するＡ／Ｄ変換回路、３０２、
３０８、４０７は、映像の前後するフレームを記憶して
おくフレームメモリ、３０３は差分回路、３０４は画像
変換回路、３０５は可変長符号化回路、３０６、４０２
は画像逆変換回路、３０７、４０３は加算回路、３０９
は相関演算回路、３１０は動きベクトル格納メモリ、３
１１は相関パラメータ演算回路、３１２は相関パラメー
タ格納メモリ、３１３は動きベクトル補正回路、３１
４、４０５は動きベクトル補間回路、３１５、４０６は
画素単位動きベクトル格納メモリ、３１６、４０８は読
みだし制御回路、３１７は画像符号出力端子、４００は
画像符号入力端子、４０４は復号されたデジタル画像を
アナログ映像信号に変換するＤ／Ａ変換回路、４０９は
映像信号出力端子である。

【００７８】ここで、本実施例は特許請求の範囲第３項
に該当する動きベクトル検出装置を含む特許請求の範囲
第４項に該当する画像符号化装置であり、動きベクトル
補間回路３１４が動きベクトル補間手段である。又、画
像変換回路３０４、画像逆変換回路３０６，４０２の構
成を、図５及び図６にそれぞれ示す。図５の水平フィル
タ５０１，５０２及び垂直フィルタ５０５〜５０８等が
帯域分割手段を構成し、局所窓設定回路５１３が変化領
域検出手段を構成し、窓係数乗算回路５１４が窓係数乗
算手段を構成している。

【００７９】次に、上記第３の実施例について、図３、
図４、図５、図６、図９、図１０、図１１、図１２を用
いて説明する。尚、図１１はサブバンド符号化帯域分割
の説明図、図１２はサブバンド係数伝送の説明図であ
る。

【００８０】第３の実施例は、動き補償画像を用いたフ
レーム間符号化を行う動きベクトル検出装置と画像符号
化装置である。第１、第２の実施例と同じく入力画像は
縦横１４４×１７６画素で構成され、第１の実施例に示
された縦横１８×２２個に分割されたブロックについて
その平行移動成分を動きベクトルとして検出する動きベ
クトル検出装置を動き検出部として用いている。図３に
おける破線内の３０９から３１３に至るブロックの動作
は第１の実施例に示したブロックと同じであるので、そ
の動作の説明を省略する。この結果として、動きベクト
ル補正回路３１３は空間的に滑らかな動きベクトルを生
成する。本実施例では、この動きベクトルが滑らかに得
られることを利用して、動きベクトル補間回路３１４
（４０５）（復号化する場合については図４参照、以下
同様）において双１次補間により画素単位の動きベクト
ルを生成する。この動作を図１０を例に用いて説明す
る。フレームｔ上のＡ、Ｂ、Ｃ、Ｄはブロックの中心位
置を表している。これに対して、第１の実施例で示した
動き検出によりフレームｔ−１の対応点がＡ’、Ｂ’、
Ｃ’、Ｄ’として得られており、動きベクトルを各々
（ｕ_A，ｖ_A）、（ｕ_B，ｖ_B）、（ｕ_C，ｖ_C）、（ｕ_D，
ｖ_D）とする。この時、動きベクトル補間回路３１４
（４０５）では、（数３０）、（数３１）、（数３
２）、（数３３）、（数３４）に示されている演算を、
Ａ、Ｂ、Ｃ、Ｄで囲まれる矩形領域の各画素位置につい
て演算を行う。

【００８１】

【数３０】

【００８２】

【数３１】

【００８３】

【数３２】

【００８４】

【数３３】

【００８５】

【数３４】

【００８６】（数３０）におけるｘ、ｙはＡを原点とす
る水平垂直位置であり、Ｎはブロック中心の間隔であ
る。本実施例の場合、Ｎ＝８である。動きベクトル補間
回路３１４（４０５）は隣接する４ブロックの中心位置
で囲まれる全ての矩形領域の各画素について上記した動
作を行い、結果を画素単位動きベクトル格納メモリ３１
５（４０６）に書き込む。以上が特許請求の範囲第３項
に該当する動きベクトル検出装置の動作である。

【００８７】読みだし制御回路３１６（４０８）では画
素の動きベクトルに応じて当該画素をシフトして読み出
すことにより動き補償画像を生成する。本実施例では、
前述した構成により動き補償画像にブロック境界が生じ
ない滑らかな動き補償画像を生成することができる。図
３に示す符号化器では読みだし制御回路３１６の出力は
差分回路３０３に送られて、符号化対象となる現フレー
ムとの差分画像が生成される。これにより動き補償フレ
ーム間符号化が行わる。差分画像は画像変換回路３０４
において、高能率符号化に適したデータに変換され、動
きベクトルとともに可変長符号化回路３０５により符号
化される。

【００８８】ここで、画像変換回路３０４と画像逆変換
回路３０６（４０２）の構成を図５、図６を用いて説明
する。図５において、５００は入力端子、５０１は水平
フィルタＨ０、５０２は水平フィルタＨ１、５０３、５
０４は水平画素数を１画素おきに間引く２：１ダウンサ
ンプリング回路、５０５、５０６は垂直フィルタＨ０、
５０７、５０８は垂直フィルタＨ１、５０９、５１０、
５１１、５１２は垂直画素数を１画素おきに間引く２：
１ダウンサンプリング回路、５１３は局所窓設定回路、
５１４は窓係数乗算回路、５１５は量子化回路、５１６
は走査回路、５１７は出力端子である。また図６におい
て、６００は入力端子、６０１は逆走査回路、６０２は
逆量子化回路、６０３、６０４、６０５、６０６は零の
輝度値を持つ画素を垂直方向一画素おきに挿入する１：
２アップサンプリング回路、６０７、６０８は垂直フィ
ルタＧ０、６０９、６１０は垂直フィルタＧ１、６１
１、６１２、６１７は加算回路、６１３、６１４は零の
輝度値を持つ画素を水平方向一画素おきに挿入する１：
２アップサンプリング回路、６１５は水平フィルタＧ
０、６１６は水平フィルタＧ１、６１８は出力端子であ
る。

【００８９】以上のように構成された画像変換回路３０
４と画像逆変換回路３０６（４０２）の動作を以下に説
明する。各フィルタの構成をＺ変換の形式で、（数３
５）〜（数４２）に示す。Ｚ_h ^-1とＺ_v ^-1は各々、水平１
画素、垂直１画素の遅延演算子である。

【００９０】

【数３５】

【００９１】

【数３６】

【００９２】

【数３７】

【００９３】

【数３８】

【００９４】

【数３９】

【００９５】

【数４０】

【００９６】

【数４１】

【００９７】

【数４２】

【００９８】フィルタの中で名称の末尾にＨ０と記した
ものは低帯域通過フィルタ、Ｈ１と記したものは高帯域
通過フィルタに相当する。本実施例の画像変換回路３０
４では、前述したフィルタの構成により、局所窓設定回
路５１３にはＬＬ、ＬＨ、ＨＬ、ＨＨの４つの画像が入
力されることになる。２次元空間周波数上での各画像の
帯域を図１１に示す。図１２に示すサブバンド分割画像
のように、サブバンド分割とダウンサンプリング回路の
動作により、画像の大きさは水平１／２、垂直１／２に
なる。従来のサブバンド符号化では、局所窓設定回路５
１３、窓係数乗算回路５１４がない構成になっている。
今、これが無いものとして説明する。従来のサブバンド
符号化では、多くの情報がＬＬ成分に集中する。加えて
量子化回路５１５においてＬＬ画像の量子化を細かくＬ
Ｈ、ＨＬ、ＨＨには粗くすることにより、高能率符号化
が行われる。なお、本実施例に示すフィルタ係数はD.Le
Gall,A.Tabatani:"Sub-band Coding of Digital Images
Using Symmetric ShortKernel Filters and Arithmeti
c Coding Techniques",Proc.IEEE IntConf.Acoustic Sp
eech Signal Processing, pp.761-764,April,1988記載
のフィルタに基いおり、量子化誤差が無ければ、画像は
サブバンド分割、サブバンド合成を経て完全に再構成さ
れる。ところが、超低ビットレートでは、符号化量を押
えるために、量子化回路５１５ではＬＬ画像においても
相当粗くする必要がある。このために、発明が解決しよ
うとする課題の（Ｃ４）項に記した問題が生じてくる。
そこで、動き補償画像とのフレーム間差分を全て量子化
するのではなく、まとまった局所領域だけを送ることを
考える。

【００９９】図１２に例示した画像では３箇所に動き変
化領域が生じている。本実施例では、このような画像を
符号化するとき、全ての差分画像成分を粗い量子化で伝
送するのではなく、差分画像の中でエネルギーの高い領
域のみをリンギングが生じないような量子化で伝送する
戦略をとる。これを、図５において説明する。図５で
は、局所窓設定回路５１３が（数４３）、（数４４）に
示す演算により、各周波数成分のエネルギーの和が最大
になる一辺が２Ｔ−１の大きさの矩形領域の中心位置
（ｌ，ｍ）を探索する。

【０１００】

【数４３】

【０１０１】

【数４４】

【０１０２】（数４３）において、ｆ_LL、ｆ_LH、ｆ_HL、
ｆ_HHは各周波数成分画像の輝度を表しており、サブバン
ド係数とよぶ。本実施例ではＴ＝１８とする。窓の一辺
の大きさは３５となり、サブバンド分割された各画像の
垂直画素数は７２であるから、窓の一辺は垂直画素数の
半分程度の大きさをに相当する。

【０１０３】窓係数乗算回路５１４は局所窓設定回路５
１３から探索結果（ｌ，ｍ）を読み込む。そして、（数
４５）、（数４６）記載の演算により、サブバンド係数
ｆ_LL、ｆ_LH、ｆ_HL、ｆ_HHをｆ’_LL、ｆ’_LH、ｆ’_HL、
ｆ’_HHに変換する。これは、結局図１２に示すように差
分画像のエネルギー和の大きな領域以外のサブバンド係
数を零としていることになる。なお、（数４６）に示す
関数はハミング窓を実現しているが、これはサブバンド
係数を矩形窓により打ち切ると窓の境界付近にリンギン
グが生じる恐れがあるからである。

【０１０４】

【数４５】

【０１０５】

【数４６】

【０１０６】なお、（数４６）は応用によってはガウス
窓、ブラックマン窓などに変更しても良い。

【０１０７】量子化回路５１５では窓の領域外のサブバ
ンド係数を量子化して走査回路５１６に出力する。走査
回路５１６ではサブバンド係数をｆ’_LL、ｆ’_LH、ｆ’
_HL、ｆ’_HHの順に並べて出力端子５１７に出力する。

【０１０８】図６における逆走査回路６０１、逆量子化
回路６０２は以上の量子化と走査の逆処理を行なう。量
子化、逆量子化の過程を経るために、アップサンプリン
グ回路６０３〜６０６の入力となるサブバンド係数は量
子化誤差を含んだものとなる。本実施例では窓領域以外
のサブバンド係数が全て零であるので、窓領域内の量子
化誤差は、全画面のサブバンド係数を送る場合に比べ
て、小さく抑えることができる。

【０１０９】全画面の差分情報を符号化していないが、
本実施例は動き補償画像にブロック境界を生じない画素
単位の動き補償方式を用いているために、大きな視覚劣
化は生じない。特に応用をテレビ電話と想定すると、背
景画像は動き補償で、顔の表情変化は窓領域のサブバン
ド係数で伝送され、従来に比べて画質の良い超低ビット
レート符号化が期待できる。

【０１１０】また、本実施例の改良として、窓係数乗算
回路５１４に代えて、局所窓設定回路５１３により出力
される窓位置データを符号化して伝送する領域情報符号
化手段と、その窓位置データにより示される窓領域にお
ける各周波数帯域成分のみを伝送する帯域成分符号化手
段とを設けることにより、局所窓以外で零となるサブバ
ンド係数を伝送しない画像符号化装置を考えることがで
きる。これは特許請求の範囲第５項に記載している画像
符号化装置に相当する。この場合画像復号化装置と画像
復号化装置間に窓位置情報の伝送形式を新たに決める必
要があるが、符号化量がさらに減ることが期待できる。

【０１１１】図７は、本発明にかかる第４の実施例の画
像符号化装置の構成図である。又、図８は、その画像符
号化装置に対応する画像復号化装置の構成図である。

【０１１２】図７と図８のおいて、７００は映像入力端
子、７０１は映像アナログ信号を量子化するＡ／Ｄ変換
回路、７０２、７０８、８０７は、映像の前後するフレ
ームを記憶しておくフレームメモリ、７０３は差分回
路、７０４は画像変換回路、７０５は可変長符号化回
路、７０６、８０２は画像逆変換回路、７０７、８０３
は加算回路、７０９は相関演算回路、７１０は動きベク
トル格納メモリ、７１１は相関パラメータ演算回路、７
１２は相関パラメータ格納メモリ、７１３は動きベクト
ル補正回路、７１４はアダマール変換演算回路、７１５
はアダマール変換係数しきい値処理回路、７１６、８０
５はアダマール変換逆演算回路、７１７、８０６は動き
ベクトル格納メモリ、７１８、８０８は読みだし制御回
路、７１９は画像符号出力端子、８００は画像符号入力
端子、８０１は復号化回路、８０４は復号されたデジタ
ル画像をアナログ映像信号に変換するＤ／Ａ変換回路、
８０９は映像信号出力端子である。

【０１１３】ここで、本実施例は特許請求の範囲第６項
に該当する画像符号化装置であり、アダマール変換演算
回路７１４等が動きベクトル変換手段を構成し、可変長
符号化回路７０５が動きベクトル符号化手段を構成して
いる。

【０１１４】次に、上記第４の実施例について、図７、
図８、図１３、図１４を用いて説明する。尚、図１３は
動きベクトル階層符号化の説明図、図１４は動きベクト
ルの直交変換処理の説明図である。

【０１１５】第４の実施例は、第３の実施例と同じく動
き補償画像を用いたフレーム間符号化を行う画像符号化
装置である。第３の実施例と第４の実施例の異なるとこ
ろは、動き補償画像生成と動きベクトル符号化の構成が
異なるだけであり、具体的には符号化装置において、動
きベクトル補間回路３１４をアダマール変換演算回路７
１４、アダマール変換係数しきい値処理回路７１５、ア
ダマール変換逆演算回路７１６に置き換えたことが異な
る。これに対応して画像復号化装置においても、動きベ
クトル補間回路４０５をアダマール変換逆演算回路８０
５に置き換えている。この置換に対して、動きベクトル
格納メモリ７１７、８０６、読みだし制御回路７１８、
８０８、可変長符号化回路７０５、復号化回路８０１の
仕様が若干ことなるが、置換部分を除く各ブロックの処
理は基本的に第３の実施例と同じであるので、詳細な説
明は省略する。

【０１１６】置換部分の処理に付いて以下に説明する。
本実施例では、動きベクトル補正回路７１３により滑ら
かに得られた動きベクトルについて、アダマール変換演
算回路７１４では、図１３に示すように動きベクトル検
出を行なった４つのブロックを一つのブロックとして扱
い直交変換を施す。これを（数４７）、（数４８）、
（数４９）、（数５０）、（数５１）に示す。

【０１１７】

【数４７】

【０１１８】

【数４８】

【０１１９】

【数４９】

【０１２０】

【数５０】

【０１２１】

【数５１】

【０１２２】これにより、縦横１８×２２ブロックにお
ける動きベクトル水平成分は図１４に示すように、９×
１１のｈ０、ｈ１、ｈ２、ｈ３の４成分に分解される。
（数４７）〜（数５１）では、動きベクトルの水平成分
uのみを示したが、vも同様の処理でアダマール変換が行
なわれる。

【０１２３】アダマール変換される４つのブロックの動
きが全て等しいとき、ｈ０係数以外のｈ１、ｈ２、ｈ３
は全て零になる。特に本実施例では動きベクトルが滑ら
かに求められるために動き情報はｈ０係数に集中する。
アダマール変換を施した後の、変換係数をｈ０、ｈ１、
ｈ２、ｈ３の順に並べた系列に対してハフマン符号化を
用いた可変長符号化を行い高能率に符号化を行なう。こ
れは可変長符号化回路７０５で行なわれる。本実施例で
はこの符号化を行なう前に、アダマール変換係数しきい
値回路７１５により絶対値が１未満のｈ１、ｈ２、ｈ３
の係数を０に変換し、１以上ではそのまま出力する。し
きい値処理された変換係数を（数５２）で表現すると、
アダマール変換逆演算回路７１６は（数５３）、（数５
４）、（数５５）、（数５６）で表現される処理を行な
う。

【０１２４】

【数５２】

【０１２５】

【数５３】

【０１２６】

【数５４】

【０１２７】

【数５５】

【０１２８】

【数５６】

【０１２９】以上のアダマール変換としきい値処理の効
果を（数４７）がＵ_i,j ＝（１，３，２，３）^tの場合
を例に説明する。この場合、アダマール変換の結果は
（ｈ０_i,j＝９／２，ｈ０_i,j＝−３／２，ｈ０_i,j＝−
１／２，ｈ０_i,j＝−１／２）となる。この値をしきい
値処理することなく逆変換するとＵ_i,j は完全に復元さ
れる。本実施例では、しきい値処理により変換係数をH
_i,j＝（９／２，−３／２，０，０）に変更する。この
逆変換により得られる動きベクトル水平成分は（３／
２，３，３／２，３）となる。ｕ_i,jとｕ_i+1,jがちょう
ど両者の平均をとる値に変更されることになる。

【０１３０】本実施例ではアダマール変換によりｈ０係
数に情報を集中させ、さらにしきい値処理を設けること
により、アダマール変換係数の零成分を増やし、より少
ない符号化量で動きベクトルの符号を行なことができ
る。特に動きベクトルが滑らかに得られていることから
その効果は大きい。また、しきい値処理により動きベク
トルは完全に再構成されないが、上記の例に見られるよ
うに、しきい値処理がｈ１、ｈ２、ｈ３の係数であるた
め、動きベクトルの再構成結果は平滑化された値とな
り、大きな視覚劣化となることがない。またしきい値よ
りも大きな差分情報は保存されることから、動きが大き
く異なるブロック境界はアダマール変換と、その逆変換
を経ても完全に再構成される。

【０１３１】本実施例にアダマール変換を用いた理由
は、簡単な回路構成による固定小数点演算で元の動きベ
クトルが完全に再構成される点にあるが、傾斜変換など
のアダマール変換に代わる他の直交変換の利用も考えら
れる。

【０１３２】なお、本実施例で扱う画像が小さいためア
ダマール変換により９×１１の係数を求めたが、さらに
大きな画像では得られたｈ０係数をさらにアダマール変
換して、動きベクトルを階層符号化することが考えられ
る。

【０１３３】

【発明の効果】以上述べたところから明らかなように本
発明は、請求項１、又は２記載の動きベクトル検出装置
を用いれば隣接するブロック間の相関を利用した滑らか
な動きベクトルが得られる。これにより、ブロック相関
に用いる領域の大きさを小さくしても、比較的安定に動
きベクトルを求めることができる。

【０１３４】また、請求項３記載の動きベクトル検出装
置では、請求項１又は２記載の動きベクトル検出装置を
利用して画素単位の動きベクトルを生成することができ
る。これは動き補償画像にブロック境界を生じない効果
を持つ。

【０１３５】また、請求項４記載の画像符号化装置で
は、フレーム間差分電力の集中する領域にのみ符号化量
を集中することにより超低ビットレートサブバンド符号
化で生じるリンギングを軽減することができる。

【０１３６】また、請求項５記載の画像符号化装置で
は、フレーム間差分電力の集中する領域にのみ符号化量
を集中することにより超低ビットレートサブバンド符号
化で生じるリンギングを軽減することができ、更に、復
号化装置との間に前述のフレーム間差分電力の集中する
領域の位置情報を伝送する必要があるが、前記領域外で
零となるサブバンド係数を伝送する必要がないという利
点がある。

【０１３７】また、請求項６記載の画像符号化装置で
は、動きベクトルを変換符号化することにより、動きベ
クトルの符号化量を低く抑えることができる。特に、超
低ビットレート符号化では動きベクトル符号化量削減の
効果は大きい。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の動きベクトル検
出装置の構成図である。

【図２】本発明にかかる第２の実施例の動きベクトル検
出装置の構成図である。

【図３】本発明にかかる第３の実施例の画像符号化装置
の構成図である。

【図４】同第３の実施例の画像符号化装置に対応する画
像復号化装置の構成図である。

【図５】同第３の実施例における画像変換回路の構成図
である。

【図６】同第３の実施例における画像逆変換回路お構成
図である。

【図７】本発明にかかる第４の実施例の画像符号化装置
の構成図である。

【図８】同第４の実施例の画像符号化装置に対応する画
像復号化装置の構成図である。

【図９】ブロック相関法の原理を説明する図である。

【図１０】ブロック相関処理の動作を説明する図であ
る。

【図１１】サブバンド符号化帯域分割を説明する図であ
る。

【図１２】サブバンド係数伝送を説明する図である。

【図１３】動きベクトル階層符号化を説明する図であ
る。

【図１４】動きベクトル直交変換処理を説明する図であ
る。

【符号の説明】

１０４、３０９、７０９相関演算回路１０５、３１１、７１１相関パラメータ演算回路１０８、２１２、３１３、７１３動きベクトル補正回
路２０５〜２０９差分絶対値和演算回路２１０最小値判定回路３０４、７０４画像変換回路３０５、７０５可変長符号化回路３０６、４０２、７０６、８０２画像逆変換回路３１４、４０５動きベクトル補間回路４０１、８０１復号化回路５０１、５０２、６１５、６１６水平フィルタ５０５〜５０８、６０７〜６１０垂直フィルタ５１３局所窓設定回路５１４窓係数乗算回路７１４アダマール（Ｈ）変換演算回路７１５アダマール（Ｈ）変換係数しきい値回路７１６、８０５アダマール（Ｈ）変換逆演算回路

Claims

【特許請求の範囲】

【請求項１】符号化された画像を保持するメモリと、画像を分割して得られる複数の部分領域について、前記
メモリから時間的に前後するフレーム画像を読みだし、
それら異なるフレーム画像の部分領域間の誤差を演算
し、最小誤差となる前記部分領域間の偏位及びその偏位
近傍における誤差値を求める誤差演算手段と、前記最小誤差となる偏位及び前記近傍における誤差値か
ら偏位を変数とする誤差関数を求める誤差関数演算手段
と、前記誤算関数及び隣接する部分領域における偏位の変化
の和が最小となる偏位を求める最適化手段とを、備えたことを特徴とする動きベクトル検出装置。
【請求項２】符号化された画像を保持するメモリと、画像を分割して得られる複数の部分領域について、時間
的に前後するフレーム画像において対応する部分領域間
の偏位を記憶する偏位記憶手段と、前記メモリから時間的に前後するフレーム画像を読みだ
し、前記偏位記憶手段に記憶されている偏位近傍で、そ
れら異なるフレーム画像の部分領域間の誤差及び、隣接
する部分領域の偏位との変化の和が最小となる方向を求
める最小偏位方向演算手段と、その最小偏位方向演算手段で得られた最小偏位方向へ、
前記偏位記憶手段に記憶されている偏位を変化させる補
正手段とを備え、前記偏位記憶手段は、前記最小偏位方向演算手段と前記
補正手段を複数回繰り返し動作させた時に記憶された偏
位を動きベクトルとして出力することを特徴とする動き
ベクトル検出装置。
【請求項３】請求項１、又は２記載の前記動きベクト
ル検出装置と、その動きベクトル検出装置により得られた複数の動きベ
クトルを補間して画素毎の動きベクトルを求める動きベ
クトル補間手段とを、備えたことを特徴とする動きベクトル検出装置。
【請求項４】画像を複数の周波数帯域成分に分割する
帯域分割手段と、前記画像において輝度変化量が所定量より大きな領域を
検出する変化領域検出手段と、前記帯域分割手段により分割された画像の各周波数帯域
成分に、前記変化領域検出手段により検出された領域に
ついては非零の、それ以外の領域には零の窓係数を乗ず
る窓係数乗算手段とを、備えたことを特徴とする画像符号化装置。
【請求項５】画像を複数の周波数帯域成分に分割する
帯域分割手段と、前記画像において輝度変化量が所定量より大きな領域を
検出する変化領域検出手段と、その変化領域検出手段により検出された領域の位置情報
を伝送する領域情報符号化手段と、前記変化領域検出手段により検出された領域における前
記帯域分割手段により分割された画像の各周波数帯域成
分のみを伝送する帯域成分符号化手段とを、備えたことを特徴とする画像符号化装置。
【請求項６】画像を分割して得られる複数の部分領域
の動きベクトルを入力として、隣接する複数の動きベク
トルを、それらの代表値と差分値に変換する動きベクト
ル変換手段と、前記代表値と差分値を並べて符号化する動きベクトル符
号化手段とを、備えたことを特徴とする画像符号化装置。