JP3385077B2

JP3385077B2 - 動きベクトル検出装置

Info

Publication number: JP3385077B2
Application number: JP27083693A
Authority: JP
Inventors: 稔栄藤
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1993-10-28
Filing date: 1993-10-28
Publication date: 2003-03-10
Anticipated expiration: 2018-03-10
Also published as: JPH07131783A; US6040864A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の符号化、ノイズ
低減に使用する動きベクトル検出装置に関するものであ
る。

【０００２】

【従来の技術】従来の動きベクトル検出の手法は、例え
ば吹抜敬彦：「画像のデジタル信号処理」、第１０章、
日刊工業新聞社刊行（１９８５）に述べられている。こ
の中で、「連続する画像間の差を最小にする方法」は、
（数１）を最小化する偏位（ａ、ｂ）として動きベクト
ルが求まる。ここでｇ_t（ｘ、ｙ）はフレームｔにおけ
る画面位置（ｘ、ｙ）における輝度、Ｒは画面上のブロ
ック領域を表す。

【０００３】

【数１】

【０００４】この原理を図９に示す。動きベクトルは時
刻ｔ−１のフレームの画像の中で、ブロックＲと最も相
関の強いブロックＲ’への偏位（ａ、ｂ）として求ま
る。式１では、相関の評価に絶対値の和が求められてい
るが２乗誤差の和も用いられる。このような、「連続す
る画像間の差を最小にする方法」をブロック相関法とよ
ぶことにする。

【０００５】ここでブロックは、必ずしも矩形である必
要はない。ブロック相関法による動きベクトル検出に
は、以下の課題がある。（Ａ１）ブロック領域を小さくすると、雑音成分の擾乱
により検出された動きベクトルの信頼性が低くなる。逆
に領域を大きくすると検出精度は高くなるが動きベクト
ル検出の粒度が粗くなる。（Ａ２）ブロックで規定される領域の中に方向の違う輝
度変化成分が無いと異なるフレーム上の領域の対応が定
まらない。

【０００６】以上の課題を解決すべく、ブロック相関法
の改良がいくつかなされている。例えば、上記（Ａ１）
の課題に対する従来技術として、例えば特開昭６２−２
３０１８０記載の動きベクトル検出方式（従来例１）が
ある。これは、フレーム間領域対応の基本単位となるブ
ロックを画像を等分割して作るのではなく、お互いのブ
ロックが重なるように広く設定する方式である。この方
式によれば、動きベクトル検出の間隔を小さくしても、
相関を計算するブロックが動きベクトル検出の間隔より
も大きいので、動きベクトル検出の間隔で等分割したブ
ロック相関よりも安定に動きベクトル推定が行なえる。

【０００７】又、上記（Ａ２）の課題に対する従来技術
として、例えば特開昭６２−１０５５８７記載の動きベ
クトル検出装置がある（従来例２）。この装置では、ブ
ロック内輝度値の分散を求めることにより、相関を計算
するブロックが動きベクトル検出に有効であるか否かを
評価する。ブロック内の輝度の分散が小さければ、異な
るフレーム上の領域の対応が定まらない無効ブロックと
して、信頼性の低い動きベクトルの利用を避けることが
できる。以上、動きベクトル検出方式または装置の２つ
の従来例を紹介した。

【０００８】次に画像符号化装置の従来技術を紹介す
る。例えば、ＣＣＩＴＴ勧告Ｈ．２６１に記載されてい
る画像符号化装置（従来例３）がある。この符号化装置
のフレーム間符号化モードでは、現在のフレーム画像を
符号化する際に、ブロック相関法により前フレームの画
像から現フレームの予測画像を動き補償画像として作
り、この動き補償画像と現フレーム画像との差分画像を
符号化している。この符号化装置では、動き補償画像
が、前フレームと誤差なく一致している時、送る情報量
が、動きベクトルだけで済み、少ない符号化量で画像を
伝送することができる。

【０００９】ところでＨ．２６１は、小さくとも縦横１
４４×１８０画素程度の大きさの画像を毎秒６４キロビ
ット以上の符号化量で伝送することを目的に勧告された
画像符号化装置の仕様である。同程度の画像の大きさで
符号化速度を毎秒２０キロビット程度で符号化（以後、
超低ビットレート符号化とよぶ）しようとすると、以下
の課題が生じてくる。（Ｂ１）動き補償画像は、検出された動きベクトルで定
まるブロック単位の並行移動を用いて生成される。この
ために、一般的に、動き補償画像はブロック境界で不連
続となる。伝送可能な符号化量が十分であれば、このブ
ロック境界は動き補償画像と現フレーム画像との差分情
報として伝送されることにより、知覚されない。しか
し、限られた符号化量では、視覚妨害として知覚され
る。（Ｂ２）Ｈ．２６１に基づく画像符号化装置では、画像
をブロック毎に離散コサイン変換し、周波数の高域成分
を粗く量子化することにより、高能率符号化が行われ
る。しかし、限られた符号化量では、ブロック毎の直流
成分の量子化誤差が、ブロック境界として知覚され視覚
妨害となる。

【００１０】上記（Ｂ１）の課題に対する従来技術とし
て、例えば川島正久ほか：”動画像の極低ビットレート
符号化”、電子情報通信学会技術報告ＩＥ９２−１１７
（１９９３年２月）に開示されている画像符号化方式
（従来例４）がある。これは、伝送された動きベクトル
を内挿補間して各画素の動き量を求めて、動き補償画像
を生成する方式である。これによれば、少ない動きベク
トルで滑らかな動き補償画像を作ることができる。

【００１１】上記（Ｂ２）の課題に対する従来技術とし
て、例えば特開昭６２−２３０１８０記載のサブバンド
符号化方式がある（従来例５）。サブバンド符号化方式
では、画像をフィルタ走査により異なる周波数帯域に分
割する。前記した従来例では、サブバンド化された画像
すなわち、異なる周波数帯域で構成される画像を同一空
間位置にあるサンプル点を低域から高域にかけて走査す
ることにより、画像を高能率に符号化することができ
る。このサブバンド符号化方式では、画像の周波数成分
が離散コサイン変換とは違いブロックに閉じないことか
ら、低域周波数成分の量子化誤差が、ブロック境界とし
て知覚されるような視覚妨害を生じない。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術を用いても以下の課題が存在する。（Ｃ１）従来例１および、従来例２では、隣接するブロ
ックの相関を利用して動きベクトルを求めていない。従
来例１では、隣接するブロックと大きく異なった動きベ
クトルを検出する可能性がある。また従来例２では、無
効となったブロックの動きベクトルを求めようとする
と、隣接ブロックで得られた動きベクトルの補間により
求めるより他に方法がない。（Ｃ２）超低ビットレート符号化では、差分画像の符号
化量だけでなく動きベクトルの符号化量も少なくする必
要が生じてくる。前述の従来例３としたＨ．２６１に基
づく画像符号化装置では、隣接する動きベクトルとの差
分をハフマン符号化することにより、符号化量を低く抑
えている。しかし、符号化に利用する動きベクトル間の
相関は１次元１方向だけであり、超低ビットレート符号
化では、より効率のよい動きベクトル符号化が望まれ
る。（Ｃ３）従来例４では、まず始めにブロック相関法によ
り、動きベクトルを求め、さらに輝度勾配により画素単
位の動きベクトル求めたのち、フレーム間差分電力が最
小になるように代表動きベクトルを修正して求めてい
る。この従来例では、少ない代表動きベクトルを補間し
画素単位の動きベクトルを求めることができるが、開示
されている手法は複雑である。（Ｃ４）従来例５による符号化方式を採用しても、サブ
バンド分割を用いて超低ビットレート符号化を行うとす
ると、サブバンド分割された画像を粗く量子化する必要
がある。これを復号すると、粗く量子化された各周波数
成分を合成する結果として、リンギングが視覚妨害とし
て知覚される。

【００１３】本発明は、従来の動きベクトル検出、画像
符号化におけるこのような課題を考慮し、ブロックの大
きさを小さくしても滑らかな動きベクトルを得ることが
でき、動き補償画像にブロック歪を生ずることがなく、
また、動きベクトル符号化量を低く抑えることができ、
リンギングの少ないサブバンド化が可能な動きベクトル
検出装置および画像符号化装置を提供することを目的と
するものである。

【００１４】

【課題を解決するための手段】本発明は、符号化された
画像を保持するメモリと、画像を分割して得られる複数
の部分領域について、前記メモリから時間的に前後する
フレーム画像を読みだし、それら異なるフレーム画像の
部分領域間の誤差を演算し、最小誤差となる前記部分領
域間の偏位及びその偏位近傍における誤差値を求める誤
差演算手段と、前記最小誤差となる偏位及び前記近傍に
おける誤差値から偏位を変数とする誤差関数を求める誤
差関数演算手段と、前記誤算関数と隣接する部分領域に
おける偏位の変化との和が最小となる偏位を求める最適
化手段とを、備えたことを特徴とする動きベクトル検出
装置である。

【００１５】また、本発明は、符号化された画像を保持
するメモリと、画像を分割して得られる複数の部分領域
について、時間的に前後するフレーム画像において対応
する部分領域間の偏位を記憶する偏位記憶手段と、メモ
リから時間的に前後するフレーム画像を読みだし、偏位
記憶手段に記憶されている偏位近傍で、それら異なるフ
レーム画像の部分領域間の誤差及び、隣接する部分領域
の偏位との変化の和が最小となる方向を求める最小偏位
方向演算手段と、その最小偏位方向演算手段で得られた
最小偏位方向へ、偏位記憶手段に記憶されている偏位を
変化させる補正手段とを備え、偏位記憶手段は、最小偏
位方向演算手段と補正手段を複数回繰り返し動作させた
時に記憶された偏位を動きベクトルとして出力する動き
ベクトル検出装置である。

【００１６】さらに、本発明は、上記の動きベクトル検
出装置と、その動きベクトル検出装置により得られた複
数の動きベクトルを補間して画素毎の動きベクトルを求
める動きベクトル補間手段とを備えた動きベクトル検出
装置である。

【００１７】

【００１８】

【００１９】

【００２０】

【作用】請求項１本発明は、誤差演算手段が、時間的に
前後するフレーム画像の部分領域間の誤差を演算し、最
小誤差となる部分領域間の偏位及びその偏位近傍の誤差
値を求め、この結果を受けて、誤差関数演算手段が、最
小誤差となる偏位及びその近傍の誤差値から偏位を変数
とする誤差関数を求め、最適化手段が、この誤算関数と
隣接する部分領域における偏位の変化の和が最小となる
ように動きベクトルを求める。結果として、動きベクト
ルは現フレームの部分領域と前フレームの部分領域と大
きな誤差なく対応するように、かつ、空間的に滑らかに
変化するように求められることになる。

【００２１】請求項２の本発明は、最小偏位方向演算手
段が、偏位記憶手段に記憶されている偏位近傍で、異な
るフレーム画像の部分領域との誤差及び隣接する部分領
域の偏位との変化の和が最小となる方向を求め、この結
果を受けて、補正手段が、偏位記憶手段に記憶されてい
る偏位を修正する。以上の偏位の修正は反復して行わ
る。結果として、動きベクトルとして出力された偏位で
対応付けられる異なるフレームの部分領域間誤差が少な
く、かつ得られる動きベクトルが滑らかとなるよう動き
ベクトルが求められる。

【００２２】以上の２つの発明によれば、ある部分領域
で安定に動きベクトルが得られていれば、その隣接領域
が輝度変化の小さな領域であっても動きベクトルをより
安定に推定することができ、（Ｃ１）の課題に対して効
果がある。

【００２３】請求項３の本発明は、特許請求の範囲第３
項記載の発明では、請求項１あるいは２記載の動きベク
トル検出装置を用いるため、動きベクトルは部分領域間
で滑らかに得られる。この性質を利用して、動きベクト
ル補間手段は、複数の部分領域の動きベクトルを補間し
て画素毎の動きベクトルを求める（請求項１あるいは２
に記した動きベクトル検出装置を用いないブロック相関
法では、得られた動きベクトルは空間的に滑らかである
との保証がないため、画素毎の動きベクトルを補間によ
り求めることが難しい）。

【００２４】

【００２５】

【００２６】

【００２７】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００２８】尚、本明細書に記す実施例では、実施例に
示す装置の動作を容易に理解するために、画像は縦横１
４４×１７６画素で構成され、相関演算を行なうブロッ
クは縦８画素、横８画素で構成されているとする。

【００２９】図１は、本発明にかかる第１の実施例の動
きベクトル検出装置の構成図である。又、図９、図１０
はブロック相関処理を説明する図である。図１におい
て、１００は映像入力端子、１０１は映像アナログ信号
を量子化するＡ／Ｄ変換回路、１０２、１０３は、映像
の前後するフレームを記憶しておくフレームメモリ、１
０４はブロック相関演算を行なう相関演算回路、１０５
はブロック相関演算の結果から相関パラメータを演算す
る相関パラメータ演算回路、１０６は動きベクトル格納
メモリ、１０７は相関パラメータ格納メモリ、１０８は
相関パラメータによって動きベクトルを補正する動きベ
クトル補正回路、１０９は動きベクトル出力端子であ
る。ここで、本実施例は特許請求の範囲第１項に該当
し、フレームメモリ１０２，１０３がメモリを構成し、
相関演算回路１０４が誤差演算手段を構成し、相関パラ
メータ演算回路１０５が誤差関数演算手段を構成し、動
きベクトル補正回路１０８が最適化手段を構成してい
る。又、本実施例は縦横１８×２２個に分割されたブロ
ックについてその平行移動成分を動きベクトルとして検
出する動きベクトル検出装置である。

【００３０】以上のように構成された上記第１の実施例
について以下にその処理手順を説明する。

【００３１】まず、Ａ／Ｄ変換回路１０１によりデジタ
ル化された前フレームの画像がフレームメモリ１０３に
格納され、現フレームの画像がフレームメモリ１０２に
格納される。相関演算回路１０４は、図９に示すように
現フレームメモリ１０２からブロック情報Ｒを読みだす
と同時に偏位（ｕ，ｖ）を１画素毎に変化させながら、
前フレームのブロック情報Ｒ’を読みだし、（数２）に
示す相関演算を行なう。（数２）において、ｇ_t（ｘ，
ｙ）はフレームｔ、画面位置（ｘ，ｙ）における輝度
値を表している。そして、（数３）に示すように最も値
の小さくなる偏位を探索して原推定（ａ，ｂ）を得る。
この（ａ，ｂ）は１画素精度で求められる。

【００３２】

【数２】

【００３３】

【数３】

【００３４】以上の演算は、縦横１８×２２個に分割さ
れた各ブロックについて行われ、その結果は動きベクト
ル格納メモリ１０６に記憶される。各ブロックについて
最小偏位を求める過程で、（数４）に示す最小偏位近傍
の２乗誤差の並びＳが計算されている。（）^t は行列の
転置を表している。これを相関演算回路１０４は、相関
パラメータ演算回路１０５へ出力する。

【００３５】

【数４】

【００３６】相関パラメータ演算回路１０５は、（数
５）、（数６）、（数７）（数８）、（数９）、（数１
０）に示す相関パラメータを計算する。

【００３７】

【数５】

【００３８】

【数６】

【００３９】

【数７】

【００４０】

【数８】

【００４１】

【数９】

【００４２】

【数１０】

【００４３】以上の相関パラメータの演算は、横１８×
２２個に分割された各ブロックについて行われ、その結
果は相関パラメータ格納メモリ１０７に格納される。こ
こで、相関パラメータは次の意味を持っている。（数
５）〜（数１０）の係数が求まっていることにより、フ
レームｔにおける各ブロックの２乗誤差を（数１１）に
示す偏位（ｕ，ｖ）を変数とする２次関数として表現で
きる。（数１１）に示すＥ_ext は、各ブロックの２乗誤
差の位置（ａ，ｂ）でのテーラー展開として表現されて
いる。この関数により、相関を評価する。

【００４４】

【数１１】

【００４５】一方、隣接するブロック間で動きベクトル
が滑らかに変化するとの制約は、（数１２）で表現でき
る。（数１２）において、（ｕ￣，ｖ￣）は隣接ブロッ
クの動きベクトルから求まる平均ベクトルである。動き
ベクトル補正回路１０８では、相関の良さを表現する
（数１１）と、隣接ブロック間での動きベクトルの滑ら
かさを表現する（数１２）との線形和を最小化すること
により、動きベクトルを補正する。最小化の対象となる
評価数を（数１３）に示す。λは実験的に定まる非負定
数である。（数１３）の最小化は（数１４）に示すオイ
ラー条件を解くことにより行われる。

【００４６】

【数１２】

【００４７】

【数１３】

【００４８】

【数１４】

【００４９】具体的には、動きベクトル補正回路１０８
では、以下の演算が行われる。ステップ１：各ブロックについて、（数１５）、（数１
６）により平均ベクトル（ｕ￣，ｖ￣）を求める。（数
１５）、（数１６）において、ｉ、ｊは図１０に例示す
るように演算対象ブロックの水平、垂直位置を表してお
り、（ｕ，ｖ）の初期値にはそのブロックにおける原推
定ａ、ｂを用いる。

【００５０】

【数１５】

【００５１】

【数１６】

【００５２】ステップ２：各ブロックについて（数１
７）、（数１８）、（数１９）、（数２０）、（数２
１）により、（ｕ＾，ｖ＾）を計算する。

【００５３】

【数１７】

【００５４】

【数１８】

【００５５】

【数１９】

【００５６】

【数２０】

【００５７】

【数２１】

【００５８】最後に動きベクトル補正回路１０８は、動
きベクトル出力端子１０９に上記（ｕ＾，ｖ＾）を出力
する。本実施例では、動きベクトルの原推定（ａ，ｂ）
を隣接ブロックの動きベクトル平均に近付けるように修
正することにより、空間的に滑らかな動きベクトルを得
ることができる。ただし、単純な動きベクトルの平滑化
とは異なり、（数１３）の最小化をはかることから、
（数１９）に示したｔ３の値が大きな、すなわち動きベ
クトル推定に必要な水平垂直に安定した輝度変化がある
ブロックでは、そのブロックについての修正量は小さく
なる。

【００５９】なお、本実施例では、（数１５）から（数
２１）までの処理を１回のみ行っているが、これに限ら
ず、修正された動きベクトルを使って再度動きベクトル
平均を計算し、（数２１）までの処理を行っても良い。
この場合、動きベクトル補正回路１０８を複数個用意
し、相関パラメータ格納メモリ１０７と接続しかつ、動
きベクトルの補正値を新たな原推定値として読めるよう
に従続に接続することにより実現することができる。

【００６０】図２は、本発明にかかる第２の実施例の動
きベクトル検出装置の構成図である。図２において、２
００は映像入力端子、２０１は映像アナログ信号を量子
化するＡ／Ｄ変換回路、２０２、２０３は、映像の前後
するフレームを記憶しておくフレームメモリ、２０４は
動きベクトル格納メモリ、２０５、２０６、２０７、２
０８、２０９は差分絶対値和演算回路（１）〜（５）、
２１０は最小値判定回路、２１１は動きベクトル補正値
格納メモリ、２１２は動きベクトル補正回路、２１３は
動きベクトル出力端子である。ここで、本実施例は特許
請求の範囲第２項に該当し、動きベクトル格納メモリ２
０４が偏位記憶手段を構成し、差分絶対値和演算回路
（１）２０５〜（５）２０９及び最小値判定回路２１０
が最小偏位方向演算手段を構成し、動きベクトル補正回
路２１２が補正手段を構成している。又、第１の実施例
と同じく縦横１８×２２個に分割されたブロックについ
てその平行移動成分を動きベクトルとして検出する動き
ベクトル検出装置である。

【００６１】次に、上記第２の実施例の動きベクトル検
出装置の処理手順について、図２、図９、図１０を参照
しながら説明する。

【００６２】第１の実施例と異なり、第２の実施例では
零ベクトルを動きベクトルの初期推定値として局所相関
演算の反復により各ブロックの動きベクトルを修正して
求める。

【００６３】本実施例では、この演算の反復ステップを
ｓ、その時点の推定動きベクトルを（ｕ（ｓ），ｖ
（ｓ））と表わすことにする。動きベクトル格納メモリ
２０４にはステップｓ＝０の時点で、各ブロックについ
て（ｕ（ｓ），ｖ（ｓ））＝（０，０）とされた動きベ
クトルが格納されている。差分絶対値和演算回路（１）
２０５は（数２２）、差分絶対値和演算回路（２）２０
６は（数２３）、差分絶対値和演算回路（３）２０７は
（数２４）、差分絶対値和演算回路（４）２０８は（数
２５）、差分絶対値和演算回路（５）２０９は（数２
６）の演算を各々独立に行う。

【００６４】

【数２２】

【００６５】

【数２３】

【００６６】

【数２４】

【００６７】

【数２５】

【００６８】

【数２６】

【００６９】（数２２）〜（数２６）において、（ｕ
（ｓ）￣，ｖ（ｓ）￣）は（数１５）、（数１６）と同
様の手順で求める動きベクトル平均である。ｒ（ｓ）は
（数２７）で表される。（数２７）のα、βは実験的に
定める非負定数である。ｄ（）は（数２８）に示すよう
に当該ブロックの動きベクトルと隣接ベクトル平均との
差分絶対値を評価する関数であり、Ｔｈは実験的に定め
る非負定数である。

【００７０】

【数２７】

【００７１】

【数２８】

【００７２】

【表１】

【００７３】最小値判定回路２１０は（表１）に示す動
作により、動きベクトルの補正値を各ブロックについて
動きベクトル補正値格納メモリ２１１に書き込む。動き
ベクトル補正回路２１２は（表１）から明らかなよう
に、各ブロックの動きベクトルについて、（数２２）〜
（数２６）のなかで、最小値を出したＥ_g の引数に動き
ベクトルが変更されるよう動作する。この動作を（数２
９）に示す。

【００７４】

【数２９】

【００７５】新しく得られた（ｕ（ｓ＋１），ｖ（ｓ＋
１））は動きベクトル格納メモリ２０４に書き込まれ
る。差分絶対値和演算回路（１）２０５〜（５）２０９
では、ｓの値を１増やして、（数２２）から（数２９）
に至る処理が反復される。本実施例ではこの反復回数は
３０回行うとする。（数２７）に示すｒ（ｓ）は、演算
ステップが増えるに従い増加する。これは、動きベクト
ル推定の初期段階では領域間の輝度差分絶対値和の減少
を重視して動きベクトルを推定し、その後、隣接領域と
の動きベクトル差分絶対値項の影響を大きくして空間的
に滑らかな動きベクトルを得ようとする戦略をとるため
である。

【００７６】本実施例では、第１の実施例に比べて、動
きベクトルの推定値が１画素単位であったり（第１の実
施例ではサブ画素単位で可能）、反復演算が必須である
などの不利があるが、逆に簡単な構成で滑らかな動きベ
クトルを得ることができる。また、本実施例では（数２
８）に示されている動きベクトル差分絶対値の評価関数
出力に所定のしきい値Ｔｈで定まる上限を設けている。
これにより、動き推定に必要なブロック内の輝度変化が
十分ある領域では、動きの大きく異なる領域の境界で
も、より安定に動きベクトルを推定することが期待でき
る。

【００７７】図３は、本発明に関連する第１の例の画像
符号化装置の構成図である。又、図４は、その画像符号
化装置に対応する画像復号化装置の構成図である。図３
と図４のおいて、３００は映像入力端子、３０１は映像
アナログ信号を量子化するＡ／Ｄ変換回路、３０２、３
０８、４０７は、映像の前後するフレームを記憶してお
くフレームメモリ、３０３は差分回路、３０４は画像変
換回路、３０５は可変長符号化回路、３０６、４０２は
画像逆変換回路、３０７、４０３は加算回路、３０９は
相関演算回路、３１０は動きベクトル格納メモリ、３１
１は相関パラメータ演算回路、３１２は相関パラメータ
格納メモリ、３１３は動きベクトル補正回路、３１４、
４０５は動きベクトル補間回路、３１５、４０６は画素
単位動きベクトル格納メモリ、３１６、４０８は読みだ
し制御回路、３１７は画像符号出力端子、４００は画像
符号入力端子、４０４は復号されたデジタル画像をアナ
ログ映像信号に変換するＤ／Ａ変換回路、４０９は映像
信号出力端子である。

【００７８】ここで、本例は特許請求の範囲第３項に該
当する動きベクトル検出装置を含む特許請求の範囲第４
項に該当する画像符号化装置であり、動きベクトル補間
回路３１４が動きベクトル補間手段である。又、画像変
換回路３０４、画像逆変換回路３０６，４０２の構成
を、図５及び図６にそれぞれ示す。図５の水平フィルタ
５０１，５０２及び垂直フィルタ５０５〜５０８等が帯
域分割手段を構成し、局所窓設定回路５１３が変化領域
検出手段を構成し、窓係数乗算回路５１４が窓係数乗算
手段を構成している。

【００７９】次に、上記第１の例について、図３、図
４、図５、図６、図９、図１０、図１１、図１２を用い
て説明する。尚、図１１はサブバンド符号化帯域分割の
説明図、図１２はサブバンド係数伝送の説明図である。

【００８０】第１の例は、動き補償画像を用いたフレー
ム間符号化を行う動きベクトル検出装置と画像符号化装
置である。第１、第２の例と同じく入力画像は縦横１４
４×１７６画素で構成され、第１の例に示された縦横１
８×２２個に分割されたブロックについてその平行移動
成分を動きベクトルとして検出する動きベクトル検出装
置を動き検出部として用いている。図３における破線内
の３０９から３１３に至るブロックの動作は第１の例に
示したブロックと同じであるので、その動作の説明を省
略する。この結果として、動きベクトル補正回路３１３
は空間的に滑らかな動きベクトルを生成する。本例で
は、この動きベクトルが滑らかに得られることを利用し
て、動きベクトル補間回路３１４（４０５）（復号化す
る場合については図４参照、以下同様）において双１次
補間により画素単位の動きベクトルを生成する。この動
作を図１０を例に用いて説明する。フレームｔ上のＡ、
Ｂ、Ｃ、Ｄはブロックの中心位置を表している。これに
対して、第１の例で示した動き検出によりフレームｔ−
１の対応点がＡ'、Ｂ'、Ｃ'、Ｄ'として得られており、
動きベクトルを各々（ｕ_A，ｖ_A）、（ｕ_B，ｖ_B）、（ｕ
_C，ｖ_C）、（ｕ_D，ｖ_D）とする。この時、動きベクトル
補間回路３１４（４０５）では、（数３０）、（数３
１）、（数３２）、（数３３）、（数３４）に示されて
いる演算を、Ａ、Ｂ、Ｃ、Ｄで囲まれる矩形領域の各画
素位置について演算を行う。

【００８１】

【数３０】

【００８２】

【数３１】

【００８３】

【数３２】

【００８４】

【数３３】

【００８５】

【数３４】

【００８６】（数３０）におけるｘ、ｙはＡを原点とす
る水平垂直位置であり、Ｎはブロック中心の間隔であ
る。本例の場合、Ｎ＝８である。動きベクトル補間回路
３１４（４０５）は隣接する４ブロックの中心位置で囲
まれる全ての矩形領域の各画素について上記した動作を
行い、結果を画素単位動きベクトル格納メモリ３１５
（４０６）に書き込む。以上が特許請求の範囲第３項に
該当する動きベクトル検出装置の動作である。

【００８７】読みだし制御回路３１６（４０８）では画
素の動きベクトルに応じて当該画素をシフトして読み出
すことにより動き補償画像を生成する。本例では、前述
した構成により動き補償画像にブロック境界が生じない
滑らかな動き補償画像を生成することができる。図３に
示す符号化器では読みだし制御回路３１６の出力は差分
回路３０３に送られて、符号化対象となる現フレームと
の差分画像が生成される。これにより動き補償フレーム
間符号化が行わる。差分画像は画像変換回路３０４にお
いて、高能率符号化に適したデータに変換され、動きベ
クトルとともに可変長符号化回路３０５により符号化さ
れる。

【００８８】ここで、画像変換回路３０４と画像逆変換
回路３０６（４０２）の構成を図５、図６を用いて説明
する。図５において、５００は入力端子、５０１は水平
フィルタＨ０、５０２は水平フィルタＨ１、５０３、５
０４は水平画素数を１画素おきに間引く２：１ダウンサ
ンプリング回路、５０５、５０６は垂直フィルタＨ０、
５０７、５０８は垂直フィルタＨ１、５０９、５１０、
５１１、５１２は垂直画素数を１画素おきに間引く２：
１ダウンサンプリング回路、５１３は局所窓設定回路、
５１４は窓係数乗算回路、５１５は量子化回路、５１６
は走査回路、５１７は出力端子である。また図６におい
て、６００は入力端子、６０１は逆走査回路、６０２は
逆量子化回路、６０３、６０４、６０５、６０６は零の
輝度値を持つ画素を垂直方向一画素おきに挿入する１：
２アップサンプリング回路、６０７、６０８は垂直フィ
ルタＧ０、６０９、６１０は垂直フィルタＧ１、６１
１、６１２、６１７は加算回路、６１３、６１４は零の
輝度値を持つ画素を水平方向一画素おきに挿入する１：
２アップサンプリング回路、６１５は水平フィルタＧ
０、６１６は水平フィルタＧ１、６１８は出力端子であ
る。

【００８９】以上のように構成された画像変換回路３０
４と画像逆変換回路３０６（４０２）の動作を以下に説
明する。各フィルタの構成をＺ変換の形式で、（数３
５）〜（数４２）に示す。Ｚ_h ^-1とＺ_v ^-1は各々、水平１
画素、垂直１画素の遅延演算子である。

【００９０】

【数３５】

【００９１】

【数３６】

【００９２】

【数３７】

【００９３】

【数３８】

【００９４】

【数３９】

【００９５】

【数４０】

【００９６】

【数４１】

【００９７】

【数４２】

【００９８】フィルタの中で名称の末尾にＨ０と記した
ものは低帯域通過フィルタ、Ｈ１と記したものは高帯域
通過フィルタに相当する。本例の画像変換回路３０４で
は、前述したフィルタの構成により、局所窓設定回路５
１３にはＬＬ、ＬＨ、ＨＬ、ＨＨの４つの画像が入力さ
れることになる。２次元空間周波数上での各画像の帯域
を図１１に示す。図１２に示すサブバンド分割画像のよ
うに、サブバンド分割とダウンサンプリング回路の動作
により、画像の大きさは水平１／２、垂直１／２にな
る。従来のサブバンド符号化では、局所窓設定回路５１
３、窓係数乗算回路５１４がない構成になっている。
今、これが無いものとして説明する。従来のサブバンド
符号化では、多くの情報がＬＬ成分に集中する。加えて
量子化回路５１５においてＬＬ画像の量子化を細かくＬ
Ｈ、ＨＬ、ＨＨには粗くすることにより、高能率符号化
が行われる。なお、本例に示すフィルタ係数はD.Le Gal
l,A.Tabatani:"Sub-band Coding of Digital Images Us
ing Symmetric Short Kernel Filters and Arithmetic
Coding Techniques",Proc.IEEE IntConf.Acoustic Spee
ch Signal Processing, pp.761-764,April,1988記載の
フィルタに基いおり、量子化誤差が無ければ、画像はサ
ブバンド分割、サブバンド合成を経て完全に再構成され
る。ところが、超低ビットレートでは、符号化量を押え
るために、量子化回路５１５ではＬＬ画像においても相
当粗くする必要がある。このために、発明が解決しよう
とする課題の（Ｃ４）項に記した問題が生じてくる。そ
こで、動き補償画像とのフレーム間差分を全て量子化す
るのではなく、まとまった局所領域だけを送ることを考
える。

【００９９】図１２に例示した画像では３箇所に動き変
化領域が生じている。本例では、このような画像を符号
化するとき、全ての差分画像成分を粗い量子化で伝送す
るのではなく、差分画像の中でエネルギーの高い領域の
みをリンギングが生じないような量子化で伝送する戦略
をとる。これを、図５において説明する。図５では、局
所窓設定回路５１３が（数４３）、（数４４）に示す演
算により、各周波数成分のエネルギーの和が最大になる
一辺が２Ｔ−１の大きさの矩形領域の中心位置（ｌ，
ｍ）を探索する。

【０１００】

【数４３】

【０１０１】

【数４４】

【０１０２】（数４３）において、ｆ_LL、ｆ_LH、ｆ_HL、
ｆ_HHは各周波数成分画像の輝度を表しており、サブバン
ド係数とよぶ。本例ではＴ＝１８とする。窓の一辺の大
きさは３５となり、サブバンド分割された各画像の垂直
画素数は７２であるから、窓の一辺は垂直画素数の半分
程度の大きさをに相当する。

【０１０３】窓係数乗算回路５１４は局所窓設定回路５
１３から探索結果（ｌ，ｍ）を読み込む。そして、（数
４５）、（数４６）記載の演算により、サブバンド係数
ｆ_LL、ｆ_LH、ｆ_HL、ｆ_HHをｆ’_LL、ｆ’_LH、ｆ’_HL、
ｆ’_HHに変換する。これは、結局図１２に示すように差
分画像のエネルギー和の大きな領域以外のサブバンド係
数を零としていることになる。なお、（数４６）に示す
関数はハミング窓を実現しているが、これはサブバンド
係数を矩形窓により打ち切ると窓の境界付近にリンギン
グが生じる恐れがあるからである。

【０１０４】

【数４５】

【０１０５】

【数４６】

【０１０６】なお、（数４６）は応用によってはガウス
窓、ブラックマン窓などに変更しても良い。

【０１０７】量子化回路５１５では窓の領域外のサブバ
ンド係数を量子化して走査回路５１６に出力する。走査
回路５１６ではサブバンド係数をｆ’_LL、ｆ’_LH、ｆ’
_HL、ｆ’_HHの順に並べて出力端子５１７に出力する。

【０１０８】図６における逆走査回路６０１、逆量子化
回路６０２は以上の量子化と走査の逆処理を行なう。量
子化、逆量子化の過程を経るために、アップサンプリン
グ回路６０３〜６０６の入力となるサブバンド係数は量
子化誤差を含んだものとなる。本例では窓領域以外のサ
ブバンド係数が全て零であるので、窓領域内の量子化誤
差は、全画面のサブバンド係数を送る場合に比べて、小
さく抑えることができる。

【０１０９】全画面の差分情報を符号化していないが、
本例は動き補償画像にブロック境界を生じない画素単位
の動き補償方式を用いているために、大きな視覚劣化は
生じない。特に応用をテレビ電話と想定すると、背景画
像は動き補償で、顔の表情変化は窓領域のサブバンド係
数で伝送され、従来に比べて画質の良い超低ビットレー
ト符号化が期待できる。

【０１１０】また、本例の改良として、窓係数乗算回路
５１４に代えて、局所窓設定回路５１３により出力され
る窓位置データを符号化して伝送する領域情報符号化手
段と、その窓位置データにより示される窓領域における
各周波数帯域成分のみを伝送する帯域成分符号化手段と
を設けることにより、局所窓以外で零となるサブバンド
係数を伝送しない画像符号化装置を考えることができ
る。これは特許請求の範囲第５項に記載している画像符
号化装置に相当する。この場合画像復号化装置と画像復
号化装置間に窓位置情報の伝送形式を新たに決める必要
があるが、符号化量がさらに減ることが期待できる。

【０１１１】図７は、本発明に関連する第２の例の画像
符号化装置の構成図である。又、図８は、その画像符号
化装置に対応する画像復号化装置の構成図である。

【０１１２】図７と図８のおいて、７００は映像入力端
子、７０１は映像アナログ信号を量子化するＡ／Ｄ変換
回路、７０２、７０８、８０７は、映像の前後するフレ
ームを記憶しておくフレームメモリ、７０３は差分回
路、７０４は画像変換回路、７０５は可変長符号化回
路、７０６、８０２は画像逆変換回路、７０７、８０３
は加算回路、７０９は相関演算回路、７１０は動きベク
トル格納メモリ、７１１は相関パラメータ演算回路、７
１２は相関パラメータ格納メモリ、７１３は動きベクト
ル補正回路、７１４はアダマール変換演算回路、７１５
はアダマール変換係数しきい値処理回路、７１６、８０
５はアダマール変換逆演算回路、７１７、８０６は動き
ベクトル格納メモリ、７１８、８０８は読みだし制御回
路、７１９は画像符号出力端子、８００は画像符号入力
端子、８０１は復号化回路、８０４は復号されたデジタ
ル画像をアナログ映像信号に変換するＤ／Ａ変換回路、
８０９は映像信号出力端子である。

【０１１３】ここで、本例は特許請求の範囲第６項に該
当する画像符号化装置であり、アダマール変換演算回路
７１４等が動きベクトル変換手段を構成し、可変長符号
化回路７０５が動きベクトル符号化手段を構成してい
る。

【０１１４】次に、上記第２の例について、図７、図
８、図１３、図１４を用いて説明する。尚、図１３は動
きベクトル階層符号化の説明図、図１４は動きベクトル
の直交変換処理の説明図である。

【０１１５】第２の例は、第１の例と同じく動き補償画
像を用いたフレーム間符号化を行う画像符号化装置であ
る。第１の例と第２の例の異なるところは、動き補償画
像生成と動きベクトル符号化の構成が異なるだけであ
り、具体的には符号化装置において、動きベクトル補間
回路３１４をアダマール変換演算回路７１４、アダマー
ル変換係数しきい値処理回路７１５、アダマール変換逆
演算回路７１６に置き換えたことが異なる。これに対応
して画像復号化装置においても、動きベクトル補間回路
４０５をアダマール変換逆演算回路８０５に置き換えて
いる。この置換に対して、動きベクトル格納メモリ７１
７、８０６、読みだし制御回路７１８、８０８、可変長
符号化回路７０５、復号化回路８０１の仕様が若干こと
なるが、置換部分を除く各ブロックの処理は基本的に第
１の例と同じであるので、詳細な説明は省略する。

【０１１６】置換部分の処理に付いて以下に説明する。
本例では、動きベクトル補正回路７１３により滑らかに
得られた動きベクトルについて、アダマール変換演算回
路７１４では、図１３に示すように動きベクトル検出を
行なった４つのブロックを一つのブロックとして扱い直
交変換を施す。これを（数４７）、（数４８）、（数４
９）、（数５０）、（数５１）に示す。

【０１１７】

【数４７】

【０１１８】

【数４８】

【０１１９】

【数４９】

【０１２０】

【数５０】

【０１２１】

【数５１】

【０１２２】これにより、縦横１８×２２ブロックにお
ける動きベクトル水平成分は図１４に示すように、９×
１１のｈ０、ｈ１、ｈ２、ｈ３の４成分に分解される。
（数４７）〜（数５１）では、動きベクトルの水平成分
uのみを示したが、vも同様の処理でアダマール変換が行
なわれる。

【０１２３】アダマール変換される４つのブロックの動
きが全て等しいとき、ｈ０係数以外のｈ１、ｈ２、ｈ３
は全て零になる。特に本例では動きベクトルが滑らかに
求められるために動き情報はｈ０係数に集中する。アダ
マール変換を施した後の、変換係数をｈ０、ｈ１、ｈ
２、ｈ３の順に並べた系列に対してハフマン符号化を用
いた可変長符号化を行い高能率に符号化を行なう。これ
は可変長符号化回路７０５で行なわれる。本例ではこの
符号化を行なう前に、アダマール変換係数しきい値回路
７１５により絶対値が１未満のｈ１、ｈ２、ｈ３の係数
を０に変換し、１以上ではそのまま出力する。しきい値
処理された変換係数を（数５２）で表現すると、アダマ
ール変換逆演算回路７１６は（数５３）、（数５４）、
（数５５）、（数５６）で表現される処理を行なう。

【０１２４】

【数５２】

【０１２５】

【数５３】

【０１２６】

【数５４】

【０１２７】

【数５５】

【０１２８】

【数５６】

【０１２９】以上のアダマール変換としきい値処理の効
果を（数４７）がＵ_i,j ＝（１，３，２，３）^tの場合
を例に説明する。この場合、アダマール変換の結果は
（ｈ０_i,j＝９／２，ｈ０_i,j＝−３／２，ｈ０_i,j＝−
１／２，ｈ０_i,j＝−１／２）となる。この値をしきい
値処理することなく逆変換するとＵ_i,j は完全に復元さ
れる。本例では、しきい値処理により変換係数をH_i,j＝
（９／２，−３／２，０，０）に変更する。この逆変換
により得られる動きベクトル水平成分は（３／２，３，
３／２，３）となる。ｕ_i,jとｕ_i+1,jがちょうど両者の
平均をとる値に変更されることになる。

【０１３０】本例ではアダマール変換によりｈ０係数に
情報を集中させ、さらにしきい値処理を設けることによ
り、アダマール変換係数の零成分を増やし、より少ない
符号化量で動きベクトルの符号を行なことができる。特
に動きベクトルが滑らかに得られていることからその効
果は大きい。また、しきい値処理により動きベクトルは
完全に再構成されないが、上記の例に見られるように、
しきい値処理がｈ１、ｈ２、ｈ３の係数であるため、動
きベクトルの再構成結果は平滑化された値となり、大き
な視覚劣化となることがない。またしきい値よりも大き
な差分情報は保存されることから、動きが大きく異なる
ブロック境界はアダマール変換と、その逆変換を経ても
完全に再構成される。

【０１３１】本例にアダマール変換を用いた理由は、簡
単な回路構成による固定小数点演算で元の動きベクトル
が完全に再構成される点にあるが、傾斜変換などのアダ
マール変換に代わる他の直交変換の利用も考えられる。

【０１３２】なお、本例で扱う画像が小さいためアダマ
ール変換により９×１１の係数を求めたが、さらに大き
な画像では得られたｈ０係数をさらにアダマール変換し
て、動きベクトルを階層符号化することが考えられる。

【０１３３】

【発明の効果】以上述べたところから明らかなように本
発明は、請求項１、又は２記載の動きベクトル検出装置
を用いれば隣接するブロック間の相関を利用した滑らか
な動きベクトルが得られる。これにより、ブロック相関
に用いる領域の大きさを小さくしても、比較的安定に動
きベクトルを求めることができる。

【０１３４】また、請求項３記載の動きベクトル検出装
置では、請求項１又は２記載の動きベクトル検出装置を
利用して画素単位の動きベクトルを生成することができ
る。これは動き補償画像にブロック境界を生じない効果
を持つ。

【０１３５】

【０１３６】

【０１３７】

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の動きベクトル検
出装置の構成図である。

【図２】本発明にかかる第２の実施例の動きベクトル検
出装置の構成図である。

【図３】本発明にかかる第１の例の画像符号化装置の構
成図である。

【図４】同第１の例の画像符号化装置に対応する画像復
号化装置の構成図である。

【図５】同第１の例における画像変換回路の構成図であ
る。

【図６】同第１の例における画像逆変換回路お構成図で
ある。

【図７】本発明にかかる第２の例の画像符号化装置の構
成図である。

【図８】同第２の例の画像符号化装置に対応する画像復
号化装置の構成図である。

【図９】ブロック相関法の原理を説明する図である。

【図１０】ブロック相関処理の動作を説明する図であ
る。

【図１１】サブバンド符号化帯域分割を説明する図であ
る。

【図１２】サブバンド係数伝送を説明する図である。

【図１３】動きベクトル階層符号化を説明する図であ
る。

【図１４】動きベクトル直交変換処理を説明する図であ
る。

【符号の説明】

１０４、３０９、７０９相関演算回路１０５、３１１、７１１相関パラメータ演算回路１０８、２１２、３１３、７１３動きベクトル補正回
路２０５〜２０９差分絶対値和演算回路２１０最小値判定回路３０４、７０４画像変換回路３０５、７０５可変長符号化回路３０６、４０２、７０６、８０２画像逆変換回路３１４、４０５動きベクトル補間回路４０１、８０１復号化回路５０１、５０２、６１５、６１６水平フィルタ５０５〜５０８、６０７〜６１０垂直フィルタ５１３局所窓設定回路５１４窓係数乗算回路７１４アダマール（Ｈ）変換演算回路７１５アダマール（Ｈ）変換係数しきい値回路７１６、８０５アダマール（Ｈ）変換逆演算回路

Claims

(57)【特許請求の範囲】

【請求項１】符号化された画像を保持するメモリと、画像を分割して得られる複数の部分領域について、前記
メモリから時間的に前後するフレーム画像を読みだし、
それら異なるフレーム画像の部分領域間の誤差を演算
し、最小誤差となる前記部分領域間の偏位及びその偏位
近傍における誤差値を求める誤差演算手段と、前記最小誤差となる偏位及び前記近傍における誤差値か
ら偏位を変数とする誤差関数を求める誤差関数演算手段
と、前記誤算関数と隣接する部分領域における偏位の変化と
の和が最小となる偏位を求める最適化手段とを、備えたことを特徴とする動きベクトル検出装置。
【請求項２】符号化された画像を保持するメモリと、画像を分割して得られる複数の部分領域について、時間
的に前後するフレーム画像において対応する部分領域間
の偏位を記憶する偏位記憶手段と、前記メモリから時間的に前後するフレーム画像を読みだ
し、前記偏位記憶手段に記憶されている偏位近傍で、そ
れら異なるフレーム画像の部分領域間の誤差及び、隣接
する部分領域の偏位との変化の和が最小となる方向を求
める最小偏位方向演算手段と、その最小偏位方向演算手段で得られた最小偏位方向へ、
前記偏位記憶手段に記憶されている偏位を変化させる補
正手段とを備え、前記偏位記憶手段は、前記最小偏位方向演算手段と前記
補正手段を複数回繰り返し動作させた時に記憶された偏
位を動きベクトルとして出力することを特徴とする動き
ベクトル検出装置。
【請求項３】請求項１、又は２記載の前記動きベクト
ル検出装置と、その動きベクトル検出装置により得られた複数の動きベ
クトルを補間して画素毎の動きベクトルを求める動きベ
クトル補間手段とを、備えたことを特徴とする動きベクトル検出装置。