JPH08317405A

JPH08317405A - 動きベクトル検出装置

Info

Publication number: JPH08317405A
Application number: JP12332695A
Authority: JP
Inventors: Hiroshi Aoki; 弘青木
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 1995-05-23
Filing date: 1995-05-23
Publication date: 1996-11-29
Anticipated expiration: 2016-03-26
Also published as: JP3149076B2

Abstract

(57)【要約】【目的】本発明は、フレーム中の入力ブロックと他の
フレーム中の予測しようとするブロックとの差分の差分
の総和が最小の予測ブロックを検出する動きベクトル検
出装置に関し、フレーム中の入力ブロックと予測ブロッ
クとの対応する画素の差分を求め接する画素の当該差分
の差分の総和が最小の予測ブロックを検出し、入力ブロ
ックと予測ブロックとの差分をもとにＤＣＴ変換を行っ
て圧縮し、ＤＣ成分を減少させて動画を高効率に圧縮す
ることを目的とする。【構成】フレーム中の入力ブロックと動きを予測しよ
うとするフレーム中のブロックとの画素対応の差分を求
めて接する画素の当該差分の差分の総和が最小のブロッ
クを予測ブロックと検出する動きベクトル検出手段を備
えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、フレーム中の入力ブロ
ックと他のフレーム中の予測しようとするブロックとの
差分の差分の総和が最小の予測ブロックを検出する動き
ベクトル検出装置に関するものである。

【０００２】

【従来の技術】従来、ＭＰＥＧやＨ．２６１などの動画
像を圧縮・伸張する技術で用いられる動きベクトル検出
は、図８に示すようなブロックマッチング方式が用いら
れている。この図８に示すブロックマッチング方式は、
現フレームのあるブロック（入力ブロック）と、前フレ
ームの所定領域内のブロック（予測ブロック）との画素
対応の差分を求めて当該差分の総和が最も小さい予測ブ
ロックを検出し、この予測ブロックから現フレームの入
力ブロックへの距離を動きベクトルと検出していた。

【０００３】

【発明が解決しようとする課題】上述の従来の図８を用
いて説明した動きベクトルの検出は、差分を求めるとき
にブロック内でいくつかの画素の差が非常に大きくて
も、全体として見た場合に差が小さくなってしまい、入
力ブロックと予測ブロックとの差分をＤＣＴ変換して圧
縮するときに効率的な変換を行えないという問題があっ
た。

【０００４】本発明は、これらの問題を解決するため、
フレーム中の入力ブロックと予測ブロックとの対応する
画素の差分を求め接する画素の当該差分の差分の総和が
最小の予測ブロックを検出し、入力ブロックと予測ブロ
ックとの差分をもとにＤＣＴ変換を行って圧縮し、ＡＣ
成分を減少させて動画を高効率に圧縮することを目的と
している。

【０００５】

【課題を解決するための手段】図１を参照して課題を解
決するための手段を説明する。図１において、エンコー
ダ２は、入力された画像を取り込んでメモリ３に格納し
たり、動きベクトル検出器４によって検出した動きベク
トルをもとに入力ブロックと予測ブロックとの差分をＤ
ＣＴ変換して動画を圧縮するものである。

【０００６】動きベクトル検出器４は、入力ブロックと
予測しようとするブロックとの差分の差分の総和が最小
の予測ブロックを検出するものである。デコーダ５は、
エンコーダ２によって生成された信号を復号して画像を
生成するものである。

【０００７】

【作用】本発明は、図１に示すように、動きベクトル検
出器４が入力された現フレームの入力ブロックと、前フ
レームの動きを予測しようとするブロックとの画素対応
の差分を求めた後、接する画素の当該差分の差分を求め
てその総和が最小のブロックを予測ブロックとして検出
し、エンコーダ２が入力ブロックと予測ブロックとの差
分をＤＣＴ変換して圧縮するようにしている。

【０００８】この際、接する水平方向の画素の当該差分
の差分の総和が最小のブロックを予測ブロックと検出す
るようにしている。また、接する垂直方向の画素の当該
差分の差分の総和が最小のブロックを予測ブロックと検
出するようにしている。

【０００９】また、接する斜め方向の画素の当該差分の
差分の総和が最小のブロックを予測ブロックと検出する
ようにしている。また、接する水平方向、垂直方向、お
よび斜め方向のうちの２つ以上の方向の画素の当該差分
の差分の総和が最小のブロックを予測ブロックと検出す
るようにしている。

【００１０】また、入力ブロックおよび動きを予測しよ
うとするブロックとして圧縮前の生のフレームの画像を
用いるようにしている。また、入力ブロックとして圧縮
前の生のフレームの画像を用い、動きを予測しようとす
るブロックを圧縮して再生したフレームの画像を用いる
ようにしている。

【００１１】従って、入力ブロックと予測ブロックとの
対応する画素の差分をそれぞれ求めた後、接する画素の
当該差分の差分を求めてその総和が最小の予測ブロック
を検出し、入力ブロックと予測ブロックとの差をもとに
ＤＣＴ変換を行って動画像を圧縮することにより、ＡＣ
成分を減少させてＤＣＴ変換を行なって高効率に動画圧
縮することが可能となる。

【００１２】

【実施例】次に、図１から図７を用いて本発明の実施例
の構成および動作を順次詳細に説明する。

【００１３】図１は、本発明のシステム構成図を示す。
図１において、入力装置１は、フレーム（画像）を入力
するものであって、例えば図示のようにビデオカメラ、
ビデオディスクやレーザディスクなどである。

【００１４】エンコーダ２は、入力された画像を取り込
んでメモリ３に格納したり、動きベクトル検出器４によ
って検出した動きベクトルをもとに現フレームの入力ブ
ロックと前フレームの予測ブロックとの差分についてＤ
ＣＴ変換を行い、動画を圧縮するものである。

【００１５】メモリ３は、入力装置１から入力されたフ
レーム（画像）などを格納して記憶するものである。動
きベクトル検出器４は、現フレームの入力ブロックと前
フレーム中の予測しようとするブロックとの画素対応の
差分を求め、接する画素の当該差分の差分の総和が最小
の予測ブロックを検出するものである。

【００１６】デコーダ５は、エンコーダ２によって動画
圧縮された信号を復号して元の画像（フレーム）を生成
するものである。ディスプレイ６は、デコーダ５によっ
て復号された画像（フレーム）を表示するものである。

【００１７】次に、図２のフローチャートに示す順序に
従い、図１の構成の動作を詳細に説明する。図２におい
て、Ｓ１は、画像データの取り込みを行なう。これは、
図１のエンコーダ２が入力装置１から入力された画像デ
ータを取り込み、メモリ３に格納して記憶する。

【００１８】Ｓ２は、現フレームのブロックｉ（入力ブ
ロック）の抽出を行なう。これは、現フレームをブロッ
クに分割（例えば１画素が８ビットで表現され、１６画
素×１６画素を１ブロックとして分割）し、現フレーム
中から任意のブロックｉの抽出を行なう。

【００１９】Ｓ３は、所定領域から前フレームのブロッ
クｊを抽出する。これは、前フレームを同様にブロック
に分割（例えば１画素が８ビットで表現され、１６画素
×１６画素を１ブロックとして分割）し、前フレーム中
の所定領域（例えば現フレームのブロックｉに対応する
前フレームのブロック位置を中心に４８画素×４８画素
の所定領域）内から任意のブロックｊの抽出を行なう。

【００２０】Ｓ４は、ブロックｉ（入力ブロック）とブ
ロックｊ（予測ブロック）の画素対応の差分を算出す
る。Ｓ５は、差分の水平方向、垂直方向、斜め方向の隣
接間の差分を算出し、それぞれの和を求め、総和を求め
る。これは、後述する図４で模式的に説明するように、
図５の式に従い、ブロックｉ（入力ブロック）とブロッ
クｊ（予測ブロック）との差分を求め、水平方向、垂直
方向、および斜め方向についてそれぞれ隣接する画素の
当該差分の差分の和を求め、これら和の総和を算出す
る。

【００２１】Ｓ６は、１画素単位に水平あるいは垂直方
向にずらす。これは、Ｓ３で抽出したブロックｊ（１６
画素×１６画素のブロックｊ）について、所定領域（例
えば４８画素×４８画素の所定領域）内で水平方向ある
いは垂直方向に１画素単位で順次ずらす。

【００２２】Ｓ７は、所定領域内の処理が終わったか判
別する。ＹＥＳの場合には、所定領域（例えば４８画素
×４８画素の所定領域）内でブロックｊ（１６画素×１
６画素のブロック）を１画素づつ水平方向あるいは垂直
方向に移動させて、そのときのＳ５の総和を求める処理
を終了したので、Ｓ８に進む。一方、ＮＯの場合には、
次のブロックｊについてＳ３以降を繰り返す。

【００２３】Ｓ８は、Ｓ７のＹＥＳで所定領域内の全て
のブロックｊについて総和の算出ができたので、ブロッ
クｉに対する総和が最小となるブロックｊの移動量（Δ
ｘ、Δｙ）を算出する。

【００２４】Ｓ９は、現ブロック（ブロックｉ）と算出
で求めたブロック（差分の差分の総和が最小のブロック
ｊ）との画素単位の差を算出する。これは、Ｓ８で求め
た現フレーム中のブロックｉ（入力ブロック）に対する
前フレーム中の総和が最小のブロックｊ（予測ブロッ
ク）との差分を算出する。

【００２５】Ｓ１０は、ＤＣＴ変換を行なう。これは、
Ｓ９で求めた差分をもとに後述するＤＣＴ変換を行う。
Ｓ１１は、量子化する。

【００２６】Ｓ１２は、可変長符号化する。以上によっ
て、現フレーム中のブロックｉ（例えば１６画素×１６
画素、入力ブロック））と前フレーム中の対応する所定
領域（例えば４８画素×４８画素）中のブロックｉとの
差分を求め水平方向、垂直方向および斜め方向に接する
画素の間の当該差分の差分の和をそれぞれ求め、これら
和の総和を算出して最小のブロックｊ（予測ブロック）
を検出し、現フレームのブロックｉ（入力ブロック）と
前フレームの総和が最小のブロックｊ（予測ブロック）
との差分をもとにＤＣＴ変換、量子化、および可変符号
化を行い、動画圧縮する。これにより、現フレーム中の
ブロックｉ（入力ブロック）に対する前フレーム中の所
定領域内のブロックｊ（予測ブロック）を検出する際
に、差分の水平方向、垂直方向および斜め方向の差分の
和の総和の最小のブロックｊ（予測ブロック）を求めた
ことにより、最も起伏の少ない（ＡＣ成分の少ない）ブ
ロックｊ（予測ブロック）を検出することができ、これ
に続くＤＣＴ変換、量子化、および可変長符号化をより
効率的に行なうことが可能となる。以下詳細に説明す
る。

【００２７】図３は、本発明によって算出された差分値
例を示す。図３の（ａ）は、入力ブロック（図２の現フ
レームのブロックｉ）を模式的に示す。ここで、入力ブ
ロックは、４画素×４画素、各画素は８ビット（２５６
階調）である。Ｘ０、Ｘ１、Ｘ２、Ｘ３、Ｙ０、Ｙ１、
Ｙ２、Ｙ３が画素（４×４）を表し、縦方向が８ビット
の階調を表す。

【００２８】図３の（ｂ）は、予測ブロック（図２の前
フレームのブロックｊ）を模式的に示す。ここで、入力
ブロックは、４画素×４画素、各画素は８ビット（２５
６階調）である。Ｘ０、Ｘ１、Ｘ２、Ｘ３、Ｙ０、Ｙ
１、Ｙ２、Ｙ３が画素（４×４）を表し、縦方向が８ビ
ットの階調を表す。

【００２９】図３の（ｃ）は、差分の差分を表す。これ
は、図３の（ａ）の入力ブロックから図３の（ｂ）の予
測ブロックの差分を求め、水平方向、垂直方向および斜
め方向に接する画素の当該差分の差分の和を求めてその
総和を求めたものである。この差分の差分から判明する
ように、接する画素の差分の差分の和を求めているため
にＡＣ成分が差し引かれ、ゆるやかな起伏のない予測ブ
ロックが検出できるので、ＤＣＴ変換時などに効率的に
変換を行なう行なうことが可能となる。

【００３０】図４は、本発明の動作説明図を示す。これ
は、既述した差分の差分を求めるときの具体的な説明図
である。図４の（ａ）は、予測フレームを示す。この予
測フレームは、前フレームであって、図示のように複数
のブロック（予測ブロック）に分割し、各ブロック（予
測ブロック）は、ここでは、８画素×８画素について各
画素が画素値Ｙ₀₀〜Ｙ₀₇、Ｙ₁₀〜Ｙ₁₇、Ｙ₂₀〜Ｙ₂₇、Ｙ
₃₀〜Ｙ₃₇、Ｙ₄₀〜Ｙ₄₇、Ｙ₅₀〜Ｙ₅₇、Ｙ₆₀〜Ｙ₆₇、Ｙ₇₀
〜Ｙ₇₇を持つとする。

【００３１】図４の（ｂ）は、現フレームを示す。この
現フレームは、同様に図示のように複数のブロック（入
力ブロック）に分割し、各ブロック（入力ブロック）
は、ここでは、８画素×８画素について各画素が画素値
Ｘ₀₀〜Ｘ₀₇、Ｘ₁₀〜Ｘ₁₇、Ｘ₂₀〜Ｘ₂₇、Ｘ₃₀〜Ｘ₃₇、Ｘ
₄₀〜Ｘ₄₇、Ｘ₅₀〜Ｘ₅₇、Ｘ₆₀〜Ｘ₆₇、Ｘ₇₀〜Ｘ₇₇を持つ
とする。

【００３２】図４の（ｃ）は、水平方向および垂直方向
の差分の差分を求める様子を示す。（１）図４の（ｂ）の現フレームのブロック（入力ブ
ロック）の各画素の画素値Ｘと図４の（ａ）の予測フレ
ームのブロック（予測ブロック）の各画素の画素値Ｙと
の図示の差分Ｚ_ij（ｉ＝０〜７、ｊ＝０〜７）をそれぞ
れ求める。例えば・Ｚ₀₀＝Ｘ₀₀−Ｙ₀₀ として求める。

【００３３】（２）（１）で求めた差分Ｚについて水
平方向に接する画素間の差分Δａ_ij（ｉ＝０〜７、ｊ＝
０〜７）をそれぞれ求める。例えば・Δａ₀₀＝Ｚ₀₁−Ｚ₀₀ として求める。次に、水平方向に求めた差分Δａ_ij（ｉ
＝０〜７、ｊ＝０〜７）の水平方向毎の和Σａｊ（ｊ＝
０〜７）を図示のようにそれぞれ求める。

【００３４】（３）（１）で求めた差分Ｚについて垂
直方向に接する画素間の差分Δｂ_ij（ｉ＝０〜７、ｊ＝
０〜７）をそれぞれ求める。例えば・Δｂ₀₀＝Ｚ₁₀−Ｚ₀₀ として求める。次に、垂直方向に求めた差分Δｂ_ij（ｉ
＝０〜７、ｊ＝０〜７）の垂直方向毎の和Σｂｉ（ｉ＝
０〜７）を図示のようにそれぞれ求める。

【００３５】（４）（２）と（３）で求めた和の総和
を求める。この総和を求めることを、図４の（ａ）の図
示のブロックを中心に上下、左右に１画素づつずらして
それぞれのときの総和を求め、総和が最小のブロックを
予測ブロックとして検出する。

【００３６】以上によって、水平方向および垂直方向の
差分の差分の和を求めてその総和が最小のブロックを予
測ブロックと検出することが可能となる。これにより、
水平方向の差分の差分の総和を求めて総和が最小の予測
ブロックを求めたことにより、水平方向にＡＣ成分を差
し引いて起伏の少ない予測ブロックを検出してＤＣＴ変
換などの効率を高めることが可能となると共に、垂直方
向の差分の差分の総和を求めて総和が最小の予測ブロッ
クを求めたことにより、垂直方向にＡＣ成分を差し引い
て起伏の少ない予測ブロックを検出してＤＣＴ変換など
の効率を高めることが可能となる。

【００３７】図４の（ｄ）は、左上から右下への斜め方
向の差分の差分を求める様子を示す。これは、既述した
図４の（ｃ）と同様に図示のように左上から右下への斜
め方向の差分の差分の総和を求めたものである。左上か
ら右下への斜め方向の差分の差分の総和を求めて総和が
最小の予測ブロックを求めたことにより、左上から右下
への斜め方向にＡＣ成分を差し引いて起伏の少ない予測
ブロックを検出してＤＣＴ変換などの効率を高めること
が可能となる。

【００３８】図４の（ｅ）は、左下から右上への斜め方
向の差分の差分を求める様子を示す。これは、既述した
図４の（ｃ）と同様に図示のように左下から右上への斜
め方向の差分の差分の総和を求めたものである。左下か
ら右上への斜め方向の差分の差分の総和を求めて総和が
最小の予測ブロックを求めたことにより、左下から右上
への斜め方向にＡＣ成分を差し引いて起伏の少ない予測
ブロックを検出してＤＣＴ変換などの効率を高めること
が可能となる。

【００３９】図５は、本発明の総和算出式を示す。図５
において、Ｓｍｉｎは、総和の最小値を表す。・１行目の右辺は、左上から右下への斜め方向の総和を
求める算出式である。これは、既述した図４の（ｄ）の
総和を求めるときの算出式である。

【００４０】・２行目は、左下から右上への斜め方向の
総和を求める算出式である。これは、既述した図４の
（ｅ）の総和を求めるときの算出式である。・３行目は、水平方向の総和を求める算出式である。こ
れは、既述した図４の（ｃ）の水平方向の総和を求める
ときの算出式である。

【００４１】・４行目は、垂直方向の総和を求める算出
式である。これは、既述した図４の（ｃ）の垂直方向の
総和を求めるときの算出式である。図６は、本発明の２
次元ＤＣＴ変換の説明図を示す。

【００４２】図６の（ａ）は、２次元ＤＣＴ変換によっ
て圧縮しようとする画像を示す。図６の（ｂ）は、図６
の（ａ）の画像について、４×４個の図示の画像の和と
して表現したときに各係数Ｓ_ij（ｉ＝０〜３、ｊ＝０〜
３）を求める様子を示す。これら係数Ｓ_ij（ｉ＝０〜
３、ｊ＝０〜３）の値によって、図６の（ａ）の画像は
表現されるものである。

【００４３】図７は、本発明の画像データの圧縮説明図
を示す。図７の（ａ）は、画像データを示す。図７の
（ｂ）は、本発明のＤＣＴ係数データ例を示す。本発明
では、現フレームの入力ブロックに対して、既述したよ
うに差分の差分の総和が最小の前フレーム中の予測ブロ
ックを検出しているため、ＡＣ成分を減少させて最も起
伏の少ない予測ブロックを検出しているので、図示のよ
うに、ＤＣＴ係数が小さい領域が多くなり、ＤＣＴ係数
の大きい部分が一部に集中してその数が少なくなるの
で、ＤＣＴ変換を効率的に行なうことができると共に、
特に可変長符号化のときにＤＣＴ係数の大きい部分に短
い符号を付与して圧縮率を高めることが可能となる。

【００４４】

【発明の効果】以上説明したように、本発明によれば、
フレームの入力ブロックと予測ブロックとの対応する画
素の差分を求めた後、接する画素の当該差分の差分を求
めてその総和が最小の予測ブロックを検出し、入力ブロ
ックと予測ブロックとの差をもとにＤＣＴ変換を行って
画像を圧縮する構成を採用しているため、ＡＣ成分を減
少させてＤＣＴ変換を行って動画像を高効率に圧縮する
ことができる。

【図面の簡単な説明】

【図１】本発明のシステム構成図である。

【図２】本発明の動作説明フローチャートである。

【図３】本発明によって算出された差分値例である。

【図４】本発明の動作説明図である。

【図５】本発明の総和算出式例である。

【図６】本発明の２次元ＤＣＴ変換の説明図である。

【図７】本発明の画像データの圧縮説明図である。

【図８】従来技術の説明図である。

【符号の説明】

１：入力装置２：エンコーダ３：メモリ４：動きベクトル検出器５：デコーダ６：ディスプレイ

Claims

【特許請求の範囲】

【請求項１】フレーム中の入力ブロックと他のフレーム
中の予測ブロックとの差分をもとに圧縮する装置におい
て、フレーム中の入力ブロックと動きを予測しようとするフ
レーム中のブロックとの画素対応の差分を求めて接する
画素の当該差分の差分の総和が最小のブロックを予測ブ
ロックと検出する動きベクトル検出手段を備えたことを
特徴とする動きベクトル検出装置。
【請求項２】上記接する水平方向の画素の当該差分の差
分の総和が最小のブロックを予測ブロックと検出するこ
とを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】上記接する垂直方向の画素の当該差分の差
分の総和が最小のブロックを予測ブロックと検出するこ
とを特徴とする請求項１記載の動きベクトル検出装置。
【請求項４】上記接する斜め方向の画素の当該差分の差
分の総和が最小のブロックを予測ブロックと検出するこ
とを特徴とする請求項１記載の動きベクトル検出装置。
【請求項５】上記接する水平方向、垂直方向、および斜
め方向のうちの２つ以上の方向の画素の当該差分の差分
の総和が最小のブロックを予測ブロックと検出すること
を特徴とする請求項１記載の動きベクトル検出装置。
【請求項６】上記入力ブロックおよび動きを予測しよう
とするブロックとして圧縮前の生の画像を用いたことを
特徴とする請求項１ないし請求項５記載のいずれかの動
きベクトル検出装置。
【請求項７】上記入力ブロックとして圧縮前の生の画像
を用い、上記動きを予測しようとするブロックを圧縮し
た後に再生した画像を用いたことを特徴とする請求項１
ないし請求項５記載のいずれかの動きベクトル検出装
置。