JPH08140101A - 動き検出方法及び動き検出装置及び画像送信装置 - Google Patents

動き検出方法及び動き検出装置及び画像送信装置

Info

Publication number
JPH08140101A
JPH08140101A JP30159394A JP30159394A JPH08140101A JP H08140101 A JPH08140101 A JP H08140101A JP 30159394 A JP30159394 A JP 30159394A JP 30159394 A JP30159394 A JP 30159394A JP H08140101 A JPH08140101 A JP H08140101A
Authority
JP
Japan
Prior art keywords
point
error
minimum
block
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30159394A
Other languages
English (en)
Inventor
Shinichi Hirata
晋一 平田
Hirotaka Obara
広隆 小原
Toshihiko Takatani
敏彦 高谷
Akifumi Arayashiki
明文 荒屋敷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Electric Corp
Original Assignee
Kokusai Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Electric Corp filed Critical Kokusai Electric Corp
Priority to JP30159394A priority Critical patent/JPH08140101A/ja
Publication of JPH08140101A publication Critical patent/JPH08140101A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】 広い探索範囲を設定した場合でも演算量を少
なくして処理速度を向上させ、更に動き検出の制度を向
上させることができる動き検出方法及び動き検出装置及
び画像送信装置を提供する。 【構成】 前画像において、動き検出を行うブロックの
原点付近又は予測点付近で現画像のブロックとマッチン
グ誤差を求め、誤差量が少ない方の点を探索開始点と
し、その誤差量に応じて見本ベクトル集合を選択してそ
の点上に展開し、見本ベクトル集合の各点で形成される
ブロックと原画像のブロックとでマッチング誤差を求
め、誤差量の最小な点(誤差最小点)を基準点とし、そ
の誤差量を基準最小誤差量として、更にその基準最小誤
差量に応じた見本ベクトル集合を選択してブロックマッ
チングを行う動作を繰り返し、誤差最小点を収束させて
動きベクトルを検出する動き検出方法及び動き検出装置
及び画像送信装置である。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像通信装置に用い
られる動き補償フレーム間予測における動き検出方法及
び動き検出装置及びそれを用いた画像送信装置に係り、
特に、広い探索範囲を設定した場合にも演算量を少なく
し、且つ、動き検出の精度を向上させることができる動
き検出方法及び動き検出装置及び画像送信装置に関す
る。
【0002】
【従来の技術】動画像を圧縮/仲長する技術としてMP
EG(Moving PictureCoding Ex
perts Group)が知られており、そのMPE
Gにおいて前画像フレ−ムから現画像フレ−ムを予測
し、実際の動きにより現画像を補正する動き補償フレ−
ム間予測の技術が知られている。そして、この動き補償
フレ−ム間予測を行うために画像の動きを検出する技術
が、動き検出である。尚、実際に、MPEGでは、前方
向・後方向・双方向に対して動き補償フレ−ム間予測を
行っており、更に複数のフレ−ムをまたいでフレ−ム間
予測を行っているが、本文中では説明を簡略化するため
に前画像から現画像を予測する前方向予測について説明
することとする。まず、動き検出の概要について図8を
用いて説明する。図8(a)は、1フレーム前の画像を
示す説明図であり、(b)は現在の画像を示す説明図で
あり、(c)は動きベクトルを示す説明図である。図8
(b)に示す現在の画像(現画像フレーム)中で、右側
に存在するブロック(ヘリコプターを囲む領域)は、図
8(a)に示す1フレーム前の画像(前画像フレーム)
中では、左側に存在している。これは、1フレームの間
にブロックが左側から右側に動いたことを示している。
この時、図8(c)に示すような、1フレーム前の画像
から現在の画像へのブロックの動き量を示すベクトルを
動きベクトルといい、この動きベクトルを求める作業が
動き検出である。
【0003】従来の動き検出方法の1つとしては、ブロ
ックマッチング法がある。図9は、従来のブロックマッ
チング法の模式説明図である。ブロックマッチング法
は、現画像のブロックと前画像における特定のブロック
とを全画素について絶対値差分を求め、その総和を誤差
量として算出してブロック間の画像の相似度を求めるも
のである。図9に示すブロックマッチング法は、ブロッ
ク間のブロックマッチングをどのような順序で行うかを
示した一例である。図9に示すように、ブロックマッチ
ング法は、1フレーム前の画像において動き検出を行う
動き検出領域(以下、探索領域)の全画素について、1
画素ずつずらしながら現在の画像のブロックとのマッチ
ングを行い、マッチング誤差が最小となるブロックを捜
し出して、動きベクトルを求める方法である。
【0004】具体的に説明すると、現在のフレームで位
置(i,j)にあるブロックと同位置にある前フレーム
のブロックを中心として探索領域を設定し、当該ブロッ
クと、その探索領域内において位置(i,j)から
(x,y)だけシフトしたブロックとの相似度を計算
し、相似度が最も高くなるシフト量(x,y)の逆ベク
トルを動きベクトルとするものである。ここで、相似度
は、絶対値差分等を用いた評価関数により求められるも
のである(「画像圧縮技術のはなし」堀内司朗、有村一
朗監修 工業調査会 1993年10月発行 p70〜
p73参照)。
【0005】また、計算量を削減するための別の従来の
動き検出方法として多段階探索法がある。この多段階探
索法について図10を用いて説明する。図10は、従来
の多段階探索法の模式説明図である。多段階探索法は、
多段階に分けてブロックマッチングによりマッチング誤
差が最小となるブロックの検出を行うものであり、図1
0に示すように、まず、原点と、原点から探索領域端ま
での1/2の距離にある8点とを合わせた9点を探索点
として、1回目のマッチング誤差最小点P1 を求める。
次に、点P1 を中心として、前述の距離の更に1/2の
距離にある8点を加えた9点で、同様に2回目のマッチ
ング誤差最小点P2 を求め、更に、同様の手順により3
回目のマッチングを行い、3回目のマッチング誤差最小
点P3 を求める。このようにして、マッチング誤差最小
点の絞り込みを行い、動きベクトルを求める方法であ
る。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の動き検出方法では、画像内で動いている物体が探索
領域の外まで移動してしまうことがないように探索領域
を広く設定すると、ブロックマッチング法では、演算量
が増大してしまうという問題点があり、また、演算量を
少なくするために多段階探索法を用いると、1回目の探
索点同士が離れてしまうため、1回目に求める誤差最小
点が真の動きがある方向と異なってしまい、予測の失敗
が起こる可能性が高いという問題点があった。
【0007】本発明は上記実情に鑑みて為されたもの
で、広い探索範囲を設定した場合にも演算量を少なく
し、且つ、動き検出の精度を向上させることができる動
き検出方法及び動き検出装置及び画像送信装置を提供す
ることを目的とする。
【0008】
【課題を解決するための手段】上記従来例の問題点を解
決するための請求項1記載の発明は、動画像の動き補償
フレーム間予測を行うにあたり、現画像フレームの特定
ブロックの画像が前画像フレームの位置から動いた動き
の量を動きベクトルとして検出する動き検出方法におい
て、複数の点を見本ベクトルで保有する見本ベクトル集
合を、前記特定ブロックの原点に対応する前画像フレー
ムでの点を中心に展開し、前記見本ベクトル集合の各点
で形成されるブロックと前記特定ブロックのブロックマ
ッチングを行って誤差量を求め、前記誤差量から前記見
本ベクトル集合の各点で形成されるブロックの内で誤差
量が最小となる点を誤差最小点として検出する動作を行
い、次に前記誤差最小点を中心に前記見本ベクトル集合
を展開して再度誤差最小点を検出する動作を行い、誤差
最小点が収束するまで前記動作を繰り返して前記収束し
た誤差最小点と前記原点から動きベクトルを検出するこ
とを特徴としている。
【0009】上記従来例の問題点を解決するための請求
項2記載の発明は、動画像の動き補償フレーム間予測を
行うにあたり、現画像フレームの特定ブロックの画像が
前画像フレームの位置から動いた動きの量を動きベクト
ルとして検出する動き検出装置において、複数の点を見
本ベクトルで保有する見本ベクトル集合を、前記特定ブ
ロックの原点に対応する前画像フレームでの点を中心に
展開し、前記見本ベクトル集合の各点で形成されるブロ
ックと前記特定ブロックのブロックマッチングを行って
誤差量を求め、前記誤差量から前記見本ベクトル集合の
各点で形成されるブロックの内で誤差量が最小となる点
を誤差最小点として検出し、前記誤差最小点を中心に前
記見本ベクトル集合を展開して再度誤差最小点を検出す
る動作を繰り返し行う誤差最小点検出手段と、前記誤差
最小点検出手段で検出された誤差最小点が収束したかど
うかを判定するマッチング処理終了判定手段と、前記マ
ッチング処理終了判定手段で誤差最小点が収束したと判
定されると、前記収束した誤差最小点と前記原点から動
きベクトルを検出する動きベクトル演算手段とを具備す
る動き検出処理部を有することを特徴としている。
【0010】上記従来例の問題点を解決するための請求
項3記載の発明は、動画像の動き補償フレーム間予測を
行うにあたり、現画像フレームの特定ブロックの画像が
前画像フレームの位置から動いた動きの量を動きベクト
ルとして検出する動き検出方法において、複数の点を見
本ベクトルで保有する見本ベクトル集合を、前記特定ブ
ロックの原点に対応する前画像フレームでの点を中心に
展開し、前記見本ベクトル集合の各点で形成されるブロ
ックと前記特定ブロックのブロックマッチングを行って
誤差量を求め、前記誤差量から前記見本ベクトル集合の
各点で形成されるブロックの内で誤差量が最小となる点
を誤差最小点として検出する第1の動作を行い、次に前
記誤差最小点を中心に前記誤差最小点で形成されるブロ
ックの誤差量に応じた見本ベクトル集合を選択して展開
し、再度誤差最小点を検出する第2の動作を行い、誤差
最小点が収束するまで前記第2の動作を繰り返して前記
収束した誤差最小点と前記原点から動きベクトルを検出
することを特徴としている。
【0011】上記従来例の問題点を解決するための請求
項4記載の発明は、動画像の動き補償フレーム間予測を
行うにあたり、現画像フレームの特定ブロックの画像が
前画像フレームの位置から動いた動きの量を動きベクト
ルとして検出する動き検出装置において、複数の点を見
本ベクトルで保有する見本ベクトル集合を、前記特定ブ
ロックの原点に対応する前画像フレームでの点を中心に
展開し、前記見本ベクトル集合の各点で形成されるブロ
ックと前記特定ブロックのブロックマッチングを行って
誤差量を求め、前記誤差量から前記見本ベクトル集合の
各点で形成されるブロックの内で誤差量が最小となる点
を誤差最小点として検出する第1の誤差最小点検出手段
と、前記誤差最小点を中心に前記誤差最小点で形成され
るブロックの誤差量に応じた見本ベクトル集合を選択し
て展開し、再度誤差最小点を検出する動作を繰り返し行
う第2の誤差最小点検出手段と、前記第2の誤差最小点
検出手段で検出された誤差最小点が収束したかどうかを
判定するマッチング処理終了判定手段と、前記マッチン
グ処理終了判定手段で誤差最小点が収束したと判定され
ると、前記収束した誤差最小点と前記原点から動きベク
トルを検出する動きベクトル演算手段とを具備する動き
検出処理部を有することを特徴としている。
【0012】上記従来例の問題点を解決するための請求
項5記載の発明は、動画像の動き補償フレーム間予測を
行うにあたり、現画像フレームの特定ブロックの画像が
前画像フレームの位置から動いた動きの量を動きベクト
ルとして検出する動き検出方法において、前記特定ブロ
ックの一つ前のブロックで検出された動きベクトルから
前記特定ブロックが前記前画像フレームで存在したであ
ろう予測点を算出し、前記予測点で形成されるブロック
と前記特定ブロックとをブロックマッチングを行って得
られた誤差量と、前記特定ブロックの原点に対応する前
画像フレームでの点で形成されるブロックと前記特定ブ
ロックとをブロックマッチングを行って得られた誤差量
とを比較し、誤差量が最小となるブロックの点を探索開
始点に決定し、複数の点を見本ベクトルで保有する見本
ベクトル集合を、前記決定した開始点を中心に展開し、
前記見本ベクトル集合の各点で形成されるブロックと前
記特定ブロックのブロックマッチングを行って誤差量を
求め、前記誤差量から前記見本ベクトル集合の各点で形
成されるブロックの内で誤差量が最小となる点を誤差最
小点として検出する第1の動作を行い、次に前記誤差最
小点を中心に前記誤差最小点で形成されるブロックの誤
差量に応じた見本ベクトル集合を選択して展開し、再度
誤差最小点を検出する第2の動作を行い、誤差最小点が
収束するまで前記第2の動作を繰り返して前記収束した
誤差最小点と前記原点から動きベクトルを検出すること
を特徴としている。
【0013】上記従来例の問題点を解決するための請求
項6記載の発明は、動画像の動き補償フレーム間予測を
行うにあたり、現画像フレームの特定ブロックの画像が
前画像フレームの位置から動いた動きの量を動きベクト
ルとして検出する動き検出装置において、前記特定ブロ
ックの一つ前のブロックで検出された動きベクトルから
前記特定ブロックが前記前画像フレームで存在したであ
ろう予測点を算出する予測点算出手段と、前記予測点で
形成されるブロックと前記特定ブロックとをブロックマ
ッチングを行って誤差量を検出する予測点付近誤差量検
出手段と、前記特定ブロックの原点に対応する前画像フ
レームでの点で形成されるブロックと前記特定ブロック
とをブロックマッチングを行って誤差量を検出する原点
付近誤差量検出手段と、前記両誤差量検出手段から得ら
れた誤差量を比較し、誤差量が最小となるブロックの点
を探索開始点に決定する開始点決定手段と、複数の点を
見本ベクトルで保有する見本ベクトル集合を、前記開始
点決定手段で決定された開始点を中心に展開し、前記見
本ベクトル集合の各点で形成されるブロックと前記特定
ブロックのブロックマッチングを行って誤差量を求め、
前記誤差量から前記見本ベクトル集合の各点で形成され
るブロックの内で誤差量が最小となる点を誤差最小点と
して検出する第1の誤差最小点検出手段と、前記誤差最
小点を中心に前記誤差最小点で形成されるブロックの誤
差量に応じた見本ベクトル集合を選択して展開し、再度
誤差最小点を検出する動作を繰り返し行う第2の誤差最
小点検出手段と、前記第2の誤差最小点検出手段で検出
された誤差最小点が収束したかどうかを判定するマッチ
ング処理終了判定手段と、前記マッチング処理終了判定
手段で誤差最小点が収束したと判定されると、前記収束
した誤差最小点と前記原点から動きベクトルを検出する
動きベクトル演算手段とを具備する動き検出処理部を有
することを特徴としている。
【0014】上記従来例の問題点を解決するための請求
項7記載の発明は、動画像の動き補償フレーム間予測を
行い、動画像を圧縮符号化して送信する画像送信装置に
おいて、請求項2記載の動き検出装置又は請求項4記載
の動き検出装置又は請求項6記載の動き検出装置を有す
ることを特徴としている。
【0015】
【作用】請求項1,2記載の発明によれば、現画像フレ
ームの特定ブロックの原点に対応する前画像フレームで
の点を中心に見本ベクトル集合を展開し、見本ベクトル
集合の各点で形成されるブロックと特定ブロックのブロ
ックマッチングを行って誤差量を求め、見本ベクトル集
合の各点で誤差量が最小の点を誤差最小点として検出す
る動作を行い、誤差最小点が収束するまで上記動作を繰
り返し、収束した誤差最小点と原点とから動きベクトル
を検出する動き検出方法及び動き検出装置としているの
で、同じ見本ベクトル集合を用いて誤差最小点を収束さ
せ、動きベクトルを高精度に検出することができる。
【0016】請求項3,4記載の発明によれば、現画像
フレームの特定ブロックの原点に対応する前画像フレー
ムでの点を中心に見本ベクトル集合を展開し、見本ベク
トル集合の各点で形成されるブロックと特定ブロックの
ブロックマッチングを行って誤差量を求め、見本ベクト
ル集合の各点で誤差量が最小の点を誤差最小点として検
出する第1の動作を行い、誤差最小点が収束するまで誤
差最小点で形成されるブロックの誤差量に応じた見本ベ
クトル集合を選択して展開し、再度誤差最小点を検出す
る第2の動作を繰り返し、収束した誤差最小点と原点と
から動きベクトルを検出する動き検出方法及び動き検出
装置としているので、誤差量に応じた見本ベクトル集合
を用いて誤差最小点を収束させ、動きベクトルを高精度
に迅速に検出することができる。
【0017】請求項5,6記載の発明によれば、特定ブ
ロックの一つ前のブロックで検出された動きベクトルか
ら特定ブロックの前画像フレームでの予測点を算出し、
予測点で形成されるブロックと特定ブロックの誤差量を
ブロックマッチングにより求め、また特定ブロックの原
点に対応する前画像フレームでの点で形成されるブロッ
クと特定ブロックの誤差量をブロックマッチングにより
求め、誤差量が最小となるブロックの点を開始点とし、
開始点を中心に見本ベクトル集合を展開し、見本ベクト
ル集合の各点で形成されるブロックと特定ブロックのブ
ロックマッチングを行って誤差量を求め、見本ベクトル
集合の各点で誤差量が最小の点を誤差最小点として検出
する第1の動作を行い、誤差最小点が収束するまで誤差
最小点で形成されるブロックの誤差量に応じた見本ベク
トル集合を選択して展開し、再度誤差最小点を検出する
第2の動作を繰り返し、収束した誤差最小点と原点とか
ら動きベクトルを検出する動き検出方法及び動き検出装
置としているので、探索の開始点を原点に対応する前画
像フレームでの点又は予測点のいずれかに選択して、誤
差量に応じた見本ベクトル集合を用いて誤差最小点を収
束させ、動きベクトルを高精度に迅速に検出することが
できる。
【0018】請求項7記載の発明によれば、請求項2,
4又は6記載の動き検出装置を有する画像送信装置とし
ているので、動画像送信において動きベクトルを高精度
に迅速に検出して圧縮符号化を行って送信することがで
きる。
【0019】
【実施例】本発明の一実施例について図面を参照しなが
ら説明する。本発明の一実施例に係る動き検出方法は、
前画像において、動き検出を行うブロックの原点付近、
又は予測点付近のどちらか最小誤差量の小さい点を最初
の基準点(探索開始点)とし、その誤差量に応じた見本
ベクトル集合内の各点を探索点としてマッチング誤差最
小点を求める誤差最小点検出処理を行い、求めた誤差最
小点及び誤差量を基準点、及び基準最小誤差量として誤
差最小点検出処理を繰り返すことにより誤差最小点を絞
り込み、最終的に誤差最小点が変化しなくなったら(収
束させたら)、誤差最小点から原点へのベクトルを動き
ベクトルとするもので、動き検出処理の演算量を軽減し
て処理速度を速め、動き検出の精度を向上させることが
できる動き検出方法である。
【0020】まず本実施例(第1の実施例)の動き検出
方法の概要について図1を用いて説明する。図1は、本
発明の一実施例(第1の実施例)に係る動き検出方法の
概要を説明する模式説明図である。第1の実施例の動き
検出方法では、図1(a)に示すように現画像内の動き
検出を行うブロックの左上の点を原点A1´とする。す
なわち動き検出を行うブロックは、原点A1´で形成さ
れるものとする。但し、本実施例では便宜上原点を左上
に決めたもので、ブロックの中心点等の他点でも構わな
い。
【0021】そして、図1(b)に示す1フレーム前の
画像(前画像)における、現画像の原点(A1´)に対
応する点A1を基準点とする。尚、前画像における原点
に対応する点とは現画像における原点と同一の座標値を
持つ点であるから、前画像においても原点と呼ぶことに
する。そして、前画像上で基準点(=原点)を中心とし
て見本ベクトル集合を展開し、見本ベクトル集合内の見
本ベクトルが指す各点について、それらの点で形成され
るブロック(その点を左上点とするブロック)と現画像
の原点A1´で形成されるブロックとの誤差量を求め
(ブロックマッチング処理)、求めた誤差量の中で誤差
量が最小である点(誤差最小点)を求める誤差最小点検
出処理を行い、求めた誤差最小点を誤差最小点1とす
る。
【0022】ここで、見本ベクトル集合とは、中心点か
ら特定の範囲に特定の規則で分散された点を、中心点か
ら縦横2方向のベクトルで表現した見本ベクトルの集合
であり、予め定義されているものである。そして、これ
らの点で形成されたブロックと現画像の原点A1´で形
成されるブロックとで、ブロックマッチング処理を行う
ようになっている。以後、ブロックマッチング処理を単
にマッチング処理と呼ぶことにする。
【0023】また、マッチング処理とは、見本ベクトル
内の特定点によって形成されるブロック内の各画素値
と、現画像の原点A1´で形成されるブロック内の各画
素値との絶対値差分を求め、その総和を誤差量として算
出する処理である。これにより、誤差量が小さいほど2
つのブロックの画像の相似度が高いことになる。
【0024】次に、誤差最小点1を基準点として、同様
に基準点を中心として前述の見本ベクトル集合のベクト
ルが指す各点についてマッチング処理を行い、誤差最小
点を求め、求めた誤差最小点を誤差最小点2とする。そ
して、同様に基準点を更新しながら前述の見本ベクトル
集合ついてマッチング処理を行い誤差最小点を求める誤
差最小点検出処理を、誤差最小点が変化しなくなるまで
繰り返し、誤差最小点を絞り込んでいくものである。
尚、絞り込んでいく過程での見本ベクトル集合は、同一
のものを繰り返し使用している。そして、誤差最小点が
変化しなくなったら、最後の誤差最小点から原点(A
1)までのベクトルを動きベクトルとする。
【0025】次に、第2の実施例の動き検出方法の概要
について図2を用いて説明する。図2は、第2の実施例
の動き検出方法の概要を説明する説明図である。第2の
実施例の動き検出方法では、第1の実施例と同様に、現
画像内の動き検出を行うブロックの左上の点(原点)に
対応する点(図2の点A2)を基準点とし、基準点を中
心として見本ベクトル集合1の各見本ベクトルが指す点
について、各点で形成されるブロックと現画像のブロッ
クとの誤差量を求め(マッチング処理)、誤差量が最小
である点、及びその誤差量を求める誤差最小点検出処理
を行い、求めた誤差量が最小である点を誤差最小点1と
する。尚、見本ベクトル集合1は、最初に使用する見本
ベクトル集合として第1の実施例の見本ベクトル集合と
同様に予め定義されている見本ベクトルの集合である。
【0026】次に、第2に実施例の特徴部分として、誤
差最小点1を基準点とし、また誤差最小点1の誤差量を
基準最小誤差量とし、基準最小誤差量に応じた見本ベク
トル集合2の各点について、マッチング処理を行い、誤
差最小点を求め、求めた誤差最小点を誤差最小点2とす
る。ここで、見本ベクトル集合2は、誤差最小点1にお
ける誤差量(誤差量1)に応じた見本ベクトルの分布範
囲の大きさ及び分布状態を選択したものである。尚、誤
差量に応じた見本ベクトルとは、大まかな傾向として、
誤差量が大きい場合は広い範囲で分布するものであり、
誤差量が小さいほど狭い範囲で分布するものである。
【0027】そして、誤差最小点2を基準点とし、また
誤差最小点2の誤差量を基準最小誤差量とし、基準最小
誤差量に応じた見本ベクトル集合3の各点について、マ
ッチング処理を行い、誤差最小点を求め、求めた誤差最
小点を誤差最小点3とする。以降同様に基準点及び基準
最小誤差量を更新しながら、基準最小誤差量に応じた見
本ベクトル集合についてマッチング処理を行い誤差最小
点を求めて誤差最小点を絞り込み、誤差最小点が変化し
なくったら、最後の誤差最小点から原点A2までのベク
トルを動きベクトルとする。
【0028】次に、第3の実施例の動き検出方法の概要
について図3を用いて説明する。図3は、第3の実施例
の動き検出方法の概要を説明する模式説明図である。第
3の実施例の動き検出方法は、動き検出を開始する点を
現画像の原点に対応する点か、予測点かのいずれかから
選択するものである。本実施例では、予測点を求める方
法として、前のブロックの動きベクトルの逆ベクトルを
動き予測ベクトルとして採用する。
【0029】具体的には、図3(a)に示すように、各
ブロックの動き検出の結果、ブロックb11の動きベク
トルが(5,5)、ブロックb12の動きベクトルが
(3,3)、・・、ブロックb22の動きベクトルが
(4,4)と求められたとき、ブロックb23における
動き予測は、図3(b)に示す現画像内の動き検出を行
うブロックの原点A3´に対応する図3(c)の1フレ
ーム前の画像(前画像)の原点をA3とする。そして、
処理対象のブロックが前のブロックと同様に動いたと仮
定する、つまり前ブロックの動きベクトル(4,4)に
従って移動した結果が原点A3であると仮定して、原点
A3を前ブロックの動きベクトルの逆ベクトル(−4,
−4)で移動した点Bが予測点となる。
【0030】そして、予測点Bを中心として見本ベクト
ル集合の各点においてマッチング処理を行い求めた誤差
量の最小値(最小誤差量)と、原点に対応する点A3を
中心として見本ベクトル集合の各点においてマッチング
処理を行い求めた誤差量の最小値(最小誤差量)とを比
較し、最小誤差量が小さい方の点を基準点として選択す
る。そして、以降は、第2の実施例と同様に、基準点と
基準最小誤差量とを更新しながら基準最小誤差量に応じ
た見本ベクトル集合についてマッチング処理を行い誤差
最小点を求めて誤差最小点を絞り込み、誤差最小点が変
化しなくったら、最後の誤差最小点から原点に対応する
点A3までのベクトルを動きベクトルとする。
【0031】尚、本実施例では予測点を求める方法とし
て、単純に前のブロックの動きベクトルを動き予測ベク
トルとして採用するようにしたが、この方法に限らず、
例えば既知である周囲のブロックの動きベクトルから予
測点を求めても構わない。
【0032】次に、本実施例の動き検出方法を用いた動
き検出装置について図4を使って説明する。図4は、本
実施例の動き検出装置の構成ブロック図である。本実施
例の動き検出装置は、図4に示すように、入力画像メモ
リ1と、スイッチ2,3と、動き検出器4と、前画像メ
モリ5とから構成されている。
【0033】そして、本実施例の動き検出装置の各部に
ついて説明すると、入力画像メモリ1は、入力されたデ
ィジタル画像データを一時的に記憶するメモリである。
また、スイッチ2は、端子2aと端子2bとを接続する
ことで入力ディジタル画像データを動き検出器4に出力
し、また端子2aと端子2cを接続することで入力ディ
ジタル画像データを前画像メモリ5に出力するものであ
る。スイッチ3は、端子3cと端子3bとを接続するこ
とで動き検出器4で得られた動きベクトルやフレーム間
差信号を出力し、端子3aと端子3bとを接続すること
で入力ディジタル画像データをそのまま出力するもので
ある。
【0034】尚、スイッチ2,3の切替えは連動してお
り、例えば符号化処理の開始時のように動き補償フレー
ム間予測を使用しない場合はスイッチ2の端子2aと端
子2cが接続し、スイッチ3の端子3aと端子3bが接
続するようになっており、動き補償フレーム間予測を使
用する場合はスイッチ2の端子2aと端子2bが接続
し、スイッチ3の端子3cと端子3bが接続するように
なっている。
【0035】動き検出器4は、入力画像メモリ1のディ
ジタル画像データと前画像メモリ5のディジタル画像デ
ータとから画像の動きベクトルを検出し、求めた動きベ
クトルに従って動きを補正した時のフレーム間差分デー
タ(動きベクトルに基づいて前画像データを補正し、入
力画像データとの差分を求めた差分データ)を得て、情
報源符号化に必要な動きベクトルと差分データとを出力
するものである。前画像メモリ5は、動き検出器4で動
きベクトルを検出し、差分データを得るために用いられ
る前画像のディジタル画像データ(前画像データ)を一
時的に記憶するメモリである。
【0036】次に、本実施例の動き検出装置の動作につ
いて説明する。ディジタル画像データが本実施例の動き
検出装置に入力されると、入力画像メモリ1に一時的に
記憶され、動き補償フレーム間予測を使用しない場合は
スイッチ2が端子2aと端子2cを接続してディジタル
画像データを前画像メモリ5に記憶させると共にスイッ
チ3が端子3aと端子3bを接続してディジタル画像デ
ータをそのまま出力するものである。
【0037】また、動き補償フレーム間予測を使用する
場合はスイッチ2が端子2aと端子2bを接続してディ
ジタル画像データを動き検出器4に出力し、動き検出器
4で前画像メモリ5に格納されている前画像データを用
いて動きベクトルを検出し、その動きベクトルを基に前
画像データを補正し、補正した画像データと入力ディジ
タル画像データとの差分データを得て、スイッチ3が端
子3cと端子3bを接続して動きベクトル及び差分デー
タを出力するものである。ここで、次に画像データが入
力されて上記同様に動き検出を行うのであれば、スイッ
チ2の端子2aと端子2bとを接続して前画像メモリ5
に前画像を格納させておく必要がある。
【0038】次に、本実施例の動き検出装置の動き検出
器4内部の具体的構成について図5を使って説明する。
図5は、本実施例の動き検出器4内の動き検出処理を行
う構成ブロック図である。尚、動き検出器4内の動作と
しては検出した動きベクトルに基づいて入力画像データ
との差分データを求める処理もあるが、この処理は従来
と同様であるので、本実施例の特徴部分としての動きベ
クトル検出処理を中心に図5を用いて説明することにす
る。
【0039】本実施例の動き検出器4内で動き検出処理
を実現する構成は、動き検出処理部10と、現画像メモ
リ11と、ブロック画像メモリ12と、探索画像メモリ
13と、見本ベクトル集合格納メモリ14と、見本ベク
トル集合テーブル15と、原点格納エリア21と、予測
点格納エリア22と、前動きベクトル格納エリア23
と、基準点格納エリア24と、基準最小誤差量格納エリ
ア25とから構成されている。
【0040】更に、動き検出処理部10は、ブロック特
定手段31と、予測点演算手段32と、誤差最小点検出
手段(1)33と、誤差最小点検出手段(2)34と、
開始点決定手段35と、見本ベクトル集合決定手段36
と、誤差最小点検出手段(3)37と、マッチング処理
終了判定手段38と、動きベクトル演算手段39とから
構成されている。
【0041】次に、上記構成の各手段及び各部を具体的
に説明する。現画像メモリ11は、スイッチ2を介して
入力画像メモリ1から入力された画像データが格納され
ている。ブロック特定手段31は、動き検出処理を行う
マクロブロック(16画素×16画素のブロック)を特
定する手段で、特定方法は、現画像メモリ11の左上か
ら右方向(水平方向)にスライスしてマクロブロックを
取り出すことで特定するのが一般的となっている。そし
て、ブロック特定手段31は、特定したブロック(マク
ロブロック)の位置を記憶しておくものである。
【0042】そして、原点格納エリア21は、ブロック
特定手段31で特定されたブロックの1点を原点として
格納しておくエリアである。ブロック画像メモリ12
は、ブロック特定手段31で特定されたブロックの画像
データを記憶するメモリである。探索画像メモリ13
は、前画像メモリ5に格納されている前画像データの中
で、ブロック特定手段31で特定されたブロックの原点
を中心とする探索領域の画像(探索画像)を記憶するメ
モリである。尚、探索領域とは前画像において動き検出
を行う動き検出領域のことで、その大きさは予め設定さ
れているものとする。
【0043】前動きベクトル格納エリア23は、前回検
出された動きベクトルを格納するエリアである。予測点
演算手段32は、原点格納エリア21に格納されている
原点と前動きベクトル格納エリア23に格納されている
前動きベクトルとから予測点を求め、予測点格納エリア
22に格納するものである。予測点の求め方は、原点を
始点として前動きベクトルの逆ベクトルによって定まる
終点が予測点ということになる。
【0044】見本ベクトル集合格納メモリ14は、最初
に使用する見本ベクトル集合を格納しておくメモリであ
る。誤差最小点検出手段(1)33は、見本ベクトル集
合格納メモリ14から見本ベクトル集合を読み込み、そ
の見本ベクトル集合を予測点を中心に探索画像上で展開
し、見本ベクトル集合の各点によって形成されるブロッ
ク内の各画素値とブロック画像メモリ12に格納されて
いる各画素値との誤差量(各画素値の絶対値差分の総和
量)を各々算出して記憶し、更に最小誤差量の値とその
点(最小点)を選択するものである。つまり、現画像の
原点で形成されるブロックと前画像の予測点を中心とし
た見本ベクトル集合の各点で形成されるブロックを比較
し、誤差量が最小となる点とその誤差量を選択するもの
である。ここで、誤差量が最小になるということは、比
較したブロック間に相似度が高い(比較したブロック同
士がよく似ている)ことを意味している。
【0045】誤差最小点検出手段(2)34は、誤差最
小点検出手段(1)33と同様の動作を行うものである
が、誤差最小点検出手段(2)34では、予測点の代わ
りに原点を用いて、現画像の原点で形成されるブロック
と前画像の原点を中心とした見本ベクトル集合の各点で
形成されるブロックを比較し、誤差量が最小となる点
(最小点)とその誤差量を選択するものである。
【0046】開始点決定手段35は、誤差最小点検出手
段(1)33で求められた最小点及び最小誤差量と、誤
差最小点検出手段(2)34で求められた最小点及び最
小誤差量とを比較し、誤差量の小さい方の最小点を探索
開始点に決定し、その探索開始点を基準点として基準点
格納エリア24に格納し、基準点となった最小点におけ
る誤差量を基準最小誤差量として基準最小誤差量格納エ
リア25に格納するものである。
【0047】尚、開始点決定を更に簡単に行うには、誤
差最小点検出手段(1)33、誤差最小点検出手段
(2)34で見本ベクトル集合格納メモリ14を用い
ず、誤差最小点検出手段(1)33では現画像の原点で
決まるブロックと前画像の予測点で決まるブロックとを
比較してマッチング誤差を求め、また誤差最小点検出手
段(2)34では原点で決まるブロック同士を比較して
マッチング誤差を求め、上記両方のマッチング誤差の小
さい方の点を開始点として決定するようにしてもよい。
ここで、基本的には、誤差最小点検出手段(1)33が
請求項6の予測点付近誤差量検出手段に対応し、誤差最
小点検出手段(2)34が請求項6の原点付近誤差量検
出手段及び請求項4の第1の誤差最小点検出手段に対応
している。
【0048】見本ベクトル集合テーブル15は、基準最
小誤差量の値に応じた見本ベクトル集合を対応付けて格
納している。具体的には、基準最小誤差量の値が大きけ
れば各点が広い領域に離散した見本ベクトル集合を、基
準最小誤差量の値が小さければ各点が狭い領域に離散し
た見本ベクトル集合を選択できるよう対応付けられてい
る。
【0049】見本ベクトル集合決定手段36は、基準最
小誤差量格納エリア25の基準最小誤差量の値から見本
ベクトル集合テーブル15を参照し、対応する見本ベク
トル集合を選択するものである。
【0050】誤差最小点検出手段(3)37は、誤差最
小点検出手段(1)33と、誤差最小点検出手段(2)
34と基本的には同様の動作を行うものであり、但し、
誤差最小点検出手段(3)37は、基準点格納エリア2
4の基準点を用いて、現画像の原点で形成されるブロッ
クと、見本ベクトル集合決定手段36で決定された見本
ベクトル集合を基準点で展開して得られた各点で形成さ
れるブロックとを比較し、見本ベクトル集合の各点にお
いて誤差量が最小となるブロックを選択し、その点(最
小点)とその誤差量(最小誤差量)を求め、マッチング
処理終了判定手段38に出力するものである。ここで、
見本ベクトル集合決定手段36と誤差最小点検出手段
(3)37が請求項4の第2の誤差最小点検出手段に対
応し、誤差最小点検出手段(1)〜(3)が請求項1の
誤差最小点検出手段に対応している。
【0051】マッチング処理終了判定手段38は、誤差
最小点検出手段(3)37から得られた最小点と基準点
格納エリア24に格納されている基準点とを比較し、同
一であれば、最終的に誤差最小点が特定されたとしてマ
ッチング処理を終了する。また、誤差最小点検出手段
(3)37から得られた最小点と基準点格納エリア24
に格納された基準点とが同一でなければ、未だ最終的な
誤差最小点が特定されていないとして、誤差最小点検出
手段(3)37から得られた最小点と最小誤差量を基準
点格納エリア24と基準最小誤差量格納エリア25に格
納し、見本ベクトル集合決定手段36を再度起動して誤
差最小点検出手段(3)37を用いて最小点と最小誤差
量を求める動作を繰り返す。ここで、マッチング処理終
了判定手段38が請求項2,4、6のマッチング処理終
了判定手段に対応している。
【0052】動きベクトル演算手段39は、マッチング
処理終了判定手段38で最終的に得られた誤差最小点か
ら原点までのベクトルを演算で求め、これを動きベクト
ルとしてスイッチ3に出力するものである。また、動き
ベクトル演算手段39は、得られた動きベクトルを前動
きベクトル格納エリア23に格納するものである。ここ
で、動きベクトル演算手段39が請求項2,4、6の動
きベクトル演算手段に対応している。
【0053】次に、本実施例の動き検出器4内での動き
検出処理を図5を使って説明する。スイッチ2を介して
現画像が現画像メモリ11に格納され、ブロック特定手
段31で動き検出処理を行うマクロブロックを特定し、
そのブロックの原点を原点格納エリア21に格納し、更
にブロック画像メモリ12にそのブロックの画像データ
を格納し、また前画像メモリ5に格納されている前画像
データから、原点を中心とする探索領域の画像データを
読み込んで探索画像メモリ13に格納する。
【0054】そして、原点格納エリア21の原点と前動
きベクトル格納エリア23に格納された前動きベクトル
を用いて予測点演算手段32で予測点を演算して予測点
格納エリア22に格納する。そして、誤差最小点検出手
段(1)33と誤差最小点検出手段(2)34とで原点
付近の誤差量が最小となる最小点とその誤差量、及び予
測点付近の誤差量が最小となる最小点とその誤差量とを
求め、開始点決定手段35で誤差量が最小である最小点
を開始点として決定し基準点格納エリア24に格納し、
更にその最小誤差量を基準最小誤差量として基準最小誤
差量格納エリア25に格納する。
【0055】次に、見本ベクトル集合決定手段36が基
準最小誤差量から見本ベクトル集合テーブル15内の該
当する見本ベクトル集合を選択し、誤差最小点検出手段
(3)37で最小誤差量の最小点を検出し、マッチング
処理終了判定手段38で最終的な最小点であると判定さ
れると、その最小点と原点とから動きベクトル演算手段
39で動きベクトルを算出してスイッチ3に出力し、動
きを検出するものである。
【0056】次に、本実施例の動き検出器4の動き検出
処理部10における処理の流れについて、図5,図6を
用いて具体的に説明する。図6は、本実施例の動き検出
器の動き検出処理部における処理の流れの概要を示すフ
ローチャート図である。尚、図6では既にブロック特定
手段31によって動き検出処理を行うブロック(対象ブ
ロック)が特定され、そのブロックの原点座標が原点格
納エリア21に格納され、対象ブロック画像がブロック
画像メモリ12に格納され、前画像における探索領域の
画像が探索画像メモリ13に格納されているものとし、
1つのブロックに関する動き検出処理を説明している。
【0057】本実施例の動き検出処理部10における動
き検出処理は、まず予測点演算手段32の動作として、
予測点演算処理を行う(101)。ここで、予測点演算
処理とは、前のブロックの動きベクトル、つまり前動き
ベクトル格納エリア23に格納されている動きベクトル
の逆ベクトルを原点格納エリア21に格納されている原
点に加えた点を予測点として予測点格納エリア22に格
納する処理である。
【0058】次に、誤差最小点検出手段(1)33の動
作として、予測点付近の誤差最小点1と最小誤差量1を
計算し(102)、誤差最小点検出手段(2)34の動
作として、原点に対応する点付近の誤差最小点2と最小
誤差量2を計算する(103)。ここで、予測点付近の
誤差最小点1と最小誤差量1の計算とは、見本ベクトル
集合格納メモリ14に格納されている見本ベクトル集合
を、探索画像メモリ13に格納されている探索画像上で
予測点を中心として展開し、見本ベクトル集合の各点で
形成されるブロックの各画素値と、ブロック画像メモリ
12に格納されている現画像の原点で形成されるブロッ
クの画素値との絶対値差分を求め、その総和を誤差量と
してそれぞれ算出し、誤差量が最小である点を誤差最小
点1、その誤差量を最小誤差量1とするものである。ま
た原点に対応する点付近の誤差最小点2と最小誤差量2
の計算も同様で、予測点の代わりに原点を用いて検索画
像上で展開された見本ベクトル集合の各点で形成される
ブロックの各画素値と、現画像の原点で形成されるブロ
ックの画素値との絶対値差分を求め、その総和を誤差量
としてそれぞれ算出し、誤差量が最小である点を誤差最
小点2、その誤差量を最小誤差量2とするものである。
【0059】次に、開始点決定手段35の動作として、
処理102及び処理103で求めた予測点付近の最小誤
差量1と原点付近の最小誤差量2とを比較し(10
4)、最小誤差量1の方が最小誤差量2より大きくない
場合は、予測点付近の誤差最小点1を基準点として基準
点格納エリア24に格納し(105)、最小誤差量1を
基準最小誤差量として基準最小誤差量格納エリア25に
格納する(106)。一方、処理104において最小誤
差量1の方が最小誤差量2より大きい場合は、原点付近
の誤差最小点2を基準点として基準点格納エリア24に
格納し(107)、最小誤差量2を基準最小誤差量とし
て基準最小誤差量格納エリア25に格納する(10
8)。
【0060】次に、見本ベクトル集合決定手段36の動
作として、見本ベクトル集合決定処理を行う(10
9)。見本ベクトル集合決定処理とは、具体的には、見
本ベクトル集合テーブル15を参照して基準最小誤差量
格納エリア25に格納された誤差量に対応する見本ベク
トル集合を選択する処理である。
【0061】次に、誤差最小点検出手段(3)37の動
作として、基準点付近の誤差最小点3と最小誤差量3を
計算する(110)。ここで基準点付近の誤差最小点3
と最小誤差量3の計算とは、基準点格納エリア24に格
納されている基準点を中心として探索画像メモリ13に
格納されている探索画像上で、処理109で読み込んだ
見本ベクトル集合を展開し、見本ベクトル集合の各点で
形成されるブロックの各画素値とブロック画像メモリ1
2に格納されている現画像の原点で形成されるブロック
の画素値との絶対値差分を求め、その総和を誤差量とし
てそれぞれ算出し、誤差量が最小である点を誤差最小点
3、その誤差量を最小誤差量3とするものである。
【0062】次に、マッチング処理終了判定手段38の
動作として、誤差最小点3と基準点とが一致するかを判
断し(111)、一致しない場合は、誤差最小点3を基
準点として基準点格納エリア24に格納し(112)、
最小誤差量3を基準最小誤差量として基準最小誤差量格
納エリア25に格納し(113)、処理109に戻る。
一方、処理111において、誤差最小点3と基準点とが
一致した場合は、動きベクトル演算手段39の動作とし
て、動きベクトル演算処理を行う(114)。ここで、
動きベクトル演算処理とは、原点格納エリア21に格納
されている原点の座標から誤差最小点3の座標を減算し
て動きベクトルを求め、スイッチ3に出力すると共に、
動きベクトルを前動きベクトル格納エリア23に格納す
る処理である。
【0063】次に、本実施例の動き検出装置を用いた画
像送信装置について図7を使って説明する。図7は、画
像送信装置と画像受信装置を示す構成ブロック図であ
る。尚、図7の左側が画像送信装置で、右側が画像受信
装置となっているが、本実施例では単体で画像を送受信
できるように両装置に同様な構成部が付加されている。
【0064】画像送信装置は、図7に示すように、ビデ
オカメラ等の画像入力装置41と、入力した画像を記憶
する入力画像記憶装置42と、本実施例で説明した動き
検出装置43と、入力画像及び動きベクトル等を符号化
する情報源符号化/復号化装置44と、符号化されたデ
ータを記憶するハードディスク又はメモリカード等で構
成される情報源符号化データ記憶装置45と、符号化さ
れたデータを送信する通信制御装置47と、入力画像を
表示する表示装置48と、画像送信装置全体の制御を行
うCPU40と、画像に同期した音声の入出力、画像デ
ータと音声の合成/分離等の音声処理を行う音声処理装
置46とから構成されている。尚、音声処理装置46
と、表示装置48は、必要に応じて設けられるものであ
り、また、各装置とCPU40との間に必要に応じてイ
ンタフェース(I/F)が設けられている。
【0065】画像受信装置は、上記画像送信装置とほぼ
同様の構成となっており、但し、送信制御装置47′で
は符号化データを受信し、情報源符号化/復号化装置4
4′では符号化データの復号化を行うものであり、更
に、動き検出装置43′は動作しないようになってい
る。
【0066】次に、画像送信装置の動作について簡単に
説明すると、画像入力装置41で画像を入力し、入力画
像記憶装置42に記憶し、動き検出装置43で動きベク
トル及び差分データ等を求め、情報源符号化/復号化装
置45でデータ圧縮のための符号化が為され、通信制御
装置47から符号化データが送信される。また、必要に
応じて符号化データを情報源符号化データ記憶装置45
に記憶し、音声処理装置46で音声処理を行う。
【0067】そして、画像受信装置の動作について簡単
に説明すると、通信制御装置47′で符号化データを受
信し、情報源符号化/復号化装置45′で受信した符号
化データの復号化を行い、表示装置48′に復元した画
像を表示する。また、受信した符号化データを情報源符
号化データ記憶装置45′に記憶することもできる。
【0068】次に、上記実施例の効果について説明す
る。第1の実施例の動き検出方法によれば、現画像で動
き検出を行うブロックの原点に対応する前画像の点を中
心に見本ベクトル集合を展開し、見本ベクトル集合の各
点で形成されるブロックと原画像ブロックのブロックマ
ッチングを行って誤差量を求め、見本ベクトル集合の各
点で誤差量が最小の点を誤差最小点として検出する誤差
最小点検出処理を行い、更に検出された誤差最小点を中
心に同様の見本ベクトル集合を展開して誤差最小点が収
束するまで誤差最小点検出処理を繰り返し、最終的な誤
差最小点と原点とから動きベクトルを検出するものであ
るので、同じ見本ベクトル集合を用いて誤差最小点を収
束させ、その結果動きベクトルを失敗なく高精度に検出
することができる効果がある。
【0069】第2の実施例の動き検出方法によれば、現
画像で動き検出を行うブロックの原点に対応する前画像
の点を中心に固定的に定義された見本ベクトル集合を展
開し、見本ベクトル集合の各点で形成されるブロックと
原画像ブロックのブロックマッチングを行って誤差量を
求め、見本ベクトル集合の各点で誤差量が最小の点を誤
差最小点として検出する誤差最小点検出処理を行い、次
からは誤差量に応じた見本ベクトル集合を展開して誤差
最小点を検出する誤差最小点検出処理を繰り返し、収束
した誤差最小点と原点とから動きベクトルを検出するも
のであるので、誤差量に応じた見本ベクトル集合を用い
て誤差最小点を収束させ、動きベクトルを失敗なく高精
度に迅速に検出することができる効果がある。
【0070】第3の実施例の動き検出方法によれば、現
画像で動き検出を行うブロックの1つ前のブロックで検
出された動きベクトルから予測点を算出し、予測点付近
の最小誤差量と、原点付近の最小誤差量とを比較し、誤
差量の小さい誤差最小点から誤差量に応じた見本ベクト
ル集合を展開して誤差最小点を検出する誤差最小点検出
処理を繰り返し、収束した誤差最小点と原点とから動き
ベクトルを検出するものであるので、探索の開始点を原
点又は予測点のいずれかから選択して、誤差量に応じた
見本ベクトル集合を用いて誤差最小点を収束させるの
で、動きベクトルを失敗なく高精度に迅速に検出するこ
とができる効果がある。
【0071】尚、図5に示した動き検出装置は、原則的
に、上記第3の実施例の動き検出方法を実現するための
装置であるが、図5の動き検出装置内の動き検出処理部
10の各手段を選択的に使用することで第1,2の実施
例の動き検出方法を実現するための装置を形成すること
ができる。
【0072】例えば、第1の実施例の動き検出方法を実
現するためには、動き検出処理部10内の予想点演算手
段32、誤差最小点検出手段(1)33、開始点決定手
段35、見本ベクトル集合決定手段36を用いず、更に
誤差最小点検出手段(3)37の動作として見本ベクト
ル集合テーブル15を用いず、見本ベクトル集合格納メ
モリ14を用いるようにすれば、動き検出装置が構成で
きる。
【0073】また、第2の実施例の動き検出方法を実現
するためには、動き検出処理部10内の予想点演算手段
32、誤差最小点検出手段(1)33、開始点決定手段
35を用いないようにすれば、動き検出装置が構成でき
る。
【0074】従って、第1,2,3の実施例の動き検出
方法を用いた動き検出装置においても、方法と同様の効
果を奏するものであり、また、第1、第2、第3の実施
例の動き検出方法を用いた動き検出装置を有する画像送
信装置とした場合には、動き検出を失敗なく高精度に迅
速に行い、動画像の圧縮符号化を行って送信できる効果
がある。尚、第1〜3の実施例においては、前画像フレ
−ムから現画像フレ−ムを予測する前方向のフレ−ム間
予測における動き検出について説明したが、MPEGの
技術では、後のフレ−ムから予測する後方向のフレ−ム
間予測、または前のフレ−ムと後のフレ−ムの双方から
予測する双方向のフレ−ム間予測、更に複数のフレ−ム
をまたいでのフレ−ム間予測が行われており、これらの
フレ−ム間予測にも上記第1〜3の実施例の動き検出方
法が適用できるものである。
【0075】
【発明の効果】請求項1,2記載の発明によれば、現画
像フレームの特定ブロックの原点に対応する前画像フレ
ームでの点を中心に見本ベクトル集合を展開し、見本ベ
クトル集合の各点で形成されるブロックと特定ブロック
のブロックマッチングを行って誤差量を求め、見本ベク
トル集合の各点で誤差量が最小の点を誤差最小点として
検出する動作を行い、誤差最小点が収束するまで上記動
作を繰り返し、収束した誤差最小点と原点とから動きベ
クトルを検出する動き検出方法及び動き検出装置として
いるので、同じ見本ベクトル集合を用いて誤差最小点を
収束させ、動きベクトルを高精度に検出することができ
る効果がある。
【0076】請求項3,4記載の発明によれば、現画像
フレームの特定ブロックの原点に対応する前画像フレー
ムでの点を中心に見本ベクトル集合を展開し、見本ベク
トル集合の各点で形成されるブロックと特定ブロックの
ブロックマッチングを行って誤差量を求め、見本ベクト
ル集合の各点で誤差量が最小の点を誤差最小点として検
出する第1の動作を行い、誤差最小点が収束するまで誤
差最小点で形成されるブロックの誤差量に応じた見本ベ
クトル集合を選択して展開し、再度誤差最小点を検出す
る第2の動作を繰り返し、収束した誤差最小点と原点と
から動きベクトルを検出する動き検出方法及び動き検出
装置としているので、誤差量に応じた見本ベクトル集合
を用いて誤差最小点を収束させ、動きベクトルを高精度
に迅速に検出することができる効果がある。
【0077】請求項5,6記載の発明によれば、特定ブ
ロックの一つ前のブロックで検出された動きベクトルか
ら特定ブロックの前画像フレームでの予測点を算出し、
予測点で形成されるブロックと特定ブロックの誤差量を
ブロックマッチングにより求め、また特定ブロックの原
点に対応する前画像フレームでの点で形成されるブロッ
クと特定ブロックの誤差量をブロックマッチングにより
求め、誤差量が最小となるブロックの点を開始点とし、
開始点を中心に見本ベクトル集合を展開し、見本ベクト
ル集合の各点で形成されるブロックと特定ブロックのブ
ロックマッチングを行って誤差量を求め、見本ベクトル
集合の各点で誤差量が最小の点を誤差最小点として検出
する第1の動作を行い、誤差最小点が収束するまで誤差
最小点で形成されるブロックの誤差量に応じた見本ベク
トル集合を選択して展開し、再度誤差最小点を検出する
第2の動作を繰り返し、収束した誤差最小点と原点とか
ら動きベクトルを検出する動き検出方法及び動き検出装
置としているので、探索の開始点を原点に対応する前画
像フレームでの点又は予測点のいずれかに選択して、誤
差量に応じた見本ベクトル集合を用いて誤差最小点を収
束させ、動きベクトルを高精度に迅速に検出することが
できる効果がある。
【0078】請求項7記載の発明によれば、請求項2,
4又は6記載の動き検出装置を有する画像送信装置とし
ているので、動画像送信において動きベクトルを高精度
に迅速に検出して圧縮符号化を行って送信することがで
きる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例(第1の実施例)に係る動き
検出方法の概要を説明する説明図である。
【図2】第2の実施例の動き検出方法の概要を説明する
模式説明図である。
【図3】第3の実施例の動き検出方法の概要を説明する
模式説明図である。
【図4】本実施例の動き検出装置の構成ブロック図であ
る。
【図5】本実施例の動き検出器4内の動き検出処理を行
う構成ブロック図である。
【図6】本実施例の動き検出器の動き検出処理部におけ
る処理の流れの概要を示すフローチャート図である。
【図7】画像送信装置と画像受信装置を示す構成ブロッ
ク図である。
【図8】(a)は、1コマ前の画像を示す説明図であ
り、(b)は現在の画像を示す説明図であり、(c)は
動きベクトルを示す説明図である。
【図9】従来のブロックマッチング法の模式説明図であ
る。
【図10】従来の多段階探索法の模式説明図である。
【符号の説明】
1…入力画像メモリ、 2,3…スイッチ、 4…動き
検出器、 5…前画像メモリ、 10…動き検出処理
部、 11…現画像メモリ、 12…ブロック画像メモ
リ、 13…探索画像メモリ、 14…見本ベクトル集
合格納メモリ、15…見本ベクトル集合テーブル、 2
1…原点格納エリア、 22…予測点格納エリア、 2
3…前動きベクトル格納エリア、 24…基準点格納エ
リア、25…基準最小誤差量格納エリア、 31…ブロ
ック特定手段、 32…予測点演算手段、 33…誤差
最小点検出手段(1)、 34…誤差最小点検出手段
(2)、 35…開始点決定手段、 36…見本ベクト
ル集合決定手段、 37…誤差最小点検出手段(3)、
38…マッチング処理終了判定手段、 39…動きベ
クトル演算手段、 40…CPU、 41…画像入力装
置、 42…入力画像記憶装置、 43,43′…動き
検出装置、 44,44′…情報源符号化/復号化装
置、 45,45′…情報源符号化データ記憶装置、
46…音声処理装置、 47,47′…通信制御装置、
48,48′…表示装置
フロントページの続き (72)発明者 荒屋敷 明文 東京都中野区東中野三丁目14番20号 国際 電気株式会社内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出方法において、複数の点を見本ベ
    クトルで保有する見本ベクトル集合を、前記特定ブロッ
    クの原点に対応する前画像フレームでの点を中心に展開
    し、前記見本ベクトル集合の各点で形成されるブロック
    と前記特定ブロックのブロックマッチングを行って誤差
    量を求め、前記誤差量から前記見本ベクトル集合の各点
    で形成されるブロックの内で誤差量が最小となる点を誤
    差最小点として検出する動作を行い、次に前記誤差最小
    点を中心に前記見本ベクトル集合を展開して再度誤差最
    小点を検出する動作を行い、誤差最小点が収束するまで
    前記動作を繰り返して前記収束した誤差最小点と前記原
    点から動きベクトルを検出することを特徴とする動き検
    出方法。
  2. 【請求項2】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出装置において、複数の点を見本ベ
    クトルで保有する見本ベクトル集合を、前記特定ブロッ
    クの原点に対応する前画像フレームでの点を中心に展開
    し、前記見本ベクトル集合の各点で形成されるブロック
    と前記特定ブロックのブロックマッチングを行って誤差
    量を求め、前記誤差量から前記見本ベクトル集合の各点
    で形成されるブロックの内で誤差量が最小となる点を誤
    差最小点として検出し、前記誤差最小点を中心に前記見
    本ベクトル集合を展開して再度誤差最小点を検出する動
    作を繰り返し行う誤差最小点検出手段と、前記誤差最小
    点検出手段で検出された誤差最小点が収束したかどうか
    を判定するマッチング処理終了判定手段と、前記マッチ
    ング処理終了判定手段で誤差最小点が収束したと判定さ
    れると、前記収束した誤差最小点と前記原点から動きベ
    クトルを検出する動きベクトル演算手段とを具備する動
    き検出処理部を有することを特徴とする動き検出装置。
  3. 【請求項3】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出方法において、複数の点を見本ベ
    クトルで保有する見本ベクトル集合を、前記特定ブロッ
    クの原点に対応する前画像フレームでの点を中心に展開
    し、前記見本ベクトル集合の各点で形成されるブロック
    と前記特定ブロックのブロックマッチングを行って誤差
    量を求め、前記誤差量から前記見本ベクトル集合の各点
    で形成されるブロックの内で誤差量が最小となる点を誤
    差最小点として検出する第1の動作を行い、次に前記誤
    差最小点を中心に前記誤差最小点で形成されるブロック
    の誤差量に応じた見本ベクトル集合を選択して展開し、
    再度誤差最小点を検出する第2の動作を行い、誤差最小
    点が収束するまで前記第2の動作を繰り返して前記収束
    した誤差最小点と前記原点から動きベクトルを検出する
    ことを特徴とする動き検出方法。
  4. 【請求項4】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出装置において、複数の点を見本ベ
    クトルで保有する見本ベクトル集合を、前記特定ブロッ
    クの原点に対応する前画像フレームでの点を中心に展開
    し、前記見本ベクトル集合の各点で形成されるブロック
    と前記特定ブロックのブロックマッチングを行って誤差
    量を求め、前記誤差量から前記見本ベクトル集合の各点
    で形成されるブロックの内で誤差量が最小となる点を誤
    差最小点として検出する第1の誤差最小点検出手段と、
    前記誤差最小点を中心に前記誤差最小点で形成されるブ
    ロックの誤差量に応じた見本ベクトル集合を選択して展
    開し、再度誤差最小点を検出する動作を繰り返し行う第
    2の誤差最小点検出手段と、前記第2の誤差最小点検出
    手段で検出された誤差最小点が収束したかどうかを判定
    するマッチング処理終了判定手段と、前記マッチング処
    理終了判定手段で誤差最小点が収束したと判定される
    と、前記収束した誤差最小点と前記原点から動きベクト
    ルを検出する動きベクトル演算手段とを具備する動き検
    出処理部を有することを特徴とする動き検出装置。
  5. 【請求項5】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出方法において、前記特定ブロック
    の一つ前のブロックで検出された動きベクトルから前記
    特定ブロックが前記前画像フレームで存在したであろう
    予測点を算出し、前記予測点で形成されるブロックと前
    記特定ブロックとをブロックマッチングを行って得られ
    た誤差量と、前記特定ブロックの原点に対応する前画像
    フレームでの点で形成されるブロックと前記特定ブロッ
    クとをブロックマッチングを行って得られた誤差量とを
    比較し、誤差量が最小となるブロックの点を探索開始点
    に決定し、複数の点を見本ベクトルで保有する見本ベク
    トル集合を、前記決定した開始点を中心に展開し、前記
    見本ベクトル集合の各点で形成されるブロックと前記特
    定ブロックのブロックマッチングを行って誤差量を求
    め、前記誤差量から前記見本ベクトル集合の各点で形成
    されるブロックの内で誤差量が最小となる点を誤差最小
    点として検出する第1の動作を行い、次に前記誤差最小
    点を中心に前記誤差最小点で形成されるブロックの誤差
    量に応じた見本ベクトル集合を選択して展開し、再度誤
    差最小点を検出する第2の動作を行い、誤差最小点が収
    束するまで前記第2の動作を繰り返して前記収束した誤
    差最小点と前記原点から動きベクトルを検出することを
    特徴とする動き検出方法。
  6. 【請求項6】 動画像の動き補償フレーム間予測を行う
    にあたり、現画像フレームの特定ブロックの画像が前画
    像フレームの位置から動いた動きの量を動きベクトルと
    して検出する動き検出装置において、前記特定ブロック
    の一つ前のブロックで検出された動きベクトルから前記
    特定ブロックが前記前画像フレームで存在したであろう
    予測点を算出する予測点算出手段と、前記予測点で形成
    されるブロックと前記特定ブロックとをブロックマッチ
    ングを行って誤差量を検出する予測点付近誤差量検出手
    段と、前記特定ブロックの原点に対応する前画像フレー
    ムでの点で形成されるブロックと前記特定ブロックとを
    ブロックマッチングを行って誤差量を検出する原点付近
    誤差量検出手段と、前記両誤差量検出手段から得られた
    誤差量を比較し、誤差量が最小となるブロックの点を探
    索開始点に決定する開始点決定手段と、複数の点を見本
    ベクトルで保有する見本ベクトル集合を、前記開始点決
    定手段で決定された開始点を中心に展開し、前記見本ベ
    クトル集合の各点で形成されるブロックと前記特定ブロ
    ックのブロックマッチングを行って誤差量を求め、前記
    誤差量から前記見本ベクトル集合の各点で形成されるブ
    ロックの内で誤差量が最小となる点を誤差最小点として
    検出する第1の誤差最小点検出手段と、前記誤差最小点
    を中心に前記誤差最小点で形成されるブロックの誤差量
    に応じた見本ベクトル集合を選択して展開し、再度誤差
    最小点を検出する動作を繰り返し行う第2の誤差最小点
    検出手段と、前記第2の誤差最小点検出手段で検出され
    た誤差最小点が収束したかどうかを判定するマッチング
    処理終了判定手段と、前記マッチング処理終了判定手段
    で誤差最小点が収束したと判定されると、前記収束した
    誤差最小点と前記原点から動きベクトルを検出する動き
    ベクトル演算手段とを具備する動き検出処理部を有する
    ことを特徴とする動き検出装置。
  7. 【請求項7】 動画像の動き補償フレーム間予測を行
    い、動画像を圧縮符号化して送信する画像送信装置にお
    いて、請求項2記載の動き検出装置又は請求項4記載の
    動き検出装置又は請求項6記載の動き検出装置を有する
    ことを特徴とする画像送信装置。
JP30159394A 1994-11-11 1994-11-11 動き検出方法及び動き検出装置及び画像送信装置 Pending JPH08140101A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30159394A JPH08140101A (ja) 1994-11-11 1994-11-11 動き検出方法及び動き検出装置及び画像送信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30159394A JPH08140101A (ja) 1994-11-11 1994-11-11 動き検出方法及び動き検出装置及び画像送信装置

Publications (1)

Publication Number Publication Date
JPH08140101A true JPH08140101A (ja) 1996-05-31

Family

ID=17898821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30159394A Pending JPH08140101A (ja) 1994-11-11 1994-11-11 動き検出方法及び動き検出装置及び画像送信装置

Country Status (1)

Country Link
JP (1) JPH08140101A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675974B2 (en) 2005-03-23 2010-03-09 Kabushiki Kaisha Toshiba Video encoder and portable radio terminal device using the video encoder
US7817717B2 (en) 2002-06-18 2010-10-19 Qualcomm Incorporated Motion estimation techniques for video encoding
KR102117917B1 (ko) * 2019-08-13 2020-06-02 김훈 와인정보 제공시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817717B2 (en) 2002-06-18 2010-10-19 Qualcomm Incorporated Motion estimation techniques for video encoding
US7675974B2 (en) 2005-03-23 2010-03-09 Kabushiki Kaisha Toshiba Video encoder and portable radio terminal device using the video encoder
KR102117917B1 (ko) * 2019-08-13 2020-06-02 김훈 와인정보 제공시스템

Similar Documents

Publication Publication Date Title
US8009923B2 (en) Method and system for motion estimation with multiple vector candidates
JP3190529B2 (ja) 映像データ・ブロック変換システム
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
KR100843418B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JP5100495B2 (ja) 画像処理装置
KR20070026360A (ko) 비디오 정보를 압축/압축해제하기 위한 방법
US6611559B1 (en) Apparatus and method of detecting motion vectors by calculating a correlation degree between each candidate block
JP2003143609A (ja) 画像処理装置、画像処理方法、記録媒体及びプログラム
US20050105620A1 (en) Motion vector detecting device and motion vector detecting program
JPH08140101A (ja) 動き検出方法及び動き検出装置及び画像送信装置
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP4250598B2 (ja) 動き補償型ip変換処理装置及び動き補償型ip変換処理方法
KR101810118B1 (ko) 프로파일 정보 기반 움직임 추정장치 및 방법
JPH0262178A (ja) 画像処理装置の動き検出方式
US20180220132A1 (en) Encoder, decoder, and encoding/decoding processing method
JP2006254347A (ja) 画像符号化装置
JP2000134628A (ja) 動きベクトル検出方法及び装置
JPH1042300A (ja) 動きベクトル検出装置
JP2941751B2 (ja) 動きベクトル検出方法およびその装置
JPH0965342A (ja) 映像符号化装置及び映像復号化装置
JPH05236454A (ja) 画像符号化における動ベクトル検出方法と装置
KR101895822B1 (ko) 프로파일 정보 기반 움직임 추정장치 및 방법
JP2006311603A (ja) 動画像符号化方法と装置及び動画像復号化方法と装置
JPH10136374A (ja) 動ベクトル予測装置
JP2006166061A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050215