JP3465264B2 - ビデオデータの動き検出装置および方法 - Google Patents

ビデオデータの動き検出装置および方法

Info

Publication number
JP3465264B2
JP3465264B2 JP10038491A JP10038491A JP3465264B2 JP 3465264 B2 JP3465264 B2 JP 3465264B2 JP 10038491 A JP10038491 A JP 10038491A JP 10038491 A JP10038491 A JP 10038491A JP 3465264 B2 JP3465264 B2 JP 3465264B2
Authority
JP
Japan
Prior art keywords
motion vector
detecting
macroblocks
motion
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP10038491A
Other languages
English (en)
Other versions
JPH04309078A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10038491A priority Critical patent/JP3465264B2/ja
Publication of JPH04309078A publication Critical patent/JPH04309078A/ja
Application granted granted Critical
Publication of JP3465264B2 publication Critical patent/JP3465264B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオデータに含まれる手振
れの方向および量を検出するための動き検出装置および
方法に関する。
【0002】
【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている(例
えば特開昭63−166370号公報)。動きベクトル
の検出は、例えばブロックマッチングでなさる。すな
わち、画面を多数の領域(ブロックと称する)に分割
し、各ブロックの中心に位置する前フレームの代表点と
現フレームのブロック内の画素データとのフレーム差の
絶対値を演算し、このフレーム差の絶対値を1画面に関
して積算し、積算フレーム差データの最小値の位置から
画面全体の動きベクトルを検出している。この検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り原画像を移動する補正を行っている。かかる手振れ補
正装置では、補正が良好になされるか否かは、手振れの
検出の精度に依存する。
【0003】
【発明が解決しようとする課題】ブロックマッチングに
よる動きベクトルの検出では、手振れで生じた動き、す
なわちビデオカメラの動きか、又は画面中の対象物の動
きかの判定が難しい。従って、対象物が動いたことを手
振れと誤判定するおそれがある。そこで、従来の手振れ
検出の方法として、1フレームの画像を数個例えば4個
の領域(マクロブロックと称する)に等しく分割するも
のが知られている。これは、ブロックマッチングによる
動きベクトルの検出を1フレーム全体ではなくて、マク
ロブロック毎に行い、次に、マクロブロック毎の動きベ
クトルを多数決判定し、多数である動きベクトルを全体
的な動きベクトルとして採用している。しかしながら、
画面中央にその面積の大きい物体が存在し、この物体が
動く時には、この物体を動きを手振れとして、誤検出す
る可能性を払拭することができない。従って、この発明
の目的は、マクロブロックの方式を使用しても、単なる
多数決判定と異なり、検出精度を向上できるビデオデー
タの動き検出装置および方法を提供することにある。
【0004】
【課題を解決するための手段】請求項1に記載の発明
は、互いに隣接しないマクロブロックが生じるような形
態で、1画面を複数のマクロブロックに分割し、マクロ
ブロック毎に動きベクトルを検出する第1の検出手段
と、第1の検出手段の出力に基づいて画面全体の動きベ
クトルを検出する第2の検出手段とを有するビデオデ
ータの動き検出装置であって、第2の検出手段は、第1
の検出手段から出力される動きベクトルの内で、略同一
の動きベクトルを有するマクロブロックが空間的に分離
されたもあるか否かを検出し、空間的に分離された
ものある時には、その動きベクトルを画面全体の動き
ベクトルとして出力するようにしたことを特徴とするビ
デオデータの動き検出装置である。
【0005】
【作用】画面内の比較的大面積の物体の動きにより生じ
た動きベクトルは、空間的に隣接するマクロブロックの
動きベクトルとして検出されるのが普通である。従っ
て、空間的に分離されたマクロブロックに関して同一の
動きベクトルを手振れで生じたものと判定することで、
精度を高くできる。また、各マクロブロックの動きベク
トルに関して、それぞれマクロブロックの個数を検出
し、その中の最大値から統合ベクトルが形成される。こ
の最大値の検出に先立って、周辺ブロックを重視する重
み付けを行い、これにより検出精度を高くすることがで
きる。
【0006】
【実施例】以下、この発明の一実施例について図面を参
照して説明する。この発明は、手振れがビデオカメラの
動きであるため、画面全体が動き、一方、比較的大面積
の対象物の動きは、画面の部分的な領域が動くことに着
目して、両者の区別を行うものである。図1において、
1がディジタルビデオデータの入力端子である。このビ
デオデータは、例えばビデオカメラのCCDで撮影され
たもので、インターレス走査の順序の系列である。
【0007】入力ビデオデータがフレームメモリ、アド
レス制御回路等からなる補正回路2、代表点メモリ4お
よび減算回路5に供給される。補正回路2から出力端子
3に補正信号により手振れ補正されたデータが読み出さ
れる。代表点メモリ4の出力が減算回路5に供給され
る。代表点メモリ4は、1フレーム前の代表点のデータ
を記憶する。従って、減算回路5から、現フレームの画
素データと前フレームの代表点データとの差(ここで
は、フレーム差と称する)が得られる。このフレーム差
がマクロブロック化回路6に供給され、マクロブロック
化回路6により、フレーム差がマクロブロックの順序を
有するものに変換される。
【0008】この例では、図2に示すように、1フレー
ムが縦方向に3分割、横方向に4分割され、12個のマ
クロブロックB11、B12、・・・・、B34が形成
される。このマクロブロックの例に限らず、複数のマク
ロブロックを得るために、1画面を分割する方法は、種
々採用できる。但し、互いに隣接しないマクロブロック
が生じる必要があり、従って、画面を等しく4分割する
ような方法は、採用してはならない。
【0009】マクロブロック化回路6からの各マクロブ
ロックのフレーム差データが12個の動きベクトル検出
回路D11、D12、・・・、D34にそれぞれ供給さ
れる。各動きベクトル検出回路は、各マクロブロックに
関する動きベクトルを検出する。図3に示すように、各
マクロブロックの領域がm画素×nラインのブロックに
細分化され、各ブロックの中心の画素と代表点とが対応
される。例えば(m=n=25)である。代表点は、画
面上で、均一にばらまかれている。減算回路5では、現
フレーム内の図3のブロックのm×n個の画素データ
と、前フレームの対応する位置の代表点データとのそれ
ぞれの差を検出している。
【0010】マクロブロック化回路6によりマクロブロ
ックの順序に変換されたフレーム差データを受け取った
動きベクトル検出回路D11〜D34は、まず、フレー
ム差を絶対値に変換する。次に、ブロック内の各位置の
フレーム差の絶対値が1マクロブロックにわたって積算
され、m×nの積算フレーム差データの分布が形成さ
れ、そして、この分布の中の最小値の位置がそのマクロ
ブロックの動きベクトルであると判定される。この動き
ベクトルの検出は、従来と同様である。
【0011】12個の動きベクトル検出回路D11〜D
34のそれぞれにより検出されたマクロブロック単位の
動きベクトルが統合ベクトル形成回路7に供給される。
統合ベクトル形成回路7は、12個の動きベクトルを後
述のように、統合することにより、画面全体の動きベク
トル(統合ベクトル)を発生する。この統合ベクトルが
補正信号発生回路8に供給される。
【0012】統合ベクトルは、フレーム間の動きから検
出されたもので、手振れの補正量と同一ではない。例え
ば連続する3フレームの期間で、第2番目および第3番
目のフレームの期間で、同一方向の手振れが生じている
時では、最初のフレームと次のフレームとの間の統合ベ
クトルV1が得られ、第2番目と第3番目のフレーム間
の統合ベクトルV2が得られる。第2番目のフレームに
対する補正量は、V1で良いが、第3番目のフレームに
対する補正量は、(V1+V2)の必要がある。補正信
号発生回路8は、一例として、統合ベクトルを積分した
補正量を発生する。補正信号発生回路8からの手振れ補
正信号が補正回路2に供給され、入力画像データの手振
れ補正がフレームメモリを使用し、そのアドレスを制御
することで達成される。
【0013】統合ベクトル形成回路7は、図4に示す流
れに従って統合ベクトルを形成する。各ブロックの動き
ベクトルが入力され(ステップ11)、全マクロブロッ
クの動きベクトルが同一か否かが調べられる。若し、同
一ならば、その動きベクトルが統合ベクトルとして出力
される(ステップ13)。以下の場合も同様であるが、
同一は、ある程度のトレランスを含んでいる。
【0014】ステップ12が成立しない時は、判定のス
テップ14に移り、空間的に分離された複数のマクロブ
ロックに関して、動きベクトルが同一かどうかが調べら
れる。言い換えると、1フレーム全体で、同一の動きベ
クトルを有するマクロブロックが空間的に分離されたも
のかどうかが調べられる。ステップ14を満足する動き
ベクトルが統合ベクトルとして出力される(ステップ1
5)。「空間的に分離された」は、(B11、B12、
B21、B22)の例のように、上下、左右、斜めの各
方向で隣接するものを除くことを意味する。従って、空
間的な距離、同一の動きベクトルを有するマクロブロッ
クの個数等については、必要とされる検出精度等を考慮
して適宜設定される。この判定のステップ14は、比較
的大面積の物体の動きを手振れとするような誤判定を排
除できる。
【0015】ステップ14が成立しない時には、流れが
ステップ16に移り、同一ベクトルを有するマクロブロ
ックの個数がそれぞれ合計される。このマクロブロック
の各個数に対して、次のステップ17で重み付けがなさ
れる。この重み付けは、画面非周辺付近のマクロブロッ
クに関するブロック数に対して、画面の周辺のマクロブ
ロックに関するブロック数を優先させるためである。一
例として、周辺に関するブロック数には、1.5の重み
係数を乗じ、非周辺付近に関するブロック数には、1の
重み係数を乗じる。比較的大面積の物体の動きは、中心
付近にあることが多いことを考慮して、ステップ17の
重み付けがなされる。
【0016】そして、流れがステップ18に移り、重み
付けがされたブロック数の中での最大値があるかどうか
が調べられる。最大値がある時には、その最大値のマク
ロブロックの動きベクトルが統合ベクトルとして出力さ
れる(ステップ19)。若し、ブロック数が等しいか、
又は略等しいならば、流れがステップ20に移る。そし
、マクロブロックの個数に関して、ステップ20で多
数決判定がされ、多数とされたものの動きベクトルが統
合ベクトルとして出力される。多数決判定は、統合ベク
トルを発生するうえで、精度の点で問題があり、精度を
重視する場合には、この判定を省略し、統合ベクトルの
検出不能として処理することも可能である。
【0017】この発明においては、ビデオカメラの撮像
出力の手振れ補正をリアルタイムで行っても良く、ま
た、VTRにより記録されたものに対して手振れ補正を
行っても良い。ビデオカメラの撮像出力をリアルタイム
で補正する時には、手振れが生じたことを示すマーカー
をビューファインダの画面内に表示しても良い。
【0018】
【発明の効果】この発明は、1画面をマクロブロックに
分割し、各マクロブロックの動きベクトルを検出し、動
き物体と手振れとの特性の相違を利用してこの動きベク
トルを画面全体の動きベクトルに統合している。従っ
て、検出された統合ベクトルは、画面内の対象物の動き
に影響されない高精度のものであり、手振れ補正を良好
に行うことができる。
【図面の簡単な説明】
【図1】この発明の一実施例のブロック図である。
【図2】この発明の一実施例のマクロブロックの一例を
示す略線図である。
【図3】この発明の一実施例の動きベクトルの検出の説
明に用いる略線図である。
【図4】この発明の一実施例における統合ベクトルの形
成動作を示すフローチャートである。
【符号の説明】
2 補正回路 4 前フレームの代表点データを記憶する代表点メモ
リ 6 マクロブロック化回路 7 統合ベクトル形成回路

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 互いに隣接しないマクロブロックが生じ
    るような形態で、1画面を複数のマクロブロックに分割
    し、上記マクロブロック毎に動きベクトルを検出する第
    1の検出手段と、 上記第1の検出手段の出力に基づいて画面全体の動きベ
    クトルを検出する第2の検出手段とを有するビデオデ
    ータの動き検出装置であって、 上記第2の検出手段は、上記第1の検出手段から出力
    れる上記動きベクトルの内で、略同一の動きベクトルを
    有するマクロブロックが空間的に分離されたもある
    か否かを検出し、空間的に分離されたものある時に
    は、その動きベクトルを上記画面全体の動きベクトルと
    して出力するようにしたことを特徴とするビデオデータ
    の動き検出装置。
  2. 【請求項2】 互いに隣接しないマクロブロックが生じ
    るような形態で、1画面を複数のマクロブロックに分割
    し、上記マクロブロック毎に動きベクトルを検出する第
    1のステップと、 上記第1のステップで検出された上記動きベクトルに基
    づいて画面全体の動きベクトルを検出する第2のステッ
    プとを有するビデオデータの動き検出方法であって、 上記第2のステップは、上記1のステップで検出された
    上記動きベクトルの内で、略同一の動きベクトルを有す
    るマクロブロックが空間的に分離されたもあるか否
    かを検出し、空間的に分離されたものある時には、そ
    の動きベクトルを上記画面全体の動きベクトルとして出
    力するようにしたことを特徴とするビデオデータの動き
    検出方法。
  3. 【請求項3】 互いに隣接しないマクロブロックが生じ
    るような形態で、1画面を複数のマクロブロックに分割
    し、上記マクロブロック毎に動きベクトルを検出する第
    1の検出手段と、 上記第1の検出手段の出力に基づいて画面全体の動きベ
    クトルを検出する第2の検出手段とを有するビデオデー
    タの動き検出装置であって、 上記第2の検出手段は、上記第1の検出手段の出力の内
    で空間的に分離された位置にある少なくとも二つの上記
    マクロブロックにおいて、略同一の動きベクトルを有す
    るものがあるか否かを検出し、略同一のものがない時に
    は、略同一の動きベクトルを有するマクロブロックを各
    々統合し、上記画面の周辺に位置するマクロブロックの
    ブロック数に非周辺に位置するマクロブロックのブロッ
    ク数よりも大きな重みを付けて、上記統合されたマクロ
    ブロックのブロック数を各々検出し、当該検出されたブ
    ロック数が最大値となる上記マクロブロックの動きベク
    トルを画面全体の動きベクトルとして出力するようにし
    たことを特徴とするビデオデータの動き検出装置。
  4. 【請求項4】 互いに隣接しないマクロブロックが生じ
    るような形態で、1画面を複数のマクロブロックに分割
    し、上記マクロブロック毎に動きベクトルを検出する第
    1のステップと、 上記第1のステップで検出された上記動きベクトルに基
    づいて画面全体の動きベクトルを検出する第2のステッ
    プとを有するビデオデータの動き検出方法であって、 上記第2のステップは、上記1のステップで検出された
    上記動きベクトルの内で空間的に分離された位置にある
    少なくとも二つの上記マクロブロックにおいて、略同一
    の動きベクトルを有するものがあるか否かを検出し、略
    同一のものがない時には、略同一ベクトルを有するマク
    ロブロックを各々統合し、上記画面の周辺に位置するマ
    クロブロックのブロック数に非周辺に位置するマクロブ
    ロックのブロック数よりも大きな重みを付けて、上記統
    合されたマクロブロックのブロック数を各々検出し、当
    該検出されたブロック数が最大値となる上記マクロブロ
    ックの動きベクトルを画面全体の動きベクトルとして出
    力するようにしたことを特徴とするビデオデータの動き
    検出方法。
JP10038491A 1991-04-05 1991-04-05 ビデオデータの動き検出装置および方法 Expired - Lifetime JP3465264B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10038491A JP3465264B2 (ja) 1991-04-05 1991-04-05 ビデオデータの動き検出装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10038491A JP3465264B2 (ja) 1991-04-05 1991-04-05 ビデオデータの動き検出装置および方法

Publications (2)

Publication Number Publication Date
JPH04309078A JPH04309078A (ja) 1992-10-30
JP3465264B2 true JP3465264B2 (ja) 2003-11-10

Family

ID=14272519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10038491A Expired - Lifetime JP3465264B2 (ja) 1991-04-05 1991-04-05 ビデオデータの動き検出装置および方法

Country Status (1)

Country Link
JP (1) JP3465264B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067694A (ja) * 2005-08-30 2007-03-15 Mitsubishi Electric Corp 画像符号化装置、カメラ、携帯端末機器および画像符号化方法
JP4595834B2 (ja) * 2006-03-03 2010-12-08 日本ビクター株式会社 動きベクトル検出方法及び装置
JP4696055B2 (ja) * 2006-12-21 2011-06-08 富士フイルム株式会社 手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置
JP4696056B2 (ja) * 2006-12-21 2011-06-08 富士フイルム株式会社 手振れベクトル算出方法及びその装置並びに手振れベクトル算出プログラム、電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラム、撮像装置
JP4696059B2 (ja) * 2006-12-28 2011-06-08 富士フイルム株式会社 画面間の移動ベクトル算出方法及びその装置並びに画面間の移動ベクトル算出プログラム、電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラム、撮像装置
WO2008111169A1 (ja) * 2007-03-13 2008-09-18 Fujitsu Microelectronics Limited 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US8035692B2 (en) 2007-03-30 2011-10-11 Fujifilm Corporation Image taking apparatus which forms an image of a subject on an imaging device to create image data representative of the subject
JP4860567B2 (ja) 2007-07-20 2012-01-25 富士フイルム株式会社 撮影装置

Also Published As

Publication number Publication date
JPH04309078A (ja) 1992-10-30

Similar Documents

Publication Publication Date Title
JP3103894B2 (ja) ビデオデータの手振れ補正装置およびその方法
JP4639555B2 (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP3200889B2 (ja) 画像の振動補正装置
JP2007281555A (ja) 撮像装置
JP3465264B2 (ja) ビデオデータの動き検出装置および方法
JP2679778B2 (ja) 画像の動き検出装置
JPH0275284A (ja) 撮像装置及びぶれ補正装置
JPH04213973A (ja) 画像ゆれ補正装置
JPH0865567A (ja) 撮像装置
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP3473064B2 (ja) 画像動きベクトル検出装置及びビデオカメラ
JPH0522645A (ja) 動き検出回路
JP3252418B2 (ja) 画像の手振れ判定装置
JP3257035B2 (ja) 画像の振動補正装置及び方法
JPH0846856A (ja) 手振れ補正装置
JP3103893B2 (ja) ビデオデータの手振れ検出装置およびその方法
JP2019149602A (ja) 撮像装置
JP3225598B2 (ja) 画像の手振れ検出装置
JP3395186B2 (ja) ビデオカメラおよびビデオカメラの画像の振動表示方法
JP3196258B2 (ja) 画像の動きベクトル検出装置
JPH0575913A (ja) 動きベクトル検出回路及び手ぶれ補正回路
JP2925890B2 (ja) 手振れ補正装置を有するビデオカメラ
JP3218613B2 (ja) ビデオデータの手振れ検出装置およびその方法
JP2562715B2 (ja) 手ブレ検出回路
JP4274430B2 (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8