JPH07177425A - 動きベクトル検出装置 - Google Patents

動きベクトル検出装置

Info

Publication number
JPH07177425A
JPH07177425A JP34441593A JP34441593A JPH07177425A JP H07177425 A JPH07177425 A JP H07177425A JP 34441593 A JP34441593 A JP 34441593A JP 34441593 A JP34441593 A JP 34441593A JP H07177425 A JPH07177425 A JP H07177425A
Authority
JP
Japan
Prior art keywords
motion vector
motion
threshold value
block
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP34441593A
Other languages
English (en)
Inventor
Kazuya Inao
和也 稲生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP34441593A priority Critical patent/JPH07177425A/ja
Publication of JPH07177425A publication Critical patent/JPH07177425A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 動きベクトルの検出精度が向上する動きベク
トル検出装置を提供する。 【構成】 ある動きベクトルを周囲にある複数の動きベ
クトルと比較し、その差分が第1の閾値よりも小さくな
る動きベクトルの個数を前記第1の閾値と異なる第2の
閾値と比較することによって動きベクトルを分類する動
きベクトル分類手段8を備えた。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えばビデオカメラ等
の撮像装置の手振れによる画像振れを補正する画像振れ
防止装置等に組み込まれ且つ画像信号から動きベクトル
を検出する動きベクトル検出装置に関する。
【0002】
【従来の技術】従来、画像の符号化装置や画像振れ防止
装置に必要な動きベクトルを検出する動きベクトル検出
装置として、ブロックマッチング法を用いたものが公知
である。
【0003】このブロックマッチング法は、入力画像信
号を複数の適当な大きさのブロック(例えば、8画素×
8ライン)に分割し、そのブロック単位毎に前のフィー
ルド(またはフレーム)の一定範囲の画素との差を計算
し、この差の絶対値の和が最小となる前のフィールド
(またはフレーム)のブロックを探索する。当該ブロッ
クの相対的なずれが、そのブロックの動きベクトルを表
わしている。
【0004】このようなブロックマッチング法を用いた
従来の動きベクトル検出装置の一例を図6に示す。図6
は、ブロックマッチング法を用いた従来の動きベクトル
検出装置を備えた画像振れ防止装置のプロセス概略図で
ある。
【0005】まず、動きベクトルの検出対象となる画像
信号がフィールド(またはフレーム)メモリである第1
メモリ1及び空間周波数フィルタ2に印加される。第1
メモリ1は画像信号を一時記憶する。また、フィルタ2
は画像信号から動きベクトル検出に有用な空間周波数成
分を抽出する。即ち、画像信号の低空間周波数成分及び
高空間周波数成分をそれぞれ除去する。
【0006】そして、フィルタ2を通過した画像信号
は、相関演算手段3及び1フィールド期間遅延手段とし
ての第2メモリ4に印加される。また、相関演算手段3
には第2メモリ4からの前フィールドの画像信号が印加
される。相関演算手段3はブロックマッチング法に従い
ブロック単位に現フィールドと前フィールドとの相関値
を演算し、その演算結果を示す信号は動きベクトル検出
手段5に印加される。動きベクトル検出手段5は前記相
関値に基づいてブロック単位の動きベクトルを検出す
る。具体的には、前記相関値が最小となる前フィールド
のブロックを探索し、その相対的なずれを動きベクトル
としている。
【0007】動きベクトル検出手段5により検出された
ブロック単位の動きベクトルを示す信号は動きベクトル
決定手段6に印加される。動きベクトル決定手段6は前
記ブロック単位の動きベクトルに基づき全体の動きベク
トルを決定する。具体的には、前記ブロック単位の動き
ベクトルの中央値または平均値を全体の動きベクトルと
している。動きベクトル決定手段6により決定された全
体の動きベクトルを示す信号はメモリ読み出し制御手段
7に印加される。メモリ読み出し制御手段7は前記動き
ベクトルに応じて画像の動きが相殺されるように第1メ
モリ1の読み出し位置を制御することにより、画像の振
れを補正し、振れが補正された画像信号は第1メモリ1
から出力される。
【0008】
【発明が解決しようとする課題】ところで、ブロック単
位に動きベクトルを検出する際、その検出された動きベ
クトルは、当然ながら対象となったブロックの映像状態
に依存する。従って、その映像状態が良好な場合は信頼
性の高い動きベクトルが検出されるが、画像中の被写体
の特徴となる絵柄が少ない場合、また逆に画像中の被写
体の特徴となる絵柄が多い場合、更に特定方向に強い相
関がある場合等は、これを苦手被写体と呼び、誤差の大
きい動きベクトルが検出されることがある。
【0009】このような場合に、上述した従来装置のよ
うに、総てのブロックで検出された動きベクトルを全体
の動きベクトル決定の対象とすると、動きベクトルの検
出精度が著しく劣化するという問題点がある。
【0010】本発明は上記事情に鑑みてなされたもの
で、動きベクトルの検出精度を向上させた動きベクトル
検出装置を提供することを目的とするものである。
【0011】
【課題を解決するための手段】上記目的を達成するため
に本発明の第1発明は、時系列に連続した画像間の相関
値を算出する相関演算手段と、該相関演算手段により算
出された相関値に基づいて画像信号の動きベクトルを検
出する動きベクトル検出手段と、該動きベクトル検出手
段により検出された複数の動きベクトルより特定の動き
ベクトルを決定する動きベクトル決定手段とを有する動
きベクトル検出装置において、ある動きベクトルを周囲
にある複数の動きベクトルと比較し、その差分が第1の
閾値よりも小さくなる動きベクトルの個数を前記第1の
閾値と異なる第2の閾値と比較することによって動きベ
クトルを分類する動きベクトル分類手段を具備したこと
を特徴とする。
【0012】また、同じ目的を達成するために本発明の
第2発明は、時系列に連続した画像間の相関値を算出す
る相関演算手段と、該相関演算手段により算出された相
関値に基づいて画像信号の動きベクトルを検出する動き
ベクトル検出手段と、該動きベクトル検出手段により検
出された複数の動きベクトルより特定の動きベクトルを
決定する動きベクトル決定手段とを有する動きベクトル
検出装置において、ある動きベクトルのX成分またはY
成分を周囲にある複数の動きベクトルのX成分またはY
成分と比較し、その差分が第1の閾値よりも小さくなる
動きベクトルの個数を前記第1の閾値と異なる第2の閾
値と比較することによって動きベクトルを分類する動き
ベクトル分類手段を具備したことを特徴とする。
【0013】
【作用】第1発明の動きベクトル検出装置は、動きベク
トル分類手段により、ある動きベクトルが周囲にある複
数の動きベクトルと比較され、その差分が第1の閾値よ
りも小さくなる動きベクトルの個数が前記第1の閾値と
異なる第2の閾値と比較されることによって動きベクト
ルが分類される。
【0014】第2発明の動きベクトル検出装置は、動き
ベクトル分類手段により、ある動きベクトルのX成分ま
たはY成分が周囲にある複数の動きベクトルのX成分ま
たはY成分と比較され、その差分が第1の閾値よりも小
さくなる動きベクトルの個数が前記第1の閾値と異なる
第2の閾値と比較されることによって動きベクトルが分
類される。
【0015】
【実施例】以下、本発明の実施例を図面に基づき説明す
る。
【0016】(第1実施例)まず、本発明の第1実施例
を図1乃至図3に基づき説明する。図1は、本発明の第
1実施例に係わる動きベクトル検出装置を備えた画像振
れ防止装置のプロセス概略図である。尚、図1において
上述した従来の図6と同一部分については同一符号を付
してある。
【0017】図1において図6と異なる点は、図6の構
成に動きベクトル分類手段8を付加したことと、動きベ
クトル決定手段6がブロック単位の動きベクトルに基づ
き分類情報の有効な領域に対応する動きベクトルのみを
対象として全体の動きベクトルを決定することである。
【0018】動きベクトル分類手段8は、ある動きベク
トルをその周囲にある複数の動きベクトルと比較し、そ
の差分が第1の閾値よりも小さくなる動きベクトルの個
数を前記第1の閾値と異なる第2の閾値と比較すること
によって動きベクトルを分類するものである。動きベク
トル分類手段8には、動きベクトル検出手段5から出力
するブロック単位の動きベクトルを示す信号が入力され
る。また、動きベクトル分類手段8から出力される動き
ベクトル分類信号は、動きベクトル決定手段6に入力さ
れる。その他の構成は図6と同一であるから、その説明
を省略する。
【0019】次に上記構成の動きベクトル検出装置を備
えた画像振れ防止装置の動作を図2乃至図4を用いて説
明する。
【0020】図2は、動きベクトル分類手段8を説明す
るための動きベクトル図、図3は、動きベクトル評価方
法の説明図、図4は、動きベクトル分類手段8の処理動
作を示すフローチャートである。
【0021】図2(a)は、入力画像上に複数の動きベ
クトル検出ブロックを配置した状態を示し、同図(b)
は、同図(a)の入力画像から動きベクトル検出手段5
によって検出されたブロック単位の動きベクトルを示
す。手振れによる動きベクトル「図2(a)では右上方
を向いた矢印の動きベクトル」が多数のブロックで検出
されている。しかし、入力画像中に空や壁といった特徴
のない絵柄が多い被写体(苦手被写体)、或は手摺のよ
うに似た特徴の絵柄が多数ある被写体(苦手被写体)で
は、実際に動いている方向とは異なった誤ベクトルが検
出されることがある。この誤ベクトルは、その周囲のブ
ロックによく似た動きベクトルが余り存在しないという
特徴がある。本実施例における動きベクトル分類手段8
では、このような特徴を利用して前記苦手被写体による
誤ベクトルを判別する。
【0022】動きベクトルを評価するに際して、予め図
3(a)に示すように画面をN個のブロックに分割し、
その各ブロックをBnで表わす(n=1,2,3,…,
N)。これらN個のブロックの内、動きベクトルを評価
しようとするブロックを評価ブロックと呼び、その比較
の対象となる周囲8個のブロックを比較ブロックと呼
ぶ。
【0023】いま、図3(b)に示すように評価ブロッ
クをBmとし、その評価ブロックBmを中心とする周囲
8個の比較ブロックをBm(l)とする(l=1,2,
3,…,8)。
【0024】まず、図4のステップS401で画面内の
N個のブロックそれぞれの動きベクトルを検出し、次の
ステップS402で第1ブロックを評価ブロック(B
1)に設定する(n=1)。次いでステップS403へ
進んで評価ブロックBmに対してその周囲の比較ブロッ
クBm(l)と比較し、まず、第1比較ブロックを設定
する(l=1)。次にステップS404へ進み評価ブロ
ックBmの動きベクトル(評価ベクトル)と、その周囲
の比較ブロックBm(l)の動きベクトル(比較ベクト
ル)とを順次比較して、評価値を得る(評価値=評価ベ
クトル−比較ベクトル)。
【0025】次にステップS405で前記ステップS4
04において得られた評価値が定数Aより小さい(評価
値<A)か否かを判別する。評価値が定数Aより小さい
場合は周囲によく似たベクトルが検知されたものとし
て、次のステップS406で評価値に1を加算(評価値
+1)した後、次のステップS407へ進む。また、前
記ステップS404において評価値が定数Aより小さく
ない場合は前記ステップS406を実行することなくス
テップS407へ進む。
【0026】このステップS407では、次の比較ブロ
ックを選択し(l=l+1)、次のステップS408で
1つの評価ブロックに対して総ての比較ブロックとの比
較処理が終了したか(l>8)否かを判別する。1つの
評価ブロックに対して総ての比較ブロックとの比較処理
が終了していない場合(比較ブロックが比較範囲にある
間)は前記ステップS404へ戻り、終了した(比較ブ
ロックが比較範囲に無い)場合は次のステップS409
へ進む。
【0027】図2(c)において、点斜線を付したブロ
ックが比較ブロック、これら比較ブロックに囲まれたブ
ロックが評価ブロックである。
【0028】前記ステップS409では、評価ブロック
の位置が範囲1にあるか、範囲2にあるか、或は範囲3
にあるかを判別する。評価ブロックの位置が範囲1にあ
ればステップS410で閾値Bをb1に設定(B=b
1)し、評価ブロックの位置が範囲2にあればステップ
S411で閾値Bをb2に設定(B=b2)し、評価ブ
ロックの位置が範囲3にあればステップS412で閾値
Bをb3に設定(B=b3)する。次いでステップS4
13へ進んで評価値が閾値Bより大きいか(評価値>
B)否かを判別する。評価値が閾値Bより大きい場合は
苦手被写体ではないと判断して、次のステップS414
で有効領域を表わす分類情報をセットした後、次のステ
ップS416へ進む。また、評価値が閾値Bより大きく
ない場合はステップS415で無効領域を表わす分類情
報をセットした後、前記ステップS416へ進む。
【0029】このステップS416では、nに1を加算
し(n=n+1)、次のブロックBn+1に移行した
後、次のステップS417へ進んでnがNより大きいか
(n>N)否かを判別する。nがNより大きくなければ
前記ステップS403へ戻り、nがNより大きければス
テップS418へ進んで総てのブロックに亘る分類結果
(全画面評価後の結果)を出力した後、本処理動作を終
了する。
【0030】図2(d)は、分類終了後のブロック単位
の分類情報を示し、同図において1は有効領域を、0は
無効領域をそれぞれ示している。総ての検出ブロックに
対して分類が終了したら、分類情報が図1の動きベクト
ル決定手段6に印加され、有効領域の動きベクトルのみ
が動きベクトル決定の対象となる。
【0031】以上のように本実施例の動きベクトル検出
装置によれば、ある動きベクトルを他の動きベクトルと
比較し、その差分により動きベクトルを分類するので、
動きベクトルの検出精度が向上する。
【0032】(第2実施例)次に、本発明の第2実施例
を図5及び図6に基づき説明する。尚、本実施例におい
て動きベクトル検出装置の基本的な構成は、上述した第
1実施例における図1と同一であるから、同図を流用し
て説明する。図5は、動きベクトル分類手段8の説明
図、図6は、動きベクトル分類手段8の処理動作を示す
フローチャートである。図6(a)は、入力画像上に複
数の動きベクトル検出ブロックを配置した状態を示し、
同図(b)は、同図(a)の入力画像から動きベクトル
検出手段5によって検出されたブロック単位の動きベク
トルを示す。手振れによる動きベクトル「図6(a)で
は右上方を向いた矢印の動きベクトル」が多数のブロッ
クで検出されている。しかし、入力画像中に空や壁とい
った特徴のない絵柄が多い被写体(苦手被写体)、或は
手摺のように似た特徴の絵柄が多数ある被写体(苦手被
写体)では、実際に動いている方向とは異なった誤ベク
トルが検出されることがある。この誤ベクトルは、その
周囲のブロックによく似た動きベクトルが余り存在しな
いという特徴がある。本実施例における動きベクトル分
類手段8では、このような特徴を利用して前記苦手被写
体による誤ベクトルを判別する。
【0033】尚、図6におけるステップS602,ステ
ップS603,ステップS605乃至ステップS60
8,ステップS609乃至ステップS614は、図4の
ステップS402,ステップS403,ステップS40
5乃至ステップS408,ステップS413乃至ステッ
プS418とそれぞれ対応するので、その詳細説明は省
略し、本実施例特有の処理ステップのみについて説明す
る。
【0034】図6において図4と異なる点は、図4のス
テップS409乃至ステップS412を削除したこと、
ステップS601でブロック単位の動きベクトルのX成
分を取得すること及びステップS604で評価ベクトル
のX成分と比較ベクトルのX成分とを比較して(評価値
=評価ベクトルのX成分−比較ベクトルのX成分)評価
値を求めることである。
【0035】図6(c)は、同図(b)に示す動きベク
トルのX成分を示し、このX成分を使って、前記ステッ
プS604において各評価ブロックとその周囲の比較ブ
ロックとを比較するものである。
【0036】図6(d)は、分類終了後のブロック単位
の分類情報を示し、同図において1は有効領域を、0は
無効領域をそれぞれ示す。
【0037】尚、本実施例におけるその他の構成、動作
及び作用効果は、上述した第1実施例と同一であるか
ら、その説明を省略する。
【0038】尚、上記第2実施例においては、動きベク
トルのX成分を使って評価値を求めたが、本発明はこれ
に限られるものではなく、動きベクトルのY成分を使っ
て評価値を求めるようにしてもよい。
【0039】
【発明の効果】以上詳述したように本発明の動きベクト
ル検出装置によれば、ある動きベクトルを他の動きベク
トルと比較し、その差分により動きベクトルを分類する
ので、動きベクトルの検出精度が向上するという効果を
奏する。
【図面の簡単な説明】
【図1】本発明の第1実施例に係わる動きベクトル検出
装置の構成を示すブロック図である。
【図2】同実施例に係わる動きベクトル検出装置におけ
る動きベクトル分類手段を説明するための動きベクトル
図である。
【図3】同実施例に係わる動きベクトル検出装置におけ
る動きベクトル評価方法の説明図である。
【図4】同実施例に係わる動きベクトル検出装置におけ
る動きベクトル分類手段の処理動作を示すフローチャー
トである。
【図5】本発明の第2実施例に係わる動きベクトル検出
装置における動きベクトル分類手段を説明するための動
きベクトル図である。
【図6】同実施例に係わる動きベクトル検出装置におけ
る動きベクトル分類手段の処理動作を示すフローチャー
トである。
【図7】従来の動きベクトル検出装置の構成を示すブロ
ック図である。
【符号の説明】
3 相関演算手段 5 動きベクトル検出手段 6 動きベクトル決定手段 8 動きベクトル分類手段

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 時系列に連続した画像間の相関値を算出
    する相関演算手段と、該相関演算手段により算出された
    相関値に基づいて画像信号の動きベクトルを検出する動
    きベクトル検出手段と、該動きベクトル検出手段により
    検出された複数の動きベクトルより特定の動きベクトル
    を決定する動きベクトル決定手段とを有する動きベクト
    ル検出装置において、ある動きベクトルを周囲にある複
    数の動きベクトルと比較し、その差分が第1の閾値より
    も小さくなる動きベクトルの個数を前記第1の閾値と異
    なる第2の閾値と比較することによって動きベクトルを
    分類する動きベクトル分類手段を具備したことを特徴と
    する動きベクトル検出装置。
  2. 【請求項2】 時系列に連続した画像間の相関値を算出
    する相関演算手段と、該相関演算手段により算出された
    相関値に基づいて画像信号の動きベクトルを検出する動
    きベクトル検出手段と、該動きベクトル検出手段により
    検出された複数の動きベクトルより特定の動きベクトル
    を決定する動きベクトル決定手段とを有する動きベクト
    ル検出装置において、ある動きベクトルのX成分または
    Y成分を周囲にある複数の動きベクトルのX成分または
    Y成分と比較し、その差分が第1の閾値よりも小さくな
    る動きベクトルの個数を前記第1の閾値と異なる第2の
    閾値と比較することによって動きベクトルを分類する動
    きベクトル分類手段を具備したことを特徴とする動きベ
    クトル検出装置。
JP34441593A 1993-12-17 1993-12-17 動きベクトル検出装置 Pending JPH07177425A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34441593A JPH07177425A (ja) 1993-12-17 1993-12-17 動きベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34441593A JPH07177425A (ja) 1993-12-17 1993-12-17 動きベクトル検出装置

Publications (1)

Publication Number Publication Date
JPH07177425A true JPH07177425A (ja) 1995-07-14

Family

ID=18369079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34441593A Pending JPH07177425A (ja) 1993-12-17 1993-12-17 動きベクトル検出装置

Country Status (1)

Country Link
JP (1) JPH07177425A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100363732B1 (ko) * 2000-02-14 2002-12-05 주식회사 훠엔시스 영상 신호의 움직임 검출 장치 및 방법
WO2010070809A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 撮像装置
US7773825B2 (en) 2005-11-02 2010-08-10 Nec Electronics Corporation Image stabilization apparatus, method thereof, and program product thereof
US8743268B2 (en) 2007-12-18 2014-06-03 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100363732B1 (ko) * 2000-02-14 2002-12-05 주식회사 훠엔시스 영상 신호의 움직임 검출 장치 및 방법
US7773825B2 (en) 2005-11-02 2010-08-10 Nec Electronics Corporation Image stabilization apparatus, method thereof, and program product thereof
US8743268B2 (en) 2007-12-18 2014-06-03 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane
WO2010070809A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 撮像装置
JP5389049B2 (ja) * 2008-12-16 2014-01-15 パナソニック株式会社 撮像装置、半導体集積回路、および動きベクトル判定方法
US8780990B2 (en) 2008-12-16 2014-07-15 Panasonic Intellectual Property Corporation Of America Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same

Similar Documents

Publication Publication Date Title
KR0151410B1 (ko) 영상신호의 운동벡터 검출방법
US7769227B2 (en) Object detector
JP4815807B2 (ja) Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP2543505B2 (ja) 時空間微分法を用いた信号処理装置および計測装置
JP2000011133A (ja) 移動物体検出装置及びその方法
JP3308617B2 (ja) 動きベクトル検出装置及びその方法
EP2346239B1 (en) Imaging apparatus, image processing method, and computer program product
KR100262793B1 (ko) 화상의손흔들림판정장치
JPH05122586A (ja) 画像の手振れ補正装置
US5943090A (en) Method and arrangement for correcting picture steadiness errors in telecine scanning
JPH08251474A (ja) 動きベクトル検出装置,動きベクトル検出方法,画像ぶれ補正装置,画像追尾装置及び撮像装置
JPH08292014A (ja) パターン位置の計測方法および計測装置
JPWO2007063675A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JPH04345382A (ja) シーンチェンジ検出装置
JPH07177425A (ja) 動きベクトル検出装置
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP4605582B2 (ja) ステレオ画像認識装置及びその方法
JPH04309078A (ja) ビデオデータの動き検出装置および方法
JPH02100589A (ja) 両眼視差検出方法
KR970011540B1 (ko) 캠코더의 영상보정장치
JP2506500B2 (ja) 画像の動き検出装置
JPH0575913A (ja) 動きベクトル検出回路及び手ぶれ補正回路
JP2857001B2 (ja) 距離測定装置
JPH05145828A (ja) 画像の手振れ判定装置
JP3252448B2 (ja) 動きベクトル検出装置及び方法、並びに、画像の振動補正装置及び方法