JP4622265B2 - 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム - Google Patents
動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム Download PDFInfo
- Publication number
- JP4622265B2 JP4622265B2 JP2004056257A JP2004056257A JP4622265B2 JP 4622265 B2 JP4622265 B2 JP 4622265B2 JP 2004056257 A JP2004056257 A JP 2004056257A JP 2004056257 A JP2004056257 A JP 2004056257A JP 4622265 B2 JP4622265 B2 JP 4622265B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- representative point
- motion vector
- evaluation value
- value table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。
|X-Y|<TH
を満足する場合、評価値テーブルの対応位置に+1カウントし、画面内の全ての代表点の演算結果を評価値テーブルに足し込むことで評価値テーブルを生成する。
|X-Y|<TH
を満足するので、評価値テーブルに対する積算ポイントとして設定される。しかし、実際は、3つの画素35,36,37中、正しい動きベクトルに対応するのは、画素36のみであり、他の2つの画素35,37は、誤った積算ポイントとして評価値テーブルに加算されることになる。
(a)検出した代表点との相関のみに基づいて+1カウントする方式では、評価値テーブルの頻度が画像内の物体の面積に依存する。従って評価値テーブルから画面内に存在する複数の物体の動きベクトルを検出するのが困難になる。
(b)評価値テーブルのピークの大きさが物体の面積に依存することになるため、物体の面積は小さいが画像内では目立つ物体、例えばテロップなどの候補ベクトルのピークが小さくなり、その候補ベクトルを読み出すのが困難になる。
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出部と、
前記動き類似性検出部により前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出部と、
前記重み算出部の算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記(a)〜(c)の少なくともいずれかを反映した値として算出する構成であることを特徴とする。
α=A×W
によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする。
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
前記動き類似性検出ステップにより前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出ステップと、
前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法にある。
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記(a)〜(c)の少なくともいずれかを反映した値として算出することを特徴とする。
前記重み算出ステップは、前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Wを算出し、該重み係数Wに基づく算出値としての信頼度指数αを生成するステップと、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数K=α+βを算出するステップとを有し、前記評価値テーブル算出ステップは、前記重み算出ステップにおいて算出した信頼度指数K=α+βに対応する評価値を積算し評価値テーブルを生成することを特徴とする。
α=A×W
によって、信頼度指数αを算出する処理を実行することを特徴とする。
コンピュータに、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成手順と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出手順とを実行させるためのプログラムであって、
前記評価値テーブル形成手順は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算手順と、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出手順と、
前記動き類似性検出手順で前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出手順と、
前記重み算出手順において算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出手順を有する、
ことを特徴とするプログラムにある。
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数βを算出し、この信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。
1.代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
2.動きベクトル検出装置全体構成および動きベクトル検出処理手順
3.近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細
4.代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の詳細
5.評価値テーブルの具体例
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許2083999号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式(特開2001−61152号公報に開示)を適用するとともに、代表点マッチング法を利用した処理例である。
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。
(1)着目するフレームのある画素と参照フレーム内でn個の候補ベクトルに関して、動きベクトル先の画素との相関性が同じ、もしくは似ている画素が複数存在し、どの動きベクトルが正しい動きベクトルか、相関性の高さを表す画素差分絶対値(以後MC残差と呼ぶ)だけでは判断することが困難である。
(2)正しい動きベクトルであれば、その動きベクトル先の画素とのMC残差が最も小さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きベクトル先の画素とのMC残差が候補ベクトルの中で最小とは限らない。
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図6に示し、動きベクトル検出処理の処理シーケンスを図7のフローチャートに示す。
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の処理の詳細、すなわち、近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細について説明する。評価値テーブル形成部の詳細構成を図8に示す。
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。
フラグデータ演算部220は、画像データを入力し、入力される画素全てに対して、隣接する画素データの関係をフラグデータに変換する処理を実行する。
−255<d≦−32→フラグ=0
−32<d≦−16→フラグ=1
:
16<d≦32→フラグ=14
32<d≦255→フラグ=15
であり、各量子化器224,227は、各差分算出部223,226から入力する8ビット差分データd(0〜255)の値に基づいて4ビットのフラグデータ(0〜15)を生成してフラグデータ格納メモリ231に出力する。
次に、フラグデータ演算部220から上述した説明に従って生成するフラグデータを入力するフラグ相関演算部230の処理について説明する。
次に重み算出処理部250の処理について説明する。重み算出処理部250は、フラグ相関演算部230の算出したフラクデータ差分値をデコーダ254に入力して、画像データのアクティビティを算出する。
右画素のフラグデータ情報[9]に対応する代表値差分は[2]
であり、この場合のアクティビティAは、
A=|−10|+|2|
=12となる。
着目画素の画素値=128、
右隣接画素の画素値=130、
左隣接画素の画素値=118、
この設定において、上記計算によって算出されるアクティビティは、
A=|130−128|+|118−128|
=12
であり、この3画素間の画素値最大値(MAX)=130、画素値最小値(MIN)=118の差分であるダイナミックレンジ(DR)に等しい値となる。
比較部241では、
|X-Y|<TH1 ・・・ (式1)
が成立するか否かが判定され、
比較部242では
|Xf0-Yf0|<TH2 ・・・ (式2)
|Xf1-Yf1|<TH2 ・・・ (式3)
が成立するか否かが判定され、これらの判定結果を重み算出部252に入力する。
W=(TH1-|X-Y|) ・・・ (式4)
と示すことができる。ただし、式2と式3が満たされない場合はW=0とする。従って重み係数Wの値が大きい程、検出した候補動きベクトルの信頼度は大きいと判断される。さらに、式2、3の相関の度合いを重み係数Wに反映する構成としてもよい。すなわち、
Wall=(TH1-|X-Y|)+(TH2-|Xf0-Yf0|)+(TH2-|Xf1-Yf1|) ・・・(式5)
ただし、式2と式3が満たされない場合はWall=0とする。
α=A×W ・・・(式6)
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。
α=A×W
として信頼度指数αが算出される。
次に、代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の詳細について説明する。
|X(x,y)−Y(x,+Vx,y+vy)|<THを満足する場合に、相関ありと判定して評価値が加算される。
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。
まず、動き類似性検出部420の処理について、図17を参照して具体的処理を例として説明する。動き類似性検出部420は、画像データを入力し、画素差分演算部421内のレジスタ(ラインメモリ)422に入力画素データを格納する。図17に示す入力フレーム510が、レジスタ(ラインメモリ)422に格納される。差分算出部423は、レジスタ(ラインメモリ)422に格納された画素データと、入力画素データの画素値差分を算出する。例えば、図17に示す画素511の画素値X1と画素512の画素値X5の差分D=X5−X1が算出される。図17に示すステップ1[S1]の処理である。ここで、X1,X5はそれぞれの画素511,512の画素値を示している。
|Q−X5|<TH
|P−X5+D|<TH
が成立するか否かの判定処理を実行する。
次に、重み算出部441の処理について説明する。重み算出部441は、画像内の物体上のある代表点を着目画素とした時、近傍の代表点に対応する相関検出によって取得される動きベクトルが類似していればその動きベクトルは信頼できるとして、信頼度に基づいて信頼度指数βを算出し、信頼度指数βを演算部442に出力する。
代表点550→[Pm]
近傍代表点560→[P0]
近傍代表点561→[P1]
近傍代表点562→[P2]
近傍代表点563→[P3]
である。
信頼度指数β=|Pm−P0|+|Pm−P2|
として算出される。
1.近傍代表点の動きの一致数もしくは類似数
2.動きが一致もしくは類似した代表点との空間勾配
3.動きが一致もしくは類似した時の代表点間の距離
次に、代表点静止判定部450の処理について説明する。代表点静止判定部450は、基準値メモリ451、比較部452、フラグメモリ453を有する。
a.ブロックの中心位置の画素値、
b.ブロック内のすべての画素の画素値の平均値、
c.ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。
1.近傍代表点の動きの一致数もしくは類似数
2.動きが一致もしくは類似した代表点との空間勾配
3.動きが一致もしくは類似した時の代表点間の距離
K=α+β
を信頼度指数として設定し、この信頼度指数Kを反映した評価値を評価値テーブルに加算する構成としてもよい。この場合の、評価値テーブル形成部の構成は、図8に示した構成と、図16に示した構成を併せ持つ構成となる。
上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される度数分布型評価値テーブルの例を説明する。
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数βを算出し、この信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。
11 検査ブロックBy
12 サーチエリア
20 現フレーム
21 基準ブロックBx
30 前フレーム
31 現フレーム
32 サーチエリア
35,36,37 画素
38 代表点
70 前フレーム
71 代表点Ry
80 現フレーム
81 サーチエリア
90 評価値テーブル
91 前フレーム画素
95,96,97 現フレーム画素
101 評価値テーブル形成部
102 候補ベクトル抽出部
103 動きベクトル決定部
104 制御部(コントローラ)
200 評価値テーブル形成部
210 画素相関演算部
211 代表点メモリ
212 差分算出部
213 絶対値算出部
220 フラグデータ演算部
221,222 レジスタ
223,226 差分算出部
224,227 量子化器
225 変換テーブル
230 フラグ相関演算部
231 フラグデータ格納メモリ
232 差分算出部
233 絶対値算出部
241,242 比較部
250 重み算出処理部
251 アクティビティ算出部
252 重み算出部
253 変換テーブル
254 デコーダ
260 演算部
270 評価値テーブル算出部
271 評価値積算部
272 評価値テーブルメモリ
300 着目画素
301,302 隣接画素
320 前フレーム
321 代表点
322 現フレーム
323 サーチエリア
324 画素
325 動きベクトル
340 前フレーム
341 代表点
342 近傍代表点
350 現フレーム
351,352 画素
355 サーチエリア
360 動きベクトル
400 評価値テーブル形成部
410 画素相関演算部
411 代表点メモリ
412 差分算出部
413 絶対値算出部
420 動き類似性検出部
421 画素差分演算部
422 レジスタ
423 差分算出部
424 演算部
425 絶対値算出部
426 相関算出部
430 比較部
441 重み算出処理部
442 演算部
450 代表点静止判定部
451 基準津メモリ
452 比較部
453 フラグメモリ
470 評価値テーブル算出部
471 評価値積算部
472 評価値テーブルメモリ
800 動画像データ
801〜804 移動物体
Claims (17)
- 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出部と、
前記動き類似性検出部により前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出部と、
前記重み算出部の算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置。 - 前記動きベクトル検出装置は、さらに、
前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出部からの信頼度指数βを入力する演算部を有し、
前記演算部は、前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行し、最終評価値を算出し、前記評価値テーブル算出部に出力する構成である
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記重み算出部は、
代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記(a)〜(c)の少なくともいずれかを反映した値として算出する構成である
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記評価値テーブル形成部は、さらに、
前記代表点が静止領域にあるか否かを判定する代表点静止判定部を有し、
前記重み算出部は、
前記代表点静止判定部において、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を0または低下させて設定する処理を実行する構成である
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記評価値テーブル形成部は、さらに、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算部と、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部とを有し、
前記重み算出部は、
前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Wを算出し、該重み係数Wに基づく算出値としての信頼度指数αを生成し、
前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数K=α+βを算出する構成であり、
前記評価値テーブル算出部は、前記重み算出部の算出した信頼度指数K=α+βに対応する評価値を積算し評価値テーブルを生成する構成である
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記重み算出部は、
前記フラグデータ演算部の算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティAを算出し、
該算出アクティビティAと、前記重み係数Wとに基づいて、下記式、
α=A×W
によって、信頼度指数αを算出する処理を実行する構成である
ことを特徴とする請求項6に記載の動きベクトル検出装置。 - 前記動きベクトル検出装置は、さらに、
前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、
前記動きベクトル決定部は、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成である
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
前記動き類似性検出ステップにより前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出ステップと、
前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法。 - 前記動きベクトル検出方法は、さらに、
前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出ステップにおいて算出される信頼度指数βを入力して演算を実行する演算ステップを有し、
前記演算ステップは、
前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行して最終評価値を算出し、
前記評価値テーブル算出ステップは、前記最終評価値の積算により、評価値テーブルを生成する
ことを特徴とする請求項9に記載の動きベクトル検出方法。 - 前記重み算出ステップは、
代表点間の動き類似性ありとの判定を入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
(a)近傍代表点の動きの一致数もしくは類似数
(b)動きが一致もしくは類似した代表点との空間勾配
(c)動きが一致もしくは類似した時の代表点間の距離
上記(a)〜(c)の少なくともいずれかを反映した値として算出する
ことを特徴とする請求項9に記載の動きベクトル検出方法。 - 前記評価値テーブル形成ステップは、さらに、
前記代表点が静止領域にあるか否かを判定する代表点静止判定ステップを有し、
前記重み算出ステップは、
前記代表点静止判定ステップにおいて、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を0または低下させて設定する処理を実行する
ことを特徴とする請求項9に記載の動きベクトル検出方法。 - 前記評価値テーブル形成ステップは、さらに、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップとを有し、
前記重み算出ステップは、
前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Wを算出し、該重み係数Wに基づく算出値としての信頼度指数αを生成するステップと、
前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数K=α+βを算出するステップとを有し、
前記評価値テーブル算出ステップは、
前記重み算出ステップにおいて算出した信頼度指数K=α+βに対応する評価値を積算し評価値テーブルを生成する
ことを特徴とする請求項9に記載の動きベクトル検出方法。 - 前記重み算出ステップは、
前記フラグデータ演算ステップにおいて算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティAを算出し、
該算出アクティビティAと、前記重み係数Wとに基づいて、下記式、
α=A×W
によって、信頼度指数αを算出する処理を実行する
ことを特徴とする請求項14に記載の動きベクトル検出方法。 - 前記動きベクトル検出方法は、さらに、
前記評価値テーブルに基づいて1以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、
前記動きベクトル検出ステップは、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップである
ことを特徴とする請求項9に記載の動きベクトル検出方法。 - コンピュータに、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成手順と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出手順とを実行させるためのプログラムであって、
前記評価値テーブル形成手順は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算手順と、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出手順と、
前記動き類似性検出手順で前記代表点と近傍代表点とが動き類似性ありと判定された場合に、前記代表点と動き類似性ありと判定された前記近傍代表点との画素値差分を用い、該画素値差分が大きい程大きくなる信頼度指数βを生成する重み算出手順と、
前記重み算出手順において算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出手順を有する、
ことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004056257A JP4622265B2 (ja) | 2004-03-01 | 2004-03-01 | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム |
PCT/JP2005/002786 WO2005084036A1 (ja) | 2004-03-01 | 2005-02-22 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
KR1020067016529A KR101098394B1 (ko) | 2004-03-01 | 2006-08-17 | 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 |
US11/467,777 US8064522B2 (en) | 2004-03-01 | 2006-08-28 | Motion-vector detecting device, motion-vector detecting method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004056257A JP4622265B2 (ja) | 2004-03-01 | 2004-03-01 | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005250561A JP2005250561A (ja) | 2005-09-15 |
JP4622265B2 true JP4622265B2 (ja) | 2011-02-02 |
Family
ID=35031016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004056257A Expired - Fee Related JP4622265B2 (ja) | 2004-03-01 | 2004-03-01 | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4622265B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4696055B2 (ja) * | 2006-12-21 | 2011-06-08 | 富士フイルム株式会社 | 手振れベクトル検出方法及びその装置並びに検出プログラム、電子式手振れ補正方法及びその装置並びに補正プログラム、撮像装置 |
JP4696056B2 (ja) * | 2006-12-21 | 2011-06-08 | 富士フイルム株式会社 | 手振れベクトル算出方法及びその装置並びに手振れベクトル算出プログラム、電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラム、撮像装置 |
JP4709794B2 (ja) * | 2007-03-15 | 2011-06-22 | 株式会社東芝 | 動き推定装置及びその方法 |
JP5428618B2 (ja) * | 2009-07-29 | 2014-02-26 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP5445848B2 (ja) * | 2010-02-05 | 2014-03-19 | アイシン精機株式会社 | 物体形状評価装置 |
JP6394216B2 (ja) * | 2014-09-12 | 2018-09-26 | 株式会社ソシオネクスト | 動き検出方法、動き検出装置、及び動き検出プログラム |
JP7009252B2 (ja) * | 2018-02-20 | 2022-01-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061152A (ja) * | 1999-08-23 | 2001-03-06 | Sony Corp | 動き検出方法および動き検出装置 |
JP2002290977A (ja) * | 2001-03-26 | 2002-10-04 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JP2003078807A (ja) * | 2001-08-31 | 2003-03-14 | Sony Corp | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
-
2004
- 2004-03-01 JP JP2004056257A patent/JP4622265B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061152A (ja) * | 1999-08-23 | 2001-03-06 | Sony Corp | 動き検出方法および動き検出装置 |
JP2002290977A (ja) * | 2001-03-26 | 2002-10-04 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JP2003078807A (ja) * | 2001-08-31 | 2003-03-14 | Sony Corp | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2005250561A (ja) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101098394B1 (ko) | 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 | |
JP5338684B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101106419B1 (ko) | 화상 처리 장치 및 방법, 및 기록 매체 | |
US7050502B2 (en) | Method and apparatus for motion vector detection and medium storing method program directed to the same | |
CN100525455C (zh) | 运动矢量检测装置和运动矢量检测方法 | |
KR101141467B1 (ko) | 화상 처리 장치 및 방법, 및 기록 매체 | |
JP4697275B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP2009147807A (ja) | 画像処理装置 | |
KR102126511B1 (ko) | 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 | |
JP5979145B2 (ja) | 動画領域検出装置 | |
JP4622264B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP4622265B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム | |
JP4525064B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
JP4207764B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP4207763B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
JP4525063B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
US10063880B2 (en) | Motion detecting apparatus, motion detecting method and program | |
JP2009266169A (ja) | 情報処理装置及び方法、並びにプログラム | |
JP2011166266A (ja) | 情報処理装置と情報処理方法およびプログラム | |
US20230110665A1 (en) | Image processing apparatus and method, and storage medium | |
JP2005004770A (ja) | グループ化による映画映像検出方法及び装置 | |
KR20140109537A (ko) | 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법 | |
JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |