JP4748191B2 - 動きベクトル検出装置、動きベクトル検出方法及びプログラム - Google Patents
動きベクトル検出装置、動きベクトル検出方法及びプログラム Download PDFInfo
- Publication number
- JP4748191B2 JP4748191B2 JP2008196611A JP2008196611A JP4748191B2 JP 4748191 B2 JP4748191 B2 JP 4748191B2 JP 2008196611 A JP2008196611 A JP 2008196611A JP 2008196611 A JP2008196611 A JP 2008196611A JP 4748191 B2 JP4748191 B2 JP 4748191B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- evaluation value
- motion vector
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
この図28,図29に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。
その処理構成としては、評価値を生成する処理と、評価値積算情報に基いて動きベクトルを抽出する処理と、抽出された候補となる動きベクトルの中から動きベクトルを決定する動きベクトル決定処理とを行う。
評価値積算情報を生成する処理として、画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行う。そして、カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、選別された注目画素と参照画素の差分が差分判定用閾値を超える場合に、評価値を評価値積算情報に足しこまない処理を行うことで、処理を行うことで、画素単位の評価値積算情報を形成する処理を行う。
即ち、ある1枚のフレームの画像内の特定の位置に表示される物体が、別のフレームで動いた先は1か所であり、動きベクトルの検出が全く誤りなく正しく検出されている理想状態を想定すると、注目画素と参照画素との対応が1対1となる。従って、特定の位置の画素が、閾値を超える多数の注目画素から、参照画素の候補として選定されたとき、正解でない動きベクトルの候補が多数存在することになる。参照画素から見た注目画素の候補が多数存在する場合も、同様に正解でない動きベクトルの候補が多数存在することになる。従って、その画素を参照画素又は注目画素の候補として動きベクトルを判断する処理を行うと、多数の誤った情報を参照した信頼性が低い動きベクトル検出が行われる可能性が高い。
ここで本発明においては、それぞれの位置の画素が、注目画素又は参照画素の候補となっていることの数を示すカウント数が、閾値を超えている場合には、誤った候補が多数存在していると見なして、動きの候補から除外することが行われる。このため、ある程度、精度の高い動き検出の候補だけが残るようになり、動き検出を行う上での適切な評価値テーブルが得られるようになる。
1.動きベクトルを検出する全体の構成の概要:図1
2.動きベクトルを検出する全体の処理の概要:図2
3.第1の実施の形態の構成例:図3
4.第1の実施の形態の処理例:図4
5.第1の実施の形態の処理の原理説明:図6
6.第1の実施の形態の例による処理状態の例:図7〜図11
7.第1の実施の形態の変形例の説明
8.第2の実施の形態の構成例:図12
9.第2の実施の形態の処理例:図13
10.第2の実施の形態の処理の原理説明:図14,図15
11.第2の実施の形態の例による処理状態の例:図16〜図20
12.第2の実施の形態の変形例の説明
13.第3の実施の形態の構成例:図21
14.第3の実施の形態の処理例:図22
15.動きベクトル抽出部の構成及び動作例:図23〜図24
16.動きベクトル決定部の構成及び動作例:図25〜図27
17.各実施の形態に共通の変形例の説明
本発明の第1の実施の形態を、図1〜図11を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。
設定された動きベクトルのデータは、動きベクトル出力端子15から出力させる。このとき、必要により入力端子11に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。
図2のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ(ステップS11)、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する(ステップS12)。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する(ステップS13)。この図2のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。
図5に示すように、現在のフレーム(現フレーム)F11の1フレーム前の画像データである前フレームF10内の、動きベクトルを判断する基準となる画素位置を注目点d10とする。この注目点d10が決まると、その注目点d10の画素位置の周辺の所定範囲でのサーチエリアSAが、現フレームF11内で設定される。サーチエリアSAが設定されると、そのサーチエリアSA内の各画素を参照点d11として評価値が算出される。
図5に示したように注目点と参照点とを設定して、図3の構成により評価値テーブルのデータが生成される。
図3の例の構成について説明すると、入力端子11に得られる画像信号は、評価値テーブル形成部12内の相関演算部20に供給する。相関演算部20は、参照点メモリ21と注目点メモリ22と絶対値算出部23とを備える。入力端子11に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ21に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ22に移す処理が行われる。この例では、参照点が1フレーム前の信号の例である。
参照点選別画素メモリ42は、絶対値算出部23での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した参照点の1フレーム内の画素位置のデータを、参照点メモリ21から取得して、記憶させる。この記憶を行うことで、参照点選別画素メモリ42には、1フレーム内の各画素が、候補として選別された動きベクトルの参照点として何回判断されたかの値が蓄積される。
注目点選別画素メモリ43は、絶対値算出部23での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の1フレーム内の画素位置のデータを、注目点メモリ22から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ43には、1フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。
ここでの制御としては、参照点選別画素メモリ42に記憶された選別画素のカウント数が、予め決められた(又は適応的に設定された)閾値を越えたか否か判断し、閾値を越えた場合に、その画素についての評価値がゲート部41を通過するときに、通過を阻止させる。
同様に、注目点選別画素メモリ43に記憶された選別画素のカウント数が、予め決められた(又は適応的に設定された)閾値を越えたか否か判断し、閾値を越えた場合に、その画素についての評価値がゲート部41を通過するときに、通過を阻止させる。
なお、参照点と注目点とは、1フレーム期間異なるフレーム位置であるので、参照点選別画素メモリ42の出力によりゲート部41を制御するフレームと、注目点選別画素メモリ43の出力によりゲート部41を制御するフレームとは、1フレームずれている。
図3の構成での処理動作を示したのが、図4のフローチャートである。
図4に沿って説明すると、図3に示した構成での処理は、注目点と参照点のマッチング一致回数から選別画素を決定して、評価値テーブルへの書き込みが行われるまでの処理である。以下のフローチャートでは、画素選別部40での処理を中心にして説明する。なお、この図4のフローチャートは、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図3の構成での信号の流れとは一致していない。
ステップS21で閾値以下であると判断された場合には、そのときの注目点の画素位置のカウント値を、1つカウントアップさせると共に、参照点の画素位置のカウント値を、1つカウントアップさせる(ステップS22)。それぞれのカウント値は、マッチング一致回数のカウント値であり、参照点選別画素メモリ42と注目点選別画素メモリ43に記憶される。
この判断で、閾値以下となった注目点と参照点を選別画素とする(ステップS25)。その選別画素を選定する処理を行った上で、注目点と参照点との差分が閾値以下か否か判断する(ステップS26)。このステップS26で判断するこの閾値は、ステップS21で判断した閾値と同じである。
図6は、マッチング一致回数のカウント状態の例を示した図である。図6(a)は、注目点のマッチング一致回数の例を示し、図6(b)は、参照点のマッチング一致回数の例を示す。
図6(a)の注目点のマッチング一致回数について説明すると、例えば前フレームF10内の特定位置の画素d10を注目点とする。この注目点d10から見て、現フレームF11内のサーチエリア(破線で示す)内に、注目点d10の輝度値と一定閾値以内の輝度値の画素として、5個の参照点d11〜d15が検出されたとする。このとき、注目点d10のマッチング一致回数のカウント値は5となる。
ここで、図3の構成及び図4のフローチャートによる処理では、注目点のマッチング一致回数が閾値を越えて多数存在する場合、及び、参照点のマッチング一致回数が閾値を越えて多数存在する場合を、それぞれ誤った候補が多数存在する状態であると判断する。そして、その誤った候補が多数存在する状態の評価値を、評価値テーブルに加算しないようにして、正しい動きベクトルが検出できるようにしたものである。
このようなマッチング一致回数を閾値と比較して制限する処理は、例えば、縞模様が繰り返されるパターンの画像などのように、同じ状態の画素が近隣に多数存在する場合に特に効果がある。
本実施の形態の処理構成で、実際に評価値テーブルを生成させた例を、図7以降を参照して説明する。
図7は、評価値テーブルの生成に使用したテスト画像の例を示した図である。図7(a)は、1フレームのテスト画像を示し、そのテスト画像中に、縞模様の2つの四角形状の領域が、矢印で示すように、フレームの変化で順に移動しているとする。図7(b)は、この移動している縞模様のパターンを拡大して示したものであり、同じ形状が繰り返される状態であることを示している。
この図8の例では、マッチング一致回数のカウント値の最頻度値が103である。即ち、カウント値103となる画素が、1フレーム中に最も多く存在した状態である。
図9において、Vxは水平方向の画素位置、Vyは垂直方向の画素位置を示し、縦軸に積算値を示し、1フレーム内の各画素での評価値の積算状況を3次元的に示した図である。
図10の例は、マッチング一致回数のカウント値を判断する閾値として、カウント値20を設定し、その値20を越えるものを制限し、カウント値20以下の点(注目点及び参照点)の評価値を積算させた例である。
この図10に示すようにマッチング一致回数のカウント値を固定値として制限することで、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。
この図11に示すようにマッチング一致回数のカウント値を最頻度値として制限することでも、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。
なお、マッチング一致回数のカウント値を判断する閾値は、固定値にする場合と、最頻度値にする場合のいずれでもよい。いずれを選択した方が良いかは、扱う画像によって異なる。固定値とする場合には、画像のジャンルごとに固定値を決めるようにしてもよい。例えば比較的動きの早い画像がある可能性が高いスポーツの画像などの場合の固定値と、比較的動きが少ない画像である可能性が高い映画やドラマなどの画像の場合の固定値などのように、画像の種類に応じて複数種類の固定値を用意して、その複数種類の固定値の中から、適切なものを選択して設定するようにしてもよい。
また、最頻度値のように閾値を可変設定する場合には、毎フレーム毎に最頻度値を算出してもよいが、一度、最頻度値を設定すると、ある程度の期間(所定フレーム期間)、その設定した値を閾値に固定させるようにしてもよい。この場合、所定フレーム期間が経過すると、再度、最頻度値を算出して、閾値を再設定する。或いは、扱う画像信号から、絵柄の内容が大きく変化する、いわゆるシーンチェンジを検出したタイミングで、最頻度値を算出し直して、閾値を再設定するようにしてもよい。
例えば、マッチング一致回数のカウント値の平均値又は加重平均値を、閾値としてもよい。例えば1フレーム内で、マッチング一致回数が0から20までの値に分布しているとき、閾値を10に設定する。また例えば、1フレーム内で、マッチング一致回数が0から2までの値に分布しているとき、閾値を1に設定する。このようにして、平均値を閾値とした場合にも、良好な評価値の選別が行える。
次に、本発明の第2の実施の形態を、図12〜図20を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第1の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第1の実施の形態で説明した図1の処理構成及び図2のフローチャートと同じである。注目画素(注目点)及び参照画素(参照点)の定義についても、第1の実施の形態で説明した定義と同じである。
図12に示した本実施の形態の例では、評価値テーブル形成部12での評価値テーブルの形成処理として、注目点と参照点のマッチング一致回数による制限の他に、他の注目点又は参照点に関する要因を加味して制限を加えるようにしたものである。ここでは、他の注目点及び参照点に関する要因として、注目点の画素又は参照点の画素と、それぞれに隣接する画素との空間傾斜が所定の条件に基づいて一定以上あると判断される場合を、評価値を積算させる場合とし、それ以外を制限させる。空間傾斜が一定以上ある場合の具体的な例については後述するが、ここでは空間傾斜パターン又は空間傾斜符号を使用して判断した結果を使用する。
注目点選別画素メモリ63は、絶対値算出部23での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の1フレーム内の画素位置のデータを、注目点メモリ22から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ63には、1フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。
ここまでのゲート部61での評価値の通過を制御する処理構成は、第1の実施の形態と同じである。
空間傾斜パターン算出部65では、1フレーム内のそれぞれの画素について、その画素に隣接する周囲の8画素との空間傾斜を算出して、空間傾斜パターンを算出する。算出した空間傾斜パターンは、パターン比較部66に供給して、空間傾斜パターンメモリ67に記憶された空間傾斜パターンと比較して、空間傾斜パターンを判定する。そして、判定した空間傾斜パターンに応じて、ゲート部61での評価値の通過を制御する。
図12の構成での処理動作を示したのが、図13のフローチャートである。
この図13のフローチャートにおいて、図4のフローチャートと同一処理については同一のステップ番号を付与してある。
図13のフローチャートは、図4のフローチャートと同様に、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図12の構成での信号の流れとは一致していない。
以下の処理について簡単に説明すると、空間傾斜パターンによる画素選別に続いて、絶対値算出部23での比較で、注目点と参照点との差分が閾値以下か否か判断する(ステップS21)。
ステップS21で閾値以下であると判断された場合には、そのときの注目点と参照点の画素位置のカウント値を、1つずつカウントアップさせる(ステップS22)。
この判断で、閾値以下となった注目点と参照点を選別画素とする(ステップS25)。その選別画素を選定する処理を行った上で、注目点と参照点との差分が閾値以下か否か判断する(ステップS26)。
図14は、図12の構成及び図13のフローチャートでの処理状態の概要を示した図である。
まず、図14(a)に示すように、現在のフレーム(現フレーム)F11の1フレーム前の画像データである前フレームF10内の、動きベクトルを判断する基準となる画素位置を注目点d10とする。この注目点d10が決まると、その注目点d10の画素位置の周辺の所定範囲でのサーチエリアSAが、現フレームF11内で設定される。サーチエリアSAが設定されると、そのサーチエリアSA内の各画素を参照点d11として評価値が算出される。
この動き方位を利用した空間傾斜符号の判断による選別と、マッチング一致回数のカウント値と閾値との比較による選別とを、ゲート部61で行うようにしてもよい。或いは、空間傾斜パターンの比較による選別と、動き方位を利用した空間傾斜符号の判断による選別と、マッチング一致回数のカウント値と閾値との比較による選別とを組み合わせて行うようにしてもよい。
即ち、図15の左上に示すように、注目点の画素を決めたとき、その注目点に隣接する8つの画素を隣接画素とする。そして、注目点の画素値と、隣接点の画素値とを比較して、画素値(輝度値)の差が、注目点を基準として一定範囲内であるか、一定範囲を+方向に超えた場合であるか、一定範囲をマイナス方向に超えた場合であるか判断する。
図15(a)は、注目点を基準として隣接画素との差が一定範囲内である場合であり、この場合は該当する隣接画素との空間傾斜なしとして、空間傾斜0とする。この空間傾斜0は、隣接画素との空間傾斜がほぼない状態である。図15に示した差を判断する一定範囲を狭くすることで、空間傾斜なしと判断される差分の許容値が狭くなり、一定範囲を広くすることで、空間傾斜なしと判断される差分の許容値が広くなる。
図15(b)は、注目点を基準として、隣接画素の値の方が大きいために、一定範囲を+方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号+とする。
図15(c)は、注目点を基準として、隣接画素の値の方が小さいために、一定範囲を−方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号−とする。
図15では、注目点の空間傾斜の符号を求める処理について説明したが、参照点の場合にも同じである。参照点の場合には、図15の基準が参照点の画素値に変わり、隣接画素はその参照点に隣接する画素の値になる。
ここでは、例えば図16に示すように、注目点(又は参照点)とその周辺8画素の合計9画素による空間傾斜パターンPとして、注目点d10とその周辺の8画素との間で全て同じ方向の符号による空間傾斜がある空間傾斜パターンとする。このような空間傾斜パターンは、注目点(又は参照点)の輝度が、周辺画素と全く異なる状態に相当する。
注目点と参照点の双方で、この図16に示した空間傾斜パターンであるとき、該当するパターンの中心に位置する注目点及び参照点の評価値を、ゲート部61で通過させる制御が行われる。但し、図16に示した空間傾斜パターンは一例であって、その他の空間傾斜パターンであることを判断してもよい。
本実施の形態において、マッチング一致回数のカウント値に基づいて、評価値のゲート部61の通過を制御する処理については、第1の実施の形態で、図6を参照して説明した原理と同じである。
図7に示したテスト画像に対して、本実施の形態の処理を施して評価値テーブルを得た例について、図17〜図20を参照して説明する。
図17は、図7のテスト画像に対して、図12の処理構成で、図16の空間傾斜パターンによる評価値の選別を行った評価値に対して、マッチング一致の判断を行って得られた、マッチング一致回数のヒストグラムを示した図である。図17の横軸はマッチング一致回数のカウント値であり、縦軸はそのカウント値となった画素数を示す。
この図17の例では、マッチング一致回数のカウント値の最頻度値が5であり、加重平均値が25である。即ち、カウント値103となる画素が、1フレーム中に最も多く存在した状態であり、加重平均値が25である。この図17のヒストグラムは、図8のヒストグラムと比較すると判るように、評価値が大幅に絞られている。
この図18において、Vxは水平方向の画素位置、Vyは垂直方向の画素位置を示し、縦軸に積算値を示し、1フレーム内の各画素での評価値の積算状況を3次元的に示した図である。
図19の例は、空間傾斜パターンを使用した選別を行い、さらにマッチング一致回数のカウント値を判断する閾値として、最頻度値であるカウント値5を設定し、その値5を越えるものを制限し、カウント値5以下の点(注目点及び参照点)の評価値を積算させた例である。
この図19に示すようにマッチング一致回数のカウント値を固定値として制限することで、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。
この図20に示すようにマッチング一致回数のカウント値を最頻度値として制限することでも、誤った評価値が大幅に除去されて、評価値の積算値から、最終的に動きベクトルを判定することが、良好にできる状態となっていることが判る。
なお、この第2の実施の形態の場合には、マッチング一致回数のカウント値を判断する閾値を固定値にする例を示さなかったが、第1の実施の形態で説明した場合と同様に、常に予め決めた固定値の閾値としてもよい。最頻度値のように閾値を可変設定する場合の、その可変させるタイミングについても、第1の実施の形態で説明した各例が適用可能である。最頻度値以外の平均値などの条件で、閾値を設定するようにしてもよい点も、第1の実施の形態で説明した場合と同様である。
次に、本発明の第3の実施の形態を、図21〜図22を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第1の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第1の実施の形態で説明した図1の処理構成及び図2のフローチャートと同じである。注目画素(注目点)及び参照画素(参照点)の定義についても、第1の実施の形態で説明した定義と同じである。
図20に示した本実施の形態の例では、評価値テーブル形成部12での評価値テーブルの形成処理として、注目点と参照点のマッチング一致回数を用いて、評価値テーブルの重み付けを行う例としたものである。即ち、第1の実施の形態では、マッチング一致回数を用いて評価値の積算の制限を行うようにしたが、この第3の実施の形態では、マッチング一致回数に対応して、評価値テーブルの評価値の信頼性を複数段階に評価する重み付けを行う例である。
注目点選別画素メモリ73は、絶対値算出部23での比較で、絶対値の差分が閾値以下と判断された場合の、その判断した注目点の1フレーム内の画素位置のデータを、注目点メモリ22から取得して、記憶させる。この記憶を行うことで、注目点選別画素メモリ73には、1フレーム内の各画素が、候補として選別された動きベクトルの注目点として何回判断されたかの値が蓄積される。
空間傾斜があり、かつその空間傾斜パターンが一致すると判断した場合には、そのときの相関判定部30が出力する評価値をゲート部71で通過させる。空間傾斜パターンが一致しない場合には、そのときの相関判定部30が出力する評価値をゲート部71で通過させない。
ゲート部71を通過した評価値は、評価値テーブル算出部50に供給して、評価値積算部51で評価値テーブルメモリ52内の評価値テーブルのデータに、該当する評価値を積算させる。
図21の構成での処理動作を示したのが、図22のフローチャートである。
図22のフローチャートは、図4のフローチャートと同様に、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図21の構成での信号の流れとは一致していない。
次に、図1の構成に示した動きベクトル検出装置での、動きベクトル抽出部13の構成及び動作の例について、図23〜図24を参照して説明する。
図23は、図1の動きベクトル抽出部13の例を示したものである。
動きベクトル抽出部13では、入力端子13aに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第1〜第3の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、1つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図3の評価値テーブル算出部50内の評価値テーブルメモリ52から供給されるデータであり、評価値テーブルデータ変換部111に供給する。
あるいは、例えば動きベクトル抽出部13の前段の評価値テーブル形成部12(図1)での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図3の画素選別部40などで画素選別に使用された、選別された注目点のデータを使う。その選別された注目点のデータを、評価値テーブル形成部12から得て、選別された各注目点から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。
出力端子13bから出力される候補ベクトルの信頼度データは、図1の動きベクトル決定部14に供給する。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う(ステップS111)。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから10番目などの決められた順位のものを取り出す(ステップS112)。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が(ステップS113)。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。
次に、図1の構成に示した動きベクトル検出装置での、動きベクトル決定部14の構成及び動作の例について、図25〜図27を参照して説明する。
図25は、図1の動きベクトル決定部14の構成例を示したものである。動きベクトル決定部14は、1フレーム内のそれぞれの画素に、前段の動きベクトル抽出部13から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目点としたとき、その注目点の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。
そして、評価値算出部214では、比較の結果で、注目点を中心とした固定領域の画素信号と最も類似した固定領域を持った参照点を選定する。
選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部215に送る。ベクトル決定部215では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子215から出力させる。
図26に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される(ステップS121)。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素(注目画素)とその周辺画素で構成される固定ブロックの画素を注目点メモリ52から読出す(ステップS122)。また、読出された候補ベクトルについての参照点の座標位置を判断し、その位置の画素(参照画素)とその周辺画素で構成される固定ブロックの画素を参照点メモリ51から読出す(ステップS123)。
そして、それぞれの固定ブロック内の各画素の画素レベル(画素値:ここでは輝度値)と、注目点について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する(ステップS124)。ここまでの処理を、現在の注目点についての全ての候補ベクトルで示された参照点について行う。
そして、複数の参照点ごとに注目点と比較して得た絶対値差分和の内で、値が最小になる参照点を探す。この処理で、値が最小になる参照点を判断すると、その判断された参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する(ステップS125)。
この例では、フレームF10(注目フレーム)に注目点d10が存在し、その時間軸上の次のフレームF11(参照フレーム)内との間で、複数の候補ベクトルV11,V12が存在しているとする。フレームF11には、候補ベクトルV11,V12で注目点d10と結ばれた参照点d11,d12が存在している。
このような図9の状態を想定すると、図26のステップS22では、フレームF10内で、注目点d10の中心にして固定した所定画素数の固定ブロックB10が設定され、その固定ブロックB10内の画素値が判断される。同様に、図8のステップS23では、フレームF11内で、参照点d11,d12の中心にして固定した所定画素数の固定ブロックB11,B12が設定され、その固定ブロックB11,B12内の画素値が、それぞれ判断される。
なお、図27では説明を簡単にするために候補ベクトルを2つとして説明したが、実際には1つの注目点に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために1つの注目点だけを示してあるが、実際には、1フレーム内の代表となる複数の画素又は全ての画素が、このような注目点となる。
なお、上述した各実施の形態では、注目点の選定処理については具体的に説明しなかったが、例えば1フレーム内の全ての画素を順に注目点として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、1フレーム内で代表となる画素を注目点として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
また、注目点に対する参照点の選定処理についても、図6などに図示したサーチエリアSAは一例であり、注目点に対して様々なサイズのサーチエリアを設定する構成を適用することができる。
Claims (8)
- 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値を形成し、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する評価値積算情報形成部と、
前記評価値積算情報形成部が形成した評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出部と、
動きベクトル抽出部で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定部とを備えた
動きベクトル検出装置。 - 前記評価値積算情報形成部は、
前記評価値積算情報を形成させる際の候補に制限を加える要因として、前記評価値の画素選別用の所定の閾値との比較以外に、
注目画素とその隣接画素に空間傾斜が一定値以上あり、参照画素とその隣接画素にも空間傾斜が一定以上である場合に、評価値を前記評価値積算情報に足しこむ処理を行い、前記空間傾斜が一定以上でない場合に、評価値を前記評価値積算情報に足しこまないようにした
請求項1に記載の動きベクトル検出装置。 - 前記空間傾斜が一定以上であることの判断は、
注目画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
参照画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
注目画素および参照画素の空間傾斜パターンを比較して、空間傾斜パターンが同じと判断した場合である
請求項2記載の動きベクトル検出装置。 - 前記空間傾斜が一定以上であることの判断は、
注目画素と参照画素との動き方向での、注目画素と隣接画素との空間傾斜符号と、参照画素と隣接画素との空間傾斜符号とが一致した場合である
請求項2記載の動きベクトル検出装置。 - 前記画素選別用の所定の閾値は、1つの画面内での各画素の前記カウント値の最頻度値である
請求項1に記載の動きベクトル検出装置。 - 前記画素選別用の所定の閾値は、1つの画面内での各画素の前記カウント値の平均値である
請求項1に記載の動きベクトル検出装置。 - 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値を形成し、
その評価値を積算した評価値積算情報を生成させる際に、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する処理を行い、
前記評価値が足しこまれた前記評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理を行い、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理を行う
動きベクトル検出方法。 - 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値を形成する処理と、
その評価値を積算した評価値積算情報を生成させる際に、前記画素値相関情報としての画素値の差分が差分判定用閾値以下で相関が高いと判定された場合に、注目画素と参照画素の双方で画素単位にカウントを行い、前記カウントで得られたカウント値が画素選別用の所定の閾値以下である注目画素と参照画素を選別し、その選別された注目画素と参照画素の差分が前記差分判定用閾値以下のとき、相関が高いことを示す評価値を評価値積算情報に足しこみ、前記選別された注目画素と参照画素の差分が前記差分判定用閾値を超える場合に、前記評価値を評価値積算情報に足しこまない処理を行うことで、画素単位の評価値積算情報を形成する処理と、
前記評価値が足しこまれた前記評価値積算情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理を、
情報処理装置に実装して実行させる
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008196611A JP4748191B2 (ja) | 2008-07-30 | 2008-07-30 | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
CN2009101602002A CN101640800B (zh) | 2008-07-30 | 2009-07-30 | 运动向量检测设备、运动向量检测方法和程序 |
US12/512,426 US20100027666A1 (en) | 2008-07-30 | 2009-07-30 | Motion vector detecting apparatus, motion vector detecting method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008196611A JP4748191B2 (ja) | 2008-07-30 | 2008-07-30 | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010034996A JP2010034996A (ja) | 2010-02-12 |
JP4748191B2 true JP4748191B2 (ja) | 2011-08-17 |
Family
ID=41608339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008196611A Expired - Fee Related JP4748191B2 (ja) | 2008-07-30 | 2008-07-30 | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100027666A1 (ja) |
JP (1) | JP4748191B2 (ja) |
CN (1) | CN101640800B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5441803B2 (ja) * | 2010-04-12 | 2014-03-12 | キヤノン株式会社 | 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム |
WO2011131902A2 (fr) * | 2010-04-22 | 2011-10-27 | France Telecom | Procédé d'enrichissement d'une information de mouvement et procédé de codage |
KR101444675B1 (ko) * | 2011-07-01 | 2014-10-01 | 에스케이 텔레콤주식회사 | 영상 부호화 및 복호화 방법과 장치 |
CN107820082B9 (zh) * | 2011-10-18 | 2021-07-20 | 株式会社Kt | 视频信号解码方法 |
GB2502047B (en) * | 2012-04-04 | 2019-06-05 | Snell Advanced Media Ltd | Video sequence processing |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351002A (ja) * | 1993-06-08 | 1994-12-22 | Matsushita Electric Ind Co Ltd | 動き信号検出方法およびこれを用いた映像信号処理装置 |
JP4525064B2 (ja) * | 2003-12-11 | 2010-08-18 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
WO2005084036A1 (ja) * | 2004-03-01 | 2005-09-09 | Sony Corporation | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
JP4622264B2 (ja) * | 2004-03-01 | 2011-02-02 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
EP1592255A1 (en) * | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Motion vector estimation with improved motion vector selection |
-
2008
- 2008-07-30 JP JP2008196611A patent/JP4748191B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-30 CN CN2009101602002A patent/CN101640800B/zh not_active Expired - Fee Related
- 2009-07-30 US US12/512,426 patent/US20100027666A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2010034996A (ja) | 2010-02-12 |
US20100027666A1 (en) | 2010-02-04 |
CN101640800A (zh) | 2010-02-03 |
CN101640800B (zh) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4697275B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP4697276B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP4748191B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
WO2005084036A1 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
CN101278314A (zh) | 用于确定图像拍摄类型的方法和装置 | |
CN101739688A (zh) | 运动矢量检测装置、运动矢量处理方法和程序 | |
CN101742310B (zh) | 运动矢量检测装置和运动矢量处理方法 | |
JP6558073B2 (ja) | 移動目標の検出方法及び移動目標の検出装置 | |
JP2008171247A (ja) | 動き検出装置、方法、及びプログラム | |
US20090141802A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and program | |
US10515455B2 (en) | Optical flow measurement | |
JP4525064B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP4622264B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
US6993077B2 (en) | Experimental design for motion estimation | |
KR102433631B1 (ko) | 동적 커널 기반 객체 검출 장치 및 방법 | |
JP2005250561A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
US10063880B2 (en) | Motion detecting apparatus, motion detecting method and program | |
JP2010103715A (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP4207764B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP5136295B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
CN112396631A (zh) | 物件追踪方法及其电脑系统 | |
JP2010011430A (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP2009089370A (ja) | 動きベクトル検出装置、動きベクトル検出方法及びプログラム | |
JP4264803B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110325 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |