JP3611958B2 - 動画像信号の動きベクトル検出方法および動きベクトル検出回路 - Google Patents
動画像信号の動きベクトル検出方法および動きベクトル検出回路 Download PDFInfo
- Publication number
- JP3611958B2 JP3611958B2 JP30435997A JP30435997A JP3611958B2 JP 3611958 B2 JP3611958 B2 JP 3611958B2 JP 30435997 A JP30435997 A JP 30435997A JP 30435997 A JP30435997 A JP 30435997A JP 3611958 B2 JP3611958 B2 JP 3611958B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- block
- motion vector
- motion
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、動画像信号の動きベクトル検出方法および動きベクトル検出回路に係り、特に、たとえば異なるテレビジョン方式間の信号変換を行なうテレビジョン方式変換装置または画像伝送における高能率符号化装置などに用いて好適な動画像信号における動きベクトル検出方法および動きベクトル検出回路に関するものである。
【0002】
【従来の技術】
動画像中の動領域を動きベクトルとして検出し、その動きベクトルを用いて動き補正を行なう技術は、画像伝送の際の高能率符号化におけるフレーム間符号化効率を向上させる場合、または、テレビジョン方式変換の際のフィールド数変換による動きの不連続性を軽減する場合に有効に用いられている。たとえば、テレビジョン方式変換装置としては、特開平01−309597号公報、特開平03−280681号公報、1991年発行のテレビジョン学会誌(第45巻、第12号、第1534頁〜第1543頁)、または1989年開催のテレビジョン学会全国大会における予稿集(20−5)などに記載されたものが提案されている。
【0003】
従来、上記のような装置に用いられる動きベクトルの検出方式としては、たとえば、特開昭55−162683号公報や特開昭55−162684号公報に記載のパターンマッチング法、または特開昭60−158786号公報や特開昭62−206980号公報などに記載の反復勾配法による検出方法がそれぞれ提案されている。
【0004】
特に、後者の反復勾配法による動きベクトル検出方式は、パターンマッチング法に比べて小型かつ精度よく動きベクトルを検出することができる。その動きベクトル検出方法は、ディジタル化したテレビジョン信号のそれぞれのフィールドをたとえば横方向m画素および縦方向nラインを含むm×n画素の所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配および対応する画面間との信号差分値の物理的な対応などに基づいて反復的な勾配演算にて動き量を推定するものであった。
【0005】
この場合、特開昭62−206980号公報では、動き量を推定する際の初期値として被検出ブロックの前に既に検出されている動きベクトルの中から、被検出ブロックの近傍の複数のブロックの動きベクトルのうち最適なものを初期偏位ベクトルとして選択して、被検出ブロックの真の動きベクトルに近い値から演算を開始することにより勾配演算の回数を少なくして、たとえば、2回の演算にて真の動きベクトルを検出するものであった。
【0006】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、複数の候補ベクトルの中から初期偏位ベクトルを選択する際に、各ブロック毎に個別に初期偏位ベクトルを選択しているので、画像全体が偏った動きの場合などでも、それぞれのブロックにて初期偏位ベクトルとして選択する候補ベクトルのブロックの位置がまちまちとなる場合があり、検出精度が一定以上向上しない欠点があった。
【0007】
たとえば、画面がパニングする場合を考えると、画面全体が同一方向に同様の速度にて動いている。この場合、各ブロックでは、同じ物体で、かつ平坦な画像であれば、被検出ブロックの周囲の既検出ブロックの動きベクトルは同様の値となり、それらを偏位させた際の画素値も同様の値となって、初期偏位ベクトルを選択する際にそれらの比較結果が同様の値となる場合がある。この場合、画面全体が同一方向に同様の速度にて動いているにもかかわらず、各ブロックにて選択される候補ベクトルの位置がまちまちであると、これらを初期偏位ベクトルとした勾配演算の結果に各ブロックにおいて誤差が生じる場合があった。同様に、動きの少ない映像の場合などにも選択される初期偏位ベクトルの位置が各ブロックにおいてまちまちとなる場合があった。
【0008】
つまり、上述した従来技術では、映像全体の動きの特徴をみて初期偏位ベクトルを選択をしていないため、水平方向の動きの映像で垂直方向のブロックの動きベクトルを誤検出したり、垂直方向の動きの映像で水平方向のブロックの動きベクトルを誤検出したりしてしまうような、動きベクトル検出の精度が一定以上向上しない欠点があった。
【0009】
本発明はこのような従来技術の欠点を解消し、映像全体に偏った動きがある場合に各ブロックにて初期偏位ベクトルの誤検出を少なくして、動きベクトル検出の精度を向上させることができる動画像信号の動きベクトル検出方法および動きベクトル検出回路を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は上述の課題を解決するために、動画像信号のそれぞれのフィールドを所定の大きさの複数のブロックに分割し、それぞれのブロック毎に少なくとも1フィールド間以上離れた信号間にて動きの大きさおよび方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出回路において、各ブロック毎に検出された動きベクトルを少なくとも1フィールド分蓄積する記憶手段と、記憶手段に蓄積された動きベクトルの中から被検出ブロックの近傍の複数のブロックの動きベクトルを候補ベクトルとして読み出して、候補ベクトルの中から被検出ブロックの動きに最も近い値の動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、初期偏位ベクトル選択手段にて選択した初期偏位ベクトルを起点として複数回の勾配演算を行なって被検出ブロックの真の動きベクトルを求めるベクトル演算手段とを含み、さらに、初期偏位ベクトル選択手段にて選択した初期偏位ベクトルが被検出ブロックに対していずれの位置にあったブロックの動きベクトルであるかをそれぞれの位置毎に少なくとも1フィールドにわたって検出して、それぞれの位置に選択回数の多い順に優先順位を付与する優先度付与手段を有し、初期偏位ベクトル選択手段は、少なくとも前フィールドで得られた優先順位に基づいて複数の位置の候補ベクトルの中から初期偏位ベクトルを選択することを特徴とする。
【0011】
この場合、優先度付与手段は、初期偏位ベクトル選択手段にて初期偏位ベクトルとして各ブロック毎に選択された候補ベクトルのブロックの位置をそれぞれの位置毎にその選択回数を順次計数する複数の計数手段と、計数手段での計数結果を比較する比較手段と、比較手段での比較結果を少なくとも1フィールド分遅延させて出力する出力手段とを含み、出力手段からの出力がそれぞれの位置の優先順位として初期偏位ベクトル選択手段に供給されるとよい。
【0012】
また、初期偏位ベクトル選択手段は、複数の候補ベクトルの中から初期偏位ベクトルを選択した際に、その候補ベクトルのブロックの被検出ブロックに対する位置を所定のビット数の選択情報として優先度付与手段に供給する選択情報生成手段を含み、優先度付与手段は、選択情報生成手段からの選択情報を受けて、その選択情報から選択されたブロックの位置を解読して、その位置に対応する計数手段にカウント信号を供給する候補デコーダを有すると有利である。
【0013】
また、初期偏位ベクトル選択手段は、それぞれの候補ベクトルにて偏位させたブロックと被検出ブロックのフィールド間差分値を画素毎に求めて、その結果の絶対値の累計が最小となるブロックの動きベクトルを初期偏位ベクトルとして選択するとよい。
【0014】
この場合、初期偏位ベクトル選択手段は、フィールド間差分値の絶対値の累計が最小となるブロックが複数ある場合に、優先度付与手段からの優先順位の高い位置のブロックの候補ベクトルを初期偏位ベクトルとして選択するとよい。
【0015】
また、初期偏位ベクトル選択手段は、フィールド間差分値の絶対値の累計にそれぞれの位置の優先順位に応じた所定値を加算して、その結果の値を比較して、初期偏位ベクトルを選択してもよい。この場合、優先順位に応じた所定値は、優先順位が低いほど大となるとよい。
【0016】
さらに、初期偏位ベクトル選択手段は、被検出ブロックに隣接する周囲8ブロックに相当する既検出ブロックの動きベクトルを候補ベクトルとして蓄積手段から読み出すと有利である。この場合、既検出ブロックの動きベクトルには、前フィールドにて被検出ブロックに対応するブロックの周囲8ブロックの動きベクトルの平均値である平均ベクトルを含むとよい。また、既検出ブロックの動きベクトルには、前フィールドの平均ベクトルの2倍の値から前々フィールドの平均ベクトルを減算した加速度ベクトルを含んでもよい。
【0017】
一方、本発明による動きベクトル検出方法は、動画像信号のそれぞれのフィールドを所定の大きさのブロックに分割して、それぞれのブロック毎に少なくとも1フィールド以上離れた信号間にて動きの大きさおよび方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、既検出ブロックの動きベクトルの中から少なくとも被検出ブロックの近傍の複数のブロックの動きベクトルを候補ベクトルとして選択する第1の工程と、第1の工程にて選択した候補ベクトルの中から被検出ブロックの動きに最も近い値の動きベクトルを初期偏位ベクトルとして選択する第2の工程と、第2の工程にて選択した初期偏位ベクトルを起点として複数回の勾配演算を行なって被検出ブロックの真の動きベクトルを求める第3の工程とを含み、さらに、第2の工程にて初期偏位ベクトルを選択する際に、初期偏位ベクトルが被検出ブロックに対する既検出ブロックのいずれの位置から選択された候補ベクトルであるかをそれぞれの位置毎に少なくとも1フィールドにわたって検出して、それぞれの位置に選択回数の多い順に優先順位を付与しておく第4の工程を含み、第2の工程は、少なくとも前フィールドで得られた優先順位に基づいてそれぞれの位置の候補ベクトルの中から最適な初期偏位ベクトルを選択することを特徴とする。
【0018】
この場合、第4の工程は、第2の工程にて初期偏位ベクトルとして各ブロック毎に選択された候補ベクトルのブロックの位置をそれぞれの位置毎にその選択回数を順次計数して、その計数結果のそれぞれを比較して、その結果からそれぞれの位置に優先順位を付与するとよい。
【0019】
また、第2の工程にて初期偏位ベクトルとして選択された候補ベクトルのブロックの被検出ブロックに対するそれぞれの位置は、所定のビット数の選択情報として生成され、第4の工程は、第2の工程にて各ブロック毎に生成された選択情報から選択されたブロックの位置を解読して、その位置毎のカウント信号を生成してそれぞれの位置毎の選択回数を少なくとも1フィールドにわたって計数すると有利である。
【0020】
さらに、第2の工程は、第1の工程にて選択したそれぞれの候補ベクトルにて偏位させたブロックと被検出ブロックのフィールド間差分値を画素毎に求めて、その結果の絶対値の累計が最小となるブロックの動きベクトルを初期偏位ベクトルとして選択するとよい。
【0021】
この場合、第2の工程は、フィールド間差分値の絶対値の累計を求めた際に、その結果が最小となるブロックが複数ある場合に、その中から第4の工程にて求めた前フィールドでの優先順位の高い位置のブロックの候補ベクトルを初期偏位ベクトルとして選択するとよい。
【0022】
また、第2の工程は、フィールド間差分値の絶対値の累計を求めた後に、その累計値にそれぞれの位置の優先順位に応じた所定値を加算しておき、その結果の値を比較して最小値となるブロックの動きベクトルを求めるとよい。この場合、優先順位に応じた所定値は、優先順位が低いほど大となるとよい。
【0023】
さらに、第1の工程にて選択される候補ベクトルは、被検出ブロックに隣接する周囲8ブロックに相当する既検出ブロックの動きベクトルであるとよい。この場合、既検出ブロックの動きベクトルには、前フィールドにて被検出ブロックに対応するブロックの周囲8ブロックの動きベクトルの平均値である平均ベクトルを含むと有利である。また、既検出ブロックの動きベクトルには、前フィールドの平均ベクトルの2倍の値から前々フィールドの平均ベクトルを減算した加速度ベクトルを含むとよい。
【0024】
【発明の実施の形態】
次に添付図面を参照して本発明による動画像信号の動きベクトル検出回路の実施例を詳細に説明する。図1には、本発明による動きベクトル検出方法が適用された動きベクトル検出回路の一実施例が示されている。本実施例による動きベクトル検出回路は、各フィールド毎に入力する動画像信号をm画素×nライン(m,nは整数)の複数のブロックに分割して、各ブロック毎に1フィールド前の動画像信号での対応のブロックとの間の動きの方向および大きさを表わす動きベクトルを求める動き量検出回路であり、既に検出されている動きベクトルの中から選択された初期偏位ベクトルを起点として、たとえば2回の勾配法演算にて真の動きベクトルを求めるベクトル演算回路である。
【0025】
特に、本実施例では、初期偏位ベクトルの候補ベクトルとして被検出ブロックに隣接する周囲8ブロックに相当する既検出ブロックの動きベクトルを候補として、それぞれの位置のブロックの動きベクトルが前フィールドにて初期偏位ベクトルとして選択された回数からそれぞれの位置に優先順位を付与しておき、その結果に基づいて現フィールドにおける各ブロックでの初期偏位ベクトルを選択する点が主な特徴点である。
【0026】
詳細には、本実施例による動きベクトル検出回路は、図1に示すように、ベクトルメモリ10と、初期偏位ベクトル選択部12と、優先順位付与部14と、ベクトル演算部16とを含む。初期偏位ベクトル選択部12およびベクトル演算部16には、それぞれ現フィールド信号Bと遅延回路18を介して前フィールド信号Cが供給されて、それぞれフィールド信号をたとえば、8画素×8ラインのブロックに分割して、それぞれのブロック毎に動きベクトルを検出する。
【0027】
ベクトルメモリ10は、各ブロック毎に既に検出された少なくとも1フィールド分の動きベクトルを蓄積するRAM (random access memory)などを含む記憶回路であり、その入力がベクトル演算部16の出力に接続されて、たとえば分割されたブロックの位置に応じたアドレスに、検出された動きベクトルKを順次更新して蓄積する記憶回路である。
【0028】
初期偏位ベクトル選択部12は、ベクトルメモリ10に蓄積された既検出ブロックの動きベクトルの中から被検出ブロックの動きに最も近い値の動きベクトルを勾配法演算の起点となる初期偏位ベクトルGとして選択する選択回路であり、本実施例では被検出ブロックに対応する前フィールドのブロックの周囲8ブロックの動きベクトルを候補ベクトルLとして読み出して、その中から初期偏位ベクトルを選択する。
【0029】
より具体的には、本実施例の初期偏位ベクトル選択部12は、たとえば、図3に示すように、候補ベクトル検出部120 と、座標変換部122 と、減算部124 と、絶対値累算部126 と、比較部128 と、優先選択部130 とを含む。候補ベクトル検出部120 は、現フィールド信号Bの被検出ブロックの位置に応じてベクトルメモリ10をアクセスして既検出ブロックの動きベクトル8候補Lを読み出すメモリアクセス回路である。読み出した動きベクトルLは座標変換部122 に供給される。
【0030】
座標変換部122 は、それぞれの動きベクトルL毎にその動きベクトルにて前フィールドCのブロックのそれぞれの画素を現フィールドに偏位させるそれぞれ変換回路である。変換した画素信号は、減算部124 に供給される。減算部124 は、座標変換したブロックのそれぞれの画素値と現フィールドBのブロックの画素値との差分をとるそれぞれ差分回路である。その結果は絶対値累算部126 に供給される。
【0031】
絶対値累算部126 は、それぞれの画素毎の差分値の絶対値をブロックの画素数分累算するそれぞれ累算回路であり、その結果は比較部128 にそれぞれ供給される。比較部128 は、絶対値累算部126 からのそれぞれの累算結果を比較する比較回路であり、その結果が最小となるブロックを優先選択部130 に供給する。比較の結果は、最小となるブロックが必ずしも1つとは限らない。
【0032】
優先選択部130 は、比較の結果、最小となるブロックが複数ある場合には、優先順位付与部14からのそれぞれの位置の優先順位を表わす情報Fに従って最も優先順位の高いブロックの動きベクトルを選択する選択回路であり、本実施例では候補ベクトルとして読み出された8ブロックのいずれの位置のブロックが初期偏位ベクトルとして選択されたかを表わす、たとえば3ビットの選択情報Dを生成する選択情報生成部132 を含む。
【0033】
図1に戻って、優先順位付与部14は、初期偏位ベクトル選択部12からのそれぞれのブロック毎の選択情報Dから8ブロックのいずれのブロックの候補ベクトルが選択されたかを少なくとも1フィールドにわたって検出して、それぞれの位置に優先順位を付ける回路であり、本実施例では、たとえば、図2に示すように、候補デコーダ142 と、8個のカウンタ144 〜158 と、比較回路160 と、遅延回路162 とを含む。
【0034】
候補デコーダ142 は、3ビットの選択情報Dを復号して各ブロック毎に8ブロックのいずれの位置のブロックが選択されたかを検出する検出回路であり、選択された位置に応じたカウンタ144 〜158 のいずれかにカウント信号DA〜DHを供給する信号発生回路である。
【0035】
カウンタ144 〜158 は、候補デコーダ142 からのカウント信号DA〜DHをそれぞれ順次カウントする計数回路であり、本実施例では、候補ベクトルとして選択される8ブロックの位置に応じたA候補ないしH候補の8個のカウンタにてそれぞれ少なくとも1フィールド分カウントする。それぞれのカウンタ144 〜158 の計数結果は順次比較回路160 に供給される。
【0036】
比較回路160 は、それぞれのカウンタ144 〜158 からの計数結果を比較してそれぞれの位置の優先順位を表わす情報Eを出力する情報生成回路であり、本実施例では1フィールド毎に、たとえば、それぞれの位置毎に優先順位を表わす3ビットの情報Eを所定の順序にて出力する。
【0037】
遅延回路162 は、比較回路160 からの優先情報Eを1フィールド分遅延させて出力する情報供給回路であり、本実施例では、前フィールドにて検出された優先情報Eが現フィールドの被検出ブロックの初期偏位ベクトルを選択する際の優先情報Fとして初期偏位ベクトル選択回路12に順次供給される。
【0038】
再び図1に戻って、ベクトル演算部16は、初期偏位ベクトル選択部12にて選択された初期偏位ベクトルGを起点として真の動きベクトルKを勾配法演算により求める演算回路である。具体的には、同図に示すように、第1の勾配法演算回路200 と、第1の加算回路202 と、第2の勾配法演算回路204 と、第2の加算回路206 とを含み、たとえば、図5に示すように、初期偏位ベクトルをV0として、1回目の偏位分V1、2回目の偏位分V2とを求めて、それらを加算した動きベクトルV(=V0+V1+V2)を求める。これにより、図4に示すように前フィールドにて座標(m1,n1) にあったブロックが現フィールドにて座標(m1+α0, n1+β0)に移動した際にその動き量がベクトルVとして求められる。
【0039】
詳しくは、第1の勾配法演算回路200 は、初期偏位ベクトルV0にて前フィールド信号Cを偏位させた座標を起点にして現フィールドの動き量を推定した1回目の動き偏位分V1をたとえば、次式(1) 〜(4) に従って求める演算回路である。
【0040】
【数1】
Vx =ΣSGN ΔX ・DFD/Σ|ΔX | ・・・・(1)
Vy =ΣSGN ΔY ・DFD/Σ|ΔY | ・・・・(2)
ΔX=(An+1,m−An−1,m)/2 ・・・・(3)
ΔY=(An,m+1−An,m−1)/2 ・・・・(4)
ただし、Vxは、動きベクトルVのx方向成分、Vyは動きベクトルVのy方向成分、An,mはn画素、mラインの座標の信号値、ΔX は画像のx方向の勾配、ΔY は画像のy方向の勾配、DFD はフィールド間差分値を示す。また、 SGNΔX 、 SGNΔY はそれぞれ+,−,0にて表わされる勾配の方向を示す。
【0041】
第1の加算回路202 は、初期偏位ベクトルV0と第1の勾配法演算回路200 にて求めた1回目の動き偏位分V1を加算する演算回路であり、その結果(V0+V1) を第2の勾配法演算回路206 および第2の加算回路208 にそれぞれ供給する。
【0042】
第2の勾配法演算回路206 は、第1の加算回路202 からの動きベクトルに基づいて第1の勾配法演算回路200 と同様の演算式(1) 〜(4) にて第2の偏位分V2を求める演算回路である。その結果は、第2の加算回路208 に供給される。
【0043】
第2の加算回路208 は、第1の加算回路204 からの加算結果(V0+V1) と第2の勾配法演算回路206 からの第2の偏位分V2を加算する演算回路であり、その出力が検出された真の動きベクトルKとして出力され、かつベクトルメモリ10に順次供給される。
【0044】
以上のような構成において本実施例による動画像信号の動きベクトル検出方法を上記動きベクトル検出回路の動作とともに説明すると、動作状態において、現フィールド信号Bと、遅延回路18を介して入力された前フィールド信号Cとは初期偏位ベクトル選択部12およびベクトル演算部16に順次供給される。フィールド信号B,C を受けた初期偏位ベクトル選択部12は、まず、候補ベクトル検出部120 にてベクトルメモリ10から被検出ブロックに対応するブロックの周囲8ブロックの動きベクトルを順次読み出す。
【0045】
次に、読み出された候補ベクトルはそれぞれの座標変換部122 に供給されて、前フィールド信号Cの対象ブロックをその動きベクトルにて偏位させて、その結果が減算部124 に供給される。これにより、それぞれの減算部124 では座標変換した前フィールド信号Cと現フィールド信号Bとのそれぞれの画素毎の差分をとり、その結果を絶対値累算部126 に供給する。この結果、それぞれの絶対値累算部126 ではそれぞれの画素の差分の絶対値をブロックの画素数分累算して、その結果を比較部128 にそれぞれ出力する。
【0046】
次に、それぞれの候補ベクトルの累算結果を受けた比較部128 は、これらを比較して、その結果が最小となるブロックを検出して、その比較結果を優先選択部130 に供給する。この場合、唯一のブロックが検出されているとすると、優先選択部130 では、累算結果が最小となったブロックの動きベクトルを選択して、これを初期偏位ベクトルGとしてベクトル演算部16に供給する。この際、選択されたブロックの位置を表わす選択情報Dが生成されて、優先度付与部14に供給される。
【0047】
これにより、優先度付与部14では、選択情報Dを受けた候補デコーダ142 にてその位置を解読して、対応のカウンタ144 〜158 にカウント信号DA〜DHを供給する。この結果、選択されたブロックの位置のカウンタ144 〜158 のいずれかが計数値を更新する。
【0048】
一方、初期偏位ベクトルGを受けたベクトル演算部16では、その初期偏位ベクトルGにて前フィールドCの対象ブロックを偏位させて、これを起点として現フィールドBの対象ブロックとから第1の勾配法演算部200 にて1回目の偏位分が演算されて、その結果が第1の加算回路202 に供給される。次に、第1の加算回路202 では、第1の勾配法演算部200 の演算結果と初期偏位ベクトルとを加算して、その結果を第2の勾配演算部204 および第2の加算回路206 に供給する。これにより、第2の勾配演算部204 では、第1の加算回路202 からの加算結果にて前フィールドCの対象ブロックをさらに偏位させて、これと現フィールドBの対象ブロックとから2回目の偏位分を演算する。その結果は、さらに第2の加算回路206 に供給されて、第1の加算回路202 の演算結果と加算される。
【0049】
この結果、現フィールドBの一つの被検出ブロックの真の動きベクトルが検出されて出力されるとともに、ベクトルメモリ10の所定のアドレスに供給され、更新される。
【0050】
以下、同様にそれぞれの被検出ブロックにてそのブロックの前に検出された少なくとも1フィールド分の動きベクトルの中から被検出ブロックの近傍の8ブロックに相当するブロックの動きベクトルがベクトルメモリ10から読み出されて、被検出ブロックの動きに最も近い値の動きベクトルが初期偏位ベクトルとして選択されて、これを起点にして2回の勾配法演算にて真の動きベクトルが検出される。
【0051】
しかし、初期偏位ベクトルを選択する際に、前フィールド信号を候補ベクトルにて偏位した信号値と現フィールド信号値の差分の絶対値の累計が最小となるブロックが必ずしも1つになるとは限らない場合がある。たとえば、被検出ブロックとその周囲8ブロックの画素値が同様な値の物体であって、画面がパーニングされて、同様の動きベクトルを有している場合、それぞれの累算結果は同様な値となる。この場合、初期偏位ベクトル選択部12の比較部128 からは複数のブロックを最小とみなして、その結果を優先選択部130 に順次供給する。
【0052】
一方、優先選択部130 には前フィールドでの8ブロックの優先順位を表わす情報Fが優先度付与部14から供給されており、優先選択部130 は比較部128 からの最小となる複数のブロックの中から優先順位の高いブロックを選択して、これを初期偏位ベクトルGとしてベクトル演算部16に供給する。この結果、画面全体の特徴に応じた動きのブロックが選択されて、その動きベクトルが初期偏位ベクトルとして選択される。
【0053】
以下、同様に優先度付与部14から前フィールドの8ブロックの優先順位Fが初期偏位ベクトル選択部12に供給されることにより、初期偏位ベクトル選択部12にて初期偏位ベクトルを選択する際に、候補ベクトルにて偏位した前フィールドと現フィールドとのブロックの差分値の絶対値累計が複数個、最小となるブロックが現われた場合に、前フィールドにて優先順位の高いブロックの動きベクトルが初期偏位ベクトルとして選択される。
【0054】
以降、それぞれのフィールドにおいて上記と同様に、各ブロック毎にベクトルメモリ10に蓄積された動きベクトルの中から映像全体の動きの特徴に応じた初期偏位ベクトルGが選択されて、その初期偏位ベクトルを起点として真の動きベクトルが検出される。
【0055】
以上のように本実施例の動きベクトル検出回路および動きベクトル検出方法によれば、各フィールドにて被検出ブロックに対する周辺8ブロックのいずれのブロックの位置の候補ベクトルが多く選択されたかを計数して、その選択回数に応じてそれぞれの位置に優先順位を付与するようにしたので、初期偏位ベクトル選択部12にて初期偏位ベクトルを選択する際に、複数のブロックの候補ベクトルが最適となった場合に、少なくとも前フィールドの優先順位に基づいてその中から映像の特徴に応じたより最適な候補ベクトルを初期偏位ベクトルとして選択することができる。この結果、各ブロックにおいてまちまちになっていた箇所の初期偏位ベクトルの選択を統一することができる。したがって、誤検出を少なくすることができ、動きベクトルの検出精度を向上することができた。
【0056】
なお、上記実施例ではフィールド信号を用いたインタレース方式の画像信号を例に挙げて説明したが、本発明においてはノンインタレース方式の画像信号に適用してもよい。この場合、本命最初におけるフィールド信号をフレーム信号に読み替えるとよい。
【0057】
また、上記実施例では、初期偏位ベクトル選択部12にてフィールド間差分の絶対値の累算結果を比較して、その結果が複数個、最小となる場合に優先順位Fを考慮して初期偏位ベクトルを選択するようにしたが、本発明においては、あらかじめ優先順位Fに応じて、たとえば優先順位が低いほど大となる所定の値を累算結果に加算しておき、その結果を比較するようにしてもよい。この場合、初期偏位ベクトル選択部は、たとえば図6に示すように、それぞれの絶対値累算部126 の出力に、優先順位Fに応じた所定値をそれぞれ加算する加算部138 と、それらの値を設定する加算値設定部140 を設けるとよい。この場合、優先選択部130 を省いて、比較部128 に選択情報生成部132 を設けるとよい。
【0058】
さらに、上記実施例では、優先度付与部14のカウンタ144 〜158 にて1フィールド分の選択回数をカウントするようにしたが、本発明においては、これに限らず、数フィールドにわたってカウントするようにしてもよい。この場合、比較回路160 にて計数を累計した選択回数をフィールド毎に比較してその結果を遅延回路162 を介して順次フィールド毎に出力するようにしてもよい。
【0059】
またさらに、上記実施例では被検出ブロックに対応するブロックの周辺8ブロックを候補ベクトルとして選択するようにしたが、本発明においては、たとえば前フィールドでの被対象ブロックの周辺8ブロックを含む平均ベクトル、または前フィールドの平均ベクトルの2倍の値から前々フィールドの平均ベクトルを引いた加速度ベクトルを候補ベクトルなどの他の候補ベクトルを含むようにしてもよい。この場合、これらを初期偏位ベクトルとして選択した際に、その選択回数をカウントするカウンタを優先度付与部14にさらに設けるとよい。
【0060】
【発明の効果】
このように本発明の動画像信号の動きベクトル検出回路および動きベクトル検出方法によれば、既検出の動きベクトルの中から初期偏位ベクトルを選択して、これを用いて動きベクトルを検出する際に、少なくとも1フィールドにわたって候補ベクトルのそれぞれ位置の選択回数を検出して、それぞれの位置に優先順位を付与しておき、その前フィールドまでの優先順位に基づいて初期偏位ベクトルを選択するようにしたので、映像の特徴に応じた初期偏位ベクトルを選択することができる。この結果、各ブロックにてまちまちに選択されていた初期偏位ベクトルを映像の特徴に応じた位置の候補ベクトルから選択することができ、初期偏位ベクトルの誤検出を少なくすることができる。したがって、映像の特徴に応じて動きベクトルの検出精度を向上させることができる優れた効果を奏する。
【図面の簡単な説明】
【図1】本発明による動きベクトル検出回路の一実施例を示すブロック図である。
【図2】図1の実施例による動きベクトル検出回路の優先度付与部の構成例を示すブロック図である。
【図3】図1の実施例による動きベクトル検出回路の初期偏位ベクトル選択部の構成例を示すブロック図である。
【図4】図1の実施例による現フィールド信号と前フィールド信号のそれぞれの対象ブロックの関係を示す図である。
【図5】図1の実施例による動きベクトル検出の原理を示す図である。
【図6】図1の実施例による動きベクトル検出回路の初期偏位ベクトル選択部の他の構成例を示すブロック図である。
【符号の説明】
10 ベクトルメモリ
12 初期偏位ベクトル選択部
14 優先度付与部
16 ベクトル演算部
142 候補デコーダ
144 〜158 カウンタ
160 比較回路
162 遅延回路
Claims (20)
- 動画像信号のそれぞれのフィールドを所定の大きさの複数のブロックに分割し、それぞれのブロック毎に少なくとも1フィールド間以上離れた信号間にて動きの大きさおよび方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出回路において、該回路は、
各ブロック毎に検出された動きベクトルを少なくとも1フィールド分蓄積する記憶手段と、
該記憶手段に蓄積された動きベクトルの中から被検出ブロックの近傍の複数のブロックの動きベクトルを候補ベクトルとして読み出して、該候補ベクトルの中から被検出ブロックの動きに最も近い値の動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、
該初期偏位ベクトル選択手段にて選択した初期偏位ベクトルを起点として複数回の勾配演算を行なって被検出ブロックの真の動きベクトルを求めるベクトル演算手段とを含み、
さらに該回路は、前記初期偏位ベクトル選択手段にて選択した初期偏位ベクトルが被検出ブロックに対していずれの位置にあったブロックの動きベクトルであるかをそれぞれの位置毎に少なくとも1フィールドにわたって検出して、それぞれの位置に選択回数の多い順に優先順位を付与し、それぞれの位置の優先順位を前記初期偏位ベクトル選択手段に供給する優先度付与手段を有し、
前記初期偏位ベクトル選択手段は、前記候補ベクトルの内、被検出ブロックの動きに最も近い値の動きベクトルが複数ある場合には、少なくとも前フィールドで得られた優先順位に基づいて複数の位置の候補ベクトルの中から初期偏位ベクトルを選択することを特徴とする動画像信号の動きベクトル検出回路。 - 請求項1に記載の回路において、前記優先度付与手段は、
前記初期偏位ベクトル選択手段にて初期偏位ベクトルとして各ブロック毎に選択された候補ベクトルのブロックの位置をそれぞれの位置毎にその選択回数を順次計数する複数の計数手段と、
該計数手段での計数結果を比較する比較手段と、
該比較手段での比較結果を少なくとも1フィールド分遅延させて出力する出力手段とを含み、
該出力手段からの出力がそれぞれの位置の優先順位として前記初期偏位ベクトル選択手段に供給されることを特徴とする動きベクトル検出回路。 - 請求項2に記載の回路において、
前記初期偏位ベクトル選択手段は、複数の候補ベクトルの中から初期偏位ベクトルを選択した際に、その候補ベクトルのブロックの被検出ブロックに対する位置を所定のビット数の選択情報として前記優先度付与手段に供給する選択情報生成手段を含み、
前記優先度付与手段は、前記選択情報生成手段からの選択情報を受けて、該選択情報から選択されたブロックの位置を解読して、その位置に対応する前記計数手段にカウント信号を供給する候補デコーダを有することを特徴とする動きベクトル検出回路。 - 請求項1に記載の回路において、前記初期偏位ベクトル選択手段は、それぞれの候補ベクトルにて偏位させたブロックと被検出ブロックのフィールド間差分値を画素毎に求めて、その結果の絶対値の累計が最小となるブロックの動きベクトルを初期偏位ベクトルとして選択することを特徴とする動きベクトル検出回路。
- 請求項4に記載の回路において、前記初期偏位ベクトル選択手段は、フィールド間差分値の絶対値の累計が最小となるブロックが複数ある場合に、前記優先度付与手段からの優先順位の高い位置のブロックの候補ベクトルを初期偏位ベクトルとして選択することを特徴とする動きベクトル検出回路。
- 請求項4に記載の回路において、前記初期偏位ベクトル選択手段は、フィールド間差分値の絶対値の累計にそれぞれの位置の優先順位に応じた所定値を加算して、その結果の値を比較して、初期偏位ベクトルを選択することを特徴とする動きベクトル検出回路。
- 請求項6に記載の回路において、優先順位に応じた所定値は、優先順位が低いほど大となることを特徴とする動きベクトル検出回路。
- 請求項1に記載の回路において、前記初期偏位ベクトル選択手段は、被検出ブロックに隣接する周囲8ブロックに相当する既検出ブロックの動きベクトルを候補ベクトルとして前記蓄積手段から読み出すことを特徴とする動きベクトル検出回路。
- 請求項8に記載の回路において、既検出ブロックの動きベクトルには、前フィールドにて被検出ブロックに対応するブロックの周囲8ブロックの動きベクトルの平均値である平均ベクトルを含むことを特徴とする動きベクトル検出回路。
- 請求項8に記載の回路において、既検出ブロックの動きベクトルには、前フィールドの平均ベクトルの2倍の値から前々フィールドの平均ベクトルを減算した加速度ベクトルを含むことを特徴とする動きベクトル検出回路。
- 動画像信号のそれぞれのフィールドを所定の大きさのブロックに分割して、それぞれのブロック毎に少なくとも1フィールド以上離れた信号間にて動きの大きさおよび方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、該方法は、
既検出ブロックの動きベクトルの中から少なくとも被検出ブロックの近傍の複数のブロックの動きベクトルを候補ベクトルとして選択する第1の工程と、
該第1の工程にて選択した候補ベクトルの中から被検出ブロックの動きに最も近い値の動きベクトルを初期偏位ベクトルとして選択する第2の工程と、
該第2の工程にて選択した初期偏位ベクトルを起点として複数回の勾配演算を行なって被検出ブロックの真の動きベクトルを求める第3の工程とを含み、
さらに該方法は、前記第2の工程にて初期偏位ベクトルを選択する際に、初期偏位ベクトルが被検出ブロックに対する既検出ブロックのいずれの位置から選択された候補ベクトルであるかをそれぞれの位置毎に少なくとも1フィールドにわたって検出して、それぞれの位置に選択回数の多い順に優先順位を付与し、それぞれの位置の優先順位を前記第2の工程に供給しておく第4の工程を含み、
前記第2の工程は、前記候補ベクトルの内、被検出ブロックの動きに最も近い値の動きベクトルが複数ある場合には、少なくとも前フィールドで得られた優先順位に基づいてそれぞれの位置の候補ベクトルの中から最適な初期偏位ベクトルを選択することを特徴とする動画像信号の動きベクトル検出方法。 - 請求項11に記載の方法において、前記第4の工程は、前記第2の工程にて初期偏位ベクトルとして各ブロック毎に選択された候補ベクトルのブロックの位置をそれぞれの位置毎にその選択回数を順次計数して、該計数結果のそれぞれを比較して、その結果からそれぞれの位置に優先順位を付与することを特徴とする動きベクトル検出方法。
- 請求項12に記載の方法において、
前記第2の工程にて初期偏位ベクトルとして選択された候補ベクトルのブロックの被検出ブロックに対するそれぞれの位置は、所定のビット数の選択情報として生成され、
前記第4の工程は、第2の工程にて各ブロック毎に生成された選択情報から選択されたブロックの位置を解読して、その位置毎のカウント信号を生成してそれぞれの位置毎の選択回数を少なくとも1フィールドにわたって計数することを特徴とする動きベクトル検出方法。 - 請求項11に記載の方法において、前記第2の工程は、前記第1の工程にて選択したそれぞれの候補ベクトルにて偏位させたブロックと被検出ブロックのフィールド間差分値を画素毎に求めて、その結果の絶対値の累計が最小となるブロックの動きベクトルを初期偏位ベクトルとして選択することを特徴とする動きベクトル検出方法。
- 請求項14に記載の方法において、前記第2の工程は、フィールド間差分値の絶対値の累計を求めた際に、その結果が最小となるブロックが複数ある場合に、その中から前記第4の工程にて求めた前フィールドでの優先順位の高い位置のブロックの候補ベクトルを初期偏位ベクトルとして選択することを特徴とする動きベクトル検出方法。
- 請求項14に記載の方法において、前記第2の工程は、フィールド間差分値の絶対値の累計を求めた後に、その累計値にそれぞれの位置の優先順位に応じた所定値を加算しておき、その結果の値を比較して最小値となるブロックの動きベクトルを求めることを特徴とする動きベクトル検出方法。
- 請求項16に記載の方法において、優先順位に応じた所定値は、優先順位が低いほど大となることを特徴とする動きベクトル検出方法。
- 請求項11に記載の方法において、前記第1の工程にて選択される候補ベクトルは、被検出ブロックに隣接する周囲8ブロックに相当する既検出ブロックの動きベクトルであることを特徴とする動きベクトル検出方法。
- 請求項18に記載の方法において、前記既検出ブロックの動きベクトルには、前フィールドにて被検出ブロックに対応するブロックの周囲8ブロックの動きベクトルの平均値である平均ベクトルを含むことを特徴とする動きベクトル検出方法。
- 請求項18に記載の方法において、前記既検出ブロックの動きベクトルには、前フィールドの平均ベクトルの2倍の値から前々フィールドの平均ベクトルを減算した加速度ベクトルを含むことを特徴とする動きベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30435997A JP3611958B2 (ja) | 1997-11-06 | 1997-11-06 | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30435997A JP3611958B2 (ja) | 1997-11-06 | 1997-11-06 | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11146401A JPH11146401A (ja) | 1999-05-28 |
JP3611958B2 true JP3611958B2 (ja) | 2005-01-19 |
Family
ID=17932077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30435997A Expired - Fee Related JP3611958B2 (ja) | 1997-11-06 | 1997-11-06 | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3611958B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4512983B2 (ja) * | 2004-04-09 | 2010-07-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4512984B2 (ja) * | 2004-04-09 | 2010-07-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4730170B2 (ja) * | 2006-03-29 | 2011-07-20 | 沖電気工業株式会社 | 動きベクトル検出方法、動きベクトル検出装置及び動きベクトル検出プログラム |
-
1997
- 1997-11-06 JP JP30435997A patent/JP3611958B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11146401A (ja) | 1999-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5877469B2 (ja) | 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡 | |
US6072833A (en) | Apparatus and method for detecting motion vectors of pixel blocks of a digitized video signal | |
US7738556B2 (en) | Apparatus and method for estimating motion vector with gradient method | |
US6240211B1 (en) | Method for motion estimated and compensated field rate up-conversion (FRU) for video applications and device for actuating such method | |
US8130835B2 (en) | Method and apparatus for generating motion vector in hierarchical motion estimation | |
CN100438609C (zh) | 带有降质的图像处理单元 | |
JP3845456B2 (ja) | 動き補正ビデオ信号処理方式 | |
US5621481A (en) | Motion vector detecting apparatus for determining interframe, predictive error as a function of interfield predictive errors | |
WO2009034489A2 (en) | Method and apparatus for motion estimation in video image data | |
KR20070074781A (ko) | 프레임율 변환장치 | |
KR20050012768A (ko) | 현재 모션 벡터를 추정하는 유닛 및 방법 | |
KR20050097936A (ko) | 효과적인 예측 이미지 파라미터 추정 | |
JP3604752B2 (ja) | 動きベクトル検出装置および方法 | |
US20050163355A1 (en) | Method and unit for estimating a motion vector of a group of pixels | |
JP3611958B2 (ja) | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 | |
JPH0678298A (ja) | インターレース動画像の動き補償予測装置 | |
JP2930675B2 (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
JP3576618B2 (ja) | 動きベクトル検出方法および装置 | |
JP3580612B2 (ja) | 動画像符号化装置の動き検出装置 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JPH09102955A (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
JP2007503656A (ja) | エッジ方向の推定 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |