JP3813320B2 - 動きベクトル検出方法および装置 - Google Patents
動きベクトル検出方法および装置 Download PDFInfo
- Publication number
- JP3813320B2 JP3813320B2 JP23105197A JP23105197A JP3813320B2 JP 3813320 B2 JP3813320 B2 JP 3813320B2 JP 23105197 A JP23105197 A JP 23105197A JP 23105197 A JP23105197 A JP 23105197A JP 3813320 B2 JP3813320 B2 JP 3813320B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- search
- primary search
- field
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像信号の記録・通信・伝送および放送等のために用いられる動き補償予測符号化方式の動画像符号化装置に係り、特に符号化対象画面である動きベクトル検出対象画面の部分領域が符号化済みの参照画面のどの部分領域から動いてきたものかを表す動きベクトルを検出する動きベクトル検出方法および装置に関する。
【０００２】
【従来の技術】
動画像信号は情報量が膨大であるため、単にディジタル化して伝送や記録を行おうとすると、極めて広帯域の伝送路や、大容量の記録媒体を必要とする。そこで、テレビ電話、テレビ会議、ＣＡＴＶおよび画像ファイル装置等では、動画像信号を少ないデータ量に圧縮符号化する技術が用いられる。
【０００３】
動画像信号の圧縮符号化技術の一つとして、動き補償予測符号化方式が知られている。この動き補償予測符号化では、符号化済みの画面を参照画面とし、符号化対象画面の部分領域に対して参照画面の最も相関の高い部分領域を検出することにより、符号化対象画面の部分領域（これを動きベクトル検出対象ブロックという）が参照画面の部分領域（これを参照ブロックという）のうちのどの参照ブロックから動いたものかを表す動きベクトルを求め、動きベクトル検出対象ブロックと動きベクトルにより示される参照ブロックとの差分である予測誤差信号を符号化する。
【０００４】
一般に、動画像信号を得るための画面の走査方法としては、１ラインずつ順々に走査する順次走査（ノンインタレーススキャンニング）と、１ラインずつ間を空けて走査する飛び越し走査（インタレーススキャンニング）がある。１回の飛び越し走査によって得られる１ラインずつ間引かれた画面をフィールドと呼び、１回の順次走査または２回の飛び越し走査によって得られる完全な画面をフレームと呼ぶ。
【０００５】
順次走査によって得られるノンインタレース画像のように、同一フレーム内のフィールド間では動きが存在しない場合には、フレーム構成によって検出した動きベクトル（フレーム動きベクトル）を用いる動き補償予測方法が有効となることが多い。これに対して、飛び越し走査によって得られるインタレース画像においては、通常、同一フレーム内であってもフィールド間に動きが存在するので、フィールド構成によって検出した動きベクトル（フィールド動きベクトル）を用いる動き補償予測方法が有効となる場合が多い。このフィールド動きベクトルを検出するには、一般に膨大な演算量を必要とする。
【０００６】
“A Real-Time Motion Estimation and Compensation LSI with Wide Search Range for MPEG2 Video Encoding” IEEE J.Solid-State Circuits. vol.31,no.11, pp.1733 〜1741,NOV.1996)（文献１）や、A1.5W Single-Chip MPEG2 MP＠ML Encoder with Low-Power Motion Estimation and Clocking(ISSCC’97/SESSION16/VIDEO AND MULTIMEDIA SIGNAL PROCESSING/PAPER FP 16.2)（文献２）には、フィールド動きベクトル検出のために動きベクトルを探索する際の演算量（探索演算量）を削減するために、動きベクトルの検出を１次探索、２次探索に分けて行う技術が開示されている。
【０００７】
この従来のフィールド動きベクトル検出方法では、まず図１４（ａ）（ｂ）に示すように１次探索用参照画面と１次探索用ＭＶ（動きベクトル）検出対象画面の双方について、原サンプル点（原画像信号の画素サンプル点）を水平方向に平均内挿により内挿補間した後、内挿点を水平方向に間引くことにより、水平方向に２画素間隔のサブサンプル点からなる１次探索用参照ブロックと１次探索用ＭＶ検出対象ブロックを生成する。そして、１次探索用参照画面の広い範囲にわたり、水平方向に２画素精度の動きベクトル候補の探索を図１５中に示す１次探索点について行う。
【０００８】
次に、図１５（ａ）（ｂ）に示すようにサブサンプルしない原サンプルからなる２次探索用参照画面を用い、１次探索で得られた動きベクトル候補を２次探索の中心点として、この中心点の近傍の狭い探索範囲について１／２画素精度の動きベクトルの２次探索を行うことで、動きベクトル検出のための探索演算量を削減する。
【０００９】
図１５（ａ）は、フィールド構成のＭＶ検出対象ブロック（第１または第２フィールドのサブサンプル点のみで構成されるＭＶ検出対象ブロック）に対する動きベクトル（フィールド動きベクトル）の２次探索パターンであり、また図１５（ｂ）は、フレーム構成のＭＶ検出対象ブロック（第１、第２両フィールドのサブサンプル点で構成されるＭＶ検出対象ブロック）に対する動きベクトル（フレーム動きベクトル）の２次探索パターンである。このようにすると、１次探索でマッチングするブロックの構成サンプル数および探索点数がそれぞれ１／２になるため、探索演算量は約１／４に削減されることになる。
【００１０】
この従来の動きベクトル検出方法では、図１４に示したように１次探索用参照ブロック（図１４（ａ））と１次探索用動きベクトル検出対象ブロック（図１４（ｂ））のサブサンプル点は、いずれも水平方向の位相が同じとなっている。このため、図１５（ｂ）に示すフレーム動きベクトルの２次探索においても、図１５（ａ）に示すフィールド動きベクトルの２次探索と同様な探索点数（２次探索の中心点を基準として、水平方向に−１．０画素〜＋１．０画素、垂直方向に−０．５画素〜＋０．５画素の計１５点）を必要とする。
【００１１】
また、ＭＰＥＧ２(moving picture expart group phase 2) のように、符号化対象画面の種類（ピクチャタイプ）により参照画面数が１の場合と２の場合の二通り存在する方式においては、参照画面数が１のときは動きベクトルの１次探索演算量に余裕を生じるが、従来ではこの余裕の演算量を動きベクトル探索範囲の拡大に利用するしかなく、探索範囲が狭くて済む動きの小さな通常の画像では符号化効率の向上に有効利用できなかった。
【００１２】
【発明が解決しようとする課題】
上述したように、従来の探索演算量を削減した動きベクトル検出方法では、１次探索におけるフレーム動きベクトル候補の水平方向の検出精度が２画素精度となることから、１／２画素精度の２次探索を行う場合、フレーム動きベクトルについてもフィールド動きベクトルと同数の多くの探索点数を必要とするという問題点と、参照画面が１で１次探索演算量に余裕を生じる場合でも、その探索演算量の余裕分を符号化効率の向上に有効利用できないという問題点があった。
【００１３】
本発明は、上述した従来の問題点を解消するためになされたもので、その主な目的は、１次探索結果として得られるフレーム動きベクトル候補の検出精度を動きの小さな部分では１画素精度とすることにより、１／２画素精度のフレーム動きベクトルの２次探索で必要な探索点数を削減できる動きベクトル検出方法および装置を提供することにある。
【００１４】
また、本発明の他の目的は、１次探索演算量に余裕を生じる場合にその探索演算量の余裕分を符号化効率の向上に有効利用できる動きベクトル検出方法および装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記の課題を解決するため、本発明は１次探索用の参照画面および動きベクトル検出対象画面のいずれか一方について水平方向のサブサンプル点の位相を２つのフィールドで異ならせて動きベクトルの１次探索を行うことを骨子とする。
【００１６】
すなわち、本発明に係る第１の動きベクトル検出方法では、第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する。
【００１７】
また、本発明に係る第２の動きベクトル検出方法では、第１の動きベクトル検出方法とは１次探索用参照画面と１次探索用動きベクトル検出対象画面の関係を逆にし、第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する。
【００１８】
そして、第１および第２の動きベクトル検出方法ともに１次探索において１次探索用参照画面の中から１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを抽出して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を探索し、次いで２次探索において該動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行う。
【００１９】
このようにすると、１次探索において１次探索用動きベクトル検出対象ブロックの第１、第２フィールドに対するそれぞれのフィールド動きベクトルの１次探索範囲は、動きの小さな領域で重複するので、この領域では第１、第２フィールドからなるフレーム構成の動きベクトル検出対象画面に対しては、１画素精度で１次探索が行われることになる。
【００２０】
すなわち、２次探索においてフレーム構成の検出対象ブロックに対する最適な動きベクトル候補は、動きが小さく解像度の高い画像では１次探索用動きベクトル検出対象ブロックの第１、第２フィールドに対する動きベクトル探索範囲の重複する領域（探索する動きベクトル候補点を互いに補完する領域）から検出されるため、１画素精度の動きベクトルとなる。
【００２１】
従って、フレーム構成の動きベクトル検出対象ブロックに対する動きベクトルの２次探索においては、この１次探索結果により得られた動きベクトル候補の近傍の狭い範囲内の少ない探索点（水平・垂直方向共に−０．５〜＋０．５画素までの９点）を探索することで十分となる。
【００２２】
また、本発明は１次探索において探索演算量に余裕を生じる符号化画面（動きベクトル検出対象画面）に対しては、すなわち１画面にわたり後方予測の動きベクトル検出が不要な場合は、第１および第２フィールドで構成される動きベクトル検出対象画面を水平方向に異なる位相でサブサンプルすることにより生成した２種類の１次探索用動きベクトル検出対象画面を用いて、フィールド動きベクトルの動きベクトル候補を検出することを特徴とする。
【００２３】
このようにすると、一つの１次探索用動きベクトル検出対象ブロックに対して２種類の１次探索用動きベクトル検出対象ブロックにより探索する動きベクトル候補点が互いに補完されるので、動きベクトル検出対象ブロックの各フィールドに対して検出される動きベクトル候補が１画素精度となり、動きの小さな画像でも所有する探索演算量を符号化効率の向上に有効利用できる。さらに、１次探索用のサブサンプルされた参照画面の画素数が従来と同様で良いことから、参照画面のための記憶容量の増加も不要となる。
【００２４】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の第１の実施形態に係る動きベクトル検出方法を１次探索、２次探索の順に説明する。
【００２５】
［１次探索］
まず、本実施形態に係る動きベクトル検出方法における動きベクトル（フィールド動きベクトル）の１次探索について説明する。
１次探索においては、まず第１フィールド（例えば奇フィールド）と第２フィールド（例えば偶フィールド）で構成される１次探索用参照画面と１次探索用ＭＶ（動きベクトル）検出対象画面を生成する。図１（ａ）および（ｂ）は、本実施形態における１次探索用参照画面および１次探索用ＭＶ検出対象画面の同一画面位置の部分領域（以下、１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロックという）上の原サンプル点とサブサンプル点を示す図である。
【００２６】
１次探索用参照画面のサブサンプル点は、図１（ａ）に示されるように一つの参照画面を構成する第１フィールドと第２フィールドの原サンプル点の間を水平方向に内挿補間した後、内挿点を第１フィールドと第２フィールドとで水平方向に同一位相で一つおきに間引くことによって得られる。これに対し、１次探索用ＭＶ検出対象画面のサブサンプル点は、図１（ｂ）に示されるように一つの１次探索用ＭＶ検出対象画面を構成する第１フィールドと第２フィールドの原サンプル点の間を第１フィールドと第２フィールドとで水平方向に異なる位相で一つおきに間引くことによって得られることが本実施形態の特徴である。
【００２７】
そして、１次探索用参照画面の中から１次探索用ＭＶ検出対象ブロックに類似する１次探索用参照ブロックを抽出して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を探索する（１次探索）。以下、この１次探索動作を図２により説明する。
【００２８】
図２は、図１（ｂ）に示した１次探索用ＭＶ検出対象ブロックの第１、第２フィールドの左上のサブサンプル点Ｃａ１，Ｃｂ１に対する１次探索用参照画面上の１次探索範囲の設定例である。
【００２９】
動きベクトルの１次探索に際しては、まず図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドの４つのサブサンプル点について、図１（ｂ）の第１フィールド上のＣａ１が図２の点Ａｃを探索中心とする探索範囲Ａ内の第１、第２フィールドの各サブサンプル点のいずれかに位置する場合毎にマッチング誤差、つまり図１（ｂ）の第１フィールドの４つのサブサンプル点の画素値とそれらに最も近い図２の探索範囲Ａ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合、図２の探索範囲Ａ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００３０】
そして、これら２８点のマッチング誤差の中でマッチング誤差が最小となる図２上のＣａ１に対応する位置Ａｓを検出し、この位置ＡｓとＣａ１の相対位置を図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドについてのフィールド動きベクトル候補とする。
【００３１】
次に、図１（ｂ）の第２フィールド上のＣｂ１に対する探索範囲を第１フィールド上のＣａ１に対するＣｂ１の位置の差を考慮して、図２に示すように点Ｂｃを探索中心とするＢのように設定する。すなわち、探索中心Ｂｃは図２上のＣａ１に対応する位置Ａｓに対して、図１（ｂ）におけるＣａ１に対するＣｂ１の相対位置と同じ相対位置に設定する。
【００３２】
次に、図１（ｂ）の第２フィールドの４つのサブサンプル点で構成される第２フィールドの１次探索用ＭＶ検出対象ブロックについて、図１（ｂ）の第２フィールド上のＣｂ１が図２の探索範囲Ｂ内の第１、第２フィールドの各サブサンプル点に位置する場合毎にマッチング誤差、つまり図１（ｂ）の第２フィールドの４つのサブサンプル点の画素値と、それらに最も近い図２の探索範囲Ｂ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合においても、図２の探索範囲Ｂ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００３３】
そして、これらの２８点のマッチング誤差の中でマッチング誤差が最小となる図２上のＣｂ１に対応する位置Ｂｓ（図示せず）を検出し、この位置ＢｓとＣｂ１の相対位置を図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第２フィールドについてのフィールド動きベクトル候補とする。
【００３４】
以上のようにして動きベクトルの１次探索、すなわち第１および第２フィールドについてのフィールド動きベクトルの動きベクトル候補の探索が行われる。
［２次探索］
次に、本実施形態に係る動きベクトル検出方法における動きベクトルの２次探索について説明する。
図３（ａ１）（ａ２）および（ｂ）は、本実施形態における２次探索用参照画面および２次探索用ＭＶ検出対象画面の同一画面位置の部分領域（２次探索用参照ブロックおよび２次探索用ＭＶ検出対象ブロック）の原サンプル点を示す図である。図３（ａ１）は、フィールド動きベクトルの２次探索用参照画面の参照ブロックであり、第１フィールド（または第２フィールド）のみで構成される参照画面の原サンプル点の間を内挿補間することによって、水平方向および垂直方向に１画素間隔のサンプルを配置して構成される。図３（ａ２）は、フレーム動きベクトルの２次探索用参照画面の参照ブロックであり、第１、第２フィールドで構成される一つの参照画面の原サンプル点の間を内挿補間することによって、水平方向および垂直方向に１／２画素間隔のサンプルを配置して構成される。
【００３５】
＜フィールド動きベクトルの２次探索＞
まず、図３（ｂ）の第１、第２フィールドの各々の原サンプル点からなるフィールド構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フィールド動きベクトル）の２次探索においては、図３（ａ１）に示したフィールド動きベクトルの２次探索用参照画面を用い、図１（ｂ）の第１、第２フィールド上の１次探索対象点Ｃａ１，Ｃｂ１に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として、前述した従来の動きベクトル検出方法と同様に、図１５（ａ）に示すように２次探索点を設定し、これらの２次探索点から第１、第２フィールドでそれぞれ構成されるフィールド構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置を第１、第２フィールドのフィールド動きベクトルとして検出する。
【００３６】
＜フレーム動きベクトルの２次探索＞
一方、図３（ｂ）の第１、第２両フィールドの全ての原サンプル点からなるフレーム構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フレーム動きベクトル）の２次探索においては、図３（ａ２）に示した２次探索用参照画面を用いて、図１（ｂ）のＣａ１に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓの一方または両方を図３（ｂ）のＣａ３，Ｃｂ３の一方または両方に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として設定した２次探索点から、フレーム構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置をフレーム動きベクトルとして検出する。
【００３７】
次に、本実施形態による効果について述べる。
図４は、図１（ｂ）の第１、第２フィールド上の探索対象点Ｃａ１，Ｃｂ１に対する１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算した１次探索点と１次探索範囲を示している。同図に示されるように、第１フィールドについてのフィールド動きベクトルの１次探索範囲と、第２フィールドについてのフィールド動きベクトルの１次探索範囲は、Ｃａ２，Ｃｂ２に対する１次探索の探索中心点の近傍の領域（動きの小さな領域）Ｅで重複する。従って、重複した領域Ｅでは第１、第２フィールドからなるフレーム構成のＭＶ検出対象画面については１画素精度で１次探索が行われ、これらの探索中心点から離れた領域（動きの大きな領域）Ｄ，Ｆでは、水平・垂直方向ともに２画素精度で１次探索が行われることになる。
【００３８】
従来の動きベクトル検出方法では、動きの大きさに関係なく常に２画素精度で１次探索が行われていたが、本実施形態では上述のように動きの小さな領域については１画素精度の１次探索が行われる。すなわち、本実施形態によると１次探索において、小さな動きに対して従来よりも高精度に動きベクトル候補を検出することができる。
【００３９】
また、図３（ｂ）の１６個の原サンプルからなる２次探索用ＭＶ検出対象ブロックに対するフレーム動きベクトルの２次探索では、高精度な探索が有効な動きの小さな場合に対応させ、図５（ａ）に示すように狭い範囲（水平・垂直方向とも２次探索の中心点から±０．５画素の９点）に設定した２次探索点から、２次探索用ＭＶ検出対象ブロックとの誤差が最小になる位置を検出することで十分である。
【００４０】
このようにすると、動きの大きな場合においても図５（ｂ）に示すように狭い範囲に設定した２次探索点からの探索で左右に３点ずつ探索点が不足する程度であり、視覚的にも符号化効率の点でも探索精度があまり影響しないことから問題を生じない。
【００４１】
このように本実施形態によると、従来の動きベクトル検出方法よりも２次探索での探索演算量を減少させることができる。
（第２の実施形態）
本発明の第２の実施形態に係る動きベクトル検出方法を１次探索、２次探索の順に説明する。
【００４２】
［１次探索］
本実施形態に係る動きベクトル検出方法における動きベクトルの１次探索について説明する。
【００４３】
図６（ａ）および（ｂ）は、本実施形態における１次探索用参照画面および１次探索用ＭＶ検出対象画面の同一画面位置の部分領域である１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロック上の原サンプル点とサブサンプル点を示す図である。同図に示されるように、本実施形態では１次探索用参照画面のサブサンプル点と１次探索用ＭＶ検出対象画面のサブサンプル点の関係が逆になっている。
【００４４】
すなわち、本実施形態においては、１次探索用参照画面のサブサンプル点は図６（ａ）に示されるように、一つの１次探索用参照画面を構成する第１、第２フィールドの原サンプル点の間を水平方向に内挿補間した後、水平方向に異なる位相で一つおきに水平方向に間引くことによって得られる。一方、１次探索用ＭＶ検出対象画面のサブサンプル点は図６（ｂ）に示されるように、一つのＭＶ検出対象画面を構成する第１フィールドおよび第２フィールドの原サンプル点の間を水平方向に内挿補間した後、内挿点を水平方向に同一位相で一つおきに間引くことによって得られる。
【００４５】
図７に、図１（ｂ）に示した１次探索用ＭＶ検出対象ブロックの第１、第２フィールドの左上のサブサンプル点Ｃａ２，Ｃｂ２（１次探索対象点）に対する動きベクトルの１次探索範囲の設定例を示す。
【００４６】
動きベクトルの１次探索に際しては、まず図６（ｂ）の第１フィールドの４つのサブサンプル点で構成される第１フィールドの１次探索用ＭＶ検出対象ブロックについて、図６（ｂ）の第１フィールド上の１次探索対象点Ｃａ２が図７の点Ａｃを探索中心とする探索範囲Ａ内の第１、第２フィールドの各サブサンプル点のいずれかに位置する場合毎にマッチング誤差、つまり図６（ｂ）の第１フィールドの４つのサブサンプル点の画素値とそれらに最も近い図２の探索範囲Ａ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合、図２の探索範囲Ａ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００４７】
そして、これら２８点のマッチング誤差の中でマッチング誤差が最小となる図７上のＣａ２に対応する位置Ａｓを検出し、この位置ＡｓとＣａ２の相対位置を図６（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドについてのフィールド動きベクトル候補とする。
【００４８】
次に、図６（ｂ）の第２フィールド上のＣｂ２に対する探索範囲を第１フィールド上のＣａ２に対するＣｂ２の位置の差を考慮して、図７に示すように点Ｂｃを探索中心とするＢのように設定する。すなわち、探索中心Ｂｃは図７上のＣａ２に対応する位置Ａｓに対して、図６（ｂ）におけるＣａ２に対するＣｂ２の相対位置と同じ相対位置に設定する。
【００４９】
次に、図６（ｂ）の第２フィールドの４つのサブサンプル点で構成される第２フィールドの１次探索用ＭＶ検出対象ブロックについて、図６（ｂ）の第２フィールド上のＣｂ２が図７の探索範囲Ｂ内の第１、第２フィールドの各サブサンプル点に位置する場合毎にマッチング誤差、つまり図６（ｂ）の第２フィールドの４つのサブサンプル点の画素値と、それらに最も近い図７の探索範囲Ｂ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合においても、図２の探索範囲Ｂ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００５０】
そして、これらの２８点のマッチング誤差の中でマッチング誤差が最小となる図７上のＣｂ２に対応する位置Ｂｓ（図示せず）を検出し、この位置ＢｓとＣｂ２の相対位置を図６（ｂ）の１次探索用ＭＶ検出対象ブロックの第２フィールドについてのフィールド動きベクトル候補とする。
【００５１】
以上のようにして動きベクトルの１次探索、すなわち第１および第２フィールドについてのフィールド動きベクトルの動きベクトル候補の探索が行われる。
［２次探索］
次に、本実施形態に係る動きベクトル検出方法における動きベクトルの２次探索について図３を用いて説明する。
＜フィールド動きベクトルの２次探索＞
まず、図３（ｂ）の第１、第２フィールドの各々の原サンプル点からなるフィールド構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フィールド動きベクトル）の２次探索においては、図３（ａ１）に示したフィールド動きベクトルの２次探索用参照画面を用い、図６（ｂ）の第１、第２フィールド上の１次探索対象点Ｃａ２，Ｃｂ２に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として、前述した従来の動きベクトル検出方法と同様に、図１５（ａ）に示すように２次探索点を設定し、これらの２次探索点から第１、第２フィールドでそれぞれ構成されるフィールド構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置を第１、第２フィールドのフィールド動きベクトルとして検出する。
【００５２】
＜フレーム動きベクトルの２次探索＞
一方、図３（ｂ）の第１、第２両フィールドの全ての原サンプル点からなるフレーム構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フレーム動きベクトル）の２次探索においては、図３（ａ２）に示した２次探索用参照画面を用いて、図６（ｂ）のＣａ２に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓの一方または両方を図３（ｂ）のＣａ３，Ｃｂ３の一方または両方に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として設定した２次探索点から、フレーム構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置をフレーム動きベクトルとして検出する。
する。
【００５３】
本実施形態によっても、以下のように第１の実施形態と同様の効果を得ることができる。
図８は、図６（ｂ）の第１、第２フィールド上の探索対象点Ｃａ２，Ｃｂ２に対する１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算した１次探索点と１次探索範囲を示している。同図に示されるように、第１フィールドについてのフィールド動きベクトルの１次探索範囲と、第２フィールドについてのフィールド動きベクトルの１次探索範囲は、Ｃａ２，Ｃｂ２に対する１次探索の探索中心点の近傍の領域（動きの小さな領域）Ｅで重複している。従って、この領域Ｅでは１画素精度の１次探索が行われ、これらの探索中心点から離れた領域（動きの大きな領域）Ｄ，Ｆでは、水平・垂直方向ともに２画素精度の１次探索が行われることになる。
【００５４】
従来の動きベクトル検出方法では、動きの大きさに関係なく常に２画素精度で１次探索が行われていたが、本実施形態では上述のように動きの小さな領域については２画素精度の１次探索が行われる。すなわち、本実施形態によると１次探索において小さな動きに対して、従来よりも高精度に動きベクトル候補を検出することができる。
【００５５】
また、図６（ｂ）の１６個の原サンプルからなる２次探索用ＭＶ検出対象ブロックに対するフレーム動きベクトルの２次探索では、高精度な探索が有効な動きの小さな場合に対応させ、図９（ａ）に示すように狭い範囲（水平・垂直方向とも２次探索の中心点から±０．５画素の９点）に設定した２次探索点から、２次探索用ＭＶ検出対象ブロックとの誤差が最小になる位置を検出することで十分である。
【００５６】
このようにすると、動きの大きな場合においても図９（ｂ）に示すように狭い範囲に設定した２次探索点からの探索で左右に１点ずつ探索点が不足する程度であり、視覚的にも符号化効率の点でも探索精度があまり影響しないことから、第１の実施形態よりもさら問題を生じない。
【００５７】
このように本実施形態によると、従来の動きベクトル検出方法よりも２次探索の演算量を減少させることができ、さらに動きの大きな場合もより高精度で動きベクトルを検出することが可能となる。
【００５８】
（第３の実施形態）
図１０（ａ）（ｂ）は、本発明の第３の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロック上の原サンプル点とサブサンプル点を示す図である。
【００５９】
本実施形態においては、１次探索用参照画面のサブサンプル点は図１０（ａ）に示されるように、一つの１次探索用参照画面を構成する第１、第２フィールドの原サンプル点を異なる位相で水平方向に一つおきに間引くことによって得られる。一方、１次探索用ＭＶ検出対象画面のサブサンプル点は図１０（ｂ）に示されるように、一つのＭＶ検出対象画面を構成する第１、第２フィールドの原サンプル点を水平方向に内挿補間した後、水平方向に同一位相で一つおきに間引くことによって得られる。
【００６０】
すなわち、第２の実施形態では図６（ａ）に示したように、１次探索用参照画面のサブサンプル点が第１、第２フィールドの原サンプル点を水平方向に内挿補間した後、水平方向に異なる位相で間引いたものであるのに対し、本実施形態は図１０（ａ）に示されるように、第１、第２フィールドの原サンプル点間の内挿補間を行わず、原サンプル点そのものを異なる位相で水平方向に一つおきに間引いたものを１次探索用参照画面のサブサンプル点とした点が第２の実施形態と異なるだけである。
【００６１】
従って、本実施形態においても第２の実施形態と同様の方法で動きベクトル検出を行うことにより、第２の実施形態と同様な効果を得ることができる。
（第４の実施形態）
次に、図１１を用いて本発明の第４の実施形態に係る動きベクトル検出方法について説明する。本実施形態においては、図１１（ａ）（ｂ）に示すように原サンプル点とサブサンプル点を配置した２種類の１次探索用ＭＶ検出対象画面を用いる。図１１（ａ）（ｂ）では、一つのＭＶ検出対象画面を構成する第１、第２フィールドの原サンプル点を水平方向に同一位相で間引いてサブサンプル点を得ている点は共通であるが、サブサンプル点の位相を水平方向に１画素分互いにずらせている。このように、一つのＭＶ検出対象画面を異なる位相で水平方向にサブサンプルした２種類の１次探索用ＭＶ検出対象画面を用いる。
【００６２】
本実施形態では、動きベクトルの１次探索において、探索演算量に余裕の少ないＭＶ検出対象画面（符号化対象画面）、つまり参照画面数が複数のＭＶ検出対象画面に対しては、第１〜第３の実施形態のいずれかで説明した動きベクトル検出方法により動きベクトル候補を検出する。
【００６３】
一方、探索演算量に大きな余裕を生じるような、つまり参照画面数が１のＭＶ検出対象画面に対しては、１次探索用ＭＶ検出対象画面を図１１（ａ）（ｂ）に示すように２種類の位相で水平方向にサブサンプルし、図１（ａ）、図６（ａ）および図１０（ａ）のいずれかに示した１次探索用参照画面から２種類の１次探索用ＭＶ検出対象ブロックの第１、第２各フィールドに対するフィールド動きベクトル候補をそれぞれ検出し、それらの動きベクトル候補からＭＶ検出対象ブロックの第１、第２フィールドに対するそれぞれのフィールド動きベクトル候補を決定する。
【００６４】
この場合、図１１（ａ）（ｂ）のサブサンプル点の位相が１画素分異なっているため、上記のように第１、第２フィールドに対するフィールド動きベクトルを決定することによって、１次探索用参照画面の画像を記憶しておく画素数は従来と同じでありながら、１次探索で水平方向に１画素精度のフィールド動きベクトル候補を検出でき、動きベクトル検出誤りが従来よりも低減する。特に、参照画面として図１（ａ）または図６（ａ）のように水平方向に内挿補間した後、内挿点を水平方向に間引いて生成した参照画面を用いる場合に、動きベクトル検出誤りが低減する。
【００６５】
（第５の実施形態）
次に、図１２を用いて本発明に係る動きベクトル検出方法を動画像符号化装置に適用した実施形態を説明する。なお、ここでは第４の実施形態の動きベクトル検出方法を用いた例について説明するが、第１〜第３の実施形態の動きベクトル検出方法を適用することもできる。
【００６６】
図１２において、入力端子１０１には符号化対象の動画像信号が図１３に示すように符号化対象ブロックは水平方向に並び、符号化対象ブロック内画素は垂直方向に並ぶように順次入力される。第１の内挿間引き部１１は、この入力動画像信号が参照画面（前方予測の動き補償で符号化される画面＝Ｐピクチャ）となる場合には、入力動画像信号の輝度信号を図６（ａ）に示したように水平方向に内挿補間した後、水平方向に異なる位相で１サンプルおきに間引くことにより、第１、第２のフィールドを異なる位相でサブサンプルして１次探索用参照画面を生成する。この１次探索用参照画面の画像信号は、内部画像メモリ１３に記憶される。
【００６７】
また、第１の内挿間引き部１１は、入力動画像信号が参照画面とならない画像（両方向予測の動き補償で符号化される画像＝Ｂピクチャ）の場合には、図６ （ｂ）に示したように水平方向に内挿補間した後、水平方向に同一位相で１サンプルおきに間引くことにより、第１、第２フィールドを同一位相でサブサンプルして１次探索用ＭＶ検出対象画面を生成する。この１次探索用ＭＶ検出対象画面の画像信号は、内部画像メモリ１３に記憶されることなく、１次探索用の前方予測のＭＶ検出対象ブロックの画像信号として切換器１４に供給される。
【００６８】
さらに、入力動画像信号が参照画面とならない画像（両方向予測の動き補償で符号化される画像＝Ｂピクチャ）の場合には、内部画像メモリ１３に記憶された参照画面よりも以前に入力端子１０１から入力され、かつバッファメモリ１５を介して外部メモリ１６に記憶された後方予測のＭＶ検出対象ブロックの画像信号がアドレス発生部１８により読み出され、バッファメモリ１９を介して第２の内挿間引き部１２に供給される。
【００６９】
第２の内挿間引き部１２は、バッファメモリ１９を介して入力される後方予測のＭＶ検出対象ブロックの画像信号を図６（ｂ）に示したように水平方向に内挿補間した後、水平方向に第１、第２のフィールドを同一位相でサブサンプルして１次探索用ＭＶ検出対象ブロックを生成する。この１次探索用ＭＶ検出対象ブロックの画像信号は、１次探索用の後方予測のＭＶ検出対象ブロックの画像信号として切換器１４に供給される。
【００７０】
切換器１４は、入力端子１０１からの入力動画像信号が参照画面となる画像の場合は、入力動画像信号を図１１（ａ）（ｂ）に示したように２種類に分けた１次探索用ＭＶ検出対象ブロックの画像信号を動きベクトル候補検出部１７に供給し、入力動画像信号が参照画面とならない画像の場合は、第１、第２の内挿間引き部１１，１２から供給される１次探索用ＭＶ検出対象ブロックの画像信号を動きベクトル候補検出部１７に供給する。
【００７１】
また、アドレス生成部１８は１画面前の同一画面位置に対して検出された動きベクトル候補を外部メモリ１６から読み出してバッファメモリ１９を介して取り込み、その動きベクトル候補に基づいて内部画像メモリ１３に記憶された参照画面から参照領域を読み出して、動きベクトル候補検出部１７に供給する。
【００７２】
動きベクトル候補検出部１７は、内部画像メモリ１３から供給される１次探索用参照ブロックの画像信号から、それぞれの１次探索用ＭＶ検出対象ブロックの一方のフィールドに対する動きベクトル候補を検出する。さらに、動きベクトル候補検出部１７は、一方のフィールド動きベクトル候補の検出結果をアドレス発生部１８に供給する。これに基づいて、アドレス発生部１８は図７に示したようにこの一方のフィールド動きベクトル候補の検出結果に基づいて、動きベクトル検出対象ブロックの他方のフィールドに対する参照ブロックの画像信号を内部画像メモリ１３から読み出し、動きベクトル候補検出部１７に供給する。
【００７３】
アドレス発生部１８は、このようにして１次探索部（動きベクトル候補検出部）１７で検出されたそれぞれのＭＶ検出対象ブロックの第１、第２各フィールドに対するフィールド動きベクトルの動きベクトル候補をフレーム動きベクトル候補として適切なフィールド動きベクトル候補を示す情報と共に、バッファメモリ１５を介して外部メモリ１６に１次記憶する。
【００７４】
さらに、アドレス発生部１８は１次探索部１７で検出された符号化対象ブロックに対するフィールド動きベクトルの動きベクトル候補を外部メモリ１６から読み出してバッファメモリ１９を介して取り込み、各動きベクトル候補に基づいて図１６（ａ）や図９に示すような探索範囲に対応する参照ブロックの画像信号と符号化対象ブロックの画像信号を外部メモリ１６から読み出し、バッファメモリ１９を介して２次探索部（動き補償器）２０に供給する。
【００７５】
２次探索部（動き補償器）２０は、バッファメモリ１９を介して供給される符号化対象ブロックの画像信号に対して、同じくバッファメモリ１９を介して供給される参照ブロックの画像信号から最適動きベクトルの基準動きベクトルとの差分（差分動きベクトル）と動き補償モードを検出し、アドレス発生部１８に供給する。さらに、２次探索部（動き補償器）２０は検出された動き補償モードに対応する予測信号を生成して局部再生部２５に供給し、さらにその予測信号と符号化対象ブロックの各画素信号との差分（予測誤差データ）を生成し、離散コサイン変換器２１に出力する。
【００７６】
アドレス発生部１８は、２次探索部２０から供給される差分動きベクトルから最終的な最適動きベクトルを算出し、動き補償モード信号と共に可変長符号化器２６に供給する。離散コサイン変換器２１は、２次探索部２０から供給される予測誤差データに対し２次元の離散コサイン変換処理を施してＤＣＴ係数データを生成し、量子化器２２に供給する。量子化器２２は、離散コサイン変換器２１から供給されるＤＣＴ係数データに対して、各周波数成分に応じた量子化幅で除算処理して量子化処理を行い、逆量子化器２３および可変長符号化器２６に供給する。
【００７７】
可変長符号化器２６は、アドレス発生部１８から供給される動き補償モードの情報や動きベクトルの情報と量子化器２２から供給されるＤＣＴ係数データを可変長符号化して多重し、出力端子１０２から出力する。逆量子化器２３は、量子化器２２から供給されるＤＣＴ係数データに各周波数成分に応じた量子化幅を乗じて、元のダイナミックレンジのＤＣＴ係数に戻し、元のダイナミックレンジに戻されたＤＣＴ係数データを逆離散コサイン変換器２４に供給する。逆離散コサイン変換器２４は、逆量子化器２３から供給されるＤＣＴ係数データに対して逆離散コサイン変換処理を施し、局部再生予測誤差データを生成する。
【００７８】
局部再生部２５は、符号化されている画面が後で符号化される画面の動き補償の参照画面となる場合に、逆離散コサイン変換器２４から供給される局部再生予測誤差データと２次探索部２０から供給される予測画素データとを加算して、局部再生画像信号を生成し、バッファメモリ１５を介して外部メモリ１６に一時記憶する。このとき、外部メモリ１６上では参照されなくなった過去の参照画面の画像信号が記憶されていたアドレスに上書きされる。ここでは、１次探索用参照画面の画像信号を動画像符号化用ＬＳＩ３０の内部メモリ１３に記憶しているため、動画像符号化用ＬＳＩ３０の外部メモリ１６のデータアクセス速度を大幅に低減することができる。
【００７９】
【発明の効果】
以上説明したように、本発明によれば１次探索における参照画面または動きベクトル検出対象画面のいずれか一方について水平方向のサブサンプル点の位相を２つのフィールドで異ならせることで、１次探索における動きベクトル検出対象ブロックの第１および第２フィールドに対する動きベクトルの探索範囲を小さな動きに相当する探索部分で重複させ、動きベクトル検出対象ブロックの第１および第２フィールドに対して検出される動きベクトル候補の中からフレーム動きベクトル候補を選択することで、１次探索でフレーム構成の動きベクトル検出対象ブロックに対する最適な動きベクトル候補は、動きが小さく解像度の高い画像では１画素精度となり、１次探索での誤検出が低減する。
【００８０】
また、このようにすると２次探索で必要な探索点数が減少し、２次探索の動きベクトル検出演算量が低減する。
さらに、本発明では１次探索において探索演算量に余裕を生じる符号化対象画面、つまり１画面の符号化期間にわたり後方予測の動きベクトル検出が不要な符号化対象画面に対しては、動きベクトル検出対象画面を２種類の位相で水平方向にサブサンプルして、一つの動きベクトル検出対象ブロックに対して生成した２種類の１次探索用動きベクトル検出対象ブロックに対してほぼ同一の探索範囲から動きベクトル候補を検出し、この２種類の１次探索用動きベクトル検出対象ブロックに対する動きベクトル候補から、一つの動きベクトル検出対象ブロックの各フィールドに対する最適な動きベクトル候補を選択することにより、動きベクトル検出対象ブロックの各フィールドに対して検出される動きベクトル候補が１画素精度となり、動きの小さな画像でも所有する探索演算量を符号化効率の向上に有効利用できる。
しかも、１次探索用のサブサンプルされた参照画面の画素数が従来と同様であることから、参照画面の記憶容量の増加も不要となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図２】同実施形態における動きベクトルの１次探索範囲の設定例を示す図
【図３】同実施形態における２次探索用参照ブロックおよび２次探索用動きベクトル検出対象ブロック上の原サンプル点を示す図
【図４】同実施形態におけるフレーム動きベクトルに換算した１次探索点と１次探索範囲を示す図
【図５】同実施形態における２次探索でのフレーム動きベクトルの探索点の設定例を示す図
【図６】本発明の第２の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図７】同実施形態における動きベクトルの１次探索範囲の設定例を示す図
【図８】同実施形態におけるフレーム動きベクトルに換算した１次探索点と１次探索範囲を示す図
【図９】同実施形態における２次探索でのフレーム動きベクトルの探索点の設定例を示す図
【図１０】本発明の第３の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１１】本発明の第４の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１２】本発明の実施形態に係る動きベクトル検出方法を適用した動画像符号化装置の構成例を示すブロック図
【図１３】図１２の動画像符号化装置に入力される画像の画素入力形式の例を示す図
【図１４】従来の動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１５】従来の動きベクトル検出方法における２次探索でのフィールド動きベクトルおよびフレーム動きベクトルの探索点の設定例を示す図
【符号の説明】
１１…参照画面および前方予測ＭＶ検出対象ブロック用の内挿間引き部
１２…後方予測ＭＶ検出対象ブロック用の内挿間引き部
１３…１次探索用参照画面記憶用の内部画像メモリ
１４…１次探索用ＭＶ検出対象ブロック切換器
１７…１次探索部（動きベクトル候補探索部）
２０…２次探索部（１／２画素精度動きベクトル検出および動き補償器）
【発明の属する技術分野】
本発明は、動画像信号の記録・通信・伝送および放送等のために用いられる動き補償予測符号化方式の動画像符号化装置に係り、特に符号化対象画面である動きベクトル検出対象画面の部分領域が符号化済みの参照画面のどの部分領域から動いてきたものかを表す動きベクトルを検出する動きベクトル検出方法および装置に関する。
【０００２】
【従来の技術】
動画像信号は情報量が膨大であるため、単にディジタル化して伝送や記録を行おうとすると、極めて広帯域の伝送路や、大容量の記録媒体を必要とする。そこで、テレビ電話、テレビ会議、ＣＡＴＶおよび画像ファイル装置等では、動画像信号を少ないデータ量に圧縮符号化する技術が用いられる。
【０００３】
動画像信号の圧縮符号化技術の一つとして、動き補償予測符号化方式が知られている。この動き補償予測符号化では、符号化済みの画面を参照画面とし、符号化対象画面の部分領域に対して参照画面の最も相関の高い部分領域を検出することにより、符号化対象画面の部分領域（これを動きベクトル検出対象ブロックという）が参照画面の部分領域（これを参照ブロックという）のうちのどの参照ブロックから動いたものかを表す動きベクトルを求め、動きベクトル検出対象ブロックと動きベクトルにより示される参照ブロックとの差分である予測誤差信号を符号化する。
【０００４】
一般に、動画像信号を得るための画面の走査方法としては、１ラインずつ順々に走査する順次走査（ノンインタレーススキャンニング）と、１ラインずつ間を空けて走査する飛び越し走査（インタレーススキャンニング）がある。１回の飛び越し走査によって得られる１ラインずつ間引かれた画面をフィールドと呼び、１回の順次走査または２回の飛び越し走査によって得られる完全な画面をフレームと呼ぶ。
【０００５】
順次走査によって得られるノンインタレース画像のように、同一フレーム内のフィールド間では動きが存在しない場合には、フレーム構成によって検出した動きベクトル（フレーム動きベクトル）を用いる動き補償予測方法が有効となることが多い。これに対して、飛び越し走査によって得られるインタレース画像においては、通常、同一フレーム内であってもフィールド間に動きが存在するので、フィールド構成によって検出した動きベクトル（フィールド動きベクトル）を用いる動き補償予測方法が有効となる場合が多い。このフィールド動きベクトルを検出するには、一般に膨大な演算量を必要とする。
【０００６】
“A Real-Time Motion Estimation and Compensation LSI with Wide Search Range for MPEG2 Video Encoding” IEEE J.Solid-State Circuits. vol.31,no.11, pp.1733 〜1741,NOV.1996)（文献１）や、A1.5W Single-Chip MPEG2 MP＠ML Encoder with Low-Power Motion Estimation and Clocking(ISSCC’97/SESSION16/VIDEO AND MULTIMEDIA SIGNAL PROCESSING/PAPER FP 16.2)（文献２）には、フィールド動きベクトル検出のために動きベクトルを探索する際の演算量（探索演算量）を削減するために、動きベクトルの検出を１次探索、２次探索に分けて行う技術が開示されている。
【０００７】
この従来のフィールド動きベクトル検出方法では、まず図１４（ａ）（ｂ）に示すように１次探索用参照画面と１次探索用ＭＶ（動きベクトル）検出対象画面の双方について、原サンプル点（原画像信号の画素サンプル点）を水平方向に平均内挿により内挿補間した後、内挿点を水平方向に間引くことにより、水平方向に２画素間隔のサブサンプル点からなる１次探索用参照ブロックと１次探索用ＭＶ検出対象ブロックを生成する。そして、１次探索用参照画面の広い範囲にわたり、水平方向に２画素精度の動きベクトル候補の探索を図１５中に示す１次探索点について行う。
【０００８】
次に、図１５（ａ）（ｂ）に示すようにサブサンプルしない原サンプルからなる２次探索用参照画面を用い、１次探索で得られた動きベクトル候補を２次探索の中心点として、この中心点の近傍の狭い探索範囲について１／２画素精度の動きベクトルの２次探索を行うことで、動きベクトル検出のための探索演算量を削減する。
【０００９】
図１５（ａ）は、フィールド構成のＭＶ検出対象ブロック（第１または第２フィールドのサブサンプル点のみで構成されるＭＶ検出対象ブロック）に対する動きベクトル（フィールド動きベクトル）の２次探索パターンであり、また図１５（ｂ）は、フレーム構成のＭＶ検出対象ブロック（第１、第２両フィールドのサブサンプル点で構成されるＭＶ検出対象ブロック）に対する動きベクトル（フレーム動きベクトル）の２次探索パターンである。このようにすると、１次探索でマッチングするブロックの構成サンプル数および探索点数がそれぞれ１／２になるため、探索演算量は約１／４に削減されることになる。
【００１０】
この従来の動きベクトル検出方法では、図１４に示したように１次探索用参照ブロック（図１４（ａ））と１次探索用動きベクトル検出対象ブロック（図１４（ｂ））のサブサンプル点は、いずれも水平方向の位相が同じとなっている。このため、図１５（ｂ）に示すフレーム動きベクトルの２次探索においても、図１５（ａ）に示すフィールド動きベクトルの２次探索と同様な探索点数（２次探索の中心点を基準として、水平方向に−１．０画素〜＋１．０画素、垂直方向に−０．５画素〜＋０．５画素の計１５点）を必要とする。
【００１１】
また、ＭＰＥＧ２(moving picture expart group phase 2) のように、符号化対象画面の種類（ピクチャタイプ）により参照画面数が１の場合と２の場合の二通り存在する方式においては、参照画面数が１のときは動きベクトルの１次探索演算量に余裕を生じるが、従来ではこの余裕の演算量を動きベクトル探索範囲の拡大に利用するしかなく、探索範囲が狭くて済む動きの小さな通常の画像では符号化効率の向上に有効利用できなかった。
【００１２】
【発明が解決しようとする課題】
上述したように、従来の探索演算量を削減した動きベクトル検出方法では、１次探索におけるフレーム動きベクトル候補の水平方向の検出精度が２画素精度となることから、１／２画素精度の２次探索を行う場合、フレーム動きベクトルについてもフィールド動きベクトルと同数の多くの探索点数を必要とするという問題点と、参照画面が１で１次探索演算量に余裕を生じる場合でも、その探索演算量の余裕分を符号化効率の向上に有効利用できないという問題点があった。
【００１３】
本発明は、上述した従来の問題点を解消するためになされたもので、その主な目的は、１次探索結果として得られるフレーム動きベクトル候補の検出精度を動きの小さな部分では１画素精度とすることにより、１／２画素精度のフレーム動きベクトルの２次探索で必要な探索点数を削減できる動きベクトル検出方法および装置を提供することにある。
【００１４】
また、本発明の他の目的は、１次探索演算量に余裕を生じる場合にその探索演算量の余裕分を符号化効率の向上に有効利用できる動きベクトル検出方法および装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記の課題を解決するため、本発明は１次探索用の参照画面および動きベクトル検出対象画面のいずれか一方について水平方向のサブサンプル点の位相を２つのフィールドで異ならせて動きベクトルの１次探索を行うことを骨子とする。
【００１６】
すなわち、本発明に係る第１の動きベクトル検出方法では、第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する。
【００１７】
また、本発明に係る第２の動きベクトル検出方法では、第１の動きベクトル検出方法とは１次探索用参照画面と１次探索用動きベクトル検出対象画面の関係を逆にし、第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する。
【００１８】
そして、第１および第２の動きベクトル検出方法ともに１次探索において１次探索用参照画面の中から１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを抽出して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を探索し、次いで２次探索において該動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行う。
【００１９】
このようにすると、１次探索において１次探索用動きベクトル検出対象ブロックの第１、第２フィールドに対するそれぞれのフィールド動きベクトルの１次探索範囲は、動きの小さな領域で重複するので、この領域では第１、第２フィールドからなるフレーム構成の動きベクトル検出対象画面に対しては、１画素精度で１次探索が行われることになる。
【００２０】
すなわち、２次探索においてフレーム構成の検出対象ブロックに対する最適な動きベクトル候補は、動きが小さく解像度の高い画像では１次探索用動きベクトル検出対象ブロックの第１、第２フィールドに対する動きベクトル探索範囲の重複する領域（探索する動きベクトル候補点を互いに補完する領域）から検出されるため、１画素精度の動きベクトルとなる。
【００２１】
従って、フレーム構成の動きベクトル検出対象ブロックに対する動きベクトルの２次探索においては、この１次探索結果により得られた動きベクトル候補の近傍の狭い範囲内の少ない探索点（水平・垂直方向共に−０．５〜＋０．５画素までの９点）を探索することで十分となる。
【００２２】
また、本発明は１次探索において探索演算量に余裕を生じる符号化画面（動きベクトル検出対象画面）に対しては、すなわち１画面にわたり後方予測の動きベクトル検出が不要な場合は、第１および第２フィールドで構成される動きベクトル検出対象画面を水平方向に異なる位相でサブサンプルすることにより生成した２種類の１次探索用動きベクトル検出対象画面を用いて、フィールド動きベクトルの動きベクトル候補を検出することを特徴とする。
【００２３】
このようにすると、一つの１次探索用動きベクトル検出対象ブロックに対して２種類の１次探索用動きベクトル検出対象ブロックにより探索する動きベクトル候補点が互いに補完されるので、動きベクトル検出対象ブロックの各フィールドに対して検出される動きベクトル候補が１画素精度となり、動きの小さな画像でも所有する探索演算量を符号化効率の向上に有効利用できる。さらに、１次探索用のサブサンプルされた参照画面の画素数が従来と同様で良いことから、参照画面のための記憶容量の増加も不要となる。
【００２４】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の第１の実施形態に係る動きベクトル検出方法を１次探索、２次探索の順に説明する。
【００２５】
［１次探索］
まず、本実施形態に係る動きベクトル検出方法における動きベクトル（フィールド動きベクトル）の１次探索について説明する。
１次探索においては、まず第１フィールド（例えば奇フィールド）と第２フィールド（例えば偶フィールド）で構成される１次探索用参照画面と１次探索用ＭＶ（動きベクトル）検出対象画面を生成する。図１（ａ）および（ｂ）は、本実施形態における１次探索用参照画面および１次探索用ＭＶ検出対象画面の同一画面位置の部分領域（以下、１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロックという）上の原サンプル点とサブサンプル点を示す図である。
【００２６】
１次探索用参照画面のサブサンプル点は、図１（ａ）に示されるように一つの参照画面を構成する第１フィールドと第２フィールドの原サンプル点の間を水平方向に内挿補間した後、内挿点を第１フィールドと第２フィールドとで水平方向に同一位相で一つおきに間引くことによって得られる。これに対し、１次探索用ＭＶ検出対象画面のサブサンプル点は、図１（ｂ）に示されるように一つの１次探索用ＭＶ検出対象画面を構成する第１フィールドと第２フィールドの原サンプル点の間を第１フィールドと第２フィールドとで水平方向に異なる位相で一つおきに間引くことによって得られることが本実施形態の特徴である。
【００２７】
そして、１次探索用参照画面の中から１次探索用ＭＶ検出対象ブロックに類似する１次探索用参照ブロックを抽出して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を探索する（１次探索）。以下、この１次探索動作を図２により説明する。
【００２８】
図２は、図１（ｂ）に示した１次探索用ＭＶ検出対象ブロックの第１、第２フィールドの左上のサブサンプル点Ｃａ１，Ｃｂ１に対する１次探索用参照画面上の１次探索範囲の設定例である。
【００２９】
動きベクトルの１次探索に際しては、まず図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドの４つのサブサンプル点について、図１（ｂ）の第１フィールド上のＣａ１が図２の点Ａｃを探索中心とする探索範囲Ａ内の第１、第２フィールドの各サブサンプル点のいずれかに位置する場合毎にマッチング誤差、つまり図１（ｂ）の第１フィールドの４つのサブサンプル点の画素値とそれらに最も近い図２の探索範囲Ａ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合、図２の探索範囲Ａ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００３０】
そして、これら２８点のマッチング誤差の中でマッチング誤差が最小となる図２上のＣａ１に対応する位置Ａｓを検出し、この位置ＡｓとＣａ１の相対位置を図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドについてのフィールド動きベクトル候補とする。
【００３１】
次に、図１（ｂ）の第２フィールド上のＣｂ１に対する探索範囲を第１フィールド上のＣａ１に対するＣｂ１の位置の差を考慮して、図２に示すように点Ｂｃを探索中心とするＢのように設定する。すなわち、探索中心Ｂｃは図２上のＣａ１に対応する位置Ａｓに対して、図１（ｂ）におけるＣａ１に対するＣｂ１の相対位置と同じ相対位置に設定する。
【００３２】
次に、図１（ｂ）の第２フィールドの４つのサブサンプル点で構成される第２フィールドの１次探索用ＭＶ検出対象ブロックについて、図１（ｂ）の第２フィールド上のＣｂ１が図２の探索範囲Ｂ内の第１、第２フィールドの各サブサンプル点に位置する場合毎にマッチング誤差、つまり図１（ｂ）の第２フィールドの４つのサブサンプル点の画素値と、それらに最も近い図２の探索範囲Ｂ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合においても、図２の探索範囲Ｂ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００３３】
そして、これらの２８点のマッチング誤差の中でマッチング誤差が最小となる図２上のＣｂ１に対応する位置Ｂｓ（図示せず）を検出し、この位置ＢｓとＣｂ１の相対位置を図１（ｂ）の１次探索用ＭＶ検出対象ブロックの第２フィールドについてのフィールド動きベクトル候補とする。
【００３４】
以上のようにして動きベクトルの１次探索、すなわち第１および第２フィールドについてのフィールド動きベクトルの動きベクトル候補の探索が行われる。
［２次探索］
次に、本実施形態に係る動きベクトル検出方法における動きベクトルの２次探索について説明する。
図３（ａ１）（ａ２）および（ｂ）は、本実施形態における２次探索用参照画面および２次探索用ＭＶ検出対象画面の同一画面位置の部分領域（２次探索用参照ブロックおよび２次探索用ＭＶ検出対象ブロック）の原サンプル点を示す図である。図３（ａ１）は、フィールド動きベクトルの２次探索用参照画面の参照ブロックであり、第１フィールド（または第２フィールド）のみで構成される参照画面の原サンプル点の間を内挿補間することによって、水平方向および垂直方向に１画素間隔のサンプルを配置して構成される。図３（ａ２）は、フレーム動きベクトルの２次探索用参照画面の参照ブロックであり、第１、第２フィールドで構成される一つの参照画面の原サンプル点の間を内挿補間することによって、水平方向および垂直方向に１／２画素間隔のサンプルを配置して構成される。
【００３５】
＜フィールド動きベクトルの２次探索＞
まず、図３（ｂ）の第１、第２フィールドの各々の原サンプル点からなるフィールド構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フィールド動きベクトル）の２次探索においては、図３（ａ１）に示したフィールド動きベクトルの２次探索用参照画面を用い、図１（ｂ）の第１、第２フィールド上の１次探索対象点Ｃａ１，Ｃｂ１に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として、前述した従来の動きベクトル検出方法と同様に、図１５（ａ）に示すように２次探索点を設定し、これらの２次探索点から第１、第２フィールドでそれぞれ構成されるフィールド構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置を第１、第２フィールドのフィールド動きベクトルとして検出する。
【００３６】
＜フレーム動きベクトルの２次探索＞
一方、図３（ｂ）の第１、第２両フィールドの全ての原サンプル点からなるフレーム構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フレーム動きベクトル）の２次探索においては、図３（ａ２）に示した２次探索用参照画面を用いて、図１（ｂ）のＣａ１に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓの一方または両方を図３（ｂ）のＣａ３，Ｃｂ３の一方または両方に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として設定した２次探索点から、フレーム構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置をフレーム動きベクトルとして検出する。
【００３７】
次に、本実施形態による効果について述べる。
図４は、図１（ｂ）の第１、第２フィールド上の探索対象点Ｃａ１，Ｃｂ１に対する１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算した１次探索点と１次探索範囲を示している。同図に示されるように、第１フィールドについてのフィールド動きベクトルの１次探索範囲と、第２フィールドについてのフィールド動きベクトルの１次探索範囲は、Ｃａ２，Ｃｂ２に対する１次探索の探索中心点の近傍の領域（動きの小さな領域）Ｅで重複する。従って、重複した領域Ｅでは第１、第２フィールドからなるフレーム構成のＭＶ検出対象画面については１画素精度で１次探索が行われ、これらの探索中心点から離れた領域（動きの大きな領域）Ｄ，Ｆでは、水平・垂直方向ともに２画素精度で１次探索が行われることになる。
【００３８】
従来の動きベクトル検出方法では、動きの大きさに関係なく常に２画素精度で１次探索が行われていたが、本実施形態では上述のように動きの小さな領域については１画素精度の１次探索が行われる。すなわち、本実施形態によると１次探索において、小さな動きに対して従来よりも高精度に動きベクトル候補を検出することができる。
【００３９】
また、図３（ｂ）の１６個の原サンプルからなる２次探索用ＭＶ検出対象ブロックに対するフレーム動きベクトルの２次探索では、高精度な探索が有効な動きの小さな場合に対応させ、図５（ａ）に示すように狭い範囲（水平・垂直方向とも２次探索の中心点から±０．５画素の９点）に設定した２次探索点から、２次探索用ＭＶ検出対象ブロックとの誤差が最小になる位置を検出することで十分である。
【００４０】
このようにすると、動きの大きな場合においても図５（ｂ）に示すように狭い範囲に設定した２次探索点からの探索で左右に３点ずつ探索点が不足する程度であり、視覚的にも符号化効率の点でも探索精度があまり影響しないことから問題を生じない。
【００４１】
このように本実施形態によると、従来の動きベクトル検出方法よりも２次探索での探索演算量を減少させることができる。
（第２の実施形態）
本発明の第２の実施形態に係る動きベクトル検出方法を１次探索、２次探索の順に説明する。
【００４２】
［１次探索］
本実施形態に係る動きベクトル検出方法における動きベクトルの１次探索について説明する。
【００４３】
図６（ａ）および（ｂ）は、本実施形態における１次探索用参照画面および１次探索用ＭＶ検出対象画面の同一画面位置の部分領域である１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロック上の原サンプル点とサブサンプル点を示す図である。同図に示されるように、本実施形態では１次探索用参照画面のサブサンプル点と１次探索用ＭＶ検出対象画面のサブサンプル点の関係が逆になっている。
【００４４】
すなわち、本実施形態においては、１次探索用参照画面のサブサンプル点は図６（ａ）に示されるように、一つの１次探索用参照画面を構成する第１、第２フィールドの原サンプル点の間を水平方向に内挿補間した後、水平方向に異なる位相で一つおきに水平方向に間引くことによって得られる。一方、１次探索用ＭＶ検出対象画面のサブサンプル点は図６（ｂ）に示されるように、一つのＭＶ検出対象画面を構成する第１フィールドおよび第２フィールドの原サンプル点の間を水平方向に内挿補間した後、内挿点を水平方向に同一位相で一つおきに間引くことによって得られる。
【００４５】
図７に、図１（ｂ）に示した１次探索用ＭＶ検出対象ブロックの第１、第２フィールドの左上のサブサンプル点Ｃａ２，Ｃｂ２（１次探索対象点）に対する動きベクトルの１次探索範囲の設定例を示す。
【００４６】
動きベクトルの１次探索に際しては、まず図６（ｂ）の第１フィールドの４つのサブサンプル点で構成される第１フィールドの１次探索用ＭＶ検出対象ブロックについて、図６（ｂ）の第１フィールド上の１次探索対象点Ｃａ２が図７の点Ａｃを探索中心とする探索範囲Ａ内の第１、第２フィールドの各サブサンプル点のいずれかに位置する場合毎にマッチング誤差、つまり図６（ｂ）の第１フィールドの４つのサブサンプル点の画素値とそれらに最も近い図２の探索範囲Ａ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合、図２の探索範囲Ａ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００４７】
そして、これら２８点のマッチング誤差の中でマッチング誤差が最小となる図７上のＣａ２に対応する位置Ａｓを検出し、この位置ＡｓとＣａ２の相対位置を図６（ｂ）の１次探索用ＭＶ検出対象ブロックの第１フィールドについてのフィールド動きベクトル候補とする。
【００４８】
次に、図６（ｂ）の第２フィールド上のＣｂ２に対する探索範囲を第１フィールド上のＣａ２に対するＣｂ２の位置の差を考慮して、図７に示すように点Ｂｃを探索中心とするＢのように設定する。すなわち、探索中心Ｂｃは図７上のＣａ２に対応する位置Ａｓに対して、図６（ｂ）におけるＣａ２に対するＣｂ２の相対位置と同じ相対位置に設定する。
【００４９】
次に、図６（ｂ）の第２フィールドの４つのサブサンプル点で構成される第２フィールドの１次探索用ＭＶ検出対象ブロックについて、図６（ｂ）の第２フィールド上のＣｂ２が図７の探索範囲Ｂ内の第１、第２フィールドの各サブサンプル点に位置する場合毎にマッチング誤差、つまり図６（ｂ）の第２フィールドの４つのサブサンプル点の画素値と、それらに最も近い図７の探索範囲Ｂ内のサブサンプル点の画素値との差分の絶対値和を算出する。この場合においても、図２の探索範囲Ｂ内のサブサンプル点は２８個であるので、合計２８点のマッチング誤差が得られる。
【００５０】
そして、これらの２８点のマッチング誤差の中でマッチング誤差が最小となる図７上のＣｂ２に対応する位置Ｂｓ（図示せず）を検出し、この位置ＢｓとＣｂ２の相対位置を図６（ｂ）の１次探索用ＭＶ検出対象ブロックの第２フィールドについてのフィールド動きベクトル候補とする。
【００５１】
以上のようにして動きベクトルの１次探索、すなわち第１および第２フィールドについてのフィールド動きベクトルの動きベクトル候補の探索が行われる。
［２次探索］
次に、本実施形態に係る動きベクトル検出方法における動きベクトルの２次探索について図３を用いて説明する。
＜フィールド動きベクトルの２次探索＞
まず、図３（ｂ）の第１、第２フィールドの各々の原サンプル点からなるフィールド構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フィールド動きベクトル）の２次探索においては、図３（ａ１）に示したフィールド動きベクトルの２次探索用参照画面を用い、図６（ｂ）の第１、第２フィールド上の１次探索対象点Ｃａ２，Ｃｂ２に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として、前述した従来の動きベクトル検出方法と同様に、図１５（ａ）に示すように２次探索点を設定し、これらの２次探索点から第１、第２フィールドでそれぞれ構成されるフィールド構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置を第１、第２フィールドのフィールド動きベクトルとして検出する。
【００５２】
＜フレーム動きベクトルの２次探索＞
一方、図３（ｂ）の第１、第２両フィールドの全ての原サンプル点からなるフレーム構成の２次探索用ＭＶ検出対象ブロックに対する動きベクトル（フレーム動きベクトル）の２次探索においては、図３（ａ２）に示した２次探索用参照画面を用いて、図６（ｂ）のＣａ２に対して１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓの一方または両方を図３（ｂ）のＣａ３，Ｃｂ３の一方または両方に対するフレーム動きベクトル候補に換算して指定される位置を２次探索の中心点として設定した２次探索点から、フレーム構成の２次探索用ＭＶ検出対象ブロックとのマッチング誤差が最小となる位置をフレーム動きベクトルとして検出する。
する。
【００５３】
本実施形態によっても、以下のように第１の実施形態と同様の効果を得ることができる。
図８は、図６（ｂ）の第１、第２フィールド上の探索対象点Ｃａ２，Ｃｂ２に対する１次探索で得られたフィールド動きベクトル候補Ａｓ，Ｂｓを図３（ｂ）のＣａ３，Ｃｂ３に対するフレーム動きベクトル候補に換算した１次探索点と１次探索範囲を示している。同図に示されるように、第１フィールドについてのフィールド動きベクトルの１次探索範囲と、第２フィールドについてのフィールド動きベクトルの１次探索範囲は、Ｃａ２，Ｃｂ２に対する１次探索の探索中心点の近傍の領域（動きの小さな領域）Ｅで重複している。従って、この領域Ｅでは１画素精度の１次探索が行われ、これらの探索中心点から離れた領域（動きの大きな領域）Ｄ，Ｆでは、水平・垂直方向ともに２画素精度の１次探索が行われることになる。
【００５４】
従来の動きベクトル検出方法では、動きの大きさに関係なく常に２画素精度で１次探索が行われていたが、本実施形態では上述のように動きの小さな領域については２画素精度の１次探索が行われる。すなわち、本実施形態によると１次探索において小さな動きに対して、従来よりも高精度に動きベクトル候補を検出することができる。
【００５５】
また、図６（ｂ）の１６個の原サンプルからなる２次探索用ＭＶ検出対象ブロックに対するフレーム動きベクトルの２次探索では、高精度な探索が有効な動きの小さな場合に対応させ、図９（ａ）に示すように狭い範囲（水平・垂直方向とも２次探索の中心点から±０．５画素の９点）に設定した２次探索点から、２次探索用ＭＶ検出対象ブロックとの誤差が最小になる位置を検出することで十分である。
【００５６】
このようにすると、動きの大きな場合においても図９（ｂ）に示すように狭い範囲に設定した２次探索点からの探索で左右に１点ずつ探索点が不足する程度であり、視覚的にも符号化効率の点でも探索精度があまり影響しないことから、第１の実施形態よりもさら問題を生じない。
【００５７】
このように本実施形態によると、従来の動きベクトル検出方法よりも２次探索の演算量を減少させることができ、さらに動きの大きな場合もより高精度で動きベクトルを検出することが可能となる。
【００５８】
（第３の実施形態）
図１０（ａ）（ｂ）は、本発明の第３の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用ＭＶ検出対象ブロック上の原サンプル点とサブサンプル点を示す図である。
【００５９】
本実施形態においては、１次探索用参照画面のサブサンプル点は図１０（ａ）に示されるように、一つの１次探索用参照画面を構成する第１、第２フィールドの原サンプル点を異なる位相で水平方向に一つおきに間引くことによって得られる。一方、１次探索用ＭＶ検出対象画面のサブサンプル点は図１０（ｂ）に示されるように、一つのＭＶ検出対象画面を構成する第１、第２フィールドの原サンプル点を水平方向に内挿補間した後、水平方向に同一位相で一つおきに間引くことによって得られる。
【００６０】
すなわち、第２の実施形態では図６（ａ）に示したように、１次探索用参照画面のサブサンプル点が第１、第２フィールドの原サンプル点を水平方向に内挿補間した後、水平方向に異なる位相で間引いたものであるのに対し、本実施形態は図１０（ａ）に示されるように、第１、第２フィールドの原サンプル点間の内挿補間を行わず、原サンプル点そのものを異なる位相で水平方向に一つおきに間引いたものを１次探索用参照画面のサブサンプル点とした点が第２の実施形態と異なるだけである。
【００６１】
従って、本実施形態においても第２の実施形態と同様の方法で動きベクトル検出を行うことにより、第２の実施形態と同様な効果を得ることができる。
（第４の実施形態）
次に、図１１を用いて本発明の第４の実施形態に係る動きベクトル検出方法について説明する。本実施形態においては、図１１（ａ）（ｂ）に示すように原サンプル点とサブサンプル点を配置した２種類の１次探索用ＭＶ検出対象画面を用いる。図１１（ａ）（ｂ）では、一つのＭＶ検出対象画面を構成する第１、第２フィールドの原サンプル点を水平方向に同一位相で間引いてサブサンプル点を得ている点は共通であるが、サブサンプル点の位相を水平方向に１画素分互いにずらせている。このように、一つのＭＶ検出対象画面を異なる位相で水平方向にサブサンプルした２種類の１次探索用ＭＶ検出対象画面を用いる。
【００６２】
本実施形態では、動きベクトルの１次探索において、探索演算量に余裕の少ないＭＶ検出対象画面（符号化対象画面）、つまり参照画面数が複数のＭＶ検出対象画面に対しては、第１〜第３の実施形態のいずれかで説明した動きベクトル検出方法により動きベクトル候補を検出する。
【００６３】
一方、探索演算量に大きな余裕を生じるような、つまり参照画面数が１のＭＶ検出対象画面に対しては、１次探索用ＭＶ検出対象画面を図１１（ａ）（ｂ）に示すように２種類の位相で水平方向にサブサンプルし、図１（ａ）、図６（ａ）および図１０（ａ）のいずれかに示した１次探索用参照画面から２種類の１次探索用ＭＶ検出対象ブロックの第１、第２各フィールドに対するフィールド動きベクトル候補をそれぞれ検出し、それらの動きベクトル候補からＭＶ検出対象ブロックの第１、第２フィールドに対するそれぞれのフィールド動きベクトル候補を決定する。
【００６４】
この場合、図１１（ａ）（ｂ）のサブサンプル点の位相が１画素分異なっているため、上記のように第１、第２フィールドに対するフィールド動きベクトルを決定することによって、１次探索用参照画面の画像を記憶しておく画素数は従来と同じでありながら、１次探索で水平方向に１画素精度のフィールド動きベクトル候補を検出でき、動きベクトル検出誤りが従来よりも低減する。特に、参照画面として図１（ａ）または図６（ａ）のように水平方向に内挿補間した後、内挿点を水平方向に間引いて生成した参照画面を用いる場合に、動きベクトル検出誤りが低減する。
【００６５】
（第５の実施形態）
次に、図１２を用いて本発明に係る動きベクトル検出方法を動画像符号化装置に適用した実施形態を説明する。なお、ここでは第４の実施形態の動きベクトル検出方法を用いた例について説明するが、第１〜第３の実施形態の動きベクトル検出方法を適用することもできる。
【００６６】
図１２において、入力端子１０１には符号化対象の動画像信号が図１３に示すように符号化対象ブロックは水平方向に並び、符号化対象ブロック内画素は垂直方向に並ぶように順次入力される。第１の内挿間引き部１１は、この入力動画像信号が参照画面（前方予測の動き補償で符号化される画面＝Ｐピクチャ）となる場合には、入力動画像信号の輝度信号を図６（ａ）に示したように水平方向に内挿補間した後、水平方向に異なる位相で１サンプルおきに間引くことにより、第１、第２のフィールドを異なる位相でサブサンプルして１次探索用参照画面を生成する。この１次探索用参照画面の画像信号は、内部画像メモリ１３に記憶される。
【００６７】
また、第１の内挿間引き部１１は、入力動画像信号が参照画面とならない画像（両方向予測の動き補償で符号化される画像＝Ｂピクチャ）の場合には、図６ （ｂ）に示したように水平方向に内挿補間した後、水平方向に同一位相で１サンプルおきに間引くことにより、第１、第２フィールドを同一位相でサブサンプルして１次探索用ＭＶ検出対象画面を生成する。この１次探索用ＭＶ検出対象画面の画像信号は、内部画像メモリ１３に記憶されることなく、１次探索用の前方予測のＭＶ検出対象ブロックの画像信号として切換器１４に供給される。
【００６８】
さらに、入力動画像信号が参照画面とならない画像（両方向予測の動き補償で符号化される画像＝Ｂピクチャ）の場合には、内部画像メモリ１３に記憶された参照画面よりも以前に入力端子１０１から入力され、かつバッファメモリ１５を介して外部メモリ１６に記憶された後方予測のＭＶ検出対象ブロックの画像信号がアドレス発生部１８により読み出され、バッファメモリ１９を介して第２の内挿間引き部１２に供給される。
【００６９】
第２の内挿間引き部１２は、バッファメモリ１９を介して入力される後方予測のＭＶ検出対象ブロックの画像信号を図６（ｂ）に示したように水平方向に内挿補間した後、水平方向に第１、第２のフィールドを同一位相でサブサンプルして１次探索用ＭＶ検出対象ブロックを生成する。この１次探索用ＭＶ検出対象ブロックの画像信号は、１次探索用の後方予測のＭＶ検出対象ブロックの画像信号として切換器１４に供給される。
【００７０】
切換器１４は、入力端子１０１からの入力動画像信号が参照画面となる画像の場合は、入力動画像信号を図１１（ａ）（ｂ）に示したように２種類に分けた１次探索用ＭＶ検出対象ブロックの画像信号を動きベクトル候補検出部１７に供給し、入力動画像信号が参照画面とならない画像の場合は、第１、第２の内挿間引き部１１，１２から供給される１次探索用ＭＶ検出対象ブロックの画像信号を動きベクトル候補検出部１７に供給する。
【００７１】
また、アドレス生成部１８は１画面前の同一画面位置に対して検出された動きベクトル候補を外部メモリ１６から読み出してバッファメモリ１９を介して取り込み、その動きベクトル候補に基づいて内部画像メモリ１３に記憶された参照画面から参照領域を読み出して、動きベクトル候補検出部１７に供給する。
【００７２】
動きベクトル候補検出部１７は、内部画像メモリ１３から供給される１次探索用参照ブロックの画像信号から、それぞれの１次探索用ＭＶ検出対象ブロックの一方のフィールドに対する動きベクトル候補を検出する。さらに、動きベクトル候補検出部１７は、一方のフィールド動きベクトル候補の検出結果をアドレス発生部１８に供給する。これに基づいて、アドレス発生部１８は図７に示したようにこの一方のフィールド動きベクトル候補の検出結果に基づいて、動きベクトル検出対象ブロックの他方のフィールドに対する参照ブロックの画像信号を内部画像メモリ１３から読み出し、動きベクトル候補検出部１７に供給する。
【００７３】
アドレス発生部１８は、このようにして１次探索部（動きベクトル候補検出部）１７で検出されたそれぞれのＭＶ検出対象ブロックの第１、第２各フィールドに対するフィールド動きベクトルの動きベクトル候補をフレーム動きベクトル候補として適切なフィールド動きベクトル候補を示す情報と共に、バッファメモリ１５を介して外部メモリ１６に１次記憶する。
【００７４】
さらに、アドレス発生部１８は１次探索部１７で検出された符号化対象ブロックに対するフィールド動きベクトルの動きベクトル候補を外部メモリ１６から読み出してバッファメモリ１９を介して取り込み、各動きベクトル候補に基づいて図１６（ａ）や図９に示すような探索範囲に対応する参照ブロックの画像信号と符号化対象ブロックの画像信号を外部メモリ１６から読み出し、バッファメモリ１９を介して２次探索部（動き補償器）２０に供給する。
【００７５】
２次探索部（動き補償器）２０は、バッファメモリ１９を介して供給される符号化対象ブロックの画像信号に対して、同じくバッファメモリ１９を介して供給される参照ブロックの画像信号から最適動きベクトルの基準動きベクトルとの差分（差分動きベクトル）と動き補償モードを検出し、アドレス発生部１８に供給する。さらに、２次探索部（動き補償器）２０は検出された動き補償モードに対応する予測信号を生成して局部再生部２５に供給し、さらにその予測信号と符号化対象ブロックの各画素信号との差分（予測誤差データ）を生成し、離散コサイン変換器２１に出力する。
【００７６】
アドレス発生部１８は、２次探索部２０から供給される差分動きベクトルから最終的な最適動きベクトルを算出し、動き補償モード信号と共に可変長符号化器２６に供給する。離散コサイン変換器２１は、２次探索部２０から供給される予測誤差データに対し２次元の離散コサイン変換処理を施してＤＣＴ係数データを生成し、量子化器２２に供給する。量子化器２２は、離散コサイン変換器２１から供給されるＤＣＴ係数データに対して、各周波数成分に応じた量子化幅で除算処理して量子化処理を行い、逆量子化器２３および可変長符号化器２６に供給する。
【００７７】
可変長符号化器２６は、アドレス発生部１８から供給される動き補償モードの情報や動きベクトルの情報と量子化器２２から供給されるＤＣＴ係数データを可変長符号化して多重し、出力端子１０２から出力する。逆量子化器２３は、量子化器２２から供給されるＤＣＴ係数データに各周波数成分に応じた量子化幅を乗じて、元のダイナミックレンジのＤＣＴ係数に戻し、元のダイナミックレンジに戻されたＤＣＴ係数データを逆離散コサイン変換器２４に供給する。逆離散コサイン変換器２４は、逆量子化器２３から供給されるＤＣＴ係数データに対して逆離散コサイン変換処理を施し、局部再生予測誤差データを生成する。
【００７８】
局部再生部２５は、符号化されている画面が後で符号化される画面の動き補償の参照画面となる場合に、逆離散コサイン変換器２４から供給される局部再生予測誤差データと２次探索部２０から供給される予測画素データとを加算して、局部再生画像信号を生成し、バッファメモリ１５を介して外部メモリ１６に一時記憶する。このとき、外部メモリ１６上では参照されなくなった過去の参照画面の画像信号が記憶されていたアドレスに上書きされる。ここでは、１次探索用参照画面の画像信号を動画像符号化用ＬＳＩ３０の内部メモリ１３に記憶しているため、動画像符号化用ＬＳＩ３０の外部メモリ１６のデータアクセス速度を大幅に低減することができる。
【００７９】
【発明の効果】
以上説明したように、本発明によれば１次探索における参照画面または動きベクトル検出対象画面のいずれか一方について水平方向のサブサンプル点の位相を２つのフィールドで異ならせることで、１次探索における動きベクトル検出対象ブロックの第１および第２フィールドに対する動きベクトルの探索範囲を小さな動きに相当する探索部分で重複させ、動きベクトル検出対象ブロックの第１および第２フィールドに対して検出される動きベクトル候補の中からフレーム動きベクトル候補を選択することで、１次探索でフレーム構成の動きベクトル検出対象ブロックに対する最適な動きベクトル候補は、動きが小さく解像度の高い画像では１画素精度となり、１次探索での誤検出が低減する。
【００８０】
また、このようにすると２次探索で必要な探索点数が減少し、２次探索の動きベクトル検出演算量が低減する。
さらに、本発明では１次探索において探索演算量に余裕を生じる符号化対象画面、つまり１画面の符号化期間にわたり後方予測の動きベクトル検出が不要な符号化対象画面に対しては、動きベクトル検出対象画面を２種類の位相で水平方向にサブサンプルして、一つの動きベクトル検出対象ブロックに対して生成した２種類の１次探索用動きベクトル検出対象ブロックに対してほぼ同一の探索範囲から動きベクトル候補を検出し、この２種類の１次探索用動きベクトル検出対象ブロックに対する動きベクトル候補から、一つの動きベクトル検出対象ブロックの各フィールドに対する最適な動きベクトル候補を選択することにより、動きベクトル検出対象ブロックの各フィールドに対して検出される動きベクトル候補が１画素精度となり、動きの小さな画像でも所有する探索演算量を符号化効率の向上に有効利用できる。
しかも、１次探索用のサブサンプルされた参照画面の画素数が従来と同様であることから、参照画面の記憶容量の増加も不要となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図２】同実施形態における動きベクトルの１次探索範囲の設定例を示す図
【図３】同実施形態における２次探索用参照ブロックおよび２次探索用動きベクトル検出対象ブロック上の原サンプル点を示す図
【図４】同実施形態におけるフレーム動きベクトルに換算した１次探索点と１次探索範囲を示す図
【図５】同実施形態における２次探索でのフレーム動きベクトルの探索点の設定例を示す図
【図６】本発明の第２の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図７】同実施形態における動きベクトルの１次探索範囲の設定例を示す図
【図８】同実施形態におけるフレーム動きベクトルに換算した１次探索点と１次探索範囲を示す図
【図９】同実施形態における２次探索でのフレーム動きベクトルの探索点の設定例を示す図
【図１０】本発明の第３の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１１】本発明の第４の実施形態に係る動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１２】本発明の実施形態に係る動きベクトル検出方法を適用した動画像符号化装置の構成例を示すブロック図
【図１３】図１２の動画像符号化装置に入力される画像の画素入力形式の例を示す図
【図１４】従来の動きベクトル検出方法における１次探索用参照ブロックおよび１次探索用動きベクトル検出対象ブロック上の原サンプル点とサブサンプル点を示す図
【図１５】従来の動きベクトル検出方法における２次探索でのフィールド動きベクトルおよびフレーム動きベクトルの探索点の設定例を示す図
【符号の説明】
１１…参照画面および前方予測ＭＶ検出対象ブロック用の内挿間引き部
１２…後方予測ＭＶ検出対象ブロック用の内挿間引き部
１３…１次探索用参照画面記憶用の内部画像メモリ
１４…１次探索用ＭＶ検出対象ブロック切換器
１７…１次探索部（動きベクトル候補探索部）
２０…２次探索部（１／２画素精度動きベクトル検出および動き補償器）
Claims (6)
- 第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、
第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成し、
前記１次探索用参照画面の中から、前記１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを探索して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を検出し、
この動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行うことを特徴とする動きベクトル検出方法。 - 第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成し、
第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成し、
前記１次探索用参照画面の中から、前記１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを探索して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を検出し、
この動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行うことを特徴とする動きベクトル検出方法。 - １画面の符号化期間にわたり後方予測の動きベクトル検出が不要の場合は、第１および第２フィールドで構成される動きベクトル検出対象画面を水平方向に異なる位相でサブサンプルすることにより生成した２種類の１次探索用動きベクトル検出対象画面を用いて、前記フィールド動きベクトルの動きベクトル候補を検出することを特徴とする請求項１または２記載の動きベクトル検出方法。
- 第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成する手段と、
第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する手段と、
前記１次探索用参照画面の中から、前記１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを探索して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を検出する１次探索手段と、
この１次探索手段により探索された動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行う２次探索手段
とを有することを特徴とする動きベクトル検出装置。 - 第１および第２フィールドで構成される参照画面を第１フィールドと第２フィールドとで異なる位相で水平方向にサブサンプルすることにより１次探索用参照画面を生成する手段と、
第１および第２フィールドで構成される動きベクトル検出対象画面を第１フィールドと第２フィールドとで同一位相で水平方向にサブサンプルすることにより１次探索用動きベクトル検出対象画面を生成する手段と、
前記１次探索用参照画面の中から、前記１次探索用動きベクトル検出対象画面の部分領域である１次探索用動きベクトル検出対象ブロックに類似する部分領域である１次探索用参照ブロックを探索して、該１次探索用動きベクトル検出対象ブロックの第１および第２フィールドの各々に対する該１次探索用参照ブロックの相対位置を示すフィールド動きベクトルの動きベクトル候補を検出する１次探索手段と、
この１次探索手段により探索された動きベクトル候補を探索中心として２次探索を行うことにより最終的なフィールド動きベクトルおよびフレーム動きベクトルの検出を行う２次探索手段
とを有することを特徴とする動きベクトル検出装置。 - 前記１次探索手段は、１画面の符号化期間にわたり後方予測の動きベクトル検出が不要の場合は、第１および第２フィールドで構成される動きベクトル検出対象画面を水平方向に異なる位相でサブサンプルすることにより生成した２種類の１次探索用動きベクトル検出対象画面を用いて、前記フィールド動きベクトルの動きベクトル候補を検出することを特徴とする請求項４または５記載の動きベクトル検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23105197A JP3813320B2 (ja) | 1997-08-27 | 1997-08-27 | 動きベクトル検出方法および装置 |
| US09/140,542 US6154491A (en) | 1997-08-27 | 1998-08-26 | Motion vector detecting method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23105197A JP3813320B2 (ja) | 1997-08-27 | 1997-08-27 | 動きベクトル検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1175195A JPH1175195A (ja) | 1999-03-16 |
| JP3813320B2 true JP3813320B2 (ja) | 2006-08-23 |
Family
ID=16917525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23105197A Expired - Fee Related JP3813320B2 (ja) | 1997-08-27 | 1997-08-27 | 動きベクトル検出方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6154491A (ja) |
| JP (1) | JP3813320B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100275694B1 (ko) * | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
| KR100374717B1 (ko) * | 1998-03-05 | 2003-03-04 | 주식회사 팬택앤큐리텔 | 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치 |
| IL160386A (en) * | 1999-04-06 | 2005-11-20 | Broadcom Corp | Video encoding and video/audio/data multiplexing device |
| CN1166207C (zh) * | 1999-05-27 | 2004-09-08 | 皇家菲利浦电子有限公司 | 对视频信号进行编码的方法、装置及采用该装置的摄像机 |
| US6351545B1 (en) * | 1999-12-14 | 2002-02-26 | Dynapel Systems, Inc. | Motion picture enhancing system |
| US6560286B1 (en) * | 1999-12-29 | 2003-05-06 | Intel Corporation | Field frame motion design for digital video decoder |
| US6876703B2 (en) * | 2000-05-11 | 2005-04-05 | Ub Video Inc. | Method and apparatus for video coding |
| US7242717B2 (en) * | 2001-06-08 | 2007-07-10 | Sharp Laboratories Of America, Inc. | Wavelet domain motion compensation system |
| US6859494B2 (en) | 2001-07-27 | 2005-02-22 | General Instrument Corporation | Methods and apparatus for sub-pixel motion estimation |
| US20030099294A1 (en) * | 2001-11-27 | 2003-05-29 | Limin Wang | Picture level adaptive frame/field coding for digital video content |
| US20040184711A1 (en) * | 2002-06-20 | 2004-09-23 | Kenneth Bradley | Optical switches and routers and optical filters |
| KR100926440B1 (ko) * | 2002-06-26 | 2009-11-13 | 이문기 | 영상부호화를 위한 블록 매칭 움직임 추정 장치 |
| US7324596B2 (en) * | 2003-07-15 | 2008-01-29 | Lsi Logic Corporation | Low complexity block size decision for variable block size motion estimation |
| KR20050119285A (ko) * | 2004-06-16 | 2005-12-21 | 삼성전자주식회사 | 하이브리드 블록기반 움직임 추정장치 및 그 방법 |
| US8462850B2 (en) * | 2004-07-02 | 2013-06-11 | Qualcomm Incorporated | Motion estimation in video compression systems |
| KR100644629B1 (ko) | 2004-09-18 | 2006-11-10 | 삼성전자주식회사 | 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치 |
| KR100747544B1 (ko) | 2006-03-31 | 2007-08-08 | 엘지전자 주식회사 | 움직임 추정 방법 및 장치 |
| KR101671460B1 (ko) | 2009-09-10 | 2016-11-02 | 에스케이 텔레콤주식회사 | 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| KR101634141B1 (ko) * | 2009-11-18 | 2016-06-28 | 삼성전자주식회사 | 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
| US5398078A (en) * | 1991-10-31 | 1995-03-14 | Kabushiki Kaisha Toshiba | Method of detecting a motion vector in an image coding apparatus |
| EP0631444B1 (en) * | 1992-03-03 | 1998-12-23 | Kabushiki Kaisha Toshiba | Time-varying image encoder |
| JP2636622B2 (ja) * | 1992-03-13 | 1997-07-30 | 松下電器産業株式会社 | ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置 |
| JP3374989B2 (ja) * | 1993-03-26 | 2003-02-10 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置 |
| JP2778412B2 (ja) * | 1993-05-20 | 1998-07-23 | 国際電信電話株式会社 | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 |
| JP2934146B2 (ja) * | 1994-02-07 | 1999-08-16 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動画像圧縮におけるブロック・マッチング方法と装置 |
| US5682209A (en) * | 1995-11-13 | 1997-10-28 | Tektronix, Inc. | Motion estimation using limited-time early exit with prequalification matrices and a predicted search center |
| US5777677A (en) * | 1996-02-09 | 1998-07-07 | International Business Machines Corporation | Approximate MPEG decoder with compressed reference frames |
| US6018368A (en) * | 1997-07-11 | 2000-01-25 | Samsung Electro-Mechanics Co., Ltd. | Scalable encoding apparatus and method with improved function of scaling motion vector |
-
1997
- 1997-08-27 JP JP23105197A patent/JP3813320B2/ja not_active Expired - Fee Related
-
1998
- 1998-08-26 US US09/140,542 patent/US6154491A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1175195A (ja) | 1999-03-16 |
| US6154491A (en) | 2000-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3813320B2 (ja) | 動きベクトル検出方法および装置 | |
| EP1430724B1 (en) | Motion estimation and/or compensation | |
| JP4358990B2 (ja) | 動き推定システムおよび方法 | |
| US7889795B2 (en) | Method and apparatus for motion estimation | |
| US20060062306A1 (en) | Method for motion estimation based on hybrid block matching and apparatus for converting frame rate using the method | |
| JP2003501902A (ja) | ビデオ信号の符号化 | |
| JP3667105B2 (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
| JPWO2006006489A1 (ja) | 動き検出装置 | |
| JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
| JPWO2013191193A1 (ja) | 映像圧縮伝送システム | |
| JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
| JPH06205397A (ja) | 動画像符号化装置 | |
| JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2004186839A (ja) | 動画像符号化方法及び動画像複号化方法 | |
| JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP3778522B2 (ja) | 動きベクトル検出装置 | |
| JP3186685B2 (ja) | 動き補償予測方法 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| Song et al. | Fast motion estimation algorithm using spatial correlation of motion field and hierarchical search | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3585628B2 (ja) | 動きベクトル検出装置 | |
| JP2005354174A (ja) | 動き探索装置 | |
| JP3824359B2 (ja) | 動きベクトル検出方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060531 |
|
| LAPS | Cancellation because of no payment of annual fees |