JP4129788B2 - Image data processing apparatus and method, recording medium, and program - Google Patents

Image data processing apparatus and method, recording medium, and program Download PDF

Info

Publication number
JP4129788B2
JP4129788B2 JP2002295591A JP2002295591A JP4129788B2 JP 4129788 B2 JP4129788 B2 JP 4129788B2 JP 2002295591 A JP2002295591 A JP 2002295591A JP 2002295591 A JP2002295591 A JP 2002295591A JP 4129788 B2 JP4129788 B2 JP 4129788B2
Authority
JP
Japan
Prior art keywords
class code
pixel
tap
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002295591A
Other languages
Japanese (ja)
Other versions
JP2004134911A (en
Inventor
哲二郎 近藤
靖 立平
淳一 石橋
成司 和田
泰広 周藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002295591A priority Critical patent/JP4129788B2/en
Publication of JP2004134911A publication Critical patent/JP2004134911A/en
Application granted granted Critical
Publication of JP4129788B2 publication Critical patent/JP4129788B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ処理装置および方法、記録媒体、並びにプログラムに関し、例えば、連続する画像上の画素同士をマッチングさせ、マッチングの結果に基づいて動きベクトルを検出する場合に用いて好適な画像データ処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、MPEG２(Moving Picture Experts Group)方式等の画像信号を圧縮符号化する処理においては、隣接するフレーム間の相関関係に基づく符号化処理、いわゆる動き補償フレーム間予測が用いられている。動き補償フレーム間予測では、隣接するフレーム間（一方を現フレーム、他方を参照フレームと記述する）における各画素単位または所定サイズの画素ブロック単位の動きベクトルを検出する処理が必要となる。
【０００３】
動きベクトルを検出する方法としては、従来、ブロックマッチングアルゴリズムと称される方法が用いられている（例えば、特許文献１参照）。
【０００４】
図１は、ブロックマッチングアルゴリズムに従って動きベクトルを検出する動きベクトル検出装置の構成例を示している。この動きベクトル検出装置１は、入力される画像信号を１フレーム分だけ保持して後段に出力するフレームメモリ２，３、およびフレームメモリ２，３から入力される２フレームの画像信号に基づき、フレームメモリ２から入力される画像信号の画像内の動きベクトルを検出する検出部４から構成される。
【０００５】
フレームメモリ２は、入力された画像信号を１フレーム分だけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号をフレームメモリ３および検出部４に出力する。フレームメモリ３は、フレームメモリ２から入力された画像信号を１フレーム分だけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号を検出部４に出力する。
【０００６】
したがって、検出部４には、前後する２フレームの画像信号が入力されることになる。以下、フレームメモリ２から検出部４に入力された１フレーム分の画像信号の画像を、対象フレームＦｃと記述する。また、フレームメモリ３から検出部４に入力された、対象フレームＦｃよりも１フレーム前の画像信号の画像を、参照フレームＦｒと記述する。
【０００７】
検出部４は、ブロックマッチングアルゴリズムに従い、対象フレームＦｃ内の動きベクトルを算出する。ブロックマッチングアルゴリズムについて、図２に示す対象フレームＦｃと参照フレームＦｒの対応図および図３に示すフローチャートを参照して説明する。
【０００８】
ブロックマッチングアルゴリズムでは、対象フレームＦｃ内の全ての画素が、順次、注目画素に設定され、注目画素を中心とする所定サイズ（Ｌ×Ｌ画素）の基準ブロックと、参照フレームＦｒのサーチエリアＳＲ内で移動される参照ブロック（基準ブロックと同じサイズ）との対応する画素対の画素値の差分絶対値和が次式（１）に従って演算される。
ΣiΣj＝｜Ｆｃ（ｉ，ｊ）−Ｆｒｎ（ｉ，ｊ）｜ ・・・（１）
【０００９】
ただし、Ｆｃ（ｉ，ｊ）は基準ブロックの画素の画素値であり、Ｆｒｎ（ｉ，ｊ）は識別番号ｎの参照ブロックの画素の画素値であり、Σiは、ｉを１からＬまで１ずつインクリメントしたときの総和演算、Σjは、ｊを１からＬまで１ずつインクリメントしたときの総和演算を意味するものとする。
【００１０】
そして、基準ブロックと参照ブロックとの対応する画素対の画素値の差分絶対値和が最小となるときの参照ブロックの中心座標と注目画素の座標との差分ベクトルが動きベクトルとして算出される。
【００１１】
具体的には、対象フレームＦｃの注目画素に対して、以下の処理が実行される。ステップＳ１において、検出部４は、参照フレームＦｃに、対象フレームＦｃの注目画素の座標（ｘ，ｙ）と同じ座標を中心として、基準ブロックよりも大きなサイズのサーチエリアＳＲを設定する。
【００１２】
ステップＳ２において、検出部４は、差分絶対値和の最小値を格納する変数ｍｉｎを、その最大値に初期化する。例えば、１画素の画素値が８ビット、基準ブロックのサイズが４×４画素である場合、変数ｍｉｎが、４０９６（＝２8×１６）に初期化される。
【００１３】
ステップＳ３において、検出部４は、サーチエリアＳＲ内で移動させる参照ブロックの識別番号ｎを１に初期化する。ステップＳ４において、検出部４は、差分絶対値和の演算結果を格納する変数ｓｕｍを０に初期化する。
【００１４】
ステップＳ５において、検出部４は、対象フレームＦｃの基準ブロックと、参照フレームＦｒに設定したサーチエリアＳＲ内の識別番号ｎの参照ブロックとの同じ場所に位置する画素対の画素の差分絶対値和を演算して、変数ｓｕｍに代入する。ステップＳ６において、検出部４は、ステップＳ５の演算結果である変数ｓｕｍと変数ｍｉｎを比較し、変数ｓｕｍが変数ｍｉｎよりも小さいか否かを判定する。変数ｓｕｍが変数ｍｉｎよりも小さいと判定された場合、処理はステップＳ７に進む。
【００１５】
ステップＳ７において、検出部４は、変数ｍｉｎを、変数ｓｕｍで置換する。また、検出部４は、いまの参照ブロックの識別番号ｎを、動きベクトル番号として記憶する。
【００１６】
ステップＳ８において、検出部４は、参照ブロックの識別番号ｎが最大値であるか否か、すなわち、サーチエリアＳＲの全域に参照ブロックを移動し終えたか否かを判定する。参照ブロックの識別番号ｎが最大値ではないと判定された場合、処理はステップＳ９に進む。ステップＳ９において、検出部４は、参照ブロックの識別番号ｎを１だけインクリメントし、ステップＳ４の処理に戻って、それ以降の処理を繰り返す。
【００１７】
なお、ステップＳ６において、変数ｓｕｍが変数ｍｉｎよりも小さくないと判定された場合、処理はステップＳ７の処理はスキップされる。
【００１８】
その後、ステップＳ８において、参照ブロックの識別番号ｎが最大値ではないと判定された場合、すなわち、サーチエリアＳＲの全域に参照ブロックを移動し終えた場合、処理はステップＳ１０に進む。
【００１９】
ステップＳ１０において、検出部４は、動きベクトル番号として記憶している識別番号ｎに対応する参照ブロックの中心座標と、対象フレームＦｃの注目画素の座標（ｘ，ｙ）との差分ベクトルを、対象フレームＦｃの注目画素の動きベクトルとして算出する。以上で、ブロックマッチングアルゴリズムの説明を終了する。
【００２０】
【特許文献１】
特許第３２７７４１７号公報
【００２１】
【発明が解決しようとする課題】
上述したブロックマッチングアルゴリズムは、ステップＳ５における画素対の画素の差分絶対値和の演算量が非常に膨大となっており、画像圧縮処理の大半の時間がこの演算に費やされてしまうという課題があった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、各画素に対して生成するクラスコードを用いることにより、ブロックマッチングアルゴリズムに比較して少ない演算量で画像間のマッチングを行い、さらに生成するクラスコードのロバスト性を向上させて、動きベクトル等を精度良く検出できるようにするものである。
【００２３】
【課題を解決するための手段】
本発明の画像データ処理装置は、動画像を構成する画像の各画素を注目画素とし、注目画素に対する空間的な特徴量を示すクラスコードを、注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成手段と、全てのクラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素に対するクラスコードの生成結果を記憶するための記憶部であって、各画素の座標を、対応するクラスコードをアドレスとする座標格納部に記憶する記憶部と、動画像を構成する第１の画像の注目画素のクラスコードと、記憶部に記憶されている、第１の画像と前後する第２の画像の各画素に対するクラスコードの生成結果との比較結果に基づき、第１の画像の注目画素の動きベクトルを検出する検出手段とを備え、クラスコード生成手段は、注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定手段と、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算手段と、演算された評価値に基づき、構成する複数の画素の画素値の分散の程度が最大のクラスコード用タップ候補をクラスコード用タップに決定する決定手段と、決定されたクラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、注目画素に対するクラスコード用タップを構成する画素数と同じビット数のクラスコードを生成する生成手段とを含む。
【００２４】
前記演算手段は、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の最小値に、複数の画素の画素値のダイナミックレンジの１／２を加算して閾値を算出し、クラスコード用タップ候補を構成する複数の画素の各画素値と、算出した閾値との差の総和を、評価値として演算するようにすることができる。
【００２６】
本発明の画像データ処理方法は、動画像を構成する画像の各画素を注目画素とし、注目画素に対する空間的な特徴量を示すクラスコードを、注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、全てのクラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応するクラスコードをアドレスとする座標格納部に記憶する記憶部に、画像の各画素に対するクラスコードの生成結果を記憶する記憶ステップと、動画像を構成する第１の画像の注目画素のクラスコードと、記憶部に記憶されている、第１の画像と前後する第２の画像の各画素に対するクラスコードの生成結果との比較結果に基づき、第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、クラスコード生成ステップは、注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、演算された評価値に基づき、構成する複数の画素の画素値の分散の程度が最大のクラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、決定されたクラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、注目画素に対するクラスコード用タップを構成する画素数と同じビット数のクラスコードを生成する生成ステップとを含む。
【００２７】
本発明の記録媒体は、動画像を構成する画像の各画素を注目画素とし、注目画素に対する空間的な特徴量を示すクラスコードを、注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、全てのクラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応するクラスコードをアドレスとする座標格納部に記憶する記憶部に、画像の各画素に対するクラスコードの生成結果を記憶する記憶ステップと、動画像を構成する第１の画像の注目画素のクラスコードと、記憶部に記憶されている、第１の画像と前後する第２の画像の各画素に対するクラスコードの生成結果との比較結果に基づき、第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、クラスコード生成ステップは、注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、演算された評価値に基づき、構成する複数の画素の画素値の分散の程度が最大のクラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、決定されたクラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、注目画素に対するクラスコード用タップを構成する画素数と同じビット数のクラスコードを生成する生成ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００２８】
本発明のプログラムは、動画像を構成する画像の各画素を注目画素とし、注目画素に対する空間的な特徴量を示すクラスコードを、注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、全てのクラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応するクラスコードをアドレスとする座標格納部に記憶する記憶部に、画像の各画素に対するクラスコードの生成結果を記憶する記憶ステップと、動画像を構成する第１の画像の注目画素のクラスコードと、記憶部に記憶されている、第１の画像と前後する第２の画像の各画素に対するクラスコードの生成結果との比較結果に基づき、第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、クラスコード生成ステップは、注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、演算された評価値に基づき、構成する複数の画素の画素値の分散の程度が最大のクラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、決定されたクラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、注目画素に対するクラスコード用タップを構成する画素数と同じビット数のクラスコードを生成する生成ステップとを含む処理をコンピュータに実行させる。
【００２９】
本発明においては、注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補が設定され、設定された各クラスコード用タップ候補に対して、クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値が演算され、演算された評価値に基づき、構成する複数の画素の画素値の分散の程度が最大のクラスコード用タップ候補がクラスコード用タップに決定される。さらに、決定されたクラスコード用タップを構成する複数の画素の各画素値が１ビット符号化されることにより、注目画素に対するクラスコード用タップを構成する画素数と同じビット数のクラスコードが生成される。
【００３０】
【発明の実施の形態】
本発明を適用した動きベクトル検出装置の構成例について、図４を参照して説明する。この動きベクトル検出装置１１は、フレームメモリ１２，１３、クラスコード生成部１４、ＭＥメモリ１５、および動きベクトル演算部１６から構成される。
【００３１】
フレームメモリ１２は、入力された画像信号を１フレーム分だけ保持し、次のフレームの画像信号が入力されたとき、保持していた画像信号をフレームメモリ１３およびクラスコード生成部１４に出力する。フレームメモリ１３は、入力された画像信号を１フレーム分だけ保持し、次のフレームの画像信号がフレームメモリ１２から入力されたとき、保持していた画像信号をクラスコード生成部１４に出力する。
【００３２】
従って、フレームメモリ１３からクラスコード生成部１４に入力される画像信号は、フレームメモリ１２からクラスコード生成部１４に入力される画像信号の１フレーム前のものとなる。以下、フレームメモリ１２からクラスコード生成部１４に入力される１フレーム分の画像信号の画像を、対象フレームＦｃと記述する。また、フレームメモリ１３からクラスコード生成部１４に入力される、対象フレームＦｃの１フレーム前の画像信号の画像を、参照フレームＦｒと記述する。
【００３３】
クラスコード生成部１４は、対象フレームＦｃの各画素に対して空間的な特徴を示すクラスコードを生成して、動きベクトル演算部１６に出力する。具体的には、対象フレームＦｃの全ての画素を、順次、注目画素に設定し、注目画素を中心とする所定サイズのクラスコード用タップを決定して、クラスコード用タップに含まれる複数の画素の画素値を、１ビットADRC（Adaptive Dynamic Range Coding：適応的量子化）により、それぞれ０また１に量子化して、所定のビット数のクラスコードを生成する。なお、クラスコードを生成する処理については、図６以降を参照して詳述する。
【００３４】
また、クラスコード生成部１４は、参照フレームＦｒの各画素に対して空間的な特徴を示すクラスコードを生成して、ＭＥメモリ１５に出力する。ただし、参照フレームＦｒは、１回前のタイミングにおいて対象フレームＦｃであったものであるので、そのクラスコードは既に１回前に生成されている。よって、１回前のタイミングにおいて対象フレームＦｃの各画素に対して生成されたクラスコードを保持するようにして、今回の参照フレームＦｒの各画素に対するクラスコードとして流用するようにしてもよい。
【００３５】
ＭＥメモリ１５は、クラスコード生成部１４から入力される参照フレームＦｒの各画素に対するクラスコードを、クラスコードに各画素の座標を対応付けて記憶する。
【００３６】
図５は、ＭＥメモリ１５の構造を示している。ＭＥメモリ１５は、特徴量アドレス０乃至ａと、フラグアドレス０乃至ｂによって示される（ａ＋１）×（ｂ＋１）個のセルにより構成される。以下、例えば、特徴量アドレス１、フラグアドレス２のセルをセル（１，２）と記述する。
【００３７】
特徴量アドレスは、クラスコード生成部１４によって生成されるクラスコードに対応する。例えば、クラスコードが７ビットである場合、特徴量アドレスの最大値ａ＝２7となり、クラスコードが９ビットである場合、特徴量アドレスの最大値ａ＝２9となる。
【００３８】
特徴量アドレス０のフラグアドレス１以降のセルには、クラスコード生成部１４によってクラスコード０が生成された参照フレームＦｒの画素の座標がラスタ順に格納される。特徴量アドレス０のフラグアドレス０のセルには、クラスコード０の画素の座標が格納されている、特徴量アドレス０のフラグアドレス１以降のセルの数が格納される。例えば、参照フレームＦｒの画素のうち、３画素に対してクラスコード０が生成された場合、セル（０，１）、セル（０，２）、セル（０，３）に、３画素それぞれの座標が格納され、セル（０，０）に、３が格納される。
【００３９】
特徴量アドレス１のフラグアドレス１以降のセルには、クラスコード生成部１４によってクラスコード１が生成された参照フレームＦｒの画素の座標がラスタ順に格納される。特徴量アドレス１のフラグアドレス０のセルには、クラスコード１の画素の座標が格納されている、特徴量アドレス０のフラグアドレス１以降のセルの数が格納される。例えば、参照フレームＦｒの画素のうち、１０画素に対してクラスコード１が生成された場合、セル（１，１）、・・・、セル（１，１０）に、１０画素それぞれの座標が格納され、セル（１，０）には、１０が格納される。特徴量アドレス２以降のセルについても同様である。
【００４０】
図４に戻る。動きベクトル演算部１６は、対象フレームＦｃの各画素について、同じクラスコードを有する参照フレームＦｒの画素の座標を、ＭＥメモリ１５から検索し、検索された画素のうち、注目画素の座標に最も距離が近い座標の画素を、注目画素に対応する画素に決定して、注目画素の動きベクトルを算出する。
【００４１】
なお、ＭＥメモリ１５の構造、および動きベクトル演算部１６の処理の詳細については、本出願人が特願２００２−２２２０４４号として既に提案済である。
【００４２】
次に、クラスコード生成部４による第１のクラスコード生成処理について、図６のフローチャートを参照して説明する。この処理は、対象フレームＦｃの各画素が、順次、注目画素に設定されて、注目画素に対して実行される。
【００４３】
ステップＳ１１において、クラスコード生成部１４は、注目画素を中心とする所定サイズのクラスコード用タップを設定し、クラスコード用タップに含まれる複数の画素の画素値を取得する。以下においては、図７に示すように、クラスコード用タップのサイズを３×３画素とし、左上の画素を先頭に右下の画素までの画素値をそれぞれＰ１乃至Ｐ９として説明を継続する。
【００４４】
ステップＳ１２において、クラスコード生成部１４は、画素値Ｐ１乃至Ｐ９の最大値ＰMAXと最小値ＰMINを判定する。ステップＳ１３において、クラスコード生成部１４は、画素値Ｐ１乃至Ｐ９のダイナミックレンジＤＲ（＝｜最大値ＰMAX−最小値ＰMIN｜）を算出する。ステップＳ１４において、クラスコード生成部１４は、次式（２）のように、画素値Ｐ１乃至Ｐ９の最小値ＰMINに、ダイナミックレンジＤＲ／２を加算して閾値Ｔｈを決定する。
Ｔｈ＝ＰMIN＋ＤＲ／２ ・・・（２）
【００４５】
ステップＳ１５において、クラスコード生成部１４は、画素値Ｐ１乃至Ｐ９のうち、閾値Ｔｈに最も近い所定の個数（例えば、２個）の画素値を除外する。ステップＳ１６において、クラスコード生成部１４は、画素値Ｐ１乃至Ｐ９のうちの残った７画素を、それぞれ閾値Ｔｈと比較し、閾値Ｔｈよりも大きい場合には１に量子化し、閾値Ｔｈよりも小さい場合には０に量子化して、番号順に並べた７ビットを注目画素のクラスコードとして生成する。
【００４６】
例えば、クラスコード用タップに含まれる９画素の画素値Ｐ１乃至Ｐ９が図８に示すような状態である場合、閾値Ｔｈに最も近い画素値Ｐ６と画素値Ｐ８が除外され、７ビットのクラスコード１０１００１１が生成される。
【００４７】
また例えば、クラスコード用タップに含まれる９画素の画素値Ｐ１乃至Ｐ９が図９に示すような状態である場合、閾値Ｔｈに最も近い画素値Ｐ５と画素値Ｐ６が除外され、７ビットのクラスコード１０１０１０１が生成される。
【００４８】
なお、閾値Ｔｈに近い所定の個数の画素値を除外する代わりに、閾値Ｔｈに近い所定の個数の画素値を、それぞれ、０に量子化した場合の９ビットのクラスコードと、１に量子化した場合の９ビットのクラスコードと生成するようにしてもよい。
【００４９】
すなわち、例えば、クラスコード用タップに含まれる９画素の画素値Ｐ１乃至Ｐ９が図１０に示すような状態である場合、閾値Ｔｈに最も近い２個の画素値Ｐ６と画素値Ｐ８を、それぞれ、０に量子化した場合と、１に量子化した場合の４種類の９ビットのクラスコード１０１０００１０１、１０１０００１１１、１０１００１１０１、１０１００１１１１を、注目画素に対応するクラスコードとして生成するようにしてもよい。
【００５０】
また、閾値Ｔｈに近い所定の個数の画素値に対して、上述したような処理を施すことの代わりに、閾値Ｔｈを中心とする所定の範囲（±Δ）に含まれる全ての画素値に対して、上述したような処理を施すようにしてもよい。
【００５１】
例えば、クラスコード用タップに含まれる９画素の画素値Ｐ１乃至Ｐ９が図１１に示すような状態である場合、閾値Ｔｈを中心とする所定の範囲（±Δ）に含まれる画素値Ｐ６と画素値Ｐ８を、それぞれ、０に量子化した場合と、１に量子化した場合の４種類の９ビットのクラスコード１０１０００１１１、１０１００１１１１、１１１０００１１１、１１１００１１１１を生成するようにしてもよい。
【００５２】
あるいは、閾値Ｔｈを中心とする所定の範囲（±Δ）に含まれる画素値Ｐ６と画素値Ｐ８を除外して、７ビットのクラスコードを生成するようにしてもよい。
【００５３】
このように、クラスコード用タップに含まれる全画素のうち、閾値Ｔｈの近傍の画素値に対して、量子化の対象から除外するか、あるいは、０に量子化した場合のクラスコードと、１に量子化した場合のクラスコードを生成するようにしたことにより、閾値Ｔｈの近傍の画素値がノイズなどに影響されて変動したとしても、クラスコード内にビットの反転が発生することを抑止することができる。したがって、クラスコードのロバスト性を向上させることができる。
【００５４】
なお、クラスコード用タップを構成する画素の数、およびクラスコードのビット数は、上述した例に限るものではなく、任意である。以上で、第１のクラスコード生成処理の説明を終了する。
【００５５】
次に、上述した第１のクラスコード生成処理に代えることができる、本発明の主眼である第２のクラスコード生成処理について、図１２のフローチャートを参照して説明する。この処理は、対象フレームＦｃの各画素が、順次、注目画素に設定されて、注目画素に対して実行される。
【００５６】
ステップＳ２１において、クラスコード生成部１４は、注目画素を中心とする所定サイズのクラスコード用ブロックを設定し、クラスコード用ブロックに含まれる複数の画素の画素値を取得する。以下においては、図１３に示すように、クラスコード用ブロックのサイズを３×３画素とし、左上の画素を先頭に右下の画素までの画素値をそれぞれＰ１乃至Ｐ９として説明を継続する。
【００５７】
ステップＳ２２において、クラスコード生成部１４は、クラスコード用ブロックに含まれる画素値Ｐ１乃至Ｐ９のうち、所定の個数（以下、例えば７個とする）の画素値を用いた複数のクラスコード用タップ候補を生成する。ここで生成されるクラスコード用タップ候補のパターンは、予め設定されている。図１４は、生成される複数のクラスコード用タップ候補の３例を示している。なお、図１４のクラスコード用タップ候補上の矢印は、画素値を量子化して並べ、７ビットのクラスコードを生成するときの並び順を示している。
【００５８】
ステップＳ２３において、クラスコード生成部１４は、いずれのクラスコード用タップ候補が最もクラスコード用タップに適しているかを判断するために、各クラスコード用タップ候補に対して評価値を演算する。
【００５９】
各クラスコード用タップ候補の評価値を演算する処理について、図１５のフローチャートを参照して説明する。ステップＳ３１において、クラスコード生成部１４は、クラスコード用タップ候補に含まれる７画素の画素値のうちの最大値ＰMAXと最小値ＰMINを検出する。ステップＳ３２において、クラスコード生成部１４は、クラスコード用タップ候補に含まれる７画素の画素値のダイナミックレンジＤＲ（＝｜最大値ＰMAX−最小値ＰMIN｜）を算出する。
【００６０】
ステップＳ３３において、クラスコード生成部１４は、式（２）を用いて閾値Ｔｈを決定する。
【００６１】
ステップＳ３４において、クラスコード生成部１４は、当該クラスコード用タップ候補の評価値として、クラスコード用タップ候補に含まれる７画素の画素値と閾値Ｔｈとの差の総和を演算する。
【００６２】
例えば、図１６に示すような画素値を有するクラスコード用タップ候補１（図１４Ａ）の評価値は、次式（３）のように演算される。

Figure 0004129788
ただし、Ｔｈ１は、クラスコード用タップ候補１に含まれる７画素の画素値に基づいて算出された閾値である。
【００６３】
また、例えば、図１７に示すような画素値を有するクラスコード用タップ候補２（図１４Ｂ）の評価値は、次式（４）のように演算される。
Figure 0004129788
ただし、Ｔｈ２は、クラスコード用タップ候補２に含まれる７画素の画素値に基づいて算出された閾値である。
【００６４】
以上で、各クラスコード用タップ候補の評価値を演算する処理の説明を終了する。処理は図１２のステップＳ２４に戻る。
【００６５】
ステップＳ２４において、クラスコード生成部１４は、複数のクラスコード用タップ候補のうち、ステップＳ２３の処理で演算した評価値が最も大きいもの（すなわち、閾値Ｔｈを中心とする各画素値の分散が大きいもの）を、クラスコード用タップに決定する。
【００６６】
ステップＳ２５において、クラスコード生成部１４は、ステップＳ２４で決定されたクラスコード用タップに含まれる７画素の画素値を、それぞれ、１ビットADRCにより、０または１に量子化して、７ビットのクラスコードを生成する。
【００６７】
例えば、ステップＳ２４の処理で、図１６に示された画素値を有する７画素からなるクラスコード用タップ候補１がクラスコード用タップに決定された場合、７ビットのクラスコード１００１１００が生成される。また、例えば、ステップＳ２４の処理で、図１７に示された画素値を有する７画素からなるクラスコード用タップ候補２が、クラスコード用タップに決定された場合、７ビットのクラスコード１００１１００が生成される。
【００６８】
このように、複数のクラスコード用タップ候補のうち、評価値が最も大きいもの（すなわち、閾値Ｔｈを中心とする各画素値の分散が大きいもの）を、クラスコード用タップに決定し、クラスコードを生成するようにしたことにより、クラスコード内にビットの反転が発生することを抑止することができる。したがって、クラスコードのロバスト性を向上させることができる。
【００６９】
なお、クラスコード用ブロックを構成する画素の数、およびクラスコード用タップ候補を構成する画素の数は、任意であって、上述した例の他、例えば、クラスコード用ブロックを５×５画素で構成し、クラスコード用タップ候補を９画素で構成するようにしてもよい。以上で、第２のクラスコード生成処理の説明を終了する。
【００７０】
以上説明したように、本実施の形態によれば、クラスコード生成部１４は、対象フレームＦｃおよび参照フレームＦｒの各画素に対し、１ビットADRCという容易な演算により、高いロバスト性を有するクラスコードを生成することができる。よって、対象フレームＦｃの画素と参照フレームＦｒの画素とを、高い精度でマッチングさせることができる。したがって、動きベクトルを精度良く検出することが可能となる。
【００７１】
また、本発明は、画像を構成する画素の画素値の他、例えば、音声データなどの任意のデータに対してクラスコードを生成する場合に適用することが可能である。
【００７２】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図１８に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００７３】
このパーソナルコンピュータは、CPU(Central Processing Unit)３１を内蔵している。CPU３１にはバス３４を介して、入出力インタフェース３５が接続されている。バス３４には、ROM(Read Only Memory)３２およびRAM(Random Access Memory)３３が接続されている。
【００７４】
入出力インタフェース３５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３６、処理結果の映像を表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等よりなる出力部３７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３９が接続されている。また、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、および半導体メモリ４４などの記録媒体に対してデータを読み書きするドライブ４０が接続されている。
【００７５】
CPU３１に上述した一連の処理を実行させるプログラムは、磁気ディスク４１（フレキシブルディスクを含む）、光ディスク４２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク４３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ４４に格納された状態でパーソナルコンピュータに供給され、ドライブ４０によって読み出されて記憶部３８に内蔵されるハードディスクドライブにインストールされている。記憶部３８にインストールされているプログラムは、入力部３６に入力されるユーザからのコマンドに対応するCPU３１の指令によって、記憶部３８からRAM３３にロードされて実行される。
【００７６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７７】
【発明の効果】
以上のように、本発明によれば、僅かな演算量のみで画像間のマッチングを行うことができる。また、本発明によれば、動きベクトル等を精度良く検出することが可能となる。
【図面の簡単な説明】
【図１】従来の動きベクトル検出装置の構成例を示すブロック図である。
【図２】対象フレームＦｃと参照フレームＦｒの対応関係を示す図である。
【図３】ブロックマッチングアルゴリズムを説明するフローチャートである。
【図４】本発明の一実施の形態である動きベクトル検出装置の構成例を示すブロック図である。
【図５】図４のＭＥメモリの構造を示す図である。
【図６】図４のクラスコード生成部による第１のクラスコード生成処理を説明するフローチャートである。
【図７】クラスコード用タップの一例を示す図である。
【図８】第１のクラスコード生成処理を説明するための図である。
【図９】第１のクラスコード生成処理を説明するための図である。
【図１０】第１のクラスコード生成処理の変形例を説明するための図である。
【図１１】第１のクラスコード生成処理の変形例を説明するための図である。
【図１２】図４のクラスコード生成部による第２のクラスコード生成処理を説明するフローチャートである。
【図１３】クラスコード用ブロックの一例を示す図である。
【図１４】クラスコード用タップ候補の例を示す図である。
【図１５】図１２のステップＳ２３における評価値演算処理を説明するフローチャートである。
【図１６】第２のクラスコード生成処理を説明するための図である。
【図１７】第２のクラスコード生成処理を説明するための図である。
【図１８】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１１ 動きベクトル検出装置， １２，１３ フレームメモリ， １４ クラスコード生成部， １５ ＭＥメモリ， １６ 動きベクトル演算部， ３１ CPU， ４１ 磁気ディスク， ４２ 光ディスク， ４３ 光磁気ディスク，４４ 半導体メモリ[0001]
BACKGROUND OF THE INVENTION
  The present inventionimageRegarding data processing apparatus and method, recording medium, and program, for example, suitable for use when matching pixels on consecutive images and detecting a motion vector based on the result of matchingimageThe present invention relates to a data processing apparatus and method, a recording medium, and a program.
[0002]
[Prior art]
For example, in a process of compressing and encoding an image signal such as an MPEG2 (Moving Picture Experts Group) method, an encoding process based on a correlation between adjacent frames, so-called motion compensation inter-frame prediction, is used. In motion compensation inter-frame prediction, it is necessary to detect a motion vector for each pixel unit or pixel block unit of a predetermined size between adjacent frames (one is described as a current frame and the other as a reference frame).
[0003]
Conventionally, a method called a block matching algorithm is used as a method for detecting a motion vector (see, for example, Patent Document 1).
[0004]
FIG. 1 shows a configuration example of a motion vector detection apparatus that detects a motion vector according to a block matching algorithm. The motion vector detection device 1 holds an input image signal for one frame and outputs it to a frame memory 2 and 3 that outputs to the subsequent stage, and two frame image signals that are input from the frame memories 2 and 3. The detection unit 4 detects a motion vector in an image of an image signal input from the memory 2.
[0005]
The frame memory 2 holds the input image signal for one frame, and outputs the held image signal to the frame memory 3 and the detection unit 4 when the image signal of the next frame is input. The frame memory 3 holds the image signal input from the frame memory 2 for one frame, and outputs the held image signal to the detection unit 4 when the image signal of the next frame is input.
[0006]
Accordingly, the image signal of two frames before and after is input to the detection unit 4. Hereinafter, an image of an image signal for one frame input from the frame memory 2 to the detection unit 4 is described as a target frame Fc. Also, an image of the image signal one frame before the target frame Fc input from the frame memory 3 to the detection unit 4 is described as a reference frame Fr.
[0007]
The detection unit 4 calculates a motion vector in the target frame Fc according to a block matching algorithm. The block matching algorithm will be described with reference to the correspondence diagram between the target frame Fc and the reference frame Fr shown in FIG. 2 and the flowchart shown in FIG.
[0008]
In the block matching algorithm, all the pixels in the target frame Fc are sequentially set as the target pixel, and a reference block having a predetermined size (L × L pixel) centered on the target pixel and the search area SR of the reference frame Fr. The difference absolute value sum of the pixel values of the corresponding pixel pair with the reference block (same size as the base block) moved in is calculated according to the following equation (1).
ΣiΣj= | Fc (i, j) -Frn (i, j) | (1)
[0009]
Where Fc (i, j) is the pixel value of the pixel of the base block, Frn (i, j) is the pixel value of the pixel of the reference block with the identification number n, and ΣiIs the sum operation when i is incremented by 1 from 1 to L, ΣjMeans a sum operation when j is incremented by 1 from 1 to L.
[0010]
Then, a difference vector between the center coordinates of the reference block and the coordinates of the target pixel when the sum of absolute differences of the pixel values of the corresponding pixel pairs of the base block and the reference block is minimized is calculated as a motion vector.
[0011]
Specifically, the following processing is executed for the target pixel of the target frame Fc. In step S <b> 1, the detection unit 4 sets a search area SR having a size larger than that of the reference block around the same coordinates as the coordinates (x, y) of the target pixel of the target frame Fc in the reference frame Fc.
[0012]
In step S2, the detection unit 4 initializes a variable min for storing the minimum value of the sum of absolute differences to the maximum value. For example, when the pixel value of one pixel is 8 bits and the size of the reference block is 4 × 4 pixels, the variable min is 4096 (= 28X16).
[0013]
In step S3, the detection unit 4 initializes the identification number n of the reference block to be moved within the search area SR to 1. In step S4, the detection unit 4 initializes a variable sum for storing a calculation result of the sum of absolute differences to zero.
[0014]
In step S5, the detection unit 4 calculates the sum of absolute differences of the pixels of the pixel pair located at the same location of the reference block of the target frame Fc and the reference block of the identification number n in the search area SR set in the reference frame Fr. Is substituted into the variable sum. In step S6, the detection unit 4 compares the variable sum that is the calculation result of step S5 with the variable min, and determines whether or not the variable sum is smaller than the variable min. If it is determined that the variable sum is smaller than the variable min, the process proceeds to step S7.
[0015]
In step S7, the detection unit 4 replaces the variable min with the variable sum. Further, the detection unit 4 stores the identification number n of the current reference block as a motion vector number.
[0016]
In step S8, the detection unit 4 determines whether or not the reference block identification number n is the maximum value, that is, whether or not the reference block has been moved to the entire search area SR. If it is determined that the identification number n of the reference block is not the maximum value, the process proceeds to step S9. In step S9, the detection unit 4 increments the identification number n of the reference block by 1, returns to the process of step S4, and repeats the subsequent processes.
[0017]
If it is determined in step S6 that the variable sum is not smaller than the variable min, the process of step S7 is skipped.
[0018]
Thereafter, when it is determined in step S8 that the reference block identification number n is not the maximum value, that is, when the reference block has been moved to the entire search area SR, the process proceeds to step S10.
[0019]
In step S10, the detection unit 4 uses the difference vector between the center coordinates of the reference block corresponding to the identification number n stored as the motion vector number and the coordinates (x, y) of the target pixel of the target frame Fc. This is calculated as the motion vector of the target pixel of the frame Fc. This is the end of the description of the block matching algorithm.
[0020]
[Patent Document 1]
Japanese Patent No. 3277417
[0021]
[Problems to be solved by the invention]
The block matching algorithm described above has a problem that the amount of calculation of the sum of absolute differences of the pixels of the pixel pair in step S5 is very large, and most of the image compression processing time is spent on this calculation. there were.
[0022]
  The present invention has been made in view of such a situation,By using the class code generated for each pixel, it is less than the block matching algorithmCalculationamountTo match between imagesIn addition, the robustness of the generated class code is improved,Make it possible to detect motion vectors with high accuracyIs a thing.
[0023]
[Means for Solving the Problems]
  Of the present inventionimageData processing equipmentClass code generation means for generating a class code indicating a spatial feature amount for a target pixel using each pixel of an image constituting the moving image as a target pixel, using pixel values of the target pixel and pixels located in the vicinity thereof A storage unit for storing the generation result of the class code for each pixel of the image having a plurality of coordinate storage units each having all the class codes as addresses, and the coordinates of each pixel corresponding to the corresponding class code A storage unit that stores in the coordinate storage unit having the address as the address, a class code of the pixel of interest of the first image that constitutes the moving image, and a second image that is stored in the storage unit and that is before and after the first image Detection means for detecting a motion vector of the target pixel of the first image based on a comparison result with the generation result of the class code for each pixel of A plurality of pixels arranged in a predetermined positionA plurality ofClass code tapA setting means for setting candidates;SettingDefinedTap for each class codeFor candidates,Class code tapMultiple candidatesPixel value of the pixelComputing means for computing an evaluation value indicating the degree of dispersion ofPerformanceBased on the calculated evaluation value,Class code tap candidate with maximum degree of dispersion of pixel values of multiple pixelsA decision means to decide;DecisionDefinedClass code tapMake up multiple1 bit for each pixel value of a pixelCodingBy, AttentionPixelAgainstThe same number of bits as the number of pixels constituting the class code tapGenerating means for generating class code.
[0024]
  The computing means isSettingEach setClass code tapFor candidates,Class code tapThe threshold value is calculated by adding 1/2 of the dynamic range of the pixel values of the plurality of pixels to the minimum value of the pixel values of the plurality of pixels constituting the candidate.And tap for class codeMultiple candidatesEach pixel value of the pixel and calculatedThe sum of differences from the threshold is used as the evaluation value.CalculationTo be able to.
[0026]
  Of the present inventionPictureThe image data processing method isA class code generation step of generating a class code indicating a spatial feature amount of the target pixel by using each pixel of the image constituting the moving image as a target pixel, using pixel values of the target pixel and a pixel located in the vicinity thereof; A plurality of coordinate storage units each having all class codes as addresses, and storing the coordinates of each pixel of the image in the coordinate storage unit having the corresponding class code as an address, for each pixel of the image Each of the storage step for storing the generation result of the class code, the class code of the target pixel of the first image constituting the moving image, and the second image before and after the first image stored in the storage unit Detecting the motion vector of the target pixel of the first image based on the comparison result with the generation result of the class code for the pixel. A plurality of pixels arranged in a predetermined position in the vicinity of the pixelA plurality ofClass code tapA setting step for setting candidates,SettingDefinedTap for each class codeFor candidates,Class code tapMultiple candidatesPixel value of the pixelA calculation step for calculating an evaluation value indicating the degree of dispersion ofPerformanceBased on the calculated evaluation value,Class code tap candidate with maximum degree of dispersion of pixel values of multiple pixelsA decision step to decide;DecisionDefinedClass code tapMake up multiple1 bit for each pixel value of a pixelCodingBy, AttentionPixelAgainstThe same number of bits as the number of pixels constituting the class code tapGenerating step for generating class code.
[0027]
  Recording medium of the present inventionbodyIsA class code generation step of generating a class code indicating a spatial feature amount of the target pixel by using each pixel of the image constituting the moving image as a target pixel, using pixel values of the target pixel and a pixel located in the vicinity thereof; A plurality of coordinate storage units each having all class codes as addresses, and storing the coordinates of each pixel of the image in the coordinate storage unit having the corresponding class code as an address, for each pixel of the image Each of the storage step for storing the generation result of the class code, the class code of the target pixel of the first image constituting the moving image, and the second image before and after the first image stored in the storage unit Detecting the motion vector of the target pixel of the first image based on the comparison result with the generation result of the class code for the pixel. A plurality of pixels arranged in a predetermined position in the vicinity of the pixelA plurality ofClass code tapA setting step for setting candidates,SettingDefinedTap for each class codeFor candidates,Class code tapMultiple candidatesPixel value of the pixelA calculation step for calculating an evaluation value indicating a degree of dispersion ofPerformanceBased on the calculated evaluation value,Class code tap candidate with maximum degree of dispersion of pixel values of multiple pixelsA decision step to decide;DecisionDefinedClass code tapMake up multiple1 bit for each pixel value of a pixelCodingBy, AttentionPixelAgainstThe same number of bits as the number of pixels constituting the class code tapGenerating step for generating class codeLet the computer execute the processThe program is recorded.
[0028]
  The program of the present inventionA class code generation step of generating a class code indicating a spatial feature amount of the target pixel by using each pixel of the image constituting the moving image as a target pixel, using pixel values of the target pixel and a pixel located in the vicinity thereof; A plurality of coordinate storage units each having all class codes as addresses, and storing the coordinates of each pixel of the image in the coordinate storage unit having the corresponding class code as an address, for each pixel of the image Each of the storage step for storing the generation result of the class code, the class code of the target pixel of the first image constituting the moving image, and the second image before and after the first image stored in the storage unit Detecting the motion vector of the target pixel of the first image based on the comparison result with the generation result of the class code for the pixel. A plurality of pixels arranged in a predetermined position in the vicinity of the pixelA plurality ofClass code tapA setting step for setting candidates,SettingDefinedTap for each class codeFor candidates,Class code tapMultiple candidatesPixel value of the pixelA calculation step for calculating an evaluation value indicating the degree of dispersion ofPerformanceBased on the calculated evaluation value,Class code tap candidate with maximum degree of dispersion of pixel values of multiple pixelsA decision step to decide;DecisionDefinedClass code tapMake up multiple1 bit for each pixel value of a pixelCodingBy, AttentionPixelAgainstThe same number of bits as the number of pixels constituting the class code tapGenerating step for generating class codeHave the computer execute the process.
[0029]
  Main departureLightInA plurality of pixels arranged at predetermined positions in the vicinity of the target pixelA plurality ofClass code tapCandidate is set and setTap for each class codeFor candidates,Class code tapMultiple candidatesPixel value of the pixelAn evaluation value indicating the degree of variance of the is calculated, and based on the calculated evaluation value,Class code tap candidate with maximum degree of dispersion of pixel values of multiple pixelsIt is determined. Furthermore, determinedClass code tapMake up multipleEach pixel value of a pixel is 1 bitCodingBy being, AttentionPixelAgainstThe same number of bits as the number of pixels constituting the class code tapClass code is generated.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
A configuration example of a motion vector detection apparatus to which the present invention is applied will be described with reference to FIG. The motion vector detection device 11 includes frame memories 12 and 13, a class code generation unit 14, an ME memory 15, and a motion vector calculation unit 16.
[0031]
The frame memory 12 holds the input image signal for one frame. When the image signal of the next frame is input, the frame memory 12 outputs the held image signal to the frame memory 13 and the class code generation unit 14. The frame memory 13 holds the input image signal for one frame, and when the image signal of the next frame is input from the frame memory 12, outputs the held image signal to the class code generation unit 14.
[0032]
Therefore, the image signal input from the frame memory 13 to the class code generation unit 14 is one frame before the image signal input from the frame memory 12 to the class code generation unit 14. Hereinafter, an image of an image signal for one frame input from the frame memory 12 to the class code generation unit 14 is described as a target frame Fc. In addition, an image of the image signal one frame before the target frame Fc input from the frame memory 13 to the class code generation unit 14 is described as a reference frame Fr.
[0033]
The class code generation unit 14 generates a class code indicating spatial characteristics for each pixel of the target frame Fc and outputs the class code to the motion vector calculation unit 16. Specifically, all the pixels of the target frame Fc are sequentially set as the target pixel, a class code tap having a predetermined size centered on the target pixel is determined, and a plurality of pixels included in the class code tap Is quantized to 0 or 1 by 1-bit ADRC (Adaptive Dynamic Range Coding) to generate a class code having a predetermined number of bits. The process for generating the class code will be described in detail with reference to FIG.
[0034]
Further, the class code generation unit 14 generates a class code indicating a spatial feature for each pixel of the reference frame Fr and outputs the class code to the ME memory 15. However, since the reference frame Fr is the target frame Fc at the previous timing, the class code has already been generated once. Therefore, the class code generated for each pixel of the target frame Fc at the previous timing may be retained and used as the class code for each pixel of the current reference frame Fr.
[0035]
The ME memory 15 stores the class code for each pixel of the reference frame Fr input from the class code generation unit 14 and associates the coordinates of each pixel with the class code.
[0036]
  FIG. 5 shows the structure of the ME memory 15. The ME memory 15 is indicated by feature amount addresses 0 to a and flag addresses 0 to b.(a+1)×(b+1)It is composed of cells. Hereinafter, for example, the cell of the feature amount address 1 and the flag address 2 is described as a cell (1, 2).
[0037]
The feature amount address corresponds to the class code generated by the class code generation unit 14. For example, when the class code is 7 bits, the maximum feature value address a = 27When the class code is 9 bits, the maximum feature value address a = 29It becomes.
[0038]
In the cells after the flag address 1 of the feature amount address 0, the coordinates of the pixels of the reference frame Fr in which the class code 0 is generated by the class code generation unit 14 are stored in raster order. The cell of flag address 0 of feature quantity address 0 stores the number of cells after flag address 1 of feature quantity address 0 in which the coordinates of the pixel of class code 0 are stored. For example, when the class code 0 is generated for three pixels of the reference frame Fr, each of the three pixels is assigned to the cell (0, 1), the cell (0, 2), and the cell (0, 3). The coordinates are stored, and 3 is stored in the cell (0, 0).
[0039]
In the cells after the flag address 1 of the feature amount address 1, the coordinates of the pixels of the reference frame Fr in which the class code 1 is generated by the class code generation unit 14 are stored in raster order. The cell of the flag address 0 of the feature amount address 1 stores the number of cells after the flag address 1 of the feature amount address 0 in which the coordinates of the pixel of the class code 1 are stored. For example, when the class code 1 is generated for 10 pixels among the pixels of the reference frame Fr, the coordinates of each of the 10 pixels are stored in the cell (1, 1), ..., cell (1, 10). Then, 10 is stored in the cell (1, 0). The same applies to the cells after the feature address 2.
[0040]
Returning to FIG. The motion vector calculation unit 16 searches the ME memory 15 for the coordinates of the pixel of the reference frame Fr having the same class code for each pixel of the target frame Fc. Is determined as a pixel corresponding to the target pixel, and a motion vector of the target pixel is calculated.
[0041]
The applicant has already proposed the structure of the ME memory 15 and the details of the processing of the motion vector calculation unit 16 as Japanese Patent Application No. 2002-2222044.
[0042]
  next,TheThe first class code generation process by the lath code generation unit 4 will be described with reference to the flowchart of FIG. This process is executed for the target pixel, with each pixel of the target frame Fc being sequentially set as the target pixel.
[0043]
In step S11, the class code generation unit 14 sets a class code tap having a predetermined size centered on the pixel of interest, and acquires pixel values of a plurality of pixels included in the class code tap. In the following, as shown in FIG. 7, the size of the class code tap is 3 × 3 pixels, and the description is continued assuming that the pixel values from the upper left pixel to the lower right pixel are P1 to P9, respectively.
[0044]
In step S12, the class code generation unit 14 determines the maximum value P of the pixel values P1 to P9.MAXAnd the minimum value PMINDetermine. In step S13, the class code generator 14 determines the dynamic range DR (= | maximum value P) of the pixel values P1 to P9.MAX-Minimum value PMIN|) Is calculated. In step S14, the class code generation unit 14 obtains the minimum value P of the pixel values P1 to P9 as shown in the following equation (2).MINThen, the dynamic range DR / 2 is added to determine the threshold value Th.
Th = PMIN+ DR / 2 (2)
[0045]
In step S15, the class code generation unit 14 excludes a predetermined number (for example, two) of pixel values closest to the threshold Th from the pixel values P1 to P9. In step S16, the class code generation unit 14 compares the remaining seven pixels of the pixel values P1 to P9 with the threshold value Th, and when it is larger than the threshold value Th, it is quantized to 1 and smaller than the threshold value Th. In this case, it is quantized to 0 and 7 bits arranged in numerical order are generated as the class code of the pixel of interest.
[0046]
For example, when the pixel values P1 to P9 of nine pixels included in the class code tap are in the state shown in FIG. 8, the pixel value P6 and the pixel value P8 closest to the threshold Th are excluded, and the 7-bit class code 1010011 is generated.
[0047]
Further, for example, when the pixel values P1 to P9 of 9 pixels included in the class code tap are in the state as shown in FIG. 9, the pixel values P5 and P6 closest to the threshold Th are excluded, and the 7-bit class Code 1010101 is generated.
[0048]
It should be noted that instead of excluding a predetermined number of pixel values close to the threshold Th, a predetermined number of pixel values close to the threshold Th are each quantized to a 9-bit class code when quantized to 0 and 1 In this case, a 9-bit class code may be generated.
[0049]
That is, for example, when the pixel values P1 to P9 of the nine pixels included in the class code tap are in the state shown in FIG. 10, the two pixel values P6 and P8 that are closest to the threshold Th are respectively Four types of 9-bit class codes 101000101, 101000111, 10100101, and 101001111 when quantized to 0 and quantized to 1 may be generated as class codes corresponding to the target pixel.
[0050]
Further, instead of performing the above-described processing on a predetermined number of pixel values close to the threshold Th, all pixel values included in a predetermined range (± Δ) centered on the threshold Th are used. Thus, the processing as described above may be performed.
[0051]
For example, when the pixel values P1 to P9 of the nine pixels included in the class code tap are in the state shown in FIG. 11, the pixel value P6 and the pixels included in a predetermined range (± Δ) centered on the threshold Th Four types of 9-bit class codes 101000111, 101001111, 111000111, and 111001111 may be generated when the value P8 is quantized to 0 and when it is quantized to 1, respectively.
[0052]
Alternatively, a 7-bit class code may be generated by excluding the pixel value P6 and the pixel value P8 included in a predetermined range (± Δ) centering on the threshold Th.
[0053]
In this way, among all the pixels included in the class code tap, the pixel values in the vicinity of the threshold Th are excluded from the quantization target, or the class code when quantized to 0 and 1 By generating a class code in the case of quantizing to, even if the pixel value near the threshold Th fluctuates due to noise or the like, the occurrence of bit inversion in the class code is suppressed. be able to. Therefore, the robustness of the class code can be improved.
[0054]
The number of pixels constituting the class code tap and the number of bits of the class code are not limited to the above-described example, and are arbitrary. This is the end of the description of the first class code generation process.
[0055]
  Next, it can be replaced with the first class code generation process described above.The main point of the present inventionThe second class code generation process will be described with reference to the flowchart of FIG. This process is executed for the target pixel, with each pixel of the target frame Fc being sequentially set as the target pixel.
[0056]
In step S <b> 21, the class code generation unit 14 sets a class code block having a predetermined size centered on the pixel of interest, and acquires pixel values of a plurality of pixels included in the class code block. In the following, as shown in FIG. 13, the size of the class code block is 3 × 3 pixels, and the description is continued assuming that the pixel values from the upper left pixel to the lower right pixel are P1 to P9, respectively.
[0057]
In step S22, the class code generation unit 14 uses a predetermined number (hereinafter, for example, 7) of pixel values among the pixel values P1 to P9 included in the class code block. Generate candidates. The class code tap candidate patterns generated here are set in advance. FIG. 14 shows three examples of a plurality of generated class code tap candidates. The arrows on the class code tap candidates in FIG. 14 indicate the arrangement order when the pixel values are quantized and arranged to generate a 7-bit class code.
[0058]
In step S23, the class code generation unit 14 calculates an evaluation value for each class code tap candidate in order to determine which class code tap candidate is most suitable for the class code tap.
[0059]
Processing for calculating the evaluation value of each class code tap candidate will be described with reference to the flowchart of FIG. In step S31, the class code generation unit 14 determines the maximum value P among the pixel values of 7 pixels included in the class code tap candidate.MAXAnd the minimum value PMINIs detected. In step S32, the class code generation unit 14 performs a dynamic range DR (= | maximum value P) of pixel values of 7 pixels included in the class code tap candidate.MAX-Minimum value PMIN|) Is calculated.
[0060]
In step S <b> 33, the class code generation unit 14 determines the threshold Th using Equation (2).
[0061]
In step S34, the class code generation unit 14 calculates the sum of the differences between the pixel values of the seven pixels included in the class code tap candidate and the threshold Th as the evaluation value of the class code tap candidate.
[0062]
For example, the evaluation value of the class code tap candidate 1 (FIG. 14A) having pixel values as shown in FIG. 16 is calculated as in the following equation (3).
Figure 0004129788
However, Th1 is a threshold value calculated based on the pixel value of 7 pixels included in the class code tap candidate 1.
[0063]
Further, for example, the evaluation value of the class code tap candidate 2 (FIG. 14B) having the pixel value as shown in FIG. 17 is calculated as the following equation (4).
Figure 0004129788
However, Th2 is a threshold value calculated based on the pixel value of 7 pixels included in the class code tap candidate 2.
[0064]
Above, description of the process which calculates the evaluation value of each class code tap candidate is complete | finished. The process returns to step S24 in FIG.
[0065]
In step S24, the class code generation unit 14 has the largest evaluation value calculated in the process of step S23 among the plurality of class code tap candidates (that is, the variance of the pixel values centered on the threshold Th is large). To the class code tap.
[0066]
In step S25, the class code generation unit 14 quantizes the pixel values of 7 pixels included in the class code tap determined in step S24 to 0 or 1 by 1-bit ADRC, respectively, and generates a 7-bit class. Generate code.
[0067]
For example, when the class code tap candidate 1 consisting of 7 pixels having the pixel values shown in FIG. 16 is determined as the class code tap in the process of step S24, a 7-bit class code 1001100 is generated. Also, for example, when the class code tap candidate 2 consisting of 7 pixels having the pixel values shown in FIG. 17 is determined as the class code tap in the process of step S24, a 7-bit class code 1001100 is generated. Is done.
[0068]
In this way, among the plurality of class code tap candidates, the one having the largest evaluation value (that is, the one having a large variance of the pixel values centered on the threshold Th) is determined as the class code tap, and the class code is selected. Is generated, it is possible to suppress the occurrence of bit inversion in the class code. Therefore, the robustness of the class code can be improved.
[0069]
The number of pixels constituting the class code block and the number of pixels constituting the class code tap candidate are arbitrary. In addition to the above example, for example, the class code block may be 5 × 5 pixels. The class code tap candidate may be configured by nine pixels. This is the end of the description of the second class code generation process.
[0070]
As described above, according to the present embodiment, the class code generation unit 14 uses the easy calculation of 1-bit ADRC for each pixel of the target frame Fc and the reference frame Fr to provide a class code having high robustness. Can be generated. Therefore, the pixel of the target frame Fc and the pixel of the reference frame Fr can be matched with high accuracy. Therefore, the motion vector can be detected with high accuracy.
[0071]
Further, the present invention can be applied to a case where a class code is generated for arbitrary data such as audio data in addition to the pixel values of pixels constituting an image.
[0072]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer configured as shown in FIG.
[0073]
This personal computer includes a CPU (Central Processing Unit) 31. An input / output interface 35 is connected to the CPU 31 via the bus 34. A ROM (Read Only Memory) 32 and a RAM (Random Access Memory) 33 are connected to the bus 34.
[0074]
The input / output interface 35 includes an input unit 36 including an input device such as a keyboard and a mouse for a user to input an operation command, a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display) for displaying a processing result image. An output unit 37, a storage unit 38 including a hard disk drive for storing programs and various data, and a communication unit configured to execute communication processing via a network typified by the Internet, such as a modem and a LAN (Local Area Network) adapter 39 is connected. A drive 40 for reading and writing data from and to a recording medium such as the magnetic disk 41, the optical disk 42, the magneto-optical disk 43, and the semiconductor memory 44 is connected.
[0075]
Programs for causing the CPU 31 to execute the above-described series of processes are a magnetic disk 41 (including a flexible disk), an optical disk 42 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), and magneto-optical. It is supplied to a personal computer while being stored in a disk 43 (including MD (Mini Disc)) or semiconductor memory 44, read by the drive 40, and installed in a hard disk drive built in the storage unit 38. The program installed in the storage unit 38 is loaded from the storage unit 38 to the RAM 33 and executed in response to a command from the CPU 31 corresponding to a command from the user input to the input unit 36.
[0076]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0077]
【The invention's effect】
As described above, according to the present invention, matching between images can be performed with only a small amount of calculation. Further, according to the present invention, it is possible to detect motion vectors and the like with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a conventional motion vector detection device.
FIG. 2 is a diagram illustrating a correspondence relationship between a target frame Fc and a reference frame Fr.
FIG. 3 is a flowchart illustrating a block matching algorithm.
FIG. 4 is a block diagram illustrating a configuration example of a motion vector detection device according to an embodiment of the present invention.
FIG. 5 is a diagram showing a structure of the ME memory of FIG. 4;
6 is a flowchart illustrating first class code generation processing by a class code generation unit in FIG. 4; FIG.
FIG. 7 is a diagram illustrating an example of a class code tap.
FIG. 8 is a diagram for explaining first class code generation processing;
FIG. 9 is a diagram for explaining first class code generation processing;
FIG. 10 is a diagram for explaining a modification of the first class code generation process.
FIG. 11 is a diagram for explaining a modification of the first class code generation process;
12 is a flowchart for explaining second class code generation processing by the class code generation unit in FIG. 4; FIG.
FIG. 13 is a diagram illustrating an example of a class code block.
FIG. 14 is a diagram illustrating an example of class code tap candidates.
FIG. 15 is a flowchart illustrating an evaluation value calculation process in step S23 of FIG.
FIG. 16 is a diagram for describing second class code generation processing;
FIG. 17 is a diagram for explaining second class code generation processing;
FIG. 18 is a block diagram illustrating a configuration example of a general-purpose personal computer.
[Explanation of symbols]
11 motion vector detector, 12, 13 frame memory, 14 class code generator, 15 ME memory, 16 motion vector calculator, 31 CPU, 41 magnetic disk, 42 optical disk, 43 magneto-optical disk, 44 semiconductor memory

Claims (5)

動画像を構成する画像の各画素を注目画素とし、前記注目画素に対する空間的な特徴量を示すクラスコードを、前記注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成手段と、
全ての前記クラスコードをそれぞれアドレスとする複数の座標格納部を有し、前記画像の各画素に対する前記クラスコードの生成結果を記憶するための記憶部であって、前記各画素の座標を、対応する前記クラスコードをアドレスとする前記座標格納部に記憶する記憶部と、
前記動画像を構成する第１の画像の注目画素のクラスコードと、前記記憶部に記憶されている、前記第１の画像と前後する第２の画像の各画素に対する前記クラスコードの生成結果との比較結果に基づき、前記第１の画像の注目画素の動きベクトルを検出する検出手段とを備え、
前記クラスコード生成手段は、
前記注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定手段と、
設定された各クラスコード用タップ候補に対して、前記クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算手段と、
演算された前記評価値に基づき、構成する複数の画素の画素値の分散の程度が最大の前記クラスコード用タップ候補をクラスコード用タップに決定する決定手段と、
決定された前記クラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、前記注目画素に対する前記クラスコード用タップを構成する画素数と同じビット数の前記クラスコードを生成する生成手段とを含む
画像データ処理装置。 Class code generation that uses each pixel of an image constituting a moving image as a pixel of interest, and generates a class code indicating a spatial feature amount for the pixel of interest using pixel values of the pixel of interest and pixels located in the vicinity thereof Means,
A plurality of coordinate storage units each having all the class codes as addresses, and a storage unit for storing the generation result of the class code for each pixel of the image, wherein the coordinates of each pixel are associated with each other; A storage unit for storing the class code as an address in the coordinate storage unit;
A class code of a target pixel of the first image constituting the moving image, and a generation result of the class code for each pixel of the second image before and after the first image stored in the storage unit; Detecting means for detecting a motion vector of a target pixel of the first image based on the comparison result of
The class code generation means includes
Setting means for setting a plurality of class code tap candidates composed of a plurality of pixels arranged at predetermined positions in the vicinity of the target pixel ;
Against set to each class code tap candidates, calculating means for calculating an evaluation value indicating the degree of variance of pixel values of a plurality of pixels constituting the tap candidates for the class code,
Based on the computation by said evaluation value, and determination means for the degree of variance of pixel values of a plurality of pixels constituting determines the tap candidates for the largest of the class code to the tap class code,
By 1 bit coding each pixel value of a plurality of pixels constituting the decision has been the tap class code, the class code of the same number of bits as the number of pixels constituting the tap class code for the pixel of interest Generating means for generating
Image data processing device. 前記演算手段は、
設定された各クラスコード用タップ候補に対して、前記クラスコード用タップ候補を構成する複数の画素の画素値の最小値に、前記複数の画素の画素値のダイナミックレンジの１／２を加算して閾値を算出し、
前記クラスコード用タップ候補を構成する複数の画素の各画素値と、算出した前記閾値との差の総和を、前記評価値として演算する
請求項１に記載の画像データ処理装置。The computing means is
Against set to each class code tap candidates, the minimum value of pixel values of a plurality of pixels constituting the tap candidates for the class code, adds 1/2 of the dynamic range of the pixel values of the plurality of pixels To calculate the threshold ,
Image data processing apparatus according to each pixel value of a plurality of pixels constituting the pre-Symbol tap candidates for the class code, the total sum of the difference between the calculated the threshold, in Claim 1, calculated as the evaluation value. 動画像を構成する画像の各画素を注目画素とし、前記注目画素に対する空間的な特徴量を示すクラスコードを、前記注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、
全ての前記クラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応する前記クラスコードをアドレスとする前記座標格納部に記憶する記憶部に、前記画像の各画素に対する前記クラスコードの生成結果を記憶する記憶ステップと、
前記動画像を構成する第１の画像の注目画素のクラスコードと、前記記憶部に記憶されている、前記第１の画像と前後する第２の画像の各画素に対する前記クラスコードの生成結果との比較結果に基づき、前記第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、
前記クラスコード生成ステップは、
前記注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、
設定された各クラスコード用タップ候補に対して、前記クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、
演算された前記評価値に基づき、構成する複数の画素の画素値の分散の程度が最大の 前記クラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、
決定された前記クラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、前記注目画素に対する前記クラスコード用タップを構成する画素数と同じビット数の前記クラスコードを生成する生成ステップとを含む
画像データ処理方法。 Class code generation that uses each pixel of an image constituting a moving image as a pixel of interest, and generates a class code indicating a spatial feature amount for the pixel of interest using pixel values of the pixel of interest and pixels located in the vicinity thereof Steps,
A plurality of coordinate storage units each having all the class codes as addresses are provided, and the coordinates of each pixel of the image are stored in the coordinate storage unit having the corresponding class code as an address. A storage step of storing the generation result of the class code for each pixel;
A class code of a target pixel of the first image constituting the moving image, and a generation result of the class code for each pixel of the second image before and after the first image stored in the storage unit; Detecting a motion vector of the target pixel of the first image based on the comparison result of
The class code generation step includes:
A setting step of setting a plurality of class code tap candidates including a plurality of pixels arranged at predetermined positions in the vicinity of the target pixel ;
Against set to each class code tap candidates, the calculation step of calculating an evaluation value indicating the degree of variance of pixel values of a plurality of pixels constituting the tap candidates for the class code,
Based on the computation by said evaluation value, the determination step of the degree of variance of pixel values of a plurality of pixels constituting determines the tap candidates for the largest of the class code to the tap class code,
By 1 bit coding each pixel value of a plurality of pixels constituting the decision has been the tap class code, the class code of the same number of bits as the number of pixels constituting the tap class code for the pixel of interest Generating step
Image data processing method. 動画像を構成する画像の各画素を注目画素とし、前記注目画素に対する空間的な特徴量を示すクラスコードを、前記注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、
全ての前記クラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応する前記クラスコードをアドレスとする前記座標格納部に記憶する記憶部に、前記画像の各画素に対する前記クラスコードの生成結果を記憶する記憶ステップと、
前記動画像を構成する第１の画像の注目画素のクラスコードと、前記記憶部に記憶されている、前記第１の画像と前後する第２の画像の各画素に対する前記クラスコードの生成結果との比較結果に基づき、前記第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、
前記クラスコード生成ステップは、
前記注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、
設定された各クラスコード用タップ候補に対して、前記クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、
演算された前記評価値に基づき、構成する複数の画素の画素値の分散の程度が最大の前記クラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、
決定された前記クラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、前記注目画素に対する前記クラスコード用タップを構成する画素数と同じビット数の前記クラスコードを生成する生成ステップとを含む
処理をコンピュータに実行させるプログラムが記録されている記録媒体。 Class code generation that uses each pixel of an image constituting a moving image as a pixel of interest, and generates a class code indicating a spatial feature amount for the pixel of interest using pixel values of the pixel of interest and pixels located in the vicinity thereof Steps,
A plurality of coordinate storage units each having all the class codes as addresses are provided, and the coordinates of each pixel of the image are stored in the coordinate storage unit having the corresponding class code as an address. A storage step of storing the generation result of the class code for each pixel;
A class code of a target pixel of the first image constituting the moving image, and a generation result of the class code for each pixel of the second image before and after the first image stored in the storage unit; Detecting a motion vector of the target pixel of the first image based on the comparison result of
The class code generation step includes:
A setting step of setting a plurality of class code tap candidates including a plurality of pixels arranged at predetermined positions in the vicinity of the target pixel ;
Against set to each class code tap candidates, the calculation step of calculating an evaluation value indicating the degree of variance of pixel values of a plurality of pixels constituting the tap candidates for the class code,
Based on the computation by said evaluation value, the determination step of the degree of variance of pixel values of a plurality of pixels constituting determines the tap candidates for the largest of the class code to the tap class code,
By 1 bit coding each pixel value of a plurality of pixels constituting the decision has been the tap class code, the class code of the same number of bits as the number of pixels constituting the tap class code for the pixel of interest Generating step
A recording medium on which a program for causing a computer to execute processing is recorded. 動画像を構成する画像の各画素を注目画素とし、前記注目画素に対する空間的な特徴量を示すクラスコードを、前記注目画素とその近傍に位置する画素の画素値を用いて生成するクラスコード生成ステップと、
全ての前記クラスコードをそれぞれアドレスとする複数の座標格納部を有し、画像の各画素の座標を、対応する前記クラスコードをアドレスとする前記座標格納部に記憶する記憶部に、前記画像の各画素に対する前記クラスコードの生成結果を記憶する記憶ステップと、
前記動画像を構成する第１の画像の注目画素のクラスコードと、前記記憶部に記憶されている、前記第１の画像と前後する第２の画像の各画素に対する前記クラスコードの生成結果との比較結果に基づき、前記第１の画像の注目画素の動きベクトルを検出する検出ステップとを含み、
前記クラスコード生成ステップは、
前記注目画素の近傍の所定の位置に配置された複数の画素からなる複数のクラスコード用タップ候補を設定する設定ステップと、
設定された各クラスコード用タップ候補に対して、前記クラスコード用タップ候補を構成する複数の画素の画素値の分散の程度を示す評価値を演算する演算ステップと、
演算された前記評価値に基づき、構成する複数の画素の画素値の分散の程度が最大の前記クラスコード用タップ候補をクラスコード用タップに決定する決定ステップと、
決定された前記クラスコード用タップを構成する複数の画素の各画素値を１ビット符号化することにより、前記注目画素に対する前記クラスコード用タップを構成する画素数と同じビット数の前記クラスコードを生成する生成ステップとを含む
処理をコンピュータに実行させるプログラム。 Class code generation that uses each pixel of an image constituting a moving image as a pixel of interest, and generates a class code indicating a spatial feature amount for the pixel of interest using pixel values of the pixel of interest and pixels located in the vicinity thereof Steps,
A plurality of coordinate storage units each having all the class codes as addresses are provided, and the coordinates of each pixel of the image are stored in the coordinate storage unit having the corresponding class code as an address. A storage step of storing the generation result of the class code for each pixel;
A class code of a target pixel of the first image constituting the moving image, and a generation result of the class code for each pixel of the second image before and after the first image stored in the storage unit; Detecting a motion vector of the target pixel of the first image based on the comparison result of
The class code generation step includes:
A setting step of setting a plurality of class code tap candidates including a plurality of pixels arranged at predetermined positions in the vicinity of the target pixel ;
Against set to each class code tap candidates, the calculation step of calculating an evaluation value indicating the degree of variance of pixel values of a plurality of pixels constituting the tap candidates for the class code,
Based on the computation by said evaluation value, the determination step of the degree of variance of pixel values of a plurality of pixels constituting determines the tap candidates for the largest of the class code to the tap class code,
By 1 bit coding each pixel value of a plurality of pixels constituting the decision has been the tap class code, the class code of the same number of bits as the number of pixels constituting the tap class code for the pixel of interest Generating step
A program that causes a computer to execute processing .
JP2002295591A 2002-10-09 2002-10-09 Image data processing apparatus and method, recording medium, and program Expired - Fee Related JP4129788B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002295591A JP4129788B2 (en) 2002-10-09 2002-10-09 Image data processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002295591A JP4129788B2 (en) 2002-10-09 2002-10-09 Image data processing apparatus and method, recording medium, and program

Publications (2)

Publication Number Publication Date
JP2004134911A JP2004134911A (en) 2004-04-30
JP4129788B2 true JP4129788B2 (en) 2008-08-06

Family

ID=32285784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002295591A Expired - Fee Related JP4129788B2 (en) 2002-10-09 2002-10-09 Image data processing apparatus and method, recording medium, and program

Country Status (1)

Country Link
JP (1) JP4129788B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977326B (en) * 2010-11-22 2012-05-09 天柏宽带网络科技（北京）有限公司 Stunt stream generation method based on MPEG (Moving Picture Experts Group)-2 transmission stream
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
CN110429878B (en) * 2019-07-23 2021-07-27 浙江工业大学 Double-active-disturbance-rejection control method for stepping motor type electro-mechanical converter

Also Published As

Publication number Publication date
JP2004134911A (en) 2004-04-30

Similar Documents

Publication Publication Date Title
JP5045320B2 (en) Image processing apparatus, image processing method, and computer program
US20060285596A1 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
US20050276330A1 (en) Method and apparatus for sub-pixel motion estimation which reduces bit precision
US9113170B2 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
US20080002774A1 (en) Motion vector search method and motion vector search apparatus
US20140212046A1 (en) Bit depth reduction techniques for low complexity image patch matching
KR102263619B1 (en) Signal analysis and generation of transient information
US6259737B1 (en) Method and apparatus for fast motion estimation in video coding
JP2010114597A (en) Motion vector detection apparatus, motion vector processing method and program
US8175160B1 (en) System, method, and computer program product for refining motion vectors
JP4129788B2 (en) Image data processing apparatus and method, recording medium, and program
US20070092005A1 (en) Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium
JP2010114596A (en) Motion vector detection apparatus, motion vector processing method and program
JP2004348741A (en) Image comparison method, computer readable storage medium for storing program for execution of the method, and device for execution of the method
US8098944B2 (en) Image processing apparatus, method, storage medium, and program
US20030081675A1 (en) Method and apparatus for motion estimation in a sequence of digital images
JP2012004616A (en) Adaptive quantization method, adaptive quantization apparatus and adaptive quantization program
JP4144316B2 (en) Image data processing apparatus and method, recording medium, and program
JP4239557B2 (en) Image processing apparatus and method, recording medium, and program
JP4329331B2 (en) Image processing apparatus and method, recording medium, and program
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
US7800624B2 (en) Memory device signal processing apparatus image signal processing apparatus and methods of the same
JP2009267726A (en) Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program
JP3861325B2 (en) Motion vector detection apparatus and detection method
KR20190001444A (en) Motion prediction method for generating interpolation frame and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees