JP3628776B2 - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置 Download PDFInfo
- Publication number
- JP3628776B2 JP3628776B2 JP27795695A JP27795695A JP3628776B2 JP 3628776 B2 JP3628776 B2 JP 3628776B2 JP 27795695 A JP27795695 A JP 27795695A JP 27795695 A JP27795695 A JP 27795695A JP 3628776 B2 JP3628776 B2 JP 3628776B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- motion vector
- stage
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の低ビットレート・高能率符号化・復号化装置、画像伝送装置、画像処理装置などに用いられる動画像の動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
従来、このような分野の技術としては、例えば、次のような文献に記載されるものがあった。
文献；電子情報通信学会論文誌、１９８９年、Ｊ７２−Ｄ−ＩＩ、富永他著、「階層画素情報を用いた動画像における動き量検出方式」、Ｐ．３９４−４０３
前記文献には、時間的に連続する２フレームからそれぞれ階層画像を生成し、上位階層から逐次的にブロック毎の動きベクトルを検出する方法が記載されている。
図２は、前記文献に記載された従来の動きベクトル検出装置の機能ブロック図である。
図２に示すように、動きベクトル検出装置は、ｎ段の前フレーム画像に対する階層画像生成部１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像に対する階層画像生成部２−ｉ（ｉ＝１〜ｎ）、（ｎ＋１）段の動きベクトル推定部３−ｉ（ｉ＝０〜ｎ）により構成されている。
この動きベクトル検出装置では、前フレーム信号ｓ１−０は、１段目の階層画像生成部（ＭＨＩ）１−１及び０段目の動きベクトル推定部（ＭＥ）３−０に送られる。
【０００３】
１段目の階層画像生成部１−１は、前フレーム信号ｓ１−０から式（１）にしたがって、１つ上位の階層画像信号ｓ１−１を生成して、２段目の階層画像生成部１−２及び１段目の動きベクトル推定部３−１に送る。
現フレーム信号ｓ２−０は、１段目の階層画像生成部２−１及び０段目の動きベクトル推定部３−０に送られる。１段目の階層画像生成部２−１は、現フレーム信号ｓ２−０から式（１）にしたがって、１つ上位の階層画像信号ｓ２−１を生成して、２段目の階層画像生成部１−２及び１段目の動きベクトル推定部３−１に送る。
ｉ段目の階層画像生成部２−ｉ（ｉ＝２〜ｎ）は、前フレームの１つ下位の階層画像信号ｓ２−（ｉ−１）から式（１）にしたがって、１つ上位の階層画像信号ｓ２−ｉを生成して、（ｉ＋１）段目の階層画像生成部１−（ｉ＋１）及びｉ段目の動きベクトル推定部３−ｉに送る。
但し、ｎ段目の階層画像生成部２−ｎは、１つ上位の階層画像信号ｓ２−ｎを生成して、ｎ段目の動きベクトル推定部３−ｎに送る。
【数１】
但し、ｆｈ （ｘ，ｙ） は画像信号であり、ｈは階層の番号を示し、最上位階層ではｈ＝ｎであり、現画像ｈ＝０であり、ｘは横方向、ｙは縦方向を示す。上記手順を１度行うと、出力画像信号は縦横ともに半分の大きさの画像信号になり、上記手順を前フレーム信号及び現フレーム信号共にｎ−１回繰り返すことによって、それぞれｎ段の階層画像信号を得る。
【０００４】
ｉ段目の動きベクトル推定部３−ｉは、ｉ段目の前フレーム信号の階層画像信号ｓ１−ｉ、現フレーム信号の階層画像信号ｓ２−ｉ、（ｉ＋１）段目の動きベクトル推定部３−（ｉ＋１）から送られてきた動きベクトルｓ３−（ｉ＋１）を入力として、ブロックマッチング法による動き検出法で動きベクトルを推定し、その出力信号ｓ３−ｉを（ｉ−１）段目の動きベクトル推定部３−（ｉ−１）に送る。
但し、ｎ段目の動きベクトル推定部３−ｎは、入力される動きベクトル＝０又はないものとして、０段目の動きベクトル推定部３−０の動きベクトルｓ３−０は、最終的な動きベクトルとする。
ブロックマッチング法では、式（２）により、マッチング誤差を計算する。
【数２】
式（２）において、ブロックの大きさをＮ×Ｎ画素、ｆｃｕｒ を現フレーム信号、ｆｐｒｅ を前フレーム信号としている。
式（２）が最小となる（ξ，η）の組を検出動きベクトルとする。上記手順をｎ＋１回繰り返すことによって、最終的に求める動きベクトルｓ３−０を得る。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の動きベクトル検出装置においては、次のような課題があった。
（ａ） ウェーブレット画像信号などの帯域信号が入力された場合において、現画像を一旦再生してから、階層画像を生成しなければならない。従って、フィルタを何度もかけなければならず、装置を複雑にし、かつ処理の効率が悪いという問題点があった。
（ｂ） 従来の動きベクトル検出装置はあくまでもブロック単位にしか動きベクトルを求めることができず、かつブロックサイズが固定される。従って、フレーム画像全体で、各フレームの画素を表す情報量が少ない低ビットレート動画像符号化では、動き補償後のブロック歪による画像品質の低下が著しいという問題点があった。
（ｃ） 従来の動きベクトル検出装置はブロックベースでの検出であるので、そのブロック内で異なる動きがある場合には、正確な動きベクトルを求めることができない。また、ブロックの境界で、同じ動画像上に動きが不連続な点が生じるという問題点があった。
【０００６】
【課題を解決するための手段】
前記課題を解決するために、請求項１〜５に係る発明の動きベクトル検出装置では、最上位階層である０階層目の第１の帯域分割信号から最下位階層であるｎ（ｎ≧１の任意の正整数）階層目の第１の帯域分割信号により構成されるｎ＋１階層の第１の帯域分割信号からなる前フレーム画像を入力し、前記前フレーム画像を再構成して１段目〜ｎ段目の第１の階層画像信号を出力するｎ段の第１の階層画像復元部と、最上位階層である０階層目の第２の帯域分割信号から最下位階層であるｎ階層目の第２の帯域分割信号により構成されるｎ＋１階層の第２の帯域分割信号からなる現フレーム画像を入力し、前記現フレーム画像を再構成して１段目〜ｎ段目の第２の階層画像信号を出力するｎ段の第２の階層画像復元部と、０段目〜ｎ段目の動きベクトル推定部を有し、前記前フレーム画像及び前記現フレーム画像における各階層で同じサイズ（＝Ｍ×Ｎ画素、Ｍ、Ｎは２以上の任意の正整数）のブロック毎にマッチングを行い、動きベクトルを推定して動きベクトル信号を出力するｎ＋１段の動きベクトル推定部とを備えている。
前記ｎ段の第１の階層画像復元部において、前記１段目の第１の階層画像復元部は、前記前フレーム画像の０階層目及び１階層目の第１の帯域分割信号を入力し、前記前フレーム画像を復元して１段目の第１の階層画像信号を出力し、前記ｉ（２≦ｉ≦ｎ）段目の第１の階層画像復元部は、前記ｉ階層目の第１の帯域分割信号と前段に位置する前記ｉ−１段目の第１の階層画像復元部から出力される前記ｉ−１段目の第１の階層画像信号とを入力し、前記前フレーム画像を復元してｉ段目の第１の階層画像信号を出力するものである。
前記ｎ段の第２の階層画像復元部において、前記１段目の第２の階層画像復元部は、前記現フレーム画像の０階層目及び１階層目の第２の帯域分割信号を入力し、前記現フレーム画像を復元して１段目の第２の階層画像信号を出力し、前記ｉ段目の第２の階層画像復元部は、前記ｉ階層目の第２の帯域分割信号と前段に位置する前記ｉ−１段目の第２の階層画像復元部から出力される前記ｉ−１段目の第２の階層画像信号とを入力し、前記現フレーム画像を復元してｉ段目の第２の階層画像信号を出力するものである。
前記ｎ＋１段の動きベクトル推定部において、前記０段目の動きベクトル推定部は、前記前フレーム画像の０階層目の第１の帯域分割信号と前記現フレーム画像の０階層目の第２の帯域分割信号とを入力し、動きベクトルの推定を行って０段目の動きベクトル信号を出力し、前記ｊ（１≦ｊ≦ｎ）段目の動きベクトル推定部は、前段に位置する前記ｊ−１段目の動きベクトル推定部から出力される前記ｊ−１段目の動きベクトル信号と、前記ｊ段目の第１の階層画像信号及び前記ｊ段目の第２の階層画像信号とを入力し、動きベクトルの推定を行ってｊ段目の動きベクトル信号を出力するものである。
【０００７】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態を示す動きベクトル検出装置の機能ブロック図である。
本第１の実施形態の動きベクトル検出装置が従来の動きベクトル検出装置と異なる点は、帯域分割された画像信号を入力して、階層画像を復元しながら、動きベクトルを検出するようにしたことである。
図１に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する第１の階層画像復元部（ＭＨＲ）２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する第２の階層画像復元部（ＭＨＲ）２２−ｉ（ｉ＝１〜ｎ）と、（ｎ＋１）段の動きベクトルを推定する動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０〜ｎ）とを備えている。
前フレーム信号の０階層目の帯域信号ｓ１１−０は、１段目の階層画像復元部２１−１、及び０段目の動きベクトル推定部２３−０に接続されている。現フレーム信号の０階層目の帯域信号ｓ１２−０は、１段目の階層画像復元部２２−１及び０段目の動きベクトル推定部２３−０に接続されている。
【０００８】
前フレーム信号の１階層目の帯域信号ｓ１１−１は、１階層目の階層画像復元部２１−１に接続され、階層画像復元部２１−１の出力信号ｓ２１−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像復元部２１−２に送られる。
現フレーム信号の１階層目の帯域信号ｓ１２−１は、１階層目の階層画像生成部２２−１に接続され、階層画像復元部２２−１の出力信号ｓ２２−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像復元部２２−２に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像復元部２１−ｉは、ｉ階層目の前フレームの帯域信号ｓ１１−ｉ及び前段の階層画像復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ−１）を入力として、階層画像復元部２１−ｉの出力信号ｓ２１−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像復元部２１−（ｉ＋１）に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像復元部２２−ｉは、ｉ階層目の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画像復元部２２−（ｉ−１）の出力信号ｓ２２−（ｉ−１）を入力として、階層画像復元部２２−ｉの出力信号ｓ２２−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像復元部２２−（ｉ＋１）に送られる。
【０００９】
０段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−ｉは、１段目の動きベクトル推定部２３−１に送られ、さらに１段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−１は、２段目の動きベクトル推定部２３−２に送られる。
ｉ（１≦ｉ≦ｎ）段目の動きベクトル推定部２３−ｉは、動きベクトルｓ２３−（ｉ−１）と前フレームの画像信号ｓ２１−ｉと、現フレームの画像信号ｓ２２−ｉとを入力して、その出力信号ｓ２３−ｉは（ｉ＋１）段目の動きベクトル推定部２３−ｉに送られる。
但し、０段目の動きベクトル推定部２３−０においては、入力動きベクトル信号をゼロであるとして扱うと、各段の動きベクトル推定部が同一構成になる。ｎ段目の動きベクトル推定部２３−ｎの出力信号ｓ２３−ｎが最終的な検出動きベクトルとなる。
【００１０】
図３は、帯域信号がウェーブレット信号である場合の図１中の階層画像復元部２２−ｉの機能ブロック図である。
図３に示すように、階層画像復元部２２−ｉは、アップサンプリング部（ＵＰ）５１−ｉ，５２−ｉ，５３−ｉ，５４−ｉ、高域通過フィルタ（Ｇ）６１−ｉ、低域通過フィルタ（Ｈ）６２−ｉ、高域通過フィルタ（Ｇ）６３−ｉ、低域通過フィルタ（Ｈ）６４−ｉ、加算器７１−ｉ，７２−ｉ、アップサンプリング部（ＵＰ）８１−ｉ，８２−ｉ、加算器９１、乗算器１０１により構成されている。
高域通過フィルタ６１−ｉ，６３−ｉ，８３−ｉ、低域通過フィルタ６２−ｉ，６４−ｉ，８４−ｉはウェーブレット変換信号ｓ１１−ｉを生成する際に使用したフィルタと逆特性のフィルタである。
前フレームの帯域信号ｓ１１−ｉは、例えば、帯域信号ｓ１１−ｉ１ ，ｓ１１−ｉ２ ，ｓ１１−ｉ３ により構成される。
【００１１】
帯域信号ｓ１１−ｉ１ は、画像信号の行及び列について高域通過フィルタを掛けられたウェーブレット画像信号、帯域信号ｓ１１−ｉ２ は、画像信号の行方向に高域通過フィルタを、列方向に低域通過フィルタを掛けられたウェーブレット画像信号である。
帯域信号ｓ１１−ｉ３ は、画像信号の行方向に低域通過フィルタを、列方向に高域通過フィルタを掛けられたウェーブレット画像信号、帯域信号ｓ２１−（ｉ−１）は、行及び列方向に低域通過フィルタを掛けられた信号である（但し、ｉ＝０の場合は、行及び列方向に低域通過フィルタを掛けられたウェーブレット信号である。）。
入力信号ｓ１１−ｉ１ は、アップサンプリング部５１−ｉに接続され、アップサンプリング部５１−ｉの出力信号ｓ５１−ｉは、高域通過フィルタ６１−ｉに接続されている。
入力信号ｓ１１−ｉ２ は、アップサンプリング部５２−ｉに接続され、アップサンプリング部５２−ｉの出力信号ｓ５２−ｉは、低域通過フィルタ６２−ｉに接続されている。
【００１２】
入力信号ｓ１１−ｉ３ は、アップサンプリング部５３−ｉに接続され、アップサンプリング部５３−ｉの出力信号ｓ５３−ｉは、高域通過フィルタ６３−ｉに接続されている。
入力信号ｓ２１−（ｉ−１）（又は、ｓ１１−０４ ）は、アップサンプリング部５４−ｉに接続され、アップサンプリング部５４−ｉの出力信号ｓ５４−ｉは、低域通過フィルタ６４−ｉに接続されている。
高域通過フィルタ６１−ｉの出力信号ｓ６１−ｉ及び低域通過フィルタ６２−ｉの出力信号ｓ６２−ｉは、加算器７１−ｉに接続され、加算器７１−ｉの出力信号ｓ７１−ｉは、アップサンプリング部８１−ｉに接続されている。
高域通過フィルタ６３−ｉの出力信号ｓ６３−ｉ及び低域通過フィルタ６４−ｉの出力信号ｓ６４−ｉは、加算器７２−ｉに接続され、加算器７２−ｉの出力信号ｓ７２−ｉは、アップサンプリング部８２−ｉに接続されている。
アップサンプリング部８１−ｉの出力信号ｓ８１−ｉは、高域通過フィルタ８３−ｉに接続され、アップサンプリング部８２−ｉの出力信号ｓ８２−ｉは、加算器９１に接続されている。加算器９１の出力信号ｓ９１は、乗算器１０１に接続され、乗算器１０１の出力信号が階層画像復元部２１−ｉの出力信号ｓ２１−ｉとなる。
階層画像復元部２２−ｉの構成も階層画像復元部２１−ｉと同様である。
【００１３】
以下、図１の動作の説明をする。
入力信号ｓ１１−ｉ（ｉ＝０〜ｎ）は、前フレームのｉ段目のウェーブレット信号であり、入力信号ｓ１２−ｉは、現フレームのｉ段目のウェーブレット信号である。ウェーブレット信号は、例えば、前フレーム、現フレームの画像信号の周波数帯域を１／２ずつに分割するとともに、半分にダウンサンプリングをしたものであり、入力信号ｓ１１−ｉは、例えば、以下の通りである。
入力信号ｓ１１−ｉは、信号ｓ１１−ｉ１ 〜ｓ１１−ｉ３ より構成されており、原画像又は前段のウェーブレット変換部より出力される信号に対して、以下の処理を施した信号である。
ウェーブレット信号ｓ１１−ｉ１ は、行方向、及び列方向にそれぞれ高域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
ウェーブレット信号ｓ１１−ｉ２ は、行方向に高域通過フィルタをかけ、列方向に低域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
ウェーブレット信号ｓ１１−ｉ３ は、行方向に低域通過フィルタをかけ、列方向に高域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
行方向、列方向に低域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号は、次段のウェーブレット変換部に出力して、最終段のウェーブレット信号は、信号ｓ１１−０４ として、階層画像復元部２１−０に入力される信号である。
【００１４】
まず、前フレームのｉ段目のウェーブレット変換信号ｓ１１−ｉは、階層画像復元部２１−１に入力される。
アップサンプリング５１−ｉは、ウェーブレット変換信号ｓ１１−ｉ１ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５１−ｉを高域通過フィルタ６１−ｉに送る。
アップサンプリング５２−ｉは、ウェーブレット変換信号ｓ１１−ｉ２ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５２−ｉを低域通過フィルタ６２−ｉに送る。
アップサンプリング部５３−ｉは、ウェーブレット変換信号ｓ１１−ｉ３ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５３−ｉを高域通過フィルタ６３−ｉに送る。
アップサンプリング部５４−ｉは、ウェーブレット変換信号ｓ１１−０４ 又は前段の階層画像復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ−１）を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５４−０を低域通過フィルタ６４−０に送る。
【００１５】
高域通過フィルタ６１−ｉは、信号ｓ５１−ｉを列方向に高域通過フィルタ処理（アップサンプリング部５１−ｉで０挿入したので、列方向の周波数が変わりスムージング処理をする必要があるため）をして、出力信号ｓ６１−ｉを加算器７１−ｉに入力する。
低域通過フィルタ６２−ｉは、信号ｓ５２−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ６２−ｉを加算器７１−ｉに入力する。
加算器７１−ｉは、信号ｓ６１−ｉと信号ｓ６２−ｉとを加算（合波）して、出力信号ｓ７１−ｉをアップサンプリング８１−ｉに入力する。
アップサンプリング８１−ｉは、行方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ８１−ｉを高域通過フィルタ８３−ｉに出力する。高域通過フィルタ８３−ｉは、出力信号ｓ８１−ｉを行方向に高域通過フィルタ処理をして、出力信号ｓ８３−ｉを加算器９１に出力する。
【００１６】
高域通過フィルタ６３−ｉは、信号ｓ５３−ｉを列方向に高域通過フィルタ処理をして、出力信号ｓ６３−ｉを加算器７３−ｉに入力する。低域通過フィルタ６４−ｉは、信号ｓ５４−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ６４−ｉを加算器７３−ｉに入力する。
加算器７２−ｉは、信号ｓ６３−ｉと信号ｓ６４−ｉとを加算して、出力信号ｓ７３−ｉをアップサンプリング部８３−ｉに入力する。アップサンプリング部８３−ｉは、行方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ８３−ｉを低域通過フィルタ８３−ｉに出力する。
低域通過フィルタ８４−ｉは、出力信号ｓ８４−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ８４−ｉに出力する。出力信号ｓ８４−ｉは、行及び列方向についてウェーブレット変換部でダウンサンプリングされる前の信号に一致する。
加算器９１は、信号ｓ８３−ｉと信号ｓ８４−ｉを加算（合波）して、出力信号ｓ９１を乗算器１０１に入力する。乗算器１０１は、出力信号ｓ９１を４倍にして、出力信号ｓ２１−ｉを（ｉ＋１）段目の階層画像復元部２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに出力する。
【００１７】
この出力信号ｓ２１−ｉは、上述したようにウェーブレット変換部での処理を逆方向にしたものであるので、前段のウェーブレット変換部より出力されたウェーブレット信号に復元されることになる。
上記処理が、階層画像復元部２１−ｉ（ｉ＝０〜ｎ）において順次実行されて、前フレームの画像がウェーブレット逆変換されて、信号ｓ２１−ｉが、階層画像生成部２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像復元部２１−ｎからは、前フレーム画像の再生画像ｓ２１−ｎが得られる。同様に、階層画像復元部２２−ｉ（ｉ＝０〜ｎ）において現フレームの画像がウェーブレット逆変換されて、このウェーブレット逆変換された信号ｓ２２−ｉが階層画像復元部２２−（ｉ＋１）の低帯域成分として、動きベクトル推定部２３−ｉに入力される。階層画像復元部２２−ｎからは、現フレーム画像の再生画像ｓ２２−ｎが得られる。
上記手順により得られた信号ｓ２１−ｉ，ｓ２２−ｉは、ｉが１段上がる（階層が１つ下がる）につれて、周波数帯域が２倍、画素数が２×２倍となる階層画像である。
【００１８】
動きベクトル推定部２３−ｉは、以下のようにして動きベクトルｓ２３−ｉを検出する。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。各階層で同じブロックサイズで動きベクトルの検出を行うので、階層が下がるにつれて画素が行・列について２倍に増えるので、階層を下げていくことが原画像に対応する検出ブロックサイズを細分化することを意味する。最下位階層まで検出を続けることにより、Ｎ×Ｎ画素の大きさのブロック毎に動きベクトルが求まる。
０段目の動きベクトル推定部２３−０は、信号ｓ２１−０と信号ｓ２２−０との間で、式（２）に示すＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−０を算出して、１段目の動きベクトル推定部２３−１に出力する。
１段目の動きベクトル推定部２３−１は、動きベクトル信号ｓ２３−０と前フレームの画像信号ｓ２１−１と現フレームの画像信号ｓ２２−１とから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−１を算出して、２段目の動きベクトル推定部２３−２に出力する。
【００１９】
同様に、ｉ段目の動きベクトル推定部２３−ｉ（ｉ＝２〜ｎ）は、動きベクトル信号ｓ２３−（ｉ−１）と前フレームの画像信号ｓ２１−ｉと現フレームの画像信号ｓ２２−ｉとから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトル信号ｓ２３−ｉを算出して、（ｉ＋１）段目の動きベクトル推定部２３−（ｉ＋１）に出力する。動きベクトル推定部２３−ｎからは、最終的な動きベクトルｓ２３−ｎが得られることになる。
以上説明したように、第１の実施形態によれば、帯域分割信号が入力された場合に、従来技術では、一旦、画像を再生してから階層画像を生成しなければならないが、帯域分割信号から直接階層画像を復元しながら動きベクトル推定を行うことができる。従って、画像を再生する部分が必要でなくなり、システムを簡単に構築することができる。
【００２０】
（第２の実施形態）
図４は、本発明の第２の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図１中の要素に共通する要素には共通の符号を付してある。
本第２の実施形態の動きベクトル検出装置が第１の実施形態の動きベクトル検出装置と異なる点は、ｎ段の第１の階層画像復元部２１−ｉ、及びｎ段の第２の階層画像復元部２２−ｉの代わりに、簡易フィルタを用いて、第１の階層画像簡易復元部（ＳＨＲ）１２１−ｉ、及び第２の階層画像簡易生成部（ＳＨＲ）１２２−ｉで構成したことである。
図４に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する階層画像簡易復元部（ＳＨＲ）１２１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像を再構成する階層画像簡易復元部（ＳＨＲ）１２２−ｉ（ｉ＝１〜ｎ）、ｎ＋１段の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）とを備えている。
【００２１】
前フレーム信号の０階層目の帯域信号ｓ１１−０は、１段目の階層画像生成部２１−１、及び０段目の動きベクトル推定部２３−０に接続されている。現フレーム信号の０階層目の帯域信号ｓ１２−０は、１段目の階層画像生成部２２−１及び０段目の動きベクトル推定部２３−０に接続されている。
前フレーム信号の１階層目の帯域信号ｓ１１−１は、１階層目の階層画像簡易復元部１２１−１に接続され、階層画像簡易復元部１２１−１の出力信号ｓ２１−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像簡易復元部１２１−２に送られる。
現フレーム信号の１階層目の帯域信号ｓ１２−１は、１階層目の階層画像簡易復元部１２２−１に接続され、階層画像簡易復元部１２２−１の出力信号ｓ１２２−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像簡易復元部１２２−２に送られる。
【００２２】
ｉ（２≦ｉ≦ｎ）段目の階層画像簡易復元部１２１−ｉは、ｉ階層目の前フレームの帯域信号ｓ１１−ｉ及び前段の階層画像簡易復元部１２１−（ｉ−１）の出力信号ｓ１２１−（ｉ−１）を入力して、階層画像簡易復元部１２１−ｉの出力信号ｓ１２１−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像簡易復元部１２１−（ｉ＋１）に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像簡易復元部１２２−ｉは、ｉ階層目の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画像簡易復元部１２２−（ｉ−１）の出力信号ｓ１２２−（ｉ−１）を入力として、階層画像簡易復元部１２２−ｉの出力信号ｓ１２２−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像簡易復元部１２２−（ｉ＋１）に送られる。
０段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−ｉは、１段目の動きベクトル推定部２３−１に送られ、さらに１段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−１は、２段目の動きベクトル推定部２３−２に送られる。
ｉ（１≦ｉ≦ｎ）段目の動きベクトル推定部２３−ｉは、動きベクトル信号ｓ２３−（ｉ−１）と前フレームの画像信号ｓ１２１−ｉと現フレームの画像信号ｓ１２２−ｉとを入力して、その出力信号ｓ２３−ｉは（ｉ＋１）段目の動きベクトル推定部２３−ｉに送られる。
但し、０段目の動きベクトル推定部２３−０においては、入力動きベクトル信号をゼロであるとして扱うと、各段の動きベクトル推定部動きベクトル推定部が同一構成になる。ｎ段目の動きベクトル推定部２３−ｎの出力信号ｓ２３−ｎが最終的な検出動きベクトルとなる。
【００２３】
図５は、図４中の階層画像簡易復元部の機能ブロック図であり、図３中の要素に共通する要素には共通の符号を付してある。
階層画像簡易復元部が階層画像復元部と異なる点は、高域通過フィルタ及び低域通過フィルタを簡易フィルタで置き換えたことである。
図５に示すように、図４中の階層画像簡易復元部１２１−ｉは、アップサンプリング部（ＵＰ）５１−ｉ，５２−ｉ，５３−ｉ，５４−ｉ、簡易フィルタ（ＳＦ）１２１−ｉ，１２２−ｉ，１２３−ｉ，１２４−ｉ、加算器７１−ｉ，７２−ｉ、アップサンプリング部（ＵＰ）８１−ｉ，８２−ｉ、及び簡易フィルタ（ＳＦ）１８３−ｉ，１８４−ｉにより構成されている。
【００２４】
入力信号ｓ１１−ｉ１ はアップサンプリング部５１−ｉに接続され、アップサンプリング部５１−ｉの出力信号ｓ５１−ｉは、簡易フィルタ１６１−ｉに接続されている。
入力信号ｓ１１−ｉ２ はアップサンプリング５２−ｉに接続され、アップサンプリング５２−ｉの出力信号ｓ５２−ｉは、簡易フィルタ１６２−ｉに接続されている。
入力信号ｓ１１−ｉ３ はアップサンプリング５３−ｉに接続され、アップサンプリング５３−ｉの出力信号ｓ５３−ｉは、簡易フィルタ１６３−ｉに接続されている。
入力信号ｓ２１−（ｉ−１）（又は、ｓ１１−０４ ）は、アップサンプリング５４−ｉに接続され、アップサンプリング５４−ｉの出力信号ｓ５４−ｉは、簡易フィルタ１６４−ｉに接続されている。
簡易フィルタ１６１−ｉの出力信号ｓ１６１−ｉ及び簡易フィルタ１６２−ｉの出力信号ｓ１６２−ｉは、加算器７１−ｉに接続され、加算器７１−ｉの出力信号ｓ７１−ｉは、アップサンプリング部８１−ｉに接続されている。
簡易フィルタ１６３−ｉの出力信号ｓ１６３−ｉ及び簡易フィルタ１６４−ｉの出力信号ｓ１６４−ｉは、加算器７２−ｉに接続され、加算器７２−ｉの出力信号ｓ７２−ｉは、アップサンプリング部８２−ｉに接続されている。
アップサンプリング部８１−ｉの出力信号ｓ８１−ｉは、簡易フィルタ１８３−ｉに接続され、アップサンプリング部８２−ｉの出力信号ｓ８２−ｉは、加算器９１に接続されている。
【００２５】
加算器９１の出力信号ｓ９１は、乗算器１０１に接続され、乗算器１０１の出力信号ｓ１０１が階層画像生成部１２１−ｉの出力信号ｓ１２１−ｉとなる。
階層画像簡易復元部１２２−ｉの構成も階層画像簡易復元部１２１−ｉと同様である。
簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉ，１８３−ｉ，１８４−ｉのフィルタ係数は、（１／８，３／８，３／８，１／８）である。このようなフィルタ係数を持つ簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉ，１８３−ｉ，１８４−ｉは、シフタ及び３倍の乗算器で構成される。
簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉは、次式（４）で示される列方向のフィルタ処理を施し、簡易フィルタ１８３−ｉ，１８４−ｉは、次式（５）で示される行方向のフィルタ処理を施すスムージングフィルタである。
ｆ（＊，＊）は画像信号であり、ｘは横方向、ｙは縦方向の座標である。
【００２６】
以下、図４の動作の説明をする。
アップサンプリング５１−ｉ〜５４−ｉより行方向に０が挿入され２倍にアップサンプリングされた信号ｓ５１−ｉ〜ｓ５４−ｉは、簡易フィルタ１６１−ｉ〜１６４−ｉにそれぞれ入力される。
簡易フィルタ１６１−ｉは、信号ｓ５２−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５１−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６１−ｉを加算器７１−ｉに出力する。
簡易フィルタ１６２−ｉは、信号ｓ５２−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５２−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器７２−ｉに出力する。
簡易フィルタ１６３−ｉは、信号ｓ５３−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５３−ｉの０を挿入された画素をスムーズにして、出力信号ｓ１６３−ｉを加算器７２−ｉに出力する。
簡易フィルタ１６４−ｉは、信号ｓ５４−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５４−ｉの０を挿入された画素をスムーズにして、出力信号ｓ１６４−ｉを加算器７２−ｉに出力する。
【００２７】
信号ｓ１６１−ｉ〜ｓ１６４−ｉは、列方向について、スムージング処理したので、ウェーブレット変換部で高域通過フィルタをかけられた信号、又は低域通過フィルタをかけられた信号にほぼ一致する。
加算器７１−ｉは、信号ｓ１６１−ｉと信号ｓ１６２−ｉを加算して、合波して、アップサンプリング部８１−ｉに信号ｓ７１−ｉを出力する。加算器７２−ｉは、信号ｓ１６３−ｉと信号ｓ１６４−ｉを加算して、合波して、アップサンプリング８２−ｉに信号ｓ７２−ｉを出力する。
アップサンプリング部８１−ｉは、０を挿入して行方向に２倍にアップサンプリングして、出力信号ｓ８１−ｉを簡易フィルタ１８１−ｉに出力する。簡易フィルタ１８１−ｉは、信号ｓ８１−ｉを式（５）によって示される行方向のフィルタ処理を施して、信号ｓ８１−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器９１に出力する。
アップサンプリング部８２−ｉは、０を挿入して行方向に２倍にアップサンプリングして、出力信号ｓ８２−ｉを簡易フィルタ１８４−ｉに出力する。簡易フィルタ１８４−ｉは、信号ｓ８２−ｉを式（５）によって示される行方向のフィルタ処理を施して、信号ｓ８２−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器９１に出力する。
【００２８】
信号ｓ１６２−ｉ〜１６４−ｉは、行方向について、スムージング処理したので、ウェーブレット変換部での行方向の高域通過フィルタ、低域通過フィルタをかけられた信号にほぼ一致する。
信号ｓ１８３−ｉとｓ１８４−ｉとを加算器９１で合波して、信号ｓ９１を乗算器１０１に出力する。乗算器１０１は、画素を４倍して、信号ｓ１２１−ｉを出力する。
上記処理が、階層画像簡易復元部１２１−ｉ（ｉ＝０〜ｎ）において順次実行されて、前フレームの画像がウェーブレット逆変換されて、信号ｓ１２１−ｉが階層画像簡易復元部１２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像簡易復元部１２１−ｎからは、前フレーム画像の再生画像ｓ１２１−ｎが得られる。
【００２９】
同様に、階層画像簡易復元部１２２−ｉ（ｉ＝０〜ｎ）において順次実行されて、現フレームの画像がウェーブレット逆変換されて、信号ｓ１２２−ｉが階層画像簡易復元部１２２−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像簡易復元部１２２−ｎからは、現フレーム画像の再生画像ｓ１２１−ｎが得られる。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。各階層で同じブロックサイズで動きベクトルの検出を行うので、階層を下げていくことが原画像に対応する検出ブロックサイズを細分化することを意味する。最下位階層まで検出を続けることにより、Ｎ×Ｎ画素の大きさのブロック毎に動きベクトルが求まる。
ｉ段目の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）は、動きベクトル信号ｓ２３−（ｉ−１）（但し、ｉ＝０の時は、入力信号を０またはないものとする）と前フレームの画像信号ｓ１２１−ｉと現フレームの画像信号ｓ１２２−ｉとから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−ｉを算出して、（ｉ＋１）段目の動きベクトル推定部２３−（ｉ＋１）に出力する。動きベクトル推定部２３−ｎからは、最終的な動きベクトルｓ２３−ｎが得られることになる。
【００３０】
以上説明したように、本第２の実施形態によれば、第１の実施形態の階層画像復元部を、フィルタ係数の簡単なスムージングフィルタを用いた階層画像簡易復元部に置き換えたので、第１の実施形態の利点に加えて、以下の利点がある。
（ａ） フィルタがシフタと乗算器によって構成できるのでウェーブレット逆変換部の構成が簡単になる。
（ｂ） シフタと乗算器によるフィルタ処理のため、復元される階層画像がどのシステムにおいても、システムの精度による差がないため、完全に一致させることができる。
（ｃ） ウェーブレット信号を生成するために使用したフィルタに関わらず、フィルタを固定するので、フィルタの種類を１種類に減らすことができて、構成が簡単になる。
（ｄ） フィルタの係数を簡単にすることにより、計算機システムの浮動少数点演算の精度に関わらず、再生画像をほぼ完全に一致させることができるので、どの計算機上における検出動きベクトルも同じであると保証される。ここで行われる再生は、簡易再生であり、動きベクトルの検出の時のみに用いられるものであるので、最終的な再生画像に影響を及ぼさない。
【００３１】
（第３の実施形態）
図６は、本発明の第３の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図１中の要素に共通する要素には共通の符号を付してある。
本第３の実施形態の動きベクトル検出装置が第１の実施形態の動きベクトル検出装置と異なる点は、動きベクトル推定部２３−ｉと動きベクトル推定部２３−（ｉ＋１）との間に、動きベクトル探索を打ち切るか否かを判定するｎ段の動き探索打ち切り判定部（ＪＴ）１２４−ｉを設けたことである。
図６に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する階層画像復元部（ＭＨＲ）２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する階層画像復元部（ＭＨＲ）２２−ｉ（ｉ＝１〜ｎ）と、ｎ＋１段の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）と、動きベクトル探索を打ち切るか否かを判定するｎ段の動き探索打ち切り判定部（ＪＴ）２２４−ｉ（ｉ＝０〜ｎ−１）とを備えている。
動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ−１）の出力信号ｓ２３−ｉは、ＪＴ２２４−ｉに接続され、動き探索打ち切り判定部２２４−ｉの出力信号ｓ２２４−ｉは、動きベクトル推定部２３−（ｉ＋１）に接続されている。
【００３２】
図７は、図６中の動き探索打ち切り判定部の構成図である。
図７に示すように、信号ｓ２３−ｉは、動きベクトル信号ｓ２３−ｉ１ と推定誤差信号ｓ２３−ｉ２ とからなり、これらの信号ｓ２３−ｉ１ とｓ２３−ｉ２ が動き探索打ち切り判定部２２４−ｉに入力されて、動き探索打ち切り判定部２２４−ｉからは出力信号ｓ２２４−ｉより出力される。出力信号ｓ２２４−ｉは、動きベクトルｓ２３−ｉ１ と動き探索の打ち切りあるいは継続を示す識別信号ｓ２２４−ｉ２ とからなる。
【００３３】
以下、図６の動作の説明をする。
入力信号ｓ１１−０は、前フレーム画像の０段目の帯域信号であり、ｓ１２−０は現フレーム画像の０段目の帯域信号であり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。ウェーブレット画像信号などの帯域分割された信号では、階層が１つ下がると行及び列方向にそれぞれ半分に間引き処理されている。
そのため、階層ｈについては、原画像の画素数で見れば、そのＮ×Ｎ画素のブロックは、（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素となるので、可変ブロックサイズとなっている。
【００３４】
動きベクトル推定部２３−ｉは、前フレームの階層画像信号ｓ２１−ｉと現フレームの階層画像信号ｓ２２−ｉと動きベクトル信号ｓ２３−（ｉ−１）とを入力して、Ｎ×Ｎ画素のブロックでブロックマッチングにより、各ブロック毎の動きベクトル信号ｓ２３−ｉｊ１（ｊは、ｊ＝１〜Ｍｉ であり、（ｎ−ｉ）階層目の階層画像信号について動きベクトルが算出されたブロックに対応）を求める。
動きベクトル信号ｓ２３−ｉｊ１が算出された式（２）の左辺の値を推定誤差信号ｓ２３−ｉｊ２として、動きベクトルｓ２３−ｉｊ１（ｓ２３−ｉ１ ＝｛ｓ２３−ｉｊ１，ｊ＝１〜Ｍｉ ｝）及び推定誤差信号ｓ２３−ｉｊ２（ｓ２３−ｉ２ ＝｛ｓ２３−ｉｊ２，ｊ＝１〜Ｍｉ ｝）を動き探索打ち切り判定部２２４−ｉに出力する。
動き探索打ち切り判定部２２４−ｉは、各ブロックについての推定誤差信号ｓ２３−ｉｊ２が閾値よりも小さければ、そのブロックについては、動き探索の打ち切りを示す第２の識別信号ｓ２２４−ｉ ｊ２ を、推定誤差信号ｓ２３−ｉｊ２が閾値よりも大きければ、動き探索の継続を示す第１の識別信号ｓ２２４−ｉｊ２を、動きベクトルｓ２３−ｉｊ１に付加した信号ｓ２２４−ｉｊ を動きベクトル推定部２３−（ｉ＋１）に出力する。
【００３５】
動きベクトル推定部２３−（ｉ＋１）は、識別信号２２４−ｉｊ２が動き探索の打ち切りを示す場合は、そのブロックについての動きベクトルの探索を打ち切り、識別信号２２４−ｉｊ２が動き探索の継続を示す場合は、そのブロックを細分化したブロックで、上述したブロックマッチングにより動きベクトルを推定する。
これにより、各ブロック毎に動きベクトルの探索の継続、打ち切りが判定されて、画像のブロックに応じた最適なブロック（例えば、動きのない背景画像などのブロック領域については、ｎ階層目でブロックの探索が打ち切られ、細かな動きのブロック領域についはより下位の細分化されたブロックで動きベクトルが探索されることになる）で動きベクトルが探索される。
【００３６】
以上説明したように、第３の実施形態によれば、動き探索打ち切り判定部を設けたので、動き推定を途中で打ち切り可変ブロックサイズでの動きベクトル検出を可能としたため、以下の利点がある。
（ａ） 帯域分割信号が入力された場合において、簡単なシステムで可変ブロックサイズでの動きベクトル検出を行うことができる。
（ｂ） 途中で打ち切ることにより、効率の良い動きベクトル検出を行うことができる。そのため、上位階層で真の動きベクトルが求まっても、最後まで検出まを行う従来の方法により処理時間が少なくてすむ。また、削減された処理時間を動きが複雑な部分の動きベクトルの検出の処理に割り当てることができる。
【００３７】
（第４の実施形態）
図８は、本発明の第４の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図６中の要素に共通する要素には共通の符号を付してある。
本第４の実施形態の動きベクトル検出装置が第３の実施形態の動きベクトル検出装置と異なる点は、ｍ段の拡張用動きベクトル推定部（ＭＥ）２３−（ｎ＋ｊ）（ｊ＝１〜ｍ）と、ｍ段の拡張用動きベクトル探索打ち切り判定部（ＪＴ）２２４−（ｎ＋ｊ）（ｊ＝１〜ｍ）と、ｍ段の前フレーム画像信号の第１の内挿画像生成部（ＩＰ）２２５−ｊ（ｊ＝１〜ｍ）と、ｍ段の現フレームの第２の内挿画像生成部（ＩＰ）２２６−ｊ（ｊ＝１〜ｍ）とを設けたことである。
図８に示すように、この動きベクトル検出装置は、ｎ段の前フレーム画像を再構成する階層画像復元部２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する階層画像復元部２２−ｉ（ｉ＝１〜ｎ）と、ｎ＋ｍ＋１段の動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０〜ｎ＋ｍ）と、ｎ＋ｍ段の動きベクトル探索打ち切り判定部（ＪＴ）２２４−ｉ（ｉ＝０〜ｎ＋ｍ−１）と、ｍ段の前フレームの内挿画像生成部（ＩＰ）２２５−ｊ（ｊ＝１〜ｍ）と、ｍ段の現フレームの内挿画像生成部（ＩＰ）２２６−ｊとにより構成されている。
【００３８】
ｎ段目の前フレームの画像信号ｓ２１−ｎは、１段目の前フレームの内挿画像生成部２２５−１に接続されている。ｊ段目の前フレームの内挿画像生成部２２５−ｉの出力信号（第１の内挿画像信号）ｓ２２５−ｉは、（ｊ＋１）段目の前フレームの内挿画像生成部２２５−（ｊ＋１）及び（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）に接続されている。
ｎ段目の現フレームの画像信号ｓ２２−ｎは、１段目の前フレームの内挿画像生成部２２６−１に接続されている。ｊ段目の前フレームの内挿画像生成部２２５−ｉの出力信号（第１の内挿画像信号）ｓ２２５−ｊは、（ｊ＋１）段目の現フレームの内挿画像生成部２２６−（ｊ＋１）及び（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）に接続されている。
（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）の出力信号ｓ２３−（ｎ＋ｊ）は、（ｎ＋ｊ）段目の動き探索打ち切り判定部２２４−（ｎ＋ｊ）に接続されている。
【００３９】
以下、図８の動作の説明をする。
入力信号ｓ１１−０は、前フレーム画像の０段目の帯域信号であり、ｓ１２−０は現フレーム画像の０段目の帯域信号であり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。上述したように、ウェーブレット変換画像信号などの帯域制限信号では、階層が１つ下がると画素数が行及び列方向にそれぞれ半分に間引き処理されている。
そのため、階層ｈについては、原画像の画素数で見れば、そのＮ×Ｎ画素のブロックは、（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素となるので、可変ブロックサイズとなっている。この方法により、動きベクトルを求めるための最適なブロックサイズを決定することができる。
【００４０】
動き量が変化する境界では画素毎の動きベクトルを求める必要があるが、そのために検出ブロックサイズをそのまま小さくして、行及び列方向に半分のブロックサイズで動きベクトルを検出して行くと、隣接ブロックとの関係が分からなくなり、正確な動きベクトルが検出できない。
従って、ブロックを細分化する代わりに、階層をｈ＜０の方向に拡張し、ブロックの画素数はＮ×Ｎで、画素毎の動きベクトルが求められるようにする。階層ｈで動きベクトルを打ち切るとブロックサイズは（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素なので、求められた１つ動きベクトルに属する原画像の画素数は以下のようになる。
Ｇｈ ＝４ｈ Ｎ２ ・・・（６）
各画素に対する動きベクトルを求めるためには、Ｇｈ ＝１にならなければならない。
式（６）でＧｈ ＝１として解くと、ｈ＝−ｌｏｇ２ Ｎとなり、ｈは負になるが、原画像の間を線形内挿によって埋めることによって、ブロックの画素の数はＮ×Ｎとして、そのブロック内に含まれる原画像の画素の数を（Ｎ×２ｈ ）×（Ｎ×２ｈ ）とすることができる。この線形内挿によって得られた画像は、原画像のＮ×Ｎ画素を反映したものであり、単純にブロックを半分ずつに順次小さくしてゆく方法に比べて、隣接ブロックの関係を反映したものとなり、正確な画素単位の動きベクトルが求められることになる。
【００４１】
図９は、画素内挿方法を説明するための図であり、図中の●は、内挿画素、○は上位階層の画素である。
以下、図９を参照しつつ、内挿画像生成部２２５−ｊ、２２６−ｊの動作の説明をする。
内挿画像生成部２２５−ｊ、２２６−ｊは、図９に示すように、内挿画像生成部２２５−（ｊ−１）、２２６−（ｊ−１）の画素○から行及び列について２倍ずつの画素●を線形内挿によって補間する。例えば、上位画素の３０１の位置にある画素から縦横１／４画素の位置４０１，４０２，４０３，４０４に１つ下の階層の画素がくるように内挿をする。
具体的には、例えば、画素４０１を生成するために、画素４０１を囲む４個の画素３０１〜３０４を用いて、以下の式により計算する。
ｆ（４０１）＝（１−０．２５）（（１−０．２５）ｆ（３０１）＋（１−０．７５）ｆ（３０４）） ＋（１−０．７５）（（１−０．２５）ｆ（３０２）＋（１−０．７５）ｆ（３０３）
但し、ｆ（＊）は＊ の画素値を表す。画素４０１〜４０４が一つ上の階層では画素３０１となるので、画素３０１が画素４０１〜４０４の中心になるようにしている。これによって、線形内挿によって得られた画素は、一つ上の階層の画素に比べて、列と行についてそれぞれ２倍の画素の数になり、しかもその階層のＮ×Ｎ画素のブロックサイズは、一つ上の階層のＮ×Ｎ画素のブロックサイズの半分となる。
【００４２】
したがって、ｈ＝−ｌｏｇ２ Ｎまで上位階層になると、その階層においてＮ×Ｎ画素のブロックには、原画像の画素が１個のみ含まれる。これによって、画素毎の動きベクトルが得られることになる。
内挿画像生成部２２５−ｊ及び内挿画像生成部２２６−ｊで生成された第１の内挿画像信号ｓ２２５−ｊ及び第２の内挿画像信号ｓ２２６−ｊは、動きベクトル検出部２３−（ｎ＋ｊ）で動きベクトルｓ２３−（ｎ＋ｊ）が検出される。この動きベクトルｓ２３−（ｎ＋ｊ）が、動き探索打ち切り判定部２２４−（ｎ＋ｊ）に入力されて、ブロック毎に動き探索打ち切り判定部２２４−（ｎ＋ｊ）で動きベクトルの探索の打ち切りが判断されて、最終的な画素毎の動きベクトルが得られる。
これにより、画像の動きに応じた最適なブロックで動きベクトルを推定することが可能となり、例えば、動きの境界などにおいては、画素ごとに動きベクトルが推定されるとともに、この画素毎の動きベクトルは周囲の画像を考慮したものとなる。
【００４３】
以上説明したように、第４の実施形態によれば、画素毎の動きベクトルを検出することができる。推定誤差が小さい部分は、動きベクトル検出を打ち切り、その処理の削減部分を小さいブロックでの動きベクトルの検出の部分に割り当てることにより、処理量を若干増やすだけで画素毎の動きベクトル検出に対応することができる。帯域分割信号が入力され、動画像の境界部分などで画素毎の動きベクトルを必要とする場合に有効である。
【００４４】
なお、本発明は、上記実施形態に限定されず種々の変形が可能である。その変形例としては、例えば次のようなものがある。
（１） 第２の実施形態のフィルタ係数は、シフタと整数の乗算器で実現できるスムージングフィルタを示すものものであれば、別のフィルタ係数であってもよい。
（２） 図４及び図６中のアップサンプリング部５１−ｉ〜５４−ｉは線形補間によってアップサンプリングするものであれば、フィルタは必ずしも必要としない。
（３） 入力信号の帯域分割された信号はウェーブレット信号に限定されない。
（４） 図４及び図６は、ウェーブレット逆変換の一例を示すにすぎず他の逆変換であってもよい。
【００４５】
【発明の効果】
以上詳細に説明したように、請求項１〜５に係る発明によれば、前フレーム画像を再構成するｎ段の第１の階層画像復元部と、現フレーム画像を再構成するｎ段の第２の階層画像復元部と、ｎ＋１段の動きベクトル推定部とを設けたので、画像を再構成する部分が不要になり、動きベクトル検出装置を簡単に構築することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図２】従来の動きベクトル検出装置の機能ブロック図である。
【図３】図１中の階層画像復元部の機能ブロック図である。
【図４】本発明の第２の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図５】図４中の階層画像簡易復元部の機能ブロック図である。
【図６】本発明の第３の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図７】図６中の動き探索打ち切り判定部を示す図である。
【図８】本発明の第４の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図９】画素内挿方法を示す図である。
【符号の説明】
２１−ｉ，２２−ｉ（ｉ＝１〜ｎ） 階層画像復元部
２３−ｉ（ｉ＝０〜ｎ） 動きベクトル探索部
１２１−ｉ，１２２−ｉ（ｉ＝１〜ｎ） 階層画像簡易復元部
２２４−ｉ（ｉ＝１〜ｎ＋ｍ） 動き探索打ち切り判定部
２２５−ｉ，２２６−ｉ（ｉ＝１〜ｍ） 内挿画像生成部
【発明の属する技術分野】
本発明は、動画像の低ビットレート・高能率符号化・復号化装置、画像伝送装置、画像処理装置などに用いられる動画像の動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
従来、このような分野の技術としては、例えば、次のような文献に記載されるものがあった。
文献；電子情報通信学会論文誌、１９８９年、Ｊ７２−Ｄ−ＩＩ、富永他著、「階層画素情報を用いた動画像における動き量検出方式」、Ｐ．３９４−４０３
前記文献には、時間的に連続する２フレームからそれぞれ階層画像を生成し、上位階層から逐次的にブロック毎の動きベクトルを検出する方法が記載されている。
図２は、前記文献に記載された従来の動きベクトル検出装置の機能ブロック図である。
図２に示すように、動きベクトル検出装置は、ｎ段の前フレーム画像に対する階層画像生成部１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像に対する階層画像生成部２−ｉ（ｉ＝１〜ｎ）、（ｎ＋１）段の動きベクトル推定部３−ｉ（ｉ＝０〜ｎ）により構成されている。
この動きベクトル検出装置では、前フレーム信号ｓ１−０は、１段目の階層画像生成部（ＭＨＩ）１−１及び０段目の動きベクトル推定部（ＭＥ）３−０に送られる。
【０００３】
１段目の階層画像生成部１−１は、前フレーム信号ｓ１−０から式（１）にしたがって、１つ上位の階層画像信号ｓ１−１を生成して、２段目の階層画像生成部１−２及び１段目の動きベクトル推定部３−１に送る。
現フレーム信号ｓ２−０は、１段目の階層画像生成部２−１及び０段目の動きベクトル推定部３−０に送られる。１段目の階層画像生成部２−１は、現フレーム信号ｓ２−０から式（１）にしたがって、１つ上位の階層画像信号ｓ２−１を生成して、２段目の階層画像生成部１−２及び１段目の動きベクトル推定部３−１に送る。
ｉ段目の階層画像生成部２−ｉ（ｉ＝２〜ｎ）は、前フレームの１つ下位の階層画像信号ｓ２−（ｉ−１）から式（１）にしたがって、１つ上位の階層画像信号ｓ２−ｉを生成して、（ｉ＋１）段目の階層画像生成部１−（ｉ＋１）及びｉ段目の動きベクトル推定部３−ｉに送る。
但し、ｎ段目の階層画像生成部２−ｎは、１つ上位の階層画像信号ｓ２−ｎを生成して、ｎ段目の動きベクトル推定部３−ｎに送る。
【数１】
【０００４】
ｉ段目の動きベクトル推定部３−ｉは、ｉ段目の前フレーム信号の階層画像信号ｓ１−ｉ、現フレーム信号の階層画像信号ｓ２−ｉ、（ｉ＋１）段目の動きベクトル推定部３−（ｉ＋１）から送られてきた動きベクトルｓ３−（ｉ＋１）を入力として、ブロックマッチング法による動き検出法で動きベクトルを推定し、その出力信号ｓ３−ｉを（ｉ−１）段目の動きベクトル推定部３−（ｉ−１）に送る。
但し、ｎ段目の動きベクトル推定部３−ｎは、入力される動きベクトル＝０又はないものとして、０段目の動きベクトル推定部３−０の動きベクトルｓ３−０は、最終的な動きベクトルとする。
ブロックマッチング法では、式（２）により、マッチング誤差を計算する。
【数２】
式（２）が最小となる（ξ，η）の組を検出動きベクトルとする。上記手順をｎ＋１回繰り返すことによって、最終的に求める動きベクトルｓ３−０を得る。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の動きベクトル検出装置においては、次のような課題があった。
（ａ） ウェーブレット画像信号などの帯域信号が入力された場合において、現画像を一旦再生してから、階層画像を生成しなければならない。従って、フィルタを何度もかけなければならず、装置を複雑にし、かつ処理の効率が悪いという問題点があった。
（ｂ） 従来の動きベクトル検出装置はあくまでもブロック単位にしか動きベクトルを求めることができず、かつブロックサイズが固定される。従って、フレーム画像全体で、各フレームの画素を表す情報量が少ない低ビットレート動画像符号化では、動き補償後のブロック歪による画像品質の低下が著しいという問題点があった。
（ｃ） 従来の動きベクトル検出装置はブロックベースでの検出であるので、そのブロック内で異なる動きがある場合には、正確な動きベクトルを求めることができない。また、ブロックの境界で、同じ動画像上に動きが不連続な点が生じるという問題点があった。
【０００６】
【課題を解決するための手段】
前記課題を解決するために、請求項１〜５に係る発明の動きベクトル検出装置では、最上位階層である０階層目の第１の帯域分割信号から最下位階層であるｎ（ｎ≧１の任意の正整数）階層目の第１の帯域分割信号により構成されるｎ＋１階層の第１の帯域分割信号からなる前フレーム画像を入力し、前記前フレーム画像を再構成して１段目〜ｎ段目の第１の階層画像信号を出力するｎ段の第１の階層画像復元部と、最上位階層である０階層目の第２の帯域分割信号から最下位階層であるｎ階層目の第２の帯域分割信号により構成されるｎ＋１階層の第２の帯域分割信号からなる現フレーム画像を入力し、前記現フレーム画像を再構成して１段目〜ｎ段目の第２の階層画像信号を出力するｎ段の第２の階層画像復元部と、０段目〜ｎ段目の動きベクトル推定部を有し、前記前フレーム画像及び前記現フレーム画像における各階層で同じサイズ（＝Ｍ×Ｎ画素、Ｍ、Ｎは２以上の任意の正整数）のブロック毎にマッチングを行い、動きベクトルを推定して動きベクトル信号を出力するｎ＋１段の動きベクトル推定部とを備えている。
前記ｎ段の第１の階層画像復元部において、前記１段目の第１の階層画像復元部は、前記前フレーム画像の０階層目及び１階層目の第１の帯域分割信号を入力し、前記前フレーム画像を復元して１段目の第１の階層画像信号を出力し、前記ｉ（２≦ｉ≦ｎ）段目の第１の階層画像復元部は、前記ｉ階層目の第１の帯域分割信号と前段に位置する前記ｉ−１段目の第１の階層画像復元部から出力される前記ｉ−１段目の第１の階層画像信号とを入力し、前記前フレーム画像を復元してｉ段目の第１の階層画像信号を出力するものである。
前記ｎ段の第２の階層画像復元部において、前記１段目の第２の階層画像復元部は、前記現フレーム画像の０階層目及び１階層目の第２の帯域分割信号を入力し、前記現フレーム画像を復元して１段目の第２の階層画像信号を出力し、前記ｉ段目の第２の階層画像復元部は、前記ｉ階層目の第２の帯域分割信号と前段に位置する前記ｉ−１段目の第２の階層画像復元部から出力される前記ｉ−１段目の第２の階層画像信号とを入力し、前記現フレーム画像を復元してｉ段目の第２の階層画像信号を出力するものである。
前記ｎ＋１段の動きベクトル推定部において、前記０段目の動きベクトル推定部は、前記前フレーム画像の０階層目の第１の帯域分割信号と前記現フレーム画像の０階層目の第２の帯域分割信号とを入力し、動きベクトルの推定を行って０段目の動きベクトル信号を出力し、前記ｊ（１≦ｊ≦ｎ）段目の動きベクトル推定部は、前段に位置する前記ｊ−１段目の動きベクトル推定部から出力される前記ｊ−１段目の動きベクトル信号と、前記ｊ段目の第１の階層画像信号及び前記ｊ段目の第２の階層画像信号とを入力し、動きベクトルの推定を行ってｊ段目の動きベクトル信号を出力するものである。
【０００７】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態を示す動きベクトル検出装置の機能ブロック図である。
本第１の実施形態の動きベクトル検出装置が従来の動きベクトル検出装置と異なる点は、帯域分割された画像信号を入力して、階層画像を復元しながら、動きベクトルを検出するようにしたことである。
図１に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する第１の階層画像復元部（ＭＨＲ）２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する第２の階層画像復元部（ＭＨＲ）２２−ｉ（ｉ＝１〜ｎ）と、（ｎ＋１）段の動きベクトルを推定する動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０〜ｎ）とを備えている。
前フレーム信号の０階層目の帯域信号ｓ１１−０は、１段目の階層画像復元部２１−１、及び０段目の動きベクトル推定部２３−０に接続されている。現フレーム信号の０階層目の帯域信号ｓ１２−０は、１段目の階層画像復元部２２−１及び０段目の動きベクトル推定部２３−０に接続されている。
【０００８】
前フレーム信号の１階層目の帯域信号ｓ１１−１は、１階層目の階層画像復元部２１−１に接続され、階層画像復元部２１−１の出力信号ｓ２１−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像復元部２１−２に送られる。
現フレーム信号の１階層目の帯域信号ｓ１２−１は、１階層目の階層画像生成部２２−１に接続され、階層画像復元部２２−１の出力信号ｓ２２−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像復元部２２−２に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像復元部２１−ｉは、ｉ階層目の前フレームの帯域信号ｓ１１−ｉ及び前段の階層画像復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ−１）を入力として、階層画像復元部２１−ｉの出力信号ｓ２１−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像復元部２１−（ｉ＋１）に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像復元部２２−ｉは、ｉ階層目の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画像復元部２２−（ｉ−１）の出力信号ｓ２２−（ｉ−１）を入力として、階層画像復元部２２−ｉの出力信号ｓ２２−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像復元部２２−（ｉ＋１）に送られる。
【０００９】
０段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−ｉは、１段目の動きベクトル推定部２３−１に送られ、さらに１段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−１は、２段目の動きベクトル推定部２３−２に送られる。
ｉ（１≦ｉ≦ｎ）段目の動きベクトル推定部２３−ｉは、動きベクトルｓ２３−（ｉ−１）と前フレームの画像信号ｓ２１−ｉと、現フレームの画像信号ｓ２２−ｉとを入力して、その出力信号ｓ２３−ｉは（ｉ＋１）段目の動きベクトル推定部２３−ｉに送られる。
但し、０段目の動きベクトル推定部２３−０においては、入力動きベクトル信号をゼロであるとして扱うと、各段の動きベクトル推定部が同一構成になる。ｎ段目の動きベクトル推定部２３−ｎの出力信号ｓ２３−ｎが最終的な検出動きベクトルとなる。
【００１０】
図３は、帯域信号がウェーブレット信号である場合の図１中の階層画像復元部２２−ｉの機能ブロック図である。
図３に示すように、階層画像復元部２２−ｉは、アップサンプリング部（ＵＰ）５１−ｉ，５２−ｉ，５３−ｉ，５４−ｉ、高域通過フィルタ（Ｇ）６１−ｉ、低域通過フィルタ（Ｈ）６２−ｉ、高域通過フィルタ（Ｇ）６３−ｉ、低域通過フィルタ（Ｈ）６４−ｉ、加算器７１−ｉ，７２−ｉ、アップサンプリング部（ＵＰ）８１−ｉ，８２−ｉ、加算器９１、乗算器１０１により構成されている。
高域通過フィルタ６１−ｉ，６３−ｉ，８３−ｉ、低域通過フィルタ６２−ｉ，６４−ｉ，８４−ｉはウェーブレット変換信号ｓ１１−ｉを生成する際に使用したフィルタと逆特性のフィルタである。
前フレームの帯域信号ｓ１１−ｉは、例えば、帯域信号ｓ１１−ｉ１ ，ｓ１１−ｉ２ ，ｓ１１−ｉ３ により構成される。
【００１１】
帯域信号ｓ１１−ｉ１ は、画像信号の行及び列について高域通過フィルタを掛けられたウェーブレット画像信号、帯域信号ｓ１１−ｉ２ は、画像信号の行方向に高域通過フィルタを、列方向に低域通過フィルタを掛けられたウェーブレット画像信号である。
帯域信号ｓ１１−ｉ３ は、画像信号の行方向に低域通過フィルタを、列方向に高域通過フィルタを掛けられたウェーブレット画像信号、帯域信号ｓ２１−（ｉ−１）は、行及び列方向に低域通過フィルタを掛けられた信号である（但し、ｉ＝０の場合は、行及び列方向に低域通過フィルタを掛けられたウェーブレット信号である。）。
入力信号ｓ１１−ｉ１ は、アップサンプリング部５１−ｉに接続され、アップサンプリング部５１−ｉの出力信号ｓ５１−ｉは、高域通過フィルタ６１−ｉに接続されている。
入力信号ｓ１１−ｉ２ は、アップサンプリング部５２−ｉに接続され、アップサンプリング部５２−ｉの出力信号ｓ５２−ｉは、低域通過フィルタ６２−ｉに接続されている。
【００１２】
入力信号ｓ１１−ｉ３ は、アップサンプリング部５３−ｉに接続され、アップサンプリング部５３−ｉの出力信号ｓ５３−ｉは、高域通過フィルタ６３−ｉに接続されている。
入力信号ｓ２１−（ｉ−１）（又は、ｓ１１−０４ ）は、アップサンプリング部５４−ｉに接続され、アップサンプリング部５４−ｉの出力信号ｓ５４−ｉは、低域通過フィルタ６４−ｉに接続されている。
高域通過フィルタ６１−ｉの出力信号ｓ６１−ｉ及び低域通過フィルタ６２−ｉの出力信号ｓ６２−ｉは、加算器７１−ｉに接続され、加算器７１−ｉの出力信号ｓ７１−ｉは、アップサンプリング部８１−ｉに接続されている。
高域通過フィルタ６３−ｉの出力信号ｓ６３−ｉ及び低域通過フィルタ６４−ｉの出力信号ｓ６４−ｉは、加算器７２−ｉに接続され、加算器７２−ｉの出力信号ｓ７２−ｉは、アップサンプリング部８２−ｉに接続されている。
アップサンプリング部８１−ｉの出力信号ｓ８１−ｉは、高域通過フィルタ８３−ｉに接続され、アップサンプリング部８２−ｉの出力信号ｓ８２−ｉは、加算器９１に接続されている。加算器９１の出力信号ｓ９１は、乗算器１０１に接続され、乗算器１０１の出力信号が階層画像復元部２１−ｉの出力信号ｓ２１−ｉとなる。
階層画像復元部２２−ｉの構成も階層画像復元部２１−ｉと同様である。
【００１３】
以下、図１の動作の説明をする。
入力信号ｓ１１−ｉ（ｉ＝０〜ｎ）は、前フレームのｉ段目のウェーブレット信号であり、入力信号ｓ１２−ｉは、現フレームのｉ段目のウェーブレット信号である。ウェーブレット信号は、例えば、前フレーム、現フレームの画像信号の周波数帯域を１／２ずつに分割するとともに、半分にダウンサンプリングをしたものであり、入力信号ｓ１１−ｉは、例えば、以下の通りである。
入力信号ｓ１１−ｉは、信号ｓ１１−ｉ１ 〜ｓ１１−ｉ３ より構成されており、原画像又は前段のウェーブレット変換部より出力される信号に対して、以下の処理を施した信号である。
ウェーブレット信号ｓ１１−ｉ１ は、行方向、及び列方向にそれぞれ高域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
ウェーブレット信号ｓ１１−ｉ２ は、行方向に高域通過フィルタをかけ、列方向に低域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
ウェーブレット信号ｓ１１−ｉ３ は、行方向に低域通過フィルタをかけ、列方向に高域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号である。
行方向、列方向に低域通過フィルタをかけた信号を行方向、及び列方向に半分にダウンサンプリングした信号は、次段のウェーブレット変換部に出力して、最終段のウェーブレット信号は、信号ｓ１１−０４ として、階層画像復元部２１−０に入力される信号である。
【００１４】
まず、前フレームのｉ段目のウェーブレット変換信号ｓ１１−ｉは、階層画像復元部２１−１に入力される。
アップサンプリング５１−ｉは、ウェーブレット変換信号ｓ１１−ｉ１ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５１−ｉを高域通過フィルタ６１−ｉに送る。
アップサンプリング５２−ｉは、ウェーブレット変換信号ｓ１１−ｉ２ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５２−ｉを低域通過フィルタ６２−ｉに送る。
アップサンプリング部５３−ｉは、ウェーブレット変換信号ｓ１１−ｉ３ を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５３−ｉを高域通過フィルタ６３−ｉに送る。
アップサンプリング部５４−ｉは、ウェーブレット変換信号ｓ１１−０４ 又は前段の階層画像復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ−１）を列方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ５４−０を低域通過フィルタ６４−０に送る。
【００１５】
高域通過フィルタ６１−ｉは、信号ｓ５１−ｉを列方向に高域通過フィルタ処理（アップサンプリング部５１−ｉで０挿入したので、列方向の周波数が変わりスムージング処理をする必要があるため）をして、出力信号ｓ６１−ｉを加算器７１−ｉに入力する。
低域通過フィルタ６２−ｉは、信号ｓ５２−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ６２−ｉを加算器７１−ｉに入力する。
加算器７１−ｉは、信号ｓ６１−ｉと信号ｓ６２−ｉとを加算（合波）して、出力信号ｓ７１−ｉをアップサンプリング８１−ｉに入力する。
アップサンプリング８１−ｉは、行方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ８１−ｉを高域通過フィルタ８３−ｉに出力する。高域通過フィルタ８３−ｉは、出力信号ｓ８１−ｉを行方向に高域通過フィルタ処理をして、出力信号ｓ８３−ｉを加算器９１に出力する。
【００１６】
高域通過フィルタ６３−ｉは、信号ｓ５３−ｉを列方向に高域通過フィルタ処理をして、出力信号ｓ６３−ｉを加算器７３−ｉに入力する。低域通過フィルタ６４−ｉは、信号ｓ５４−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ６４−ｉを加算器７３−ｉに入力する。
加算器７２−ｉは、信号ｓ６３−ｉと信号ｓ６４−ｉとを加算して、出力信号ｓ７３−ｉをアップサンプリング部８３−ｉに入力する。アップサンプリング部８３−ｉは、行方向に０を挿入して、２倍にアップサンプリングして、出力信号ｓ８３−ｉを低域通過フィルタ８３−ｉに出力する。
低域通過フィルタ８４−ｉは、出力信号ｓ８４−ｉを列方向に低域通過フィルタ処理をして、出力信号ｓ８４−ｉに出力する。出力信号ｓ８４−ｉは、行及び列方向についてウェーブレット変換部でダウンサンプリングされる前の信号に一致する。
加算器９１は、信号ｓ８３−ｉと信号ｓ８４−ｉを加算（合波）して、出力信号ｓ９１を乗算器１０１に入力する。乗算器１０１は、出力信号ｓ９１を４倍にして、出力信号ｓ２１−ｉを（ｉ＋１）段目の階層画像復元部２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに出力する。
【００１７】
この出力信号ｓ２１−ｉは、上述したようにウェーブレット変換部での処理を逆方向にしたものであるので、前段のウェーブレット変換部より出力されたウェーブレット信号に復元されることになる。
上記処理が、階層画像復元部２１−ｉ（ｉ＝０〜ｎ）において順次実行されて、前フレームの画像がウェーブレット逆変換されて、信号ｓ２１−ｉが、階層画像生成部２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像復元部２１−ｎからは、前フレーム画像の再生画像ｓ２１−ｎが得られる。同様に、階層画像復元部２２−ｉ（ｉ＝０〜ｎ）において現フレームの画像がウェーブレット逆変換されて、このウェーブレット逆変換された信号ｓ２２−ｉが階層画像復元部２２−（ｉ＋１）の低帯域成分として、動きベクトル推定部２３−ｉに入力される。階層画像復元部２２−ｎからは、現フレーム画像の再生画像ｓ２２−ｎが得られる。
上記手順により得られた信号ｓ２１−ｉ，ｓ２２−ｉは、ｉが１段上がる（階層が１つ下がる）につれて、周波数帯域が２倍、画素数が２×２倍となる階層画像である。
【００１８】
動きベクトル推定部２３−ｉは、以下のようにして動きベクトルｓ２３−ｉを検出する。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。各階層で同じブロックサイズで動きベクトルの検出を行うので、階層が下がるにつれて画素が行・列について２倍に増えるので、階層を下げていくことが原画像に対応する検出ブロックサイズを細分化することを意味する。最下位階層まで検出を続けることにより、Ｎ×Ｎ画素の大きさのブロック毎に動きベクトルが求まる。
０段目の動きベクトル推定部２３−０は、信号ｓ２１−０と信号ｓ２２−０との間で、式（２）に示すＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−０を算出して、１段目の動きベクトル推定部２３−１に出力する。
１段目の動きベクトル推定部２３−１は、動きベクトル信号ｓ２３−０と前フレームの画像信号ｓ２１−１と現フレームの画像信号ｓ２２−１とから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−１を算出して、２段目の動きベクトル推定部２３−２に出力する。
【００１９】
同様に、ｉ段目の動きベクトル推定部２３−ｉ（ｉ＝２〜ｎ）は、動きベクトル信号ｓ２３−（ｉ−１）と前フレームの画像信号ｓ２１−ｉと現フレームの画像信号ｓ２２−ｉとから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトル信号ｓ２３−ｉを算出して、（ｉ＋１）段目の動きベクトル推定部２３−（ｉ＋１）に出力する。動きベクトル推定部２３−ｎからは、最終的な動きベクトルｓ２３−ｎが得られることになる。
以上説明したように、第１の実施形態によれば、帯域分割信号が入力された場合に、従来技術では、一旦、画像を再生してから階層画像を生成しなければならないが、帯域分割信号から直接階層画像を復元しながら動きベクトル推定を行うことができる。従って、画像を再生する部分が必要でなくなり、システムを簡単に構築することができる。
【００２０】
（第２の実施形態）
図４は、本発明の第２の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図１中の要素に共通する要素には共通の符号を付してある。
本第２の実施形態の動きベクトル検出装置が第１の実施形態の動きベクトル検出装置と異なる点は、ｎ段の第１の階層画像復元部２１−ｉ、及びｎ段の第２の階層画像復元部２２−ｉの代わりに、簡易フィルタを用いて、第１の階層画像簡易復元部（ＳＨＲ）１２１−ｉ、及び第２の階層画像簡易生成部（ＳＨＲ）１２２−ｉで構成したことである。
図４に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する階層画像簡易復元部（ＳＨＲ）１２１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像を再構成する階層画像簡易復元部（ＳＨＲ）１２２−ｉ（ｉ＝１〜ｎ）、ｎ＋１段の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）とを備えている。
【００２１】
前フレーム信号の０階層目の帯域信号ｓ１１−０は、１段目の階層画像生成部２１−１、及び０段目の動きベクトル推定部２３−０に接続されている。現フレーム信号の０階層目の帯域信号ｓ１２−０は、１段目の階層画像生成部２２−１及び０段目の動きベクトル推定部２３−０に接続されている。
前フレーム信号の１階層目の帯域信号ｓ１１−１は、１階層目の階層画像簡易復元部１２１−１に接続され、階層画像簡易復元部１２１−１の出力信号ｓ２１−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像簡易復元部１２１−２に送られる。
現フレーム信号の１階層目の帯域信号ｓ１２−１は、１階層目の階層画像簡易復元部１２２−１に接続され、階層画像簡易復元部１２２−１の出力信号ｓ１２２−１は１段目の動きベクトル推定部２３−１及び２段目の階層画像簡易復元部１２２−２に送られる。
【００２２】
ｉ（２≦ｉ≦ｎ）段目の階層画像簡易復元部１２１−ｉは、ｉ階層目の前フレームの帯域信号ｓ１１−ｉ及び前段の階層画像簡易復元部１２１−（ｉ−１）の出力信号ｓ１２１−（ｉ−１）を入力して、階層画像簡易復元部１２１−ｉの出力信号ｓ１２１−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像簡易復元部１２１−（ｉ＋１）に送られる。
ｉ（２≦ｉ≦ｎ）段目の階層画像簡易復元部１２２−ｉは、ｉ階層目の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画像簡易復元部１２２−（ｉ−１）の出力信号ｓ１２２−（ｉ−１）を入力として、階層画像簡易復元部１２２−ｉの出力信号ｓ１２２−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段の階層画像簡易復元部１２２−（ｉ＋１）に送られる。
０段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−ｉは、１段目の動きベクトル推定部２３−１に送られ、さらに１段目の動きベクトル推定部２３−ｉの出力信号ｓ２３−１は、２段目の動きベクトル推定部２３−２に送られる。
ｉ（１≦ｉ≦ｎ）段目の動きベクトル推定部２３−ｉは、動きベクトル信号ｓ２３−（ｉ−１）と前フレームの画像信号ｓ１２１−ｉと現フレームの画像信号ｓ１２２−ｉとを入力して、その出力信号ｓ２３−ｉは（ｉ＋１）段目の動きベクトル推定部２３−ｉに送られる。
但し、０段目の動きベクトル推定部２３−０においては、入力動きベクトル信号をゼロであるとして扱うと、各段の動きベクトル推定部動きベクトル推定部が同一構成になる。ｎ段目の動きベクトル推定部２３−ｎの出力信号ｓ２３−ｎが最終的な検出動きベクトルとなる。
【００２３】
図５は、図４中の階層画像簡易復元部の機能ブロック図であり、図３中の要素に共通する要素には共通の符号を付してある。
階層画像簡易復元部が階層画像復元部と異なる点は、高域通過フィルタ及び低域通過フィルタを簡易フィルタで置き換えたことである。
図５に示すように、図４中の階層画像簡易復元部１２１−ｉは、アップサンプリング部（ＵＰ）５１−ｉ，５２−ｉ，５３−ｉ，５４−ｉ、簡易フィルタ（ＳＦ）１２１−ｉ，１２２−ｉ，１２３−ｉ，１２４−ｉ、加算器７１−ｉ，７２−ｉ、アップサンプリング部（ＵＰ）８１−ｉ，８２−ｉ、及び簡易フィルタ（ＳＦ）１８３−ｉ，１８４−ｉにより構成されている。
【００２４】
入力信号ｓ１１−ｉ１ はアップサンプリング部５１−ｉに接続され、アップサンプリング部５１−ｉの出力信号ｓ５１−ｉは、簡易フィルタ１６１−ｉに接続されている。
入力信号ｓ１１−ｉ２ はアップサンプリング５２−ｉに接続され、アップサンプリング５２−ｉの出力信号ｓ５２−ｉは、簡易フィルタ１６２−ｉに接続されている。
入力信号ｓ１１−ｉ３ はアップサンプリング５３−ｉに接続され、アップサンプリング５３−ｉの出力信号ｓ５３−ｉは、簡易フィルタ１６３−ｉに接続されている。
入力信号ｓ２１−（ｉ−１）（又は、ｓ１１−０４ ）は、アップサンプリング５４−ｉに接続され、アップサンプリング５４−ｉの出力信号ｓ５４−ｉは、簡易フィルタ１６４−ｉに接続されている。
簡易フィルタ１６１−ｉの出力信号ｓ１６１−ｉ及び簡易フィルタ１６２−ｉの出力信号ｓ１６２−ｉは、加算器７１−ｉに接続され、加算器７１−ｉの出力信号ｓ７１−ｉは、アップサンプリング部８１−ｉに接続されている。
簡易フィルタ１６３−ｉの出力信号ｓ１６３−ｉ及び簡易フィルタ１６４−ｉの出力信号ｓ１６４−ｉは、加算器７２−ｉに接続され、加算器７２−ｉの出力信号ｓ７２−ｉは、アップサンプリング部８２−ｉに接続されている。
アップサンプリング部８１−ｉの出力信号ｓ８１−ｉは、簡易フィルタ１８３−ｉに接続され、アップサンプリング部８２−ｉの出力信号ｓ８２−ｉは、加算器９１に接続されている。
【００２５】
加算器９１の出力信号ｓ９１は、乗算器１０１に接続され、乗算器１０１の出力信号ｓ１０１が階層画像生成部１２１−ｉの出力信号ｓ１２１−ｉとなる。
階層画像簡易復元部１２２−ｉの構成も階層画像簡易復元部１２１−ｉと同様である。
簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉ，１８３−ｉ，１８４−ｉのフィルタ係数は、（１／８，３／８，３／８，１／８）である。このようなフィルタ係数を持つ簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉ，１８３−ｉ，１８４−ｉは、シフタ及び３倍の乗算器で構成される。
簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉは、次式（４）で示される列方向のフィルタ処理を施し、簡易フィルタ１８３−ｉ，１８４−ｉは、次式（５）で示される行方向のフィルタ処理を施すスムージングフィルタである。
【００２６】
以下、図４の動作の説明をする。
アップサンプリング５１−ｉ〜５４−ｉより行方向に０が挿入され２倍にアップサンプリングされた信号ｓ５１−ｉ〜ｓ５４−ｉは、簡易フィルタ１６１−ｉ〜１６４−ｉにそれぞれ入力される。
簡易フィルタ１６１−ｉは、信号ｓ５２−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５１−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６１−ｉを加算器７１−ｉに出力する。
簡易フィルタ１６２−ｉは、信号ｓ５２−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５２−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器７２−ｉに出力する。
簡易フィルタ１６３−ｉは、信号ｓ５３−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５３−ｉの０を挿入された画素をスムーズにして、出力信号ｓ１６３−ｉを加算器７２−ｉに出力する。
簡易フィルタ１６４−ｉは、信号ｓ５４−ｉに対して、式（４）によって示される列方向のフィルタ処理を施して、信号ｓ５４−ｉの０を挿入された画素をスムーズにして、出力信号ｓ１６４−ｉを加算器７２−ｉに出力する。
【００２７】
信号ｓ１６１−ｉ〜ｓ１６４−ｉは、列方向について、スムージング処理したので、ウェーブレット変換部で高域通過フィルタをかけられた信号、又は低域通過フィルタをかけられた信号にほぼ一致する。
加算器７１−ｉは、信号ｓ１６１−ｉと信号ｓ１６２−ｉを加算して、合波して、アップサンプリング部８１−ｉに信号ｓ７１−ｉを出力する。加算器７２−ｉは、信号ｓ１６３−ｉと信号ｓ１６４−ｉを加算して、合波して、アップサンプリング８２−ｉに信号ｓ７２−ｉを出力する。
アップサンプリング部８１−ｉは、０を挿入して行方向に２倍にアップサンプリングして、出力信号ｓ８１−ｉを簡易フィルタ１８１−ｉに出力する。簡易フィルタ１８１−ｉは、信号ｓ８１−ｉを式（５）によって示される行方向のフィルタ処理を施して、信号ｓ８１−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器９１に出力する。
アップサンプリング部８２−ｉは、０を挿入して行方向に２倍にアップサンプリングして、出力信号ｓ８２−ｉを簡易フィルタ１８４−ｉに出力する。簡易フィルタ１８４−ｉは、信号ｓ８２−ｉを式（５）によって示される行方向のフィルタ処理を施して、信号ｓ８２−ｉの０を挿入した画素をスムーズにして、出力信号ｓ１６２−ｉを加算器９１に出力する。
【００２８】
信号ｓ１６２−ｉ〜１６４−ｉは、行方向について、スムージング処理したので、ウェーブレット変換部での行方向の高域通過フィルタ、低域通過フィルタをかけられた信号にほぼ一致する。
信号ｓ１８３−ｉとｓ１８４−ｉとを加算器９１で合波して、信号ｓ９１を乗算器１０１に出力する。乗算器１０１は、画素を４倍して、信号ｓ１２１−ｉを出力する。
上記処理が、階層画像簡易復元部１２１−ｉ（ｉ＝０〜ｎ）において順次実行されて、前フレームの画像がウェーブレット逆変換されて、信号ｓ１２１−ｉが階層画像簡易復元部１２１−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像簡易復元部１２１−ｎからは、前フレーム画像の再生画像ｓ１２１−ｎが得られる。
【００２９】
同様に、階層画像簡易復元部１２２−ｉ（ｉ＝０〜ｎ）において順次実行されて、現フレームの画像がウェーブレット逆変換されて、信号ｓ１２２−ｉが階層画像簡易復元部１２２−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力される。階層画像簡易復元部１２２−ｎからは、現フレーム画像の再生画像ｓ１２１−ｎが得られる。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。各階層で同じブロックサイズで動きベクトルの検出を行うので、階層を下げていくことが原画像に対応する検出ブロックサイズを細分化することを意味する。最下位階層まで検出を続けることにより、Ｎ×Ｎ画素の大きさのブロック毎に動きベクトルが求まる。
ｉ段目の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）は、動きベクトル信号ｓ２３−（ｉ−１）（但し、ｉ＝０の時は、入力信号を０またはないものとする）と前フレームの画像信号ｓ１２１−ｉと現フレームの画像信号ｓ１２２−ｉとから、式（２）で示されるＮ×Ｎ画素のブロックサイズのブロックでブロックマッチングを行い、動きベクトルｓ２３−ｉを算出して、（ｉ＋１）段目の動きベクトル推定部２３−（ｉ＋１）に出力する。動きベクトル推定部２３−ｎからは、最終的な動きベクトルｓ２３−ｎが得られることになる。
【００３０】
以上説明したように、本第２の実施形態によれば、第１の実施形態の階層画像復元部を、フィルタ係数の簡単なスムージングフィルタを用いた階層画像簡易復元部に置き換えたので、第１の実施形態の利点に加えて、以下の利点がある。
（ａ） フィルタがシフタと乗算器によって構成できるのでウェーブレット逆変換部の構成が簡単になる。
（ｂ） シフタと乗算器によるフィルタ処理のため、復元される階層画像がどのシステムにおいても、システムの精度による差がないため、完全に一致させることができる。
（ｃ） ウェーブレット信号を生成するために使用したフィルタに関わらず、フィルタを固定するので、フィルタの種類を１種類に減らすことができて、構成が簡単になる。
（ｄ） フィルタの係数を簡単にすることにより、計算機システムの浮動少数点演算の精度に関わらず、再生画像をほぼ完全に一致させることができるので、どの計算機上における検出動きベクトルも同じであると保証される。ここで行われる再生は、簡易再生であり、動きベクトルの検出の時のみに用いられるものであるので、最終的な再生画像に影響を及ぼさない。
【００３１】
（第３の実施形態）
図６は、本発明の第３の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図１中の要素に共通する要素には共通の符号を付してある。
本第３の実施形態の動きベクトル検出装置が第１の実施形態の動きベクトル検出装置と異なる点は、動きベクトル推定部２３−ｉと動きベクトル推定部２３−（ｉ＋１）との間に、動きベクトル探索を打ち切るか否かを判定するｎ段の動き探索打ち切り判定部（ＪＴ）１２４−ｉを設けたことである。
図６に示すように、ｎ（ｎ≧１の任意の正整数）段の前フレーム画像を再構成する階層画像復元部（ＭＨＲ）２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する階層画像復元部（ＭＨＲ）２２−ｉ（ｉ＝１〜ｎ）と、ｎ＋１段の動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ）と、動きベクトル探索を打ち切るか否かを判定するｎ段の動き探索打ち切り判定部（ＪＴ）２２４−ｉ（ｉ＝０〜ｎ−１）とを備えている。
動きベクトル推定部２３−ｉ（ｉ＝０〜ｎ−１）の出力信号ｓ２３−ｉは、ＪＴ２２４−ｉに接続され、動き探索打ち切り判定部２２４−ｉの出力信号ｓ２２４−ｉは、動きベクトル推定部２３−（ｉ＋１）に接続されている。
【００３２】
図７は、図６中の動き探索打ち切り判定部の構成図である。
図７に示すように、信号ｓ２３−ｉは、動きベクトル信号ｓ２３−ｉ１ と推定誤差信号ｓ２３−ｉ２ とからなり、これらの信号ｓ２３−ｉ１ とｓ２３−ｉ２ が動き探索打ち切り判定部２２４−ｉに入力されて、動き探索打ち切り判定部２２４−ｉからは出力信号ｓ２２４−ｉより出力される。出力信号ｓ２２４−ｉは、動きベクトルｓ２３−ｉ１ と動き探索の打ち切りあるいは継続を示す識別信号ｓ２２４−ｉ２ とからなる。
【００３３】
以下、図６の動作の説明をする。
入力信号ｓ１１−０は、前フレーム画像の０段目の帯域信号であり、ｓ１２−０は現フレーム画像の０段目の帯域信号であり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。ウェーブレット画像信号などの帯域分割された信号では、階層が１つ下がると行及び列方向にそれぞれ半分に間引き処理されている。
そのため、階層ｈについては、原画像の画素数で見れば、そのＮ×Ｎ画素のブロックは、（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素となるので、可変ブロックサイズとなっている。
【００３４】
動きベクトル推定部２３−ｉは、前フレームの階層画像信号ｓ２１−ｉと現フレームの階層画像信号ｓ２２−ｉと動きベクトル信号ｓ２３−（ｉ−１）とを入力して、Ｎ×Ｎ画素のブロックでブロックマッチングにより、各ブロック毎の動きベクトル信号ｓ２３−ｉｊ１（ｊは、ｊ＝１〜Ｍｉ であり、（ｎ−ｉ）階層目の階層画像信号について動きベクトルが算出されたブロックに対応）を求める。
動きベクトル信号ｓ２３−ｉｊ１が算出された式（２）の左辺の値を推定誤差信号ｓ２３−ｉｊ２として、動きベクトルｓ２３−ｉｊ１（ｓ２３−ｉ１ ＝｛ｓ２３−ｉｊ１，ｊ＝１〜Ｍｉ ｝）及び推定誤差信号ｓ２３−ｉｊ２（ｓ２３−ｉ２ ＝｛ｓ２３−ｉｊ２，ｊ＝１〜Ｍｉ ｝）を動き探索打ち切り判定部２２４−ｉに出力する。
動き探索打ち切り判定部２２４−ｉは、各ブロックについての推定誤差信号ｓ２３−ｉｊ２が閾値よりも小さければ、そのブロックについては、動き探索の打ち切りを示す第２の識別信号ｓ２２４−ｉ ｊ２ を、推定誤差信号ｓ２３−ｉｊ２が閾値よりも大きければ、動き探索の継続を示す第１の識別信号ｓ２２４−ｉｊ２を、動きベクトルｓ２３−ｉｊ１に付加した信号ｓ２２４−ｉｊ を動きベクトル推定部２３−（ｉ＋１）に出力する。
【００３５】
動きベクトル推定部２３−（ｉ＋１）は、識別信号２２４−ｉｊ２が動き探索の打ち切りを示す場合は、そのブロックについての動きベクトルの探索を打ち切り、識別信号２２４−ｉｊ２が動き探索の継続を示す場合は、そのブロックを細分化したブロックで、上述したブロックマッチングにより動きベクトルを推定する。
これにより、各ブロック毎に動きベクトルの探索の継続、打ち切りが判定されて、画像のブロックに応じた最適なブロック（例えば、動きのない背景画像などのブロック領域については、ｎ階層目でブロックの探索が打ち切られ、細かな動きのブロック領域についはより下位の細分化されたブロックで動きベクトルが探索されることになる）で動きベクトルが探索される。
【００３６】
以上説明したように、第３の実施形態によれば、動き探索打ち切り判定部を設けたので、動き推定を途中で打ち切り可変ブロックサイズでの動きベクトル検出を可能としたため、以下の利点がある。
（ａ） 帯域分割信号が入力された場合において、簡単なシステムで可変ブロックサイズでの動きベクトル検出を行うことができる。
（ｂ） 途中で打ち切ることにより、効率の良い動きベクトル検出を行うことができる。そのため、上位階層で真の動きベクトルが求まっても、最後まで検出まを行う従来の方法により処理時間が少なくてすむ。また、削減された処理時間を動きが複雑な部分の動きベクトルの検出の処理に割り当てることができる。
【００３７】
（第４の実施形態）
図８は、本発明の第４の実施形態を示す動きベクトル検出装置の機能ブロック図であり、図６中の要素に共通する要素には共通の符号を付してある。
本第４の実施形態の動きベクトル検出装置が第３の実施形態の動きベクトル検出装置と異なる点は、ｍ段の拡張用動きベクトル推定部（ＭＥ）２３−（ｎ＋ｊ）（ｊ＝１〜ｍ）と、ｍ段の拡張用動きベクトル探索打ち切り判定部（ＪＴ）２２４−（ｎ＋ｊ）（ｊ＝１〜ｍ）と、ｍ段の前フレーム画像信号の第１の内挿画像生成部（ＩＰ）２２５−ｊ（ｊ＝１〜ｍ）と、ｍ段の現フレームの第２の内挿画像生成部（ＩＰ）２２６−ｊ（ｊ＝１〜ｍ）とを設けたことである。
図８に示すように、この動きベクトル検出装置は、ｎ段の前フレーム画像を再構成する階層画像復元部２１−ｉ（ｉ＝１〜ｎ）と、ｎ段の現フレーム画像を再構成する階層画像復元部２２−ｉ（ｉ＝１〜ｎ）と、ｎ＋ｍ＋１段の動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０〜ｎ＋ｍ）と、ｎ＋ｍ段の動きベクトル探索打ち切り判定部（ＪＴ）２２４−ｉ（ｉ＝０〜ｎ＋ｍ−１）と、ｍ段の前フレームの内挿画像生成部（ＩＰ）２２５−ｊ（ｊ＝１〜ｍ）と、ｍ段の現フレームの内挿画像生成部（ＩＰ）２２６−ｊとにより構成されている。
【００３８】
ｎ段目の前フレームの画像信号ｓ２１−ｎは、１段目の前フレームの内挿画像生成部２２５−１に接続されている。ｊ段目の前フレームの内挿画像生成部２２５−ｉの出力信号（第１の内挿画像信号）ｓ２２５−ｉは、（ｊ＋１）段目の前フレームの内挿画像生成部２２５−（ｊ＋１）及び（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）に接続されている。
ｎ段目の現フレームの画像信号ｓ２２−ｎは、１段目の前フレームの内挿画像生成部２２６−１に接続されている。ｊ段目の前フレームの内挿画像生成部２２５−ｉの出力信号（第１の内挿画像信号）ｓ２２５−ｊは、（ｊ＋１）段目の現フレームの内挿画像生成部２２６−（ｊ＋１）及び（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）に接続されている。
（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）の出力信号ｓ２３−（ｎ＋ｊ）は、（ｎ＋ｊ）段目の動き探索打ち切り判定部２２４−（ｎ＋ｊ）に接続されている。
【００３９】
以下、図８の動作の説明をする。
入力信号ｓ１１−０は、前フレーム画像の０段目の帯域信号であり、ｓ１２−０は現フレーム画像の０段目の帯域信号であり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の階層画像信号である。
動きベクトルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取る。上述したように、ウェーブレット変換画像信号などの帯域制限信号では、階層が１つ下がると画素数が行及び列方向にそれぞれ半分に間引き処理されている。
そのため、階層ｈについては、原画像の画素数で見れば、そのＮ×Ｎ画素のブロックは、（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素となるので、可変ブロックサイズとなっている。この方法により、動きベクトルを求めるための最適なブロックサイズを決定することができる。
【００４０】
動き量が変化する境界では画素毎の動きベクトルを求める必要があるが、そのために検出ブロックサイズをそのまま小さくして、行及び列方向に半分のブロックサイズで動きベクトルを検出して行くと、隣接ブロックとの関係が分からなくなり、正確な動きベクトルが検出できない。
従って、ブロックを細分化する代わりに、階層をｈ＜０の方向に拡張し、ブロックの画素数はＮ×Ｎで、画素毎の動きベクトルが求められるようにする。階層ｈで動きベクトルを打ち切るとブロックサイズは（Ｎ×２ｈ ）×（Ｎ×２ｈ ）画素なので、求められた１つ動きベクトルに属する原画像の画素数は以下のようになる。
Ｇｈ ＝４ｈ Ｎ２ ・・・（６）
各画素に対する動きベクトルを求めるためには、Ｇｈ ＝１にならなければならない。
式（６）でＧｈ ＝１として解くと、ｈ＝−ｌｏｇ２ Ｎとなり、ｈは負になるが、原画像の間を線形内挿によって埋めることによって、ブロックの画素の数はＮ×Ｎとして、そのブロック内に含まれる原画像の画素の数を（Ｎ×２ｈ ）×（Ｎ×２ｈ ）とすることができる。この線形内挿によって得られた画像は、原画像のＮ×Ｎ画素を反映したものであり、単純にブロックを半分ずつに順次小さくしてゆく方法に比べて、隣接ブロックの関係を反映したものとなり、正確な画素単位の動きベクトルが求められることになる。
【００４１】
図９は、画素内挿方法を説明するための図であり、図中の●は、内挿画素、○は上位階層の画素である。
以下、図９を参照しつつ、内挿画像生成部２２５−ｊ、２２６−ｊの動作の説明をする。
内挿画像生成部２２５−ｊ、２２６−ｊは、図９に示すように、内挿画像生成部２２５−（ｊ−１）、２２６−（ｊ−１）の画素○から行及び列について２倍ずつの画素●を線形内挿によって補間する。例えば、上位画素の３０１の位置にある画素から縦横１／４画素の位置４０１，４０２，４０３，４０４に１つ下の階層の画素がくるように内挿をする。
具体的には、例えば、画素４０１を生成するために、画素４０１を囲む４個の画素３０１〜３０４を用いて、以下の式により計算する。
ｆ（４０１）＝（１−０．２５）（（１−０．２５）ｆ（３０１）＋（１−０．７５）ｆ（３０４）） ＋（１−０．７５）（（１−０．２５）ｆ（３０２）＋（１−０．７５）ｆ（３０３）
但し、ｆ（＊）は＊ の画素値を表す。画素４０１〜４０４が一つ上の階層では画素３０１となるので、画素３０１が画素４０１〜４０４の中心になるようにしている。これによって、線形内挿によって得られた画素は、一つ上の階層の画素に比べて、列と行についてそれぞれ２倍の画素の数になり、しかもその階層のＮ×Ｎ画素のブロックサイズは、一つ上の階層のＮ×Ｎ画素のブロックサイズの半分となる。
【００４２】
したがって、ｈ＝−ｌｏｇ２ Ｎまで上位階層になると、その階層においてＮ×Ｎ画素のブロックには、原画像の画素が１個のみ含まれる。これによって、画素毎の動きベクトルが得られることになる。
内挿画像生成部２２５−ｊ及び内挿画像生成部２２６−ｊで生成された第１の内挿画像信号ｓ２２５−ｊ及び第２の内挿画像信号ｓ２２６−ｊは、動きベクトル検出部２３−（ｎ＋ｊ）で動きベクトルｓ２３−（ｎ＋ｊ）が検出される。この動きベクトルｓ２３−（ｎ＋ｊ）が、動き探索打ち切り判定部２２４−（ｎ＋ｊ）に入力されて、ブロック毎に動き探索打ち切り判定部２２４−（ｎ＋ｊ）で動きベクトルの探索の打ち切りが判断されて、最終的な画素毎の動きベクトルが得られる。
これにより、画像の動きに応じた最適なブロックで動きベクトルを推定することが可能となり、例えば、動きの境界などにおいては、画素ごとに動きベクトルが推定されるとともに、この画素毎の動きベクトルは周囲の画像を考慮したものとなる。
【００４３】
以上説明したように、第４の実施形態によれば、画素毎の動きベクトルを検出することができる。推定誤差が小さい部分は、動きベクトル検出を打ち切り、その処理の削減部分を小さいブロックでの動きベクトルの検出の部分に割り当てることにより、処理量を若干増やすだけで画素毎の動きベクトル検出に対応することができる。帯域分割信号が入力され、動画像の境界部分などで画素毎の動きベクトルを必要とする場合に有効である。
【００４４】
なお、本発明は、上記実施形態に限定されず種々の変形が可能である。その変形例としては、例えば次のようなものがある。
（１） 第２の実施形態のフィルタ係数は、シフタと整数の乗算器で実現できるスムージングフィルタを示すものものであれば、別のフィルタ係数であってもよい。
（２） 図４及び図６中のアップサンプリング部５１−ｉ〜５４−ｉは線形補間によってアップサンプリングするものであれば、フィルタは必ずしも必要としない。
（３） 入力信号の帯域分割された信号はウェーブレット信号に限定されない。
（４） 図４及び図６は、ウェーブレット逆変換の一例を示すにすぎず他の逆変換であってもよい。
【００４５】
【発明の効果】
以上詳細に説明したように、請求項１〜５に係る発明によれば、前フレーム画像を再構成するｎ段の第１の階層画像復元部と、現フレーム画像を再構成するｎ段の第２の階層画像復元部と、ｎ＋１段の動きベクトル推定部とを設けたので、画像を再構成する部分が不要になり、動きベクトル検出装置を簡単に構築することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図２】従来の動きベクトル検出装置の機能ブロック図である。
【図３】図１中の階層画像復元部の機能ブロック図である。
【図４】本発明の第２の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図５】図４中の階層画像簡易復元部の機能ブロック図である。
【図６】本発明の第３の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図７】図６中の動き探索打ち切り判定部を示す図である。
【図８】本発明の第４の実施形態を示す動きベクトル検出装置の機能ブロック図である。
【図９】画素内挿方法を示す図である。
【符号の説明】
２１−ｉ，２２−ｉ（ｉ＝１〜ｎ） 階層画像復元部
２３−ｉ（ｉ＝０〜ｎ） 動きベクトル探索部
１２１−ｉ，１２２−ｉ（ｉ＝１〜ｎ） 階層画像簡易復元部
２２４−ｉ（ｉ＝１〜ｎ＋ｍ） 動き探索打ち切り判定部
２２５−ｉ，２２６−ｉ（ｉ＝１〜ｍ） 内挿画像生成部
Claims (5)
- 最上位階層である０階層目の第１の帯域分割信号から最下位階層であるｎ（ｎ≧１の任意の正整数）階層目の第１の帯域分割信号により構成されるｎ＋１階層の第１の帯域分割信号からなる前フレーム画像を入力し、前記前フレーム画像を再構成して１段目〜ｎ段目の第１の階層画像信号を出力するｎ段の第１の階層画像復元部であって、前記１段目の第１の階層画像復元部は、前記前フレーム画像の０階層目及び１階層目の第１の帯域分割信号を入力し、前記前フレーム画像を復元して１段目の第１の階層画像信号を出力し、前記ｉ（２≦ｉ≦ｎ）段目の第１の階層画像復元部は、前記ｉ階層目の第１の帯域分割信号と前段に位置する前記ｉ−１段目の第１の階層画像復元部から出力される前記ｉ−１段目の第１の階層画像信号とを入力し、前記前フレーム画像を復元してｉ段目の第１の階層画像信号を出力する前記ｎ段の第１の階層画像復元部と、
最上位階層である０階層目の第２の帯域分割信号から最下位階層であるｎ階層目の第２の帯域分割信号により構成されるｎ＋１階層の第２の帯域分割信号からなる現フレーム画像を入力し、前記現フレーム画像を再構成して１段目〜ｎ段目の第２の階層画像信号を出力するｎ段の第２の階層画像復元部であって、前記１段目の第２の階層画像復元部は、前記現フレーム画像の０階層目及び１階層目の第２の帯域分割信号を入力し、前記現フレーム画像を復元して１段目の第２の階層画像信号を出力し、前記ｉ段目の第２の階層画像復元部は、前記ｉ階層目の第２の帯域分割信号と前段に位置する前記ｉ−１段目の第２の階層画像復元部から出力される前記ｉ−１段目の第２の階層画像信号とを入力し、前記現フレーム画像を復元してｉ段目の第２の階層画像信号を出力する前記ｎ段の第２の階層画像復元部と、
０段目〜ｎ段目の動きベクトル推定部を有し、前記前フレーム画像及び前記現フレーム画像における各階層で同じサイズ（＝Ｍ×Ｎ画素、Ｍ、Ｎは２以上の任意の正整数）のブロック毎にマッチングを行い、動きベクトルを推定して動きベクトル信号を出力するｎ＋１段の動きベクトル推定部であって、前記０段目の動きベクトル推定部は、前記前フレーム画像の０階層目の第１の帯域分割信号と前記現フレーム画像の０階層目の第２の帯域分割信号とを入力し、動きベクトルの推定を行って０段目の動きベクトル信号を出力し、前記ｊ（１≦ｊ≦ｎ）段目の動きベクトル推定部は、前段に位置する前記ｊ−１段目の動きベクトル推定部から出力される前記ｊ−１段目の動きベクトル信号と、前記ｊ段目の第１の階層画像信号及び前記ｊ段目の第２の階層画像信号とを入力し、動きベクトルの推定を行ってｊ段目の動きベクトル信号を出力する前記ｎ＋１段の動きベクトル推定部と、
を備えたことを特徴とする動きベクトル検出装置。 - 請求項１記載の動きベクトル検出装置において、
前記各段の動きベクトル推定部は、前記動きベクトルの推定を行って、前記動きベクトル信号を出力すると共に、前記動きベクトルの推定誤差信号を出力し、且つ、前記１段目〜ｎ段目の各動きベクトル推定部は、動き探索の継続を表す第１の識別信号を入力すると、前記動きベクトルの推定動作を継続し、動き探索の打ち切りを表す第２の識別信号を入力すると、前記動きベクトルの推定動作を打ち切る構成にし、
前記各段の動きベクトル推定部間にそれぞれ接続される０段目〜ｎ−１段目の動き探索打ち切り判定部を有し、前記動きベクトルの推定動作を打ち切るか否かを判定するｎ段の動き探索打ち切り判定部であって、前記ｋ（０≦ｋ≦ｎ−１）段目の動き探索打ち切り判定部は、前段に位置する前記ｋ段目の動きベクトル推定部から出力される前記動きベクトル信号及び前記推定誤差信号を入力し、前記推定誤差信号を閾値と比較して前記推定誤差信号が前記閾値より大きいときには前記第１の識別信号を、前記推定誤差信号が前記閾値より小さいときには前記第２の識別信号を、前記入力した動きベクトル信号と共に出力して後段に位置する前記ｋ＋１段目の動きベクトル推定部へ与える前記ｎ段の動き探索打ち切り判定部を、
設けたことを特徴とする動きベクトル検出装置。 - 請求項２記載の動きベクトル検出装置において、
前記ｎ段目の第１の階層画像復元部の出力側に縦続接続され、前記ｎ段目の第１の階層画像復元部から出力される前記ｎ段目の第１の階層画像信号に対し、画素を線形内挿により補間して前記前フレーム画像を順次拡張し、第１の内挿画像信号をそれぞれ出力するｍ（ｍ≧１の任意の正整数）段の第１の内挿画像生成部と、
前記ｎ段目の第２の階層画像復元部の出力側に縦続接続され、前記ｎ段目の第２の階層画像復元部から出力される前記ｎ段目の第２の階層画像信号に対し、画素を線形内挿により補間して前記現フレーム画像を順次拡張し、第２の内挿画像信号をそれぞれ出力するｍ段の第２の内挿画像生成部と、
前記ｎ段目の動きベクトル推定部の出力側に縦続接続され、前記ｎ段目の動きベクトル推定部から出力される前記ｎ段目の動きベクトル信号に基づき、前記各段の第１の内挿画像信号及び前記各段の第２の内挿画像信号における各階層で同じサイズ（＝Ｍ×Ｎ画素）のブロック毎にマッチングを行い、動きベクトルを順次推定して拡張動きベクトル信号をそれぞれ出力するｍ段の拡張用動きベクトル推定部と、
前記ｎ段目の動きベクトル推定部及び前記各段の拡張用動きベクトル推定部の間にそれぞれ接続され、前段に位置する前記動きベクトル推定部又は前記拡張用動きベクトル推定部の出力信号を閾値とそれぞれ比較し、前記出力信号が前記閾値より大きいときには、後段に位置する前記拡張用動きベクトル推定部における動き探索をそれぞれ継続させ、前記出力信号が前記閾値より小さいときには、後段に位置する前記拡張用動きベクトル推定部における動き探索をそれぞれ打ち切らせるｍ段の拡張用動き探索打ち切り判定部と、
を設けたことを特徴とする動きベクトル検出装置。 - 請求項１〜３のいずれか１項に記載の動きベクトル検出装置において、
前記第１の階層画像復元部は、簡易再生フィルタにより前記前フレーム画像を復元し、前記第２の階層画像復元部は、簡易再生フィルタにより前記現フレーム画像を復元する構成にしたことを特徴とする動きベクトル検出装置。 - 請求項４記載の動きベクトル検出装置において、
前記帯域分割信号は、ウェーブレット信号であり、
前記簡易再生フィルタは、前記ウェーブレット信号を生成する際に用いたフィルタの種類に依らず、固定フィルタで構成したことを特徴とする動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27795695A JP3628776B2 (ja) | 1995-10-25 | 1995-10-25 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27795695A JP3628776B2 (ja) | 1995-10-25 | 1995-10-25 | 動きベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09121357A JPH09121357A (ja) | 1997-05-06 |
| JP3628776B2 true JP3628776B2 (ja) | 2005-03-16 |
Family
ID=17590622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27795695A Expired - Fee Related JP3628776B2 (ja) | 1995-10-25 | 1995-10-25 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3628776B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100815977B1 (ko) * | 2005-04-20 | 2008-03-24 | 주식회사 메디슨 | 연속되는 영상으로부터 움직임을 추정하는 방법 및 시스템 |
| US8625678B2 (en) * | 2005-09-29 | 2014-01-07 | Telecom Italia S.P.A. | Method for scalable video coding on a plurality of space resolution levels |
-
1995
- 1995-10-25 JP JP27795695A patent/JP3628776B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09121357A (ja) | 1997-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311490B (zh) | 基于多帧融合光流的视频超分辨率重建方法 | |
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| US7583860B2 (en) | Method for producing enhanced-resolution image by use of a plurality of low-resolution images | |
| Jiji et al. | Single‐frame image super‐resolution using learned wavelet coefficients | |
| US6477279B2 (en) | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform | |
| JP4371457B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| EP0709809A2 (en) | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform | |
| JP2002522831A (ja) | Ｌｃｄパネルにおける画像表示に適したｄｗｔに基づくアップサンプリング・アルゴリズム | |
| KR102122065B1 (ko) | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 | |
| US6996593B2 (en) | Filter processing apparatus and its control method, program, and storage medium | |
| JPH06343162A (ja) | インターレース高精細度テレビジョン信号デジタル処理装置 | |
| JPH0944657A (ja) | 画像処理方法および装置 | |
| EP1555833B1 (en) | Method and apparatus for motion vector field encoding | |
| EP0653727B1 (en) | Method and apparatus for processing a decoded image signal having a distortion | |
| JP4222753B2 (ja) | 分類適応誤り回復方法及び装置 | |
| JP3675896B2 (ja) | 画像処理方法および装置 | |
| JP3628776B2 (ja) | 動きベクトル検出装置 | |
| JP4575370B2 (ja) | ビデオアーチファクトを低減するためのバイアスされた動きベクトル補間 | |
| JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| US6249611B1 (en) | Method and apparatus for compressing and expanding digital data | |
| JP4277987B2 (ja) | 変換符号化係数のサンプリング変換・解像度変換装置 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP3710342B2 (ja) | ディジタル信号処理装置および方法および記憶媒体 | |
| JPH0944651A (ja) | 画像処理方法および装置 | |
| Dumitras et al. | Fast and high performance image subsampling using feedforward neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |