JP4859168B2 - 動き検出装置及び動き検出方法 - Google Patents

動き検出装置及び動き検出方法 Download PDF

Info

Publication number
JP4859168B2
JP4859168B2 JP2004301750A JP2004301750A JP4859168B2 JP 4859168 B2 JP4859168 B2 JP 4859168B2 JP 2004301750 A JP2004301750 A JP 2004301750A JP 2004301750 A JP2004301750 A JP 2004301750A JP 4859168 B2 JP4859168 B2 JP 4859168B2
Authority
JP
Japan
Prior art keywords
block
template
partial
difference
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004301750A
Other languages
English (en)
Other versions
JP2006115312A (ja
Inventor
利夫 近藤
敬泰 佐々木
Original Assignee
株式会社三重ティーエルオー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社三重ティーエルオー filed Critical 株式会社三重ティーエルオー
Priority to JP2004301750A priority Critical patent/JP4859168B2/ja
Publication of JP2006115312A publication Critical patent/JP2006115312A/ja
Application granted granted Critical
Publication of JP4859168B2 publication Critical patent/JP4859168B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、動き補償を利用した動画像圧縮装置の中核機能として重要であり、画像の特徴抽出、オブジェクト抽出等にも有用な機能である動き検出方法に関わる。より詳しくは、画像列を構成する1枚の画像内の一部分領域である動き検出対象ブロックの移動元あるいは移動先の対応領域(これ以降、いずれも移動元ブロックと呼ぶ)が、画像列中の他の画像(探索対象画像、以降参照画像と呼ぶ)のどの部分領域であるかを予測し、その予測した部分領域(予測ブロックと呼ぶ)に動き検出対象ブロックから向かうベクトルを動きベクトルとして検出する動き検出方法及び装置に関する。
図1は従来の動き検出方法における動き検出対象のテンプレートブロックと、それに対する参照画像中の探索範囲を示している。図中の1は、そこから動き検出対象のテンプレートブロックの移動元ブロックを探す参照画像、2は動き検出対象のテンプレートブロックを含む画像、3は探索範囲、4は動き検出対象のテンプレートブロックを表している。n-2,n-1,・・・,n+2 は、仮に付けたブロックの番号である。
従来の基本的な動き検出方法では、図1に示すようにテンプレートブロック4(n番目のブロック)のみを、差異度評価用のテンプレートとし、参照画像1の一定の広さの領域(探索範囲)内のテンプレートと合同(形状及びサイズが同一)の参照ブロックの中でテンプレートとの差異度が最も小さいものを検出し、移動元のブロック(予測ブロック)としていた。この方法は高い探索精度が得られるものの、十分な探索範囲を実現しようとすると、演算量が膨大になる問題があった。そこで、従来、原画像からサブサンプリングにより生成する縮小(同一画素密度で表示すると小さくなるため、ここでは縮小と表現する)画像を用いた広い範囲の探索により、おおよその動きベクトルを検出した後に、そのベクトルで指定される位置周辺の狭い範囲を非縮小の原画像間で詳細に探索するという階層的な探索手法が主に用いられてきた。しかし、この階層探索法には2つの大きな問題点がある。1つ目は構成画素の値間の凹凸が縮小時に平滑化され有意な情報が欠落してしまうために、差異度評価が不正確となり予測ブロックの誤検出が発生し易くなることである。
2つ目は、差異度評価手段自体も縮小画像用と非縮小画像用の2種類設けねばならず、回路構成が複雑となり設計工数が増大することである。縮小画像の段階で必要となる広い範囲の探索と非縮小画像の段階で必要となる狭い範囲の探索の両方で効率の良い探索を実現できないことに起因する問題である。実際、非特許文献1には、種々の差異度評価ユニット構成を比較する中で、参照画像格納用メモリユニットのアクセスバンド幅低減と両立可能な高並列の差異度評価ユニット構成が示されているが、パイプライン段数が大きく、高い効率(稼働率)が達成できるのは、探索範囲が広い場合に限られる。一方、文献2には、階層的な探索方式を採る動き検出器の内部構成が示されているが、階層ごとに構成の異なる専用の差異度評価ユニットを用いている。
ところで、一つ目の問題点に対しては、これまで種々の解決法が提案されている。その中の最も効果的な方法の一つとして、近傍に位置するテンプレートブロック同士を結合し、その結合した全体を1つの拡張テンプレートブロックとして探索する方法(非特許文献3)が知られている。図2は、隣接する4個のテンプレートブロックを結合した拡張テンプレートブロックと、それに対する参照画像中の探索範囲を示している。動き検出対象画像と参照画像は共に縮小画像であり、この拡張テンプレートブロックを用いた探索により求まる動きベクトルを元々の4個のテンプレートブロックの概略動きベクトルとして、後続のより詳細な探索により順次動きベクトルの精度を挙げて行くことにより最終的な動きベクトルを求めるというのが、この方式の基本的な考え方である。
南,近藤,村主,笠井,「1次元シストリックアレー型全探索動きベクトル検出器の提案」,電子情報通信学会論文誌D-1,Vol.J78-D-1,No.12,pp.913-925(1995) K.Suguri, T.Minami, H.Matsuda, R.Kusaba, T.Kondo, R.Kasai, T.Watanabe, H.Sato, N.Shibata, Y.Tashiro, T.Izuoka, A.Simizu and H.Kotera :「A real-time Motion Estimation and Compensation LSI with Wide Search Range for MPEG2 Video Encoding」, IEEE J.Solid-State Circuits, C-31, No.11, pp.1733-1741(1996) 富永英義, 小松尚久, 宮下壮史, 花村剛:階層画素情報を用いた動画像における動き量検出方式, 電子情報通信学会論文誌, Vol.J72-D-2 No.3, pp.395-403, 1989.
図3は、この方式に基づく動き検出装置の一例のブロック構成図であり、2×2個のテンプレートブロックを結合した拡張テンプレートブロックを用いた縮小画像に対する探索により、テンプレートブロック4個分の予測ブロックの位置をまとめて検出した後、それぞれの予測ブロックの位置を、結合無しの通常テンプレートを用いた非縮小画像に対する探索で精度を上げるという2階層探索方式を採る動き検出装置の構成を示している。
この図で、5は制御ユニットであり、外部より入力される探索中心移動量と探索範囲を基に生成する制御信号(図中の破線)を各構成ユニットに供給するとともに、拡張テンプレートブロックと合同の探索範囲中の参照拡張ブロックの相対位置(拡張テンプレートブロックから参照拡張ブロックに向かうベクトルに相当)を生成し、拡張テンプレートブロック用最小差異度位置検出ユニット19へ出力する。7は画像列入力から縮小画像を生成するサブサンプリングユニット、6は非縮小画像を処理対称とする標準的な詳細動き検出ユニット、10は7より受け取る縮小画像を動き検出対象画像として格納する動き検出対象画像用メモリユニット、11は、やはり7より受け取る縮小画像を参照画像として格納する参照画像用メモリユニット、19は拡張テンプレートブロック用最小差異度位置検出ユニットである。
図4は、拡張テンプレートブロック用最小差異度位置検出ユニット19の内部構成を示すブロック図であり、24は拡張テンプレートブロックを格納するためのバッファメモリ、25は拡張テンプレートブロックと参照拡張ブロックの対応する画素間の差分絶対値を求める差分絶対値演算器、26は前段より入力される差分絶対値を一つの参照拡張ブロックごとに加え合わせる累算器、27は探索範囲内でそれまでに調べた参照拡張ブロックのうちの最小の差異度を保持するレジスタ、28は累算器26より出力される参照拡張ブロックごとの差異度である累算結果と、27に保持されているそれまでの最小差異度と比較し、その比較結果をレジスタ27、29の書き込み信号として出力する比較器、29は最小差異度を与える参照拡張ブロックの相対位置を予測拡張ブロック位置情報として蓄える位置情報レジスタ、30はANDゲートである。以下、このユニットの動作について説明する。
バッファメモリ24、差分絶対値演算器25、累算器26により、2×2ブロックの拡張テンプレートブロックとそれと合同の参照拡張ブロックとの間で、差分絶対値和を評価関数とする差異度評価を行う。続いて、その累算結果として求まる差異度を、その後に続く最小差異度レジスタ27、比較器28とを用いて、これまでの最小の差異度か否かを判定し、最小差異度であるならば最小差異度レジスタ27、位置情報レジスタ29で保持しているデータを入力値で更新することにより、予測拡張ブロックの位置を検出する。なお、レジスタの更新信号は、判定が有効となるタイミングでANDゲート30に入力している制御信号(比較実行指示)を1にすることで生成している。
この従来法は、演算量の大きい縮小画像の探索において、近傍のテンプレートブロックの探索結果を参照しないため、近傍テンプレートブロックを連結して同時に探索するという並列化により動き検出の処理速度を容易に向上可能であるという利点を有する。また、動き探索に必要な情報のサブサンプリングによる欠落が、テンプレートの拡張により補えるため、全体的に均一な動きをしている画像に対して高い動き検出精度が得られる利点がある。しかし、その反面、結合対象の近傍の動き探索対象ブロックの側の動きが異なるような動きの複雑な画像では、ブロック間の動きの違いを平均化してしまい、検出精度が改善されなくなる欠点がある。そこで、文献3では、後続の階層に対する予測ブロック候補として、自身の拡張テンプレートを用いた探索結果の予測ブロックだけでなく、隣接する周辺拡張テンプレートの探索結果の動きベクトルで指定される参照ブロックも予測ブロック候補に加えるようにして、詳細探索で、それら候補自身あるいはそれらの近傍位置から最小の差異度を与える予測ブロックを見つけ出すようにして改善を図っている。また、縮小率が大きくテンプレートの拡張の割合の大きい先頭の第1階層から縮小率が小さくテンプレートの拡張の割合の小さい第n階層に向かって、探索を繰り返し、予測ブロック候補の位置の精度を順次上げて行く多階層の階層探索方式に対し、番号の小さい階層ほどテンプレートの拡張率を抑える方法が提案され、動きの複雑な画像での探索精度の向上に効果のあることが示されている(特許文献1)。しかし、これらのいずれの方法も、背景と異なる動きをする比較的細かい字幕を含む画像のように、背景とは動きの異なる物体が拡張テンプレート内に完全に包含されてしまうような場合には、ほとんど対応できず、動き検出精度が著しく低下する問題があった。
特許第2853974号公報。
本発明の目的は、動き探索に膨大な演算量を必要とする超高精細画像の符号化や動き探索の負荷が増大の一途の次世代動画像符号化方式(例えばH.264)にも耐えうる小型経済的な動き検出装置を提供することである。この実現に向けて、本発明が解決しようとする課題は、次の2つである。1つは、階層探索の検出精度低下の問題(特に階層探索の有力な方法の一つである拡張テンプレートブロックを用いる階層探索法で動き境界付近で検出精度が低下する問題)を解決し、画像の性質によらず高い検出精度が得られるようにすることである。もう1つは、従来、階層ごとに構成を変えざるをえなかったために設計コスト、ハードウェア規模増の要因となっていた各階層の動き探索を同一構成の部分差異度評価手段とアクセスバンド幅の小さい最小限の個数のメモリユニットで実現できるようにすることである。
1つ目の手段は、ある階層の動き探索で形状・サイズの異なる複数の拡張テンプレートブロックに対する複数の予測拡張ブロックを検出し、その検出された複数の予測拡張ブロックを拡張前のテンプレートブロックの複数の予測ブロック候補として後続の別階層の探索でそれらを絞り込むことで、最終的な予測ブロックを確定するものである。すなわち、拡張テンプレートブロックとして、図6に示す従来例のように、形状・サイズが同一の一種類のみ設けるのではなく、図7に示すように、形状・サイズ・方向別拡張量の異なるものを複数設け、それぞれに対する予測拡張ブロックの位置を参照画像中から検出してから、それらの予測拡張ブロックの位置より定まる複数の予測ブロック候補について、予測ブロック候補位置の近傍に位置する全ての予測ブロックについて、テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出する。
図7で、(1)〜(7)は併用する拡張テンプレートブロックの一例である。また、ハッチのかかったブロックは、拡張前の元々のテンプレートブロックを表している。この手段により、単一の正方拡張テンプレートブロックでは動き境界を跨ぐため正確な動き検出が困難な場合でも、どれかの拡張テンプレートブロックで、動き境界を跨がない正しい差異度評価を行える可能性が高く、適切な予測ブロック候補が見つかる確率が大幅に高まる。
つ目の手段は、拡張テンプレートブロックを区切って得る区画(部分ブロック)ごとに、拡張参照ブロックの対応する部分ブロックとの間で部分差異度を異なる重み付けで評価するようにするものである。図6、7で枠内の数字はその重み係数を表している。より重要性の高い元々のテンプレートブロックに対する部分差異度の全体への貢献度を大きくすることが、図7の(1)のように周辺側より中心側の重み係数を大きくすることで対応できるようになる。
つ目の手段は、テンプレートブロック結合とそれと合同の参照ブロック結合に対し、同一の区切り方で得られる部分テンプレートブロックと部分参照ブロックのうち、両結合のそれぞれで同一の位置にあるもの同士の間で差異度(部分差異度)を求め、それらの部分差異度を差異度算出対象のブロックの形状に合わせて組み合わせ、その和(部分和)を取ることでテンプレートブロック・参照ブロック間あるいは拡張テンプレートブロック・拡張参照ブロック間の差異度を求めるようにするものである。具体的には、始めに、一つ以上の互いに隣接するテンプレートブロックを連結することで構成されるテンプレートブロック結合と、それと合同の参照画像中の参照ブロック結合とを、同一の区切り方で、部分
テンプレートブロックと部分参照ブロックに等分し、両結合のそれぞれで同一位置にある部分ブロック間の差異度(部分差異度)を求める。次いでそれらの部分差異度に対し、テンプレートブロックあるいは拡張テンプレートブロックの形状により定まる所定の部分和(総和も部分和の一形態とする)を取ることによって、テンプレート・参照ブロック間あるいは各々の拡張テンプレート・参照拡張ブロック間の差異度を求めるようにする。この手段では、テンプレートブロック結合として扱えるテンプレートブロックあるいはその結合に含まれる拡張テンプレートブロックに対する差異度を、それぞれの形状に適合する部分和が取ることで計算する。非拡張の通常のテンプレートブロックも、結合数最小のテンプレートブロック結合とみなし、図8に示すように部分テンプレートブロックに等分すれば、部分和として総和を選ぶことで差異度が求められる。拡張テンプレートブロックに関しては、拡張の単位がブロックであれば、そのブロックを部分テンプレートブロックとして扱い部分差異度を求めれば良く、部分和を総和に選ぶことで同様に差異度を求めることができる。3つ目の手段(図7)のように複数の拡張テンプレートブロックを併用する場合でも、最も大きい拡張テンプレートブロック(図7の場合は(1))をテンプレートブロック結合に選べば、各々の部分差異度に重み付けすると共に、それらの必要な組み合わせに対する部分和が取れるようにあらかじめ部分和手段を構成しておくことで、(1)〜(7)のすべての拡張テンプレートブロックに対する差異度を求めることができる。併用する形状の異なる拡張テンプレートブロックの種類が増えても、個々の部分差異度は共通に利用できるので、全体の演算量はほとんど増加しない。さらに、図9に示すように複数のテンプレートブロック(この例では隣接する0,1,2,3の4個のテンプレートブロック)に対する拡張テンプレートブロックのすべて(0,1,2,3のそれぞれのテンプレートブロックを外側に1ブロック分だけ拡張することでできる以下の4個の拡張テンプレートブロック。すなわち、4,5,6,8,0,1,A,2,3の結合からなる拡張テンプレートブロック、5,6,7,0,1,9,2,3,Bの結合からなる拡張テンプレートブロック、8,0,1,A,2,3,C,D,Eからなる拡張テンプレートブロック、および0,1,9,2,3,B,D,E,Fからなる拡張テンプレートブロック)を包含する領域をテンプレートブロック結合に選べば、やはり必要な部分和が取れるように構成しておくことで包含されるすべての拡張テンプレートブロックの差異度を求めることができる。この場合には、各々の部分差異度が、元々のテンプレートブロックの異なる拡張テンプレートブロックの差異度計算にも再利用できるようになる。このため、拡張前のテンプレートブロックが異なっても、拡張分の部分ブロックの差異度計算を必ずしもやり直す必要がなくなり、テンプレート拡張による計算量の増加を大幅に抑制できる。結局、この手段により、拡張テンプレートの差異度評価だけでなく通常テンプレートの差異度評価も可能になる上に、テンプレートの拡張による差異度評価対象の面積増に起因する演算量の増加を抑えることも可能になる。
つ目の手段は、部分差異度を評価する差異度評価手段を複数設け、その各々に、全差異度評価手段共通のテンプレートブロック結合と参照画像中の位置が差異度評価手段ごとに異なる参照ブロック結合との間の部分差異度評価を分担させ、並列の部分差異度評価が行えるようにするものである。差異度評価手段の数を増やし、並列度を上げることにより、予測ブロックあるいは拡張予測ブロックの検出速度を大幅に向上させることができる。
つ目の手段は、テンプレートブロック結合の部分ブロックの構成行を1行ずつ順次切り出して各々の差異度評価手段に放送すると共に、各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域より1行ずつ順次切り出す行中から、異なる部分参照ブロックの構成行である部分行を抜き出して、各々の差異度評価手段に分配するようにするものである。このつ目の手段では、差異度評価手段に供給するテンプレートブロック構成行を、全体で共通化している上に、各々の差異度評価手段に別個に供給する必要のある部分参照領域の部分行も、互いに一部を重複させているので、供給もとの動き検出対象画像用メモリユニット、参照画像格納用メモリユニットのデータアクセス幅を大幅に低減できる。
本発明によれば、拡張テンプレートの差異度評価能力向上効果が、動き境界の影響により損なわれ難くなると共に、存在確率の高い探索中心近傍から確実に適切な予測ブロック候補を検出できるようになるので、演算量低減に効果的な縮小画像を用いる動き検出の精度を大幅に高めることができる。
本発明の実施形態について下記に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではなく、その要旨を変更することなく様々に改変して実施することができる。また、本発明の技術的範囲は、均等の範囲にまで及ぶものである。
<第1の実施例>
図10は、通常の探索範囲の内側にもう1つの内側探索範囲を設定する本発明の第1の実施例の構成を示すブロック図である。最小差異度位置検出ユニットが内側探索範囲対応の20になっている点を除くと、縮小画像に対する探索により、予測ブロックの位置を求めた後、予測ブロックの位置の精度を、非縮小画像に対する探索で上げるという従来の2階層探索方式の動き検出装置と、基本的に同一の構成である。この図で、51は各構成ユニットに破線で示される制御信号を供給する制御ユニット、7は画像列入力から縮小画像を生成するサブサンプリングユニット、6は非縮小画像を処理対称とする詳細動き検出ユニット、10は7より受け取る縮小画像を、動き検出対象画像として格納する動き検出対象画像用メモリユニット、11はやはり7より受け取る縮小画像を参照画像として格納する参照画像用メモリユニットである。以下、制御ユニット51の制御に基づく本実施例の動作について説明する。左端のサブサンプリングユニット7は、動き検出対象の画像列が入力されると、所定の比率でサブサンプリングして生成する縮小画像を、右側のメモリユニット10、11に出力する。メモリユニット10、11は、動き検出対象画像と参照画像が入力された時点で、テンプレートとそれに対応する探索範囲内の全参照ブロックの画素データを読み出し、内側探索範囲対応の最小差異度位置検出ユニット20に、順次出力する。内側探索範囲対応の最小差異度位置検出ユニット20は、テンプレートごとにそれぞれの探索範囲内の全参照ブロックとの間の差異度評価を行い、内側探索範囲内で最小差異度を与える予測ブロック候補と外側探索範囲(探索範囲全体から内側探索範囲を除いた領域)内で最小差異度を与える予測ブロック候補の動き検出対象ブロックに対する相対位置を求め、詳細動き検出ユニット6に出力する。詳細動き検出ユニット6は、テンプレートブロックごとに予測ブロック候補の移動量を真裏位置(動き検出対象ブロックの座標位置と同一の参照画像中の位置)からの探索中心移動量として受けて、テンプレートブロックとの間の差異度計算を、予測ブロック候補及びそれらの近傍に位置する参照ブロックすべてについて行い、最小の差異度を与える参照ブロックの相対位置を予測ブロック相対位置(動きベクトル)として出力する。図11は、本実施例の要となる内側探索範囲内の予測ブロック候補検出機能を付加した内側探索範囲対応の最小差異度位置検出ユニット20のブロック構成を示した図である。この図で、24はテンプレートの画素データを格納するためのバッファメモリ、25はテンプレートブロックと予測ブロック候補の対応する画素間の差分絶対値を求める差分絶対値演算器、26は前段より入力される差分絶対値を一つの参照ブロックごとに加え合わせる累算器、270、271は探索範囲内でそれまでに調べた参照ブロックのうちの最小の差異度を保持する最小差異度レジスタ、290、291は最小差異度を与える参照ブロックの位置を予測ブロックの位置情報として蓄える位置情報レジスタである。最小差異度レジスタと位置情報レジスタはそれぞれ、2つずつ設けているが、上側は、内側探索範囲用、下側は、外側探索範囲用である。28は累算器26より出力される参照拡張ブロックごとの差異度である累算結果と、270、271に保持されているそれまでの最小差異度と比較し、前者の方が小さい場合には1を、そうでない場合には0を出力する比較器である。31は、参照ブロック相対位置の探索中心からの変位量を求めるための減算器、32は31で得た変位量と制御ユニット51から入力される内側探索範囲上下限(内側探索範囲を定めるパラメータ)とを比べ、探索範囲の内側に入っている場合には1をそうでない場合には0を出力する内側判定器である。33は、制御信号として受ける内側判定器の出力が1の場合に、270からの入力を、0の場合に271からの入力を、それぞれ出力する選択器である。340、341はANDゲート、35はインバータである。なお、270、271、290、291は、書き込み信号として受けるANDゲート出力が1の場合に、入力データで保持データを更新するタイプのレジスタである。以下、この内側探索範囲対応の最小差異度位置検出ユニット20の動作について説明する。
メモリユニット10より入力されるテンプレートブロックの画素は、一旦バッファメモリ24に蓄積する。そして、この蓄えているテンプレートブロックの画素データを、そのテンプレートブロックの真裏位置から探索中心移動量分だけずらした点を中心とする探索範囲から読み出すすべての参照ブロックとの間の差異度計算に用いる。すなわち、メモリユニット11より、バッファメモリ24に蓄えられているテンプレートブロックに対応する探索範囲中の参照ブロックの画素が入力されるのに合わせて、対応するテンプレートブロックの画素をバッファメモリ24から読み出し、差分絶対値演算器25に出力する。差分絶対値演算器25は、入力されるテンプレートブロックと参照ブロックの対応する画素間の差分絶対値を計算し、結果を累算器26に出力する。一方、減算器31は、外部から入力される探索中心移動量と制御ユニット51より与えられる参照ブロック相対位置より、参照ブロックの探索中心からの変位量を求め、内側判定器32に出力する。内側判定器32は、やはり制御ユニット51より与えられる内側探索範囲上下限と減算器31から入力される参照ブロック変位量より、参照ブロックが内側探索範囲に入っているか否かを判定し、入っている場合には1を、そうで無い場合には0を出力する。この構造によって、参照ブロックが内側探索範囲に入っている場合には、最小差異度レジスタ270の出力が、選択器33を介して、比較器28に与えられる。逆に、内側探索範囲に入っていない場合には、最小差異度271の出力が、選択器33を介して比較器28に与えられる。また、内側判定器の出力は、ANDゲート340、341にも導かれており、参照ブロックが内側探索範囲内にある場合には、341が閉じレジスタ271、291が更新されないように、そうでない場合には、340が閉じレジスタ270、290が更新されないようにしている。
始めに、内側探索範囲に入っている参照ブロックが入力されてきた場合の動作から説明する。この場合には比較器28は、最小差異度レジスタ270の内容と、累算器26の出力を比較することとなり、累算器出力が小さい場合に1を、そうでない場合に0を出力する。制御ユニット51は、累算器に参照ブロック1つ分の累算結果が得られた時点で、比較実行指示の制御信号を1にする。従って、得られた累算結果が最小差異度レジスタ270に保持していたそれまでの最小差異度より小さければ、ANDゲート340の出力が1となり、最小差異度レジスタ270と位置情報レジスタ290に1が入ることとなり、それぞれのレジスタが入力データで更新される。最小差異度レジスタ270には、図から明らかなように累算器26から出力されている参照ブロックに対する累算結果が入力されているので、その累算結果が最小差異度として書き込まれる。また、位置情報レジスタ290には入力されているその参照ブロックの相対位置が書き込まれる。逆に、累算器26で得られる累算結果が最小差異度レジスタ270で保持されているそれまでの最小差異度より小さくなければ、比較器28からは0しか出ないので、レジスタ270、290に書き込み信号の1が入力されることはない。従って、レジスタ270、290にはそれまでの最小差異度とそれを与える位置情報がそのまま残ることになる。
次いで、外側探索範囲の参照ブロックが入力されてきた場合について説明する。この場合には比較器28は、最小差異度レジスタ271の内容と、累算器26の出力を比較することとなり、累算器出力が小さい場合に1を、そうでない場合に0を出力する。制御ユニット51は、累算器に参照ブロック1つ分の累算結果が得られた時点で、比較実行指示の制御信号を1にする。従って、得られた累算結果が最小差異度レジスタ271にそれまで保持していた最小差異度より小さければ、ANDゲート341の出力が1となり、最小差異度レジスタ271と位置情報レジスタ291に1が入ることとなり、それぞれのレジスタが入力データで更新される。最小差異度レジスタ271には、図から明らかなように累算器26の累算結果が入力されているので、その累算結果が最小差異度として書き込まれる。また、位置情報レジスタ291には入力されているその参照ブロックの相対位置が書き込まれる。逆に、累算器26で得られる累算結果が最小差異度レジスタ271で保持されているそれまでの最小差異度より小さくなければ、比較器28からは0しか出ないので、レジスタ271、291に書き込み信号の1が入力されることはない。従って、レジスタ271、291にはそれまでの最小差異度とそれを与える位置情報がそのまま残ることになる。
内側探索範囲対応の最小差異度位置検出ユニット20は、参照ブロックの入力に対し、以上のような動作をすることから、探索範囲中のすべての参照ブロックを入力すると、最小差異度レジスタ270、271には、それぞれ内側探索範囲の最小差異度と、外側探索範囲の最小差異度が残る。また、位置情報レジスタ290、291には、内側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち内側探索範囲の予測ブロック候補の相対位置と、外側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち外側探索範囲の予測ブロック候補の相対位置とが、それぞれ残る。
探索対象のテンプレートに対する探索範囲内の探索が完了した時点で、位置情報レジスタ290、
291に残っていたデータを、多重化ユニット400を介して順次出力することで、縮小画像段階でのテンプレート1つ分の探索が終了する。
以上のように、本発明の第1の実施例では、内側の探索範囲と外側探索範囲の両方から別個に予測ブロック候補が検出される。これによって、縮小画像段階の探索ではサブサンプリングによる情報欠落が原因で、適切な予測ブロックが内側の探索範囲中にあるあるにも関わらず、不適切な外側探索範囲中の予測ブロックの方が差異度が小さく出るような場合でも、内側探索範囲から確実に予測ブロック候補を検出できるので、続いて行うすべての予測ブロック候補の近傍に対する詳細な探索で、適切な予測ブロックを高確率で検出できるようになる。また、存在確率の低い外側探索範囲を探索しないわけではないので、外側探索範囲に予測ブロックが存在する場合でも、それが外側探索範囲の予測ブロック候補として選ばれ、詳細探索で適切な予測ブロックとして検出できるため、従来のように単純に探索範囲を狭める方式のように、適切な予測ブロックが、狭まった探索範囲の外側に出てしまうことに起因する検出率の低下は生じない。
なお、この方法は予測ブロック候補が内側と外側で少なくとも2つ出てくるため、従来の縮小画像の段階で予測ブロックの候補を1つに絞り込む方法に比べると、詳細探索の演算量が倍増する問題がある。しかし、この演算量増加の問題については、他方に比べ差異度が大き過ぎる候補を外したり、位置が近接している候補を1つにまとめたりすることで、大幅に緩和できる。
<第2の実施例>
図12は、本発明の第2の実施例の構成を示すブロック図である。図10に示される第1の実施例との違いは、探索中心移動量と内側探索範囲上下限として、追加された統計解析ユニット45で生成するものを用いるようにしている点である。以下、本実施例について、第1の実施例との違いである統計解析ユニットの動作を中心に説明する。
統計解析ユニット45は、詳細探索型動き検出ユニット6より受ける予測ブロック相対位置に関し、平均Vmと標準偏差Vσを画像単位で求める。そして、平均Vmを探索中心移動量、標準偏差Vσを一定倍したものを内側探索範囲上下限として、内側探索範囲対応の最小差異度位置検出ユニット20に与える。ただし、この2つのパラメータを用いて動き探索が行われることになる動き検出対象画像と参照画像の時間的な前後関係、画像間距離が、Vm、Vσを求めるのに用いた動き検出対象画像と参照画像の時間的な前後関係、画像間距離と異なる場合には、その違いが補正されるようにVm、Vσを換算する。例えば、画像間距離が、2倍に伸びた場合には、Vm、Vσを2倍にする。画像の前後関係が逆の場合には、Vmの要素の正負を反転する。この統計解析ユニット45の働きにより、画像列中の動きの内容が時間的に変化しても、全探索範囲中の予測ブロックの存在する確率が高い部分領域を内側探索範囲として的確に割り付けることが可能になる。例えば、全体的に一様な動きをする画像列では、内側探索範囲が狭まることで、存在確率の高い領域から適切な予測ブロック候補を確実に検出することが可能になる。
<第3の実施例>
図13は、異なる拡張テンプレートブロックごとに個別に求める予測拡張ブロックの位置を、予測ブロック候補の位置として用いる本発明の第3の実施例のブロック図である。図3の従来例との違いは、拡張テンプレートブロック用の最小差異度位置検出ユニット19が、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット21に置き換わっている点である。
図14は、本実施例の要となる拡張テンプレートブロック複数併用型最小差異度位置検出ユニット21の構成を示すブロック図である。210、211、212は、それぞれテンプレートブロックを正方状、横長、縦長に拡張したテンプレートブロック(図7の(1)、(2)、(3)に対応しており、動き検出対象画像メモリより読み出す。)と参照画像メモリ11中の参照画像の探索範囲を2次元的に走査することで順次読み出す参照拡張ブロック(形状・サイズは拡張テンプレートブロックのそれと同一)との間で、互いの差異度を評価して、それらの候補の中で差異度が最小となる候補の位置を出力する最小差異度位置検出ユニットである。401は、210、211、212の出力の位置情報を、多重化し、それらを順次出力する多重化ユニットである。以下、この実例の動作について、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット21を中心に説明する。
図13で、サブサンプリングユニット7で縮小された動き検出対象画像と参照画像の列が、メモリユニットの10、11へ入力される。メモリユニット10は、動き検出対象画像が1枚入りきったところで、その動き検出対象画像から3種類の拡張テンプレートブロックを読み出して拡張テンプレートブロック複数併用型最小差異度検出ユニット21に送出する。メモリユニット11は、参照画像が1枚溜まったところで、探索範囲の最初の走査点(通常探索範囲の左上端)から読み出す先頭の参照拡張ブロックと、その走査点位置(参照拡張ブロック相対位置)を、拡張テンプレート複数併用型最小差異度位置検出ユニット21に送出する。ここで、探索範囲とは拡張テンプレートの位置から探索中心移動量だけ移動した位置を中心とする一定範囲の領域である。探索中心移動量と探索範囲は制御ユニット53に制御パラメータとして入力する。拡張テンプレートブロック複数併用型最小差異度位置検出ユニット21内の最小差異度検出ユニット210、211、212は、メモリユニット10、11から送られてくる拡張テンプレートブロックと参照拡張ブロックの内、自身に適合するものを受け取り、最小の差異度を与える参照拡張ブロックを検出する。そして、その参照拡張ブロックの相対位置情報を、多重化ユニット401に出力する。多重化ユニット401は、210、211、212から受け取る相対位置を、予測ブロック候補の相対位置として、1つずつ順番に出力する。この実施例では、予測ブロック候補が3つ出てしまうので、詳細探索型動き検出ユニット6の探索の負荷がその分増える欠点があるものの、拡張テンプレートブロックの境界を跨ぐことで差異度評価が不正確になる問題は、複数設けている拡張テンプレートブロックのいずれかで回避できる可能性が高い。このため、予測ブロック候補の中に、適切な予測ブロックが含まれる確率を大幅に高めることができる。
図15は、最小差異度位置検出ユニット210、211、212の内部構成を示したブロック図である。図4に示した従来の動き検出装置の拡張テンプレートブロック用最小差異度位置検出ユニット19との違いは、バッファメモリ240の容量が、拡張テンプレートブロックの種類に応じて適切な値になっているだけである。
本発明の問題点は、少なくとも拡張テンプレートブロックの種類の数だけ、予測ブロック候補が出て、その分だけ詳細探索の演算量が増大することである。ただし、この演算量増加の問題点については、ブロック当りの平均の差異度が著しく大きいものを候補から外すとか、互いに相対位置が近接しているものは1つの候補にまとめるなどの処置により大幅に緩和することができる。
<第4の実施例>
第3の実施例との違いは、最小差異度位置検出ユニット210、211、212の内部構成だけで、全体構成は図13と同一である。そこで、その異なる内部構成のブロック図のみを図16に示す。図15との違いは、拡張テンプレートブロックの構成画素数以上の容量を有した重み係数ROM202と乗算器204が付け加わっている点である。この両者の追加により、図7の(1)に示されるような拡張テンプレートブロックを分割した部分ブロックごとに、異なる重み付けをした差異度の計算が可能になる。すなわち、バッファメモリ240の出力の拡張テンプレートブロックと参照画像用メモリユニット11より入力される参照拡張ブロックの対応する画素間の差分絶対値に、係数ROM202から読み出す部分領域ごとに定まる重み係数を乗算器204で乗じ、その結果の重みつき差分絶対値を、累算器26に入力することができるようになる。この第4の実施例の部分ブロックごとに重み付けして差異度を計算できることにより、動き検出精度の大幅な向上が可能になる。
<第5の実施例>
図17は、動き検出対象画像より順次切り出す2×2のテンプレートブロックの並びについて、第1階層の縮小画像を用いた探索処理で、予測ブロック候補を並列に求める本発明の第5の実施例のブロック図である。第3の実施例と比べ、動き検出対象画像用メモリユニット10、参照画像用メモリユニット11、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット21が、それぞれ100、110、191に置き換わっている点が異なる。動き検出対象画像用メモリユニット100は、4×4のテンプレート配列のテンプレートブロック結合を4並列で読み出せる構成をとっている。参照画像用メモリユニット110も、4×4の参照ブロック配列の参照ブロック結合を4並列で読み出せる構成をとっている。また、テンプレートブロック結合最小差異度位置並列検出ユニット191は、図18のブロック図に示される構成をとっている。この図18で、PEXXで示される900〜933は拡張テンプレートブロックと参照拡張ブロックの対応する部分ブロック(この実施例では、サイズ・形状をテンプレートブロックのそれに揃えている)間の部分差異度を求める部分差異度評価ユニット、213〜216は図13に内部構成を示す予測ブロック候補の多重化機能も含む最小差異度位置検出ユニットである。以下、この第5の実施例の動作について、第3の実施例と構成の異なるテンプレートブロック結合最小差異度位置並列検出ユニット191を中心に説明する。
図17で、サブサンプリングユニット7で縮小された動き検出対象画像と参照画像の列が、メモリユニットの100、110へ入力され、両者の動き探索に必要な画像が入りきったところで処理を開始する。ここでは、探索処理の繰り返しの単位である2×2のテンプレートブロック配列の一つ
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。(処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明のみにとどめる。)
始めに、さらに1ブロック分だけ外側に拡張した以下の4×4ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合を、メモリユニット100より読み出して、ブロック1つ分の領域が1つの部分差異度評価ユニットに入るように、部分差異度評価ユニットの4×4の配列へ送出する。また、メモリユニット110より、4×4ブロック分の参照ブロック結合を読み出して、すでに入っているテンプレートブロック結合の部分ブロックと対応する位置にあるブロック1つ分の部分領域がそれぞれの部分差異度評価ユニットに入るように、部分差異度評価ユニットの4×4の配列900〜933へ送出する。メモリユニット100と110から、テンプレートブロック結合と参照ブロック結合の対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット900〜933は、各々、その対応する部分ブロック間の差異度を算出し、部分差異度として、4個の最小差異度位置検出ユニットへ出力する。部分差異度評価ユニットの配列から、部分差異度を受け取った最小差異度位置検出ユニット213〜216は、図19に示すように、内部で所定の形状(この実施例では、3×3の正方拡張テンプレートブロック、3×1の横方向拡張テンプレートブロック、1×3の縦方向拡張テンプレートブロックの3形状)の拡張テンプレートブロックとそれに対応する参照拡張ブロック間の差異度が形成されるように、加算器301、302を用いて入力される部分差異度を適切に足し合わせて累算する(部分和を取る)。そして、その累算結果(部分和結果)を、比較器282〜284、最小差異度レジスタ272〜274へ出力する。比較器282〜284は、それまでの最小差異度レジスタ272〜274の保持内容と比較し、受け取った累算結果が小さければ、更新信号を最小差異度レジスタ272〜274と位置情報レジスタ292〜294へ出力する。最小差異度レジスタ272〜274は、比較器より更新信号を受け取ると入力の累算結果を新たな最小差異度として保持内容を更新する。一方、位置情報レジスタ292〜294も、比較器282〜284より更新信号を受け取ると、制御ユニット54より受け取る参照ブロック結合相対位置で、保持内容を更新する。以上の動作を、探索範囲内で設定可能な全走査点について繰り返す。そして、最後に残った位置情報レジスタ292〜294の保持内容を、予測ブロック候補の位置情報として、多重化ユニット309を経由して順次出力する。ここで、4個の最小差異度位置検出ユニット213〜216への入力としては、PE11を中心とした左上の3×3の部分差異度評価ユニット(900、901、902、910、911、912、920、921、922)からと、PE12を中心とした右上の3×3の部分差異度評価ユニット(901、902、903、911、912、913、921、922、923)からと、PE21を中心とした左下の3×3の部分差異度評価ユニット(910、911、912、920、921、922、930、931、932)からと、PE22を中心とした右下の3×3の部分差異度評価ユニット(911、912、913、921、922、923、931、932、933)からとが、それぞれ入るようにしている。この接続構成により、4個の最小差異度位置検出ユニット213〜216のうち、左上のユニット213では、BLK11の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右上のユニット214では、BLK12の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、左下のユニット215では、BLK21の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右下のユニット216では、BLK22の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、それぞれ行う。結局、4個の最小差異度位置検出ユニットにより、BLK11、BLK12、BLK21、BLK22のテンプレートブロックの予測ブロック候補が4個の最小差異度位置検出ユニット213〜216で並列に求められ、その結果が、多重化ユニット218で多重化されて詳細探索型動き検出ユニット6に出力される。このように、本実施例では動き探索を並列に行えるので、動き探索の所要時間短縮に有効である。また、部分ブロックごとに求めた部分差異度が、端を除けば、近傍の拡張テンプレートブロック同士で相互利用(再利用)できるため、テンプレートブロックの拡張により増加する差異度計算のオーバヘッドを低減できる利点もある。
なお、本実施例では、最小差異度位置検出ユニット213〜216で、図7の(1)、(2)、(3)の拡張テンプレートブロックに対応する累算・比較構成としているが、拡張テンプレートブロックの種類を単一に絞る場合(従来の拡張テンプレートブロックを用いた動き検出装置に適用する場合)から4種類以上に増やす場合までの任意の種類に対応させることが可能である。また、この図では、部分ブロックの形状、サイズをもともとのテンプレートブロックのそれに合わせている。これによって、拡張テンプレートブロックの拡張の単位がテンプレートブロックと合同の形状に制限されるものの、本実施例で説明したようにブロック単位の部分差異度評価ユニットで得られる部分差異度を適当に組み合わせた部分和をとるだけで、拡張テンプレートブロック全体の差異度を算出できるメリットがある。もちろん、拡張の単位をブロック単位より小さくすることも可能で、そうすることで予測ブロック候補が適切な予測ブロックとなる割合を上げることも可能である。
<第6の実施例>
図20は、動き検出対象画像より順次切り出す2×2のテンプレートブロックの並びについて、第1階層の縮小画像を用いた探索処理で予測ブロック候補を並列に検出するとともに、同一の部分差異度評価ユニット配列で、詳細探索まで行えるようにした本発明の第6の実施例のブロック図である。第5の実施例との違いは、以下の4点である。
詳細探索用の動き検出ユニットを省いている点。
動き検出対象画像用メモリユニットと参照画像用メモリユニットにそのままの入力画像列も格納できるように、マルチプレクサ12、13を追加している点。
テンプレート結合最小差異度位置並列検出ユニットを191から192に置き換えている点。
探索中心移動量として、縮小画像の探索結果の予測ブロック候補相対位置が入れられるように、テンプレート結合最小差異度位置並列検出ユニット192の出力を一時的に保持するFIFO機能の予測ブロック候補バッファ15と、その出力と外部から入力される探索中心移動量を切り替えるためのマルチプレクサか14が追加されている点。
また、テンプレート結合最小差異度位置並列検出ユニット192の191との違いは、図21のブロック図に示すように、部分差異度評価ユニット配列の個々のユニットの出力がすべて入力される最小差異度位置検出ユニット217が付け加わっていることである。図22に、最小差異度位置検出ユニット217の内部構成のブロック図を示す。全部分差異度の総和を取り、最小差異度レジスタ275、比較
器285、位置情報レジスタ295により、その結果の最小位置を検出する構成となっている。以下、この第6の実施例の動作について説明する。
図20で、入力の画像列とサブサンプリングユニット7で縮小された画像列の両方が、マルチプレクサ12、13により多重化され、動き検出対象画像と参照画像の列として、メモリユニットの100、110へ入力される。従って、メモリユニット100、110には、入力画像と縮小画像の両方の動き検出対象画像と参照画像が格納される。処理対象の動き検出対象画像と参照画像が整い次第、階層探索の第1階層、すなわち形状の異なる拡張テンプレートブロックを用いる縮小画像に対する動き探索を開始する。縮小画像に対する動き探索、動き検出のための構成については全く手を加えていないことから、この第一階層の探索動作は、第5の実施例と全く同じであり、拡張テンプレートの数だけの予測ブロック候補の相対位置を検出し、それらを多重化して出力する。第5の実施例とは異なり詳細動き検出ユニット6が無いので、多重化出力は、一旦、予測ブロック候補バッファ15に書き込む。
予測ブロック候補バッファ15に予測ブロック候補の位置情報が得られたならば、入力そのままで非縮小の動き検出対象画像と参照画像を用い、第2階層の詳細探索による動き検出を開始する。始めに、メモリユニット100より、テンプレートブロック結合としてテンプレートブロック1つ分を読み出して、4×4等分した部分ブロック1つ分が1つの部分差異度評価ユニットに入るように、部分差異度評価ユニットの4×4の配列へ出力する(テンプレートブロックサイズが16×16画素の場合、部分ブロックのサイズは4×4画素となる。テンプレートブロック全体を縦横1/4縮小すると4×4画素のサイズになるので、第1階層の拡張テンプレートブロックを用いる探索処理は必然的に縦横1/4縮小した縮小画像に対するにものになる。)。同時に、メモリユニット110からは、参照ブロック結合として参照ブロック1つ分を予測ブロック相対位置を中心とする探索範囲内から読み出して、同様に4×4等分した部分ブロックのそれぞれが、テンプレートブロックの部分ブロックと対応する位置の部分差異度評価ユニットに入るように、部分差異度評価ユニットの4×4の配列に出力する。
メモリユニット100と110から、テンプレートブロックと参照ブロックの対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット900〜933は、各々、その対応する部分ブロック間の差異度を算出し、結果を部分差異度として5個の最小差異度位置検出ユニット213〜217へ出力する。ただし、この第2階層の探索では、テンプレートブロック結合をテンプレートブロックそのものに選んでいるため、拡張テンプレートブロック用の213〜216の最小差異度検出ユニットは意味のある働きをしない。意味があるのは、求まった部分差異度のすべてが入力される217のみである。この217では、図22に示されるように、加算器のツリーで入力のすべての部分差異度の間の総和、すなわちテンプレートブロックと参照ブロック間の差異度を求め、その求まった差異度を、最小差異度レジスタ275に保持されているこれまでの最小値と比較器285で比較し、小さければ最小差異度レジスタ275を求まった差異度で更新する。同時に、位置情報レジスタ295の内容も、入力の参照ブロック結合相対位置で更新する。
以上の差異度計算と最小差異度検出更新処理を予測ブロック候補相対位置を中心とする探索範囲内の参照ブロックのすべてについて行う。この探索処理を、予測ブロック候補バッファ15に溜まっている予測ブロック候補を順次読み出して、繰り返す。テンプレートブロックBLK11の予測ブロック候補のすべてについて探索処理を終えると、予測ブロック候補ごとに定まる複数の探索範囲の中で最小の差異度を与える相対位置が位置情報レジスタ295に得られる。これをテンプレートブロックBLK11の最終的な予測ブロック相対位置として外部に出力する。
予測ブロック候補バッファには、まだ、BLK12,BLK21,BLK22テンプレートブロックの予測ブロック候補位置情報が残っているので、これらについても同様に第2階層の探索処理を施し、最終的な予測ブロック相対位置を得て、外部に順次出力する。
これらの2×2個のテンプレートブロックの予測ブロック相対位置の出力をすべて終えると、次の2×2個のテンプレートブロックの探索処理に入る。
本実施例は、第5の実施例と比べると、詳細動き検出ユニットを省き、代わりにテンプレート結合最小差異度位置並列検出ユニット192で、第2階層の詳細探索型の動き検出も行うようにしているので、設計工数の低減が可能になる利点がある。
<第7の実施例>
ところで、本発明の第5、第6の実施例は、個々の差異度評価ユニットをアイドルさせないために、テンプレートブロック結合、参照ブロック結合を、それらと同一サイズの部分差異度評価ユニット配列に、メモリユニット100、110より一気に読み出して供給することを前提としている。しかし、これでは端の部分ブロックに対する部分差異度が再利用できないことに起因する効率低下の問題を軽減しようとすると部分差異度評価ユニット配列を大きくせざるを得ないばかりか、メモリユニット100、110も非常に大きなアクセス幅を持たせねばならなくなるので、ハードウェア規模を大幅に増やさざるをえない。
図23は、この問題をテンプレートブロック結合の部分ブロックと各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域のそれぞれの構成行を1行ずつ供給することと差異度評価ユニットの並列使用量の向上を両立することで解決する本発明の第7の実施例のブロック図である。第5の実施例の図17に示すブロック図との違いは、テンプレート結合最小差異度位置並列検出ユニットが191から193に置き換えると共に、メモリユニットを100、110から101、111に置き換えている点である。メモリユニット101、111の100、110との違いは、アクセスの単位を部分テンプレートブロックの構成行、あるいは部分参照領域の構成行の部分行にした点である。また、図24は、テンプレート結合最小差異度位置並列検出ユニット193のブロック図である。ここで、950〜953は、図25に示すように、4個の差分絶対値演算器302で左あるいは上側から入ってくる部分参照ブロックの構成行(4画素幅)と下側から入ってくる部分テンプレートブロックの構成行(4画素幅)の間の個々の画素間の差分絶対値を取り、その結果同士と累算用レジスタの和を4個の加算器301で取って、結果を累算用レジスタに格納する部分差異度評価ユニットである。この部分差異度評価ユニット950〜953に対し、部分ブロックの構成行のすべて(4行)を順次入力し、結果を累算用レジスタで累算すれば部分ブロック間の差異度が求まる。ここで、差分絶対値演算器302は、入力の差分に対して、絶対値をとって出力する演算器である。
また、960〜963は、それぞれテンプレートブロック結合と参照ブロック結合の間の部分差異度のすべてを格納するためのレジスタファイルである。970から973は、レジスタファイル960〜963から送られてくる部分差異度に対し拡張テンプレートブロックの形状に合わせた部分和をとることで各拡張テンプレートブロック・拡張参照ブロック間の差異度を求める部分和ユニットである。980は、部分和ユニットから送られてくる拡張ブロック間差異度の中から最小のものを検出すると共に、その出所もとの差異度評価ユニットを特定する最小差異度検出ユニットである。981〜983は、拡張テンプレートブロックごとに設ける最小値位置検出ユニットであり、図26に示すように、図4の最小差異度位置検出ユニットに用いられているのと同じ働きの比較器286、最小差異度レジスタ276、位置情報レジスタ296に加え、ブロック位置補正ユニット297で構成される。ブロック位置補正ユニット297は、参照ブロック結合の相対位置を出所もとの差異度評価ユニットに応じて、正しい値に補正するユニットである。以下、この第7の実施例の動作について詳しく説明する。
図23で、サブサンプリングユニット7で縮小された動き検出対象画像と参照画像の列が、メモリユニットの101、111へ入力され、両者の動き探索に必要な画像が入りきったところで処理を開始する。ここでは、探索処理の繰り返しの単位である2×2のテンプレートブロック配列の一つ
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。(処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明で十分である。)
始めに、さらに1ブロック分だけ外側に拡張した以下の4×4ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合の一番上の部分ブロックBLK00の以下の4×4画素
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
を、一番上の行から順にメモリユニット101より読み出して、それぞれを部分差異度評価ユニット950〜953のすべてに放送する。また、この行単位の放送と同期して、真裏位置より行方向に1画素ずつずれた拡張参照ブロックに属する以下の4個の4×4画素の部分参照ブロック
refpix0-2 refpix0-1 refpix00 refpix01
refpix1-2 refpix1-1 refpix10 refpix11
refpix2-2 refpix2-1 refpix20 refpix21
refpix3-2 refpix3-1 refpix30 refpix31

refpix0-1 refpix00 refpix01 refpix02
refpix1-1 refpix10 refpix11 refpix12
refpix2-1 refpix20 refpix21 refpix22
refpix3-1 refpix30 refpix31 refpix32

refpix00 refpix01 refpix02 refpix03
refpix10 refpix11 refpix12 refpix13
refpix20 refpix21 refpix22 refpix23
refpix30 refpix31 refpix32 refpix33

refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
の並びからなる(すべてを含む)以下の部分参照領域
refpix0-2 refpix0-1 refpix00 refpix01 refpix02 refpix03 refpix04
refpix1-2 refpix1-1 refpix10 refpix11 refpix12 refpix13 refpix14
refpix2-2 refpix2-1 refpix20 refpix21 refpix22 refpix23 refpix24
refpix3-2 refpix3-1 refpix30 refpix31 refpix32 refpix33 refpix34
を、一番上の行から順にメモリユニット111より読み出して、それぞれを部分差異度評価ユニット950〜953のすべてに放送する。ただし、この場合には図24、図25のブロック構成から明らかなように放送の方向が右下に向かっているので、各部分差異度評価ユニットには、1画素ずつずれた部分行(部分参照ブロックの構成行)が切り出されて入力される。例えば、先頭行は各部分差異度評価ユニットに以下のように入る。
950:refpix01 refpix02 refpix03 refpix04
951:refpix10 refpix11 refpix12 refpix13
952:refpix2-1 refpix20 refpix21 refpix22
953:refpix3-2 refpix3-1 refpix30 refpix31
各部分差異度評価ユニットでは、行単位の放送ごとに送られてくる部分テンプレートブロックと部分参照ブロック間の対応する構成行間の差異度を求め累算用レジスタ303に加え込む。
以上の行単位の放送とその放送行に対する部分差異度評価ユニットでの差異度累算を4回繰り返すことで、部分ブロック間の差異度(部分差異度)が累算用レジスタ303に得られる。
例えば、部分差異度評価ユニット950に送られてくる累算対象の行は、繰り返しの回ごとに以下のようになる。
1回目:
tpix00_00 tpix00_01 tpix00_02 tpix00_03
refpix01 refpix02 refpix03 refpix04

2回目:
tpix00_10 tpix00_11 tpix00_12 tpix00_13
refpix11 refpix12 refpix13 refpix14

3回目:
tpix00_20 tpix00_21 tpix00_22 tpix00_23
refpix21 refpix22 refpix23 refpix24

4回目:
tpix00_30 tpix00_31 tpix00_32 tpix00_33
refpix31 refpix32 refpix33 refpix34

部分差異度評価ユニット950は、これら行単位の画素データを受け取るごとに差分絶対値和計算とその結果の累算を行うので、4回の繰り返しの後には、結局、以下の4×4画素の部分テンプレートブロック(BLK00)
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
と、以下の4×4画素の部分参照ブロック
refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
との間の差異度が累算器303に得られる。
このようにしてBLK00に対する部分差異度が求まったならば、各部分差異度評価ユニットは、それを右側のレジスタファイル960〜963のBLK00用のアドレスに書き込む。
続いて、BLK00の1つ右側の部分ブロックBLK01と4画素だけ右側の部分参照ブロックの並びからなる以下の部分参照領域
refpix02 refpix03 refpix04 refpix05 refpix06 refpix07 refpix08
refpix12 refpix13 refpix14 refpix15 refpix16 refpix17 refpix18
refpix22 refpix23 refpix24 refpix25 refpix26 refpix27 refpix28
refpix32 refpix33 refpix34 refpix35 refpix36 refpix37 refpix38
について、BLK00の場合と全く同じように部分差異度評価ユニットを動かして、部分差異度を得て、結果をレジスタファイル960〜963の別のアドレスに書き込む。同様の部分ブロック単位の差異度評価をラスタ操作順に繰り返していくと、結局、レジスタファイル960〜963のそれぞれに、BLK00〜BLK33のテンプレートブロック結合と参照画像中の位置が1画素ずつ異なる参照ブロック結合1つ分の間の部分差異度が全部揃う。そうしたならば、次はレジスタファイル960〜963からBLK11の拡張テンプレートブロックの部分差異度をすべて読み出し、部分和ユニット970〜973に送り、拡張テンプレートブロックの形状に対応する部分和を取ることで各拡張テンプレートブロックの差異度を求める。求まった差異度を、拡張テンプレートブロックの形状ごとに、最小差異度検出ユニット980に出力する。最小差異度検出ユニット980では、拡張テンプレートブロックの形状ごとの最小差異度とその出所もとの差異度評価ユニット番号を検出し、拡張テンプレートブロックの形状ごとの最小値位置検出ユニット981〜983に出力する。各最小値位置検出ユニットでは、BLK11の拡張テンプレートブロックのそれまでの最小の差異度を最小差異度レジスタファイル276のBLK11用探索結果格納番地から読み出し、入力の差異度と比較器286で比較する。もし入力の方が小さければ、そのBLK11用探索結果格納番地を入力の差異度で更新すると共に、位置情報レジスタファイル296のBLK11の参照拡張ブロックの相対位置を格納する番地も基準の参照ブロック結合相対位置を差異度評価ユニット番号で補正した値で更新する。
ここまでの動作で、BLK11の各拡張テンプレートブロックについて行方向に−2画素、−1画素、0、+1画素の4点を探索した結果の最小の差異度とその差異度を与える位置が、各最小値位置検出ユニットの最小差異度レジスタファイル276と位置情報レジスタファイル296のBLK11用探索結果格納番地に得られる。
BLK12,BLK21,BLK22についても、レジスタファイル960〜963に求まっている部分差異度をBLK11の場合と同様に読み出して、部分和、最小差異度検出、最小値位置検出のパスを順次通すことで、行方向の4点分の探索結果が最小差異度レジスタファイル276と位置情報レジスタファイル296のそれぞれの探索結果格納番地に得られる。
通常の動き探索で要求されるより広い探索範囲への対応は、以上の4点単位の探索を探索範囲内でラスタ走査順に繰り返し、より小さい差異度が求まるごとに、最小差異度レジスタファイル276と位置情報レジスタファイル296の内容を更新することで実現される。
なお、この第7の実施例の説明(特に図24の説明)では、理解が容易なように、各ユニットの処理は、前段のユニット処理が終了し、その結果が送られてきて始めて開始されるようにしてきた。しかし、実際には、後段のユニットに処理結果を送り終える前に新たな動作を開始したり、あるいは前段の処理が終了しなくとも、後段にとって必要なデータが整い次第動作を開始させたりするパイプライン型の並列動作が可能で、これによって処理速度の一層の向上が可能になる。また、メモリユニット101、111とレジスタファイルの容量を増やすだけで、テンプレートブロック結合のサイズを大きくできるので、テンプレートブロック結合の端に位置する部分ブロックの部分差異度が再利用できないことに起因する効率低下の問題も、容易に軽減できる利点がある。
上記のように、本実施例によれば、メモリユニットより読み出す部分ブロックの構成行あるいは部分参照領域の構成行を、同時に複数の差異度評価ユニットに放送する形で動作させうる。このため差異度評価ユニットに個別に部分ブロックの画像データを供給する第6以前の実施例に比べ、メモリユニットに必要なデータアクセスのバンド幅が大幅に低減されるので、メモリユニットの占有面積と消費電力の低減が可能になる。
第1の実施例から第5の実施例について本発明を実現するための装置としての構成を説明した。しかし、本発明は当該装置として実現可能であるだけでなく、第1の実施例を実現する図10・図11のブロック図、第2の実施例を実現する図11、図12のブロック図、第3の実施例を実現する図13・図14・図15のブロック図、第4の実施例を実現する図13、図14、図16、第5の実施例を実現する図17、図18、図19のブロック図のそれぞれについて、図中で進む処理の流れを、そのままフローチャートの形に書き換えることが可能であるので、それぞれが本発明に対応する動き検出方法を具現化したものとみなすことができる。従って、本発明は当該動き検出方法も、請求項8から請求項12に記述しているように権利範囲に含むものである。さらに、当該動き検出方法は、データ処理装置が実行可能なプログラムをもって表現することが可能である。
請求項8から請求項11の動き検出方法を併用する動き探索部を組み込んだMPEG−2の符号化プログラムは、動き探索の演算量の大幅な低減が可能な縦横共に4:1という粗いサブサンプリング率の縮小画像を用いる2階層探索にも関わらず、動き探索部を従来最高の検出精度が得られるとされてきた非縮小画像を全探索するMPEG-2符号化プログラムより、表1に示すように高い符号化の画質が得られる。
また、部分テンプレートブロックごとの部分差異度が、形状の異なる拡張テンプレートブロック間で相互に利用できるので、テンプレート拡張による演算量の増大も効果的に抑制できる。さらに、部分テンプレートブロックあるいは部分参照領域の構成行を並列に動作する差異度評価ユニットで共通に利用する構成が可能なので、差異度評価ユニットごとに個別にデータを読み出すことが不要となり、動き検出対象画像用メモリユニットと参照画像格納用メモリユニットのアクセスバンド幅の低減が可能である。このように、本発明は演算量、メモリに対するアクセスバンド幅の大幅な低減と全探索にも劣らない動き検出精度の確保とを両立できるので、高性能な動き検出器を小型・低コストで実現するのに極めて有用である。
Figure 0004859168
従来の動き検出方法における動き検出対象のテンプレートブロックと、それに対する参照画像中の探索範囲を示す図である。 隣接する4個のテンプレートブロックを結合した拡張テンプレートブロックと、それに対する参照画像中の探索範囲を示す図である。 2×2のテンプレートブロックからなる拡張テンプレートブロックを用いた第1階層の動き探索により概略の動きベクトルを検出してから、その動きベクトルで指定される位置付近の第2階層の詳細な動き探索により最終的な動きベクトルを検出する従来の動き検出装置のブロック構成を示す図である。 図3の構成ユニットである拡張テンプレートブロック用最小差異度位置検出ユニット19の内部構成を示すブロック構成図である。 探索範囲中に設定する内側探索範囲を示す図である。 形状・サイズ・重み係数が同一の2×2の拡張テンプレートブロックを示す図である。 形状・サイズ・方向別拡張量・重み係数の異なる拡張テンプレートブロックの組の例を示す図である。 通常のテンプレートブロックと部分テンプレートブロックとの関係を示す図である。 テンプレートブロック結合とテンプレートブロック、拡張テンプレートブロックとの関係を示す図である。 通常の探索範囲の内側にもう1つの内側探索範囲を設定する第1の実施例のブロック構成を示す図である。 第1の実施例の要となる内側探索範囲内の予測ブロック候補検出機能を付加した内側探索範囲対応の最小差異度位置検出ユニットのブロック構成を示す図である。 探索中心移動量と内側探索範囲上下限を求めるための探索結果統計解析ユニットを追加した第2の実施例を示すブロック構成図である。 異なる拡張テンプレートブロックごとに個別に求める予測拡張ブロックの位置を、予測ブロック候補の位置として用いる第3の実施例のブロック構成図である。 第3の実施例の要の構成ユニットである拡張テンプレートブロック複数併用型最小差異度位置検出ユニットの構成を示すブロック構成図である。 第3の実施例の構成ユニットである最小差異度位置検出ユニットの内部構成を示したブロック図である。 重み付差異度評価機能を付加した第3の実施例の最小差異度位置検出ユニットのブロック構成図である。 動き検出対象画像より順次切り出す2×2のテンプレートブロックの並びについて、第1階層の縮小画像を用いた探索処理で、予測ブロック候補を並列に検出する第5の実施例のブロック構成図である。 第5の実施例の構成ユニットであるテンプレートブロック結合最小差異度位置並列検出ユニットのブロック構成図である。 第5の実施例を構成するテンプレートブロック結合最小差異度位置並列検出ユニットの構成ユニットである最小差異度位置検出ユニットのブロック構成図である。 動き検出対象画像より順次切り出す2×2のテンプレートブロックの並びについて、第1階層の縮小画像を用いた探索処理で予測ブロック候補を並列に検出するとともに、同一の部分差異度評価ユニット配列で、詳細探索まで行えるようにした第6の実施例のブロック構成図である。 第6の実施例の構成ユニットであるテンプレートブロック結合最小差異度位置並列検出ユニットのブロック構成図である。 第6の実施例を構成するテンプレートブロック結合最小差異度位置並列検出ユニットで追加した構成ユニットである最小差異度位置検出ユニット217のブロック構成図である。 テンプレートブロック結合の部分ブロックと各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域のそれぞれの構成行を1行ずつ供給することと差異度評価ユニットの並列使用量の向上を両立することで、動き検出対象画像用、参照画像用メモリユニットのデータアクセス幅を低減する第7の実施例のブロック構成を示す図である。 第7の実施例の構成ユニットであるテンプレートブロック結合最小差異度位置並列検出ユニットのブロック構成を示す図である。 第7の実施例を構成するテンプレートブロック結合最小差異度位置並列検出ユニットでの構成ユニットである部分差異度評価ユニットのブロック構成を示す図である。 第7の実施例を構成するテンプレートブロック結合最小差異度位置並列検出ユニットの構成ユニットである最小値位置検出ユニットのブロック構成図。

Claims (4)

  1. 動き検出対象画像内に存在するテンプレートブロック(動き検出対象ブロック)の移動元とみなせる予測ブロックが探索対象の参照画像内の探索範囲中のどこに位置するかを検出する動き検出装置であって、
    前記テンプレートブロックの周囲に形状・サイズ・方向(上下、左右方向)別拡張量の異なる任意の隣接領域を加え合わせて形成される複数の拡張テンプレートブロックと、それらに合同で相互の差異度の小さい複数の予測拡張ブロックの位置を複数の予測ブロック候補位置として検出し、
    前記複数の予測ブロック候補位置の近傍に位置する複数の前記予測ブロックについて、前記テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出することを特徴とする動き検出装置。
  2. 前記テンプレートブロックと前記拡張テンプレートブロックが単数又は複数の部分ブロックの集合で構成されており、
    前記予測ブロックと前記予測拡張ブロックも、前記テンプレートおよび前記拡張テンプレートを構成する部分ブロックと合同な部分ブロックで構成されており、
    前記差異度計算を各部分ブロック対(前記テンプレートまたは前記拡張テンプレートに属する部分ブロックと、これと合同な前記予測ブロック又は前記予測拡張ブロックの部分ブロックと、で構成される1対の部分ブロック)毎に実施し、
    これら各部分ブロック対の差異度計算結果の和を求めることで、前記差異度計算を実施することを特徴とする請求項1に記載の動き検出装置。
  3. 動き検出対象画像内に存在するテンプレートブロック(動き検出対象ブロック)の移動元とみなせる予測ブロックが探索対象の参照画像内の探索範囲中のどこに位置するかを検出する動き検出装置であって、
    前記テンプレートブロックの周囲に形状・サイズ・方向(上下、左右方向)別拡張量の異なる任意の隣接領域を加え合わせて形成される複数の拡張テンプレートブロックと、それらに合同で相互の差異度の小さい複数の予測拡張ブロックの位置を複数の予測ブロック候補位置として検出し、
    前記複数の予測ブロック候補位置の近傍に位置する複数の前記予測ブロックについて、前記テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出することを特徴とする動き検出方法。
  4. 前記テンプレートブロックと前記拡張テンプレートブロックが単数又は複数の部分ブロックの集合で構成されており、
    前記予測ブロックと前記予測拡張ブロックも、前記テンプレートおよび前記拡張テンプレートを構成する部分ブロックと合同な部分ブロックで構成されており、
    前記差異度計算を各部分ブロック対(前記テンプレートまたは前記拡張テンプレートに属する部分ブロックと、これと合同な前記予測ブロック又は前記予測拡張ブロックの部分ブロックと、で構成される1対の部分ブロック)毎に実施し、
    これら各部分ブロック対の差異度計算結果の和を求めることで、前記差異度計算を実施することを特徴とする請求項3に記載の動き検出方法。
JP2004301750A 2004-10-15 2004-10-15 動き検出装置及び動き検出方法 Expired - Fee Related JP4859168B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004301750A JP4859168B2 (ja) 2004-10-15 2004-10-15 動き検出装置及び動き検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004301750A JP4859168B2 (ja) 2004-10-15 2004-10-15 動き検出装置及び動き検出方法

Publications (2)

Publication Number Publication Date
JP2006115312A JP2006115312A (ja) 2006-04-27
JP4859168B2 true JP4859168B2 (ja) 2012-01-25

Family

ID=36383431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004301750A Expired - Fee Related JP4859168B2 (ja) 2004-10-15 2004-10-15 動き検出装置及び動き検出方法

Country Status (1)

Country Link
JP (1) JP4859168B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5185244B2 (ja) * 2009-12-18 2013-04-17 日本電信電話株式会社 動きベクトル検出装置、動きベクトル検出方法およびプログラム
WO2012005537A2 (ko) * 2010-07-09 2012-01-12 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN114265626A (zh) * 2021-11-25 2022-04-01 上海齐感电子信息科技有限公司 控制方法及控制系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203457A (ja) * 1993-12-27 1995-08-04 Oki Electric Ind Co Ltd 動きベクトル検出装置
JPH0923434A (ja) * 1995-07-07 1997-01-21 Nec Corp 動き補償回路
JPH0937269A (ja) * 1995-07-25 1997-02-07 Hitachi Ltd 画像圧縮装置
JP2000050282A (ja) * 1998-08-03 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 動き検出器及び動き検出方法及びそのプログラムを記録した記録媒体
JP2004200984A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル検出装置
JP4228705B2 (ja) * 2003-01-27 2009-02-25 日本電気株式会社 動きベクトル探索方法および装置

Also Published As

Publication number Publication date
JP2006115312A (ja) 2006-04-27

Similar Documents

Publication Publication Date Title
US8218635B2 (en) Systolic-array based systems and methods for performing block matching in motion compensation
KR101522985B1 (ko) 영상처리 장치 및 방법
US6690730B2 (en) Motion estimator
EP1775963A1 (en) Motion vector detecting device, and motion vector detecting method
KR101578052B1 (ko) 움직임 추정 장치 및 이를 구비하는 동영상 부호화 장치
JPH07250328A (ja) 動きベクトル検出装置
KR101520027B1 (ko) 움직임 추정 방법 및 장치
US6687299B2 (en) Motion estimation method and apparatus for interrupting computation which is determined not to provide solution
JP4859168B2 (ja) 動き検出装置及び動き検出方法
JP2008060836A (ja) 動きベクトル探索方法及び装置
US8428137B2 (en) Motion search apparatus in video coding
JP2010108205A (ja) 超解像画像作成方法
US20110249188A1 (en) Method of block-based motion estimation
US8705626B2 (en) Motion estimation method
JP2002152750A (ja) 動きベクトル検出方法および装置
JPH09261646A (ja) 画像の動き検出装置
US20100074336A1 (en) Fractional motion estimation engine
Liu et al. A frame-level FSBM motion estimation architecture with large search range
KR100359091B1 (ko) 움직임추정장치
US20090060048A1 (en) Motion detection circuit and method
KR100926440B1 (ko) 영상부호화를 위한 블록 매칭 움직임 추정 장치
CN113434715B (zh) 用于针对图像进行搜索的方法以及图像处理电路
CN114727115B (zh) 一种视频编码的整数运动估计方法、系统及存储介质
CN113723274B (zh) 改进基于非极大抑制的目标物体检测方法
KR102089433B1 (ko) 영상 부호화 장치의 다방향 계층적 움직임 추정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees