JP4155952B2 - パターン分析に基づく動きベクトル補正装置及びその方法 - Google Patents

パターン分析に基づく動きベクトル補正装置及びその方法 Download PDF

Info

Publication number
JP4155952B2
JP4155952B2 JP2004216508A JP2004216508A JP4155952B2 JP 4155952 B2 JP4155952 B2 JP 4155952B2 JP 2004216508 A JP2004216508 A JP 2004216508A JP 2004216508 A JP2004216508 A JP 2004216508A JP 4155952 B2 JP4155952 B2 JP 4155952B2
Authority
JP
Japan
Prior art keywords
values
projection
motion vector
motion
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004216508A
Other languages
English (en)
Other versions
JP2005056410A (ja
Inventor
聖 熙 李
五 宰 權
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005056410A publication Critical patent/JP2005056410A/ja
Application granted granted Critical
Publication of JP4155952B2 publication Critical patent/JP4155952B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Description

本発明は、パターン分析に基づく動きベクトル補正装置及びその方法に関し、さらに詳細には、動き推定対象であるブロックのパターン如何を判断して既推定された動きベクトルを補正する動きベクトル補正装置及びその方法に関する。
ＦＲＣ(Ｆｒａｍｅ Ｒａｔｅ ｕｐ−Ｃｏｎｖｅｒｓｉｏｎ)、ＩＰＣ(Ｉｎｔｅｒａｃｅｄ ｔｏ Ｐｒｏｇｒｅｓｓｉｖｅ Ｃｏｎｖｅｒｓｉｏｎ)などのような映像処理において、映像フレーム間の動き推定は必需的に行われている。動き推定は動き補償のために動きベクトルを推定することであって、一般にブロックマッチングアルゴリズム(以下、「ＢＭＡ」と記す）を利用して推定される。
ＢＭＡは連続入力される２枚のフレーム/フィールドをブロック単位に比較してブロック当たり１つの動きベクトルを推定する。この場合、動きベクトルは既に公知された動き予測誤差値、例えば、ＳＡＤ(絶対差の和)値を利用して推定される。そして、動き補償過程では推定された動きベクトルを利用して動き補償を行う。
しかし、従来の動き推定において、ブロック別に推定された各々の動きベクトルは不正確に推定される場合が発生する。特に、図１Ａに示すように、同じ映像が周期的に繰り返される実際周期パターン映像は、ＢＭＡだけでは正確な動きベクトルが推定し難い。周期パターンは、所定映像が一定間隔に繰り返されるパターンであって、階段、縞馬、窓の格子などを例に上げることができる。
したがって、周期パターン映像において、ＢＭＡにより推定された動きベクトルを利用して動き補償を行うようになれば、図１Ｂに示すように、補間フレーム/フィールド映像ではブロックアーティファクトが発生する。ブロックアーティファクトは隣接したブロック間の境界が不連続的に見える現象であって、視覚的に目に障る映像を提供し、画質低下を招く。このようなブロックアーティファクトは、周辺ブロックとの相関性を考慮しない状態で推定された動きベクトルを利用してブロック別に動き補償を行なうことによって発生する。
本発明は上述した問題点に鑑みてなされたものであって、その目的とするところは、所定ブロックの動きベクトルが不正確に推定されて発生するブロックアーティファクト現象を改善するために所定ブロックのパターン如何を判断し、ブロック間の相関性を考慮して動きベクトルを補正できるパターン分析に基づく動きベクトル補正装置及びその方法を提供するところである。
前記のような技術的課題を解決するため、本発明に係るパターン分析に基づく動きベクトル補正装置は、現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドに設定される所定の探索領域とを比較して複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定部と、算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断部と、前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正部と、前記パターン判断部の結果によって、前記動き推定部で推定された前記仮動きベクトル及び前記動き補正部で補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択部とを備える。
さらに詳細には、前記動き推定部は、所定の大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域に対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出部と、算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定部とを備える。
好ましくは、前記パターン判断部は、前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射部と、複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値確認部と、前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出部と、確認された前記投射局部の最小値の個数及び算出された前記周期の繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別部とを備える。
また、前記累積投射の遂行部は、前記複数の動き予測誤差値に対して垂直方向に累積投射を行うことにより、複数の垂直投射値を生成する垂直投射部と、前記複数の動き予測誤差値に対して水平方向に累積投射を行うことにより、複数の水平投射値を生成する水平投射部とを備える。
また、前記投射値確認部は、生成された前記複数の垂直投射値の中で、所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値確認部と、生成された前記複数の水平投射値の中で、所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値確認部とを備える。
また、前記周期算出部は、前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出部と、前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出部とを備える。
好ましくは、前記垂直周期算出部及び前記水平周期算出部は、次の式により前記垂直及び水平周期の繰り返し回数を算出する。
Figure 0004155952
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で、隣接した２垂直投射値の間の絶対差を全て加算した垂直投射長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、Ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
また、前記垂直周期算出部は、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出部は、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出する。
詳細には、前記パターン判別部は、前記投射局部の最小値の個数が少なくても２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断する。
さらに詳細には、前記パターン映像であると判断された場合、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置によって、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像と前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類部をさらに備える。
また、前記パターン分類部は、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較することにより、前記パターン映像を分類する。
また、前記パターン分類部は、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断する。
Figure 0004155952
ここで、uは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、pは前記周期算出部により算出された周期である。
さらに詳細には、前記動き補正部は、前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正部と、前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、少なくとも１つの前記誤差局部の最小値の中で算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正部とを備える。
また、前記パターン判断部で前記パターン映像であると判断されれば、前記動きベクトル選択部は、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択する。
好ましくは、前記パターン分類部で前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択部は、前記静的動き補正部で推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択部は、前記動的動き補正部で推定された補正動きベクトルを選択する。
好ましくは、前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ(平均絶対差)及びＭＳＥ(平均平方誤差)のいずれかにより算出される。
一方、上述した技術的課題を解決するための本発明に係るパターン分析に基づく動きベクトル補正方法は、現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドとに設定される所定の探索領域とを比較して、複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定ステップと、算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断ステップと、前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正ステップと、前記パターン判断ステップの結果により、前記動き推定ステップで推定された前記仮動きベクトル及び前記動き補正ステップで補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択ステップとを備える。
さらに詳細には、前記動き推定ステップは、所定大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域とに対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出ステップと、算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定ステップとを備える。
また、前記パターン判断ステップは、前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射ステップと、複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値の確認ステップと、前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つを含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出ステップと、確認された前記投射局部の最小値の個数及び算出された前記周期繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別ステップとを備える。
また、前記累積投射の遂行ステップは、前記複数の動き予測誤差値に対して垂直方向に累積投射を行って、複数の垂直投射値を生成する垂直投射ステップと、前記複数の動き予測誤差値に対して水平方向に累積投射を行って、複数の水平投射値を生成する水平投射ステップとを備える。
また、前記投射値の確認ステップは、生成された前記複数の垂直投射値の中で所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値の確認ステップと、生成された前記複数の水平投射値の中で所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値の確認ステップとを備える。
また、前記周期算出ステップは、前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出ステップと、前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出ステップと、を備える。
好ましくは、前記垂直周期算出ステップ及び前記水平周期算出ステップは、各々次の式により前記垂直及び水平周期の繰り返し回数を算出する。
Figure 0004155952
ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
また、前記垂直周期算出ステップは、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出ステップは、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出する。
前記パターン判別ステップは、前記投射局部の最小値の個数が少なくとも２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断する。
さらに詳細には、前記パターン判断ステップでパターン映像であると判断されれば、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置により、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像及び前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類ステップをさらに備える。
また、前記パターン分類ステップは、前記複数の動き予測誤差値の中で所定の第１及び第２誤差値の間に位置し、前記第１及び第２誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較して、前記パターン映像を分類する。
前記パターン分類ステップは、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断する。
Figure 0004155952
ここで、ｕは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、ｐは前記周期算出部により算出された周期である。
さらに詳細には、前記動き補正ステップは、前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正ステップと、前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する平均ベクトル算出ステップと、少なくとも１つの前記誤差局部の最小値の中から算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正ステップとを備える。
また、前記パターン判断ステップで前記パターン映像であると判断されれば、前記動きベクトル選択ステップは、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択する。
また、前記パターン分類ステップで前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択ステップは前記静的動き補正ステップで推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択ステップは前記動的動き補正部で推定された補正動きベクトルを選択する。
本発明に係るパターン分析に基づく動きベクトル補正装置及びその方法によれば、正確な動きベクトルの推定が困難なパターン領域で動き予測誤差値に基づいてパターンを分析し、周辺ブロック間の相関性を利用して正確な動きベクトルを推定することが可能である。したがって、ＦＲＣ、ＩＰＣなどに本発明を適用する場合、動きベクトルの推定エラーによって補間映像で発生するブロックアーティファクトのような画質低下現象を效果的に改善できる。
本発明の実施例を図面を参照に説明する。
図２は、本発明の好ましい実施の形態に係るパターン分析に基づく動きベクトル補正装置を概略的に示すブロック図であり、図３は、図２に設けられたパターン判断部をさらに詳細に示すブロック図である。
図２を参照すれば、パターン分析に基づく動きベクトル補正装置２００は、動き推定部２１０、パターン判断部２２０、パターン分類部２３０、動き補正部２４０及び動きベクトル選択部２５０を備える。
動き推定部２１０は、動き予測誤差算出部２１２及び動きベクトル推定部２１４を備える。
動き予測誤差算出部２１２は、入力される現在フレーム/フィールド(以下、「現在フレーム」と記す)Ｆｎを所定大きさのブロックに分割し、各ブロックの動きベクトル(v)を推定する。詳細に説明すれば、動き予測誤差算出部２１２は、分割された各ブロックの中で、動きベクトルを推定する現在ブロックと以前フレーム/フィールド(以下、「以前フレーム」と記す)Ｆｎ−１に設定される探索領域とを比較して複数の動き予測誤差値を算出する。
この場合、複数の動き予測誤差値は両方向ＢＭＡ、単方向ＢＭＡ、または、動きベクトルを推定できる全ての公知された技術により推定できることもちろんである。また、動き予測誤差値はＳＡＤ、ＭＡＤ、ＭＳＥなど多様な方式により算出でき、本発明ではＳＡＤ値を適用するので、以下では「ＳＡＤ値」と記す。
動きベクトル推定部２１４は、算出された複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から現在ブロックの仮動きベクトル(仮ＭＶ)を推定する。
このような方法で動き推定部２１０は分割された各ブロックのＳＡＤ値及び仮動きベクトルを推定する。
算出されたＳＡＤ値はＳＡＤマップに形成され、ＳＡＤマップの大きさは設定された探索領域(Ｋ×Ｋ）と同じである。図４は、算出されたＳＡＤマップの一部を３次元に形状化したグラフである。図４を参照すれば、ｘは探索領域の水平方向軸、ｙは探索領域の垂直方向軸を意味し、例えば、(x、y)=(０、５)に位置するＳＡＤ値は「１５００」であることが分かる。ここで、ＳＡＤマップをなす複数のＳＡＤ値は上述したようにＢＭＡにより算出された値である。
各ブロックの中で現在動き補償を行う現在ブロックのＳＡＤマップは、上述した動きベクトル推定部２１４及び後述するパターン判断部２２０、パターン分類部２３０及び動き補正部２４０に提供される。また、現在ブロックの仮動きベクトルは後述する動きベクトル選択部２５０に提供される。
パターン判断部２２０は、算出されたＳＡＤマップ、すなわち、探索領域をなす複数のＳＡＤ値を分析して現在ブロックがパターン映像であるか否かを判断する。パターン映像は、一定間隔繰り返される映像であって、「周期パターン映像」と称することもする。図３を参照すれば、パターン判断部２２０は、累積投射部２２２、投射値確認部２２４、周期算出部２２６及びパターン判別部２２８を備える。また、パターン判断部２２０は、ＳＡＤマップの垂直方向特性及び水平方向特性を各々考慮して周期パターン映像を判断する。以下では水平方向の周期パターンを判断するための各ブロックの動作をさらに詳細に説明し、垂直方向の周期パターン判断に対する説明は、水平方向の周期パターン判断とほぼ同じであるため説明の便宜上簡略に述べる。
累積投射部２２２は、現在ブロックのＳＡＤマップに対して累積投射(ｉｎｔｅｇｒａｌ Ｐｒｏｊｅｃｔｉｏｎ)を行って、複数の累積ベクトル(以下、「投射値」と記す)を生成する。このような累積形式で投射値を生成することによってノイズによる画質低下の影響を最小化できる。
本発明において、累積投射部２２２は、垂直及び水平投射を行い、このため、垂直投射部２２２ａ及び水平投射部２２２ｂを有する。
垂直投射部２２２ａは、現在ブロックのＳＡＤマップに対して垂直方向に垂直累積投射を行って複数の垂直投射値を生成する。すなわち、垂直投射部２２２ａは、水平方向の周期パターンを判断するために垂直累積投射を行い、これによって、例えば、(Ｋ×Ｋ)行列を有するＳＡＤマップ(Ｋ×１)行列の垂直投射値に変換される。
図５は、図４のような所定ＳＡＤマップから生成された複数の垂直投射値の実施の形態を示すグラフである。
垂直累積投射により生成されたｘ番目での垂直投射値は、次の式（１）と同じである。
Figure 0004155952
図５及び式（１）を参照すれば、ｘは探索領域の中で水平方向軸、Ｓｖ(ｘ）はｘ番目での垂直投射値、Ｅ(ｘ、ｙ）は動きベクトル(ｘ、ｙ)に相応するＳＡＤ値、Ｋは探索領域の中でｙ軸に位置するＳＡＤ値の総個数を意味する。
水平投射部２２２ｂは、現在ブロックのＳＡＤマップに対して水平方向に累積投射を行って複数の水平投射値を生成する。すなわち、水平投射部２２２ｂは垂直方向の周期パターンを判断するために水平累積投射を行い、これにより(Ｋ×Ｋ)行列を有するＳＡＤマップは(Ｋ×１)行列の水平投射値に変換される。水平累積投射により生成されたｙ番目での水平投射値は、次の式（２）のようである。
Figure 0004155952
式（２）を参照すれば、ｙは探索領域の中で垂直方向軸、Ｓｈ(ｙ）はｙ番目での水平投射値、Ｅ(ｘ、ｙ）は動きベクトル(ｘ、ｙ)に相応するＳＡＤ値、Ｋは探索領域の中でｘ軸に位置するＳＡＤ値の総個数を意味する。
生成された複数の垂直及び水平投射値は、投射値確認部２２４に提供される。
投射値確認部２２４は、累積投射部２２２から生成された複数の投射値の中で投射局部の最小値の個数(ｎ)を確認する。ここで、投射局部最小値は複数の投射値の中で所定の第１及び第２投射値間に位置し、第１及び第２投射値より小さな値をいう。確認された投射局部最小値は後述するパターン判別部２２８でパターン映像であるか否かを判別するのに用いられる。
本発明において、投射値確認部２２４は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４ｂを有する。
垂直投射値確認部２２４ａは、生成された複数の垂直投射値の中で垂直投射局部の最小値の個数(ｎｖ)を確認する。垂直投射局部の最小値は、複数の垂直投射値の中で第１及び第２垂直投射値の間に位置し、第１及び第２垂直投射値より小さな値をいう。図５を参照して説明すれば、所定の垂直投射値Ｓｖ(ｘ)が隣接した２垂直投射Ｓｖ(ｘ−１）とＳｖ(ｘ+１)より小さな場合、Ｓｖ(ｘ）は垂直投射局部の最小値に該当する。
水平投射値確認部２２４ｂは、生成された複数の水平投射値の中で水平投射局部の最小値の個数(ｎｈ)を確認する。ここで、水平投射局部の最小値は、複数の水平投射値の中で第１及び第２水平投射値間に位置し、第１及び第２水平投射値より小さな値をいう。
また、垂直投射値確認部２２４ａ及び水平投射値確認部２２４ｂは、確認された各々の局部の最小値の位置情報を後述するパターン分類部２３０、静的動き補正部２４２及び動的動き補正部２４６に提供する。
周期算出部２２６は、累積投射部２２２から生成された複数の投射値の中で順次的に発生する投射局部の最小値を少なくとも１つ含む周期の繰り返し回数(γ)を算出する。また、周期算出部２２６は、探索領域の長さまたは大きさを算出された周期の繰り返し回数で割り算して周期(Ｔ)を算出する。
本発明において、周期算出部２２６は、垂直周期算出部２２６a及び水平周期算出部２２６bを有する。
垂直周期算出部２２６ａは、式（３）により垂直周期の繰り返し回数を算出する。ここで、垂直周期は、垂直投射部２２２ａから生成された複数の垂直投射値の中で順次的に発生する垂直投射局部の最小値を少なくとも１つ含む周期をいう。
Figure 0004155952
ここで、γvは垂直周期の繰り返し回数、Ｌv、aは複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌv、pは複数の垂直投射値の中で最大及び最小垂直投射値(Ｓv、max、Ｓv、min）の絶対差を意味する。式（３）を参照すれば、垂直投射値の中で最大垂直投射値と最小垂直投射値との絶対差は、半周期に相応する垂直投射値の差を表すので、垂直周期の繰り返し回数は式（３）により算出可能である。したがって、(２・Ｌv、p）は１周期に相応する差を意味する。
また、垂直周期算出部２２６ａは、式（４）により垂直周期を算出する。
Figure 0004155952
ここで、Ｔvは垂直周期、Ｋは探索領域の水平方向長さ、γvは垂直周期の繰り返し回数を意味する。式（４）を参照すれば、垂直周期算出部２２６ａは探索領域の水平方向の長さを垂直周期の繰り返し回数で割り算して垂直周期を算出する。
一方、水平周期算出部２２６ｂは、式（５）により水平周期の繰り返し回数を算出する。ここで、水平周期は、水平投射部２２２ｂから生成された複数の水平投射値の中で順次的に発生する水平投射局部の最小値を少なくとも１つ含む周期を意味する。
Figure 0004155952
ここで、γhは水平周期の繰り返し回数、Ｌh、aは複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌh、pは複数の水平投射値の中で最大及び最小水平投射値(Ｓh、max、Ｓh、min）の絶対差を意味する。式（５）を参照すれば、水平投射値の中で最大水平投射値と最小水平投射値との差は、半周期に相応する水平投射値の差を表すので、水平周期の繰り返し回数は式（５）により算出可能である。したがって、(２・Ｌh、p）は１周期に相応する差を意味する。
また、水平周期算出部２２６ｂは式（６）により水平周期を算出する。
Figure 0004155952
ここで、Ｔhは水平周期、Ｋは探索領域の垂直方向の長さ、γhは水平周期の繰り返し回数を意味する。式（６）を参照すれば、水平周期算出部２２６ｂは探索領域の垂直方向の長さを水平周期の繰り返し回数で割り算して水平周期を算出する。
パターン判別部２２８は、投射値確認部２２４から確認された投射局部の最小値の個数(ｎ)及び周期算出部２２６から算出された周期繰り返し回数(γ)を分析して、現在ブロックがパターン映像であるか否かを判断する。詳細に説明すれば、パターン判別部２２８は、投射局部の最小値の個数が少なくても２つであり、周期繰り返し回数が設定された第１しきい値以上であれば現在ブロックは周期パターン映像であると判断する。
例えば、水平方向の周期パターンを判断しようとする場合、垂直投射値確認部２２４ａから確認された垂直投射局部の最小値の個数が少なくとも２つであり、垂直周期算出部２２６ａから算出された垂直周期が第１しきい値である「１.７５」以上であれば、パターン判別部２２８は現在ブロックが水平方向の周期パターン映像であると判断する。また、垂直方向の周期パターンを判断しようとする場合、設定された第１しきい値は上述した「１.７５」と同一または相違し得る。
また、パターン判別部２２８は判断された結果を後述するパターン分類部２３０、動き補正部２４０及び動きベクトル選択部２５０に提供する。
パターン分類部２３０は、パターン判別部２２８により現在ブロックがパターン映像であると判断された場合、動きがないことを意味する探索領域の中心(すなわち、ゼロベクトル)に最も近接した誤差局部の最小値の位置によってパターン映像を静的パターン映像及び動的パターン映像のいずれに分類する。ここで、静的パターン映像は、現在ブロックの実際動きがない(すなわち、ゼロモーション)周期パターン映像を言い、動的パターン映像は現在ブロックの実際動きにより発生した周期パターン映像をいう。
詳細に説明すれば、パターン分類部２３０は、少なくとも１つの誤差局部の最小値の中で探索領域の中心から最短距離に位置した誤差局部の最小値と周期算出部２２６により算出された周期パターン映像の周期とを比較して、垂直方向及び水平方向のパターン映像を分類する。誤差局部最小値は、ＳＡＤマップの中で所定の第１及び第２誤差値間に位置し、第１及び第２誤差値より小さな値をいう。
例えば、パターン分類部２３０は式（７）により水平方向の周期パターン映像を分類する。
Figure 0004155952
ここで、ｘ’は探索領域の中心と最短距離に位置した誤差局部の最小値の位置、Ｔｖは垂直周期を意味し、αは所定定数として本発明では「１/８」を使用するがこれに限定されることではない。
図６Ａは、静的パターン映像のＳＡＤマップ、図６Ｂは動的パターン映像のＳＡＤマップの実施の形態を説明するために示す分布図であって、図４のようなＳＡＤマップの中で探索領域の中心区間を２次元化した図である。
まず、式（７）及び図６Ａを参照すれば、Ｐ及びＲは誤差局部の最小値、Ｑは誤差全域の最小値であり、Ｃは探索領域の中心であって現在ブロックの動きがゼロである位置、Ｌは探索領域のＣから左右にα・Ｔｖだけ移動した範囲であって、パターン映像を分類するために既設政される範囲である。このような場合、パターン分類部２３０は、探索領域の中心であるＣに最も近接した誤差局部の最小値Ｒの位置がＬ内に含まれれば、パターン判断部２２０で判断された水平方向の周期パターン映像は静的パターン映像に分類する。ここで、誤差全域最小値は、ＳＡＤマップをなす複数の動き予測誤差値の中で最小動き予測誤差値をいう。
これに対し、式（７）及び図６Ｂを参照すれば、パターン分類部２３０は、探索区間の中心に最も近接した誤差局部の最小値Ｒの位置が決められた範囲Ｌ内に含まれていないと、パターン判断部２２０で判断された水平方向のパターン映像は動的パターン映像であると分類する。
一方、パターン分類部２３０は、式（８）により垂直方向の周期パターン映像を分類する。
Figure 0004155952
式（８）を参照すれば、ｙ’は探索領域の中心と最短距離に位置した誤差局部の最小値の位置、Ｔｈは水平周期を意味し、αは所定定数であって、本発明では「１/８」を使用するが、これに限定することではない。水平方向のパターン映像分類は、垂直方向のパターン映像を分類する方法と類似しているため、それに対する詳細な説明は省略する。
動き補正部２４０は現在ブロックがパターン映像であると判断された場合、ＳＡＤマップを利用して現在ブロックの補正動きベクトルを出力する。特に、動き補正部２４０は、パターン判断部２２０で判断された垂直方向及び水平方向のパターン映像によって適応的に補正された動きベクトルを生成する。周期パターンの誤差局部の最小値位置は周期パターンの動きによって移動するので、動き補正部２４０は周期パターンの動きを考慮した補正を行う。すなわち、動き補正部２４０はパターン分類部２３０で分類された結果によって適応的に動き補正を行う。このために、動き補正部２４０は静的動き補正部２４２、平均ベクトル算出部２４４及び動的動き補正部２４６を有する。
静的動き補正部２４２は、パターン分類部２３０で静的パターン映像であると判断された現在ブロックの補正動きベクトルを生成する。詳細に説明すれば、静的動き補正部２４２は、探索領域の中心から最短距離に位置した誤差局部の最小値(例えば、図６ＡのR）の位置から補正動きベクトルを生成する。これにより、他の誤差局部の最小値(例えば、図６ＡのＰ、Ｑ)に相応するベクトルを現在ブロックの最終動きベクトルとして決定することを防止する。静的動き補正部２４２による補正方法は、１つの周期パターンを形成している複数のブロックらで一貫した動きベクトルが決定されるようにする。したがって、推定されたベクトルを利用して映像を補間することにより、周期パターン映像で発生するブロック間のパターンのずれ、すなわち、ブロックアーティファクト現象を改善できる。
一方、パターン分類部２３０で現在ブロックのパターン映像が動的パターン映像であると判断されれば、補正動きベクトルを生成する前に平均ベクトル算出部２４４は現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する。この場合、各周辺ブロックの動きベクトルは後述する動きベクトル選択部２５０から提供される最終動きベクトルなどである。
動的動き補正部２４６は、上述したように、周辺ブロック等の動きベクトル等の平均ベクトルから現在ブロックの動きベクトルを近似的に予測する。図６Ｂを参照して詳細に説明すれば、動的動き補正部２４６は、少なくとも１つの誤差局部の最小値の中で算出された平均ベクトルと最短距離に位置した誤差局部の最小値Ｒの位置から補正動きベクトルとを生成する。これは、現在ブロックのパターン映像が動的パターン映像である場合、複数の誤差局部の最小値の中でどの値が実際動きを示しているかわからないので、周辺ブロック等の動きベクトル間の相関性を利用して、現在ブロックの補正された動きベクトル(補正ＭＶ)を生成する。
動きベクトル選択部２５０は、パターン判別部２２８の判別結果によって動き推定部２１０で推定された仮動きベクトル及び動き補正部２４０で補正された補正動きベクトルのいずれを最終動きベクトル(最終ＭＶ）として選択する。詳細に説明すれば、パターン判別部２２８で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は動き推定部２１０で推定された仮動きベクトルを最終動きベクトルとして選択する。
反面、パターン判別部２２８で現在ブロックがパターン映像であると判別されれば、動きベクトル選択部２５０は静的及び動的動き補正部２４２、２４６のいずれから生成された補正動きベクトルを最終動きベクトルとして選択する。すなわち、パターン判別部２２８で現在ブロックがパターン映像であると判別され、パターン分類部２３０でパターン映像が静的パターン映像であると分類されれば、動きベクトル選択部２５０は静的動き補正部２４２から生成された補正動きベクトルを最終動きベクトルとして選択する。また、パターン判別部２２８で現在ブロックがパターン映像であると判別され、パターン分類部２３０でパターン映像が動的パターン映像であると分類されれば、動きベクトル選択部２５０は、動的動き補正部２４６から生成された補正動きベクトルを最終動きベクトルとして選択する。
上述したように、動きベクトルを推定する現在ブロックのパターン如何を判断し最終動きベクトルを決定することにより、映像出力段(図示せず)では図７に示すように、図１Ａに比べてブロックアーティファクト現象が顕著に減少された映像を具現できる。
図８は、図２によるパターンにともなう動きベクトル補正方法を概略的に説明するためのフローチャートである。
図２ないし図８を参照すれば、まず、動き予測誤差算出部２１２は、現在ブロックと以前フレームに設定された探索領域を比較して、複数の動き予測誤差値を算出する(Ｓ８０５)。複数の動き予測誤差値として、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれを使用することができ、本発明ではＳＡＤ値を適用する。したがって、算出された複数の動き予測誤差値は以下ではＳＡＤマップという。動きベクトル推定部２１４は、ＳＡＤマップの中で最小ＳＡＤ値を有する位置から現在ブロックの仮動きベクトルを推定する(Ｓ８１０)。
ＳＡＤマップが算出されれば、累積投射部２２２は、ＳＡＤマップに対して累積投射を行って複数の投射値を生成する(Ｓ８１５)。投射値確認部２２４はＳ８１５段階で生成された複数の投射値の中で投射局部の最小値の個数を確認する(Ｓ８２０)。これと共に、周期算出部２２６は、複数の投射値の中で順次的に発生する投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、また、探索領域の長さを周期の繰り返し回数で割り算して実際周期を算出する(Ｓ８２５)。
Ｓ８２５段階が行われれば、パターン判別部２２８は、Ｓ８２０段階で確認された投射局部の最小値の個数及びＳ８２５段階で算出された周期繰り返し回数を分析して、現在ブロックのパターン映像如何を判別する(Ｓ８３０)。Ｓ８３０段階で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は、Ｓ８１０段階で推定された仮動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８３５)。
反面、Ｓ８３０段階で現在ブロックがパターン映像であると判別されれば、パータン分類部２３０は、パターン映像が静的及び動的パターン映像のうち、どのパターン映像であるか分類する(Ｓ８４０)。
Ｓ８４０段階において、パターン映像が静的パターン映像であると分類されれば、静的動き補償部２４２は、探索領域の中心から最短距離に隣接した誤差局部の最小値の位置から補正動きベクトルを推定する(Ｓ８４５)。また、動きベクトル選択部２５０は、Ｓ８４５段階で推定された補正動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８５０)。
反面、Ｓ８４０段階でパターン映像が動的パターン映像であると分類されれば、平均ベクトル算出部２４４は現在ブロックに隣接した周辺ブロック等の動きベクトル等の平均ベクトルを算出する(Ｓ８５５)。Ｓ８５５段階が行われれば、動的動き補償部２４６は、ＳＡＤマップの中でＳ８５５段階で算出された平均ベクトルに最も近接した誤差局部最小値の位置から補正動きベクトルを推定する(Ｓ８６０)。また、動きベクトル選択部２５０は、Ｓ８６０段階で推定された補正動きベクトルを現在ブロックの最終動きベクトルとして選択する(Ｓ８６５)。
一方、上述した本発明において、パターン判別部２２８で現在ブロックがパターン映像であると判別された場合、パターン分類部２３０、静的動き補正部２４０及び動的動き補正部２４０は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４bで確認された各々の局部の最小値の位置情報を読み出して各々の動作を行うことができることは勿論である。
パターン判別部２２８で現在ブロックがパターン映像であると判別された場合、パターン分類部２３０、静的動き補正部２４０及び動的動き補正部２４０は、垂直投射値確認部２２４ａ及び水平投射値確認部２２４bで確認された各々の投射局部の最小値の位置情報を抽出して各々の動作を行うことができることは勿論である。
投射局部の最小値の位置情報を抽出して各々の動作を行う場合を図２を参照して説明すれば次のようである。
動き推定部２１０は、上述したように分割された各ブロックのＳＡＤ値及び仮動きベクトルを推定する。そして、動き推定部２１０はＳＡＤ値からなるＳＡＤマップをパータン判断部２２０及びパターン分類部２３０に提供する。
パターン判断部２２０は、提供されたＳＡＤマップを分析して現在ブロックがパターン映像であるか否かを判断する。このため、パターン判断部２２０の累積投射部２２２は、現在ブロックのＳＡＤマップに対して累積投射を行って複数の累積ベクトルを生成する。好ましくは。累積投射部２２２は垂直累積投射及び水平累積投射を行って各々複数の垂直累積ベクトル及び水平累積ベクトルを生成する。以下では、垂直累積ベクトルを「垂直投射値」、水平累積ベクトルを「水平投射値」と記す。
そして、投射値確認部２２４は、生成された複数の垂直投射値の中で垂直投射局部の最小値の個数(ｎｖ)及び生成された複数の水平投射値の中で水平投射局部の最小値の個数(ｎｈ)を確認する。また、投射値確認部２２４は複数の垂直投射局部の最小値及び水平投射局部の最小値の位置情報を確認した後、パターン分類部２３０、静的動き補正部２４２及び動的動き補正部２４６に提供する。
パターン分類部２３０は、パターン判別部２２８により現在ブロックがパターン映像であると判断されれば、動きがないことを意味する探索領域の中心に最も近接した投射局部の最小値の位置に基づいて、パターン映像を静的パターン映像及び動的パターン映像のいずれに分類する。
詳細に説明すれば、パターン分類部２３０は、少なくとも１つの投射局部の最小値の中で探索領域の中心から最短距離に位置した投射局部の最小値と周期算出部２２６により算出された周期パターン映像の周期を比較して、垂直方向及び水平方向のパターン映像を分類する。投射局部最小値は、ＳＡＤ投射値の中で所定の第１及び第２投射値に対応されるＳＡＤ投射値より小さな値をいう。
パターン分類部２３０で分類されるパターン映像は、図６Ａ及び図６Ｂを参照して説明した方法と類似しているため、詳細な説明は省略する。但し、図６Ａ及び図６Ｂにおいて、誤差全域の最小値は投射全域最小値として、誤差局部の最小値は投射局部の最小値として設定して現在ブロックのパターン映像を分類する。
動き補正部２４０は、パターン分類部２３０の結果に基づいて動き補正を行う。特に、動き補正部２４０は現在ブロックがパターン映像であると判断された場合、投射値確認部２２４で確認された複数の累積ベクトル(すなわち、累積投射値）の位置情報を利用して、現在ブロックの補正動きベクトルを生成する。
詳細に説明すれば、静的動き補正部２４２は、静的パターン映像と判断された現在ブロックの補正動きベクトルを複数の累積投射値の位置情報を利用して生成する。一方、動的動き補正部２４６は、動的パターン映像と判断された現在ブロックの補正動きベクトルを複数の累積投射値の位置情報及び平均ベクトル算出部２４４で算出された平均ベクトルを利用して生成する。
動きベクトル選択部２５０は、パターン判別部２２８の判別結果に基づいて、動き推定部２１０で推定された仮動きベクトル及び動き補正部２４０で補正された補正動きベクトルのいずれを最終動きベクトル(最終ＭＶ）として選択する。
すなわち、パターン判別部２２８で現在ブロックがパターン映像でないと判別されれば、動きベクトル選択部２５０は、動き推定部２１０で推定された仮動きベクトルを最終動きベクトルとして選択する。
反面、パターン判別部２２８で現在ブロックがパターン映像であると判別されれば、動きベクトル選択部２５０は、静的及び動的動き補正部２４０のいずれから生成された補正動きベクトルを最終動きベクトルとして選択する。
また、本発明において、垂直周期算出部２２６ａ及び水平周期算出部２２６ｂは、パターン判別部２２８の判別結果に関係なく垂直周期及び水平周期を算出したが、これとは異なりパターン判別部２２８でパターン映像であると判別された場合にだけ、垂直周期及び水平周期を算出することも可能である。
尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更して実施することが可能である。
本発明は、動き推定対象であるブロックのパターン如何を判断して、既推定された動きベクトルを補正する動きベクトル補正装置及び方法に適用可能である。
一般的な実際周期パターン映像の実施の形態を示す図である。 従来の動き推定方法によりブロックアーティファクトが発生した周期パターン映像のシミュレーション例を示す図である。 本発明の好ましい実施の形態に係るパターンにともなう動きベクトル補正装置を概略的に示すブロック図である。 図２に設けられたパターン判断部をさらに詳細に示すブロック図である。 図２の動き予測誤差算出部で算出されたＳＡＤマップの一部を３次元に示すグラフである。 図４のような所定ＳＡＤマップから生成された複数の垂直投射値の実施の形態を示すグラフである。 静的パターン映像のＳＡＤマップである。 動的パターン映像のＳＡＤマップを２次元に示す分布図である。 図２によりブロックアーティファクトが減少された映像のシミュレーション例を示す図である。 図２によるパターンにともなう動きベクトル補正方法を概略的に説明するためのフローチャートである。
符号の説明
２００ 動きベクトル補正装置
２１０ 動き推定部
２２０ パターン判断部
２２２ 累積投射部
２２４ 投射値確認部
２２６ 周期算出部
２２８ パターン判別部
２３０ パターン分類部
２４０ 動き補正部
２４２ 静的動き補正部
２４４ 平均ベクトル算出部
２４６ 動的動き補正部
２５０ 動きベクトル選択部

Claims (26)

  1. 現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドに設定される所定の探索領域とを比較して複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定部と、
    算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断部と、
    前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正部と、
    前記パターン判断部の結果によって、前記動き推定部で推定された前記仮動きベクトル及び前記動き補正部で補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択部とを備え、
    前記パターン判断部は、
    前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射部と、
    複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値確認部と、
    前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つ含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出部と、
    確認された前記投射局部の最小値の個数及び算出された前記周期の繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別部と、
    前記パターン判定部により、前記パターン映像であると判断された場合、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置によって、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像と前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類部をさらに備え、
    前記動き補正部は、
    前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正部と、
    前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出部と、
    少なくとも１つの前記誤差局部の最小値の中で算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正部とを備えることを特徴とするパターン分析に基づく動きベクトル補正装置。
  2. 前記動き推定部は、
    所定の大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域に対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出部と、
    算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定部とを備えることを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  3. 前記累積投射部は、
    前記複数の動き予測誤差値に対して垂直方向に累積投射を行うことにより、複数の垂直投射値を生成する垂直投射部と、
    前記複数の動き予測誤差値に対して水平方向に累積投射を行うことにより、複数の水平投射値を生成する水平投射部とを備えることを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  4. 前記投射値確認部は、
    生成された前記複数の垂直投射値の中で、所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値確認部と、
    生成された前記複数の水平投射値の中で、所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値確認部とを備えることを特徴とする請求項３に記載のパターン分析に基づく動きベクトル補正装置。
  5. 前記周期算出部は、
    前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出部と、
    前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出部とを備えることを特徴とする請求項４に記載のパターン分析に基づく動きベクトル補正装置。
  6. 前記垂直周期算出部及び前記水平周期算出部は、次の式により前記垂直及び水平周期の繰り返し回数を算出することを特徴とする請求項５に記載のパターン分析に基づく動きベクトル補正装置。
    Figure 0004155952
    ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で、隣接した２垂直投射値の間の絶対差を全て加算した垂直投射長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、Ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
  7. 前記垂直周期算出部は、
    前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、
    前記水平周期算出部は、
    前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出することを特徴とする請求項５に記載のパターン分析に基づく動きベクトル補正装置。
  8. 前記パターン判別部は、前記投射局部の最小値の個数が少なくても２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断することを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  9. 前記パターン分類部は、前記複数の動き予測誤差値の中で所定の第１及び第２動き予測誤差値の間に位置し、前記第１及び第２動き予測誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較することにより、前記パターン映像を分類することを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  10. 前記パターン分類部は、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断することを特徴とする請求項９に記載のパターン分析に基づく動きベクトル補正装置。
    Figure 0004155952
    ここで、uは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、pは前記周期算出部により算出された周期である。
  11. 前記パターン判断部で前記パターン映像であると判断されれば、前記動きベクトル選択部は、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択することを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  12. 前記パターン分類部で前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択部は、前記静的動き補正部で推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択部は、前記動的動き補正部で推定された補正動きベクトルを選択することを特徴とする請求項１に記載のパターン分析に基づく動きベクトル補正装置。
  13. 前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれかにより算出されることを特徴とする請求項９に記載のパターン分析に基づく動きベクトル補正装置。
  14. 現在フレーム/フィールドの現在ブロックと以前フレーム/フィールドとに設定される所定の探索領域とを比較して、複数の動き予測誤差値を算出した後、前記複数の動き予測誤差値に基づいて前記現在ブロックの仮動きベクトルを推定する動き推定ステップと、
    算出された前記動き予測誤差値を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判断ステップと、
    前記現在ブロックが前記パターン映像であると判断された場合、前記複数の動き予測誤差値を利用して前記現在ブロックの補正動きベクトルを出力する動き補正ステップと、
    前記パターン判断ステップの結果により、前記動き推定ステップで推定された前記仮動きベクトル及び前記動き補正ステップで補正された前記補正動きベクトルのいずれかを最終動きベクトルとして選択する動きベクトル選択ステップとを備え、
    前記パターン判断ステップは、
    前記複数の動き予測誤差値に対して累積投射を行って、複数の投射値を生成する累積投射ステップと、
    複数の前記投射値の中で所定の第１及び第２投射値の間に位置し、前記第１及び第２投射値より小さな少なくとも１つの投射局部の最小値の個数を確認する投射値の確認ステップと、
    前記複数の投射値の中で順次的に発生する前記投射局部の最小値を少なくとも１つを含む周期の繰り返し回数を算出し、前記探索領域の長さを前記周期の繰り返し回数で割り算して前記周期を算出する周期算出ステップと、
    確認された前記投射局部の最小値の個数及び算出された前記周期繰り返し回数を分析して、前記現在ブロックがパターン映像であるか否かを判断するパターン判別ステップと、
    前記パターン判断ステップでパターン映像であると判断されれば、前記探索領域の中心から最短距離に隣接した誤差局部の最小値の位置により、前記パターン映像が前記現在ブロックの動きが零(０)である静的パターン映像及び前記現在ブロックの動きにより発生した動的パターン映像のうち、いずれかであるかを分類するパターン分類ステップとを備え、
    前記動き補正ステップは、
    前記静的パターン映像に分類された場合、前記探索領域の中心から最短距離に位置した誤差局部の最小値に対応される位置から前記補正動きベクトルを推定して出力する静的動き補正ステップと、
    前記動的パターン映像に分類された場合、前記現在ブロックに隣接した周辺ブロックの動きベクトルの平均ベクトルを算出する平均ベクトル算出ステップと、
    少なくとも１つの前記誤差局部の最小値の中から算出された前記平均ベクトルと最短距離に位置した誤差局部の最小値の位置から前記補正動きベクトルを推定して出力する動的動き補正ステップとを備えることを特徴とするパターン分析に基づく動きベクトル補正方法。
  15. 前記動き推定ステップは、
    所定大きさのブロックに分割された前記現在フレーム/フィールドの中で前記現在ブロックと前記探索領域とに対してブロックマッチング方式を適用して、前記複数の動き予測誤差値を算出する動き予測誤差算出ステップと、
    算出された前記複数の動き予測誤差値の中で最小動き予測誤差値を有する位置から前記現在ブロックの前記仮動きベクトルを推定する動きベクトル推定ステップとを備えることを特徴とする請求項１４に記載のパターン分析に基づく動きベクトル補正方法。
  16. 前記累積投射ステップは、
    前記複数の動き予測誤差値に対して垂直方向に累積投射を行って、複数の垂直投射値を生成する垂直投射ステップと、
    前記複数の動き予測誤差値に対して水平方向に累積投射を行って、複数の水平投射値を生成する水平投射ステップとを備えることを特徴とする請求項１４に記載のパターン分析に基づく動きベクトル補正方法。
  17. 前記投射値の確認ステップは、
    生成された前記複数の垂直投射値の中で所定の第１及び第２垂直投射値の間に位置し、前記第１及び第２垂直投射値より小さな垂直投射局部の最小値の個数を確認する垂直投射値の確認ステップと、
    生成された前記複数の水平投射値の中で所定の第１及び第２水平投射値の間に位置し、前記第１及び第２水平投射値より小さな水平投射局部の最小値の個数を確認する水平投射値の確認ステップとを備えることを特徴とする請求項１６に記載のパターン分析に基づく動きベクトル補正方法。
  18. 前記周期算出ステップは、
    前記複数の垂直投射値の中で、順次的に発生する前記垂直投射局部の最小値を少なくとも１つ含む垂直周期の繰り返し回数を算出する垂直周期算出ステップと、
    前記複数の水平投射値の中で、順次的に発生する前記水平投射局部の最小値を少なくとも１つ含む水平周期の繰り返し回数を算出する水平周期算出ステップとを備えることを特徴とする請求項１７に記載のパターン分析に基づく動きベクトル補正方法。
  19. 前記垂直周期算出ステップ及び前記水平周期算出ステップは、各々次の式により前記垂直及び水平周期の繰り返し回数を算出することを特徴とする請求項１８に記載のパターン分析に基づく動きベクトル補正方法。
    Figure 0004155952
    ここで、γｖは前記垂直周期の繰り返し回数、Ｌｖ、ａは前記複数の垂直投射値の中で隣接した２垂直投射値の間の絶対差を全て加算した垂直投射の長さ、Ｌｖ、ｐは前記複数の垂直投射値の中で最大及び最小垂直投射値の絶対差、γｈは前記水平周期の繰り返し回数、Ｌｈ、ａは前記複数の水平投射値の中で隣接した２水平投射値の間の絶対差を全て加算した水平投射の長さ、Ｌｈ、ｐは前記複数の水平投射値の中で最大及び最小水平投射値の絶対差である。
  20. 前記垂直周期算出ステップは、前記探索領域の水平長さを前記垂直周期の繰り返し回数で割り算して前記パターン映像の垂直周期を算出し、前記水平周期算出ステップは、前記探索領域の垂直長さを前記水平周期の繰り返し回数で割り算して前記パターン映像の水平周期を算出することを特徴とする請求項１８に記載のパターン分析に基づく動きベクトル補正方法。
  21. 前記パターン判別ステップは、前記投射局部の最小値の個数が少なくとも２つであり、前記周期繰り返し回数が設定された所定の第１しきい値以上であれば、前記現在ブロックはパターン映像であると判断することを特徴とする請求項１４に記載のパターン分析に基づく動きベクトル補正方法。
  22. 前記パターン分類ステップは、前記複数の動き予測誤差値の中で所定の第１及び第２動き予測誤差値の間に位置し、前記第１及び第２動き予測誤差値より小さな少なくとも１つの誤差局部の最小値の中で、前記探索領域の中心から最短距離に位置した誤差局部の最小値と前記周期算出部により算出された前記周期とを比較して、前記パターン映像を分類することを特徴とする請求項１４に記載のパターン分析に基づく動きベクトル補正方法。
  23. 前記パターン分類ステップは、次の条件を満足すれば前記パターン映像が前記静的パターン映像であると判断することを特徴とする請求項２２に記載のパターン分析に基づく動きベクトル補正方法。
    Figure 0004155952
    ここで、ｕは前記最短距離に位置した誤差局部の最小値の位置、αは所定定数、ｐは前記周期算出部により算出された周期である。
  24. 前記パターン判断ステップで前記パターン映像であると判断されれば、前記動きベクトル選択ステップは、前記動き補正部で推定された前記補正動きベクトルを前記最終動きベクトルとして選択することを特徴とする請求項１４に記載のパターン分析に基づく動きベクトル補正方法。
  25. 前記パターン分類ステップで前記パターン映像が前記静的パターン映像に分類されれば、前記動きベクトル選択ステップは前記静的動き補正ステップで推定された補正動きベクトルを選択し、前記動的パターン映像に分類されれば、前記動きベクトル選択ステップは前記動的動き補正部で推定された補正動きベクトルを選択することを特徴とする請求項２３に記載のパターン分析に基づく動きベクトル補正方法。
  26. 前記第１及び第２動き予測誤差値は、ＳＡＤ、ＭＡＤ及びＭＳＥのいずれかにより算出されることを特徴とする請求項２２に記載のパターン分析に基づく動きベクトル補正方法。
JP2004216508A 2003-07-31 2004-07-23 パターン分析に基づく動きベクトル補正装置及びその方法 Expired - Fee Related JP4155952B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030053232A KR100573696B1 (ko) 2003-07-31 2003-07-31 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2005056410A JP2005056410A (ja) 2005-03-03
JP4155952B2 true JP4155952B2 (ja) 2008-09-24

Family

ID=34101805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004216508A Expired - Fee Related JP4155952B2 (ja) 2003-07-31 2004-07-23 パターン分析に基づく動きベクトル補正装置及びその方法

Country Status (4)

Country Link
US (1) US7555166B2 (ja)
JP (1) JP4155952B2 (ja)
KR (1) KR100573696B1 (ja)
CN (1) CN100372381C (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4722936B2 (ja) * 2005-09-30 2011-07-13 シャープ株式会社 画像表示装置及び方法
US7551232B2 (en) * 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
US8019179B2 (en) * 2006-01-19 2011-09-13 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US8064722B1 (en) * 2006-03-07 2011-11-22 The United States Of America As Represented By The Secretary Of The Navy Method and system for analyzing signal-vector data for pattern recognition from first order sensors
US20070296855A1 (en) * 2006-06-22 2007-12-27 Yunwei Jia Video processing using region-based statistical measurements
JP2008042332A (ja) * 2006-08-02 2008-02-21 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
JP4743048B2 (ja) * 2006-08-31 2011-08-10 カシオ計算機株式会社 撮像装置及びプログラム
JP4752685B2 (ja) * 2006-08-31 2011-08-17 カシオ計算機株式会社 撮像装置及びプログラム
JP4869045B2 (ja) 2006-11-30 2012-02-01 株式会社東芝 補間フレーム作成方法および補間フレーム作成装置
JP4869049B2 (ja) 2006-12-08 2012-02-01 株式会社東芝 補間フレーム画像作成方法および補間フレーム画像作成装置
WO2009034488A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method an apparatus for line based vertical motion estimation and compensation
JP5453304B2 (ja) * 2007-12-20 2014-03-26 クゥアルコム・インコーポレイテッド 適応探索範囲を用いた動き推定
JP5657391B2 (ja) * 2007-12-20 2015-01-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ハローを低減する画像補間
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
US8144766B2 (en) * 2008-07-16 2012-03-27 Sony Corporation Simple next search position selection for motion estimation iterative search
JP4406892B1 (ja) * 2008-11-28 2010-02-03 日本ビクター株式会社 繰り返しオブジェクト検出装置及び方法
KR101548269B1 (ko) 2008-12-02 2015-08-31 삼성전자주식회사 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법
JP5372721B2 (ja) * 2009-12-11 2013-12-18 ルネサスエレクトロニクス株式会社 映像信号処理装置、方法及びプログラム
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
US8594199B2 (en) * 2010-03-08 2013-11-26 Qualcomm Incorporated Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation
JP5441803B2 (ja) * 2010-04-12 2014-03-12 キヤノン株式会社 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP5091994B2 (ja) 2010-09-02 2012-12-05 株式会社東芝 動きベクトル検出装置
US8675080B2 (en) * 2010-12-30 2014-03-18 Stmicroelectronics, Inc. Motion estimation in imaging systems
CN103650375B (zh) * 2011-07-06 2017-05-03 Sk 普兰尼特有限公司 基于多播的内容传输系统和方法以及用于高速地估算运动的设备和方法
CN103765437B (zh) * 2011-08-29 2017-02-15 诺基亚技术有限公司 用于利用在视频帧之间的时间冗余性的特征计算和对象检测的方法和装置
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US8676866B2 (en) 2012-03-19 2014-03-18 Sap Ag Computing canonical hierarchical schemas
US8473474B1 (en) * 2012-03-28 2013-06-25 Sap Ag Granularity-adaptive extraction of correlation structures in databases
JP6074198B2 (ja) * 2012-09-12 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
CN107942731B (zh) * 2017-12-11 2021-03-30 上海电机学院 一种基于预测的人行栈桥主动波浪补偿装置及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
KR0174597B1 (ko) 1995-06-29 1999-04-01 김광호 교환기에 있어서 데이타 베이스를 이용한 레지스터 시그날링 제어방법
JP3363039B2 (ja) * 1996-08-29 2003-01-07 ケイディーディーアイ株式会社 動画像内の移動物体検出装置
KR19990005282A (ko) 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式
JPH11243551A (ja) 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
US6430317B1 (en) * 1997-12-31 2002-08-06 Sarnoff Corporation Method and apparatus for estimating motion using block features obtained from an M-ary pyramid
JP4356140B2 (ja) 1999-05-20 2009-11-04 富士通株式会社 画像の動きベクトル計測方法及び装置
JP2001112009A (ja) * 1999-10-14 2001-04-20 Oki Electric Ind Co Ltd 動画像符号化装置および復号装置
EP1440581B1 (en) 2001-07-10 2014-10-08 Entropic Communications, Inc. Unit for and method of motion estimation, and image processing apparatus provided with such motion estimation unit
US7336707B2 (en) * 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal

Also Published As

Publication number Publication date
US7555166B2 (en) 2009-06-30
CN1581982A (zh) 2005-02-16
JP2005056410A (ja) 2005-03-03
KR100573696B1 (ko) 2006-04-26
US20050025342A1 (en) 2005-02-03
CN100372381C (zh) 2008-02-27
KR20050014569A (ko) 2005-02-07

Similar Documents

Publication Publication Date Title
JP4155952B2 (ja) パターン分析に基づく動きベクトル補正装置及びその方法
KR100870115B1 (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
JP3883200B2 (ja) ブロック間の相関性を考慮した動き推定装置および方法
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
KR101590767B1 (ko) 영상 처리 장치 및 방법
KR100870278B1 (ko) 보간 프레임 작성 장치
US7636451B2 (en) Digital watermark embedding apparatus and method, and digital watermark detection apparatus and method
US20070140346A1 (en) Frame interpolator, frame interpolation method and motion reliability evaluator
US8385602B2 (en) Image processing device method, program, and recording medium for improving detection precision of a motion vector
US20030161403A1 (en) Apparatus for and method of transforming scanning format
JP2013059016A (ja) 画像処理装置および方法、並びにプログラム
US20070047651A1 (en) Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
JP2005012798A (ja) 動きベクトルの生成装置及び方法
JP2005012797A (ja) 動き補償のための画素値選択装置および方法
US8953097B2 (en) Motion vector estimation device, motion vector estimation method, and program for estimating motion vector
JP4235162B2 (ja) 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
WO2020170785A1 (ja) 生成装置及びコンピュータプログラム
JP4600530B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US20050025243A1 (en) Motion type decision apparatus and method thereof
WO2001097510A1 (en) Image processing system, image processing method, program, and recording medium
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
EP2061007A1 (en) Moving vector detecting bdevice
JP5824937B2 (ja) 動きベクトル導出装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees