JP5078895B2 - 統合時空間予測法 - Google Patents

統合時空間予測法 Download PDF

Info

Publication number
JP5078895B2
JP5078895B2 JP2008531154A JP2008531154A JP5078895B2 JP 5078895 B2 JP5078895 B2 JP 5078895B2 JP 2008531154 A JP2008531154 A JP 2008531154A JP 2008531154 A JP2008531154 A JP 2008531154A JP 5078895 B2 JP5078895 B2 JP 5078895B2
Authority
JP
Japan
Prior art keywords
spatial
matrix
discrete cosine
cosine transform
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008531154A
Other languages
English (en)
Other versions
JP2009509403A (ja
Inventor
ズーロン ミアオ
ジェイムズ ジェイ キャリッグ
マルコ パニコーニ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2009509403A publication Critical patent/JP2009509403A/ja
Application granted granted Critical
Publication of JP5078895B2 publication Critical patent/JP5078895B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明はビデオ圧縮の分野に関する。
連続したビデオ画像は一般に、２つの方法のうちの一方のビデオ圧縮処理によって符号化される。１つの方法は、シーケンスの各画像を単独画像又は静止画像として自己符号化するものである。この処理は、符号化アルゴリズムがターゲット画像内の特徴部上でのみ動作するので、イントラ符号化圧縮処理と呼ばれる。ビデオ圧縮を行う別の方法は時間予測符号化と呼ばれ、前に符号化された別の参照画像に基づいてターゲット画像の動きを予測することによって、所与の画像を符号化するものである。この処理はまた、ターゲット画像と参照画像との間の相関から予測が生成されるのでインター符号化と呼ばれる。
時間予測符号化処理の間、ターゲット画像及び参照画像はブロックに分割される。ターゲット画像内のブロックが参照画像内のブロックに類似している場合、参照画像内の位置からターゲット画像内の位置までのブロックの空間的変位すなわち動きが求められる。この変位情報は、参照ブロックをターゲットブロックに関連付ける動きベクトル内に記憶される。参照ブロックから符号化された画像データは、ターゲットブロックに対し画像データの予測を提供する。
ターゲット画像内のターゲットブロックの大部分についての画像データは、時間予測法によって予測することができるが、ターゲットブロックの一部は、この方法では十分に予測することができない。例えば、ターゲット画像内のブロックは、参照画像内のブロックに類似していない場合がある。この場合は、イントラ符号化処理を用いて、参照画像のいずれにも依存すること無くターゲットブロックを符号化する。
図１は、時間予測（又はインター符号化）法及びイントラ符号化法の両方を使用して符号化されるターゲット画像の実施例を示している。ターゲット画像１２０内のターゲットブロック１２５は、動きベクトル１３０を使用して参照画像１１０内の類似ブロック１１５にマッチングされる。次いで、ターゲットブロック１２５に対する画像データが、復号化処理の間にターゲットブロック１１５内の画像データから予測される。従って、ターゲットブロック１２５は、時間予測法によって効率的に符号化される。
しかしながら、ターゲットブロック１４０には、参照画像１１０内に対応するブロックが存在しないので、時間予測法によって符号化することはできない。従って、ターゲットブロック１４０はイントラブロック符号化法によって符号化する必要がある。
ブロックの一部は時間予測法を用いて良好に符号化され、他のブロックは、イントラ符号化法を用いて良好に符号化される。画像を符号化するために時間予測及びイントラ符号化法の両方を用いる場合、エンコーダは、各ブロックに対して時間予測法又はイントラ符号化法のいずれを使用するかを決定しなければならない。しかしながら、従来の時間予測法とイントラ符号化法は、異なる結果を生じるので、これらのそれぞれの符号化ブロックはあまりに異なっており、この判断を行う際に比較することはできない。
例えば、ターゲットブロックを符号化するときには、典型的なビデオ圧縮アルゴリズムは、図２に示す決定システム２００を使用して、該当ブロックに対して時間予測法又はイントラ符号化法のいずれを適用するかを決定する。ターゲットブロック２１０は、時間予測符号化法を適用する時間予測論理デバイス２２０によって符号化される。論理デバイス２２０は、動きベクトル２３０を求めて、符号化された画像データを参照ブロックからターゲットブロック２１０にマッピングする。時間予測論理デバイス２２０はまた、ターゲットブロックに対する画像データの予測と、ターゲットブロックに対する実画像データとの間の予測誤差２４０を算出する。ビットコスト推定論理デバイス２５０は、動きベクトル２３０に対するビットコスト並びに予測誤差２４０のビットコストを推定し、ターゲットブロック２１０の時間符号化に対するビットコストを生成する。
決定システム２００はまた、イントラ符号化処理を用いてターゲットブロック２１０を符号化する。イントラ符号化論理デバイス２６０は、ターゲットブロック内の元の画素値に離散コサイン変換（ＤＣＴ）を適用して、ＤＣＴ係数２７０のセットを生成する。イントラブロック・ビットコスト推定論理デバイス２８０は、ＤＣＴ係数符号化のビットコストを推定する。ビットコスト選択論理デバイス２９０は、論理デバイス２５０及び２８０によって生成されたビットコストを比較し、より低いビットコストを有する符号化処理を選択する。
図２に示すように、時間予測処理は動きベクトル及び予測誤差を生成し、イントラ符号化法はＤＣＴ係数のセットを生成する。この２つを比較するためには、判定システムがより低いビット・レートを有する結果をもたらす処理を特定することが可能となる前に、決定システムは、２つの符号化処理を実行し、次いで各処理からの符号化結果のビットコストを推定しなければならない。従って、問題は、決定システムが、両処理の全結果のビットコストを推定することなく、いずれの特定の符号化処理がより良好な費用便益を提供するかを決定することができないことである。
ターゲット画像内の画素のターゲットブロックの空間予測を生成する方法は、画素のターゲットブロックに対する空間ベクトルを生成する段階と、空間ベクトルを使用して空間参照ブロックを構成する段階と、空間参照ブロックを使用してターゲットブロックの空間予測を生成する段階とを含む。
以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定の実施形態を例証として示している添付図面を参照する。他の実施形態を利用することも可能であり、本発明の範囲から逸脱することなく構造的変更を加えることができる点を理解されたい。例えば、様々な実施形態を説明するのに用いるフィールド、フレーム、画像、又は映像といった用語は、一般的にビデオデータに関して用いられるものと同義であることは当業者には理解されるであろう。
空間予測法は、空間ベクトル及び空間予測誤差を生成することによってイントラ符号化の従来の方法に取って代わるものである。空間ベクトルは、動きベクトルに似た構造を有する。その結果、空間ベクトルを符号化するコストは、動きベクトルを符号化するコストに類似する。従って、空間予測法を時間予測法と統合し、統合時空間予測符号化（ＩＳＴＰＥ）法を提示することができる。
時間及び空間予測法を統合するために、誤差ベースの選択処理は、２つの方法の予測誤差を比較することによって、どちらの方法を特定のターゲットブロックに適用するかを選択する。選択処理は、動きベクトル及び時間予測誤差を含む、時間予測法に対する予測結果をもたらす。また選択処理は、空間ベクトル及び空間予測誤差を含む、空間予測法に対する予測結果をもたらす。動きベクトルの符号化コストは、空間ベクトルの符号化コストに類似しているので、選択処理は、空間予測誤差と時間予測誤差とを比較することによって、いずれの符号化法を使用するかを決定する。ターゲットブロックは、より小さな予測誤差を有する予測方法を用いて符号化される。選択は、空間予測法及び時間予測法の符号化された結果のビットコストを推定することなく行われる。
空間予測法及び時間予測法は、類似の予測及び符号化段階を有し且つ類似の出力を生成するので、統合方法を実行するエンコーダは、適切な符号化法の選択において複雑さが少なく且つ正確度がより良好である。統合時空間予測符号化システム３００の実施例を図３に示す。システム３００は、誤差ベースの選択を行うことにより、ターゲットブロックにいずれの予測方法を適用するかを決定する。
ターゲットブロック３１０は、時間予測論理デバイス３２０によって時間予測処理を用いて符号化される。動きベクトル３３０は、論理デバイス３２０によって生成され、参照ブロックを指す。論理デバイス３２０は、参照ブロックからの符号化された画像データを使用してターゲットブロックに対する画像データを予測する。次いで、ターゲットブロックに対して予測された画像データとターゲットブロックに対する実画像データとの間の差である時間予測誤差が、論理デバイス３２０によって算出される。
ターゲットブロック３１０はまた、ターゲットブロックに対する空間ベクトル３６０を生成する空間予測論理デバイス３５０によって符号化される。論理デバイス３５０は、空間ベクトルを使用して空間参照ブロックを構成する。論理デバイス３５０は、空間参照ブロックを使用してターゲットブロックに対する画像データを予測する。次いで、論理デバイス３５０は、空間的に予測された画像データと実画像データとの間の空間予測誤差３７０を算出する。
時間予測誤差３４０及び空間予測誤差３７０は、統合時空間選択論理デバイス３８０によって比較され、このデバイスは、より小さな予測誤差を有する符号化法を、ターゲットブロック３１０に対して使用される適切な符号化法として選択する。
図３に示すように、空間予測論理デバイス３５０は、時間予測論理デバイス３２０の出力に類似した、空間ベクトル３６０及び空間予測誤差３７０などの出力を生成する。ターゲットブロックを符号化するため時間予測法又は空間予測法のいずれかの選択を行う場合、エンコーダシステム３００は、時間予測及び空間予測のビットコストを推定することなく、時間予測及び空間予測の予測誤差を直接比較することによって決定することができる。その結果、決定の複雑さが低減される。このことは、空間予測法を時間予測法と容易に統合し、統合時空間予測符号化（ＩＳＴＰＥ）を実行するシステムを提供することを可能にする。
更に、ＩＳＴＰＥシステムによって生成される予測誤差は、非ブロックベースの処理を用いて符号化することができる。これは、インター符号化（又は時間予測された）ブロックに対する予測誤差のみを生成する従来のインター符号化法及びイントラ符号化法とは対照的である。従って、これらの従来の予測誤差は、ブロック毎に（例えば、ブロックベースのＤＣＴ法により）符号化されなければならない。ＩＳＰＴＥ処理は、空間的に予測され並びに時間的に予測されたターゲットブロックに対する予測誤差を生成する。従って、両方法によって生成される予測誤差は、集約して非ブロックベースの変換（例えば、ウェーブレット変換）を用いて符号化することができる。
ターゲット画像に対してＩＳＴＰＥを実行するための方法を図４に示す。４１０において、ターゲット画像に対する時間参照画像を受け取る。すでに符号化されている時間参照画像は、単一又は複数の参照画像とすることができる。
４２０において、ターゲットブロックに対する形状パターンを選択し、予測されることになるターゲット画像に適用する。形状パターンは、固定ブロックパターン（例えば、ＭＰＥＧ−１／２で使用されるパターン）又は可変ブロックパターン（例えば、ＭＰＥＧ−ＡＶＣ／Ｈ．２６４で使用されるパターン）とすることができる。４２０の間、選択されたパターンは、ターゲット画像に適用され、ターゲットブロックと呼ばれるブロック（又は他の形状）のセットを生成する。各ターゲットブロックは、時間参照ブロック又は空間参照ブロックのいずれかから一所に予測される、ターゲット画像内の画素の最小グループであり、例えば、１つのターゲット画像内の全画素が、同一の動きベクトル又は空間ベクトルを共有する。
４２５において、ターゲットブロックの１つが符号化のために選択される。４３０において、選択されたターゲットブロックに時間予測法が適用され、参照ブロックを指す動きベクトルを生成する。当業者に公知の従来の動き推定方法を用いて、参照ブロックを特定し、動きベクトルを決定することができる。例えば、動きベクトルは、ターゲットブロックと参照ブロックとの間の変位（すなわち動き）から算出することができる。４３５において、参照ブロック内の符号化された画像データを用いて、ターゲットブロックに対する画像データの時間予測を生成する。
４４０において、空間予測法が選択されたターゲットブロックに適用され、ターゲットブロックに対する空間ベクトルを生成する。空間ベクトルは、空間参照ブロックと呼ばれる、ターゲットブロックの粗い形態(coarse version)を生成するためのデータセットである。４５０において、空間参照ブロックは、空間ベクトルを使用して構成される。異なる手法を使用して、空間ベクトルを生成し空間参照ブロックを構成してもよい。１つの実施形態では、離散コサイン変換空間予測（ＤＣＴ−ＳＰ）処理を用いて、空間ベクトルを生成し、対応する空間参照ブロックを構成する。ＤＣＴ−ＳＰ処理の実施例を以下に説明する。
４５５において、空間参照ブロックが使用され、ターゲットブロックに対する画像データの空間予測を生成する。
４６０において、選択機能が、ターゲットブロックを符号化するのに使用される予測方法を選択する。この選択は、時間予測法及び空間予測法の予測誤差を比較することにより行われる。時間予測誤差は、ブロックの実際の画素値からブロックに対する画素値の時間予測を差し引くことによって生成される。同様に、空間予測誤差は、実際の値から画素値の空間予測を差し引くことによって生成される。一般に、選択機能は、時間予測誤差及び空間予測誤差を計算し、２つの誤差を比較して、より低い予測誤差を有する方法を選択する。１つの実施形態では、選択機能は、時間予測及び対象予測の両方に対するターゲットブロックの予測歪値を求め、より低い予測歪を有する符号化法を選択する。
ブロックの予測歪の実施例は次式となる。
Figure 0005078895

ここで、ｘ，ｙ∈Ｂは、ブロック（又は形状）内の全画素Ｂを表し、ｖx,yは、対象映像内の元の画素値、
Figure 0005078895
は、当該ターゲット画素の予測値である。
４３５からの時間予測を式（１）に入力し、時間予測歪を生成することができる。同様に、４５５からの空間予測を式（１）に適用し、空間予測歪を生成することができる。従って、式（１）を用いて、時間予測及び空間予測に対する予測歪を生成することができる。次いで、２つの予測歪は容易に比較され、適切な符号化法を選択する。
予測歪の別の実施例は、予測誤差の絶対値の合計：
Figure 0005078895
である。
ユーザは、式（１）、式（２）又は他の関数を選び、これを４６０において使用して、ターゲットブロックに対して時間予測法又は空間予測法のいずれを使用するかを決定することができる。
４７０において、最後のターゲットブロック予測誤差（４６０において選択された、空間符号化又は時間符号化のいずれかによる）を適切な符号化法を使用してブロックと共に符号化することができる。或いは、ターゲット画像内の各ターゲットブロックが予測され符号化された後、ターゲットブロックの全てに対する予測誤差を一所に符号化することができる。
４８０において、画像内の別のターゲットブロックを符号化する必要がある場合には、処理は４２５に戻り、そうでない場合には、処理は４９０で終了する。
図４の４４０及び４５０を更に詳細に参照すると、空間ベクトルを生成して空間参照ブロックを構成する方法の実施例が図５に示される。この例示的な方法は、ＤＣＴ（離散コサイン変換）ブロック変換を使用して空間ベクトルを生成し、これに対応した空間参照ブロックを構成する。
４４０において、空間ベクトルは、以下の各機能を実行することによって生成される。５１０において、ターゲット画像内のターゲットブロックが受け取られる。５１５において、変換係数が生成される。例えば、Ｘをターゲットブロックを表すマトリックスとし、ここで該マトリックス内の各要素は、ターゲットブロック内の画素値である。ブロック変換（例えば、ＤＣＴ）がマトリックスＸ上で実行され、変換係数マトリックスＣを得る。
５１７において、マトリックスＣを量子化するための量子化関数ｑが、制御パラメータとして本方法へ入力される。量子化関数の値は、ユーザが定義するか、又はエンコーダが設定することができる。５２０において、マトリックスＣの各係数は量子化されて、量子化されたマトリックスＣ’を生成する。
５２２において、選択される幾つかの係数Ｎc及びこれらに対応するマトリックス上の位置は、いくつかの実施形態における制御パラメータとしてユーザによって入力されるか、又はエンコーダが設定することができる。一般に、係数の数Ｎcは、空間ベクトル中の係数要素の数が動きベクトル中の要素の数と同様であるように選択される。結果として、２つの方法の符号化効率は、２つのベクトルの符号化コストを無視する機能によって比較することができる。
５２５において、Ｎc係数を、係数マトリックスＣ’内のそれらの所与の位置から選択する。１つの実施形態では、本処理は、係数マトリックスＣ’の左上隅に位置するＮc係数を選択する。
５３０において、Ｎc量子化数を使用して、このターゲットブロックに対する空間ベクトルＳを生成する。この空間ベクトルを用いて、対応するターゲットブロックに対する空間参照ブロックを生成することができる。
４５０において、空間参照ブロックは、まず５６０において所与のターゲットブロックに対する空間ベクトルＳを受け取ることによって構成される。空間ベクトルはＮc要素を含む。５６５において、空間ベクトルからターゲットブロックに対するブロック変換係数のマトリックスを構成する。１つの実施形態では、これは、最初に全ての係数をゼロに設定することによって行われる。次いで、空間ベクトルＳからの係数の値は、これらの前の位置にマトリックス内に復元される。Ｎc係数が復元されるので、得られる結果はマトリックス
Figure 0005078895
である。係数のマトリックス上の位置は、上述のように５２２においてシステムパラメータとして本方法に入力することができる。
５７０において、
Figure 0005078895
内の各係数を逆量子化（上述のように、量子化関数は５１７においてシステムパラメータとして本方法に入力することができる）し、係数マトリックス
Figure 0005078895
を生成することができる。５７５において、逆変換が、
Figure 0005078895
上で実行される。得られる結果は、元のターゲットブロックＸを予測するのに使用される空間参照ブロック
Figure 0005078895
である。
５８０において、別のターゲットブロックに対して空間予測法を実行する必要がある場合には、本処理は、５１０に戻ることによって繰り返される。そうでない場合には、処理は５９０で終了する。
図５に例示された方法は、時間参照ブロック及び動きベクトルのものと類似したアーキテクチャ及び機能性を有する、空間参照ブロック及びこれに対応する空間ベクトルを生成する。例えば、時間参照ブロックは、その動きベクトルによって特定される。例えば、時間参照ブロックは、その動きベクトルによって特定され、空間参照ブロックは、その空間ベクトルによって構成される。図５の方法によって生成された空間ベクトルは、動きベクトル内の要素の数と同様の要素の数を有する。類似の数の要素を有することにより、ベクトルを符号化するのに必要とされるビット数である各ベクトルの符号化コストは、いずれの予測方法をターゲットブロックに適用するかを決定するときには無視することができる。従って、符号化の決定は、２つの予測ブロックの予測誤差を比較することによって容易に行うことができる。
ここで、図５の方法を使用して空間予測を実行する実施例を説明する。本実施例では、ターゲットブロックが、例えば４行と４列の画素を有する、４×４の大きさとする。一般に、ＤＣＴは、例えば８×８又は４×８など、任意の大きさの矩形ブロックに適用することができる。Ｘをターゲットブロックの元の画素値（実画像から得られたデータ）のマトリックス、本実施例では以下のものとする。

Figure 0005078895
マトリックスＸに２次元ＤＣＴ変換を適用して、以下のＤＣＴ係数マトリックスを生成する。
Figure 0005078895
ＣのＤＣＴ係数に量子化関数を適用する。例えば、Ｃの各要素を値ｑで除算し、次いで最も近い整数に切り上げる（本実施例ではｑ＝１０）。
Figure 0005078895
空間ベクトルが３つの要素を有するように、Ｎc＝３に設定する。３つの要素の位置は、左上隅にある。次いで、Ｃ’内の左上隅の３つの量子化係数を選択する。一般に、係数の数Ｎc並びにこれらの位置は、自由パラメータとしてユーザが定義することができる。本実施例では、Ｃ’内の選択された係数は、４４、１３、１０である。
ここで、選択された係数を使用してターゲットブロックに対する空間ベクトルを生成する。
Ｓ＝［４４，１３，１０］
マトリックスＣ’内の全ての他の要素は破棄される。
空間参照ブロックを構成するために、まず空間ベクトルＳから係数マトリックス
Figure 0005078895
を生成する。これは、（ｉ）
Figure 0005078895
内の全ての要素を０に設定し、（ｉｉ）空間ベクトルＳから選択された係数を、マトリックス内のこれらの前の位置に復元することによって行われる。
Figure 0005078895
次いで、マトリックス
Figure 0005078895
に逆量子化を実行する。例えば、
Figure 0005078895
にｑ＝１０を乗算する。
Figure 0005078895

マトリックス
Figure 0005078895
に逆ＤＣＴを適用して、空間参照ブロック
Figure 0005078895
に対する画素値を生成する。
Figure 0005078895

空間参照ブロック
Figure 0005078895
内の画素値を用いて、ターゲットブロックＸに対する画素値を予測する。空間予測誤差は、ターゲットブロックに対する実際の画素値から予測画素値を引いたもの：
Figure 0005078895

であり、この場合、
Figure 0005078895
となる。
空間予測符号化法は、ビデオ圧縮応用における従来のイントラ符号化法に取って代わることができる。空間予測符号化法と時間予測符号化との統合は、統合時空間予測符号化法をもたらし、これは、ビデオ圧縮応用（例えばＭＰＥＧ）における画像のシーケンス全体を符号化するのに適用することができる。
図６は、ＩＳＴＰＥ法を使用するシステムの実施例を示している。デジタルビデオカメラ６１０は、電子的形式で画像を取り込み、圧縮及び符号化処理の間にＩＳＴＰＥ法を実行する圧縮デバイス６２０を用いて画像を処理する。符号化された画像は、電子的伝送媒体６３０を介してデジタル再生デバイス６４０に送信される。画像は、復号化処理中にＩＳＴＰＥ法を使用する復号デバイス６５０によって復号される。カメラ６１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像プロセッサ、個人的及び商用のコンピューティングプラットフォーム、その他）を例証するものである。同様に、復号デバイス６５０は、画像データを復号する様々なデバイスを例示するものである。
本発明を特定のシステム環境における例示的な実施形態に関して説明したが、本発明は、添付の特許請求の範囲の精神及び範囲内で他の異なるハードウェア及びソフトウェア環境において様々な方式で実施することができる点は当業者であれば理解されるであろう。
時間予測（又はインター符号化）法及びイントラ符号化法の両方を使用して符号化されるターゲット画像の実施例を示す図である。 ブロックに対して時間予測法又はイントラ符号化法のいずれを適用するかを決定する決定システムの実施例を示す図である。 統合時空間予測符号化システムの実施例を示す図である。 統合時空間予測符号化（ＩＳＴＰＥ）を実施するための方法の実施例を示す図である。 ＩＳＴＰＥ法の実施形態を実行するのに使用されるＤＣＴ空間予測処理の実施例を示す図である。 ＩＳＴＰＥ法を使用するシステムの実施例を示す図である。

Claims (9)

  1. データ処理システムによって画素のターゲットブロックに対する空間ベクトルを生成する段階と、ここで、前記生成には、離散コサイン変換空間予測法の実行が含まれ、離散コサイン変換空間予測法は、空間ベクトルの要素として複数の量子化係数を選択することを含んでおり、
    前記空間ベクトルを使用して量子化された離散コサイン変換係数のマトリックスを生成する段階と、
    量子化された離散コサイン変換係数の前記マトリックスに逆量子化関数を適用して、離散コサイン変換係数のマトリックスを算出する段階と、
    離散コサイン変換係数の前記マトリックスに逆離散コサイン変換関数を適用して、画素値のマトリックスを有する空間参照ブロックを生成する段階と、
    前記空間参照ブロックを使用して、前記ターゲットブロックの空間予測を生成する段階と、
    空間予測誤差を生成する段階と、
    前記空間予測誤差を時間予測誤差と比較する段階と、
    前記空間予測誤差が前記時間予測誤差よりも小さければ、前記空間参照ブロックを符号化する段階と、
    を含む方法。
  2. 前記離散コサイン変換空間予測法が、さらに、
    前記ターゲットブロックに対する画素値のマトリックスを生成する段階と、
    離散コサイン変換関数を前記マトリックスに適用して、離散コサイン変換係数マトリックスを生成する段階と、
    前記離散コサイン変換係数マトリックスに量子化関数を適用する段階と、
    を含む請求項１に記載の方法。
  3. 前記空間参照ブロックを使用して前記ターゲットブロックの空間予測を生成する段階が、
    前記画素値のマトリックスを使用して、前記ターゲットブロックの値を予測する段階を含む請求項１に記載の方法。
  4. 画素のターゲットブロックに対する空間ベクトルを生成する空間ベクトル生成器と、ここで、前記空間ベクトル生成器は、離散コサイン変換空間予測機能を実行する離散コサイン変換論理部と、空間ベクトルの要素として複数の量子化係数を選択する選択デバイスを含んでおり、
    前記空間ベクトルを使用して量子化された離散コサイン変換係数のマトリックスを生成する空間ベクトル符号化器と、
    量子化された離散コサイン変換係数の前記マトリックスに逆量子化関数を適用して、離散コサイン変換係数のマトリックスを算出する逆量子化デバイスと、
    離散コサイン変換係数の前記マトリックスに逆離散コサイン変換関数を適用して、画素値のマトリックスを有する空間参照ブロックを生成する逆離散コサイン変換デバイスと、
    前記空間参照ブロックを使用して、前記ターゲットブロックの空間予測を生成する空間予測器と、
    空間予測誤差を生成する予測誤差生成器と、
    前記空間予測誤差を時間予測誤差と比較する比較器と、
    前記空間予測誤差が前記時間予測誤差よりも小さければ、前記空間参照ブロックを符号化する符号化器と、
    を備える装置。
  5. 前記離散コサイン変換論理部が、さらに、
    前記ターゲットブロックに対する画素値のマトリックスを生成するマトリックス生成器と、
    前記マトリックスを使用して離散コサイン変換係数マトリックスを生成する離散コサイン変換係数生成器と、
    量子化関数を前記離散コサイン変換係数マトリックスに適用する量子化デバイスと、
    を含む請求項４に記載の装置。
  6. 前記空間予測器が、
    前記空間参照ブロックからの前記画素値のマトリックスを使用して、前記ターゲットブロックの画素値を予測する参照ブロックデコーダを含む請求項４に記載の装置。
  7. 画素のターゲットブロックに対する空間ベクトルを生成する段階と、ここで、前記生成には、離散コサイン変換空間予測法の実行が含まれ、離散コサイン変換空間予測法は、空間ベクトルの要素として複数の量子化係数を選択することを含んでおり、
    前記空間ベクトルを使用して量子化された離散コサイン変換係数のマトリックスを生成する段階と、
    量子化された離散コサイン変換係数の前記マトリックスに逆量子化関数を適用して、離散コサイン変換係数のマトリックスを算出する段階と、
    離散コサイン変換係数の前記マトリックスに逆離散コサイン変換関数を適用して、画素値のマトリックスを有する空間参照ブロックを生成する段階と、
    前記空間参照ブロックを使用して、前記ターゲットブロックの空間予測を生成する段階と、
    空間予測誤差を生成する段階と、
    前記空間予測誤差を時間予測誤差と比較する段階と、
    前記空間予測誤差が前記時間予測誤差よりも小さければ、前記空間参照ブロックを符号化する段階と、
    を含む方法を、処理システムによって実行するときに、前記システムに実行させる命令のプログラムを記憶するコンピュータ可読媒体。
  8. 前記離散コサイン変換空間予測法が、
    前記ターゲットブロックに対する画素値のマトリックスを生成する段階と、
    離散コサイン変換関数を前記マトリックスに適用して、離散コサイン変換係数マトリックスを生成する段階と、
    前記離散コサイン変換係数マトリックスに量子化関数を適用する段階と、
    を含むことを特徴とする請求項７に記載のコンピュータ可読媒体。
  9. 前記空間参照ブロックを使用して前記ターゲットブロックの空間予測を生成する段階が、
    前記画素値のマトリックスを使用して、前記ターゲットブロックの画素値を予測する段階を含むことを特徴とする請求項７に記載のコンピュータ可読媒体。
JP2008531154A 2005-09-16 2006-08-30 統合時空間予測法 Expired - Fee Related JP5078895B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/228,599 2005-09-16
US11/228,599 US7620108B2 (en) 2005-09-16 2005-09-16 Integrated spatial-temporal prediction
PCT/US2006/034091 WO2007037912A2 (en) 2005-09-16 2006-08-30 Integrated spatial-temporal prediction

Publications (2)

Publication Number Publication Date
JP2009509403A JP2009509403A (ja) 2009-03-05
JP5078895B2 true JP5078895B2 (ja) 2012-11-21

Family

ID=37884043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531154A Expired - Fee Related JP5078895B2 (ja) 2005-09-16 2006-08-30 統合時空間予測法

Country Status (6)

Country Link
US (1) US7620108B2 (ja)
EP (1) EP1925160A4 (ja)
JP (1) JP5078895B2 (ja)
KR (1) KR101274804B1 (ja)
CN (1) CN101584215B (ja)
WO (1) WO2007037912A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
DE102005061690A1 (de) * 2005-12-21 2007-07-05 Solmic Gmbh Verfahren zur Herstellung solartauglichen Siliziums
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
CN101682787A (zh) * 2007-04-12 2010-03-24 诺基亚公司 空间增强的变换编码
WO2010138536A1 (en) * 2009-05-27 2010-12-02 Yin Zhang Method and apparatus for spatio-temporal compressive sensing
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
GB2501835B (en) 2011-03-09 2014-09-03 Canon Kk Video encoding and decoding
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
US8670782B2 (en) 2011-06-10 2014-03-11 International Business Machines Corporation Systems and methods for analyzing spatiotemporally ambiguous events
US9571833B2 (en) * 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9020294B2 (en) 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9621902B2 (en) * 2013-02-28 2017-04-11 Google Inc. Multi-stream optimization
CN114501020A (zh) * 2016-08-21 2022-05-13 上海天荷电子信息有限公司 使用最近运动矢量和邻近运动矢量的图像压缩方法和装置
CN111108747B (zh) * 2017-09-22 2023-10-24 威诺瓦国际有限公司 获得信号的时间样本的目标表示

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (ja) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5047850A (en) 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
GB9519923D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
ES2182972T3 (es) 1996-04-19 2003-03-16 Nokia Corp Codificador y descodificador de video utilizando procedimientos de segmentacion y fusion de movimiento.
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
EP1511325A3 (en) 1997-02-13 2006-07-19 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) * 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
CN1205818C (zh) 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
JP4163618B2 (ja) * 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
JP3807342B2 (ja) 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
US7349473B2 (en) 2002-07-09 2008-03-25 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
CN1212014C (zh) * 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
JP4257789B2 (ja) * 2004-02-27 2009-04-22 Ｋｄｄｉ株式会社 動画像符号化装置

Also Published As

Publication number Publication date
KR101274804B1 (ko) 2013-06-13
KR20080048071A (ko) 2008-05-30
EP1925160A2 (en) 2008-05-28
WO2007037912A2 (en) 2007-04-05
US20070064797A1 (en) 2007-03-22
JP2009509403A (ja) 2009-03-05
CN101584215B (zh) 2011-09-21
WO2007037912A3 (en) 2009-05-07
EP1925160A4 (en) 2011-01-26
US7620108B2 (en) 2009-11-17
CN101584215A (zh) 2009-11-18

Similar Documents

Publication Publication Date Title
JP5078895B2 (ja) 統合時空間予測法
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
RU2608674C2 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
JP4898467B2 (ja) 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置
EP0800677B1 (en) Method and device for selectively compressing video codec
JP2006511113A (ja) 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング
JP4074868B2 (ja) 画像符号化制御方法及びその装置
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
Moshe et al. Video block motion estimation based on gray-code kernels
JP2007228371A (ja) 画像符号化装置
JP5358485B2 (ja) 画像符号化装置
JP5171658B2 (ja) 画像符号化装置
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
CN105338365A (zh) 视频编码方法和视频编码装置
JP5268666B2 (ja) 画像符号化装置
JP2007243859A (ja) 画像符号化装置及び画像符号化プログラム
JP2008193599A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120423

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120501

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120625

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120820

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120828

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees