JP5086271B2 - ビデオ信号の符号化係数を変換する装置および方法 - Google Patents

ビデオ信号の符号化係数を変換する装置および方法 Download PDF

Info

Publication number
JP5086271B2
JP5086271B2 JP2008543638A JP2008543638A JP5086271B2 JP 5086271 B2 JP5086271 B2 JP 5086271B2 JP 2008543638 A JP2008543638 A JP 2008543638A JP 2008543638 A JP2008543638 A JP 2008543638A JP 5086271 B2 JP5086271 B2 JP 5086271B2
Authority
JP
Japan
Prior art keywords
coding
coding coefficient
coefficient
matrix
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008543638A
Other languages
English (en)
Other versions
JP2009519628A (ja
Inventor
湛▲偉▼▲権▼
▲ふぉん▼志▲強▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Publication of JP2009519628A publication Critical patent/JP2009519628A/ja
Application granted granted Critical
Publication of JP5086271B2 publication Critical patent/JP5086271B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

発明の詳細な説明
[発明の分野]
本発明は、ビデオ信号の符号化係数を変換する装置および方法に関し、具体的には、DCT(離散コサイン変換)圧縮符号化信号とICT(整数コサイン変換)圧縮符号化信号との間の変換、さらには異なるICT符号化モードによって圧縮された信号間の変換を実現するための、ビデオ圧縮符号化係数の変換に関する。
[発明の背景]
ビデオ圧縮およびコーデックの技術開発により、MPEG1、MPEG2、H.261、H.262、H.263、およびH.264のような国際標準規格がもたらされたが、ほとんどの標準規格において、8次元のDCTが使用されている。H.264/MPEG−4(Part 10)AVCのFRExtのみが、8次元のICTを採用している。
H.264/MPEG−4(Part 10)AVC(ITU−T H.264/MPEG−4(Part 10)先進的ビデオ符号化、略してH.264/AVCという)は、ITU−CのVCEG(ビデオ符号化専門家グループ)およびISO/IECのMPEG(動画専門家グループ)から構成されるJVT(共同ビデオチーム)により開発された、新しい国際標準規格である。この標準規格の効率は、MPEG−2の効率の約2倍である。2004年7月に新しいアタッチメントFRExt(高忠実度化規格)が提示され、このアタッチメントによってさらに効率が向上した。上記アタッチメントでは8次元のICTが提案されており、ICTの整数演算によるビデオ信号の圧縮を行うことで、圧縮を簡略化でき、DCTと比較すると少ないリソースで済ませることができる。
同様に、マイクロソフト・ウィンドウズ・メディア9(WMV9)も、ネットワークおよび放送用に新しく開発された。WMV9のビデオコアは、ウィンドウズ・メディア9として知られるビデオコーデックであり、演算負荷と画質とのバランスを取ることを実現している。ICTのビデオ圧縮を行うWMV9は、映画テレビ技術者協会から認められる標準規格の1つになっている。
上記を考慮すると、H.264/AVC圧縮信号が他の標準規格と互換性を持つように、DCT圧縮信号とICT圧縮信号との間で変換を行う必要性がある。
さらに、H.264/AVC信号、AVS(オーディオ・ビデオ符号化標準規格)信号、およびWMV9信号はICTにより圧縮されるが、各標準規格で異なる変換が用いられているため、これら信号は互いに互換性がない。したがって、各種標準規格間の相互互換性を実現するために、H.264/AVC、AVS、およびWMV9により圧縮される信号間で変換を行う必要性がさらにある。
[発明の概要]
上記必要性を考慮して、本発明は、ビデオ信号の、DCT符号化係数とICT符号化係数との間で変換を行う装置および方法を提供する。
本発明はまた、ビデオ信号の圧縮符号化係数間の高速変換を行う装置および方法に関する。
本発明の一局面によれば、第1の符号化係数を有するビデオ信号を第2の符号化係数を有するビデオ信号に変換する装置が提供される。上記装置は、第1の符号化係数を記憶するように構成された第1の記憶装置と、変換行列を記憶するように構成された第2の記憶装置と、第1の符号化係数と変換行列との乗算演算を行うように構成された乗算装置と、乗算演算から得られた値を加算するように構成された加算装置と、加算装置から得られた値をシフトして、第2の符号化係数を得るように構成されたシフト装置とを備えている。
本発明の第1の実施形態では、第1の符号化係数は、DCTビデオ符号化係数であり、第2の符号化係数は、ICTビデオ符号化係数である。本発明の第2の実施形態では、第1の符号化係数は、ICTビデオ符号化係数であり、第2の符号化係数は、第1の符号化係数とは異なるICTビデオ符号化係数である。本発明の第3の実施形態では、第1の符号化係数は、ICTビデオ符号化係数であり、第2の符号化係数は、DCTビデオ符号化係数である。ICTビデオ符号化係数は、WMV9ビデオ符号化係数であってもよいし、AVSビデオ符号化係数であってもよいし、H.264/AVCビデオ符号化係数であってもよい。
本発明によれば、変換行列は、第1の信号ベクトルと第2の信号ベクトルとの間の誤差が、IEEE標準規格1180−1990の誤差要件を満たすように設定され、第1の信号ベクトルは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて第1の符号化係数から変換され、第2の信号ベクトルは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて第2の符号化係数から変換される。
ICTビデオ符号化係数は、8次元のICT符号化係数行列を構成することが好ましい。
あるいは、変換装置は、加算装置およびシフト装置から得られた値を記憶する第3の記憶装置をさらに備える。シフト装置は、第3の記憶装置に記憶されたデータを17ビット、または13ビット、または15ビット、または8ビット、または0ビット、または12ビット、または22ビット、または16ビット右にシフトしてもよい。第2の符号化係数は15ビットである。
本発明の別の局面によれば、第1の符号化係数を有するビデオ信号を第2の符号化係数を有するビデオ信号に変換する方法が提供され、この方法は、第1の符号化係数および変換行列を読み込むことと、第1の符号化係数に変換行列を乗算することと、乗算演算から得られた値を加算することと、第2の符号化係数を得るために加算演算から得られた値をシフトすることとを備えている。本発明の第1の実施形態では、第1の符号化係数は、DCTビデオ符号化係数であり、第2の符号化係数は、ICTビデオ符号化係数である。本発明の第2の実施形態では、第1の符号化係数は、ICTビデオ符号化係数であり、第2の符号化係数は、第1の符号化係数とは異なるICTビデオ符号化係数である。本発明の第3の実施形態では、第1の符号化係数は、ICTビデオ符号化係数であり、第2の符号化係数は、DCTビデオ符号化係数である。ICTビデオ符号化係数は、WMV9ビデオ符号化係数であってもよいし、AVSビデオ符号化係数であってもよいし、H.264/AVCビデオ符号化係数であってもよい。本発明によれば、変換行列は、第1の信号ベクトルと第2の信号ベクトルとの間の誤差がIEEE標準規格1180−1990の誤差要件を満たすように設定され、第1の信号ベクトルは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて第1の符号化係数から変換され、第2の信号ベクトルは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて第2の符号化係数から変換される。
ICTビデオ符号化係数は、8次元のICT符号化係数行列を構成することが好ましい。
本発明によれば、各種変換によって圧縮された信号は、相互に変換することが可能であり、各種標準規格に相互互換性を持たせることができる。
[好ましい実施形態の説明]
本発明の実施形態について、図面を参照して説明する。まず、DCT符号化処理およびICT符号化処理についてそれぞれ説明し、各種符号化方式の変換については後述する。
DCT符号化
ビデオ信号をベクトルXとすると、行列Cdctで表されるDCT符号化係数は、DCT変換行列Tdctを通して得られる。
Figure 0005086271
ICT符号化
ビデオ信号をベクトルXとすると、ベクトルCで表されるICT符号化係数は、ICT変換行列Tiを用いて得られる。尚、ICT変換行列Tiは、AVSで用いられるTi=KKEの形式であってもよいし、H.264/AVCで用いられるTi=KEの形式であってもよいし、WMV9で用いられるTi=Eの形式であってもよい。
8次元のICT(a,b,c,d,e,f,g)について、以下のように行列KおよびEが与えられる。
Figure 0005086271
Figure 0005086271
ここで、kb3(i)の値は、下記方程式を用いて得られるが、方程式において、E(i)は、行列Eの(i)番目の行を表す。
Figure 0005086271
ICTの定義によると、a〜gの7つの値の可能な組み合わせは無限である。圧縮率と効率とのバランスを取るために、H.264/AVCがICT(12,10,6,3,8,4,8)を用いるのに対し、AVSはICT(10,9,6,2,10,4,8)を用い、WMV9はICT(16,15,9,4,16,12)を用いる。以下の説明では、ICT(16,15,9,4,16,12)を一例に挙げる。
ビデオ信号をベクトルXとすると、Ti=KKEであるとき、すなわちAVSで用いられるICT符号化を採用するとき、ICT変換行列Tiは、Tavs=Kavsavsavsである。ICT符号化行列Cavsは、以下のとおりである。
Figure 0005086271
i=KEであるとき、すなわちH.264/AVCで用いられるICT符号化を採用するとき、ICT変換行列Tiは、Th264=Kh264h264である。ICT符号化行列Ch264は、以下のとおりである。
Figure 0005086271
i=Eであるとき、すなわちWMV9で用いられるICT符号化を採用するとき、ICT変換行列Tiは、Twmv9=Ewmv9である。ICT符号化行列Cwmv9は、以下のとおりである。
Figure 0005086271
上述のように、DCT、H.264/AVC、AVS、およびWMV9といった標準規格間の互換性を実現するためには、H.264/AVC信号、AVS信号、およびWMV9信号と、DCT信号との間で変換を行う必要があり、12の変換が発生する。ここで、12の変換は4種類に分類され、それぞれが3つの変換を含む。
上述した4つの標準規格のいずれかを用いて入力信号ベクトルXinを符号化することによって符号化行列Cinが得られると仮定すると(第1の符号化という)、符号化行列Cinは変換行列Toutinによって、別の標準規格と互換性のある別の符号化行列Coutに変換される(第2の符号化という)。つまり、符号化行列Coutは出力ベクトルXoutの符号化係数から構成される。変換行列Toutinは様々な方法で導入することができる。行列Toutinの効率と信号係数Coutの精度とを考慮すると、本発明では下記の2つの法則に基づいてToutinを選択するのが好ましい。
1)変換行列Toutinは単純な構造を有する。
2)入力符号化行列Cinは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて信号ベクトル
Figure 0005086271
に変換することができ、出力信号行列Coutは、IEEE標準規格1180−1990の誤差要件に従った逆符号化を用いて信号ベクトルXoutに変換することができる。ただし、信号ベクトル
Figure 0005086271
と信号ベクトルXoutとの間の誤差はIEEE標準規格1180−1990の誤差要件を満たしていなければならない。
1. DCT符号化信号から他の符号化信号への変換
1.1 DCT符号化行列からAVS符号化行列への変換
DCT符号化行列は、方程式(2)および(3)によってAVS符号化行列に変換される。すなわち、DCT符号化行列は、以下のように変換される。
Figure 0005086271
つまり、DCT符号化行列をAVS符号化行列に変換するための変換行列Tavsdctは以下のとおりである。
Figure 0005086271
そして、変換行列Tavsdctは、近似的に以下のように表すことができる。
Figure 0005086271
ただし、Ta,Tb,Tc,Td,Te,Tf,Tgおよびb は整数である。b は行列の精度を表す。b が大きくなるほど、出力符号化行列の係数は精度を増すものの、行列はより複雑なものとなるであろう。異なるICTは、異なる(Ta,Tb,Tc,Td,Te,Tf,Tg)およびbを用いる。上述の2つの法則によれば、(Ta,Tb,Tc,Td,Te,Tf,Tg)およびbは、IEEE標準規格1180−1990の誤差要件を満たすはずである。その一方で、Tavsdctは単純な構造を有するはずであり、つまり、bは最小値となるはずである。
上記法則によれば、入力DCT符号化行列の係数が12ビット以上で、かつbが17である場合、変換された符号化行列Cavsの係数は、15ビットで表されるはずである。すなわち、変換された符号化行列Cavsの係数は、図16に示すように(Ta,Tb,Tc,Td,Te,Tf,Tg)=(5793,6232,6048,−130,−74,7,−130)で表されるはずである。この変換の高速方法は、図2を参照して後に説明する。
1.2 DCT符号化行列からH.264/AVC符号化行列への変換
DCT符号化行列は、方程式(2)および(5)によってH.264/AVC符号化行列に変換される。すなわち、DCT符号化行列は、以下のように変換される。
Figure 0005086271
DCT符号化行列をH.264/AVC符号化行列に変換する変換行列Th264dctは以下のとおりである。
Figure 0005086271
ただし、Th264dctは、単位行列に類似しており、近似的に以下のように与えられ得る。
Figure 0005086271
尚、I8は、8次元の行列である。
上記法則によれば、入力DCT符号化行列の係数が12ビット以上で、かつbが13である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図8a〜8dの表に示されたグループのうちの1つとなるはずであり、変換された符号化行列Ch264の係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。この変換の高速変換方法は図3を参照して示される。
1.3 DCT符号化行列からWMV9符号化行列への変換
DCT符号化行列は、方程式(2)および(7)によってWMV9符号化行列に変換される。すなわち、DCT符号化行列は、以下のように変換される。
Figure 0005086271
DCT符号化行列をWMV9符号化行列に変換する変換行列Twmv9dctは以下のとおりである。
Figure 0005086271
変換行列Twmv9dctは、近似的に以下のように表すことができる。
Figure 0005086271
ここで、上記法則によれば、上記行列において入力DCT符号化行列の係数が12ビット以上で、かつbが15である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図9の表に示されたグループのうちの1つとなるはずであり、変換された符号化行列Cwmvの係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(1,−13,−21,178,580,398,162)である。高速変換方法は図2を参照して示される。
2. AVS符号化信号から他の符号化信号への変換
2.1 AVS符号化行列からDCT符号化行列への変換
AVS符号化行列は、方程式(4)および(1)によってDCT符号化行列に変換される。すなわち、AVS符号化行列は、以下のように変換される。
Figure 0005086271
つまり、AVS符号化行列をDCT符号化行列に変換する変換行列Tdctavsは、以下のとおりである。
Figure 0005086271
そして、変換行列Tdctavsは、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力AVS符号化行列の係数が12ビット以上で、かつbが8である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図10の表に示されたグループのうちの1つとなるはずであり、変換された符号化行列Cdctの係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(5793,5380,5514,112,67,−6,112)である。
2.2 AVS符号化行列からH.264/AVC符号化行列への変換
AVS符号化行列は、方程式(4)および(5)によってH.264/AVC符号化行列に変換される。すなわち、AVS符号化行列は、以下のように変換される。
Figure 0005086271
つまり、AVS符号化行列をDCT符号化行列に変換する変換行列Th264avsは、以下のとおりである。
Figure 0005086271
ここで、行列Th264avsは、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力AVS符号化行列の係数が12ビット以上で、かつbが8である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図11の表に示されたグループのうちの1つとなるはずであり、変換された行列Ch264の係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上となるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(5793,5367,5495,234,458,256,213)である。この変換の高速変換方法は図2に示される。
2.3 AVS符号化行列からWMV9符号化行列への変換
AVS符号化行列は、方程式(4)および(7)によってWMV9符号化行列に変換される。すなわち、AVS符号化行列は、以下のように変換される。
Figure 0005086271
つまり、AVS符号化行列をWMV9符号化行列に変換する変換行列Twmv9avsは、以下のとおりである。
Figure 0005086271
ここで、行列Twmv9avsは、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力AVS符号化行列の係数が12ビット以上で、かつbが0である場合、変換された符号化行列Cwmvの係数は、15ビットで表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(768,714,736,0,−16,34,0)である。この変換の高速変換方法は図4に示される。
3. H.264/AVC符号化信号から他の符号化信号への変換
3.1 H.264/AVC符号化行列からDCT符号化行列への変換
H.264/AVC符号化行列は、方程式(6)および(1)によってDCT符号化行列に変換される。すなわち、H.264/AVC符号化行列は、以下のように変換される。
Figure 0005086271
つまり、H.264/AVC符号化行列をDCT符号化行列に変換する変換行列Tdcth264は以下のとおりである。
Figure 0005086271
そして、変換行列Tdcth264は、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力H.264/AVC符号化行列の係数が12ビット以上で、かつbが12である場合、変換された符号化行列Cdctの係数は、15ビットで表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(0,−7,−10,−81,−290、−199,−89)である。この変換の高速変換方法は図5に示される。
3.2 H.264/AVC符号化行列からAVS符号化行列への変換
H.264/AVC符号化行列は、方程式(6)および(3)によってAVS符号化行列に変換される。すなわち、H.264/AVC符号化行列は、以下のように変換される。
Figure 0005086271
つまり、H.264/AVC符号化行列をAVS符号化行列に変換する変換行列Tavsh264は、以下のとおりである。
Figure 0005086271
そして、変換行列Tavsh264は、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力H.264/AVC符号化行列の係数が12ビット以上で、かつbが17である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図12の表に示されたグループのうちの1つとなるはずであり、変換された符号化行列Cavsの係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(5793,6217,6064,−247,−505,−296,−271)である。この変換の高速変換方法は図2に示される。
3.3 H.264/AVC符号化行列からWMV9符号化行列への変換
H.264/AVC符号化行列は、方程式(6)および(7)によってWMV9符号化行列に変換される。すなわち、H.264/AVC符号化行列は、以下のように変換される。
Figure 0005086271
つまり、H.264/AVC符号化行列をWMV9符号化行列に変換する変換行列Twmv9h264は、以下のとおりである。
Figure 0005086271
そして、変換行列Twmv9h264は、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力H.264/AVC符号化行列の係数が12ビット以上で、かつbが8である場合、変換された符号化行列Cwmv9の係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビットで表されるはずである。本発明の好ましい実施形態によれば、図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(8689,8689,8701,−362,−916,0,−362)である。この変換の高速変換方法は図2に示される。
4. WMV9符号化信号から他の符号化信号への変換
4.1 WMV9符号化行列からDCT符号化行列への変換
WMV9符号化行列は、方程式(8)および(1)によってDCT符号化行列に変換される。すなわち、WMV9符号化行列は、以下のように変換される。
Figure 0005086271
つまり、WMV9符号化行列をDCT符号化行列に変換する変換行列Tdctwmvは、以下のとおりである。
Figure 0005086271
そして、変換行列Tdctwmvは、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力WMV9符号化行列の係数が12ビット以上で、かつbが17である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図14の表に示されたグループのうちの1つとなるはずであり、変換された符号化行列Cdctの係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。図16に示すように、(Ta,b,Tc,Td,Te,Tf,Tg)=(3862,3849,3833,76,130,−187,84)であることが好ましい。高速変換方法は図2に示される。
4.2 WMV9符号化行列からAVS符号化行列への変換
WMV9符号化行列は、方程式(8)および(3)によってAVS符号化行列に変換される。すなわち、WMV9符号化行列は、以下のように変換される。
Figure 0005086271
つまり、WMV9符号化行列をAVS符号化行列に変換する変換行列Tavswmvは、以下のとおりである。
Figure 0005086271
そして、変換行列Tavswmvは、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力WMV9符号化行列の係数が12ビット以上で、かつbが22である場合、Ta,Tb,Tc,Td,Te,Tf,およびTgの値は、図15の表に示されたグループのうちの1つとなるはずであり、変換された行列Cavsの係数は、IEEE標準規格1180−1990の誤差要件を満たすために、15ビット以上で表されるはずである。図16に示すように、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(22,5461,5861,0,124,−279,0)であることが好ましい。この変換の高速変換方法は図2に示される。
4.3 WMV9符号化行列からH.264/AVC符号化行列への変換
WMV9符号化行列は、方程式(8)および(5)によってH.264/AVC符号化行列に変換される。すなわち、WMV9符号化行列は、以下のように変換される。
Figure 0005086271
つまり、WMV9符号化行列をH.264/AVC符号化行列に変換する変換行列Th264wmvは、以下のとおりである。
Figure 0005086271
そして、変換行列Th264wmv9は、近似的に以下のように表すことができる。
Figure 0005086271
上記法則によれば、入力WMV9符号化行列の係数が12ビット以上で、かつbが16である場合、変換された符号化行列Ch264の係数は、15ビットで表されるはずである。(Ta,Tb,Tc,Td,Te,Tf,Tg)=(1931,1924,1907,80,201,0,80)であることが好ましい。この変換の高速変換方法は図2に示される。
DCT符号化係数とICT符号化係数との間の変換、さらに、3つの異なるICT符号化係数間の変換は、数学的観点から得られる。よって、ビデオ信号の符号化係数変換装置について、図面を参照しつつ、本発明に従って説明する。
図1は、本発明の好ましい一実施形態に係る符号化係数変換装置100を示すブロック図であり、符号化係数変換装置100は、第1の記憶装置10と、第2の記憶装置12と、第3の記憶装置13と、乗算装置30と、加算装置20と、シフト装置40とを備える。
DCT符号化係数からAVS符号化係数への変換を一例として、装置100について説明する。
第1の記憶装置10は、変換される符号化係数、すなわち入力ビデオから抽出された入力信号の符号化係数を記憶する。本実施形態では、記憶された符号化係数は、符号化行列Cdctと表される。
第2の記憶装置12は、変換行列、すなわち本実施形態においてDCT符号化係数からAVS符号化係数への変換を行う変換行列Tavsdctを記憶する。本実施形態において、Tavsdctは、(Ta,Tb,Tc,Td,Te,Tf,Tg)=(5793,6232,6048,−130,−74,7,−130)と設定される。行列中の値は、異なる変換方法および精度に従って変化する。例えば、AVS符号化係数からDCT符号化係数への変換のための行列では、Ta,Tb,Tc,Td,Te,Tf,およびTgの値を図10のグループのうちの1つから選ぶことが可能である。
本発明の一実施形態では、第2の記憶装置に記憶された上記変換行列、および第1の記憶装置に記憶された符号化係数は、手作業で読み込まれる。つまり、入力信号および出力信号の符号化モードは、変換前に指定される。次いで、符号化係数および変換行列は、指定された符号化モードに基づいて読み込まれる。当業者にとっては当然のことながら、例えば、周知の記憶装置に記憶され、事前に設定されたプログラムを介して読み出すといった、符号化係数および変換行列を記憶し、読み出すために様々な方法を用いることができる。必要に応じて、符号化係数および変換行列のすべての値をプログラムコードにプログラミングして、このプログラムコードを予め設定して使用することも可能である。
乗算装置30は、第1の記憶装置10に記憶された符号化係数に、第2の記憶装置12に記憶された変換行列を乗算し、乗算の結果を第1の記憶装置10に出力して記憶させる。あるいは、乗算の結果を他の記憶装置に記憶することも可能である。
第3の記憶装置13は、変換の最終結果と同様に、加算装置20およびシフト装置40の演算により得られた中間結果を記憶する。具体的には、第3の記憶装置13は、変換前にリセットされる。加算装置20は、第1の記憶装置および第3の記憶装置に記憶された結果を加算し、加算装置20の出力は、第3の記憶装置13に一時的に記憶される。
シフト装置40は、第3の記憶装置13に記憶された値にシフト操作を行う。本実施形態では、シフト装置40は、第3の記憶装置13に記憶された結果を所定のビット数右にシフトする。シフトした結果もまた、第3の記憶装置13に記憶される。結果として、最終的に第3の記憶装置13に記憶されているのは、まさに変換された係数、すなわちAVS符号化行列Cavsである。
DCT符号化係数からAVS符号化係数への変換に関して、装置100を説明したが、異なる符号化モードの符号化係数間での各種変換に関しては、装置100における各装置の演算順序が異なる可能性があることは、当業者にとって理解できるであろう。例えば、DCT符号化係数からH.264/AVC符号化係数への変換を行う際には、シフト装置40によってシフト操作が行われた後で、加算装置20により加算演算がもう1回行われる。別の例として、H.264/AVCのための符号化行列Ch2642を計算する際には、第一に乗算装置30が符号化行列TcにCdct2を乗算し、TeにCdct6を乗算する。加算装置20が2つの乗算演算の結果を加算したのち、シフト装置40が加算装置20の加算結果にシフト操作を行う。最後に、加算装置20がシフト装置40のシフト結果と符号化行列Cdct2とを加算し、符号化行列Ch2642が得られる。この手順は、信号フローの方程式によって表すことができる。
Figure 0005086271
以下に、装置100によって行われる、各種符号化モードの係数間の変換ステップについて詳細に説明する。
例として、各種符号化係数変換方法の信号伝達線図を以下に説明し、各種符号化モードの係数間の変換が、本発明の好ましい実施形態においてどのように実現されているのかを明確に示す。
図2は、本発明の一実施形態における符号化係数の高速変換方法を示す信号伝達線図である。図3は、本発明の別の実施形態における、DCT符号化係数からH.264/AVC符号化係数への高速変換方法を示す信号伝達線図である。高速変換は、係数の一部が0であれば簡略化することができ、高速変換の簡略化は、図4におけるAVSからWMV9への変換および図5におけるH.264/AVCからDCTへの変換で示すことができる。
図2を参照すると、DCT符号化係数からAVS符号化係数への変換は、以下のように記述することができる。
Figure 0005086271
図3を参照すると、DCT符号化係数からH.264/AVC符号化係数への変換は、以下のように記述することができる。
Figure 0005086271
ここで、記号“>>b”はbビット分右にシフトすることを表している。
以下に、DCT符号化係数からAVS符号化係数への変換(正方向変換という)を、図1および図2をそれぞれ参照して説明する。説明の中でCavs7の演算を例証するが、Cavs7の演算は、以下のステップを有する。
1)第3の記憶装置13をリセットするステップ。
2)DCTによって圧縮された信号のDCT符号化行列Cdctを第1の記憶装置10に読み込むステップ。
3)変換行列Tavsdctを第2の記憶装置12に読み込むステップ。
4)第1の記憶装置10に記憶されているDCT符号化行列Cdctに、第2の記憶装置12に記憶されている変換行列Tavsdctを乗算するステップ。すなわち、乗算装置30がTf*Cdct1を行い、乗算結果を第1の記憶装置10に記憶するステップ。
5)第1の記憶装置および第3の記憶装置に記憶された値を加算するステップ。すなわち、加算装置20がTd*Cdct3と、-Tg*Cdct5と、Tb*Cdct7とを加算し、加算結果を第3の記憶装置13に記憶するステップ。
6)ステップ5)の結果を所定のビット数(すなわちbビット)右にシフトし、シフトした結果であるCavs7を第3の記憶装置13に記憶するステップ。
ステップ2)および3)において、CdctおよびTavsdctにおけるパラメータを1つずつ読み込むことができる。あるいは、CdctおよびTavsdctにおける全パラメータを一度に読み込むこともできる。当然のことながら、1つずつ読み込まれた場合、ステップ2)から5)が反復されるはずである。例えば、TfおよびCdct1が最初に読み込まれ、ステップ4)で乗算される。そして、乗算結果が第1の記憶装置10に記憶される。ステップ5)において、この乗算結果は、第3の記憶装置13に記憶された値に加算され、その後、手順はステップ2)に戻って残りのパラメータについて演算が行われる。
AVS符号化係数からDCT符号化係数への変換(逆方向変換という)は、上述の正方向変換と同様である。上記説明および図3を考慮すれば、逆方向変換は、当業者にとって明らかである。
図6は、DCT符号化係数とICT符号化係数との間の高速変換を図式的に示しており、図6では、太い実線および細い実線は、従来のICT処理およびDCT処理をそれぞれ示している。通常、上記2つの処理の符号化係数は、交換可能ではない。しかし、本発明により、2つの処理の符号化係数の交換が実現可能になる。具体的には、入力ビデオ信号がDCT(正方向DCT変換)によってデジタルビデオデータに圧縮される場合、DCT符号化係数が(細い破線で示されているように)ビデオデータから抽出され、(太い破線で示されているように)ICT符号化係数に変換される。ICT符号化係数を有するビデオ信号は復号され(逆方向ICT変換)、そして出力される。ビデオデータからDCT符号化係数を抽出することは、当該技術分野では周知であるので、詳細は説明しない。
図7は、本発明に係る、H.264/AVC符号化係数とAVS符号化係数との間の高速変換を図式的に示しており、図7では、太い実線および細い実線は、従来のH.264/AVC処理およびAVS処理をそれぞれ示している。通常、上記2つの処理の符号化係数は、交換可能ではない。しかし、本発明により2つの処理の符号化係数の交換が実現可能になる。具体的には、入力ビデオ信号がH.264/AVC(正方向H.264/AVC変換)によってデジタルビデオデータに圧縮される場合、H.264/AVC符号化係数が(細い破線で示されているように)ビデオデータから抽出され、(太い破線で示されているように)AVS符号化係数に変換される。AVS符号化係数は復号され(逆方向AVS変換)、そして出力される。同様に、入力ビデオ信号がAVS(正方向AVS変換)によってデジタルビデオデータに圧縮される場合、AVS符号化係数が(太い破線で示されているように)ビデオデータから抽出され、(細い破線で示されているように)H.264/AVC符号化係数に変換される。H.264/AVC符号化係数は復号され(逆方向H.264/AVC変換)、そして出力される。H.264とMSWM9との間、AVSとMSWM9との間といった他の変換についても、同様な方法で実行することができるので、詳細は説明しない。
本発明の実施形態および導入について示し、説明してきたが、さらに多くの実施形態および導入が本発明の範囲内にあることは明らかであるはずである。したがって、本発明は、請求項と均等物とを照らし合わせる場合を除いて、限定されるものではない。
本発明の一実施形態における符号化係数変換装置を示すブロック図である。 本発明の一実施形態における符号化係数の高速変換についての信号伝達線図を示している。 本発明の別の実施形態における符号化係数の高速変換についての信号伝達線図を示している。 本発明の一実施形態における、AVS符号化係数からWMV9符号化係数への高速変換の信号伝達線図を示している。 本発明の一実施形態における、H.264/AVC符号化係数からDCT符号化係数への高速変換の信号伝達線図を示している。 DCT符号化係数とICT符号化係数との間の高速変換を図式的に示している。 H.264/AVC符号化係数とAVS符号化係数との間の高速変換を図式的に示している。 本発明の一実施形態における、DCT符号化係数からH.264/AVC符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、DCT符号化係数からWMV9符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、AVS符号化係数からDCT符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、AVS符号化係数からH.264/AVC符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、H.264/AVC符号化係数からAVS符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、H.264/AVC符号化係数からWMV9符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、WMV9符号化係数からDCT符号化係数への変換に用いられる変換行列の係数表である。 本発明の一実施形態における、WMV9符号化係数からAVS符号化係数への変換に用いられる変換行列の係数表である。 本発明の好ましい実施形態における各種変換符号化係数の値を示している。

Claims (16)

  1. 第1の符号化係数を有するビデオ信号を第2の符号化係数を有するビデオ信号に変換する装置であって、
    前記第1の符号化係数を記憶するように設定された第1の記憶装置と、
    整数変換行列を記憶するように設定された第2の記憶装置と、
    前記第1の符号化係数および前記整数変換行列の乗算演算を行うように設定された乗算装置と、
    前記乗算演算から得られた値を加算するように設定された加算装置と、
    該加算装置から得られた値をシフトして、前記第2の符号化係数を得るよう設定されたシフト装置と
    を備え、
    前記整数変換行列は、第1の信号ベクトルと第2の信号ベクトルとの間の誤差がIEEE標準規格1180−1990の誤差要件を満たすように設定され、前記第1の信号ベクトルは、前記誤差要件に従った逆符号化を用いて前記第1の符号化係数から変換され、前記第2の信号ベクトルは、前記誤差要件に従った逆符号化を用いて前記第2の符号化係数から変換される
    ことを特徴とする装置。
  2. 請求項1に記載の装置であって、
    前記第1の符号化係数は、DCTビデオ符号化係数であり、
    前記第2の符号化係数は、ICTビデオ符号化係数である
    ことを特徴とする装置。
  3. 請求項1に記載の装置であって、
    前記第1の符号化係数は、ICTビデオ符号化係数であり、
    前記第2の符号化係数は、前記第1の符号化係数とは異なるICTビデオ符号化係数である
    ことを特徴とする装置。
  4. 請求項1に記載の装置であって、
    前記第1の符号化係数は、ICTビデオ符号化係数であり、
    前記第2の符号化係数は、DCTビデオ符号化係数である
    ことを特徴とする装置。
  5. 請求項2乃至請求項4のいずれかに記載の装置であって、
    前記ICTビデオ符号化係数は、WMV9、AVS、およびH.264/AVCの国際標準規格の1つに準拠している
    ことを特徴とする装置。
  6. 請求項5に記載の装置であって、
    前記ICTビデオ符号化係数は、8次元のICT符号化行列を構成するものであり、
    さらに、
    前記加算装置からの出力および前記シフト装置からの出力を記憶するように設定された第3の記憶装置を備えている
    ことを特徴とする装置。
  7. 請求項6に記載の装置であって、
    前記シフト装置は、前記加算装置から得られた値を、17ビット、または13ビット、または15ビット、または8ビット、または0ビット、または12ビット、または22ビット、または16ビット右にシフトする
    ことを特徴とする装置。
  8. 請求項7に記載の装置であって、
    前記第2の符号化係数は、15ビットである
    ことを特徴とする装置。
  9. 第1の符号化係数を有するビデオ信号を第2の符号化係数を有するビデオ信号に変換する方法であって、
    前記第1の符号化係数および整数変換行列を読み込むことと、
    前記第1の符号化係数に前記整数変換行列を乗算することと、
    該乗算演算から得られた値を加算することと、
    前記第2の符号化係数を得るように、前記加算演算から得られた値をシフトすることと
    を備え、
    前記整数変換行列は、第1の信号ベクトルと第2の信号ベクトルとの間の誤差がIEEE標準規格1180−1990の誤差要件を満たすように設定され、前記第1の信号ベクトルは、前記誤差要件に従った逆符号化を用いて前記第1の符号化係数から変換され、前記第2の信号ベクトルは、前記誤差要件に従った逆符号化を用いて前記第2の符号化係数から変換される
    ことを特徴とする方法。
  10. 請求項9に記載の方法であって、
    前記第1の符号化係数は、DCTビデオ符号化係数であり、
    前記第2の符号化係数は、ICTビデオ符号化係数である
    ことを特徴とする方法。
  11. 請求項9に記載の方法であって、
    前記第1の符号化係数は、ICTビデオ符号化係数であり、
    前記第2の符号化係数は、該第1の符号化係数とは異なるICTビデオ符号化係数である
    ことを特徴とする方法。
  12. 請求項9に記載の方法であって、
    前記第1の符号化係数は、ICTビデオ符号化係数であり、
    前記第2の符号化係数は、DCTビデオ符号化係数である
    ことを特徴とする方法。
  13. 請求項10乃至請求項12のいずれかに記載の方法であって、
    前記ICTビデオ符号化係数は、WMV9、AVS、およびH.264/AVCの国際標準規格の1つに準拠している
    ことを特徴とする方法。
  14. 請求項13に記載の方法であって、
    前記ICTビデオ符号化係数は、8次元のICT符号化行列を構成するものであり、
    前記シフトすることは、
    さらに、
    前記第2の符号化係数を得るように、前記加算演算から得られた値を、17ビット、または13ビット、または15ビット、または8ビット、または0ビット、または12ビット、または22ビット、または16ビット右にシフトすること
    を備えることを特徴とする方法。
  15. 請求項14に記載の方法であって、
    前記第2の符号化係数は、15ビットである
    ことを特徴とする方法。
  16. 請求項9に記載の方法であって、
    さらに、
    前記第1の符号化係数、前記整数変換行列、ならびに前記乗算することと、前記加算することと、前記シフトすることとから得られた各値を記憶すること
    を備えていることを特徴とする方法。
JP2008543638A 2005-12-08 2006-12-08 ビデオ信号の符号化係数を変換する装置および方法 Expired - Fee Related JP5086271B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200510134530.6 2005-12-08
CNB2005101345306A CN100539704C (zh) 2005-12-08 2005-12-08 视频信号的编码系数的转换装置及其方法
PCT/CN2006/003350 WO2007065378A1 (en) 2005-12-08 2006-12-08 A device and method for converting coding coefficients of video signal

Publications (2)

Publication Number Publication Date
JP2009519628A JP2009519628A (ja) 2009-05-14
JP5086271B2 true JP5086271B2 (ja) 2012-11-28

Family

ID=38122500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543638A Expired - Fee Related JP5086271B2 (ja) 2005-12-08 2006-12-08 ビデオ信号の符号化係数を変換する装置および方法

Country Status (7)

Country Link
US (1) US20080284906A1 (ja)
EP (1) EP1959690A1 (ja)
JP (1) JP5086271B2 (ja)
KR (1) KR100984620B1 (ja)
CN (1) CN100539704C (ja)
HK (1) HK1100473A1 (ja)
WO (1) WO2007065378A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045612B1 (en) 2007-01-19 2011-10-25 Marvell International Ltd. Fast inverse integer transform for video decoding
US8255445B2 (en) 2007-10-30 2012-08-28 The Chinese University Of Hong Kong Processes and apparatus for deriving order-16 integer transforms
US8102918B2 (en) 2008-04-15 2012-01-24 The Chinese University Of Hong Kong Generation of an order-2N transform from an order-N transform
US8175165B2 (en) 2008-04-15 2012-05-08 The Chinese University Of Hong Kong Methods and apparatus for deriving an order-16 integer transform
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
CN111225277A (zh) * 2018-11-27 2020-06-02 北京达佳互联信息技术有限公司 转码方法、转码装置和计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945487B2 (ja) * 1990-12-26 1999-09-06 株式会社日立製作所 行列乗算器
KR0136517B1 (ko) * 1994-06-18 1999-05-15 조백제 비트단위의 파이프라인을 이용한 웨이브렛 변환 프로세서
KR100240002B1 (ko) * 1997-03-31 2000-01-15 이준우 영상신호의 압축과 복원을 위한 이산 코사인 변환 장치
WO2001052550A1 (en) * 2000-01-12 2001-07-19 Koninklijke Philips Electronics N.V. Image data compression
US7020671B1 (en) * 2000-03-21 2006-03-28 Hitachi America, Ltd. Implementation of an inverse discrete cosine transform using single instruction multiple data instructions
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7379500B2 (en) * 2003-09-30 2008-05-27 Microsoft Corporation Low-complexity 2-power transform for image/video compression
US20050213835A1 (en) * 2004-03-18 2005-09-29 Huazhong University Of Science & Technology And Samsung Electronics Co., Ltd. Integer transform matrix selection method in video coding and related integer transform method
US20050265445A1 (en) * 2004-06-01 2005-12-01 Jun Xin Transcoding videos based on different transformation kernels

Also Published As

Publication number Publication date
HK1100473A1 (en) 2007-09-21
KR100984620B1 (ko) 2010-09-30
KR20080078878A (ko) 2008-08-28
CN100539704C (zh) 2009-09-09
CN1980396A (zh) 2007-06-13
EP1959690A1 (en) 2008-08-20
US20080284906A1 (en) 2008-11-20
WO2007065378A1 (en) 2007-06-14
JP2009519628A (ja) 2009-05-14

Similar Documents

Publication Publication Date Title
RU2336663C1 (ru) Способ и устройство кодирования и декодирования цветных изображений с помощью корреляции между составляющими сигнала цветности
JP4650461B2 (ja) 符号化装置、符号化方法、プログラム、及び記録媒体
JP3132456B2 (ja) 階層的画像符号化方式、及び階層的画像復号方式
TWI382767B (zh) 反向離散餘弦轉換計算中之誤差減少
JP5086271B2 (ja) ビデオ信号の符号化係数を変換する装置および方法
US8401073B2 (en) Inverse quantization circuit, inverse quantization method and image reproducing apparatus
CN103650490B (zh) 用于运动补偿预测的方法和设备
CN102804779A (zh) 图像处理装置和方法
WO2006098226A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP2002531973A (ja) 画像の圧縮及び伸張
CN107637078A (zh) 视频译码系统和方法中的残差变换和逆向变换
JP2019071697A (ja) データ符号化及び復号化
KR100818921B1 (ko) 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더
JP2012104926A (ja) 量子化パラメータ制御装置、量子化パラメータ制御方法、及びプログラム
JP5586061B2 (ja) 色コンポーネント間予測型画像符号化装置および復号装置
TWI825751B (zh) 視訊編碼方法和裝置
KR20100074272A (ko) 높은 코딩 효율을 갖는 적응 이미지 필터의 고정 소수점 구현
JP4847460B2 (ja) 画像内挿方法及び画素内挿装置
WO2010007719A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
US20070297517A1 (en) Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods
CN111953972A (zh) IBC模式下的Hash表构建方法、装置、设备
JP5872929B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN101616328B (zh) 视频信号的编码系数的转换装置及其方法
CN114531600B (zh) 变换单元、现场可编程门阵列、芯片、电子设备、片上系统
JP2005151167A (ja) 動き補償予測符号化装置及び動き補償予測符号化プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees