JP4979324B2 - マルチコーデック用のフィルタリング装置、方法、及び記録媒体 - Google Patents

マルチコーデック用のフィルタリング装置、方法、及び記録媒体 Download PDF

Info

Publication number
JP4979324B2
JP4979324B2 JP2006269571A JP2006269571A JP4979324B2 JP 4979324 B2 JP4979324 B2 JP 4979324B2 JP 2006269571 A JP2006269571 A JP 2006269571A JP 2006269571 A JP2006269571 A JP 2006269571A JP 4979324 B2 JP4979324 B2 JP 4979324B2
Authority
JP
Japan
Prior art keywords
filtering
strength
block strength
compression format
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006269571A
Other languages
English (en)
Other versions
JP2007104672A (ja
Inventor
相 祚 李
時 和 李
宰 成 朴
惠 ▲よん▼ 金
志 勳 金
惠 然 鄭
斗 ▲ひょん▼ 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007104672A publication Critical patent/JP2007104672A/ja
Application granted granted Critical
Publication of JP4979324B2 publication Critical patent/JP4979324B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001Technical content checked by a classifier
    • H01L2924/0002Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、映像復号化処理に係り、マルチフォーマットコーデックを具現するために、各映像圧縮フォーマットに共通に使われてフィルタリング処理を行うことができるマルチコーデック用のフィルタリング装置、方法、及び記録媒体に関する。
映像圧縮アルゴリズム、すなわち、映像圧縮フォーマットは、Windows(登録商標)Media Video 9 (WMV-9) codec and H.264 codec (a digital video codec industry standard established by Video Coding Experts Group and Moving Pictures Expert Group)など多様であり、それによって細部的な符号化/復号化アルゴリズムが変わる。このような映像圧縮フォーマットによる復号化アルゴリズムは、受信されたビットストリームから動きベクトルを抽出し、以前に復元されたフレームである参照フレームと前記抽出された動きベクトルとを利用して現在の予測フレームを生成し、前記生成された予測フレームと前記ビットストリームに含まれた残留データとを利用して、現在フレームを復元する方法が一般的である。
この時、復号化過程により再生されるデジタル映像では、視覚的にブロックの境界線が区別されて見える現象が発生する。このような現象をブロッキング現象と言い、ブロッキング現象を除去するためにループフィルタが使われる。すなわち、ループフィルタは、ブロッキング現象を除去(デブロッキング)するためにコーデック(codec:コーダ/デコーダ)の復号化ループ内に挿入されたフィルタである。現在、要求されるマルチコーデック復号化器、すなわち、WMV−9、H.264などを支援する復号化器において、前記それぞれの映像圧縮フォーマットによる別途のフィルタリングを行う方法を開発することは、そのための期間及びコストが増加するという問題点がある。したがって、多様な映像圧縮フォーマットに共通されたフィルタリング方法を開発して、開発期間の短縮及び全体コストを改善する必要性がある
本発明が達成しようとする技術的課題は、マルチフォーマットコーデックを具現するために、各映像圧縮フォーマットに共通に使われてフィルタリング処理を行うことができるマルチコーデック用のフィルタリング装置及び方法を提供するところにある。
前記技術的課題を達成するための本発明によるマルチコーデック用のフィルタリング装置は、復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング装置であって、前記復号化された映像データの映像圧縮フォーマットを検出する圧縮フォーマット検出部と、検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、検出された映像圧縮フォーマットがH.264でない場合、前記ブロック強度をH.264のブロック強度とは異なる正数の値に決定するブロック強度決定部と、前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定するテーブル決定部と、前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データに対してブロック単位でフィルタリングを行う第1フィルタリング部を備えることを特徴とする。
前記ブロック強度決定部は、検出された映像圧縮フォーマットがH.264である場合、ブロック強度を4または4未満と決定し、前記フィルタリング装置は、前記ブロック強度が4未満である場合、H.264で規定された所定のフィルタリングを行う第2フィルタリング部をさらに備えうる。
前記第1フィルタリング部は、所定のフィルタリングテーブルを保存しているテーブル保存部と、前記テーブル決定部で決定されたテーブル情報に該当するフィルタリングテーブルを前記テーブル保存部で読み出して、フィルタリングしようとする入力データとマトリックス演算するマトリックス演算部と、前記マトリックス演算されたデータに所定値を加算するラウンディング制御部と、前記ラウンディング制御部の結果値に対して所定のビットだけシフトするシフト演算部とを備えうる。
映像圧縮フォーマットがH.264である場合、前記ラウンディング制御部で加算される所定値は4であり、前記シフト演算部でシフトされるビット数は3であることが望ましい。
前記フィルタリングテーブルは、8x8のサイズを有するマトリックス形態からなることが望ましい。
検出されたビデオ圧縮フォーマットがWMV−9であれば、ブロック強度決定部は、ブロックの強度を5と決定する。
前記技術的課題を達成するための本発明によるマルチコーデック用のフィルタリング方法は、復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング方法であって、(a)前記復号化された映像データの映像圧縮フォーマットを検出する段階と、(b)検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、検出された映像圧縮フォーマットがH.264でない場合、前記ブロック強度をH.264のブロック強度とは異なる正数の値に決定する段階と、(c)前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定する段階と、(d)前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データにブロック単位でフィルタリングを行う段階とを含むことを特徴とする。
前記他の技術的課題を達成するための本発明によるマルチコーデック用のフィルタリング装置は、前記復号化された映像データの映像圧縮フォーマットを検出する圧縮フォーマット検出部と、検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、前記圧縮フォーマットがH.264でない場合、前記ブロック強度を4より大きい正数に決定するブロック強度決定部と、前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定するテーブル決定部とを備えることを特徴とする。
前記装置は、前記復号化された映像データをデブロックするためのブロック強度が4以上であれば、前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データに対してブロック単位でフィルタリングを行う第1フィルタリング部をさらに備えうる。
前記第1フィルタリング部は、所定のフィルタリングテーブルを保存しているテーブル保存部と、前記テーブル決定部で決定されたテーブル情報に該当するフィルタリングテーブルを前記テーブル保存部で読み出して、フィルタリングしようとする入力データとマトリックス演算するマトリックス演算部と、前記マトリックス演算されたデータに所定値を加算するラウンディング制御部と、前記ラウンディング制御部の結果値に対して所定のビットだけシフトするシフト演算部とを備えることを特徴とする。
前記さらに他の技術的課題を達成するための本発明によるマルチコーデック用のフィルタリング方法は、前記復号化された映像データの映像圧縮フォーマットを検出する段階と、検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、前記圧縮フォーマットがH.264でない場合、前記ブロック強度を4より大きい正数に決定する段階と、前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定する段階とを含むことを特徴とする。
前記方法は、前記復号化された映像データをデブロックするためのブロック強度が4未満であれば、H.264で規定された所定のフィルタリングを行う段階をさらに含みうる。
本発明によれば、H.264及びWMV−9の映像圧縮フォーマットによって符号化された映像データに対して共通にフィルタリング演算を行うことができる共通モジュールを導き出すことによって、ハードウェアのロジックサイズまたはソフトウェアのコードサイズを縮小させることができる。また、H.264及びWMV−9に共通したフィルタリング方法を導き出すことによって、開発期間の短縮及び全体コストを低減できる。
以下、添付図面を参照して、本発明によるマルチコーデック用のフィルタリング装置及び方法の望ましい実施形態を説明する。
図1は、一般的な映像復号化器の概略的な構成を示すブロック図であって、映像復号化器は、エントロピー復号化部110、逆変換部120、予測及び補償部130、及びフィルタリング部140を備えてなる。
エントロピー復号化部110は、入力されるビットストリームIN1をエントロピー復号化して、量子化係数及び各種パラメータ値を復元する。逆変換部120は、量子化係数パラメータを逆量子化し、逆整数変換、IDCT(インバースディスクリートコサイントランスフォーム)のような逆空間変換を行う。予測及び補償部130は、インターモードまたはイントラモードで時空間予測、補償して映像を復元する。この時、復元された映像には、ブロック間の境界地点でブロック単位で画面の差、すなわちブロッキング現象が発生する。フィルタリング部140は、復元された映像に対してフィルタリングを行うことによって、デブロッキングしてフィルタリングされた映像データOUT1を出力する。ブロッキング現象は、一定のサイズのブロック単位で圧縮されて発生したので、フィルタリング部140のエッジフィルタリングもマクロブロック単位で行われる。
次に、H.264及びWMV−9のフィルタリング順序について説明する。
図2は、H.264で一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。図2を参照するに、H.264では、4x4ブロック単位でフィルタリングが行われ、1、2、3、4の順に垂直境界に対してフィルタリングを行った後、水平境界に対してフィルタリングを行う。
図3A及び図3Bは、輝度成分及び彩度成分に対して一つのマクロブロック内の各エッジのフィルタリング順序をそれぞれ示す。図3A及び図3Bを参照するに、一つのマクロブロックに対するフィルタリング演算は、マクロブロックを構成するピクセルの輝度成分と彩度成分とに対してそれぞれ行われ、図3Aは、輝度成分のフィルタリング境界領域を示し、図3Bは、彩度成分のフィルタリング境界領域を示す。輝度成分のフィルタリング演算は、垂直境界に対してa、b、c、dの順にフィルタリングを行い、その後、水平境界に対してe、f、g、hの順にフィルタリングを行う。また、彩度成分のフィルタリング演算は、垂直境界に対してi、j順にフィルタリングを行い、その後、水平境界に対してk、l順にフィルタリングを行う。一般的に、輝度成分のフィルタリング演算が先に行われ、その後に彩度成分のフィルタリング演算が行われる。
図4A及び図4Bは、フィルタリングするときの垂直境界領域及び水平境界領域でのピクセルの位置をそれぞれ示す。図4A及び図4Bを参照するに、フィルタリング演算を行うためには、各境界領域を中心にそれぞれ4個のピクセルが必要である。すなわち、フィルタリング演算のためには、垂直境界ピクセルに対して左側に4個のピクセルp3、p2、p1、p0、右側に4個のピクセルq0、q2、q3、q4がそれぞれ必要であり、水平境界に対しては、上側に4個のピクセルp3、p2、p1、p0、下側に4個のピクセルq0、q2、q3、q4がそれぞれ必要であり、隣接する4x4サイズのブロックが属するマクロブロックで使用する量子化パラメータ、隣接クロックの符号化モード、動きベクトルなどによって修正されるピクセル数及び適用されるフィルタリング強度が変わる。
図5は、WMV−9における一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。図5を参照するに、WMV−9では、8x8ブロック単位でフィルタリングが行われ、順次に垂直境界に対してフィルタリングを行った後、水平境界に対してフィルタリングを行う。WMV−9では、イントラモードで符号化されたブロックのブロック境界に対してのみフィルタリングを行い、ピクチャレベル量子化ステップサイズ(Picture Level Quantization Step Size)(PQUANT)パラメータが9以上である場合にのみフィルタリングを行う。
次に、本発明によるマルチコーデック用のフィルタリング装置の一実施形態を説明する。
図6は、本発明の一実施形態によってマルチコーデック用のフィルタリング装置の構成を示すブロック図である。図6を参照するに、マルチコーデック用のフィルタリング装置600は、圧縮フォーマット検出部610、ブロック強度決定部620、テーブル決定部630、第1フィルタリング部640、及び第2フィルタリング部650を備えてなる。
マルチコーデック用のフィルタリング装置600に入力されるデータのうちIN2は、各種パラメータ値を含むデータを示し、IN3は、復元された映像データを示す。
圧縮フォーマット検出部610は、映像データの映像圧縮フォーマットを検出する。圧縮フォーマット検出部610は、データIN2から映像データの映像圧縮フォーマットを表すパラメータCodec_typeを確認することによって、映像圧縮フォーマットがH.264であるか、またはWMV−9であるかを検出できる。本発明の一実施形態では、映像圧縮フォーマットをH.264またはWMV−9としたが、これに限定されず、他の映像圧縮フォーマットであってもよい。
さらに、本発明の一実施形態では、2つの異なる圧縮フォーマットのうち一つを検出することを議論したが、本発明の他の一実施形態では、2つの異なる圧縮フォーマット以上、すなわち多くの異なる圧縮フォーマットのうち、一つの圧縮フォーマットを検出する方法が利用されることもある。
ブロック強度決定部620は、検出された映像圧縮フォーマットによって、前記入力されるデータに対するフィルタリングの強度を示すブロック強度を決定する。
ブロック強度は、H.264で使われるものであって、境界強度とも言い、通常BSと言う。BSは、2つのブロックの予測モード及び動きの差、符号化された残余分の存在如何によって変わる。
表1は、BSパラメータを示す。
Figure 0004979324
表1において、条件は、上から下まで順次に判断し、そのときの条件に該当する値がBSと決定される。BSが0というのは、フィルタリングをしないということを意味する。
ブロック強度決定部620でBSが4未満であると決定された場合、第2フィルタリング部650でH.264固有のフィルタリングを行う。
ブロック強度決定部620は、映像圧縮フォーマットがWMV−9である場合にH.264と区別するためにブロック強度を5と決定する。
テーブル決定部630は、前記ブロック強度が所定の閾値以上である場合、前記ブロック強度によってフィルタリングテーブルを異なって決定する。
映像圧縮フォーマットがH.264である場合、BSが4に対して、次の条件を満たすか否かによって、4個のモードに対してそれぞれフィルタリングテーブルを決定する。このような条件を満たすか否かによる4個のモードの区別は、H.264
AVC標準に記載されている。第1条件は、下記の式(1)のとおりである。
Figure 0004979324

ここで、ABSは、絶対値を示す演算子であり、α、βは、H.264
AVC標準で定義された閾値であって、2つのブロックp及びqの量子化パラメータ(Quantization Parameter:QP)の平均に伴って増加する。aは、下記の式(2)のとおりである。
Figure 0004979324


第2条件は、下記の式(3)のとおりである。
Figure 0004979324

ここで、aは、下記の式(4)のとおりである。
Figure 0004979324

第1条件と第2条件との組合わせによって4個のモードに区分される。
第1フィルタリング部640は、決定されたフィルタリングテーブルを利用して、前記復号化された映像データIN3に対してブロック単位でフィルタリングを行う。第1フィルタリング部640で行われるフィルタリング演算は、下記の式(5)のとおりである。
Figure 0004979324

ここで、Out及びInは、それぞれ8x8サイズのマトリックスであり、Tは、フィルタリングテーブルであり、Rは、ラウンディング値を持つマトリックスである。
H.264でのBSが4である場合、前記第1条件及び第2条件によって4個のモードに区分されることから、4個のモードによるフィルタリングテーブルTは、8x8のサイズを有するマトリックス形態からなる。
第1条件と第2条件とをいずれも満たすモード0に対するフィルタリングテーブルTは、次の通りである。
Figure 0004979324

第1条件は満たすが、第2条件を満たしていないモード1に対するフィルタリングテーブルTは、次の通りである。
Figure 0004979324

第1条件は満たしていないが、第2条件を満たすモード2に対するフィルタリングテーブルTは、次の通りである。
Figure 0004979324

第1条件と第2条件とをいずれも満たしていないモード3に対するフィルタリングテーブルTは、次の通りである。
Figure 0004979324

もし、前記映像圧縮フォーマットがWMV−9であれば、BSは5であり、フィルタリングテーブルTが使われる。WMV−9に対するフィルタリングテーブルTは、次の通りである。
Figure 0004979324

第2フィルタリング部650は、BSが4未満である場合にH.264固有のフィルタリングを行う。BSが4未満である場合のH.264固有のフィルタリングは、H.264 AVC標準によって行われる。
図7は、第1フィルタリング部640の細部的な構成を示すブロック図である。図7を参照するに、第1フィルタリング部640は、テーブル保存部710、マトリックス演算部720、ラウンディング制御部730、及びシフト演算部740を備えてなる。
テーブル保存部710は、H.264でBSが4である場合及びWMV−9に該当する場合のフィルタリングテーブルを保存している。テーブル保存部710は、テーブル決定部630からのテーブル情報IN4に対応するフィルタリングテーブルをマトリックス演算部720に出力する。
マトリックス演算部720は、テーブル決定部630で決定されたテーブル情報に該当するフィルタリングテーブルを前記テーブル保存部710で読み出して、フィルタリングしようとする入力データIN5とマトリックス演算する。
ラウンディング制御部730は、マトリックス演算されたデータに所定値を加算する。前記式(5)でRがこれに該当し、H.264でBSが4である場合、所定値は4である。WMV−9では、所定値は3と4が交互に加算される。
シフト演算部740は、ラウンディング制御部730の結果値に対して所定のビットだけシフトする。前記式(5)に表したように、所定のビットは3である。シフト演算部740でのシフト演算の結果としてフィルタリングされたデータOUT3が出力される。
図8A及び図8Bは、H.264及びWMV−9におけるフィルタリング領域をそれぞれ示す図である。図8Aを参照するに、H.264でBSが4である場合、a、b、c、d領域に対して8x8サイズのブロック単位でフィルタリングが行われる。図8Bを参照するに、WMV−9では、a、b、c、d、e、f、g、h領域に対して8x8サイズのブロック単位でフィルタリングが行われる。H.264及びWMV−9のいずれも垂直境界に対してフィルタリングが行われた後、水平境界に対してフィルタリングが行われる。
図9は、本発明の一実施形態によるマルチコーデック用のフィルタリング方法を示すフローチャートである。図9を参照するに、復号化された映像データの映像圧縮フォーマットを検出して、映像圧縮フォーマットがH.264であるか否かを判定する(910段階)。映像圧縮フォーマットがH.264であれば、両ブロックp、qの予測モード及び動きの差、符号化された残余分の存在有無によってブロック強度BSを決定する(920段階)。BSが4であるか、または4未満であるかを判定する(930段階)。BSが4未満であれば、H.264固有フィルタリングを行う(940段階)。BSが4であれば、970段階に進行して、フィルタリングテーブルによって共通フィルタリングを行う。
910段階で映像圧縮フォーマットがH.264でなければ、映像圧縮フォーマットがWMV−9であるか否かを判定する(950段階)。映像圧縮フォーマットがWMV−9であれば、入力されるデータからシーケンスパラメータのうち一つであるLOOPFILTERが1に設定されているか可否を判定する(960段階)。LOOPFILTERパラメータは、WMV−9の映像データに対するフィルタリング如何を表すパラメータである。LOOPFILTERパラメータが1に設定されていれば、フィルタリングテーブルによって共通フィルタリングを行う(970段階)。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読取られるデータが保存されるすべての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、また、キャリアウェーブ(例えば、インターネットを介した伝送)の形態に具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されかつ実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。
以上、図面と明細書とで最良の実施形態が開示された。ここで、特定の用語が使用されたが、これは、単に本発明を説明するための目的で使用されたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。したがって、当業者であれば、これから多様な変形及び均等な他の実施形態が可能である。ということが理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により決定されなければならない。
本発明は、映像処理装置関連の技術分野に好適に用いられる。
一般的な映像復号化器の概略的な構成を示すブロック図である。 H.264で一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。 H.264で輝度成分に対して一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。 H.264で彩度成分に対して一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。 フィルタリングのときに垂直境界領域でのピクセルの位置を示す図である。 フィルタリングのときに水平境界領域でのピクセルの位置を示す図である。 WMV−9で一つのマクロブロック内の各エッジのフィルタリング順序を示す図である。 本発明の一実施形態によるマルチコーデック用のフィルタリング装置の構成を示すブロック図である。 図6における第1フィルタリング部の詳細な構成を示すブロック図である。 H.264におけるフィルタリング領域を示す図である。 WMV−9におけるフィルタリング領域を示す図である。 本発明の一実施形態によるマルチコーデック用のフィルタリング方法を示すフローチャートである。
符号の説明
600 マルチコーデック用のフィルタリング装置
610 圧縮フォーマット検出部
620 ブロック強度決定部
630 テーブル決定部
640 第1フィルタリング部
650 第2フィルタリング部
710 テーブル保存部
720 マトリックス演算部
730 ラウンディング制御部
740 シフト演算部

Claims (14)

  1. 復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング装置であって、
    前記復号化された映像データの映像圧縮フォーマットを検出する圧縮フォーマット検出部と、
    検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、検出された映像圧縮フォーマットがH.264でない場合、前記ブロック強度をH.264のブロック強度とは異なる正数の値に決定するブロック強度決定部と、
    前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定するテーブル決定部と、
    前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データに対してブロック単位でフィルタリングを行う第1フィルタリング部と、
    前記ブロック強度が4未満である場合、H.264で規定された所定のフィルタリングを行う第2フィルタリング部とを備えることを特徴とするマルチコーデック用のフィルタリング装置。
  2. 前記第1フィルタリング部は、
    所定のフィルタリングテーブルを保存しているテーブル保存部と、
    前記テーブル決定部で決定されたテーブル情報に該当するフィルタリングテーブルを前記テーブル保存部で読み出して、フィルタリングしようとする入力データとマトリックス演算するマトリックス演算部と、
    前記マトリックス演算されたデータに所定値を加算するラウンディング制御部と、
    前記ラウンディング制御部の結果値に対して所定のビットだけシフトするシフト演算部とを備えることを特徴とする請求項1に記載のマルチコーデック用のフィルタリング装置。
  3. 映像圧縮フォーマットがH.264である場合、前記ラウンディング制御部で加算される所定値は4であり、前記シフト演算部でシフトされるビット数は3であることを特徴とする請求項2に記載のマルチコーデック用のフィルタリング装置。
  4. 前記フィルタリングテーブルは、
    8x8のサイズを有するマトリックス形態からなることを特徴とする請求項2に記載のマルチコーデック用のフィルタリング装置。
  5. 前記ブロック強度決定部は、検出されたビデオ圧縮フォーマットがWMV−9であれば、ブロック強度を5と決定することを特徴とする請求項1に記載のマルチコーデック用のフィルタリング装置。
  6. 復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング装置であって、
    前記復号化された映像データの映像圧縮フォーマットを検出する圧縮フォーマット検出部と、
    検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、前記圧縮フォーマットがH.264でない場合、前記ブロック強度を4より大きい正数に決定するブロック強度決定部と、
    前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定するテーブル決定部と、を備えることを特徴とするマルチコーデック用装置。
  7. 前記ブロック強度が4以上であれば、前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データに対してブロック単位でフィルタリングを行う第1フィルタリング部と、
    前記ブロック強度が4未満であれば、H.264で規定された所定のフィルタリングを行う第2フィルタリング部をさらに備えることを特徴とする請求項6に記載のマルチコーデック用装置。
  8. 前記第1フィルタリング部は、所定のフィルタリングテーブルを保存しているテーブル保存部と、
    前記テーブル決定部で決定されたテーブル情報に該当するフィルタリングテーブルを前記テーブル保存部で読み出して、フィルタリングしようとする入力データとマトリックス演算するマトリックス演算部と、
    前記マトリックス演算されたデータに所定値を加算するラウンディング制御部と、
    前記ラウンディング制御部の結果値に対して所定のビットだけシフトするシフト演算部とを備えることを特徴とする請求項7に記載のマルチコーデック用のフィルタリング装置。
  9. 復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング方法であって、
    (a)前記復号化された映像データの映像圧縮フォーマットを検出する段階と、
    (b)検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、検出された映像圧縮フォーマットがH.264でない場合、前記ブロック強度をH.264のブロック強度とは異なる正数の値に決定する段階と、
    (c) 前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定する段階と、
    (d)前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データにブロック単位でフィルタリングを行う段階と、
    (e)前記ブロック強度が4未満である場合、H.264で規定された所定のフィルタリングを行う段階とを含むことを特徴とするマルチコーデック用のフィルタリング方法。
  10. 前記(d)段階は、
    前記決定されたテーブル情報に該当するテーブルをフィルタリングしようとする入力データとマトリックス演算する段階と、
    前記マトリックス演算されたデータに所定値を加算する段階と、
    前記ラウンディング結果値に対して所定のビットだけシフトする段階と、を含むことを特徴とする請求項9に記載のマルチコーデック用のフィルタリング方法。
  11. 前記フィルタリングテーブルは、
    8x8のサイズを有するマトリックス形態からなることを特徴とする請求項10に記載のマルチコーデック用のフィルタリング方法。
  12. 復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体であって、
    (a)前記復号化された映像データの映像圧縮フォーマットを検出する段階と、
    (b)検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、検出された映像圧縮フォーマットがH.264でない場合、前記ブロック強度をH.264のブロック強度とは異なる正数の値に決定する段階と、
    (c) 前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定する段階と、
    (d)前記決定されたフィルタリングテーブルを利用して、前記復号化された映像データにブロック単位でフィルタリングを行う段階と、
    (e)前記ブロック強度が4未満である場合、H.264で規定された所定のフィルタリングを行う段階と、を含むマルチコーデック用のフィルタリング方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
  13. 復号化された映像データのブロックキング現象を除去するマルチコーデック用のフィルタリング方法であって、
    前記復号化された映像データの映像圧縮フォーマットを検出する段階と、
    検出された映像圧縮フォーマットがH.264である場合、前記復号化された映像データに対するフィルタリングの強度を示し、H.264では境界強度と呼ばれるブロック強度を0〜4のいずれかに決定し、前記圧縮フォーマットがH.264でない場合、前記ブロック強度を4より大きい正数に決定する段階と、
    前記ブロック強度が4である場合、H.264に規定された所定の条件を満たすかどうかによって区分されたモードに基づきフィルタリングテーブルを決定し、前記ブロック強度が5以上である場合、H.264のフィルタリングテーブルとは異なるフィルタリングテーブルに決定する段階とを含むことを特徴とするマルチコーデック用のフィルタリング方法。
  14. 前記ブロック強度が4以上であれば、前記決定されたフィルタリングテーブルを用いて前記復号化された映像データに対してブロック単位でフィルタリングを行い、
    前記ブロック強度が4未満であれば、H.264で規定された所定のフィルタリングを行う段階をさらに含むことを特徴とする請求項13に記載のマルチコーデック用のフィルタリング方法。
JP2006269571A 2005-10-04 2006-09-29 マルチコーデック用のフィルタリング装置、方法、及び記録媒体 Expired - Fee Related JP4979324B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2005-0093118 2005-10-04
KR20050093118A KR100668346B1 (ko) 2005-10-04 2005-10-04 멀티 코덱용 필터링 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011275672A Division JP4995344B2 (ja) 2005-10-04 2011-12-16 フィルタリング装置

Publications (2)

Publication Number Publication Date
JP2007104672A JP2007104672A (ja) 2007-04-19
JP4979324B2 true JP4979324B2 (ja) 2012-07-18

Family

ID=37809484

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006269571A Expired - Fee Related JP4979324B2 (ja) 2005-10-04 2006-09-29 マルチコーデック用のフィルタリング装置、方法、及び記録媒体
JP2011275672A Expired - Fee Related JP4995344B2 (ja) 2005-10-04 2011-12-16 フィルタリング装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011275672A Expired - Fee Related JP4995344B2 (ja) 2005-10-04 2011-12-16 フィルタリング装置

Country Status (4)

Country Link
US (1) US9172977B2 (ja)
EP (1) EP1777967B1 (ja)
JP (2) JP4979324B2 (ja)
KR (1) KR100668346B1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101065546B1 (ko) * 2005-12-09 2011-09-19 엔비디아 코포레이션 하드웨어 다중 표준 비디오 디코더 장치
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
KR20100103822A (ko) * 2008-01-14 2010-09-28 톰슨 라이센싱 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
CN101964907B (zh) * 2009-07-22 2012-12-26 晨星软件研发(深圳)有限公司 一种去区块装置及方法
KR101073150B1 (ko) 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
KR101438471B1 (ko) 2011-01-03 2014-09-16 미디어텍 인크. 필터 유닛 기반 인-루프 필터링 방법
US8743967B2 (en) * 2011-03-09 2014-06-03 Vixs Systems, Inc. Multi-format video decoder with vector processing instructions and methods for use therewith
US9025675B2 (en) * 2011-06-22 2015-05-05 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
CN105681814B (zh) * 2014-11-21 2019-03-29 联想(北京)有限公司 一种去块效应滤波方式的确定方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08228353A (ja) 1995-02-21 1996-09-03 Nec Corp 動画像符号化用動き補償回路
JP2985763B2 (ja) 1995-03-22 1999-12-06 凸版印刷株式会社 多層導電膜、並びにこれを用いた透明電極板および液晶表示装置
KR100290851B1 (ko) 1999-03-27 2001-05-15 구자홍 디지털 티브이의 영상 처리 장치
JP2003152546A (ja) 2001-11-15 2003-05-23 Matsushita Electric Ind Co Ltd マルチフォーマットストリーム復号化装置及びマルチフォーマットストリーム送出装置
EP1351512A3 (en) 2002-04-01 2005-08-03 Broadcom Corporation Video decoding system supporting multiple standards
CN100358366C (zh) 2002-07-11 2007-12-26 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
EP1570647A1 (en) * 2002-12-04 2005-09-07 Koninklijke Philips Electronics N.V. Method and apparatus for selecting particular decoder based on bitstream format detection
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7457362B2 (en) * 2003-10-24 2008-11-25 Texas Instruments Incorporated Loop deblock filtering of block coded video in a very long instruction word processor
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
US7725691B2 (en) * 2005-01-28 2010-05-25 Analog Devices, Inc. Method and apparatus for accelerating processing of a non-sequential instruction stream on a processor with multiple compute units

Also Published As

Publication number Publication date
JP2012090321A (ja) 2012-05-10
JP2007104672A (ja) 2007-04-19
US20070076797A1 (en) 2007-04-05
KR100668346B1 (ko) 2007-01-12
EP1777967A1 (en) 2007-04-25
EP1777967B1 (en) 2014-05-21
US9172977B2 (en) 2015-10-27
JP4995344B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4995344B2 (ja) フィルタリング装置
CN101014130B (zh) 基于边界强度的自适应过滤
JP6165172B2 (ja) 動画データを復号する方法、プログラム、装置
JP5128794B2 (ja) 映像のイントラ予測符号化及び復号化方法、並びに装置
US20150016516A1 (en) Method for intra prediction improvements for oblique modes in video coding
US20040179610A1 (en) Apparatus and method employing a configurable reference and loop filter for efficient video coding
CN116233422A (zh) 基于自适应像素分类基准的环路滤波方法
KR100727990B1 (ko) 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
KR20190083948A (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
GB2531004A (en) Residual colour transform signalled at sequence level for specific coding modes
JP2007300676A (ja) デジタル画像をフィルタリングする方法およびフィルタリング装置
WO2011136896A1 (en) Boundary adaptive intra prediction for improving subjective video quality
US7043092B1 (en) Video decoding device and method using a deblocking filtering step
EP3490253A1 (en) Encoding and decoding methods and corresponding devices
CN112956194A (zh) 图像信号编码/解码方法及其设备
JP2023090929A (ja) ビデオ復号化方法、ビデオ復号化装置及び記憶媒体
KR100644618B1 (ko) 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
TW202325024A (zh) 影像處理裝置、及影像處理方法
JP2006270851A (ja) 画像符号化装置及び画像復号装置
JP2005311512A (ja) エラーコンシールメント方法及び復号器
US20070223591A1 (en) Frame Deblocking in Video Processing Systems
KR20140138537A (ko) 픽셀블록 필터링 방법 및 장치
CN117676139A (zh) 视频编解码中变换系数的编解码
EP3525461A1 (en) Adaptive loop filtering
JP2006295734A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110816

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees