JP4886985B2 - クロマ・デブロッキングのための方法およびビデオコーデック - Google Patents

クロマ・デブロッキングのための方法およびビデオコーデック Download PDF

Info

Publication number
JP4886985B2
JP4886985B2 JP2004502606A JP2004502606A JP4886985B2 JP 4886985 B2 JP4886985 B2 JP 4886985B2 JP 2004502606 A JP2004502606 A JP 2004502606A JP 2004502606 A JP2004502606 A JP 2004502606A JP 4886985 B2 JP4886985 B2 JP 4886985B2
Authority
JP
Japan
Prior art keywords
pixels
filter
chroma
block
mathematical difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004502606A
Other languages
English (en)
Other versions
JP2005524346A5 (ja
JP2005524346A (ja
Inventor
ゴミラ,クリステイナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005524346A publication Critical patent/JP2005524346A/ja
Publication of JP2005524346A5 publication Critical patent/JP2005524346A5/ja
Application granted granted Critical
Publication of JP4886985B2 publication Critical patent/JP4886985B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Description

(関連出願とのクロスリファレンス)
本出願は、2002年7月2日付で出願された「簡略化されたクロマ・デブロッキング・フィルタ(Simplified Chroma Deblocking Filter)」と題された米国仮出願第60/393328号の利益を主張するものであり、その開示内容全体を本明細書中に盛り込むものとする。更に、本出願は、2002年5月1日付で出願された「画素の輝度に基づくデブロッキングの簡略化(Deblocking Filter Simplification Based On Pixel Brightness)」と題された米国仮出願第60/377061号の利益を主張するものである。
本発明は、ビデオ・エンコーダおよびビデオ・デコーダ(エンコーダおよびデコーダをまとめてコーデック(CODEC)と呼ぶ)に関し、特に、デブロッキング・フィルタを有するビデオ・コーデックに関する。
一般に、ビデオ・データは、ビットストリームの形式で処理され、転送される。一般に、ビデオ・エンコーダ(encoder:符号器)は、生データを圧縮するために、離散コサイン変換(DCT:Discrete Cosine Transform)等のブロック変換符号化を行う。一般に、このビデオ・エンコーダに対応するビデオ・デコーダ(decoder:復号器)は、例えば、逆離散コサイン変換(IDCT)等を行うことにより、ブロック変換を行ってエンコード(符号化)されたビットストリーム・データをデコード(復号化)する。
デブロッキング(deblocking filter:非ブロック化)フィルタは、ブロックをベースとするディジタル・ビデオ圧縮システムと共に使用されることが多い。デブロッキング・フィルタを圧縮ループ内でかけ、このフィルタをエンコーダとデコーダと双方でかけるようにしてもよい。また、デブロッキング・フィルタを圧縮ループの後、デコーダのみでかけるようにしてもよい。
通常、デブロッキング・フィルタは、低域通過フィルタをブロック変換符号化(例えば
、DCT)および量子化が行われたブロックのエッジ境界(edge transition)にかけることにより行われる。デブロッキング・フィルタは、伸長された映像に存在する「ブロック歪(blockiness:濃淡のむら)」として知られるネガティブな視覚的影響を低減させることができるが、一般に、ビデオ・デコーダおよび/またはビデオ・エンコーダにおいて多量の複雑な計算を行うことが必要となる。従って、ブロックをベースとするディジタル・ビデオ圧縮コーデックにおける計算量を低減させることが望ましい。
(発明の概要)
従来技術のこれらの欠点や短所、また、その他の欠点や短所を解決するべく、クロマ・デブロッキング・フィルタのためのシステムおよび方法が提供される。
ブロック変換を用いて処理された画素データのデブロッキングのためのエンコーダ、デ
コーダ、およびこれらに対応する方法が開示される。エンコーダは、予め選択されたクロ
・レベルの間の数学的差分が閾値よりも大きい場合のブロック境界のみにフィルタをかける条件付きデブロッキング・フィルタを備えている。デコーダは、予め選択されたクロマ・レベルの間の数学的差分が閾値よりも大きい場合のブロック境界のみにフィルタをかける条件付きデブロッキング・フィルタを備えている。
これらに対応するデブロッキングのための方法は、ブロック境界の各側に1つずつ存在する2つの画素のクロマ・レベルを示す信号を受信するステップと、両者のクロマ・レベルの間の数学的差分を計算するステップと、この数学的差分を閾値と比較するステップと、比較に応答して、前記数学的差分が前記少なくとも1つの閾値よりも大きい場合にブロック境界における画素と、この画素に隣接する画素に条件付きフィルタをかけるステップとを含んでいる。
本発明のこれらの態様、特徴、および利点、また、その他の態様、特徴、および利点は、添付図面を参照しながら例示的な実施の形態についての以下の説明を読むことにより理解できるであろう。
本発明は、例示的な図面に従ったクロマ・デブロッキング・フィルタを包含するものである。
一般に、デブロッキング・フィルタを実行するためには、ビデオ・デコーダおよび/またはビデオ・エンコーダにおいて多量の複雑な計算を行うことが必要となる。特定のエッジ境界(edge transition)にフィルタをかけるかどうかを決定すること、また、このフィルタ処理を実行するためにどのような特定のフィルタが使用されるかということは、それぞれ、計算の複雑さや、視覚的に感じられる品質に対して大きな影響を与えるものである。
ブロックをベースとするディジタル・ビデオ圧縮システムにおけるデブロッキング・フ
ィルタの実行は、境界(transition)における画素間のクロマ差の測度に基づいてブロック境界に低域通過(ローパス)フィルタまたはデブロッキング・フィルタをかけるかどうかを決定することにより簡略化する。従って、境界にデブロッキング・フィルタをかけることにより、視覚的に感じられる品質が改善するようなことがないのであれば、この境界に対するデブロッキング・フィルタを省略することにより、計算の複雑さを低減させることができる。
本発明は、ブロック境界における各画素のクロマ差の測度に基づいて、この境界に低域通過フィルタをかけるかどうかを決定することにより、視覚的に感じられる品質に大きな影響を与えることなく、デブロッキング・フィルタの計算の複雑さを低減する。従って、ブロックをベースとするディジタル・ビデオ圧縮コーデックにおけるデブロッキングに係わる計算負荷が低減される。好ましい実施の形態では、この思想を発展させて、ギャップや差異の測度が所定の閾値よりも小さいエッジに対するクロマ・デブロッキングを省略することにより、1フレームのデブロッキングに要する処理の数を大幅に減らすことができる。閾値に満たない場合には、デブロッキングが行われることはない。
ITU‐T(国際電気通信連合 電気通信標準化部門)勧告H.263ビデオ圧縮規格
では、処理に使用される特定のデブロッキング・フィルタの強度は、所定のマクロブロッ
クをエンコードするのに使用される量子化パラメータに依存している。提案されているI
TU−T勧告H.264|ISO/IEC(国際標準化機構/国際電気標準会議)144
96−10 AVC ビデオ圧縮規格(「H.264/AVC」)では、境界にフィルタをかけるかどうかや処理に使用されるフィルタの強度を決定するのに幾つかのファクター(要因)が使用される。これらのファクターとして、ブロックがイントラ符号化(intra−coded)されたものであるのか、またはインター符号化(inter−coded)されたものであるのか、ブロック内にゼロでない係数が存在しているか、エッジ(edge:端部)にかかる各ブロックにおける動きベクトルの差の度合い、エッジをかかる各画素の値の差の度合いが挙げられる。初めの3つのファクターは、デブロッキングを行う前に計算されるブロックをベースとする基準である。4番目のファクターは、実際の輪郭にぼけが生ずることを回避できるような画素のレベルで計算した基準を含んだものである。しかしながら、従来のアプローチには、ローパス・フィルタによる効果が得られないほどの小さいギャップを有するクロマ・エッジに対してフィルタをかけることを回避するための基準を含むことを考慮したものは存在しない。
以下の説明は、単に、本発明の原理を示すためだけのものにすぎない。従って、当業者であれば、本願において明確な説明や図示が存在しない場合であっても、様々な変更を施して本発明の原理を実施することが可能であり、このような変更が本発明の精神および範囲に含まれることが理解できるであろう。更に、本明細書中に記載されている例、条件付きの文言の全ては、基本的に、読者が本発明の原理を理解できるようにするための、開示を目的としただけのものであることは明らかであり、また、技術の発展に寄与するような発明者による概念は、このような具体的に記載された例や条件に限定されることなく解釈されるべきである。また、本明細書中の本発明の原理、態様、実施の形態、具体例の記載の全ては、構造的な均等物、機能的な均等物の双方を包含するように意図されている。更に、このような均等物は、現在公知の均等物だけでなく、将来における均等物、つまり、構造に係わらず、同様の機能を果たすように開発されたものであれば、どのような要素をも含むように意図されている。
従って、例えば、当業者であれば、本願のブロック図は、本発明の原理を実施する回路を示す概念図であることが理解できるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は、何れもコンピュータにより読み取り可能な媒体において実質的に表される様々な処理を示すものであり、コンピュータやプロセッサがはっきりと図示されているかどうかに係わらず、コンピュータやプロセッサにより実行されるものである。
図面において示されている様々な要素の機能は、専用のハードウェアにより提供されるものでもよく、適切なソフトウェアに関連付けられ、ソフトウェアを実行することが可能なハードウェアであってもよい。プロセッサにより機能が提供されるような場合には、単一の専用プロセッサにより機能が提供されるものでもよく、単一の共有プロセッサにより機能が提供されるものでもよく、また、複数の別個のプロセッサにより機能が提供されるものでもよく、このうち、幾つかのプロセッサが共有されたものであってもよい。更に、「プロセッサ」や「コントローラ」の用語を明示的に使用している場合であっても、ソフトウェアを実行することが可能なハードウェアのみに限定するように解釈されるべきものではなく、限定するものではないが、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、更に、不揮発性記憶装置を暗示的に含むものとする。また、他のハードウェア、従来型ハードウェアおよび/または一般的なハードウェアも含まれる。同様に、図面に示す各スイッチは、概念的なものにすぎない。これらのスイッチの機能は、プログラム・ロジックの処理により実行されるものでもよく、専用のロジックを介して実行されるものでもよく、プログラム制御と専用のロジックとの連携により実行されるものでもよく、更に、マニュアルで実行されるものであってもよく、本明細書の内容に基づいて具体的な理解を得た発明の実施者が選択的に特定の技術を選択することが可能である。
本願の請求の範囲において、特定の機能を実行するための手段として示す要素は、何れも、この機能を実行するものであれば、どのような方法で実行するものでも包含するように意図されており、例えば、a)回路要素を組み合わせて機能を実行するもの、また、b)いかなる形態のソフトウェアをも包含するように意図されている。従って、ファームウェア、マイクロコード等、機能を実行するソフトウェアを実行するための適切な回路を組み合わせたものも含まれる。このような請求の範囲により定義される発明は、記載された様々な手段により提供される機能性が組み合わせられ、請求項が要求するようにまとめられるという事実に基づくものである。従って、出願人は、本願に示すものと同様の機能を提供する手段はどのようなものであっても均等物であると見做す。
図1において、インループ・クロマ・デブロッキング・フィルタ(in−loop chroma deblocking filter)を有する例示的なエンコーダが参照符号100により概略的に示されている。このエンコーダ100は、ビデオ入力端子112を備え、このビデオ入力端子112は、サミング・ブロック(summing block)114の正の入力と信号通信するように結合されている。また、サミング・ブロック114は、整数変換を実行して各係数を生成する機能ブロック116に結合されている。ブロック116は、エントロピー符号化を実行して出力ビットストリームを生成するエントロピー符号化ブロック118に結合されている。更に、ブロック116は、インループ部120にスケーリング/逆変換ブロック(scaling and inverse transform block)122で結合されている。ブロック122は、サミング・ブロック124に結合され、また、サミング・ブロック124は、イントラ・フレーム予測ブロック(intra−frame prediction block)126に結合されている。イントラ・フレーム予測ブロック126は、スイッチ127に切り替え可能に結合され、スイッチ127は、サミング・ブロック124の第2の入力に結合されている。
サミング・ブロック124の出力は、条件付きデブロッキング・フィルタ(conditional deblocking filter)140に結合されている。デブロッキング・フィルタ140は、フレーム記憶(frame store)128に結合されている。フレーム記憶128は、動き補償ブロック130に結合され、動き補償ブロック130は、スイッチ127の第2の代替入力(alternate input)に結合されている。更に、ビデオ入力端子112は、動きベクトルを生成する動き推定ブロック(motion estimation block)119に結合されている。デブロッキング・フィルタ140は、動き推定ブロック119の第2の入力に結合されている。動き推定ブロック119の出力は、動き補償ブロック130と共に、エントロピー符号化ブロック118の第2の入力に結合されている。
更に、ビデオ入力端子112は、コーダ(符号化)制御ブロック160に結合されている。コーダ制御ブロック160は、各ブロック116、118、119、122、126、130、および140の制御入力に結合され、エンコーダ100の処理を制御するための制御信号を生成する。
図2を参照すると、インループ・クロマ・デブロッキング・フィルタを有する例示的なデコーダが参照符号200により示されている。デコーダ200は、入力ビットストリームを受信するためのエントロピー復号化ブロック210を備えている。復号化ブロック210は、インループ部220にスケーリング/逆変換ブロック222で係数を生成するように結合されている。ブロック222は、サミング・ブロック224に結合され、サミング・ブロック224は、イントラ・フレーム予測ブロック226に結合されている。イントラ・フレーム予測ブロック226は、切り替え可能にスイッチ227に結合され、スイッチ227は、サミング・ブロック224の第2の入力に結合されている。
サミング・ブロック224の出力は、出力画像を生成する条件付きデブロッキング・フィルタ240に結合されている。デブロッキング・フィルタ240は、フレーム記憶228に結合されている。フレーム記憶228は、動き補償ブロック230に結合され、動き補償ブロック230は、スイッチ227の第2の代替入力に結合されている。更に、エントロピー復号化ブロック210は、動きベクトルを生成するために、動き補償ブロック230の第2の入力に結合されている。
更に、エントロピー復号化ブロック210は、入力を生成するために、デコーダ制御ブロック262に結合されている。デコーダ制御ブロック262は、各ブロック222、226、230、および240の制御入力に結合され、制御信号の通信を行い、デコーダ200の処理を制御する。
図3を参照すると、後処理クロマ・デブロッキング・フィルタを有する例示的なデコーダが参照符号300により概略的に示されている。デコーダ300は、入力ビットストリームを受信するためのエントロピー復号化ブロック310を備えている。復号化ブロック310は、インループ部320にスケーリング/逆変換ブロック322で係数を生成するように結合されている。ブロック322は、サミング・ブロック324に結合され、サミング・ブロック324は、イントラ・フレーム予測ブロック326に結合されている。イントラ・フレーム予測ブロック326は、切り替え可能にスイッチ327に結合され、スイッチ327は、サミング・ブロック324の第2の入力に結合されている。
サミング・ブロック324の出力は、出力画像を生成する条件付きデブロッキング・フィルタ340に結合されている。更に、サミング・ブロック324は、フレーム記憶328に結合されている。フレーム記憶328は、動き補償ブロック330に結合され、動き補償ブロック330は、スイッチ327の第2の代替入力に結合されている。更に、エントロピー復号化ブロック310は、動きベクトルを生成するために、動き補償ブロック330の第2の入力に結合されている。
更に、エントロピー復号化ブロック310は、入力を生成するために、デコーダ制御ブロック362に結合されている。デコーダ制御ブロック362は、各ブロック322、326、330、および340の制御入力に結合され、制御信号の通信を行い、デコーダ300の処理を制御する。
図4を参照すると、例示的なクロマ・デブロッキング・フィルタの処理が参照符号400により概略的に示されている。処理400は、開始ステップ410を含み、制御が次の入力ステップ412に進むと、ブロック境界の両側に隣接する二つの画素のクロマ・レベルの受信が行われる。制御が入力ステップ412から次のステップ414に進むと、2つの画素のクロマ・レベルの間の距離測度が計算される。制御がステップ414から次の決定ステップ416に進むと、クロマ距離測度と閾値との比較が行われる。距離測度が閾値よりも大きくない場合には、デブロッキング・フィルタが行われることなく、制御が終了ステップ424に進む。距離測度が閾値よりも大きい場合には、制御がステップ416から機能ステップ420に進み、異なる測度に応答してかけられるデブロッキング・フィルタの強度が選択される。制御がステップ420から次のステップ422に進むと、閾値の比較に応答してかけられるブロック境界における最初の二つの画素を含む複数の隣接する画素に対して条件付きフィルタがかけられる。最後に、制御がステップ422から終了ステップ424に進む。
本発明の実施の形態における処理では、画像やビデオの圧縮システムにおけるデブロッキング・フィルタの計算の複雑さは、デブロッキング・フィルタを行わないことおよび/または所定のブロックの境界の境界における画素、またはその近傍における画素のクロマ・レベルの値の差異測度に適用される条件に応答して、このブロックに対するフィルタ強度を減少させることにより低減する。境界の両側のクロマ信号レベルが非常に近似しており、ローパス・フィルタにより大きな変化が起こらないような場合には、クロマ成分に対してデブロッキング・フィルタをかけることが行われないか、フィルタの強度が減少させられる。つまり、このような領域では、デブロッキング・フィルタをかける場合には、追加的な計算が必要となるであろうが、自然人である視聴者が感じることのできるビデオ品質の十分な改善は得ることができないであろう。
好ましい実施の形態においては、フィルタをかけるか、フィルタをかけないかを決定することは、例えば、H.264/AVC圧縮規格において使用されているようなデブロッキング・フィルタの決定を行うための他の基準を用いるシステムに組み込まれている。例示的な構成においては、境界に適用されるデブロッキング・アルゴリズムにおいては、3つのステップが進行する。1つのステップでは、アルゴリズムにより、現在対象となっている境界のフィルタを行うかどうかが決定される。フィルタを行うことが決定された場合には、別のステップで、かけられるフィルタ、つまり、フィルタの強度が選択される。また、別のステップでは、フィルタ処理自体を開始し、ブロック・エッジの周辺の特定の数の画素の値が、この境界をスムーズにするために変更される。
2つのブロックPおよびQの間のエッジに渡るライン(行)またはロウ(列)からなる1つの境界に対してフィルタをかける際に関係する例示的な一組(8つ)の画素を以下の表示により表す。
Figure 0004886985

ブロック・エッジは、pおよびqの間に位置する。現在のH.264/AVCの基準では、クロマ境界にフィルタをかけるべき場合は、以下の場合のみである。

|p−q|<αを満たし、|p−p|<βを満たし、|q−q<βを満たす

αおよびβは、両方とも量子化ステップに依存する閾値である。これらの条件は、オブ
ジェクトの実際の輪郭をデブロッキングするのを避けるように意図された条件である。実
際の輪郭は、境界がより強いため、ブロックアーティファクト(block artifacts)とは区別する。
しかしながら、これらの基準には、エッジに交差する画素の値の差異の度合いが、フィルタによりスムーズにされるために十分に大きいものであるかどうかをチェックするような基準は存在しない。従って、多くの場合、pとqとの差異が小さいところでは、フィルタをかけた後にも、フィルタをかける前のものと非常に近似したものとなったので、このようなタイプのデブロッキングは有効ではなかった。このような場合、クロマ信号に関し、大抵は、アルゴリズムにより必要となった計算は、全て、視覚品質の点で、価値のある利点を生み出すようなことがなかった。
本発明の実施の形態は、カラー・画像をデブロッキングするのに必要な計算の数をエッジに交差する画素クロマ成分の値の間の距離測度の最低度合いについての条件を設定することにより低減している。1つの例示的な距離測度は、数学的差分であるが、関連する技術分野の当業者であれば、用途に応じた設計基準を満たす別の距離測度を考えることができるであろう。ギャップが非常に小さく、スムーズにするためのフィルタにより大きな変化が得られないようなクロマ境界は全て、デブロッキング・フィルタが省略される。この基準は、以下のように表される。

距離(クロマ値(p)−クロマ値(q))>dmin

閾値dminの値は、デブロッキング・フィルタをかけるのに必要な最小のクロマ・ギ
ャップを表す。色信号の二つのクロマ成分が共にフィルタをかけられた場合、画素P
よびQの各クロマ値の間の単一のベクトル距離が計算される。色信号の二つのクロマ成
分に対してフィルタを別々にかけた場合、この基準は、別個の処理において、1次元距離
により、各成分に対して適用される。
例として、YUV信号のクロマ成分のデブロッキングに適用される基準は、別個に処理が行われる場合、以下のように表される。

|U(P)−U(q)|>dmin
|V(p)−V(q)|>dmin

使用される距離は、L1ノルム(L1 norm)に対応する。実験結果によれば、視覚品質の最小の低下をdmin=1と設定した場合、計算を大幅に減らすことができる。代替的な実施の形態においては、他の距離測度および/またはより大きな値のdminを採用し、これに応答して、複雑さをより大幅に低減することも可能である。
この基準は、色成分(即ち、Y、U、およびV)の全てに対して適用されるのではなく、一般に、画素値が低ダイナミック範囲にあるために影響を受けるクロマ成分(即ち、UおよびV)のみに適用される。ルミナンス(即ち、Y)成分のデブロッキングを複雑にすることは価値あることではない。
本発明の一実施の形態においては、クロマ成分にフィルタをかけるか、フィルタをかけないかを決定することは、例えば、H.264/AVC圧縮規格において使用されているようなデブロッキング・フィルタの決定を行うための他の基準を用いるシステムに組み込まれている。この実施の形態においては、基本となるH.264/AVCの条件と本発明に開示された追加の条件の双方を満たした境界のみにフィルタがかけられる。
H.264/AVC JM2.1リファレンス・ソフトウェアに適用した場合、本発明は、クロマ成分にフィルタをかける際の複雑さを60%低減した。これは、計算の全体の数の30%に相当する。この場合、|p−q|の値が既に存在したため、新たに追加された比較は1つだけであった。デコードされた画像に対する視覚的影響は、一般的な表示条件の下では、専門家でない視聴者には気が付くことができないであろうと推定されている。例えば、量子化パラメータ(QP)が約24よりも大きな高圧縮レンジの場合にのみ、専門家の視聴者によりテスト系列(test sequences)の幾つかについてのわずかな品質の低下が認められた。
つまり、条件付きのデブロッキング・フィルタをかける際の新たな基準は、決定プロセスに係わる処理の数を増加させるが、幾つかのライン境界においてフィルタをかけないと決定した場合に計算が減らされるため、計算の複雑さが全体として低減されることになる。実験によれば、処理を減らすことにより、視覚的品質が大幅に低下するようなことがないことが明らかになっている。
本発明のこれらの特徴および利点、更に、その他の特徴および利点は、本明細書の開示内容に基づいて、関連する技術分野の当業者であれば、容易に理解することができるであろう。本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実行可能であることが理解できよう。
本発明の原理は、ハードウェアとソフトウェアとを組み合わせることにより実行されることが最も好ましい。更に、ソフトウェアは、プログラム記憶装置に具体的な形態に実現されたアプリケーション・プログラムとして実行されることが好ましい。アプリケーション・プログラムは、好ましいアーキテクチャーを有するコンピュータに対してアップロードされ、このコンピュータにより実行可能なものであってもよい。好ましくは、コンピュータは、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、入出力(I/O)インタフェースを備えるコンピュータ・プラットフォーム上で実行される。このコンピュータ・プラットフォームは、オペレーション・システムとマイクロインストラクション・コードを更に備えるものであってもよい。本明細書において記載された様々な処理および機能は、マイクロインストラクション・コードの一部であってもよいし、アプリケーション・プログラムの一部であってもよいし、これらを組み合わせたものであってもよいし、また、CPUにより実行されるものであってもよい。更に、コンピュータ・プラットフォームには、追加のデータ記憶装置や、印刷機等、周辺機器を結合するようにしてもよい。
更に、添付図面に描かれた構成要素としてのシステム・コンポーネントおよび方法の幾つかは、好ましくはソフトウェアの形態で実行されるため、システム構成要素間、または処理機能ブロック間の実際の結合は、本発明の実施の形態のプログラムの作成法により異なるものであることが理解できよう。本明細書の開示内容に基づいて、関連する技術分野の当業者であれば、本発明の構成で実施すること、また、同様の構成で実施することが可能であろう。
添付図面を参照して例示的な実施の形態を説明したが、本発明はこのような具体的な実施の形態に限定されるものではなく、関連する技術分野の当業者であれば、このような実施の形態に対し、本発明の範囲または精神を逸脱することなく、様々な変形、変更が可能であることが理解できるであろう。このような変形、変更は全て、請求の範囲に記載された本発明の範囲に含まれるように意図されたものである。
図1は、インループ・クロマ・デブロッキング・フィルタを有する例示的なエンコーダのブロック図である。 図2は、図1のエンコーダと共に使用することができるインループ・クロマ・デブロッキング・フィルタを有する例示的なデコーダのブロック図である。 図3は、後処理クロマ・デブロッキング・フィルタを有する例示的なデコーダのブロック図である。 図4は、本発明の原理に従ったクロマ・デブロッキング・フィルタの流れ図である。

Claims (9)

  1. ビデオデータのブロック変換符号化を用いて処理された画素データのデブロッキングの計算の複雑さを低減するための方法であって、
    ブロック境界の両側に位置する少なくとも2つの画素のクロマ・レベルを示す信号の各々を受信するステップと、
    前記少なくとも2つの画素のクロマ・レベルの間の数学的差分を計算するステップと、
    前記数学的差分とデブロッキング・フィルタをかけるのに必要な最小のクロマ・ギャップを表す少なくとも1つの閾値とを比較するステップと、
    前記数学的差分が前記閾値よりも大きい場合に、前記数学的差分に応答してかけられるデブロッキング・フィルタの強度を選択し、前記ブロック境界における前記少なくとも2つの画素を含む複数の隣接する画素に対し、条件付きフィルタをかけるステップと、
    を含む方法。
  2. 前記ブロック境界の各側に条件付きフィルタをかける画素が、4つ存在し、前記画素が、前記ブロック境界に交差するラインに沿って位置する、請求項1に記載の方法。
  3. 前記少なくとも1つの閾値の値が、1である、請求項1に記載の方法。
  4. 前記条件付きフィルタをかけるステップが、境界に隣接する各画素に対して別個に行われ、前記境界における全ての画素が、閾値の範囲外にあるブロックに対してのみフィルタをかけることが省略される、請求項1に記載の方法。
  5. 前記少なくとも2つの画素のうちの少なくとも1つを含む複数の隣接する画素を平均化するステップを更に含み、与えられたクロマ・レベル信号が、前記複数の隣接する画素のクロマ・レベルの平均を示す、請求項1に記載の方法。
  6. 前記境界における平均クロマが、前記閾値の範囲外にあるブロックに対してのみフィルタをかけることが省略される、請求項5に記載の方法。
  7. 量子化パラメータを受信するステップと、
    前記量子化パラメータの値が、25未満である場合のみ条件付きフィルタをかける、請求項1に記載の方法。
  8. 画素データを複数のブロック変換係数としてエンコードするエンコーダであって、前記エンコーダが、クロマ・レベルの間の数学的差分がデブロッキング・フィルタをかけるのに必要な最小のクロマ・ギャップを表す閾値よりも大きい場合のブロック境界のみにフィルタをかける条件付きデブロッキング・フィルタを備え、
    前記条件付きデブロッキング・フィルタが、
    ブロック境界の両側に位置する少なくとも2つの画素のクロマ・レベルを示す信号の各々を受信する受信手段と、
    前記少なくとも2つの画素の前記クロマ・レベルの間の数学的差分を計算する計算手段と、
    前記数学的差分と少なくとも1つの前記閾値とを比較する前記計算手段に応じた比較手段と、
    前記数学的差分が少なくとも1つの前記閾値よりも大きい場合に、
    前記数学的差分に応答してかけられるデブロッキング・フィルタの強度を選択するフィルタ強度手段と、
    前記ブロック境界における前記少なくとも2つの画素を含む複数の隣接する画素に対して条件付きフィルタをかける前記比較手段に応じたフィルタ手段と、
    を含むことを特徴とするエンコーダ。
  9. 再構成された画素データを生成するためにエンコードされたブロック変換係数をデコードするデコーダであって、クロマ・レベルの間の数学的差分がデブロッキング・フィルタをかけるのに必要な最小のクロマ・ギャップを表す閾値よりも大きい場合のブロック境界のみにフィルタをかける条件付きデブロッキング・フィルタを備え、
    前記条件付きデブロッキング・フィルタが、
    ブロック境界の両側に位置する少なくとも2つの画素のクロマ・レベルを示す信号の各々を受信する受信手段と、
    前記少なくとも2つの画素の前記クロマ・レベルの間の数学的差分を計算する計算手段と、
    前記数学的差分と少なくとも1つの前記閾値とを比較する前記計算手段に応じた比較手段と、
    前記数学的差分が前記少なくとも1つの前記閾値よりも大きい場合に、
    前記数学的差分に応答してかけられるデブロッキング・フィルタの強度を選択するフィルタ強度手段と、
    前記ブロック境界における前記少なくとも2つの画素を含む複数の隣接する画素に対して条件付きフィルタをかける前記比較手段に応じたフィルタ手段と、
    を含むことを特徴とするデコーダ。
JP2004502606A 2002-05-01 2003-04-14 クロマ・デブロッキングのための方法およびビデオコーデック Expired - Lifetime JP4886985B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US37706102P 2002-05-01 2002-05-01
US60/377,061 2002-05-01
US39332802P 2002-07-02 2002-07-02
US60/393,328 2002-07-02
US10/364,429 US7319415B2 (en) 2002-05-01 2003-02-11 Chroma deblocking filter
US10/364,429 2003-02-11
PCT/US2003/011329 WO2003094497A2 (en) 2002-05-01 2003-04-14 Chroma deblocking filter

Publications (3)

Publication Number Publication Date
JP2005524346A JP2005524346A (ja) 2005-08-11
JP2005524346A5 JP2005524346A5 (ja) 2009-08-06
JP4886985B2 true JP4886985B2 (ja) 2012-02-29

Family

ID=29273627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004502606A Expired - Lifetime JP4886985B2 (ja) 2002-05-01 2003-04-14 クロマ・デブロッキングのための方法およびビデオコーデック

Country Status (10)

Country Link
US (1) US7319415B2 (ja)
EP (1) EP1500197B1 (ja)
JP (1) JP4886985B2 (ja)
KR (1) KR100988984B1 (ja)
CN (1) CN100542042C (ja)
AU (1) AU2003221908A1 (ja)
BR (2) BR0304568A2 (ja)
ES (1) ES2765487T3 (ja)
MX (1) MXPA04010856A (ja)
WO (1) WO2003094497A2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
EP2894856A1 (en) 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
US8203617B2 (en) 2003-11-05 2012-06-19 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for increasing coding efficiency with an adaptive pre-filter
US7397515B2 (en) * 2004-01-30 2008-07-08 Broadcom Corporation Method and system for cross-chrominance removal using motion detection
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
NO20042477A (no) * 2004-06-14 2005-10-17 Tandberg Telecom As Fremgangsmåte for chroma de-blokking
DE602005015067D1 (de) * 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
US9479794B2 (en) 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
JP4643437B2 (ja) * 2005-12-27 2011-03-02 株式会社東芝 情報処理装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4643454B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4649347B2 (ja) * 2006-02-28 2011-03-09 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US9883202B2 (en) * 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
CN101193305B (zh) * 2006-11-21 2010-05-12 安凯(广州)微电子技术有限公司 用于视频编解码芯片中帧内预测的数据存储和交换方法
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US20100296572A1 (en) * 2007-12-11 2010-11-25 Kumar Ramaswamy Methods and systems for transcoding within the distributiion chain
US20090161982A1 (en) * 2007-12-19 2009-06-25 Nokia Corporation Restoring images
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
JP5435452B2 (ja) * 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
US20110080957A1 (en) * 2009-10-07 2011-04-07 Vixs Systems, Inc. Encoding adaptive deblocking filter methods for use therewith
US8244003B2 (en) * 2010-01-25 2012-08-14 Apple Inc. Image preprocessing
US8254646B2 (en) * 2010-01-25 2012-08-28 Apple Inc. Image preprocessing
US8244004B2 (en) * 2010-01-25 2012-08-14 Apple Inc. Image preprocessing
US8358812B2 (en) * 2010-01-25 2013-01-22 Apple Inc. Image Preprocessing
WO2012064083A2 (ko) * 2010-11-08 2012-05-18 엘지전자 주식회사 디블록킹 필터링 방법 및 장치
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6037064B2 (ja) * 2011-01-18 2016-11-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US9729879B2 (en) 2011-03-10 2017-08-08 Hfi Innovation Inc. Method and apparatus of deblocking filter
KR102111917B1 (ko) * 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US10412419B2 (en) 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
US11019359B2 (en) 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20906A (en) * 1858-07-13 Earthenware dish
DE3027054A1 (de) * 1980-07-17 1982-02-11 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zur ableitung eines digitalen steuersignals
US6160503A (en) * 1992-02-19 2000-12-12 8×8, Inc. Deblocking filter for encoder/decoder arrangement and method with divergence reduction
US6215425B1 (en) * 1992-02-19 2001-04-10 Netergy Networks, Inc. Deblocking filter for encoder/decoder arrangement and method with divergence reduction
US6225923B1 (en) * 1992-02-19 2001-05-01 Netergy Networks, Inc. Encoder arrangement and bit-exact IDCT protocol
GB9619119D0 (en) * 1996-09-12 1996-10-23 Discreet Logic Inc Processing image
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US6434197B1 (en) * 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
KR100720841B1 (ko) 1999-02-16 2007-05-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 블록 효과 감소를 위해 필터링 단계를 사용한 비디오 복호화 장치 및 방법
US6807300B1 (en) * 2000-07-20 2004-10-19 Eastman Kodak Company Noise reduction method utilizing color information, apparatus, and program for digital image processing
US6766063B2 (en) * 2001-02-02 2004-07-20 Avid Technology, Inc. Generation adaptive filtering for subsampling component video as input to a nonlinear editing system
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness

Also Published As

Publication number Publication date
CN1659784A (zh) 2005-08-24
US20030206587A1 (en) 2003-11-06
AU2003221908A8 (en) 2003-11-17
EP1500197A4 (en) 2011-01-19
BRPI0304568B1 (pt) 2020-11-10
KR20040106436A (ko) 2004-12-17
KR100988984B1 (ko) 2010-10-20
ES2765487T3 (es) 2020-06-09
JP2005524346A (ja) 2005-08-11
BR0304568A2 (pt) 2009-06-30
WO2003094497A3 (en) 2004-02-05
MXPA04010856A (es) 2005-02-14
WO2003094497A2 (en) 2003-11-13
EP1500197B1 (en) 2019-12-18
US7319415B2 (en) 2008-01-15
AU2003221908A1 (en) 2003-11-17
CN100542042C (zh) 2009-09-16
EP1500197A2 (en) 2005-01-26

Similar Documents

Publication Publication Date Title
JP4886985B2 (ja) クロマ・デブロッキングのための方法およびビデオコーデック
JP4518390B2 (ja) 画素データをデブロッキングする方法、画素データをエンコードするエンコーダ、およびエンコードされたブロック変換係数をデコードするデコーダ
US20210058644A1 (en) Deblocking Filtering
JP5174958B2 (ja) ビデオのコーダとデコーダとの同時最適化のための方法およびシステム
JP5413923B2 (ja) 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
CN108353171B (zh) 视频编码样本自适应滤波的方法和装置
CN111630857B (zh) 视频编解码方法/装置和相应非易失性计算机可读介质
CA2454867C (en) Adaptive filtering based upon boundary strength
EP3007447A1 (en) Method for improving intra-prediction of diagonal mode in video coding
KR100335055B1 (ko) 압축 영상신호의 블럭현상 및 링현상 제거방법
JP5383914B2 (ja) デブロッキングフィルタリング装置及び方法
CN110036637B (zh) 去噪声化已重构图像的方法及装置
CN103430537A (zh) 去块滤波控制
WO2013064047A1 (en) Method and apparatus of deblocking filter with simplified boundary strength decision
JP7357481B2 (ja) デブロッキングフィルタ制御装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060320

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061121

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090206

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20090617

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100113

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20100114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100208

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111212

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4886985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term