JP5528985B2 - ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法 - Google Patents

ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法 Download PDF

Info

Publication number
JP5528985B2
JP5528985B2 JP2010239750A JP2010239750A JP5528985B2 JP 5528985 B2 JP5528985 B2 JP 5528985B2 JP 2010239750 A JP2010239750 A JP 2010239750A JP 2010239750 A JP2010239750 A JP 2010239750A JP 5528985 B2 JP5528985 B2 JP 5528985B2
Authority
JP
Japan
Prior art keywords
video
component
deblocking filter
unit
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010239750A
Other languages
English (en)
Other versions
JP2011019288A (ja
Inventor
大 星 趙
鉉 文 金
祐 ▲シク▼ 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011019288A publication Critical patent/JP2011019288A/ja
Application granted granted Critical
Publication of JP5528985B2 publication Critical patent/JP5528985B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法に関する。
従来のビデオ（ビデオ信号）圧縮方法は、圧縮率を高めるために、機器から直接取得できるＲ−Ｇ−Ｂなどの映像形式を圧縮に適したＹ−Ｃｂ−Ｃｒなどの映像形式に変換する。また、従来のビデオ圧縮方法は、圧縮効率を高めるためにＣｂ成分及びＣｒ成分を四分の一のサイズに減らして符号化する。しかし、従来のビデオ圧縮方法は、高品質の映像復元を必要とするアプリケーションに適するものとはいえない。それは、Ｃｂ成分及びＣｒ成分のサブサンプリングによってＣｈｒｏｍａ（Ｃｂ、Ｃｒ）成分にエネルギー損失が発生し、さらにＲ−Ｇ−Ｂ成分をＹ−Ｃｂ−Ｃｒ成分に変換する時に映像の品質損失が発生するためである。このような損失を減らすためには、Ｃｂ成分及びＣｒ成分をＹ成分と同じ解像度で符号化する必要がある。
もし、Ｙ−Ｃｂ−Ｃｒ成分を符号化するとき、さらに良い品質を所望するのであれば、Ｒ−Ｇ−Ｂ成分を直接符号化することにより、Ｙ−Ｃｂ−Ｃｒ成分に変換する時に発生する損失をなくして、映像品質の損失を低減する必要がある。しかし、従来のビデオ圧縮手法は、従来型のＹ−Ｃｂ−Ｃｒ符号化器を利用してＲ−Ｇ−Ｂ成分を符号化するものであり、Ｒ−Ｇ−Ｂカラー成分に存在するＹ−Ｃｂ−Ｃｒ成分とは異なる特性を利用することができない。このような従来の手法として代表的なものが、２つの国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる、共同ビデオチーム（Joint Video Team）のＡＶＣ／Ｈ.２６４標準化技術である。
しかし、Ｒ−Ｇ−Ｂ成分とＹ−Ｃｂ−Ｃｒ成分では、映像の特性が異なるため、従来のＹ−Ｃｂ−Ｃｒ符号化器でＲ−Ｇ−Ｂ成分を符号化すると、符号化効率が大きく低下する。例えば、Ｙ−Ｃｂ−Ｃｒ映像は、空間上、同じ位置でＹ、Ｃｂ、Ｃｒの各成分間に相関関係がほとんどないが、一方、Ｒ−Ｇ−Ｂ映像は各成分間に相関関係が残っている。
また、Ｒ−Ｇ−Ｂ映像では、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像では、Ｒ−Ｇ−Ｂ映像から変換する時に行われる処理によって、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ及びＣｒ値とが相異なる周波数特性を有するものとなる。このように、従来のビデオ圧縮方法では、Ｒ−Ｇ−Ｂ映像及びＹ−Ｃｂ−Ｃｒ映像の特性を正確に符号化に反映できなかった。また、従来のビデオ圧縮方法は、符号化する際に、映像のサイズによる周波数特性の変化を考慮するものではなかった。
本発明が解決しようとする技術的課題は、インタープレーン（inter-plane）予測を利用してＲ−Ｇ−Ｂ映像の符号化／復号化効率を高めるビデオ符号化／復号化装置及びその方法を提供することである。
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報による効率的な動き補償を行う動き補償装置及びその方法を提供することである。
本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報及び解像度情報によって効率的にブロック効果（ノイズ／歪）を低減するデブロッキングフィルタ装置及びその方法を提供することである。
前記課題を達成するための本発明によるビデオ符号化装置は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する第１動き予測部と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する映像情報把握部と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する第２動き予測部と、を含む。
前記課題を達成するための本発明によるビデオ符号化方法は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する段階と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する段階と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する段階と、を含む。
前記課題を達成するための本発明によるビデオ復号化装置は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する第１復元部と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する映像情報把握部と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する第２復元部と、前記第１予測誤差映像および第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させるデブロッキングフィルタと、を含む。
前記課題を達成するための本発明によるビデオ復号化方法は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する段階と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する段階と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する段階と、前記第１予測誤差映像及び第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させる段階と、を含む。
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置は、入力映像の色情報を把握する映像情報把握部と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法は、入力映像の色情報を把握する段階と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、前記補間結果に対して動き補償を行う段階と、を含む。
前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置の他の実施形態は、入力映像の解像度及び色情報を把握する映像情報把握部と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。
前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法の他の実施形態は、入力映像の解像度及び色情報を把握する段階と、前記入力映像の解像度及び前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う段階と、を含む。
前記課題を達成するための本発明によるデブロッキングフィルタ装置は、復号化対象映像の色情報を把握する映像情報把握部と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択するデブロッキングフィルタ選択部と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングするフィルタリング部と、を含む。
前記課題を達成するための本発明によるデブロッキングフィルタ選択方法は、復号化対象映像の色情報を把握する段階と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択する段階と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングする段階と、を含む。
本発明は、上述のような形態により、色情報及び解像度特性による最適の符号化／復号化を行う。
本発明は、入力映像の色成分特性と解像度特性とを考慮して、ビデオデータを効率的に符号化及び復号化できる。Ｒ−Ｇ−Ｂ映像の場合は、特に、インタープレーン予測を使用して符号化効率を改善する。本発明は、Ｒ−Ｇ−Ｂ映像を直接符号化する場合、高品質の映像情報が必要なデジタル映画及びデジタルアーカイブなどの応用に適している。
また、本発明は、符号化及び復号化のプロセスにおける動き補償とデブロッキングフィルタの方法で、色成分の特性及び映像解像度特性を利用した。フィルタリング過程を経て映像品質を改善するこれら方法を、映像の特性に適合するように構成することにより、符号化効率を改善する。したがって、Ｙ−Ｃｂ−Ｃｒ映像だけではなく、Ｒ−Ｇ−Ｂ映像に対しても、それぞれの特性に適する符号化及び復号化が可能である。
本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ符号化方法の一実施例を示すフローチャートである。 本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ復号化方法の一実施例を示すフローチャートである。 映像の色情報による動き補償装置の一実施例の構成を示すブロック図である。 映像の色情報による動き補償方法の一実施例を示すフローチャートである。 映像の色情報及び解像度情報による動き補償装置の一実施例の構成を示すブロック図である。 映像の色情報及び解像度情報による動き補償方法の一実施例を示すフローチャートである。 長いフィルタタップを利用した補間方法を示す図面である。 短いフィルタタップを利用した補間方法を示す図面である。 映像の色情報によるデブロッキングフィルタの構成を示すブロック図である。 映像の色情報によるデブロッキングフィルタ選択方法の一実施例を示すフローチャートである。 デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。 デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。 ４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。 ４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。 本発明によるインタープレーン予測符号化実施例の結果を示す図面である。 本発明によるインタープレーン予測符号化実施例の結果を示す図面である。 本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。 本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。
以下、添付された図面を参照して本発明によるビデオ符号化／復号化装置とその方法、動き補償装置とその方法及びデブロッキングフィルタ装置とその方法について詳細に説明する。
図１Ａは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
図１Ａに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０とにより構成される。第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
第１動き予測部１００のインタープレーン予測部１０１及びイントラプレーン予測部１０４は、それぞれ入力映像に対して時／空間的に隣接した映像に基づいて動き予測を行う。インタープレーン予測部１０１は、入力映像と時間的に隣接した先行復元映像を利用して動き予測を行い、イントラプレーン予測部１０４は、空間的に隣接した入力映像の符号化単位ブロックを利用して動き予測を行う。一般に、最初の入力映像に対しては先行する復元映像がないので、イントラプレーン予測部１０４が動き予測を行い、以後の入力映像に対してはインタープレーン予測部１０１が動き予測を行う。予測誤差算出部１０７は、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と入力映像との差を利用して第１予測誤差映像を算出する。
また、第１動き予測部１００は、入力映像の色情報及び解像度情報によって動き補償のために使用するフィルタタップの長さを異にする。これについては、その詳細を、図４乃至図９を参照して後述する。
映像情報把握部１１０は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握する。また、映像情報把握部１１０は、入力映像の色成分を把握する。すなわち、映像情報把握部１１０は、入力映像の色成分がＲ−Ｇ−Ｂ映像のＲ成分、Ｇ成分、Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分（Ｌｕｍａ）、Ｃｂ成分、Ｃｒ成分（Ｃｈｒｏｍａ）であるかを把握する。そして、映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を本発明によるイントラプレーン予測のための基準色成分と設定する。基準色成分は、Ｒ、Ｇ、Ｂ成分のうち何れか一つの成分が任意に設定され、以下ではＧ成分を基準色成分に設定したものと仮定する。
第２動き予測部１２０は、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の色成分であれば、基準色成分に基づいて、第１動き予測部１００から出力される第１予測誤差映像に対して、動き予測を行って第２予測誤差映像を算出する。第２動き予測部１２０で使われる基準色成分は、現在の入力映像の前に入力されて符号化された後に再び復号化された値である。具体的には、第２動き予測部１２０は、符号化され且つ復号化された基準色成分の予測誤差映像に基づいて動き予測を行う。
例えば、基準色成分がＧ成分であり、入力映像の色成分がＢ成分である場合、第１動き予測部１００は、入力映像の動き予測結果に基づいてＢ成分及びＧ成分に対する第１予測誤差を算出する。そして、映像情報把握部１１０は、入力映像がＲ−Ｇ−Ｂ映像であり、入力映像の色成分が基準色成分（Ｇ成分）以外の成分（Ｂ成分）であることを把握する。第２動き予測部１２０は、符号化された後に再び復号化された基準色成分（Ｇ成分）の第１符号化予測誤差映像に基づいて、入力映像（Ｂ成分）の第１予測誤差映像に対するインタープレーン予測を行って第２予測誤差映像を算出する。すなわち、Ｂ成分の入力映像は、第１動き予測部１００及び第２動き予測部１２０によって二回の予測過程を経る。
符号化部１３０は、第１動き予測部１００による第１予測誤差映像及び第２動き予測部１１０による第２予測誤差映像を符号化してビットストリームを生成する。具体的には、符号化部１３０は、予測誤差映像を離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）１３２又は離散整数変換１３２して、変換された値を量子化１３４及びエントロピー符号化１３６して符号化映像（ビットストリーム）を生成する。
Ｙ−Ｃｂ−Ｃｒ映像は、Ｒ−Ｇ−Ｂ映像から色座標空間変換方式によって変換されるので、Ｙ−Ｃｂ−Ｃｒ映像とＲ−Ｇ−Ｂ映像とは符号化側面で相異なる特性を有する。すなわち、Ｙ−Ｃｂ−Ｃｒ映像のＹ、Ｃｂ、Ｃｒ成分は、空間上同じ位置の各成分間に相関関係がほとんどないが、一方で、Ｒ−Ｇ−Ｂ映像は、各成分間に相関関係が残っている。したがって、本発明によるビデオ符号化装置は、入力映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかによって、符号化する時に使用する予測方法を異にする。
結局、本発明によるビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の色成分のうち何れか一つを基準色成分と設定し、設定された基準色成分は、従来の符号化方法で符号化する。そして、ビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の残りの２つの色成分を、空間上隣接した画素又は時間上隣接した画素を利用して予測した後、予測された結果を基準色成分に基づいて再び予測する。
図１Ｂは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。
図１Ｂに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０と、第１復元部１４０と、第２復元部１５０と、デブロッキングフィルタ１６０とにより構成される。また、第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。
入力映像Ｆ（ｎ）１７０は、Ｙ−Ｃｂ−Ｃｒ映像又はＲ−Ｇ−Ｂ映像である。本発明によるビデオ符号化装置において、入力映像１７０は、ブロック単位で処理される。第１動き予測部１００は、インタープレーン予測部１０１とイントラプレーン予測部１０４とにより構成される。インタープレーン予測部１０１は、動き予測部（Motion Estimation unit：ＭＥ）１０２及び動き補償部（Motion Compensation unit：ＭＣ）１０３を含み、符号化効率を高めるために、以前の復元映像Ｆr（ｎ−１）
１７２に基づいて動きを推定し且つ予測する。イントラプレーン予測部１０４は、空間推定部（Spatial Estimation unit：ＳＥ）１０５及び空間予測部（Spatial
Prediction unit：ＳＰ）１０６を含み、空間的に隣接しているブロックに基づいて動きを推定し且つ予測する。
Ｙ−Ｃｂ−Ｃｒ（或いはＹ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像のそれぞれの色成分によって、動き補償に使用する補間方法（interpolation）は異なる。まず、予測誤差算出部１０７は、入力映像１７０と、インタープレーン予測部１０１又はイントラプレーン予測部１０４の動き予測結果と、に基づいて符号化予測誤差映像ΔＦ（ｎ）を得る。もし、入力映像１７０がＹ−Ｃｂ−Ｃｒ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）を得る。一方、入力映像１７０がＲ−Ｇ−Ｂ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＲ（ｎ）、ΔＧ（ｎ）、ΔＢ（ｎ）を得る。
符号化部１３０は、Ｙ−Ｃｂ−Ｃｒ映像のΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）と、Ｒ−Ｇ−Ｂ映像のΔＧ（ｎ）とを、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。
入力映像１７０がＲ−Ｇ−Ｂ映像であれば、第２動き予測部１２０の誤差予測部（Residue Prediction unit：ＲＰ）１２２は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ（ｎ）及びΔＲ（ｎ）を、復元されたＧ成分の予測誤差映像ΔＧr（ｎ）を利用してインタープレーン予測する。そして、符号化部１３０は、インタープレーン予測によって得た予測誤差映像ΔＢ′（ｎ）及びΔＲ′（ｎ）を、ＤＣＴ（又は、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。ＤＣＴは、ＩＳＯ／ＩＥＣのＭＰＥＧ−４パート２標準化技術であり、離散整数変換は、ＩＳＯ／ＩＥＣのＭＰＥＧ及びＩＴＵ−ＴのＶＣＥＧによる共同ビデオチームが策定したＡＶＣ／Ｈ.２６４標準化技術である。
第１復元部１４０は、符号化部１３０が変換１３２及び量子化１３４した復元対象映像を、空間的に近接したブロック或いは時間的に後で入力される映像を利用した予測で使用できるように、逆量子化１４４し、逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）（又は、逆離散整数変換）１４２を行って、当該映像のそれぞれの色成分に対する予測誤差映像を生成する。
第１復元部１４０は、復元対象映像がＹ−Ｃｂ−Ｃｒ映像であれば、復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。また、第１復元部１４０は、復元対象映像がＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。ΔＧr（ｎ）は、第２動き予測部１２０によるインタープレーン予測のためにバッファ１２４に保存される。
第２復元部１５０は、復元対象映像の色成分がＲ成分及びＢ成分であれば、Ｇ成分の復元された予測誤差映像ΔＧr（ｎ）を利用してＲ成分及びＢ成分の復元された予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｙ−Ｃｂ−Ｃｒ映像の復元誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）或いはＲ−Ｇ−Ｂ映像の復元誤差映像ΔＧr（ｎ）、ΔＢr（ｎ）、ΔＲr（ｎ）は、デブロッキングフィルタ１６０の入力Ｆr（ｎ）となる。
デブロッキングフィルタ（ループフィルタ）１６０は、Ｆr（ｎ）と第１動き予測部１００によるインタープレーン予測又はイントラプレーン予測の結果を第２復元部１５０の出力値と加算して求めた復元された映像をフィルタリングすることにより、ブロック効果を低減する。本発明によるデブロッキングフィルタ１６０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によってブロックの境界領域で使用するフィルタタップの長さが異なるものを用いる。これについての詳細は、図１０及び図１１を参照して後述する。
図２は、本発明によるビデオ符号化方法の一実施例を示すフローチャートである。
図１Ａ及び図２を参照して、本発明のビデオ符号化方法を説明する。まず、第１動き予測部１００は、入力映像に対して時／空間上予測（インタープレーン予測／イントラプレーン予測）を行う（Ｓ２００）。映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の基準色成分としてＧ成分を設定し、入力映像がＲ−Ｇ−Ｂ映像であるか否かを判断する（Ｓ２１０）。もし、入力映像がＲ−Ｇ−Ｂ映像であれば、映像情報把握部１１０は、入力映像の色成分が基準色成分のＧ成分であるか否かを判断する（Ｓ２２０）。もし、入力映像の色成分がＲ成分又はＢ成分であれば、第２動き予測部１２０は、復元されたＧ成分の予測誤差映像を利用して各成分のインタープレーン予測を行う（Ｓ２３０）。言い換えれば、本発明によるビデオ符号化方法は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の成分に対して第１動き予測部１００によって動き予測を行い、基準色成分に基づいて再び動き予測を行う。第１動き予測部１００又は第２動き予測部１２０によって算出された予測誤差映像は、ＤＣＴ或いは離散整数変換、量子化、エントロピー符号化を通じて圧縮される。
Ｒ−Ｇ−Ｂ映像の基準色成分以外の色成分であるＲ成分及びＢ成分に適用されるイントラプレーン予測について、以下その原理を詳細に説明する。まず、空間的に隣接した映像或いは時間的に隣接した映像値を利用して予測した値を入力映像から減算してＧ成分の予測誤差映像ΔＧを得る。この予測誤差映像は、次の数式１の通りである。
Figure 0005528985
ここで、ＧｐはＧ成分を空間的に隣接したＧ成分映像或いは時間的に隣接したＧ成分映像を利用して予測した値である。この予測誤差映像が実際にエントロピー符号化される。
Ｙ−Ｃｒ−Ｃｂ成分と違って、Ｇ成分、Ｒ成分、Ｂ成分間には依然として大きな相関度がある。Ｇ成分との類似性を利用するために、まず、Ｒ成分及びＢ成分を、Ｇ成分と同様に、時／空間上の予測にかける。ここで、得た予測誤差映像ΔＲ及びΔＧは、次の通りである。
Figure 0005528985
Figure 0005528985
ここで、Ｒｐ及びＢｐは、Ｒ成分及びＢ成分を空間的に隣接した映像或いは時間的に隣接した映像を利用して予測したものである。ここで得た予測誤差映像を、符号化された後に再び復号化されたＧ成分の予測誤差映像の線形変換した値で減算してインタープレーン予測されたＲ成分及びＢ成分の予測誤差映像ΔＲ′及びΔＧ′を得る。以上の処理は、次の数式４及び数式５のように表すことができる。
Figure 0005528985
Figure 0005528985
これらの値は、Ｒ成分及びＢ成分の時／空間上の予測誤差ΔＲ及びΔＢに比べて、符号化するデータの量が少なくなっており、符号化効率が改善されたことがわかる。これは、予測誤差映像ΔＧ、ΔＲ、ΔＢ間の相関度が大きいので、ΔＧとΔＲ及びΔＧとΔＢの関係を線形の関数で表現することで、ΔＲ及びΔＢをΔＧの関数に近似させることができるためである。以下の数式において、ａ及びｂ（数式６、７）は、Ｒ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差となり、ｃ及びｄ（数式８、９）は、Ｂ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾き及び偏差である。
Figure 0005528985
Figure 0005528985
Figure 0005528985
Figure 0005528985
ここで、ｃｏｖ（・）は共分散を表し、Ｅ（・）は値の平均、そして、σ2は分散を表す。
図３Ａは、本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。
図３Ａに示すように、本発明によるビデオ復号化装置は、第１復元部３００と、映像情報把握部３１０と、第２復元部３２０と、動き推定部３３０と、デブロッキングフィルタ３４０とにより構成される。
本発明によるビデオ復号化装置は、図１Ｂのビデオ符号化装置の過程と反対の過程とを経て圧縮されたビットストリーム（すなわち、符号化映像）から映像を復元する。第１復元部３００は、圧縮されたデータを、エントロピー復号化３０２、逆量子化３０４、逆離散整数変換３０６して、Ｙ−Ｃｂ−Ｃｒ映像の場合、各成分の復元された予測誤差映像ΔＹr（ｎ）、ΔＵr（ｎ）、ΔＶr（ｎ）を得る。一方、第１復元部３００は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧr（ｎ）、ΔＢ′r（ｎ）、ΔＲ′r（ｎ）を得る。
映像情報把握部３１０は、圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、圧縮されたビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。以下の説明では、基準色成分をＧ成分と仮定する。
圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるか、又はＲ−Ｇ−Ｂ映像の基準色成分（Ｇ成分）であれば、第１復元部３００によって復元された予測誤差映像が動き推定部３３０の入力に使われる予測誤差映像ΔＦr（ｎ）となる。
第２復元部３２０は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像のＢ成分又はＲ成分（すなわち、基準色成分以外の成分）であれば、Ｇ成分の予測誤差映像ΔＧr（ｎ）をＲ成分及びＢ成分の予測誤差映像復元のためのインタープレーン予測のために保存する。
一方、第２復元部３２０は、Ｒ成分及びＢ成分の予測誤差映像ΔＢ′r（ｎ）及びΔＲ′r（ｎ）をＧ成分の復元された予測誤差映像ΔＧr（ｎ）を利用して復元した予測誤差映像ΔＢr（ｎ）及びΔＲr（ｎ）を得る。Ｒ成分及びＢ成分の場合、その値（ΔＢr（ｎ）及びΔＲr（ｎ））がΔＦr（ｎ）となる。
第２復元部３２０は、ビットストリームがビデオ符号化装置（図１Ａ、図１Ｂ参照）でインタープレーン予測を利用して符号化された場合には、動き推定部３３０のＭＣ（Motion Comparator）３３２による先行映像Ｆr（ｎ−１）３５０のインタープレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。一方、第２復元部３２０は、ビットストリームがイントラプレーン予測を利用して符号化された場合には、動き推定部３３０のＳＰ（Spatial
Predictor）３３４によるイントラプレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−Ｂ或いはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。ここで、動き推定部３３０のＭＣ３３２によるインタープレーン予測は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって動き補償するときに使用する補間方法を異にする。これについての詳細は、図４乃至図９を参照して後述する。第２復元部３２０によって復元された値は、ブロック効果を低減するデブロッキングフィルタ３４０を経て各色成分の復元映像Ｆr（ｎ）３５２（すなわち、前記ビットストリームとしての符号化映像に対する復号化映像）となる。
デブロッキングフィルタ３４０は、Ｙ−Ｃｂ−Ｃｒ（或いは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって、ブロックの境界領域で使用するフィルタタップの長さを異にする。これについての詳細は、図１０及び図１１を参照して後述する。
図３Ｂは、本発明によるビデオ復号化方法の一実施例を示すフローチャートである。
図３Ａ及び図３Ｂを参照して、本発明によるビデオ復号化方法の一実施例を説明する。まず、第１復元部３００は、ビットストリームから第１予測誤差映像を算出する（Ｓ３５０）。そして、映像情報把握部３１０は、ビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する（Ｓ３５５）。
第２復元部３２０は、ビットストリームがＲ−Ｇ−Ｂ映像であり、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色（Ｇ）成分以外の成分（Ｒ、Ｂ成分）であれば、第１復元部３００によって算出された第１予測誤差映像を基準色（Ｇ）成分の第１予測誤差映像を利用して予測し、第２予測誤差映像を得る（Ｓ３６０）。
第２復元部３２０は、第１予測誤差映像及び第２予測誤差映像を、動き推定部３３０の先行映像に対する動き予測結果と加算して、復元された映像（前記符号化映像に対する復号化映像）を獲得する（Ｓ３６５）。デブロッキングフィルタ３４０は、復元された映像のブロック効果を減少させ、最終復元された映像Ｆr（ｎ）３５２を得る（Ｓ３７０）。
図４は、本発明による動き補償装置の一実施例の構成を示す図面である。
図４に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部４００と、長いフィルタタップ補間部４１０と、短いフィルタタップ補間部４２０と、動き補償部（Motion Compensator：ＭＣ）４３０とにより構成される。
Ｒ−Ｇ−Ｂ映像は、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像は、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ成分及びＣｒ成分との周波数特性が異なる。そして、Ｙ−Ｃｂ−Ｃｒ映像では、一般に、Ｃｈｒｏｍａ成分はＬｕｍａ成分に比べて低周波成分が多く、相関度も大きい。図４は、このような映像の色成分によって異なる方法により先行フレームを利用した動き予測を行う、動き補償装置の構成を示すブロック図である。
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。一般に、Ｒ−Ｇ−Ｂ映像の基準色成分はＧ成分である。
フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した入力映像の色成分情報４０２に基づき、長いフィルタタップ補間部４１０又は短いフィルタタップ補間部４２０を選択する。すなわち、フィルタタップ選択部４００は、入力映像のそれぞれの色成分に基づいて最適の動き推定のためのフィルタタップを選択する。長いフィルタタップは一般に６タップフィルタであり、短いフィルタタップは２タップフィルタである。
例えば、フィルタタップ選択部４００は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるか、又は入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の成分であれば、６タップフィルタ補間部を選択し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であれば、２タップフィルタ補間部を選択する。
補間部４１０，４２０は、フィルタタップ選択部４００によって選択されると、動き補償のために入力映像を補間する。このとき、それぞれの補間部４１０，４２０は、先行フレームの動きベクトル４１２に基づいて入力映像を補間する。
例えば、補間部４１０，４２０は、それぞれ、６タップフィルタの補間部４１０と双一次補間する補間部４２０とにより構成することができる。この場合、フィルタタップ選択部４００によって６タップフィルタの補間部４１０が選択されれば、６タップフィルタの補間部４１０は入力映像を補間する。
補間部４１０，４２０によって補間された入力映像は、ＭＣ４３０によって動き補償される。
図５は、本発明による動き補償方法の一実施例を示すフローチャートである。以下、図４の装置構成ブロック図と図５のフローチャートを参照しつつ、入力映像の色成分による動き補償方法について説明する。
図４及び図５に示すように、フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した色情報に基づいてフィルタタップを選択する（Ｓ５００）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ５１０）、フィルタタップ選択部４００はＲ−Ｇ−Ｂ映像の各成分に対して同じ補間方法を選択する（Ｓ５２０）。例えば、フィルタタップ選択部４００は、Ｒ−Ｇ−Ｂ各成分のすべてに対して同じように、すなわち、すべてに長いフィルタタップ補間部４１０を選択して適用するか、すべてに短いフィルタタップ補間部４２０を選択して適用する。
入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ５３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部４００は、入力映像が長いタップのフィルタを通じて補間されるように長いフィルタタップを有する補間部４１０を選択する（Ｓ５４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分（Ｃｂ，Ｃｒ）であれば、フィルタタップ選択部４００は短いフィルタタップ補間部４２０を選択する（Ｓ５５０）。
このようにフィルタタップの長さを入力映像の色成分ごとに異ならしめる理由は、入力映像の色成分に高周波成分が多ければ、周囲に多くの画素を使用する長いフィルタタップ補間方法が高周波成分をよく復元する可能性が大きいためである。一方、低周波成分が多ければ、周囲に少ない画素を使用する短いフィルタタップが、長いフィルタタップと性能において差がなく、複雑度の面ではかえって有利である。
図６は、本発明による動き補償装置の他の実施例の構成を示すブロック図である。
図６に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部６００と、長いフィルタタップ補間部６１０と、短いフィルタタップ補間部６２０と、動き補償部（Motion Compensator：ＭＣ）６３０とにより構成される。
映像の色成分６０２だけでなく、映像のサイズ或いは解像度情報６０４も周波数特性に影響を及ぼす。図６を参照して、色情報以外に映像の解像度情報に基づき異なる動き補償方法を採用する動き補償装置について説明する。
映像情報把握部（図示せず）は、入力映像の色成分及び解像度情報を把握する。具体的に、映像情報把握部（図示せず）は、入力映像が高解像度であるか低解像度であるかを把握し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。
フィルタタップ選択部６００は、映像情報把握部（図示せず）によって把握された入力映像の色情報及び解像度情報によってフィルタタップの長さを選択する。具体的に、フィルタタップ選択部６００は、入力映像が高解像度映像であるか、又は入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分以外の成分であれば、短いタップのフィルタを選択する。そして、フィルタタップ選択部６００は、入力映像が低解像度映像であるか、入力映像がＲ−Ｇ−Ｂ映像であるか、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であれば、長いタップのフィルタを選択する。一般に、長いフィルタタップは６タップフィルタであり、短いフィルタタップは２タップフィルタである。
補間部６１０，６２０は、長いフィルタタップを使用する補間部６１０及び短いフィルタタップを使用する補間部６２０により構成され、先行フレームの動き情報（Motion Vector：ＭＶ）に相当する映像情報を補間する。
ＭＣ ６３０は、補間部によって補間された入力映像を動き補償する。
図７は、本発明による動き補償方法の他の実施例を示すフローチャートであって、色成分及び解像度情報を利用して動き補償を行う方法を表す。
図６及び図７を参照して色成分及び解像度情報を利用した動き補償方法について説明する。まず、映像情報把握部（図示せず）は、入力映像の映像サイズ情報を入力されて（Ｓ７００）、入力映像が高解像度映像であるか否かを判断する（Ｓ７１０）。本発明で、高解像度はＨＤ（High Definition）解像度である１２８０×７２０映像サイズを基準として、これより大きい映像を意味する。この基準となる値は、適用される環境と応用とによって変わる。
もし、入力映像が高解像度映像であれば、フィルタタップ選択部６００は、短いフィルタタップを使用する補間部を選択する（Ｓ７５０）。これは、高解像度映像の場合、低周波成分が多く含まれていて、敢えて長いフィルタタップを使用しなくてもよいためである。高解像度映像の場合、実際映像の小さな領域を多数の画素で表示するため、画素間の変化程度が小さい。この場合、長いフィルタタップと短いフィルタタップ間にビデオ品質の差が小さいので、複雑度を考慮して、フィルタタップ選択部６００は短いフィルタタップ補間部６２０を選択する。
もし、入力映像が低解像度映像であれば、映像情報把握部（図示せず）は、色情報を入力されて（Ｓ７００）、入力映像がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ７２０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ７３０）、フィルタタップ選択部６００は、各成分すべてに対して長いタップのフィルタを使用して補間するように長いフィルタタップ補間部６１０を選択する（Ｓ７４０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、Ｙ（Ｌｕｍａ）成分であるか否かを判断する（Ｓ７３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部６００は長いタップのフィルタを選択する（Ｓ７４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分であれば、フィルタタップ選択部６００は短いタップのフィルタを選択する（Ｓ７５０）。
図８は、動き補償のために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する場合に、６タップフィルタを使用した例を示す図面である。
６タップフィルタは、ＭＰＥＧ−４のＡＶＣ／Ｈ.２６４で使用する方式である。図８で、先行フレームの画素ＡからＵまで与えられた時、１／４或いは１／２解像度の画素ａからｓを、次のような方式で求める。
まず、垂直或いは水平方向に１／２解像度の位置にあるｂ及びｈは、周囲の６つの画素を利用して、次のように補間する（数式１０、数式１１のｂ１及びｈ１は、それぞれｂ及びｈを求めるための中間結果である）。
Figure 0005528985
Figure 0005528985
Figure 0005528985
Figure 0005528985
ここで、Ｃｌｉｐ１（ｘ）は、ｘを映像画素のビット範囲内へ切断（クリップ）することを意味する。もし、８ビット映像であれば、Ｃｌｉｐ１（ｘ）は、ｘが０より小さければ０とし、２５５より大きければ２５５とし、その他の値であればその値をそのまま維持させる。補間に使用したフィルタタップは、比較的周囲の画素を多く利用した６タップフィルタ（１，−５，２０，２０，−５，１）である。
垂直及び水平方向に１／２解像度の位置にあるｊ画素は、以前に復元された垂直或いは水平方向の１／２解像度にある周囲の画素を利用して、次の数式１４及び数式１５のように補間する。
Figure 0005528985
Figure 0005528985
ここで、周囲画素ｃｃ、ｄｄ、ｈ１、ｍ１、ｅｅ、ｆｆ或いはａａ、ｂｂ、ｂ、ｓ１、ｇｇ、ｈｈは、前記数式１０及び数式１１と同様に、６タップフィルタを使用して補間した中間結果である。
１／２解像度の最後の値であるｓ及びｍは、前記数式１２及び数式１３によってｓ１及びｍ１から復元される。
１／４解像度の位置にあるａ、ｃ、ｄ、ｎ、ｆ、ｉ、ｋ、ｑは、二つの垂直或いは水平方向に隣接した画素の平均によって、次のように求める。
Figure 0005528985
１／４解像度の位置にあるｅ、ｇ、ｐ、ｒは、二つの対角線方向に隣接した画素の平均によって、次のように求める。
Figure 0005528985
図９は、動き補償するために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する時、短いフィルタタップの一例として双一次補間方法を使用した例である。この双一次補間方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式である。
先行フレームの画素Ａ、Ｂ、Ｃ、Ｄで１／４或いは１／２の解像度の画素ａを次のように求める。
Figure 0005528985
ここで、ｄｘはａがＡ或いはＣから水平方向に離れた距離を１／４解像度で表示した値である。そして、ｄｙはａがＡ或いはＢから垂直方向に離れた距離を１／４解像度で表示した値である。
図９を参照すれば、双一次補間方法は、図７に示す方法と異なり、使用する周囲の画素が比較的少なく、補間する値と近接した距離の周囲値を用いるものであることがわかる。
図１０は、本発明による色成分特性を利用したデブロッキングフィルタの一実施例の構成を示すブロック図である。動き補償だけでなく、映像復元後に発生するブロック効果を低減するためのデブロッキングフィルタにも映像の色成分特性を利用する。図１０を参照して、このような映像の色成分によって異なるデブロッキングフィルタ適用方法を採用するデブロッキングフィルタの一実施例について説明する。
図１０に示すように、デブロッキングフィルタ１６０，３４０は、映像情報把握部（図示せず）と、デブロッキングフィルタ選択部１０００と、フィルタリング部（長いタップのデブロッキングフィルタ１０１０，短いタップのデブロッキングフィルタ１０２０）とにより構成される。
映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であるか否かを把握する。
デブロッキングフィルタ選択部１０００は、入力映像の色成分に基づいて相異なる長さのフィルタタップより構成されたデブロッキングフィルタ１０１０，１０２０のうち何れか一つのデブロッキングフィルタを選択する。例えば、デブロッキングフィルタ選択部１０００は、入力映像がＲ−Ｇ−Ｂ映像であるか、又は入力映像の色成分がＹ−Ｇｂ−Ｇr映像のＬｕｍａ（Ｙ）成分であれば、長いタップのデブロッキングフィルタ１０１０を選択する。そして、デブロッキングフィルタ選択部１０００は、入力映像がＹ−Ｃｂ−Ｃｒ映像のＣｈｒｏｍａ（Ｃｂ，Ｃｒ）成分であれば、短いタップのデブロッキングフィルタ１０２０を選択する。
フィルタリング部１０１０，１０２０はそれぞれ異なる長さのタップのデブロッキングフィルタより構成され、デブロッキングフィルタ選択部１０００によって選択されたデブロッキングフィルタ１０１０，１０２０を利用して入力映像をフィルタリングする。
フィルタリング部１０１０，１０２０は、ブロック単位の符号化モードと、ＣＢＰ（Coded Block Pattern）と、先行フレームの動き情報（ＭＶ，ＭＣ）のための参照映像番号と、インターレース映像である場合のフィールド情報とによってフィルタリング適用の有無を決定して最終的に映像のブロック効果を取り除く。
図１１は、入力映像の色成分によってデブロッキングフィルタタップを選択する方法を示すフローチャートである。
図１０及び図１１を参照して説明すれば、デブロッキングフィルタ選択部１０００は、映像情報把握部（図示せず）から色情報を入力されて（Ｓ１１００）、入力映像の色成分がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ１１１０）。もし、入力映像がＲ−Ｇ−Ｂ成分であれば、デブロッキングフィルタ選択部１０００は、各成分に対して同じ方式のフィルタタップ係数を選択する（Ｓ１１３０）。一般に、長いタップのフィルタを選択する。もし、Ｒ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ（Ｙ−Ｕ−Ｖ）成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ１１２０）。もし、入力映像の色成分がＬｕｍａ（Ｙ）成分であれば、デブロッキングフィルタ選択部１０００は長いフィルタタップ１０１０を選択する（Ｓ１１４０）。もし、Ｃｈｒｏｍａ成分であれば、フィルタタップ選択部１０００は短いフィルタタップ１０２０を選択する（Ｓ１１５０）。
図１２は、１６×１６マクロブロック内でブロック効果を減らすためにデブロッキングフィルタが適用される垂直／水平方向の境界を示す図面である。
マクロブロック内で１６個の４×４ブロックに分けられ、それぞれ符号化されるので、ブロック効果は、この４×４ブロック境界から発生する。図１２Ａに示すように、まず、垂直境界１２０１，１２０２，１２０３，１２０４に対してデブロッキングフィルタが適用される。次いで、図１２Ｂに示すように、水平境界１２０５，１２０６，１２０７，１２０８に対してデブロッキングフィルタが適用される。
図１３は、４×４ブロックの垂直／水平境界でデブロッキングフィルタに適用する時に利用される係数を表す図面である。
垂直境界の場合、図１３Ａのように、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３画素値及びフィルタタップを使用してブロック効果を減らすようにｐ０、ｐ１、ｐ２、ｑ０、ｑ１、ｑ２の画素値を変える。図１３Ｂは、水平境界でデブロッキングフィルタに適用される画素を表す。
４×４ブロックごとに損失の程度が異なるので、フィルタ係数が変わり、フィルタ適用如何も決定しなければならない。このために、図１０のようにブロック単位の符号化モードと、ＣＢＰと、先行フレームの動き情報ＭＶ、ＭＣのための参照映像番号と、インターレース映像である場合のフィールド情報とを利用して既定の臨界値を利用してデブロッキングフィルタ適用如何、フィルタ係数の長さなどを決定する。基本的なフィルタリング方法は、ＭＰＥＧ−４
ＡＶＣ／Ｈ.２６４で使用する方式を使用した。４×４ブロックにフィルタ適用如何を決定するための値ｆｉｌｔｅｒＦｌａｇは、次のように決定される。
Figure 0005528985
ここで、ｆｉｌｔｅｒＦｌａｇが１である場合にだけデブロッキングフィルタを適用する。αとβとは量子化値が大きくなれば、値が大きくなり、周囲画素の変化量によってデブロッキングフィルタの適用を決定する臨界値である。Ｂｓ（フィルタ強度）は、デブロッキングフィルタを適用する場合、フィルタを通じて何れの画素情報まで値を変化させるかを表す値である。０から４の値を有し、０である場合、フィルタを適用せずに１から４へ行くほどフィルタの係数を長くし、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３のうち多数の画素がブロック効果を減らすようにその値が変わる。また、１から４へ行くほど、大きい値が変わりうる。
まず、色成分がＲ−Ｇ−Ｂ成分であるか、又はＹ−Ｃｂ−Ｃｒ映像のＹ成分である場合、適用される長いタップ係数フィルタは、次のように数式２０乃至数式２９を使用して定義できる。
Ｂｓが４以下であれば、境界に最も近接したｐ０及びｑ０は、その値が次のようにｐ′０及びｑ′０に変わる。
Figure 0005528985
Figure 0005528985
ここで、Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、ｘを最小値ｍｉｎと最大値ｍａｘ間に位置させる。Ｃｌｉｐ１（ｘ）は、数式１２でのＣｌｉｐ１（ｘ）と意味が同じである。ｔｃは、画素が所定値以上か以下には値を有しないようにする臨界値である。ここで、Ｂｓが大きければ、ｔｃも大きい値を有するようになって画素の変化程度が大きくなる。
ｐ１及びｑ１の場合に、フィルタリング如何を決定するために、次の値を定義する。
Figure 0005528985
ｐ１は、ａｐがβより小さければ、次のようにｐ′１に変わり、そうでなければ、変わらない。
Figure 0005528985
ｑ１は、ａｑがβより小さければ、次のようにｑ′１に変わり、そうでなければ、変わらない。
Figure 0005528985
Ｂｓが４であれば、まず、フィルタ係数の長さを決定するためのＴｐ及びＴｑの値を次のように定義する。
Figure 0005528985
もし、Ｔｐが１であれば、ｐ０、ｐ１、ｐ２は、次のようにフィルタ係数を長くしてｐ′０、ｐ′１、ｐ′２に変わる。
Figure 0005528985
そうではなく、Ｔｐが０であれば、次のようにｐ０だけがフィルタ係数を短くしてｐ′０に変わる。
Figure 0005528985
もし、Ｔｑが１であれば、ｑ０、ｑ１、ｑ２は、次のようにフィルタ係数を長くしてｑ′０、ｑ′１、ｑ′２に変わる。
Figure 0005528985
そうではなく、Ｔｑが０であれば、次のようにｑ０だけがフィルタ係数を短くしてｐ′０に変わる。
Figure 0005528985
Ｙ−Ｃｂ−Ｃｒ映像のうち色成分がＣｂやＣｒであれば、短いタップフィルタ係数を利用して次のように定義できる。まず、Ｂｓが４以下であれば、ｐ０及びｑ０は、数式２１のようにそれぞれｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。Ｂｓが４であれば、ｐ０及びｑ０の値だけが数式２７及び数式２９を利用してｐ′０及びｑ′０となる。Ｒ−Ｇ−Ｂ映像及びＹ成分と違って、ｐ１及びｑ１はその値が変わらない。
図１４は、Ｒ−Ｇ−Ｂ映像が入力映像である場合に、本発明によるインタープレーン予測による結果を示す図面である。言い換えれば、図１４は、本発明でのインタープレーン予測を使用した場合とそうではない場合とに対して比較した結果である。
使用した入力映像は、１２８０×７２０サイズのＣＲＥＷ映像であり、これに対する結果を４個所のビット率でＰＳＮＲと表示した。図１４Ａは、空間上の予測だけを使用したイントラモードだけを使用したものであって、図１４Ｂは、時／空間上の予測を何れも使用した結果である。図示されたように、同じビット率で３〜４ｄＢ以上の利得が発生することがわかる。
図１５Ａは、入力映像としてＲ−Ｇ−Ｂ映像を使用した時、動き補償のために６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とＧ成分の場合とは６タップフィルタ、Ｒ−Ｂ成分の場合は双一次フィルタを使用した場合（ＭＣ＿ＬＣ）を６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果である。
本発明のＭＣ＿ＬＬ方式が同じビット率でＰＳＮＲ利得が発生することがわかる。
図１５Ｂは、入力映像としてＹ−Ｃｂ−Ｃｒ映像を使用した時、動き補償のためにＹ成分の場合は６タップフィルタを使用し、Ｃｂ−Ｃｒ成分の場合は双一次を使用した場合（ＭＣ＿ＬＣ）とＹ−Ｃｂ−Ｃｒ何れも６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とを６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果を表す。図１５Ｂを参照すれば、本発明により、Ｙ−Ｃｂ−Ｃｒそれぞれの成分に対してモード同じビット率でＰＳＮＲが改善されることがわかる。
本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行されうる。
以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明の本質的な特性から外れない範囲で変形された形態に具現できることがわかる。したがって、開示された実施例を限定的な観点ではなく、説明的な観点で考慮しなければならない。本発明の範囲は、特許請求の範囲内にあらわれており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されなくてはならない。
本発明は、映像を圧縮して保存するビデオレコーダ、ＤＶＤ、カムコーダ、デジタルＴＶなどに適用して映像を効率的に圧縮、復元できる。
１００：第１動き予測部
１０１：インタープレーン予測部
１０２：ＭＥ
１０３：ＭＣ
１０４：イントラプレーン予測部
１０５：ＳＥ
１０６：ＳＰ
１０７：予測誤差算出部
１１０：映像情報把握部
１２０：第２動き予測部
１２２：誤差予測部
１２４：予測誤差映像
１３０：符号化部
１３２：離散コサイン変換（又は離散整数変換）
１３４：量子化
１３６：エントロピー符号化
１４０：第１復元部
１４２：Ｔ-1
１４４：Ｑ-1
１５０：第２復元部
１５２：誤差補償部
１６０：デブロッキングフィルタ
１７０：Ｆ（ｎ）
１７２：Ｆr（ｎ−１）
１７４：Ｆr（ｎ）
１８０：ΔＦn（ｎ）

Claims (7)

  1. 復号化対象映像の色情報を判定する映像情報判定部と、
    前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択するデブロッキングフィルタ選択部と、
    前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングするフィルタリング部とを含み、
    前記映像情報判定部は、前記復号化対象映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記復号化対象映像がＹ−Ｃｂ−Ｃｒ映像であると判定した場合に、前記復号化対象映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＹ成分であるか否かを判定し、
    前記復号化対象映像がＲ−Ｇ−Ｂ映像である場合、前記デブロッキングフィルタ選択部は、前記復号化対象映像の各色成分に対して同じタップ数を有するデブロッキングフィルタを選択することを特徴とするビデオ復号化装置用のデブロッキングフィルタ装置。
  2. 前記デブロッキングフィルタ選択部は、前記復号化対象映像がＲ−Ｇ−Ｂ映像であるか、又は前記復号化対象映像の色成分が前記Ｙ成分であれば、第一のタップ数をもつデブロッキングフィルタを選択し、前記復号化対象映像の色成分がＣｂ成分又はＣｒ成分であれば、前記第一のタップ数よりも少ない第二のタップ数をもつデブロッキングフィルタを選択する、
    請求項１記載のビデオ復号化装置用のデブロッキングフィルタ装置。
  3. 前記フィルタリング部は、ブロック単位の符号化モードと、符号化ブロックパターンと、先行フレームの動きベクトルと、動き補償のための参照映像番号と、インターレース映像の場合のフィールド情報とに基づいて、前記復号化対象映像に対してフィルタリングを実行するか否かを決定する、
    請求項１記載のビデオ復号化装置用のデブロッキングフィルタ装置。
  4. 復号化対象映像の色情報を判定する段階と、
    前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択する段階と、
    前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングする段階とを含み、
    前記映像情報判定段階は、前記復号化対象映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを判定し、前記復号化対象映像がＹ−Ｃｂ−Ｃｒ映像であると判定した場合に、前記復号化対象映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＹ成分であるか否かを判定する段階を含み、
    前記デブロッキングフィルタの長さを選択する段階は、前記復号化対象映像がＲ−Ｇ−Ｂ映像である場合、前記復号化対象映像の各色成分に対して同じタップ数を有するデブロッキングフィルタを選択することを特徴とするビデオ復号化用のデブロッキングフィルタの選択方法。
  5. 前記デブロッキングフィルタ選択段階は、前記復号化対象映像がＲ−Ｇ−Ｂ映像であるか、又は前記復号化対象映像の色成分が前記Ｙ成分であれば、第一のタップ数をもつデブロッキングフィルタを選択し、前記復号化対象映像の色成分がＣｂ成分又はＣｒ成分であれば、前記第一のタップ数よりも少ないタップ数をもつデブロッキングフィルタを選択する段階を含む、
    請求項４記載のビデオ復号化用のデブロッキングフィルタの選択方法。
  6. 前記フィルタリング段階は、ブロック単位の符号化モードと、符号化ブロックパターン、先行フレームの動きベクトルと、動き補償のための参照映像番号と、インターレース映像の場合のフィールド情報とに基づいて前記復号化対象映像に対するフィルタリングを実行するか否かを決定する段階を含む、
    請求項４記載のビデオ復号化用のデブロッキングフィルタの選択方法。
  7. コンピュータに、請求項４乃至６の何れか一項に記載の方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010239750A 2003-07-16 2010-10-26 ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法 Expired - Fee Related JP5528985B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2003-048666 2003-07-16
KR20030048666 2003-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004210266A Division JP4898103B2 (ja) 2003-07-16 2004-07-16 カラー映像のためのビデオ符号化／復号化装置およびその方法

Publications (2)

Publication Number Publication Date
JP2011019288A JP2011019288A (ja) 2011-01-27
JP5528985B2 true JP5528985B2 (ja) 2014-06-25

Family

ID=33563018

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2004210266A Expired - Fee Related JP4898103B2 (ja) 2003-07-16 2004-07-16 カラー映像のためのビデオ符号化／復号化装置およびその方法
JP2010239750A Expired - Fee Related JP5528985B2 (ja) 2003-07-16 2010-10-26 ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法
JP2010239749A Expired - Fee Related JP5629183B2 (ja) 2003-07-16 2010-10-26 ビデオ符号化／復号化用の動き補償装置及びその方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2004210266A Expired - Fee Related JP4898103B2 (ja) 2003-07-16 2004-07-16 カラー映像のためのビデオ符号化／復号化装置およびその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010239749A Expired - Fee Related JP5629183B2 (ja) 2003-07-16 2010-10-26 ビデオ符号化／復号化用の動き補償装置及びその方法

Country Status (5)

Country Link
US (2) US7535961B2 (ja)
EP (1) EP1507415A3 (ja)
JP (3) JP4898103B2 (ja)
KR (1) KR100624429B1 (ja)
CN (3) CN101616329B (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
CN101616329B (zh) * 2003-07-16 2013-01-02 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US20050111545A1 (en) 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR100723403B1 (ko) * 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
JP2008536446A (ja) 2005-04-13 2008-09-04 トムソン ライセンシング ビデオ符号化および復号化のための方法および装置
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP4726047B2 (ja) * 2005-04-26 2011-07-20 Ｋｄｄｉ株式会社 画像符号化装置
US7747096B2 (en) * 2005-07-15 2010-06-29 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding image data
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN101815224A (zh) * 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7903306B2 (en) * 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
US8149918B2 (en) * 2005-11-10 2012-04-03 Electronics And Telecommunications Research Institute Method of estimating coded block pattern and method of determining block mode using the same for moving picture encoder
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR101374851B1 (ko) 2006-01-10 2014-03-14 톰슨 라이센싱 4:4:4 코딩의 병렬 구현을 위한 방법 및 장치
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
JP4618436B2 (ja) 2006-02-10 2011-01-26 富士ゼロックス株式会社 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
TWI339526B (en) * 2006-03-17 2011-03-21 Realtek Semiconductor Corp Image scaling method and related apparatus
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR101261526B1 (ko) * 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
JP2010506440A (ja) 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
JP5421113B2 (ja) * 2006-10-18 2014-02-19 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
KR101354659B1 (ko) * 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
KR20080045516A (ko) * 2006-11-20 2008-05-23 삼성전자주식회사 Ｒｇｂ 영상의 부호화 및 복호화 방법과 그 장치
KR100846795B1 (ko) * 2006-11-24 2008-07-16 삼성전자주식회사 Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치
US9961372B2 (en) 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
KR101490534B1 (ko) * 2007-01-04 2015-02-05 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP4571955B2 (ja) * 2007-02-07 2010-10-27 日本電信電話株式会社 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
KR101388133B1 (ko) 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
KR100906243B1 (ko) * 2007-06-04 2009-07-07 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
KR101455647B1 (ko) 2007-09-14 2014-10-28 삼성전자주식회사 컬러 기반으로 예측 값을 보정하는 방법 및 장치, 이것을이용한 이미지 압축/복원 방법과 장치
US8401071B2 (en) * 2007-12-19 2013-03-19 Sony Corporation Virtually lossless video data compression
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US9602821B2 (en) * 2008-10-01 2017-03-21 Nvidia Corporation Slice ordering for video encoding
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
JP5130245B2 (ja) * 2009-03-31 2013-01-30 株式会社Ｋｄｄｉ研究所 撮影解像度予測型動画像符号化装置および復号装置
CA2785036A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) De-blocking filtering control
JP5358485B2 (ja) * 2010-03-01 2013-12-04 株式会社Ｋｄｄｉ研究所 画像符号化装置
TW201133394A (en) * 2010-03-31 2011-10-01 Novatek Microelectronics Corp Image transient improvement apparatus
TWI730420B (zh) 2010-04-13 2021-06-11 美商Ｇｅ影像壓縮有限公司 樣本區域合併技術
EP2559253A1 (en) 2010-04-13 2013-02-20 Research In Motion Limited Methods and devices for incorporating deblocking into encoded video
HUE025960T2 (en) 2010-04-13 2016-04-28 Ge Video Compression Llc Video coding using multi-tree subdivisions of images
CN106454370B (zh) 2010-04-13 2019-11-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
BR122020010438B1 (pt) 2010-04-13 2021-08-31 Ge Video Compression, Llc Predição inter-plano
KR101147200B1 (ko) * 2010-05-25 2012-05-25 삼성에스디아이 주식회사 리튬 이차 전지용 음극 및 이를 포함하는 리튬 이차 전지
US9438881B2 (en) 2010-07-19 2016-09-06 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
JP5594841B2 (ja) * 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
US9641841B2 (en) 2011-03-01 2017-05-02 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
EP2724534A2 (en) 2011-06-24 2014-04-30 Motorola Mobility LLC Selection of phase offsets for interpolation filters for motion compensation
KR102105497B1 (ko) * 2011-06-28 2020-04-29 소니 주식회사 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,
DK3232664T3 (en) * 2011-06-28 2019-01-07 Samsung Electronics Co Ltd PROCEDURE FOR DECODATION USING INTERPOLATION FILTERS
US9210426B2 (en) * 2011-06-30 2015-12-08 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
EP2727358A1 (en) 2011-07-01 2014-05-07 Motorola Mobility LLC Joint sub-pixel interpolation filter for temporal prediction
US9241258B2 (en) 2011-09-15 2016-01-19 At&T Intellectual Property I, Lp Method and apparatus for managing calls
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
DE102011119177A1 (de) * 2011-11-23 2013-05-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Verfahren zum Erstellen eines ersten Parametersatzes
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US8855446B2 (en) * 2012-04-19 2014-10-07 Qualcomm Incorporated Accelerated video compression multi-tap filter and bilinear interpolator
US20150172715A1 (en) * 2012-07-09 2015-06-18 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
WO2014042838A1 (en) * 2012-09-17 2014-03-20 Motorola Mobility Llc Selective use of chroma interpolation filters in luma interpolation process
JP6151909B2 (ja) 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
EP2966866A4 (en) * 2013-04-05 2016-10-26 Samsung Electronics Co Ltd VIDEO CODING METHOD AND DEVICE THEREFOR, AND VIDEO CODING METHOD AND DEVICE THEREFOR
WO2014166965A1 (en) * 2013-04-08 2014-10-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-component prediction
US9148672B2 (en) * 2013-05-08 2015-09-29 Mediatek Inc. Method and apparatus for residue transform
US20140348240A1 (en) * 2013-05-22 2014-11-27 Qualcomm Incorporated Video coding using sample prediction among color components
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9225991B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US10412419B2 (en) 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
CN103747251B (zh) * 2013-09-30 2017-08-08 北京大学深圳研究生院 一种视频图像的插值优化方法及滤波器
CN103747269B (zh) * 2013-09-30 2017-09-19 北京大学深圳研究生院 一种滤波器插值方法及滤波器
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US9215469B2 (en) 2014-01-10 2015-12-15 Sony Corporation Intra-plane and inter-plane predictive method for RGB image coding
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US20160125263A1 (en) * 2014-11-03 2016-05-05 Texas Instruments Incorporated Method to compute sliding window block sum using instruction based selective horizontal addition in vector processor
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
CN106412579B (zh) * 2015-07-30 2019-07-16 浙江大华技术股份有限公司 一种图像的编码、解码方法和装置
US11019365B2 (en) 2015-07-30 2021-05-25 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image compression
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
JP2018056685A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
RU2760974C2 (ru) 2017-04-21 2021-12-02 Зенимакс Медиа Инк. Системы и способы для векторов движения, генерируемых во время игры
CN107580222B (zh) * 2017-08-01 2020-02-14 北京交通大学 一种基于线性模型预测的图像或视频编码方法
CN109788290A (zh) * 2017-11-13 2019-05-21 慧荣科技股份有限公司 影像处理装置及利用帧内预测的无损影像压缩方法
US10750171B2 (en) * 2018-06-25 2020-08-18 Google Llc Deblocking filtering
WO2021045671A1 (en) * 2019-09-06 2021-03-11 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filter selection in video or image coding
WO2021061312A1 (en) * 2019-09-23 2021-04-01 Alibaba Group Holding Limited Filters for motion compensation interpolation with reference down-sampling

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69118939T2 (de) * 1990-02-06 1996-11-14 Canon Kk Bildverarbeitungsgerät
US5668646A (en) * 1990-02-06 1997-09-16 Canon Kabushiki Kaisha Apparatus and method for decoding differently encoded multi-level and binary image data, the later corresponding to a color in the original image
US5513128A (en) * 1993-09-14 1996-04-30 Comsat Corporation Multispectral data compression using inter-band prediction
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
DE69821693T2 (de) * 1997-03-12 2005-04-07 Matsushita Electric Industrial Co., Ltd., Kadoma Mpeg-decoder zur erzeugung multipler standardausgangssignale
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
KR100367831B1 (ko) * 1998-06-30 2003-01-10 주식회사 팬택앤큐리텔 영상의 색차신호 필터링 방법 및 장치
JP4026238B2 (ja) * 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
JP4051772B2 (ja) * 1998-07-23 2008-02-27 ソニー株式会社 画像復号装置及び画像復号方法
JP2000069478A (ja) 1998-08-18 2000-03-03 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2000078411A (ja) 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd 可逆符号化装置及び可逆符号化方法
US6611620B1 (en) * 1998-08-28 2003-08-26 Matsushita Electric Industrial Co. Ltd. Reversible coding method, reversible coding apparatus, and memory medium used therein
US20020141499A1 (en) * 1999-02-04 2002-10-03 Goertzen Kenbe D. Scalable programmable motion image system
IL129203A (en) 1999-03-28 2002-07-25 Univ Ramot System and method for compressing figures
JP4552261B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP3717795B2 (ja) * 2000-05-26 2005-11-16 三洋電機株式会社 色分離回路及びそれを備えた色信号処理装置
KR100381204B1 (ko) 2000-12-29 2003-04-26 (주) 멀티비아 칼라 정지영상의 부호화 및 복호화 방법
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
JP4129374B2 (ja) * 2001-09-18 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
JP4401783B2 (ja) * 2002-01-24 2010-01-20 株式会社日立製作所 動画像の符号化方法
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US7271851B2 (en) * 2003-01-16 2007-09-18 Samsung Electronics Co., Ltd. Adaptive color transient improvement
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
CN101616329B (zh) * 2003-07-16 2013-01-02 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US20070037169A1 (en) * 2005-08-09 2007-02-15 Combimatrix Corporation Selective Dehybridization using Electrochemically-Generated Reagent on an Electrode Microarray

Also Published As

Publication number Publication date
US8325805B2 (en) 2012-12-04
JP5629183B2 (ja) 2014-11-19
US20050013363A1 (en) 2005-01-20
CN101616329B (zh) 2013-01-02
CN1578477B (zh) 2011-05-04
EP1507415A3 (en) 2005-05-04
CN101616330A (zh) 2009-12-30
EP1507415A2 (en) 2005-02-16
KR20050009226A (ko) 2005-01-24
JP2011045128A (ja) 2011-03-03
JP4898103B2 (ja) 2012-03-14
KR100624429B1 (ko) 2006-09-19
CN1578477A (zh) 2005-02-09
CN101616329A (zh) 2009-12-30
US7535961B2 (en) 2009-05-19
JP2005039842A (ja) 2005-02-10
JP2011019288A (ja) 2011-01-27
US20090196351A1 (en) 2009-08-06
CN101616330B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5528985B2 (ja) ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
JP4092734B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
WO2010143583A1 (ja) 画像処理装置および方法
EP1257127A2 (en) Video transcoder with spatial resolution reduction
KR101648077B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
JP2008507190A (ja) 動き補償方法
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2008109700A (ja) ディジタル信号変換方法およびディジタル信号変換装置
KR101562343B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP4605212B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP4513856B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2008118693A (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP2008109701A (ja) ディジタル信号変換方法およびディジタル信号変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130918

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131018

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140416

R150 Certificate of patent or registration of utility model

Ref document number: 5528985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees