JP6463521B2 - 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 - Google Patents
画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 Download PDFInfo
- Publication number
- JP6463521B2 JP6463521B2 JP2018007108A JP2018007108A JP6463521B2 JP 6463521 B2 JP6463521 B2 JP 6463521B2 JP 2018007108 A JP2018007108 A JP 2018007108A JP 2018007108 A JP2018007108 A JP 2018007108A JP 6463521 B2 JP6463521 B2 JP 6463521B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- prediction
- unit
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 148
- 230000008569 process Effects 0.000 claims description 113
- 238000001914 filtration Methods 0.000 claims description 53
- 238000007906 compression Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 16
- 238000013139 quantization Methods 0.000 description 48
- 238000005192 partition Methods 0.000 description 43
- 239000013598 vector Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、MPEG−4 AVC/H.264の符号化方式(非特許文献1を参照)では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
この画像符号化装置では、ブロック分割部101が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部102に出力する。
予測部102は、ブロック分割部101から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測差分信号を算出する。
そして、その動きベクトルを用いて、メモリ107により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測差分信号を算出する。
また、予測部102は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部108に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
局所復号部104は、圧縮部103から圧縮データを受けると、その圧縮データを逆量子化して、逆DCT処理を実施することで、予測部102から出力された予測差分信号に相当する予測差分信号を算出する。
ループフィルタ106は、加算器105により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ107に格納する。
なお、可変長符号化部108は、ビットストリームを出力する際、予測部102から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
また、この発明は、ブロック歪みの除去精度を高めて、復号画像の品質を改善することができる画像復号装置及び画像復号方法を得ることを目的とする。
実施の形態1.
この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する画像符号化装置と、その画像符号化装置から出力されたビットストリームを復号する画像復号装置について説明する。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
各画素の階調は8ビットでもよいし、10ビット、12ビットなどの階調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。また、以降の説明において、空間的に連続する符号化ブロックのグループを「スライス」と記すことがある。
図1において、符号化制御部1は動き補償予測処理(フレーム間予測処理)又はイントラ予測処理(フレーム内予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部1は符号化モード決定手段を構成している。
イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、イントラ予測用メモリ10により格納されている符号化済みブロックの局所復号画像(参照画像)を参照しながら、符号化制御部1から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部7は画像圧縮手段を構成している。
加算部9は逆量子化・逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
なお、逆量子化・逆変換部8及び加算部9から局所復号画像が構成されている。
ループフィルタ部11は局所復号画像のブロック歪みを除去する際、符号化制御部1により選択された符号化モード(イントラ符号化モード、インター符号化モード)に応じて、ブロック歪みを除去するフィルタの強度を信号成分(輝度信号成分、色差信号成分)別に設定する。
なお、ループフィルタ部11は歪み除去手段を構成している。
図2はこの発明の実施の形態1による画像符号化装置の処理内容を示すフローチャートである。
図3において、可変長復号部21はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ(動きベクトルを含む)を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部25に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ22に出力し、また、その符号化モードをループフィルタ部28に出力する処理を実施する。なお、可変長復号部21は復号手段を構成している。
イントラ予測部23はイントラ予測用メモリ27により格納されている復号済みブロックの復号画像(参照画像)を参照しながら、切替スイッチ22から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
なお、切替スイッチ22、イントラ予測部23及び動き補償部24から予測画像生成手段が構成されている。
イントラ予測用メモリ27はイントラ予測部23により次回のイントラ予測処理で用いられる画像として、加算部26により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
ループフィルタ部28は復号画像のブロック歪みを除去する際、可変長復号部21から出力された符号化モード(イントラ符号化モード、インター符号化モード)に応じて、ブロック歪みを除去するフィルタの強度を信号成分(輝度信号成分、色差信号成分)別に設定する。
なお、ループフィルタ部28は歪み除去手段を構成している。
図4はこの発明の実施の形態1による画像復号装置の処理内容を示すフローチャートである。
最初に、図1の画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、動き補償予測処理(フレーム間予測処理)又はイントラ予測処理(フレーム内予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ここで、図5は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図5の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図5の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図5の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と記する。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
図6(a)の網がけ部分は分割後のパーティションの分布を示し、また、図6(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図6(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
一方、その符号化モードm(Bn)がインター符号化モードであれば(ステップST4)、ブロック分割部2により分割された符号化ブロックBnのパーティションPi nを動き補償予測部5に出力する。
イントラ予測部4は、イントラ予測画像Pi nを生成すると、そのイントラ予測画像Pi nを減算部6及び加算部9に出力するが、図3の画像復号装置でも同じイントラ予測画像Pi nを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。
なお、イントラ予測部4のイントラ予測処理は、例えば、AVC/H.264規格(ISO/IEC 14496−10)に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
なお、インター予測パラメータには、下記の情報が含まれている。
(1)符号化ブロックBn内のパーティションPi nの分割状況を記述しているモード情報
(2)パーティションPi nの動きベクトル
(3)動き補償予測フレームメモリ12により複数の局所復号画像(参照画像)が格納されている場合、いずれの参照画像を用いて、インター予測処理を実施するかを示す参照画像の指示インデックス情報
(4)複数の動きベクトルの予測値候補がある場合、いずれの動きベクトルの予測値を選択して使用するかを示すインデックス情報
(5)複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
(6)パーティションPi nの動きベクトルが複数の画素精度(半画素、1/4画素、1/8画素など)を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。
ループフィルタ部11における処理内容の詳細は後述するが、局所復号画像のブロック歪みを除去する際、符号化制御部1により選択された符号化モード(イントラ符号化モード、インター符号化モード)に応じて、ブロック歪みを除去するフィルタの強度を信号成分(輝度信号成分、色差信号成分)別に設定する。
なお、ループフィルタ部11によるフィルタリング処理は、加算部9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。
可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成する(ステップST13)。
ループフィルタ部11は、上述した予測処理単位であるパーティションと変換ブロックの境界に発生するブロックノイズを低減させる非線形平滑化フィルタである。
図7は符号化ブロック内のフィルタ適用画素の位置を示す説明図である。
図7において、垂直エッジ及び水平エッジと、パーティションまたは変換ブロックのブロック境界が重なる位置がフィルタ処理の対象になる。
図7では、垂直エッジ及び水平エッジがK×K画素グリッドで表されている。Kの値は固定値で定めてもよいし、符号化ブロックの最大サイズやパーティション・変換ブロックの最大サイズ等に応じて設定してもよい。
ループフィルタ部11によるフィルタリング処理は、符号化ブロック毎に実行される。
まず、ループフィルタ部11は、垂直エッジ及び水平エッジが、パーティションまたは変換ブロックの境界と一致するか否かを判定する(ステップST41)。
ループフィルタ部11は、パーティションまたは変換ブロックの境界と一致している垂直エッジ又は水平エッジが存在する場合、境界と一致している箇所のフィルタ強度判定を行う(ステップST42,ST43)。フィルタ強度の判定方法は後述する。
ループフィルタ部11は、ピクチャ内の全ての符号化ブロックに対する処理が完了するまで、ステップST41〜45の処理を繰り返し実施する(ステップST46)。
なお、スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報を多重化することとし、画像符号化装置は、状況に応じて同識別情報の値を決定して画像復号装置に伝送するように構成する。
図9はフィルタ強度の判定方法を示すフローチャートである。
ループフィルタ部11は、垂直エッジと水平エッジに隣接する全画素に対して、下記の条件でフィルタ強度bSを求める(ステップST51)。
以下の説明では、エッジ近傍の画素をpi(i=0,1,2,3),qj(j=0,1,2,3)の記号で表しているが、エッジ位置と画素位置の関係は、図10のように定義する。
(1)フィルタ処理対象の符号化ブロックの符号化モードが、イントラ符号化モードであるか、インター符号化モードであるか
(2)フィルタリング処理を行う信号成分が、輝度信号成分であるか、色差信号成分であるか
(3)フィルタ処理対象の画素を含む変換ブロック内に、非ゼロの変換係数が含まれているか否か
(4)フィルタ処理対象の画素を含むパーティションの中の動きパラメータの状態
(手順1)
符号化ブロックの境界に位置するエッジであり、p0を含む符号化ブロック、または、q0を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分 → bS=2
処理対象信号成分が色差信号成分 → bS=4
に決定する。
手順1での条件に該当しない場合において、
p0を含む符号化ブロック、または、q0を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分 → bS=1
処理対象信号成分が色差信号成分 → bS=3
に決定する。
手順1,2での条件に該当しない場合において、
p0またはq0が非ゼロ直交変換係数を持つ変換ブロックに属する場合
処理対象信号成分が輝度信号成分 → bS=2
処理対象信号成分が色差信号成分 → bS=2
に決定する。
手順1〜3での条件に該当しない場合において、以下のいずれかの条件を満たす場合
処理対象信号成分が輝度信号成分 → bS=1
処理対象信号成分が色差信号成分 → bS=1
に決定する。
[条件]
・p0を含むパーティションとq0を含むパーティションが、
異なる参照ピクチャを持っているか、または、異なる数の動きベクトルを持ってい
る
・p0を含むパーティションとq0を含むパーティションで、
それぞれ1本の動きベクトルが使用され、
双方の動きベクトルの水平成分又は垂直成分の差分絶対値が1/4画素精度で4以
上である
・p0を含むパーティションとq0を含むパーティションで、
それぞれ2本の動きベクトルが使用され、
同じ参照ピクチャを指す動きベクトルペア(p0における動きベクトルと、q0に
おける動きベクトルのペア)の少なくとも1組において、
双方の動きベクトルの水平成分又は垂直成分の差分絶対値が1/4画素精度で4以
上である
手順1〜4での条件に該当しない場合(パーティション/変換ブロックの境界以外のエッジも本条件に該当)
処理対象信号成分が輝度信号成分 → bS=0
処理対象信号成分が色差信号成分 → bS=0
に決定する。
ブロック歪みの程度は、量子化によって、どれだけ主観的に有効な変換係数がなくなってしまうかに左右されるため、ブロック歪みの程度を測る尺度であるフィルタ強度の値は、特にイントラ符号化において、輝度と色差で調整できることが望ましい。
従来のループフィルタ106(図16を参照)では、色差信号成分のフィルタ強度は、常に、輝度信号成分のフィルタ強度と同じ値に設定されているが、この実施の形態1では、条件に応じて信号成分(輝度信号成分、色差信号成分)別にフィルタ強度を設定しているので、従来よりも画質の改善に寄与するフィルタ強度が得られる。
まず、ループフィルタ部11は、垂直エッジに対して、Kライン毎にフィルタ強度bSの最大値を求め、その最大値をbSVerとする。
ループフィルタ部11は、最大値bSVerに基づいて、当該Kラインのエッジ近傍画素に対するフィルタリング処理を行う。
図11は垂直エッジに対するフィルタリング処理の単位を示す説明図である。垂直エッジを中心とするK×K画素が同一のbSVerになる。各画素に適用される最終的なフィルタ強度bSは、最大値bSVerと各画素位置での画素値の変化量によって決まる。
図12には、水平エッジに対するフィルタリング処理の単位を示している。処理の方向が垂直から水平に変化する以外は垂直エッジと同じである。
ループフィルタ部11は、輝度信号成分の垂直エッジ方向に対して、以下の手順でフィルタリング処理を行う。輝度信号成分の水平エッジ方向に対するフィルタリング処理も同じ手順であるが、最大値bSVerの代わりに、水平エッジに対するKライン毎のフィルタ強度bSの最大値bSHorを用いる。
フィルタリング処理を行わない。
[b]bSVer≦2の場合
(1)図13において、Q=(輝度のqP値)とする場合のパラメータβ,Tc
を求める。
図13はQ(輝度のqP値)とパラメータβ,Tcの対応関係を示す説明図である。
図13において、Q=(輝度のqP値)とする場合のパラメータβと、Q=(輝度のqP値+4)とする場合のパラメータTcを求める。以降の処理はbSVer≦2の場合と同様である。
例えば、スライスレベルでフィルタ強度bSの値をシグナリングするか否かを示す識別情報を多重することで、スライス毎に、フィルタ強度bSの設定値を変更できるように構成してもよい。
その際の変更は、輝度信号成分だけとして、色差信号成分は固定にしてもよいし、逆に輝度信号成分は固定として、色差信号成分だけを変更できるように構成してもよい。
設定値のシグナリングは値そのものでもよいし、フィルタ強度bSをデフォルト値とするオフセット値の形式でも構わない。色差信号成分のフィルタ強度を輝度信号成分のフィルタ強度のオフセット値として表現するようにしてもよい。
(手順1)
符号化ブロックの境界に位置するエッジであり、poを含む符号化ブロック、または、qoを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分 → bS=max(4−bSL、0)
処理対象信号成分が色差信号成分 → bS=max(4−bSC、0)
に決定する。ここで、max(A,B)は、AとBのうち大きいほうの値を出力する関数である。
手順1での条件に該当しない場合において、
poを含む符号化ブロック、または、qoを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
処理対象信号成分が輝度信号成分 → bS=max(3−bSL、0)
処理対象信号成分が色差信号成分 → bS=max(3−bSC、0)
に決定する。
やむを得ずイントラ符号化を行う場合は、符号化の難しさに対応して歪みが重畳されるのに対して、周期的・意図的にイントラ符号化を発生させる場合は、符号化の難しさと直接的に関係なくイントラ符号化が用いられるため、それぞれブロック歪みの発生の仕方に差異が生じる。
従来のループフィルタでは、これらを判別して、フィルタ強度を制御する手段がない。
周期イントラ挿入はスライスやピクチャの単位で実行されるため、これらの単位でフィルタ強度を用途に応じて制御することで、ブロック歪みをより良く抑制することが可能になる。
また、逆に符号化モードがインター符号化モードである場合のフィルタ強度bSの設定値をシグナリングするように構成しても構わない。
図14の例では、スライス符号化データがスライスヘッダと、それに続くスライス内の個数分の最大符号化ブロック符号化データから構成される様子を示している。
各最大符号化ブロック符号化データは、符号化モードを含んでいる。図示していないが、最大符号化ブロック符号化データには、符号化ブロック毎に、パーティション単位の動きベクトルなどの予測パラメータ、変換ブロックサイズなどの予測差分符号化パラメータ、予測差分符号化データ(量子化済み変換係数)を含んでいる。
スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報であるループフィルタON/OFFフラグ、フィルタ強度bSの設定値をシグナリングするか否かを示すフラグであるフィルタ強度情報多重化フラグ、フィルタ強度情報多重化フラグが“1”の場合に多重するフィルタ強度情報が含まれている。
フィルタ強度情報多重化フラグ及びフィルタ強度情報は、ピクチャ、シーケンスやGOP(Group Of Pictures)などの単位で定義されるヘッダ情報領域に多重するように構成してもよい。
可変長復号部21は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にピクチャサイズ(水平画素数・垂直ライン数)を規定する情報を復号する。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
ビットストリームの構成が図14の構成である場合、可変長復号部21は、最大符号化ブロックレベルの復号に先立ち、スライスヘッダからループフィルタON/OFFフラグを復号する。
可変長復号部21は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードm(Bn)を復号し、その符号化モードm(Bn)に属しているパーティションPi nの情報に基づいて、符号化ブロックBnに属しているパーティションPi nを特定する。
可変長復号部21は、符号化ブロックBnに属しているパーティションPi nを特定すると、パーティションPi n毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ(動きベクトルを含む)を復号する(ステップST24)。
一方、パーティションPi nの符号化モードm(Bn)がインター符号化モードである場合(ステップST25)、可変長復号部21から出力されたインター予測パラメータを動き補償予測部24に出力する。
ループフィルタ部28は、加算部26から復号画像信号を受けると、その復号画像信号に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み(ブロック歪み)を除去し、歪み除去後の復号画像信号が示す復号画像を動き補償予測フレームメモリ29に格納する。
ループフィルタ部28におけるフィルタリング処理は、図1のループフィルタ部11におけるフィルタリング処理と同様であり、その復号画像のブロック歪みを除去する際、可変長復号部21から出力された符号化モード(イントラ符号化モード、インター符号化モード)に応じて、ブロック歪みを除去するフィルタの強度を信号成分(輝度信号成分、色差信号成分)別に設定する。
なお、可変長復号部21によりスライスヘッダからフィルタ強度情報多重化フラグ及びフィルタ強度情報が復号されている場合には、そのフィルタ強度情報が示すフィルタ強度bSでフィルタリング処理を実行する。
フレーム内予測処理(イントラ予測処理)とフレーム間動き補償予測処理(インター予測処理)を組み合わせて実施する画像符号化装置及び画像復号装置において、すべてのフレームをイントラ予測処理で符号化するように設定したときに、ループフィルタ部11,28の動作を利用しないように制御することも可能である。
例えば、図15に示すように、符号化ブロックBnのサイズがLn=kMnとなる場合が考えられる。
次の分割では、(Ln+1,Mn+1)=(Ln,Mn)となり、以降の分割は、図5と同様の分割を行ってもよいし、(Ln+1,Mn+1)=(Ln/2,Mn/2)のように分割を行ってもよい。
なお、Ln=kMnではなく、kLn=Mnのように、縦に連結したものであっても同様の考えで、分割が可能であることは言うまでもない。
Claims (4)
- 画像の符号化処理の単位である符号化ブロックに対して符号化処理を実施する画像符号化装置であって、
上記符号化ブロックに対して決定された符号化モードにしたがって上記符号化ブロックの予測画像を生成する予測画像生成手段と、
上記符号化ブロックと上記予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、
上記差分画像の上記圧縮データを伸張し、伸張後の差分画像と上記予測画像を加算して復号画像を生成する復号画像生成手段と、
上記復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する予測ブロックの境界に生じるブロック歪みを除去する歪み除去手段と、
フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化手段を備え、
上記歪み除去手段は、上記フィルタリング処理が適用される上記隣接する予測ブロックの少なくとも1つに対応する上記符号化モードがイントラ予測モードかどうかの条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から1つのフィルタリング処理を選択する処理に使用されることを特徴とする画像符号化装置。 - 画像を符号化ブロック単位に符号化処理して得られる符号化データの復号処理を実施する画像復号装置であって、
上記符号化データから上記符号化ブロックに係る差分画像の圧縮データ、上記符号化ブロックの予測モードを示す符号化モードの情報及びフィルタの強度を定めるパラメータの基準値に対するオフセットを復号する復号手段と、
上記符号化モードにしたがって予測処理を実施し、上記符号化ブロックに対する予測画像を生成する予測画像生成手段と、
上記圧縮データを伸張して得られた上記差分画像と上記予測画像とを加算して復号画像を生成する復号画像生成手段と、
上記復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する予測ブロックの境界に生じるブロック歪みを除去する歪み除去手段とを備え、
上記歪み除去手段は、上記フィルタリング処理が適用される上記隣接する予測ブロックの少なくとも1つに対応する上記符号化モードがイントラ予測モードかどうかの条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から1つのフィルタリング処理を選択する処理に使用されることを特徴とする画像復号装置。 - 画像に符号化ブロック単位の符号化処理を実施する画像符号化方法であって、
符号化ブロックに対して決定された符号化モードにしたがって上記符号化ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、
上記符号化ブロックと上記予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、
上記差分画像を伸張し、伸張後の差分画像と上記予測画像を加算して復号画像を生成する復号画像生成処理ステップと、
上記復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する予測ブロックの境界に生じるブロック歪みを除去する歪み除去処理ステップと、
フィルタの強度を定めるパラメータの基準値に対するオフセットを符号化データに符号化する符号化ステップを備え、
上記歪み除去処理ステップでは、上記フィルタリング処理が適用される上記隣接する予測ブロックの少なくとも1つに対応する上記符号化モードがイントラ予測モードかどうかの条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から1つのフィルタリング処理を選択する処理に使用されることを特徴とする画像符号化方法。 - 画像を符号化ブロック単位に符号化処理して得られる符号化データの復号処理を実施する画像復号方法であって、
上記符号化データから符号化ブロックに係る差分画像の圧縮データ、上記符号化ブロックの予測モードを示す符号化モードの情報及びフィルタの強度を定めるパラメータの基準値に対するオフセットを復号する復号処理ステップと、
上記符号化モードにしたがって符号化ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、
上記圧縮データを伸張して得られた上記差分画像と上記予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、
上記復号画像に対するフィルタリング処理を実施して、上記復号画像の隣接する予測ブロックの境界に生じるブロック歪みを除去する歪み除去処理ステップとを備え、
上記歪み除去処理ステップでは、上記フィルタリング処理が適用される上記隣接する予測ブロックの少なくとも1つに対応する上記符号化モードがイントラ予測モードかどうかの条件にしたがって、上記オフセットを用いて上記パラメータを導出し、上記パラメータは異なる複数のフィルタリング処理から1つのフィルタリング処理を選択する処理に使用されることを特徴とする画像復号方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011145612 | 2011-06-30 | ||
JP2011145612 | 2011-06-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016079566A Division JP6632456B2 (ja) | 2011-06-30 | 2016-04-12 | 画像符号化データ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247073A Division JP6667609B2 (ja) | 2011-06-30 | 2018-12-28 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018082498A JP2018082498A (ja) | 2018-05-24 |
JP6463521B2 true JP6463521B2 (ja) | 2019-02-06 |
Family
ID=47423659
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013522711A Active JP5709996B2 (ja) | 2011-06-30 | 2012-06-05 | 画像復号装置及び画像復号方法 |
JP2014239167A Active JP5921651B2 (ja) | 2011-06-30 | 2014-11-26 | 画像符号化装置、画像符号化方法および符号化データのデータ構造 |
JP2016079566A Active JP6632456B2 (ja) | 2011-06-30 | 2016-04-12 | 画像符号化データ |
JP2018007108A Active JP6463521B2 (ja) | 2011-06-30 | 2018-01-19 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
JP2018247073A Active JP6667609B2 (ja) | 2011-06-30 | 2018-12-28 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
JP2020029425A Active JP6863669B2 (ja) | 2011-06-30 | 2020-02-25 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013522711A Active JP5709996B2 (ja) | 2011-06-30 | 2012-06-05 | 画像復号装置及び画像復号方法 |
JP2014239167A Active JP5921651B2 (ja) | 2011-06-30 | 2014-11-26 | 画像符号化装置、画像符号化方法および符号化データのデータ構造 |
JP2016079566A Active JP6632456B2 (ja) | 2011-06-30 | 2016-04-12 | 画像符号化データ |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247073A Active JP6667609B2 (ja) | 2011-06-30 | 2018-12-28 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
JP2020029425A Active JP6863669B2 (ja) | 2011-06-30 | 2020-02-25 | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 |
Country Status (7)
Country | Link |
---|---|
US (11) | US9210426B2 (ja) |
EP (1) | EP2728877A4 (ja) |
JP (6) | JP5709996B2 (ja) |
KR (6) | KR102111917B1 (ja) |
CN (6) | CN106713914B (ja) |
BR (1) | BR112013028175B1 (ja) |
WO (1) | WO2013001727A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5705833B2 (ja) * | 2010-04-13 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 画像符号化方法および画像復号化方法 |
KR102111917B1 (ko) | 2011-06-30 | 2020-05-18 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
US9967558B1 (en) * | 2013-12-17 | 2018-05-08 | Google Llc | Adaptive motion search control for variable block size partitions in video coding |
US9756340B2 (en) | 2014-02-03 | 2017-09-05 | Mitsubishi Electric Corporation | Video encoding device and video encoding method |
CN105981389B (zh) * | 2014-02-03 | 2019-03-01 | 三菱电机株式会社 | 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法 |
JP2015173312A (ja) * | 2014-03-11 | 2015-10-01 | ソニー株式会社 | 画像符号化装置および方法、並びに画像復号装置および方法 |
KR102517615B1 (ko) * | 2015-06-12 | 2023-04-04 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치 |
US10390026B2 (en) * | 2016-03-25 | 2019-08-20 | Google Llc | Smart reordering in recursive block partitioning for advanced intra prediction in video coding |
CN111373751B (zh) * | 2017-08-10 | 2023-02-28 | 夏普株式会社 | 图像滤波装置、图像解码装置以及图像编码装置 |
CN115955562A (zh) | 2017-11-29 | 2023-04-11 | 韩国电子通信研究院 | 采用环内滤波的图像编码/解码方法和装置 |
CN110062226B (zh) * | 2018-01-18 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、视频解码方法、装置、系统及介质 |
AU2018416684B2 (en) * | 2018-03-29 | 2022-12-01 | Sony Corporation | Image processing apparatus and image processing method |
JP7082529B2 (ja) * | 2018-06-06 | 2022-06-08 | ルネサスエレクトロニクス株式会社 | 半導体装置及び半導体装置による処理方法 |
EP3876542A4 (en) * | 2018-11-02 | 2022-01-26 | Sony Group Corporation | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
CN118042170A (zh) * | 2018-12-13 | 2024-05-14 | Sk电信有限公司 | 视频编码设备、视频解码方法和发送设备 |
KR20200073124A (ko) | 2018-12-13 | 2020-06-23 | 에스케이텔레콤 주식회사 | 필터링 방법 및 영상 복호화 장치 |
JP7026065B2 (ja) * | 2019-03-12 | 2022-02-25 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP7267191B2 (ja) * | 2019-12-26 | 2023-05-01 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
CN115053523A (zh) * | 2020-02-10 | 2022-09-13 | 松下电器(美国)知识产权公司 | 编码装置、解码装置、编码方法和解码方法 |
CN113709504B (zh) * | 2021-10-27 | 2022-02-15 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及可读存储介质 |
Family Cites Families (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5150432A (en) * | 1990-03-26 | 1992-09-22 | Kabushiki Kaisha Toshiba | Apparatus for encoding/decoding video signals to improve quality of a specific region |
JP2806308B2 (ja) * | 1995-06-30 | 1998-09-30 | 日本電気株式会社 | 音声復号化装置 |
US6064776A (en) * | 1995-10-27 | 2000-05-16 | Kabushiki Kaisha Toshiba | Image processing apparatus |
US6749339B1 (en) | 1999-09-03 | 2004-06-15 | Sumitomo Electric Industries, Ltd. | Hydrodynamic bearing assembly and spindle motor having the same |
US7450641B2 (en) * | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
US6931063B2 (en) | 2001-03-26 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding |
KR100525785B1 (ko) * | 2001-06-15 | 2005-11-03 | 엘지전자 주식회사 | 이미지 화소 필터링 방법 |
EP1515567B1 (en) * | 2001-09-12 | 2006-08-23 | Matsushita Electric Industrial Co., Ltd. | Image coding method and image decoding method |
US7319415B2 (en) | 2002-05-01 | 2008-01-15 | Thomson Licensing | Chroma deblocking filter |
JP4580626B2 (ja) * | 2002-07-11 | 2010-11-17 | パナソニック株式会社 | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 |
BRPI0303901B1 (pt) * | 2002-07-11 | 2018-03-06 | Godo Kaisha Ip Bridge 1 | Método de determinação de poder de filtragem para determinar um poder de filtragem para remover uma distorção de codificação entre blocos que constituem uma imagem, método de decodificação de imagem móvel para decodificar os dados de imagem móvel codificados, aparelho de determinação de poder de filtragem, e aparelho de codificação de imagem móvel |
US7292733B2 (en) * | 2002-10-16 | 2007-11-06 | Matsushita Electric Industrial Co., Ltd. | Image processing apparatus and image processing method |
US7227901B2 (en) * | 2002-11-21 | 2007-06-05 | Ub Video Inc. | Low-complexity deblocking filter |
US20040179610A1 (en) * | 2003-02-21 | 2004-09-16 | Jiuhuai Lu | Apparatus and method employing a configurable reference and loop filter for efficient video coding |
US7167522B2 (en) * | 2003-02-27 | 2007-01-23 | Texas Instruments Incorporated | Video deblocking filter |
CN101616329B (zh) * | 2003-07-16 | 2013-01-02 | 三星电子株式会社 | 用于色彩图像的视频编码/解码装置和方法 |
WO2005018239A1 (ja) * | 2003-08-19 | 2005-02-24 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法および動画像復号化方法 |
US7599438B2 (en) | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
US7486740B2 (en) | 2004-04-02 | 2009-02-03 | Qualcomm Incorporated | Calibration of transmit and receive chains in a MIMO communication system |
NO320048B1 (no) * | 2004-06-14 | 2005-10-17 | Tandberg Telecom As | Fremgangsmate for chroma de-blokking |
US8085846B2 (en) * | 2004-08-24 | 2011-12-27 | Thomson Licensing | Method and apparatus for decoding hybrid intra-inter coded blocks |
EP1646243B1 (en) * | 2004-09-30 | 2009-06-24 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
JP4457346B2 (ja) * | 2004-11-12 | 2010-04-28 | ノーリツ鋼機株式会社 | 画像ノイズ除去方法 |
KR100843196B1 (ko) | 2004-12-17 | 2008-07-02 | 삼성전자주식회사 | H.264/avc 비디오 디코더의 디블록킹 필터 |
US7961963B2 (en) * | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
US8149926B2 (en) * | 2005-04-11 | 2012-04-03 | Intel Corporation | Generating edge masks for a deblocking filter |
US8488889B2 (en) * | 2005-07-22 | 2013-07-16 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
KR100678958B1 (ko) * | 2005-07-29 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
US7920628B2 (en) * | 2005-07-29 | 2011-04-05 | Broadcom Corporation | Noise filter for video compression |
US8681867B2 (en) * | 2005-10-18 | 2014-03-25 | Qualcomm Incorporated | Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value |
KR100977101B1 (ko) * | 2005-11-30 | 2010-08-23 | 가부시끼가이샤 도시바 | 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치 |
CN101371584B (zh) * | 2006-01-09 | 2011-12-14 | 汤姆森特许公司 | 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置 |
JP4643453B2 (ja) * | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
JP4649347B2 (ja) * | 2006-02-28 | 2011-03-09 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
JP4987322B2 (ja) * | 2006-02-28 | 2012-07-25 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
JP4769605B2 (ja) * | 2006-03-17 | 2011-09-07 | 富士通株式会社 | 動画像符号装置及び方法 |
JP4360379B2 (ja) * | 2006-05-16 | 2009-11-11 | ソニー株式会社 | 画像処理装置及び画像処理方法、プログラム及び記録媒体 |
US9001899B2 (en) * | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
CN105430399A (zh) * | 2006-11-08 | 2016-03-23 | 汤姆逊许可证公司 | 用于环内去伪影滤波的方法和设备 |
US9445128B2 (en) * | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
KR100922275B1 (ko) * | 2006-12-15 | 2009-10-15 | 경희대학교 산학협력단 | 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치 |
JP5467637B2 (ja) * | 2007-01-04 | 2014-04-09 | トムソン ライセンシング | マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置 |
JP2008193627A (ja) * | 2007-01-12 | 2008-08-21 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 |
JP5026092B2 (ja) | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
WO2008090793A1 (ja) | 2007-01-22 | 2008-07-31 | Nec Corporation | 画像再符号化装置、画像再符号化方法及び画像符号化プログラム |
JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
US8204129B2 (en) * | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
JP2008289134A (ja) * | 2007-04-20 | 2008-11-27 | Panasonic Corp | 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム |
CN101321277A (zh) * | 2007-06-09 | 2008-12-10 | 华为技术有限公司 | 去块效应的方法及装置 |
JP2009004920A (ja) * | 2007-06-19 | 2009-01-08 | Panasonic Corp | 画像符号化装置および画像符号化方法 |
JPWO2009001793A1 (ja) * | 2007-06-26 | 2010-08-26 | 株式会社東芝 | 画像符号化と画像復号化の方法及び装置 |
US7991237B2 (en) * | 2007-06-28 | 2011-08-02 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
US8619880B2 (en) * | 2007-10-10 | 2013-12-31 | Qualcomm Incorporated | Universal blockiness correction |
CN101212665B (zh) * | 2007-12-25 | 2012-01-25 | 海信集团有限公司 | 一种环路滤波方法 |
WO2009088340A1 (en) * | 2008-01-08 | 2009-07-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive filtering |
EP2229782A2 (en) | 2008-01-14 | 2010-09-22 | Thomson Licensing | Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering |
JP4919231B2 (ja) * | 2008-03-24 | 2012-04-18 | 株式会社メガチップス | 画像処理装置 |
JP2010028347A (ja) * | 2008-07-17 | 2010-02-04 | Ntt Electornics Corp | プレフィルタ |
TWI386068B (zh) * | 2008-10-22 | 2013-02-11 | Nippon Telegraph & Telephone | 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體 |
CN101754010A (zh) * | 2008-12-18 | 2010-06-23 | 北京中星微电子有限公司 | 视频数据编码的环路滤波方法和滤波器 |
CN101567964B (zh) * | 2009-05-15 | 2011-11-23 | 南通大学 | 一种低码率视频应用中的预处理降噪去块效应方法 |
JP2010288079A (ja) * | 2009-06-11 | 2010-12-24 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2011049740A (ja) | 2009-08-26 | 2011-03-10 | Sony Corp | 画像処理装置および方法 |
US10291938B2 (en) * | 2009-10-05 | 2019-05-14 | Interdigital Madison Patent Holdings | Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding |
JPWO2011061880A1 (ja) | 2009-11-19 | 2013-04-04 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
US9185430B2 (en) * | 2010-03-15 | 2015-11-10 | Mediatek Singapore Pte. Ltd. | Deblocking filtering method and deblocking filter |
JP5393573B2 (ja) * | 2010-04-08 | 2014-01-22 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム |
WO2011136896A1 (en) * | 2010-04-27 | 2011-11-03 | Sony Corporation | Boundary adaptive intra prediction for improving subjective video quality |
JP5942990B2 (ja) * | 2011-05-27 | 2016-06-29 | ソニー株式会社 | 画像処理装置および方法 |
KR102111917B1 (ko) | 2011-06-30 | 2020-05-18 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
US20130016769A1 (en) * | 2011-07-17 | 2013-01-17 | Qualcomm Incorporated | Signaling picture size in video coding |
US8396127B1 (en) * | 2012-06-27 | 2013-03-12 | Google Inc. | Segmentation for video coding using predictive benefit |
US9344729B1 (en) * | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
JP6787667B2 (ja) * | 2012-09-21 | 2020-11-18 | ノキア テクノロジーズ オサケユイチア | ビデオコーディングのための方法と装置 |
WO2014107709A2 (en) * | 2013-01-07 | 2014-07-10 | Vid Scale, Inc. | Enhanced deblocking filters for video coding |
US10708588B2 (en) * | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
US8983569B2 (en) | 2013-06-22 | 2015-03-17 | Zinus, Inc. | Comfortably securing physiological sensors onto a person during sleep |
KR102264679B1 (ko) * | 2013-10-14 | 2021-06-14 | 삼성전자주식회사 | 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치 |
CN105981389B (zh) * | 2014-02-03 | 2019-03-01 | 三菱电机株式会社 | 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法 |
US10306246B2 (en) * | 2015-02-13 | 2019-05-28 | Mediatek Inc. | Method and apparatus of loop filters for efficient hardware implementation |
US20180091812A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
US11451773B2 (en) * | 2018-06-01 | 2022-09-20 | Qualcomm Incorporated | Block-based adaptive loop filter (ALF) design and signaling |
US11683487B2 (en) * | 2019-03-26 | 2023-06-20 | Qualcomm Incorporated | Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding |
-
2012
- 2012-06-05 KR KR1020197027576A patent/KR102111917B1/ko active IP Right Grant
- 2012-06-05 CN CN201710158403.2A patent/CN106713914B/zh active Active
- 2012-06-05 JP JP2013522711A patent/JP5709996B2/ja active Active
- 2012-06-05 US US14/110,366 patent/US9210426B2/en active Active
- 2012-06-05 KR KR1020167007538A patent/KR20160038070A/ko active Application Filing
- 2012-06-05 KR KR1020147001468A patent/KR101607781B1/ko active IP Right Grant
- 2012-06-05 KR KR1020167036262A patent/KR102026519B1/ko active IP Right Grant
- 2012-06-05 CN CN201710158993.9A patent/CN106941608B/zh active Active
- 2012-06-05 BR BR112013028175-8A patent/BR112013028175B1/pt active IP Right Grant
- 2012-06-05 WO PCT/JP2012/003680 patent/WO2013001727A1/ja active Application Filing
- 2012-06-05 CN CN201710158425.9A patent/CN106954067B/zh active Active
- 2012-06-05 KR KR1020147034099A patent/KR101860606B1/ko active IP Right Grant
- 2012-06-05 CN CN201280028658.2A patent/CN103621083B/zh active Active
- 2012-06-05 CN CN201710158404.7A patent/CN106658014B/zh active Active
- 2012-06-05 KR KR1020187013151A patent/KR102024516B1/ko active IP Right Grant
- 2012-06-05 EP EP12804396.5A patent/EP2728877A4/en not_active Ceased
- 2012-06-05 CN CN201710159012.2A patent/CN106658015B/zh active Active
-
2014
- 2014-11-26 JP JP2014239167A patent/JP5921651B2/ja active Active
-
2015
- 2015-05-08 US US14/707,940 patent/US9654773B2/en active Active
-
2016
- 2016-04-12 JP JP2016079566A patent/JP6632456B2/ja active Active
-
2017
- 2017-04-05 US US15/479,584 patent/US9906795B2/en active Active
-
2018
- 2018-01-11 US US15/868,253 patent/US10334251B2/en active Active
- 2018-01-19 JP JP2018007108A patent/JP6463521B2/ja active Active
- 2018-12-28 JP JP2018247073A patent/JP6667609B2/ja active Active
-
2019
- 2019-04-30 US US16/399,178 patent/US10863180B2/en active Active
-
2020
- 2020-02-25 JP JP2020029425A patent/JP6863669B2/ja active Active
- 2020-10-29 US US17/083,441 patent/US11575906B2/en active Active
-
2023
- 2023-01-04 US US18/093,082 patent/US11831881B2/en active Active
- 2023-10-20 US US18/490,949 patent/US20240048721A1/en active Pending
- 2023-10-20 US US18/490,979 patent/US20240048723A1/en active Pending
- 2023-10-20 US US18/490,964 patent/US20240048722A1/en active Pending
- 2023-10-20 US US18/490,939 patent/US20240048720A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463521B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
JP6082073B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム | |
WO2012081162A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2012080212A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2015080002A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6463521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |