JP6851429B2 - 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 - Google Patents
画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 Download PDFInfo
- Publication number
- JP6851429B2 JP6851429B2 JP2019112121A JP2019112121A JP6851429B2 JP 6851429 B2 JP6851429 B2 JP 6851429B2 JP 2019112121 A JP2019112121 A JP 2019112121A JP 2019112121 A JP2019112121 A JP 2019112121A JP 6851429 B2 JP6851429 B2 JP 6851429B2
- Authority
- JP
- Japan
- Prior art keywords
- coding
- prediction
- image
- block
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 101
- 238000012545 processing Methods 0.000 claims description 108
- 230000008569 process Effects 0.000 claims description 76
- 238000001914 filtration Methods 0.000 claims description 26
- 238000013139 quantization Methods 0.000 description 61
- 238000005192 partition Methods 0.000 description 60
- 238000006243 chemical reaction Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図10は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図10において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで予測画像を生成する。例えば、横縞模様のときにはモード1が選択される。
モード3〜モード8は、上または左のブロックの隣接画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成する。
16×16画素の場合には、4個のイントラ予測モード(平均値予測、垂直方向予測、水平方向予測、平面予測)が規定されている。
平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。
しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで(揺らぐ、曲がる等)いたりするだけで、局所的に大きな予測誤差が発生してしまって、予測効率が極端に低下することがある。
このような予測効率の低下を防ぐために、8×8画素の方向性予測では、符号化済みの隣接画素に平滑化フィルタを施したものを予測画像の生成時に用いる参照画像とすることで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。
また、同一サイズのブロックにおいても、予測誤差信号を量子化する際に用いる量子化パラメータや、ブロック内の画素の位置などが異なると、局所的な予測誤差を低減するのに適しているフィルタが異なるが、一通りのフィルタしか用意されておらず、予測誤差を十分に低減することができない課題があった。
また、この発明によれば、符号化ブロックの符号化モードがイントラ符号化モードである場合、予測処理単位である符号化ブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段と、符号化モードがインター符号化モードである場合、符号化ブロックの各々に動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、を備え、イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、ブロックの輝度信号に対してブロックサイズとイントラ予測パラメータに応じて中間予測値に対するフィルタ処理を行うことにより最終的な予測値を得る処理を実施するものであり、フィルタ処理はブロックの特定の位置の画素のみに対し行われるように構成した。
これにより、局所的に発生する予測誤差を低減して、画像品質の高い画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を画像復号装置側でも生成することができる効果を奏する。
実施の形態1.
この実施の形態1では、映像の各フレーム画像を入力し、符号化済みの近傍画素からのイントラ予測処理または近接フレーム間で動き補償予測処理を実施することで予測画像を生成し、その予測画像とフレーム画像の差分画像である予測誤差信号に対して、直交変換・量子化による圧縮処理を施した後に、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測誤差信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測誤差信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測誤差の符号化処理を実施するようにしている。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図1において、符号化制御部1はイントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測誤差符号化パラメータに含まれて、変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13等に出力される。
なお、符号化制御部1は符号化制御手段を構成している。
切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。
ただし、イントラ予測部4は上記の予測画像を生成した後、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を減算部6及び加算部9に出力する。
上記のフィルタは、次の4個のパラメータのうちの少なくとも1つ以上のパラメータを考慮して選択する。
・パラメータ(1)
上記の予測画像のブロックサイズ
・パラメータ(2)
符号化制御部1により決定された量子化パラメータ
・パラメータ(3)
予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離
・パラメータ(4)
符号化制御部1により決定されたイントラ予測パラメータ
なお、切替スイッチ3及びイントラ予測部4からイントラ予測手段が構成されている。
なお、切替スイッチ3及び動き補償予測部5から動き補償予測手段が構成されている。
変換・量子化部7は符号化制御部1から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部7は画像圧縮手段を構成している。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。
図2において、可変長復号部51はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測誤差符号化パラメータを逆量子化・逆変換部55に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ52に出力する処理を実施する。なお、可変長復号部51は可変長復号手段を構成している。
ただし、イントラ予測部53は上記の予測画像を生成した後、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を加算部56に出力する。
上記のフィルタは、次の4個のパラメータのうちの少なくとも1つ以上のパラメータを考慮して選択する。
・パラメータ(1)
上記の予測画像のブロックサイズ
・パラメータ(2)
可変長復号部51により可変長復号された量子化パラメータ
・パラメータ(3)
予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離
・パラメータ(4)
可変長復号部51により可変長復号されたイントラ予測パラメータ
なお、切替スイッチ52及びイントラ予測部53からイントラ予測手段が構成されている。
なお、切替スイッチ52及び動き補償予測部54から動き補償予測手段が構成されている。
イントラ予測用メモリ57はイントラ予測部53により次回のイントラ予測処理で用いられる画像として、加算部56により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ59は動き補償予測部54により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部58によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。
図3はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。
図4はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図3のステップST1)。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測誤差符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測誤差符号化パラメータを必要に応じてイントラ予測部4に出力する。
ここで、図5は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図5の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図5の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図5の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と記する。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
図6(a)の網がけ部分は分割後のパーティションの分布を示し、また、図6(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図6(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
一方、その符号化モードm(Bn)がインター符号化モードであれば(ステップST3)、ブロック分割部2により分割された符号化ブロックBnのパーティションPi nを動き補償予測部5に出力する。
ただし、イントラ予測部4は、上記のイントラ予測画像Pi nを生成した後、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Pi nに対するフィルタ処理を実施する。
イントラ予測部4は、イントラ予測画像Pi nに対するフィルタ処理を実施すると、フィルタ処理後のイントラ予測画像Pi nを減算部6及び加算部9に出力するが、図2の動画像復号装置でも同じイントラ予測画像Pi nを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。
イントラ予測部4の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。
なお、動き補償予測処理を実施することで予測画像を生成する技術は公知の技術であるため詳細な説明を省略する。
加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。
可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成する(ステップST12)。
ループフィルタ部11によるフィルタリング処理は、加算器9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、複数の最大符号化ブロックをまとめた単位で行ったり、1ピクチャ分の局所復号画像信号が出力された後に1ピクチャ分まとめて行ったりしてもよい。
図7は符号化ブロックBn内の各パーティションPi nにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図7の例では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを表しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計している。
以下、パーティションPi nの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
図8はli n=mi n=4のとき、パーティションPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、パーティションPi nに隣接する符号化済みの上パーティションの画素(2×li n+1)個と左パーティションの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素よりも、多くても少なくてもよい。
また、図8では、隣接する1行または1列分の画素を予測に用いているが、2行または2列、あるいはそれ以上の画素を予測に用いてもよい。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
ただし、予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とする。
予測に用いる参照画素の位置は、下記に示すAと隣接画素の交点となる。
一方、参照画素が整数画素位置にない場合は、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素から内挿して予測値を算出する。ただし、予測値は隣接する2画素に限るものではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
以下、具体的なフィルタ処理について説明する。
pn(n=0,1,・・・,N−1)は、フィルタ処理対象画素p0を含むフィルタの参照画素を表している。
s(pn)は各参照画素の輝度値、sハット(p0)はフィルタ処理対象画素p0におけるフィルタ処理後の輝度値を示している。
ただし、フィルタ係数はオフセット係数aNがないものとして構成してもよい。また、Nは任意の参照画素数である。
図9はN=5の場合の参照画素配置の一例を示す説明図である。
さらに、予測誤差の量子化値が大きい程、復号画像に生じる量子化歪みが大きくなり、パーティションPi nに隣接している符号化済み画素から生成された中間予測画像の予測精度が低くなるため、パーティションPi nを大まかに表現するような平滑化した予測画像を用意する方が好ましい。
さらに、同じパーティションPi n内の画素でも、中間予測画像の生成に用いるパーティションPi nに隣接する符号化済み画素から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易いため、予測画像を平滑化して、ずれが生じたときの急激な予測誤差の増加を抑制するようにした方がよい。
また、フィルタの強度だけではなく、フィルタの参照画素配置についても、中間予測画像の予測方向に応じて参照画素を適切に配置して、中間予測画像のエッジ等の絵柄が不自然に歪んでしまわないようにする必要がある。
(1)パーティションPi nのサイズ(li n×mi n)
(2)予測誤差符号化パラメータに含まれている量子化パラメータ
(3)中間予測画像の生成時に使用する符号化済み画素(図8に示す“予測に用いる画素”)群とフィルタ処理対象画素との距離
(4)中間予測画像を生成した際のイントラ予測モードのインデックス値
ただし、フィルタ強度の種類は2種類以上であればいくつでも良く、フィルタの強度の表現として、最も弱いフィルタをフィルタ処理なしと等価な処理として定義してもよい。したがって、中間予測画像内の特定の画素のみフィルタ処理が行われ、それ以外の画素は最も弱いフィルタ処理即ちフィルタ処理なしとするようなフィルタ処理を構成してもよい。
なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義して用いてもよい。
また、4つのパラメータ(1)〜(4)は動画像復号装置側でも既知のパラメータであるため、上記のフィルタ処理を行うことによる符号化すべき付加情報は一切発生しない。
イントラ予測画像Pi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力する。
パーティションPi n内の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号のイントラ予測については上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。
可変長復号部51は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズの情報を復号する(図4のステップST21)。
可変長復号部51は、図1の符号化制御部1と同様の手順で、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(ステップST22)。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズ情報に基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
可変長復号部51は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードm(Bn)を復号し、その符号化モードm(Bn)に属しているパーティションPi nの情報に基づいて、符号化ブロックBnに属しているパーティションPi nを特定する。
可変長復号部51は、符号化ブロックBnに属しているパーティションPi nを特定すると、パーティションPi n毎に、圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを復号する(ステップST24)。
符号化ブロックBnに割り当てられた符号化モードm(Bn)がインター符号化モードである場合、符号化ブロックに属しているパーティションPi n毎にインター予測パラメータを復号する。
予測処理単位となるパーティションは、さらに予測誤差符号化パラメータに含まれる変換ブロックサイズ情報に基づき、変換処理単位となる1つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ(変換・量子化後の変換係数)を復号する。
一方、パーティションPi nの符号化モードm(Bn)がインター符号化モードである場合(ステップST25)、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する。
ただし、イントラ予測部53は、イントラ予測画像Pi nを生成する際、図1のイントラ予測部4と同一の手法で予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Pi nに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像Pi nを最終的なイントラ予測画像としている。
なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、図1のイントラ予測部4がフィルタ選択に用いるパラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義している場合、イントラ予測部53も同様に上記フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義するように構成してもよい。
ループフィルタ部58は、加算部56から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に格納する(ステップST31)。
ループフィルタ部58によるフィルタリング処理は、加算部56から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。
上記実施の形態1では、イントラ予測部4が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するものについて示したが、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている1以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するようにしてもよい。
以下、具体的に処理内容を説明する。
この実施の形態2では、ピクチャ単位に動画像符号化装置側で、最適なフィルタを設計してフィルタ処理を実施するとともに、そのフィルタのフィルタ係数等を符号化し、動画像復号装置側で、そのフィルタ係数等を復号することで、当該フィルタを用いたフィルタ処理を実施するようにしていることを特徴とする。
また、イントラ予測部4は、上記実施の形態1と同様の方法で、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、このフィルタを用いてイントラ予測画像Pi nにフィルタ処理を行う。
イントラ予測部4は、ピクチャ内の全ての符号化ブロックBnでイントラ予測パラメータが決定した後、ピクチャ内で同じフィルタが用いられた領域(同一のフィルタインデックスを持つ領域)毎に、その領域内の入力画像とイントラ予測画像の二乗誤差和(対象領域内の平均二乗誤差)が最小となるウィーナ・フィルタを設計する。
D1+λ・R1 < D2 (5)
ただし、λは定数である。
一方、式(5)が成立しない場合、上記実施の形態1と同様の方法で選択しているフィルタを用いてフィルタ処理を実施する。
ここでは、2乗誤差和D1,D2を用いて評価しているが、これに限るものではなく、2乗誤差和D1,D2の代わりに、誤差の絶対値和等の他の予測の歪みを表す尺度を用いて評価するようにしてもよい。
具体的には、フィルタ選択パラメータを用いたフィルタ処理によって選択可能なフィルタの数をLとし、各フィルタに0〜L−1のインデックスを割り振る場合、それぞれのインデックスに対して、設計したウィーナ・フィルタを用いる場合には“1”、予め用意されているフィルタを用いる場合には“0”の値を、フィルタ更新情報として符号化する必要がある。
可変長符号化部13は、イントラ予測部4から出力されたフィルタ更新情報を可変長符号化して、そのフィルタ更新情報の符号化データをビットストリームに多重化する。
イントラ予測部53は、上記実施の形態1と同様に、符号化ブロックBnのパーティションPi nに対するフレーム内予測処理を実施することでイントラ予測画像Pi nを生成する。
イントラ予測部53は、可変長復号部51からフィルタ更新情報を受けると、そのフィルタ更新情報を参照して、該当するインデックスのフィルタでの更新の有無を確認する。
一方、ウィーナ・フィルタに置き換えられていない領域では、上記実施の形態1と同様の方法でフィルタを選択し、そのフィルタを用いて、イントラ予測画像Pi nのフィルタ処理を実施する。
Claims (4)
- 符号化処理の処理単位となる最大サイズの符号化ブロックを上限の階層数に至るまで階層的に分割して得られる符号化ブロック各々に適用した符号化モードを復号する可変長復号部と、
上記符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段と、
上記符号化モードがインター符号化モードである場合、上記符号化ブロックの各々に動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、
を備え、
上記イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、上記ブロックの輝度信号に対してブロックサイズと上記イントラ予測パラメータに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を得る処理を実施するものであり、
上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像復号装置。 - 符号化処理の処理単位となる最大サイズの符号化ブロックを上限の階層数に至るまで階層的に分割して得られる符号化ブロック各々に適用した符号化モードを復号する可変長復号ステップと、
上記符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するステップと、
上記符号化モードがインター符号化モードである場合、上記符号化ブロックの各々に動き補償予測処理を実施することでインター予測画像を生成するステップと、
イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成する処理を実施するステップと、
上記ブロックの輝度信号に対してブロックサイズと上記イントラ予測パラメータに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を得る処理を実施するステップと、を備え、
上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像復号方法。 - 符号化処理の処理単位となる最大サイズの符号化ブロックを上限の階層数に至るまで階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御手段と
上記符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段と、
上記符号化モードがインター符号モードである場合、上記符号化ブロックの各々に動き補償予測処理を実施することでインター予測画像を生成する動き補償予測部と、
を備え、
上記イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、上記ブロックの輝度信号に対してブロックサイズと上記イントラ予測パラメータに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を得る処理を実施するものであり、
上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴と
する画像符号化装置。 - 符号化処理の処理単位となる最大サイズの符号化ブロックを上限の階層数に至るまで階層的に分割して得られる符号化ブロックの各々に適用する符号化モードを選択する符号化制御ステップと
上記符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するステップと、
上記符号化モードがインター符号モードである場合、上記符号化ブロックの各々に動き補償予測処理を実施することでインター予測画像を生成するステップと、
イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成する処理を実施するステップと、
上記ブロックの輝度信号に対してブロックサイズと上記イントラ予測パラメータに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を得る処理を実施するステップと、を備え、
上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像符号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221471 | 2010-09-30 | ||
JP2010221471 | 2010-09-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018048033A Division JP6775539B2 (ja) | 2010-09-30 | 2018-03-15 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019149847A JP2019149847A (ja) | 2019-09-05 |
JP6851429B2 true JP6851429B2 (ja) | 2021-03-31 |
Family
ID=45892218
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536150A Active JP5503747B2 (ja) | 2010-09-30 | 2011-07-21 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2014052273A Active JP6005087B2 (ja) | 2010-09-30 | 2014-03-14 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造 |
JP2016173530A Active JP6675289B2 (ja) | 2010-09-30 | 2016-09-06 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
JP2018048033A Active JP6775539B2 (ja) | 2010-09-30 | 2018-03-15 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
JP2019112121A Active JP6851429B2 (ja) | 2010-09-30 | 2019-06-17 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536150A Active JP5503747B2 (ja) | 2010-09-30 | 2011-07-21 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2014052273A Active JP6005087B2 (ja) | 2010-09-30 | 2014-03-14 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造 |
JP2016173530A Active JP6675289B2 (ja) | 2010-09-30 | 2016-09-06 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
JP2018048033A Active JP6775539B2 (ja) | 2010-09-30 | 2018-03-15 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
Country Status (13)
Country | Link |
---|---|
US (5) | US10291939B2 (ja) |
EP (2) | EP3661213A1 (ja) |
JP (5) | JP5503747B2 (ja) |
KR (6) | KR101578318B1 (ja) |
CN (5) | CN105516723B (ja) |
BR (1) | BR112013006501B1 (ja) |
CA (5) | CA3052614C (ja) |
HK (3) | HK1219593A1 (ja) |
MX (2) | MX2013003696A (ja) |
RU (5) | RU2544799C2 (ja) |
SG (5) | SG10201507816SA (ja) |
TW (5) | TWI603612B (ja) |
WO (1) | WO2012042720A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101578318B1 (ko) * | 2010-09-30 | 2015-12-16 | 미쓰비시덴키 가부시키가이샤 | 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 |
CA2961824C (en) | 2011-01-12 | 2019-07-23 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method |
CA3208227A1 (en) | 2011-06-24 | 2012-12-27 | Mitsubishi Electric Corporation | Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block |
JP2013012895A (ja) * | 2011-06-29 | 2013-01-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム |
PL3454561T3 (pl) * | 2011-09-14 | 2020-05-18 | Samsung Electronics Co., Ltd. | Sposób i urządzenie do kodowania jednostki predykcji (pu) w oparciu o jej rozmiar i odpowiadające urządzenie do dekodowania |
WO2013081085A1 (en) * | 2011-11-28 | 2013-06-06 | Canon Kabushiki Kaisha | Moving image encoding apparatus, control method thereof and computer program |
EP3104614A4 (en) * | 2014-02-03 | 2017-09-13 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method |
JP6221820B2 (ja) * | 2014-02-25 | 2017-11-01 | 株式会社Jvcケンウッド | 符号化装置、符号化方法および符号化プログラム |
JP2016146572A (ja) * | 2015-02-09 | 2016-08-12 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム |
EP3276958A4 (en) * | 2015-03-23 | 2018-08-29 | LG Electronics Inc. | Method for processing image on basis of intra prediction mode and apparatus therefor |
JP6357133B2 (ja) * | 2015-06-10 | 2018-07-11 | 日本電信電話株式会社 | イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置 |
CN105049846B (zh) * | 2015-08-14 | 2019-05-21 | 广东中星微电子有限公司 | 图像和视频编解码的方法和设备 |
CN113596443A (zh) * | 2015-08-20 | 2021-11-02 | 日本放送协会 | 图像编码装置 |
CN105872538B (zh) * | 2016-04-18 | 2020-12-29 | 广东中星微电子有限公司 | 时域滤波方法和时域滤波装置 |
CN115037939B (zh) * | 2016-05-27 | 2024-02-13 | 松下电器(美国)知识产权公司 | 编码装置及解码装置 |
CN114339225B (zh) * | 2016-09-05 | 2024-06-04 | 罗斯德尔动力有限责任公司 | 图像编码和解码装置及比特流存储介质和发送装置 |
CN116634182A (zh) | 2016-10-04 | 2023-08-22 | 株式会社Kt | 对图像进行解码和编码的方法、图像数据的发送方法 |
WO2018105759A1 (ko) * | 2016-12-05 | 2018-06-14 | 엘지전자(주) | 영상 부호화/복호화 방법 및 이를 위한 장치 |
CN110290384A (zh) * | 2018-03-19 | 2019-09-27 | 华为技术有限公司 | 图像滤波方法、装置及视频编解码器 |
CN110650349B (zh) | 2018-06-26 | 2024-02-13 | 中兴通讯股份有限公司 | 一种图像编码方法、解码方法、编码器、解码器及存储介质 |
CN118138754A (zh) | 2019-06-14 | 2024-06-04 | 北京字节跳动网络技术有限公司 | 处理视频单元边界和虚拟边界 |
CN113994671B (zh) * | 2019-06-14 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 基于颜色格式处理视频单元边界和虚拟边界 |
JP7291846B2 (ja) | 2019-07-09 | 2023-06-15 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングのためのサンプル決定 |
KR102648121B1 (ko) | 2019-07-11 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 루프 필터링에서의 샘플 패딩 |
CN117676168A (zh) | 2019-07-15 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的分类 |
EP4018652A4 (en) | 2019-09-22 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | FILLING METHOD IN AN ADAPTIVE LOOP FILTER |
JP7326600B2 (ja) | 2019-09-27 | 2023-08-15 | 北京字節跳動網絡技術有限公司 | 異なるビデオユニット間の適応ループフィルタリング |
JP7454042B2 (ja) | 2019-10-10 | 2024-03-21 | 北京字節跳動網絡技術有限公司 | 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス |
CN114424549B (zh) * | 2019-10-31 | 2024-06-11 | 株式会社索思未来 | 运动图像编码方法、编码处理方法、运动图像编码装置及编码处理装置 |
US20220060702A1 (en) * | 2020-08-21 | 2022-02-24 | Alibaba Group Holding Limited | Systems and methods for intra prediction smoothing filter |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US103475A (en) * | 1870-05-24 | Improvement in water-wheels | ||
DE10158658A1 (de) * | 2001-11-30 | 2003-06-12 | Bosch Gmbh Robert | Verfahren zur gerichteten Prädiktion eines Bildblockes |
US7167522B2 (en) * | 2003-02-27 | 2007-01-23 | Texas Instruments Incorporated | Video deblocking filter |
CA2522145A1 (en) | 2003-04-14 | 2004-10-28 | Gencell Corporation | Apparatus and method for addition of electrolyte to fuel cells |
JP4617644B2 (ja) * | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
JP4699685B2 (ja) * | 2003-08-21 | 2011-06-15 | パナソニック株式会社 | 信号処理装置及びそれを用いた電子機器 |
EP1944495A1 (en) * | 2004-02-27 | 2008-07-16 | Yamaha Hatsudoki Kabushiki Kaisha | Engine component part and method for producing the same |
KR100616164B1 (ko) | 2004-05-12 | 2006-08-25 | 주식회사 대우일렉트로닉스 | 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법 |
KR100813958B1 (ko) * | 2004-06-07 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치 |
KR20070026515A (ko) * | 2004-06-14 | 2007-03-08 | 모노리스 컴퍼니 리미티드 | 동영상 부호화 방법 및 동영상 복호 방법 |
JP2006032999A (ja) | 2004-07-12 | 2006-02-02 | Sharp Corp | 画像復号装置及び画像復号方法 |
US7283634B2 (en) | 2004-08-31 | 2007-10-16 | Dts, Inc. | Method of mixing audio channels using correlated outputs |
JP2006157481A (ja) * | 2004-11-30 | 2006-06-15 | Canon Inc | 画像符号化装置及びその方法 |
JP2006229411A (ja) * | 2005-02-16 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 画像復号化装置及び画像復号化方法 |
JP2006254232A (ja) | 2005-03-11 | 2006-09-21 | Toshiba Corp | 情報処理装置およびプログラム |
US8396135B2 (en) * | 2005-06-30 | 2013-03-12 | France Telecom | Video coding method and device |
US20090123066A1 (en) * | 2005-07-22 | 2009-05-14 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein, |
WO2007055445A1 (en) | 2005-11-11 | 2007-05-18 | Daegu Gyeongbuk Institute Of Science And Technology | A pre-viewing method of multiple movies or movie-clips in multimedia apparatus |
AU2006320064B2 (en) * | 2005-11-30 | 2010-09-09 | Kabushiki Kaisha Toshiba | Image encoding/image decoding method and image encoding/image decoding apparatus |
CN101502124B (zh) * | 2006-07-28 | 2011-02-23 | 株式会社东芝 | 图像编码和解码的方法以及装置 |
TW200808067A (en) * | 2006-07-31 | 2008-02-01 | Univ Nat Cheng Kung | Prediction module |
US9001899B2 (en) | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
WO2008048489A2 (en) * | 2006-10-18 | 2008-04-24 | Thomson Licensing | Method and apparatus for video coding using prediction data refinement |
JP4571955B2 (ja) * | 2007-02-07 | 2010-10-27 | 日本電信電話株式会社 | 適応デブロッキング処理方法,装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体 |
US7991237B2 (en) * | 2007-06-28 | 2011-08-02 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
US8184711B2 (en) * | 2007-09-12 | 2012-05-22 | Sony Corporation | Image processing device and image processing method |
EP2048886A1 (en) * | 2007-10-11 | 2009-04-15 | Panasonic Corporation | Coding of adaptive interpolation filter coefficients |
KR101460608B1 (ko) | 2008-03-04 | 2014-11-14 | 삼성전자주식회사 | 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치 |
KR101591825B1 (ko) * | 2008-03-27 | 2016-02-18 | 엘지전자 주식회사 | 비디오 신호의 인코딩 또는 디코딩 방법 및 장치 |
EP2288163B1 (en) | 2008-05-07 | 2015-07-01 | Lg Electronics Inc. | Method and apparatus for decoding video signal |
JP5137687B2 (ja) * | 2008-05-23 | 2013-02-06 | キヤノン株式会社 | 復号装置及び復号方法、プログラム |
JP2009284298A (ja) * | 2008-05-23 | 2009-12-03 | Hitachi Ltd | 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法 |
KR101517768B1 (ko) * | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
EP2141927A1 (en) * | 2008-07-03 | 2010-01-06 | Panasonic Corporation | Filters for video coding |
US20100008603A1 (en) * | 2008-07-09 | 2010-01-14 | Julie Rossing Smith | Sealable repulpable valve bag and method of assembling |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
WO2010041858A2 (en) * | 2008-10-06 | 2010-04-15 | Lg Electronics Inc. | A method and an apparatus for decoding a video signal |
KR101590500B1 (ko) * | 2008-10-23 | 2016-02-01 | 에스케이텔레콤 주식회사 | 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 |
WO2010064675A1 (ja) | 2008-12-03 | 2010-06-10 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2010183162A (ja) * | 2009-02-03 | 2010-08-19 | Mitsubishi Electric Corp | 動画像符号化装置 |
WO2010095916A1 (ru) | 2009-02-20 | 2010-08-26 | Bogamedov Gazimagomed Abulovich | Изоляционный материал «pизoлин» |
KR20100095992A (ko) | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
WO2010096916A1 (en) | 2009-02-27 | 2010-09-02 | Andre Boulet | Parallel passage fluid contactor structure |
JP5326828B2 (ja) * | 2009-06-03 | 2013-10-30 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
KR101510108B1 (ko) * | 2009-08-17 | 2015-04-10 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
CN101715135B (zh) * | 2009-09-30 | 2013-01-09 | 武汉大学 | 基于匹配模板的自适应帧内预测滤波编码方法 |
KR101807886B1 (ko) * | 2009-10-14 | 2017-12-11 | 돌비 인터네셔널 에이비 | 깊이 맵 처리를 위한 방법 및 디바이스 |
KR101457418B1 (ko) | 2009-10-23 | 2014-11-04 | 삼성전자주식회사 | 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
JP4983908B2 (ja) | 2009-12-28 | 2012-07-25 | ソニー株式会社 | 復号装置及び方法 |
JP2011166326A (ja) * | 2010-02-05 | 2011-08-25 | Sony Corp | 画像処理装置および方法 |
KR20110113561A (ko) | 2010-04-09 | 2011-10-17 | 한국전자통신연구원 | 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치 |
CN102948144B (zh) * | 2010-04-26 | 2018-09-21 | 太阳专利托管公司 | 用于从周围块的统计推断出针对帧内预测的滤波模式 |
CN101848394B (zh) * | 2010-05-25 | 2012-01-18 | 宁波中科集成电路设计中心有限公司 | 一种无线视频传感器的avs编码功耗模型优化方法 |
KR20120012385A (ko) | 2010-07-31 | 2012-02-09 | 오수미 | 인트라 예측 부호화 장치 |
KR101578318B1 (ko) * | 2010-09-30 | 2015-12-16 | 미쓰비시덴키 가부시키가이샤 | 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 |
US9258573B2 (en) * | 2010-12-07 | 2016-02-09 | Panasonic Intellectual Property Corporation Of America | Pixel adaptive intra smoothing |
JP2014520894A (ja) * | 2011-07-19 | 2014-08-25 | エジソン ファーマシューティカルズ, インコーポレイテッド | 非アルファトコトリエノールの存在下でのアルファトコトリエノールの選択的酸化のための方法 |
-
2011
- 2011-07-21 KR KR1020147020866A patent/KR101578318B1/ko active IP Right Grant
- 2011-07-21 KR KR1020147020850A patent/KR101563833B1/ko active IP Right Grant
- 2011-07-21 JP JP2012536150A patent/JP5503747B2/ja active Active
- 2011-07-21 SG SG10201507816SA patent/SG10201507816SA/en unknown
- 2011-07-21 CN CN201610088037.3A patent/CN105516723B/zh active Active
- 2011-07-21 KR KR1020147020862A patent/KR101563834B1/ko active IP Right Grant
- 2011-07-21 CA CA3052614A patent/CA3052614C/en active Active
- 2011-07-21 CN CN201610087695.0A patent/CN105744274B/zh active Active
- 2011-07-21 MX MX2013003696A patent/MX2013003696A/es active IP Right Grant
- 2011-07-21 WO PCT/JP2011/004122 patent/WO2012042720A1/ja active Application Filing
- 2011-07-21 CA CA3105771A patent/CA3105771C/en active Active
- 2011-07-21 SG SG10201912001PA patent/SG10201912001PA/en unknown
- 2011-07-21 CA CA3000366A patent/CA3000366C/en active Active
- 2011-07-21 US US13/822,887 patent/US10291939B2/en active Active
- 2011-07-21 SG SG2013021928A patent/SG189076A1/en unknown
- 2011-07-21 CA CA2812201A patent/CA2812201C/en active Active
- 2011-07-21 SG SG10201911999WA patent/SG10201911999WA/en unknown
- 2011-07-21 CN CN201610087675.3A patent/CN105516722B/zh active Active
- 2011-07-21 CA CA3188026A patent/CA3188026A1/en active Pending
- 2011-07-21 EP EP20150124.4A patent/EP3661213A1/en not_active Withdrawn
- 2011-07-21 MX MX2014009677A patent/MX338462B/es unknown
- 2011-07-21 EP EP11828289.6A patent/EP2624563A4/en not_active Ceased
- 2011-07-21 CN CN201180047243.5A patent/CN103141106B/zh active Active
- 2011-07-21 RU RU2013119934/08A patent/RU2544799C2/ru active
- 2011-07-21 BR BR112013006501-0A patent/BR112013006501B1/pt active IP Right Grant
- 2011-07-21 RU RU2015102755A patent/RU2608674C2/ru active
- 2011-07-21 SG SG10201912003RA patent/SG10201912003RA/en unknown
- 2011-07-21 CN CN201610088366.8A patent/CN105657423B/zh active Active
- 2011-07-21 KR KR1020157035466A patent/KR101669388B1/ko active IP Right Grant
- 2011-07-21 KR KR1020137010924A patent/KR101580021B1/ko active IP Right Grant
- 2011-07-21 KR KR1020147020864A patent/KR101563835B1/ko active IP Right Grant
- 2011-09-14 TW TW105123725A patent/TWI603612B/zh active
- 2011-09-14 TW TW105123734A patent/TWI606721B/zh active
- 2011-09-14 TW TW103145688A patent/TWI566588B/zh active
- 2011-09-14 TW TW100132970A patent/TWI472229B/zh active
- 2011-09-14 TW TW105123731A patent/TWI606720B/zh active
-
2013
- 2013-08-08 HK HK16107126.4A patent/HK1219593A1/zh unknown
- 2013-08-08 HK HK13109293.0A patent/HK1182244A1/zh unknown
- 2013-08-08 HK HK16107127.3A patent/HK1219594A1/zh unknown
-
2014
- 2014-03-14 JP JP2014052273A patent/JP6005087B2/ja active Active
-
2015
- 2015-02-27 US US14/634,453 patent/US10237550B2/en active Active
- 2015-02-27 US US14/634,561 patent/US10244264B2/en active Active
- 2015-02-27 US US14/634,485 patent/US10237551B2/en active Active
- 2015-02-27 US US14/634,550 patent/US10244233B2/en active Active
-
2016
- 2016-09-06 JP JP2016173530A patent/JP6675289B2/ja active Active
-
2017
- 2017-01-10 RU RU2017100246A patent/RU2642356C1/ru active
-
2018
- 2018-01-11 RU RU2018100616A patent/RU2674306C1/ru active
- 2018-03-15 JP JP2018048033A patent/JP6775539B2/ja active Active
- 2018-11-20 RU RU2018140835A patent/RU2693910C1/ru active
-
2019
- 2019-06-17 JP JP2019112121A patent/JP6851429B2/ja active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6851429B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
JP6091584B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法および符号化データ | |
JP5782169B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP6807987B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
JP2013098713A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2012023609A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6851429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |