JP7094076B2 - 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム - Google Patents

映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム Download PDF

Info

Publication number
JP7094076B2
JP7094076B2 JP2016161423A JP2016161423A JP7094076B2 JP 7094076 B2 JP7094076 B2 JP 7094076B2 JP 2016161423 A JP2016161423 A JP 2016161423A JP 2016161423 A JP2016161423 A JP 2016161423A JP 7094076 B2 JP7094076 B2 JP 7094076B2
Authority
JP
Japan
Prior art keywords
filter coefficient
filter
target image
image
coefficient set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016161423A
Other languages
English (en)
Other versions
JP2018029311A (ja
Inventor
聰 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016161423A priority Critical patent/JP7094076B2/ja
Priority to US15/614,661 priority patent/US10805642B2/en
Publication of JP2018029311A publication Critical patent/JP2018029311A/ja
Application granted granted Critical
Publication of JP7094076B2 publication Critical patent/JP7094076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本発明は、映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムに関し、例えば、映像情報を圧縮符号化してストリームデータとして伝送するシステムに適用し得る。
Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下、単に「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ（以下、単に「ＨＥＶＣ」とも呼ぶ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位（例えば、矩形のブロック）ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換（以下、単に「ＤＣＴ」とも呼ぶ）や離散サイン変換（以下、単に「ＤＳＴ」とも呼ぶ）等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。
図５は、従来の映像符号化装置３００の構成について示したブロック図である。
図５では、ＨＥＶＣを用いた映像符号化装置３００の構成の例について示したブロック図である。
図５に示す映像符号化装置３００では、入力映像（入力された符号化対象画像）に基づき、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測（画面間予測）を行うインター予測部３１０もしくは画面内の符号化済み画素等からイントラ予測（画面内予測）を行うイントラ予測部３１１により予測画像が生成される。映像符号化装置３００では、差分処理部３０１により、予測画像と入力映像の差分（以下、「予測残差信号」と呼ぶ）が出力される。映像符号化装置３００では、変換部３０２により、予測残差信号が、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）の空間変換領域の係数（以下、「変換係数」と呼ぶ）に変換される。映像符号化装置３００では、量子化部３０３により、得られた変換係数が量子化される。映像符号化装置３００では、エントロピー符号化部３０４により、量子化された変換係数に対して、エントロピー符号化処理（例えば、可変長符号や算術符号等の符号化処理）が行われ、符号化されたデータのビットストリーム（以下、「符号化ストリーム」と呼ぶ）が出力される。なお、エントロピー符号化部３０４が生成する符号化ストリームには、符号化モードの情報や動きベクトルの情報等も多重化される。
また、映像符号化装置３００では、量子化された変換係数が、逆量子化部３０５により逆量子化処理（量子化部３０３と逆の処理）され、さらに逆変換部３０６により逆変換（変換部３０２と逆の変換処理）される。映像符号化装置３００では、加算部３０７により、逆変換により再構成された予測残差信号と予測画像とを加算した画像（以下、「再構成画像」と呼ぶ）が生成される。映像符号化装置３００では、再構成画像に対して、ループ内フィルタ部３０８によりブロック歪等を軽減する処理（デブロッキングフィルタ等の処理）が行われ、後続の画像の符号化時のインター予測の動き補償のための参照画像として出力される。そして、映像符号化装置３００では、当該参照画像が参照画像バッファ３０９に保持される。
図６は、従来の映像復号装置４００の構成について示したブロック図である。
図６に示す従来の映像復号装置４００は、映像符号化装置３００で生成された符号化ストリームのデータを復号する処理を行う装置である。
映像復号装置４００では、符号化ストリームが入力されると、当該符号化ストリームのデータがエントロピー復号部４０４により復号され、量子化された変換係数等の復号データが得られる。そして、映像復号装置４００では、その量子化された変換係数について、逆量子化部４０５による逆量子化処理（映像符号化装置３００の量子化部３０３と逆の処理）が行われ、さらに、逆変換部４０６により逆変換処理（変換部３０２と逆の変換処理）処理が行われ、予測残差信号が復元される。また、映像復号装置４００では、復号データから、符号化モードの情報や動きベクトルの情報等も得られる。そして、映像復号装置４００では、イントラ予測部４１１により生成された予測画像、又はインター予測部４１０により生成された予測画像（切替部４１２により選択された何れかの予測画像）が、加算部４０７に供給される。映像復号装置４００では、加算部４０７により、復元された予測残差信号に予測画像が加算され、映像符号化装置３００と同じ再構成画像が生成される。映像復号装置４００では、ループ内フィルタ部４０８により、デブロッキングフィルタ等の処理が行われて復号画像として出力され、後続のインター予測のための参照画像として参照画像バッファ４０９に保持される。
上述のように、ＡＶＣやＨＥＶＣのような符号化技術では画像を処理単位のブロックごとに処浬を行うため、ブロックひずみと呼ばれるブロックの境界で不連続な性質をもつ画質劣化が生じやすい。そのため、上述のように、従来の映像符号化装置３００及び映像復号装置４００では、デブロッキングフィルタ（ループ内フィルタ部４０８、ループ内フィルタ部３０８）により、画質の劣化が軽減される。
図７は、ＨＥＶＣ等の符号化技術において、デブロッキングフィルタ処理の処理対象となるブロック境界の周辺（ブロック境界の周辺の画素）を表す説明図である。
図７におけるＬは、ブロック境界（以下、「ブロックエッジ」とも呼ぶ）を示す線（境界線）である。図７に示すように、ＨＥＶＣではブロック境界の種類（イントラブロック境界、動き補償ブロック境界、変換ブロック境界）や周辺の画素値などによって定まるブロック強度にしたがって、強輝度フィルタ、弱輝度フィルタ、色差フィルタの３種のフィルタが用いられている。例えば、従来の強輝度フィルタでは、以下の（１－１）～（１－６）式で表されるフィルタ処理が行われる。以下の（１－１）～（１－６）式では、再構成画像の画素値ｐｉ，ｑｉから強輝度フィルタ処理後の画素値ｐｉ’ ｑｉ’を求めている。以下の（１－１）～（１－３）では、例として、再構成画像の画素値を構成するｐ０、ｐ１、ｐ２、ｐ３等から強輝度フィルタ処理後のｐ０’、ｐ１’、ｐ２’を求める例について示している。また、以下の（１－４）～（１－６）では、例として、再構成画像の画素値を構成するｑ０、ｑ１、ｑ２、ｑ３等から強輝度フィルタ処理後のｑ０’、ｑ１’、ｑ２’を求める例について示している。なお、以下の（１－１）～（１－６）式において、「Ｃｌｉｐ３（ａ，ｂ，ｘ）」は、「ｘ」をａ～ｂの範囲にクリッピングする関数である。
Figure 0007094076000001
以上のように、ＨＥＶＣ等の従来の映像符号化技術ではフィルタの種類ごとに固定のフィルタ係数が用いられており、対象画像に対して必ずしも最適ではないフィルタ処理が行われる場合があった。
従来のデブロッキングフィルタ処理をより適応的なものとする技術として非特許文献１の記載技術がある。非特許文献１では、従来のフィルタ処理による画素値の変化量Δに対して重みαを乗算したαΔを用いて画素値を変化させること、でフィルタ処理を行うこととし、この重みαを指定可能とすることで適応性を持たせる方法が提案されている。
Matthias Narroschke，Ann-Kathrin Seifert，"Deblocking filter using adaptive weighting factors（Document: JCTVC-F405）"，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino,July, 2011，［平成２８年７月２０日検索］、INTERNET<URL：http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F405-v2.zip>
上述のように、従来の映像符号化技術におけるデブロッキングフィルタ処理では、固定のフィルタ係数を用いているため、対象画像に対して必ずしも最適ではないフィルタ処理が行われる場合があった。また、非特許文献１の記載技術のように、変化量に重みを乗算する方法を用いても、対象画像の性質に応じた十分に最適なフィルタを適応することができていないという問題があった。
以上のような問題に鑑みて、デブロッキングフィルタ処理を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムが望まれている。
第１の本発明は、映像を構成する各画像を符号化する映像符号化装置において、（１）符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段を備え、（２）前記デブロッキングフィルタは、（２－１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２－２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２－３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２－４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、（２－５）前記フィルタ処理手段は、（２－５－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（２－５－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（２－６）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第２の本発明は、映像を構成する各画像が符号化された符号化データを復号する映像復号装置において、（１）映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段を備え、（２）前記デブロッキングフィルタは、（２－１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２－２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２－３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２－４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、（２－５）前記フィルタ処理手段は、（２－５－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（２－５－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（２－６）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第３の本発明の映像符号化プログラムは、映像を構成する各画像を符号化する映像符号化装置に搭載されたコンピュータを（１）符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段として機能させ、（２）前記デブロッキングフィルタは、（２－１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２－２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２－３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２－４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、（２－５）前記フィルタ処理手段は、（２－５－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（２－５－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（２－６）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第４の本発明の映像復号プログラムは、映像を構成する各画像が符号化された符号化データを復号する映像復号装置に搭載されたコンピュータを、（１）映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段として機能させ、（２）前記デブロッキングフィルタをは、（２－１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２－２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２－３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２－４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、（２－５）前記フィルタ処理手段は、（２－５－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（２－５－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（２－６）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第５の本発明は、映像を構成する各画像を符号化する映像符号化装置が行う映像符号化方法において、（１）前記映像符号化装置は、符号化処理手段を備え、（２）前記符号化処理手段は、符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行い、（３）前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段及びフィルタ処理手段を備え、（４）前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、（５）前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、（６）前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタ係数セットを選択し、（７）前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行い、（８）前記フィルタ処理手段は、（８－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（８－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（９）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第６の本発明は、映像を構成する各画像が符号化された符号化データを復号する映像復号装置が行う映像復号方法において、（１）前記映像復号装置は、復号処理手段を備え、（２）映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行い、（３）前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段、フィルタ処理手段を備え、（４）前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、（５）前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、（６）前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタを選択し、（７）前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行い、（８）前記フィルタ処理手段は、（８－１）対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、（８－２）それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、（９）前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれることを特徴とする。
第７の本発明は、映像を構成する各画像を符号化する映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として第１の本発明の映像符号化装置を適用し、前記映像復号装置として第２の本発明の映像復号装置を適用したことを特徴とする。
本発明によれば、デブロッキングフィルタ処理を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる。
実施形態に係る映像符号化装置の機能的構成について示したブロック図である。 実施形態に係る映像復号装置の機能的構成について示したブロック図である。 実施形態に係る映像符号化装置及び映像復号装置で用いられるデブロッキングフィルタの内部構成について示したブロック図である。 実施形態に係る映像伝送システムの全体構成について示したブロック図である。 従来の映像符号化装置の機能的構成について示したブロック図である。 従来の映像復号装置の機能的構成について示したブロック図である。 映像符号化装置及び映像復号装置で処理される画像のブロック境界（ブロックエッジ）の例について示した説明図である。
（Ａ）主たる実施形態
以下、本発明による映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムの一実施形態を、図面を参照しながら詳述する。
（Ａ－１）実施形態の構成
図４は、この実施形態の映像伝送システム１の全体構成を示すブロック図である。
図４に示す映像伝送システム１には、符号化対象映像（入力映像）を構成する符号化対象画像（入力画像）を符号化して符号化ストリームを出力する映像符号化装置１００と、符号化ストリームを復号して、復号映像を構成する復号画像を得る映像復号装置２００が配置されている。映像符号化装置１００と映像復号装置２００との間の接続構成については限定されないものであり、例えば、ネットワークを介して通信により伝送するようにしてもよいし、オフラインでデータ供給（例えば、ＤＶＤやＨＤＤ等のデータ記録媒体で供給）するようにしてもよい。
映像符号化装置１００は、入力された符号化対象画像について、符号化ユニット等の所定の単位（例えば、所定のサイズのブロック）の領域（以下、「処理単位領域」と呼ぶ）ごとに符号化処理を行う。
次に、映像符号化装置１００の内部構成について、図１を用いて説明する。
図１に示すように、映像符号化装置１００は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、及び切替部１１２を有している。
映像符号化装置１００は、例えば、コンピュータにプログラム（実施形態にかかる映像符号化プログラムを含む）をインストールすることにより構成してもよい、がその場合でも機能的構成については、図１を用いて示すことができる。
インター予測部１１０は、処理単位領域に対して、参照画像バッファ１０９に格納された画像を参照して、動き補償を伴うインター予測（画面間予測処理）に基づく予測画像を生成して出力する。
イントラ予測部１１１は、処理単位領域に対して、画面内の符号化済の再構成画素等からの予測（イントラ予測処理）に基づく予測画像を出力する。
切替部１１２は、符号化モードに応じて予測画像の予測方式（インター予測又はイントラ予測のいずれか）を切り替える。
差分処理部１０１は、入力画像と予測画像との差分である予測残差信号を求める。
変換部１０２は、予測残差信号について、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換処理を行う。
量子化部１０３は、変換部１０２により変換された予測残差信号を量子化する。
エントロピー符号化部１０４は、量子化された変換係数、及びその他の付加情報（例えば、予測モード情報、動きベクトル情報等）を多重化してエントロピー符号化し、符号化処理結果としての符号化ストリームを出力する。
逆量子化部１０５は、量子化された変換係数について逆量子化する処理（量子化部１０３と逆の処理）を行う。
逆変換部１０６は、逆量子化部１０５により逆量子化された変換係数を逆変換（変換部１０２と逆の変換処理）して、予測残差信号を復元する。
加算部１０７は、復元された予測残差信号に予測画像を加算して再構成画像を取得する。
ループ内フィルタ部１０８は、加算部１０７で取得された再構成画像に１又は複数のフィルタ処理を行って、フィルタ処理後の復号画像を出力する。ループ内フィルタ部１０８は、少なくとも後述するデブロッキングフィルタ１０を用いたフィルタ処理を行う。また、ループ内フィルタ部１０８には、デブロッキングフィルタ１０のほかに、ＨＥＶＣで用いられているサンプル適応オフセットのようなフィルタを追加するようにしてもよい。
フィルタ係数決定部１２０は、ループ内フィルタ部１０８のデブロッキング処理に用いられるフィルタ係数群（以下、「フィルタ係数セット」と呼ぶ）を選択・決定する。フィルタ係数決定部１２０の詳細構成については後述する。フィルタ係数セットは、複数のフィルタ係数により構成されている。
なお、映像符号化装置１００のフィルタ係数決定部１２０で決定されたフィルタ係数セット（デブロッキングフィルタ処理に用いるフィルタ係数セット）の情報は、エントロピー符号化部１０４にも供給される。そして、エントロピー符号化部１０４は、フィルタ係数決定部１２０で決定されたフィルタ係数セットの情報を符号化情報の付加情報として、符号化ストリームに多重化して出力する。
参照画像バッファ１０９は、ループ内フィルタ部１０８でフィルタされた復号画像を、インター予測の動き補償のための参照画像として保持する。
以上のように、映像符号化装置１００では、ループ内フィルタ部１０８のデブロッキングフィルタ処理で用いられるフィルタ係数セットがフィルタ係数決定部１２０により決定される。また、エントロピー符号化部１０４は、フィルタ係数決定部１２０で決定されたフィルタ係数セットの情報が、エントロピー符号化部１０４で符号化されて符号化ストリームに多重化して出力されるものとする。
次に、映像復号装置２００の内部構成について、図２を用いて説明する。
映像復号装置２００は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、及び切替部２１２を有している。
映像復号装置２００は、例えば、コンピュータにプログラム（実施形態にかかる映像復号プログラムを含む）をインストールすることにより構成してもよい、がその場合でも機能的構成については、図２を用いて示すことができる。
エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して復号データを取得する。復号データには、量子化された変換係数（予測残差信号がＤＣＴ等により変換され、さらに量子化されたデータ）が含まれている。また、符号化ストリームには、上述の通り、その他の付加情報が含まれている。付加情報には、符号化モード情報、動きベクトル情報、及びデブロッキングフィルタ処理に用いるフィルタ係数セット（映像符号化装置１００のフィルタ係数決定部１２０で決定されたフィルタ係数セット）等が含まれるものとする。
逆量子化部２０５は、エントロピー復号部２０４が復号した変換係数（量子化された変換係数）について、逆量子化（映像符号化装置１００の量子化部１０３と逆の処理）を行う。
逆変換部２０６は、逆量子化部２０５が逆量子化した変換係数を逆変換処理（映像符号化装置１００の変換部１０２と逆の変換処理）して、復元された予測残差信号を得る。
インター予測部２１０は、参照画像バッファ２０９に保持された参照画像に基づいて、動き補償予測を行うインター予測処理を行い、予測画像を得る。
イントラ予測部２１１は、画面内の再構成画素等に基づくイントラ予測処理を行い、予測画像を得る。
切替部２１２は、エントロピー復号部２０４により符号化ストリームから復号された符号化モード情報にしたがって予測画像を切り替えて、加算部２０７に供給する。
加算部２０７は、逆変換部２０６により得られた予測残差信号と、予測画像（インター予測部２１０又はイントラ予測部２１１から供給された予測画像）とを加算して再構成画像（フィルタ処理前の復号画像）を生成する。
ループ内フィルタ部２０８は、加算部２０７から出力される再構成画像（フィルタ処理前の復号画像）について、１又は複数のフィルタ処理を行って、フィルタ処理後の復号画像を得る。映像復号装置２００において、ループ内フィルタ部２０８で得られた復号画像は復号処理結果（最終的な復号画像）として出力される。ループ内フィルタ部２０８は、少なくとも後述するデブロッキングフィルタ２０を用いたフィルタ処理を行う。デブロッキングフィルタ２０は、エントロピー復号部２０４の復号によって得られたフィルタ係数セットを用いてデブロッキングフィルタ処理を行う。また、ループ内フィルタ部２０８では、映像符号化装置１００と同様に、デブロッキングフィルタ２０のほかに、ＨＥＶＣで用いられているサンプル適応オフセットのようなフィルタを用いた処理を追加するようにしてもよい。
参照画像バッファ２０９は、ループ内フィルタ部２０８から出力された復号画像を、後続のインター予測処理（インター予測部２１０によるインター予測処理）のための参照画像として保持する。
次に、映像符号化装置１００（ループ内フィルタ部１０８）を構成するデブロッキングフィルタ１０の内部構成、及び、映像復号装置２００（ループ内フィルタ部２０８）を構成するデブロッキングフィルタ２０の内部構成について図３を用いて説明する。
この実施形態では、デブロッキングフィルタ１０、２０は、いずれも図３のように示すことができるものとする。
デブロッキングフィルタ１０、２０は、供給されたフィルタ係数セットに基づいたデブロッキングフィルタ処理を行う。映像符号化装置１００（ループ内フィルタ部１０８）を構成するデブロッキングフィルタ１０は、フィルタ係数決定部１２０からフィルタ係数セットの供給を受ける。また、映像復号装置２００（ループ内フィルタ部２０８）を構成するデブロッキングフィルタ２０は、エントロピー復号部２０４から復号されたフィルタ係数セットの供給を受ける。
図３に示すように、デブロッキングフィルタ１０、２０は、エッジフィルタ処理部１１、エッジ種別判定部１２、フィルタ係数選択部１３、及びフィルタ係数セット記憶部１４を有している。以下では、デブロッキングフィルタ１０、２０を構成する各要素の概要について説明する。デブロッキングフィルタ１０、２０を構成する各要素の詳細動作の説明については後述する動作説明の頁で行う。
フィルタ係数セット記憶部１４は、供給されたフィルタ係数セットを記憶する。
エッジ種別判定部１２は、処理対象となる画像のブロックエッジ（各ブロックのブロックエッジ）ごとに、ブロックエッジの両側（垂直方向及び水平方向のブロックエッジの両側）のブロックに関する情報（以下、「ブロック情報」とも呼ぶ）と、処理対象となるブロックの各ブロックエッジの周辺画素の画素値とを用いて、処理対象の画像の各ブロックエッジ（各ブロックのブロックエッジ）の種別を判定する。ブロック情報には、例えば、当該処理対象のブロックに対応する画面の符号化モードや、動きベクトル情報や、量子化パラメータや、変換係数の有無情報（例えば、非０の変換係数の有無を示す情報）等が含まれる。
フィルタ係数選択部１３は、エッジ種別判定部１２で判定されたエッジ種別に応じて、フィルタ係数セット記憶部１４に記憶されたフィルタ係数セットから、いずれかのフィルタ係数を選択する。
エッジフィルタ処理部１１は、フィルタ係数選択部１３により選択されたフィルタ係数を用いて、処理対象となる全てのブロックのエッジ（処理対象の画像の各ブロックに係る全ての垂直方向エッジ、及び全ての水平方向エッジ）のエッジ周辺画素に対してフィルタ処理（デブロッキングフィルタの処理）を行い、フィルタ処理結果の画素値（フィルタ処理後の画像のデータ）を出力する。
（Ａ－２）実施形態の動作
次に、以上のような構成を有するこの実施形態における映像伝送システム１の動作（実施形態の映像符号化方法、および映像復号方法）を説明する。
以下では、デブロッキングフィルタ１０、２０の処理を中心に説明する。
上述の通り、デブロッキングフィルタ１０、２０のエッジフィルタ処理部１１ではフィルタ処理に用いるフィルタ係数を固定値ではなく可変（供給されたフィルタ係数セットから選択したフィルタ係数）としている。上述の通り、エッジフィルタ処理部１１は、処理対象となる全てのブロックエッジ（処理対象の画像を構成する全ての垂直方向エッジ、及び全ての水平方向エッジ）について、フィルタ係数選択部１３で選択されたフィルタを用いたデブロッキングフィルタの処理を行う。
エッジフィルタ処理部１１は、例えば、図７に示すようなブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ ｑｉからフィルタ処理後（デブロッキングフィルタの処理後）の画素値ｐｉ’，ｑｉ’を求める。エッジフィルタ処理部１１は、例えば、以下の（２）式及び（３）式を用いて、ブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ ｑｉからフィルタ処理後の画素値ｐｉ’，ｑｉ’を求める。以下の（２）式及び（３）式では、再構成画像の画素値ｐｉ ｑｉからフィルタ処理後の画素値ｐｉ’，ｑｉ’を入力画素値（フィルタ処理前の画素値ｐｉ ｑｉ）の線形結合で求める。
Figure 0007094076000002
上記の（２）式及び（３）式において、ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉはそれぞれ、フィルタ係数選択部１３からエッジフィルタ処理部１１に供給されるフィルタ係数である。言い換えると、ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉは、上記の（２）式及び（３）式における線形結合の係数となっている、また、上記の（２）式及び（３）式において、ｓは整数演算で固定少数演算行うためのシフト量ｓであり、ｒはシフト量ｓに基づく丸め演算のためのオフセット「ｒ＝１＜＜（ｓ－１）」を表している。さらに、上記の（２）式及び（３）式において、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数である。例えば、８ビット画像が処理対象の場合、有効な画素値の範囲は０～２５５の範囲となる。例えば、１０ビット画像の場合、有効な画素値の範囲は０～１０２３の範囲としてもよい。また、上記の（２）式及び（３）式において、添え字ｉはフィルタにより変更される画素を表す。
例えば、ＨＥＶＣの強輝度フィルタのようにブロックエッジ（ブロック境界）から３画素目まで変更する場合は、「ｉ＝０，１，２」とする。また、上記の（２）式及び（３）式において、添え字ｊはフィルタの入力となる画素を表す。例えば、ＨＥＶＣの強輝度フィルタのようにブロックエッジ（ブロック境界）から４画素目まで参照する場合は「ｊ＝０，１，２，３」とする。
なお、エッジフィルタ処理部１１において、フィルタの影響範囲（例えば、ブロックエッジの境界線から何画素目までの画素値を変更するか）と、参照範囲（例えば、ブロックエッジの境界線から何画素目までをフィルタの入力として参照する範囲とするか）はエッジ種別判定部１２で判定されたエッジ種別ごとに異なる範囲とすることができる。例えば、エッジフィルタ処理部１１では、ＨＥＶＣの弱輝度フィルタと同等のフィルタについては、参照範囲の画素数を３、影響範囲の画素数を２とする。また、例えば、エッジフィルタ処理部１１では、ＨＥＶＣの色差フィルタと同等のフィルタの参照範囲を２、影響範囲を１とする。
デブロッキングフィルタ１０、２０では、例えば、ブロックエッジ（ブロック境界）の周辺画素と、ブロックエッジの両側のブロックのブロック情報が入力されると、まずエッジ種別判定部１２でブロックエッジの種別の判定が行われる。
例えば、エッジ種別判定部１２は、ＨＥＶＣのように、ブロックエッジの両側のブロックのうちいずれかのブロックがイントラモードで符号化されていれば、当該ブロックエッジについて、強輝度フィルタを適用する種別として判定するようにしてもよい。また、例えば、エッジ種別判定部１２は、ブロックエッジの両側のブロックでインター符号化されているが参照している画像が異なっている場合や、ブロックエッジの両側のブロックで同じ画像を参照しているが動きベクトルが無視できない程度に異なっている場合は、当該ブロックエッジについて、弱輝度フィルタを適用する種別と判断するようにしてもよい。また、例えば、エッジ種別判定部１２は、ＨＥＶＣのように、色差成分画像のブロックエッジに対しては輝度成分とは異なる色差フィルタを適用する種別と判断するようにしても良い。以上のように、エッジ種別判定部１２は、ブロックエッジの両側のブロックに係るブロック情報に基づいて、当該ブロックエッジの種別（適用するフィルタの種別）を判定する。エッジ種別判定部１２が判定するブロックエッジの種別数は、例えば、ＨＥＶＣと同様な判定により２種の輝度フィルタ（強輝度フィルタと弱輝度フィルタ）と、１種の色差フィルタとしてもよいし、それよりも多い種別数に分類するように構成しても良い。
また、エッジ種別判定部１２では、デブロッキングフィルタの処理をＯＦＦとする種別を判定結果に加えるようにしてもよい。例えば、ＨＥＶＣのように、フィルタ前のエッジ周辺画素の画素値の大小関係等に対する閾値処理によりデブロッキングフィルタの処理をＯＦＦとする種別と判断してもよい。この場合、エッジフィルタ処理部１１では、エッジ種別判定部１２で、デブロッキングフィルタ処理をＯＦＦとする種別と判定されたブロックエッジの周辺画素については、フィルタ処理前の画素値をそのままフィルタ結果の画素値としてもよい。
フィルタ係数セット記憶部１４に記憶されるフィルタ係数セットには、各エッジ種別用のフィルタ係数ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組が複数含まれている。以下では、各エッジ種別用のフィルタ係数ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組を単に「フィルタ係数」とも呼ぶものとする。
フィルタ係数選択部１３では、このフィルタ係数セットの中からエッジ種別判定部１２の判定結果に応じて１つのフィルタ係数（ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組）をエッジフィルタ処理部１１に供給する。
次に、エッジフィルタ処理部１１は、フィルタ係数選択部１３で選択されたフィルタ係数を用いて上記の（２）式及び（３）式にしたがってフィルタ結果の画素値ｐｉ’，ｑｉ’を求める。なお、エッジフィルタ処理部１１は、例えば、指定された影響範囲外の画素については、フィルタ処理前の画素値をそのままフィルタ結果の画素値としてもよい。
エッジフィルタ処理部１１は、上述のようなエッジフィルタ処理を、すべてのブロックエッジ（全ての垂直方向エッジ、及びすべての水平方向エッジ）に対して施すことによりデブロッキングフィルタ処理を行う。なお、エッジフィルタ処理部１１では、垂直方向エッジと水平方向エッジのそれぞれに別のフィルタ係数を割り当てるように構成しても良い。
以上のように、映像符号化装置１００では、フィルタ係数決定部１２０で、最適なフィルタ係数の設計を行い、得られたフィルタ係数セットをループ内フィルタ部１０８に含まれるデブロッキングフィルタ１０のフィルタ係数セット記憶部１４に格納する。また、映像符号化装置１００では、フィルタ係数決定部１２０が決定したフィルタ係数セットが、エントロピー符号化部１０４により符号化ストリーム（符号化データ）に多重化されて映像復号装置２００に供給される。
エントロピー符号化部１０４における、フィルタ係数セットの多重化方法としては、例えば、例えば、スライスヘッダやピクチャパラメーターセット等のパラメータセットのような上位シンタックスで符号化するようにしてもよい。そして、映像復号装置２００では、エントロピー復号部２０４で、符号化ストリームに多重化されたデブロッキングフィルタで用いるフィルタ係数セットを復号し、デブロッキングフィルタ２０のフィルタ係数セット記憶部１４に格納し、フィルタ処理（デブロッキングフィルタの処理）に適用する。エントロピー符号化部１０４は、例えば、フィルタ係数セットを構成する各フィルタ係数の値は例えば可変長符号等を用いてエントロピー符号化するようにしてもよい。
次に、フィルタ係数決定部１２０でのフィルタ係数セットの設計処理について説明する。
以下では、ブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ，ｑｉ、及びフィルタ後の画素値ｐｉ’，ｑｉ’に対応する位置の入力画像の画素値をＰｉ，Ｑｉとする。
そして、この実施形態の例では、フィルタ係数決定部１２０は、フィルタ後の画素値ｐｉ’，ｑｉ’の入力画像の画素値Ｐｉ，Ｑｉに対する誤差が最少となるようにフィルタ係数ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉを設計するものとする。フィルタ係数決定部１２０において、フィルタ後の画素値ｐｉ’，ｑｉ’の入力画像の画素値Ｐｉ，Ｑｉに対する誤差（距離）が最少（または所定以下）となるように、フィルタ係数ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉを設計することができれば、その具体的な方式については限定されないものである。フィルタ係数決定部１２０では、例えば、以下の（４）式に示す値が最少となるようなフィルタ係数を、最小二乗法を用いて求めるようにしてもよい。
具体的には、フィルタ係数決定部１２０は、例えば、同じフィルタ係数を用いることになるエッジ周辺画素のフィルタ処理前の画素値ｐｉ，ｑｉと、対応する入力画像の画素値Ｐｉ，Ｑｉを収集し、最小二乗法（以下の（４）式の最小化）を用いたフィルタ係数の決定を行う。例えば、フィルタ係数決定部１２０は、エッジ種別判定部１２と同様の判定処理により、対象画像における各ブロックエッジの種別を判定し、種別ごとにサンプルとなる画素値ｐｉ，ｑｉ及び画素値Ｐｉ，Ｑｉを取得し、取得したサンプルを用いて種別ごとのフィルタ係数を算出し、最新のフィルタ係数セットとして取得するようにしてもよい。この際フィルタ係数決定部１２０は、エッジ種別判定部１２の判定結果を用いて、種別ごとのサンプルを取得するようにしてもよい。また、フィルタ係数決定部１２０は、例えば、符号化対象となる全ての対象画像ごとにフィルタ係数セットを取得するようにしてもよいし、所定の間隔ごとにフィルタ係数セットを取得するようにしてもよい。また、フィルタ係数決定部１２０は、例えば、対象画像を複数のスライスに分割したスライスごとにフィルタ係数セットを取得するようにしてもよい。以上のように、フィルタ係数決定部１２０がフィルタ係数セットを取得する対象となる画像（フィルタ係数セットを取得するタイミング）については限定されないものである。
Σ（ｐｉ’－Ｐｉ）２，Σ（ｑｉ’－Ｑｉ）２ …（４）
以上のように、フィルタ係数決定部１２０は、ブロックエッジの種別ごとに最適設計したフィルタ係数セットを求め、最適設計したフィルタ係数セットを用いてデブロッキングフィルタ１０及び映像復号装置２００側に供給する。
（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
この実施形態では、映像符号化装置１００のデブロッキングフィルタ１０、及び映像復号装置２００のデブロッキングフィルタ２０で用いるフィルタ係数を、任意に変更可能なフィルタ係数セットから適切なものに設定可能とした。これにより、この実施形態の映像符号化装置１００では、符号化対象の画像の性質に応じた最適なフィルタ処理を施すことが可能となり、ブロックひずみによる画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームを生成することができる。
また、この実施形態のデブロッキングフィルタ１０、２０を構成するエッジフィルタ処理部１１では、フィルタの影響範囲と、参照範囲はエッジ種別判定部１２で判定されたエッジ種別ごとに異なる範囲を設定可能としている。これにより、この実施形態のデブロッキングフィルタ１０、２０で用いられるフィルタ係数セットごとのフィルタ係数の数を最低限とし、より符号化効率の高い符号化ストリームを生成することができる。
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
（Ｂ－１）上記の実施形態では、本発明を映像伝送システム（映像符号化装置及び映像復号装置）に適用する例について説明したが、その他のさまざまな符号化処理に利用可能である。例えば、上記の実施形態のデブロッキングフィルタ（フィルタ係数セットから適切なフィルタ係数を設定可能とする方式）について、種々の符号化に関わる予測処理や変換量子化処理との組み合わせに適用するようにしてもよい。例えば、上記の実施形態のデブロッキングフィルタにおけるフィルタ選択の方式を、様々な符号化ツールやループ内フィルタ処理を組み合わせたような符号化処理に適用するようにしてもよい。
（Ｂ－２）上記の実施形態の映像符号化装置１００、映像復号装置２００において、固定のフィルタ係数を用いるデブロッキングフィルタと、上記の実施形態のデブロッキングフィルタ（フィルタ係数セットから適切なフィルタ係数を設定可能とする方式）を併用するようにしてもよい。この場合、フィルタ係数決定部１２０は、対象画像ごとに固定のデブロッキングフィルタ（既定のデブロッキングフィルタ）を用いるか否かのフラグ（以下、「フィルタ係数セット適用フラグ」と呼ぶ）を設けて、フィルタ係数セット適用フラグがＯＮの場合に上記の実施形態のブロッキングフィルタを適用し、フィルタ係数セット適用フラグがＯＦＦの場合に固定のデブロッキングフィルタを適用するようにデブロッキングフィルタ１０、２０を制御するようにしてもよい。例えば、フィルタ係数決定部１２０は、フィルタ係数セット適用フラグがＯＮの場合にのみフィルタ係数セットを設計して、デブロッキングフィルタ１０、及びエントロピー符号化部１０４に供給するようにしてもよい。この場合、フィルタ係数セット適用フラグがＯＦＦの場合、フィルタ係数決定部１２０からフィルタ係数セットが供給されず、デブロッキングフィルタ１０、２０では、固定のフィルタ係数によりフィルタ処理が行われる。また、フィルタ係数決定部１２０では、ブロックエッジの種別ごとにフィルタ係数セット適用フラグを設けて、一部の種別に対応するフィルタ係数のみを含むフィルタ係数セットを生成するようにしてもよい。この場合、フィルタ係数セット適用フラグがＯＦＦに設定された種別のフィルタ係数がフィルタ係数セットに含まれないため、デブロッキングフィルタ１０、２０では、フィルタ係数セットにフィルタ係数が含まれない種別については、既定の固定のフィルタ係数が適用される。
（Ｂ－３）エッジフィルタ処理部１１の処理において、上記の（２）式及び（３）式で用いるシフト量ｓはＨＥＶＣと同等の３程度や、より高精度の係数が表現可能となるようなより大きな値の固定値としても良く、シフト量ｓもパラメータセット等でシグナリングすることで可変としても良い。また、例えば参照範囲と影響範囲が３，２の場合には、デブロッキングフィルタ１０、２０において、デブロッキングフィルタ処理に用いるフィルタ係数は、２８個のパラメータ（係数）で構成されることになるが、対称性等を考慮して、ａｉｊ＝ｅｉｊ，ｂｉｊ＝ｄｉｊとする制約を設けることで自由に設定可能な係数の数を削減して符号化する係数の数を削減しても良い。また、この場合、定数項ｃｉ，ｆｉについてもエッジ種別によっては常に０（定数項は持たない）とする制約を設けても良い。
（Ｂ－４）フィルタ係数決定部１２０では、デブロッキング処理による画質の改善量と、デブロッキング処理のための係数セットの符号化に必要な符号量等のトレードオフを評価して、本発明のデブロッキング処理の使用／不使用を判断するレート歪最適化処理を行うような構成としても良い。
映像伝送システム…１、デブロッキングフィルタ…１０、２０、エッジフィルタ処理部…１１、エッジ種別判定部…１２、フィルタ係数選択部…１３、フィルタ係数セット記憶部…１４、デブロッキングフィルタ…２０、映像符号化装置…１００、差分処理部…１０１、変換部…１０２、量子化部…１０３、エントロピー符号化部…１０４、逆量子化部…１０５、逆変換部…１０６、加算部…１０７、ループ内フィルタ部…１０８、参照画像バッファ…１０９、インター予測部…１１０、イントラ予測部…１１１、切替部…１１２、フィルタ係数決定部…１２０、映像復号装置…２００、エントロピー復号部…２０４、逆量子化部…２０５、逆変換部…２０６、加算部…２０７、ループ内フィルタ部…２０８、参照画像バッファ…２０９、インター予測部…２１０、イントラ予測部…２１１、切替部…２１２。

Claims (16)

  1. 映像を構成する各画像を符号化する映像符号化装置において、
    符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段を備え、 前記デブロッキングフィルタは、
    複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
    対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
    対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
    前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は当該映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像符号化装置。
  2. 前記符号化処理手段は、
    符号化対象の対象画像を予測した予測画像を生成する予測手段と、
    対象画像と予測画像との残差信号を符号化する符号化手段と、
    残差信号と予測画像とを加算して第１の再構成画像を生成する加算手段とを備え、
    前記フィルタ手段は、第１の再構成画像に、少なくともデブロッキングフィルタを用いたフィルタ処理を行って第1の復号画像を生成し、前記予測手段が用いる参照画像として出力する
    ことを特徴とする請求項１に記載の映像符号化装置。
  3. 前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの両側のブロックに関するブロック情報と、当該ブロックエッジの周辺画素の画素値を用いて、当該ブロックエッジの種別を判定することを特徴とする請求項２に記載の映像符号化装置。
  4. 前記フィルタ処理手段は、ブロックエッジの周辺画素について、フィルタ処理前の画素値の線形結合により、フィルタ処理後の画素値を求め、
    前記フィルタ係数は、前記線形結合の係数である
    ことを特徴とする請求項３に記載の映像符号化装置。
  5. 前記フィルタ処理手段は、対象画像のブロックエッジの種別ごとに、フィルタ処理で参照する画素の範囲、およびフィルタ処理で変更する画素の範囲を変更することを特徴とする請求項４に記載の映像符号化装置。
  6. 第１の再構成画像と対象画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段をさらに備え、
    前記フィルタ係数セット記憶手段は、前記フィルタ係数決定手段で決定したフィルタ係数セットを記憶する
    ことを特徴とする請求項２～５のいずれかに記載の映像符号化装置。
  7. 前記符号化手段は、前記フィルタ係数決定手段で決定したフィルタ係数セットを多重化して符号化した符号化ストリームを出力することを特徴とする請求項６に記載の映像符号化装置。
  8. 前記フィルタ係数決定手段は、フィルタ係数セットの決定処理に最小二乗法を用いることを特徴とする請求項６又は７に記載の映像符号化装置。
  9. 前記フィルタ係数決定手段は、デブロッキングフィルタ処理による画質の改善量とフィルタ係数セットの符号化に必要となる符号量のトレードオフを評価して、フィルタ係数セットの使用／不使用を判断するレート歪最適化処理を行うことを特徴とする請求項６～８のいずれかに記載の映像符号化装置。
  10. 映像を構成する各画像が符号化された符号化データを復号する映像復号装置において、
    映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段を備え、
    前記デブロッキングフィルタは、
    複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
    対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
    対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
    前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は前記映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像復号装置。
  11. 前記復号処理手段は、
    復号対象の対象画像を予測した予測画像を生成する予測手段と、
    符号化データを復号して対象画像と予測画像との残差信号を取得する復号手段と、
    残差信号と予測画像とを加算して第２の再構成画像を生成する加算手段と
    を有し、
    前記フィルタ手段は、第２の再構成画像に、少なくともデブロッキングフィルタを用いたフィルタ処理を行って第２の復号画像を生成して当該映像復号装置の復号結果として出力すると共に前記予測手段に参照画像として供給する
    ことを特徴とする請求項１０に記載の映像復号装置。
  12. 映像を構成する各画像を符号化する映像符号化装置に搭載されたコンピュータを
    符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段として機能させ、
    前記デブロッキングフィルタは、
    複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
    対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
    対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
    前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は前記映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像符号化プログラム。
  13. 映像を構成する各画像が符号化された符号化データを復号する映像復号装置に搭載されたコンピュータを、
    映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段として機能させ、
    前記デブロッキングフィルタは、
    複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
    対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
    対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
    前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有し、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は前記映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像復号プログラム。
  14. 映像を構成する各画像を符号化する映像符号化装置が行う映像符号化方法において、
    前記映像符号化装置は、符号化処理手段を備え、
    前記符号化処理手段は、符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行い、
    前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段及びフィルタ処理手段を備え、
    前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、
    前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、
    前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタ係数セットを選択し、
    前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行い、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は前記映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像符号化方法。
  15. 映像を構成する各画像が符号化された符号化データを復号する映像復号装置が行う映像復号方法において、
    前記映像復号装置は、復号処理手段を備え、
    前記復号処理手段は、映像符号化装置で符号化された符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行い、
    前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段、フィルタ処理手段を備え、
    前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、
    前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、
    前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタを選択し、
    前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行い、
    前記フィルタ係数セットを構成する各フィルタ係数は変数として自由に最適設計可能であり、前記フィルタ係数セットを構成する各フィルタ係数は前記映像符号化装置側で最適設計されたものであり、
    前記フィルタ処理手段は、
    対象画像におけるブロックエッジ周辺でフィルタ処理の対象となる注目画素のそれぞれについて、前記注目画素の画素値と、前記注目画素から見て当該ブロックエッジを挟んで対称となる位置にある対称画素の画素値とを前記フィルタ係数セットを構成する各フィルタ係数を用いて線形結合した結果を取得し、
    それぞれの前記注目画素について、前記線形結合した結果に前記対称画素の画素値を加算した値をフィルタ処理後の画素値として取得し、
    前記フィルタ係数セットには、フィルタ処理において対象画像のいずれの画素値とも乗算されない定数項のフィルタ係数と、フィルタ処理において対象画像のいずれかの画素値と乗算される非定数項のフィルタ係数とが含まれる
    ことを特徴とする映像復号方法。
  16. 映像を構成する各画像を符号化する映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として請求項１に記載の映像符号化装置を適用し、前記映像復号装置として請求項１０に記載の映像復号装置を適用したことを特徴とする映像伝送システム。
JP2016161423A 2016-08-19 2016-08-19 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム Active JP7094076B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016161423A JP7094076B2 (ja) 2016-08-19 2016-08-19 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
US15/614,661 US10805642B2 (en) 2016-08-19 2017-06-06 Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and image transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016161423A JP7094076B2 (ja) 2016-08-19 2016-08-19 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム

Publications (2)

Publication Number Publication Date
JP2018029311A JP2018029311A (ja) 2018-02-22
JP7094076B2 true JP7094076B2 (ja) 2022-07-01

Family

ID=61192233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016161423A Active JP7094076B2 (ja) 2016-08-19 2016-08-19 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム

Country Status (2)

Country Link
US (1) US10805642B2 (ja)
JP (1) JP7094076B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3729812A1 (en) * 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
PT3756346T (pt) * 2018-03-09 2022-02-03 Huawei Tech Co Ltd Método e aparelho para filtragem de imagem com coeficientes multiplicadores adaptivos
CN112740706A (zh) * 2018-09-24 2021-04-30 华为技术有限公司 用于执行质量优化去块的图像处理设备和方法
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2023140151A (ja) * 2022-03-22 2023-10-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143427A1 (ja) 2009-06-10 2010-12-16 パナソニック株式会社 画像符号化方法、画像復号方法、およびそれらの装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9414064B2 (en) * 2011-11-25 2016-08-09 Sun Patent Trust Image processing method and image processing apparatus
US9344723B2 (en) * 2012-04-13 2016-05-17 Qualcomm Incorporated Beta offset control for deblocking filters in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143427A1 (ja) 2009-06-10 2010-12-16 パナソニック株式会社 画像符号化方法、画像復号方法、およびそれらの装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ｂｙｅｏｎｇｍｏｏｎ Ｊｅｏｎ， ｅｔ ａｌ．， Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＬＧ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ－ＶＣ） ｏｆ ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１， ２０１０年 ４月１１日， ＪＣＴＶＣ－Ａ１１０， ｐ．１，１３
Ｍａｔｔｈｉａｓ Ｎａｒｒｏｓｃｈｋｅ， Ａｎｎ－Ｋａｔｈｒｉｎ Ｓｅｉｆｅｒｔ， Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒｓ， Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ－ＶＣ） ｏｆ ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ６ｔｈ Ｍｅｅｔｉｎｇ， ２０１１年 ７月２２日， ＪＣＴＶＣ－Ｆ４０５
Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ， Ｗｏｏ－Ｊｉｎ Ｈａｎ， Ｂｅｎｊａｍｉｎ Ｂｒｏｓｓ， Ｊｅｎｓ－Ｒａｉｎｅｒ Ｏｈｍ， Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ， ＷＤ３： Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ３ ｏｆ Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， ＪＣＴＶＣ－Ｅ， ２０１１年 ３月３０日， ＪＣＴＶＣ－Ｅ６０３， ｐ．１１９－１２６

Also Published As

Publication number Publication date
JP2018029311A (ja) 2018-02-22
US10805642B2 (en) 2020-10-13
US20180054632A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
KR102640542B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
EP2705667B1 (en) Lossless coding and associated signaling methods for compound video
KR102438062B1 (ko) 비디오 코딩/디코딩 시스템들을 위한 다차원 양자화 기법들
JP7094076B2 (ja) 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
EP2868080B1 (en) Method and device for encoding or decoding an image
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
KR102331220B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN107347157B (zh) 视频解码装置
US20150055701A1 (en) Image encoding/decoding apparatus and method
US20140003528A1 (en) Pre-Processing for Bitdepth and Color Format Scalable Video Coding
US20140092956A1 (en) Adaptive transform options for scalable extension
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
WO2009091521A2 (en) Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
KR20210044858A (ko) 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법
WO2010137322A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN114500999A (zh) 编码装置、解码装置及存储介质
WO2013145773A1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
WO2012172667A1 (ja) 動画像符号化方法、動画像復号化方法及び装置
WO2016185651A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US20240089455A1 (en) Method and for reconstructing chroma block and video decoding apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201215

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201222

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210212

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210216

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211005

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220222

C28A Non-patent document cited

Free format text: JAPANESE INTERMEDIATE CODE: C2838

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220524

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220621

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R150 Certificate of patent or registration of utility model

Ref document number: 7094076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150