JP7761139B2 - 画像フィルタリング方法、装置、機器及びプログラム - Google Patents

画像フィルタリング方法、装置、機器及びプログラム

Info

Publication number
JP7761139B2
JP7761139B2 JP2024516555A JP2024516555A JP7761139B2 JP 7761139 B2 JP7761139 B2 JP 7761139B2 JP 2024516555 A JP2024516555 A JP 2024516555A JP 2024516555 A JP2024516555 A JP 2024516555A JP 7761139 B2 JP7761139 B2 JP 7761139B2
Authority
JP
Japan
Prior art keywords
image
filtering
classification information
filtered
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024516555A
Other languages
English (en)
Other versions
JP2024531738A (ja
Inventor
王力▲強▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2024531738A publication Critical patent/JP2024531738A/ja
Application granted granted Critical
Publication of JP7761139B2 publication Critical patent/JP7761139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

（関連出願への相互参照）
本願は、２０２２年０２月１０日に中国特許局に提出された、出願番号が２０２２１０１２６４１１．Ｘである中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。
本願の実施例は、画像処理技術分野に関し、特に、画像フィルタリング方法、装置、機器及びプログラムに関するものである。
関連技術におけるループフィルタは、デブロッキングフィルタ（ＤＢＦ：ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、及び適応ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を含み、主に、再構成画像に対してフィルタリングを行うことで、ブロッキング効果、リンギング効果などを低減し、それにより、再構成画像の品質を向上させる。理想的には、フィルタによって再構成画像をオリジナル画像に復元することである。関連技術におけるフィルタのフィルタリング係数の多くは手動で設計されているため、最適化の余地が大きい。画像処理における深層学習ツールの優れた性能に鑑み、深層学習ベースのループフィルタは、ループフィルタモジュールに適用されている。しかしながら、関連技術における深層学習ベースのループフィルタは、依然として性能の最適化に欠陥があり、フィルタの性能をさらに向上させる必要がある。
本願の実施例は、モデルパラメータの記憶コストを低減しつつ、画像フィルタリング効果を向上させる画像フィルタリング方法、装置、機器及びプログラムを提供する。
本願の実施例は、画像フィルタリング方法を提供し、前記方法は、
フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記分類情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含む。
本願の実施例は、画像フィルタリング装置を提供し、前記装置は、
フィルタリング対象画像の符号化情報を決定するように構成される決定ユニットであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、決定ユニットと、
前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記分類情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るように構成されるフィルタリングユニットと、を含む。
本願の実施例は、電子機器を提供し、前記電子機器は、プロセッサと、メモリと、を備え、前記メモリは、コンピュータプログラムを記憶するように構成され、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記の方法を実行する。
本願の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶するように構成され、前記コンピュータプログラムは、電子機器に上記の方法を実行させる。
本願の実施例は、チップを提供し、前記チップは、プロセッサを含み、前記プロセッサは、メモリからコンピュータプログラムを呼び出して実行することにより、前記チップが搭載された電子機器に上記の方法を実行させる。
本願の実施例は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、電子機器で実行されるときに、前記電子機器に上記の方法を実行させるコンピュータプログラム命令を含む。
本願の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムは、電子機器で実行されるときに、前記電子機器に上記の方法を実行させる。
本願の実施例のフィルタリングモデルは、フレーム内符号化モードにおけるフィルタリング対象画像に対するフィルタリングを実現することができ、フレーム間符号化モードにおけるフィルタリング対象画像に対するフィルタリングを実現することもできる。これは、異なるモードにおけるフィルタリング対象画像としての汎用フィルタリングモデルに相当し、異なるモードに対して対応するフィルタリングモデルをそれぞれ構築することに比べて、モデルパラメータの記憶空間の占有率が大幅に低減され、モデルパラメータの記憶コストが低い。また、フィルタリングモデルに分類情報を結合し、フィルタリング対象画像に対して差別化フィルタリングを行うことにより、異なるモードにおけるフィルタリング対象画像を適用でき、フィルタリング対象画像のフィルタリング効果を向上させることができる。
本願の実施例に係るビデオコーデックシステムの例示的なブロック図である。 本願の実施例によるビデオエンコーダの例示的なブロック図である。 本願の実施例によるビデオデコーダの例示的なブロック図である。 本願の実施例による画像フィルタリング方法のフローチャートである。 本願の実施例に係る適用シーンの模式図である。 本願の実施例に係る適用シーンの模式図である。 本願の実施例に係る適用シーンの模式図である。 画像分割の模式図である。 画像分割の模式図である。 画像分割の模式図である。 本願の実施例に係るフィルタリング方式の模式図である。 本願の実施例に係るフィルタリング方式の模式図である。 本願の実施例に係るフィルタリング方式の模式図である。 本願の実施例に係る残差ブロックの模式図である。 本願の実施例に係る残差ブロックの模式図である。 本願の実施例に係る残差ブロックの模式図である。 本願の実施例に係る残差ブロックの模式図である。 本願の実施例に係るモデルトレーニングの模式図である。 本願の実施例による画像フィルタリング装置の構成を示す模式図である。 本願の実施例による電子機器の例示的なブロック図である。
本願の実施例の技術的解決策をより明確に説明するために、下記において、実施例の説明で使用される図面について簡単に紹介する。明らかに、上記の図面は、本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を払わなくても、これらの図面に基づいて他の関連図面を得ることもできる。
下記において、本願実施例における図面を参照して、本願実施例の技術的解決策について、明確且つ完全に説明するが、明らかに、説明される実施例は、本願実施例の一部のみであり、全部の実施例ではない。本願の実施例に基づいて、創造的な作業なしに当業者によって得られた他のすべての実施例は、本願の保護範囲に含まれる。
なお、本願の実施例の明細書、特許請求の範囲及び上記の図面における「第１」、「第２」などの用語は、特定の順番又は前後順番を限定するものではなく、類似する対象を区別するものである。なお、このように使用されるデータは、適切な場合に交換できるため、本明細書で説明される本願の実施例は、本明細書で図示又は説明されるもの以外の順序で実施できる。さらに、「含む」、「有する」という用語、及びその任意の変形は、非排他的な包含を意図している。例えば、一連のステップ又はユニットを組み込んだプロセス、方法、システム、製品、又はサーバは、明確に列挙されているそれらのステップ又はユニットに限定される必要はないが、明確に列挙されていない又はそれらのプロセス、方法、製品、又は装置に固有の他のステップ又はユニットを含んでもよい。
なお、下記における「及び／又は」は、少なくとも一方を表し、例えば、Ａ及び／又はＢは、Ａ及びＢのうちの少なくとも一方を表す。
本願の実施例の理解を容易にするために、まず、本願の実施例に関わる関連概念について以下に簡単に説明する。
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を使用して、人間の知性をシミュレート、拡張及び拡大し、環境を知覚し、知識を取得し、知識を使用して最適な結果を得る理論、方法、技術、及びアプリケーションシステムである。言い換えれば、人工知能は、知能の実体を理解しようとし、人間の知能と類似した方式で反応できる新しい知能機械を生産しようとする、コンピュータ科学の総合技術である。人工知能は、機械に知覚、推理、意思決定の機能を持たせるように、様々な知能機械の設計原理及び実現方法を研究する。
人工知能技術は、ハードウェア技術とソフトウェア技術の両方を含む幅広い分野を含む総合的な学科である。人工知能の基本技術に、一般的に、センサ、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、操作／インタラクションシステム、メカトロニクス化などの技術が含まれる。人工知能ソフトウェア技術に、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などのいくつかの大きな方向が含まれる。
機械学習（ＭＬ：Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）は、多分野の学際的で、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの多分野の学科に関する。機械学習は、コンピュータが人間の学習行動をシミュレート又は実現して、新しい知識やスキルを取得し、既存の知識構造を再構成して性能を継続的に向上させる方法を専門的に研究する。機械学習は人工知能のコアであり、コンピュータに知能を持たせるための根本的な手段であり、その適用は人工知能の各分野に及んでいる。機械学習及び深層学習に、通常、人工ニューラルネットワーク、信頼ネットワーク、強化学習、転移学習、帰納的学習（ｉｎｄｕｃｔｉｖｅ ｌｅａｒｎｉｎｇ）、デモンストレーション学習（Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｄｅｍｏｎｓｔｒａｔｉｏｎ）などの技術が含まれる。
本願の実施例は、画像コーデック分野、ビデオコーデック分野、ハードウェアビデオコーデック分野、専用回路用ビデオコーデック分野、リアルタイムビデオコーデック分野などに適用され得る。例えば、本願の実施例における解決策は、Ｈ．２６４／オーディオビデオコーディング（ＡＶＣ：Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、Ｈ．２６６／バーサタイルビデオコーディング（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などのオーディオビデオコーディング規格（ＡＶＳ：Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）と組み合わせることができる。又は、本願の実施例における技術案は、動作のために他の独自規格又は業界規格と組み合わせてもよい。前記規格には、ＩＴＵ－ＴＨ．２６１、ＩＳＯ／ＩＥＣＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－ＴＨ．２６２又はＩＳＯ／ＩＥＣＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ－４ Ｖｉｓｕａｌ、及びＩＴＵ－ＴＨ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ＡＶＣとも呼ばれる）が含まれ、スケーラブルビデオ符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）及びマルチビュービデオ符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）拡張を含む。なお、本願の実施例の技術は、特定のコーデック規格や技術に限定されない。
理解を容易にするために、まず、図１を参照して、本願の実施例に係るビデオコーデックシステムについて説明する。
図１は、本願の実施例に係るビデオコーデックシステムの例示的なブロック図である。なお、図１は一例に過ぎず、本願の実施例のビデオコーデックシステムは、図１に示すものを含むがこれに限定されない。図１に示すように、前記ビデオコーデックシステム１００は、符号化機器１１０及び復号化機器１２０を含む。ここで、符号化機器は、ビデオデータを符号化（圧縮と理解できる）してコードストリームを生成し、コードストリームを復号化機器に伝送する。復号化機器は、符号化機器の符号化により生成されるコードストリームを復号化して、復号化後のビデオデータを得る。
本願の実施例の符号化機器１１０は、ビデオ符号化機能を有する機器として理解でき、復号化機器１２０は、ビデオ復号化機能を有する機器として理解でき、即ち、本願の実施例の符号化機器１１０及び復号化機器１２０は、スマートフォン、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートパソコン（ラップトップなど）、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ゲームコンソール、車載コンピュータなどのより幅広い装置を含む。
いくつかの実施例では、符号化機器１１０は、チャネル１３０を介して、符号化後のビデオデータ（例えば、コードストリーム）を復号化機器１２０に伝送することができる。チャネル１３０は、符号化後のビデオデータを符号化機器１１０から復号化機器１２０に伝送できる１つ又は複数の媒体及び／又は装置を含み得る。
一例では、チャネル１３０は、符号化機器１１０が符号化後のビデオデータを復号化機器１２０にリアルタイムで直接送信できるようにする１つ又は複数の通信媒体を含む。この例では、符号化機器１１０は、通信規格に従って符号化後のビデオデータを変調し、変調したビデオデータを復号化機器１２０に送信することができる。ここで、通信媒体は、無線周波数スペクトルなどの無線通信媒体を含み、いくつかの実施例では、通信媒体は、１つ又は複数の物理的な伝送線路などの有線通信媒体も含み得る。
別の例では、チャネル１３０は、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体は、符号化機器１１０によって符号化されたビデオデータを記憶することができる。コンピュータ可読記憶媒体は、光ディスク、ＤＶＤ、フラッシュメモリなどの複数のローカルアクセス型データ記憶媒体を含む。この例では、復号化機器１２０は、前記コンピュータ可読記憶媒体から符号化後のビデオデータを取得することができる。
別の例では、チャネル１３０は、符号化機器１１０によって符号化されたビデオデータを記憶可能な記憶サーバを含み得る。この例では、復号化機器１２０は、記憶された符号化後のビデオデータを前記記憶サーバからダウンロードすることができる。いくつかの実施例では、前記記憶サーバは、符号化後のビデオデータを記憶し、前記符号化後のビデオデータを、Ｗｅｂサーバ（Ｗｅｂサイト用など）、ファイル転送プロトコル（ＦＴＰ）サーバなどの復号化機器１２０に送信することができる。
いくつかの実施例では、符号化機器１１０は、ビデオエンコーダ１１２及び出力インターフェース１１３を含む。ここで、出力インターフェース１１３は、変調器／復調器（モデム）及び／又は送信機を含み得る。
いくつかの実施例では、符号化機器１１０は、ビデオエンコーダ１１２及び出力インターフェース１１３に加えて、さらにビデオソース１１１を含み得る。
ビデオソース１１１は、ビデオ収集装置（ビデオカメラなど）、ビデオアーカイブ、ビデオ入力インターフェース、コンピュータグラフィックスシステムのうちの少なくとも１つを含み得、ここで、ビデオ入力インターフェースは、ビデオコンテンツプロバイダからビデオデータを受信するように構成され、コンピュータグラフィックスシステムは、ビデオデータを生成するように構成される。
ビデオエンコーダ１１２は、ビデオソース１１１からのビデオデータを符号化して、コードストリームを生成する。ビデオデータは、１つ又は複数の画像（ｐｉｃｔｕｒｅ）又は画像シーケンス（ｓｅｑｕｅｎｃｅ ｏｆ ｐｉｃｔｕｒｅｓ）を含み得る。コードストリームは、ビットストリームの形式で画像又は画像シーケンスの符号化情報を含む。符号化情報は、符号化画像データ及び関連データを含み得る。関連データは、シーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、画像パラメータセット（ＰＰＳ：ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、及び他の構文構造を含み得る。ＳＰＳは、１つ又は複数のシーケンスに適用されるパラメータを含み得る。ＰＰＳは、１つ又は複数の画像に適用されるパラメータを含み得る。構文構造とは、コードストリームにおいて指定された順序で配置されたゼロ個又は複数の構文要素のセットを指す。
ビデオエンコーダ１１２は、出力インターフェース１１３を介して、符号化後のビデオデータを復号化機器１２０に直接伝送する。符号化後のビデオデータは、復号化機器１２０が後で読み出すように、記憶媒体又は記憶サーバに記憶されてもよい。
いくつかの実施例では、復号化機器１２０は、入力インターフェース１２１及びビデオデコーダ１２２を含む。
いくつかの実施例では、復号化機器１２０は、入力インターフェース１２１及びビデオデコーダ１２２に加えて、表示装置１２３も含み得る。
ここで、入力インターフェース１２１は、受信機及び／又はモデムを含む。入力インターフェース１２１は、チャネル１３０を介して符号化後のビデオデータを受信することができる。
ビデオデコーダ１２２は、符号化後のビデオデータを復号化して、復号化後のビデオデータを得、復号化後のビデオデータを表示装置１２３に伝送するように構成される。
表示装置１２３は、復号化後のビデオデータを表示する。表示装置１２３は、復号化機器１２０と一体化されてもよいし、復号化機器１２０の外部に設けられてもよい。表示装置１２３は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又はその他のタイプの表示装置などの様々な表示装置を含み得る。
また、図１は一例のみであり、本願の実施例の技術方案は、図１に限定されるものではなく、本願の実施例の技術は、片側のビデオ符号化や片側のビデオ復号化にも適用することができる。
下記において、本願の実施例に係るビデオ符号化フレームワークについて説明する。
図２は、本願の実施例に係るビデオエンコーダの例示的なブロック図である。なお、前記ビデオエンコーダ２００は、画像の非可逆圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）を行うように構成されてもよいし、画像の可逆圧縮（ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）を行うように構成されてもよい。前記可逆圧縮は、視覚的な可逆圧縮（ｖｉｓｕａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）であってもよいし、数学的な可逆圧縮（ｍａｔｈｅｍａｔｉｃａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）であってもよい。
前記ビデオエンコーダ２００は、ルミナンス及びクロミナンス（ＹＣｂＣｒ，ＹＵＶ）フォーマットの画像データに適用することができる。
例えば、前記ビデオエンコーダ２００は、ビデオデータを読み出し、ビデオデータ内の各フレーム画像について、１フレームの画像を複数の符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割する。いくつかの例では、ＣＴＢは、「ツリーブロック」、「最大符号化ユニット」（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ ｕｎｉｔ）又は「符号化ツリーブロック」（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と呼ばれ得る。各ＣＴＵは、画像内の等しいサイズのピクセルブロックに関連付けられ得る。各ピクセルは、１つのルミナンス（ｌｕｍｉｎａｎｃｅ又はｌｕｍａ）サンプル及び２つのクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ又はｃｈｒｏｍａ）サンプルに対応することができる。したがって、各ＣＴＵは、１つのルミナンスサンプルブロック及び２つのクロミナンスサンプルブロックに関連付けられ得る。１つのＣＴＵのサイズは、例えば、１２８×１２８、６４×６４、３２×３２などである。１つのＣＴＵは、符号化のために複数の符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）にさらに分割することができ、ＣＵは、矩形ブロック又は四角形ブロックであってもよい。ＣＵは、さらに予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）及び変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）に分割され得、これにより、符号化、予測、変換を分離し、処理の柔軟性を向上させることができる。一例では、ＣＴＵは、４分木方式でＣＵに分割され、ＣＵは、４分木方式でＴＵ、ＰＵに分割される。
ビデオエンコーダ及びビデオデコーダは、様々なＰＵサイズをサポートできる。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ及びビデオデコーダは、フレーム内予測のために２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズをサポートし、且つフレーム間予測のために２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ又は同様のサイズの対称ＰＵをサポートすることができる。ビデオエンコーダ及びビデオデコーダは、フレーム間予測のために２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２Ｎの非対称ＰＵをさらにサポートすることができる。
いくつかの実施例では、図２に示すように、前記ビデオエンコーダ２００は、予測ユニット２１０、残差ユニット２２０、変換／量子化ユニット２３０、逆変換／量子化ユニット２４０、再構成ユニット２５０、ループフィルタリングユニット２６０、復号化画像キャッシュ２７０、及びエントロピー符号化ユニット２８０を含み得る。なお、ビデオエンコーダ２００は、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
いくつかの実施例では、本願では、現在のブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の符号化ユニット（ＣＵ）又は現在の予測ユニット（ＰＵ）などと呼ばれ得る。予測ブロックは、予測画像ブロック又は画像予測ブロックとも呼ばれ得、再構成画像ブロックは、再構成ブロック又は画像再構成画像ブロックとも呼ばれ得る。
いくつかの実施例では、予測ユニット２１０は、フレーム間予測ユニット２１１及びフレーム内予測ユニット２１２を含む。ビデオの１つのフレーム内の隣接するピクセル間には強い相関性があるため、ビデオコーデック技術におけるフレーム内予測を使用すると、隣接するピクセル間の空間的冗長性を排除することができる。ビデオ内の隣接するフレーム間には強い相関性があるため、ビデオコーデック技術におけるフレーム間予測方法を使用すると、隣接するフレーム間の時間的冗長性を排除し、それにより、符号化効率を向上させることができる。
フレーム間予測ユニット２１１は、フレーム間予測を行うするように構成され、フレーム間予測は、異なるフレームの画像情報を参照でき、フレーム間予測は、モーション情報を使用して参照フレームから参照ブロックを見つけ、参照ブロックに基づいて予測ブロックを生成し、時間的な冗長性を排除するものであり、フレーム間予測に使用されるフレームは、Ｐフレーム及び／又はＢフレームであってもよい。Ｐフレームとは、順方向予測フレームを指し、Ｂフレームとは、双方向予測フレームを指す。モーション情報は、参照フレームが位置する参照フレームリスト、参照フレームインデックス、及びモーションベクトルを含む。モーションベクトルは、全ピクセルのものでもサブピクセルのものでもよい。モーションベクトルがサブピクセルのものである場合、参照フレームで補間フィルタリングを使用して、必要なサブピクセルのブロックを作成する必要がある。ここで、モーションベクトルに基づいて見つけられる参照フレーム内の全ピクセル又はサブピクセルのブロックを参照ブロックと呼ぶ。参照ブロックを予測ブロックとして直接使用する技術もあれば、参照ブロックに基づいて再処理して予測ブロックを生成する技術もある。参照ブロックに基づいて再処理して予測ブロックを生成することは、参照ブロックを予測ブロックとして使し、次に、予測ブロックに基づいて処理して新しい予測ブロックを生成することと理解できる。
フレーム内予測ユニット２１２は、同一フレーム画像の情報のみを参照して、現在の符号化画像ブロック内のピクセル情報を予測して、空間的な冗長性を排除する。フレーム内予測に使用されるフレームはＩフレームであってもよい。
ＨＥＶＣで使用されるフレーム内予測モードは、平面モード（Ｐｌａｎａｒ）、ＤＣ、及び３３種類の角度モードで、合計３５種類の予測モードを有する。ＶＶＣで使用されるフレーム内モードは、Ｐｌａｎａｒ、ＤＣ、及び６５種類の角度モードで、合計６７種類の予測モードを有する。ＡＶＳ３で使用されるフレーム内モードは、ＤＣ、Ｐｌａｎｅ、Ｂｉｌｉｎｅａｒ、及び６３種類の角度モードで、合計６６種類の予測モードを有する。
いくつかの実施例では、フレーム内予測ユニット２１２は、フレーム内ブロック複製技術及びフレーム内文字列複製技術を採用して実装され得る。
残差ユニット２２０は、ＣＵのピクセルブロック及びＣＵのＰＵの予測ブロックに基づいて、ＣＵの残差ブロックを生成することができる。例えば、残差ユニット２２０はＣＵの残差ブロックを生成でき、これにより、残差ブロック内の各サンプルは、ＣＵのピクセルブロック内のサンプルと、ＣＵのＰＵの予測ブロック内の対応するサンプルとの間の差に等しい値を有するようになる。
変換／量子化ユニット２３０は、変換係数を量子化することができる。残差ビデオ信号は、ＤＦＴ、ＤＣＴなどの変換動作によって、変換信号を変換ドメインに変換し、変換係数と呼ばれる。変換ドメイン内の信号は、更なる非可逆量子化動作によって、特定の情報が失われるため、量子化後の信号が圧縮表現に有利になる。いくつかのビデオ符号化規格では、複数の変換方式が選択できるため、符号化側も現在の符号化ＣＵに対して１つの変換を選択し、復号化側に通知する必要がある。量子化の精細度は、通常、量子化パラメータ（ＱＰ）によって決定され、ＱＰの値が大きいと、より広い範囲の係数が同じ出力として量子化されることを意味するため、通常、より大きい歪みとなり、ビットレートが低下する。逆に、ＱＰの値が小さいと、より小さい範囲の値の係数が同じ出力として量子化されることを意味するため、通常、より少ない歪みとなり、ビットレートが高くなる。
逆変換／量子化ユニット２４０は、逆量子化及び逆変換を量子化後の変換係数にそれぞれ適用して、量子化後の変換係数から残差ブロックを再構成することができる。
再構成ユニット２５０は、再構成後の残差ブロックのサンプルを、予測ユニット２１０によって生成された１つ又は複数の予測ブロックの対応するサンプルに加算して、ＴＵに関連付けられた再構成画像ブロックを生成することができる。このようにＣＵの各ＴＵのサンプルブロックを再構成することにより、ビデオエンコーダ２００は、ＣＵのピクセルブロックを再構成することができる。
ループフィルタリングユニット２６０は、デブロッキングフィルタリング動作を実行して、ＣＵに関連付けられたピクセルブロックのブロッキング効果を低減することができる。オリジナル画像に比べて、再構成画像は、量子化の影響があるため、情報の一部がオリジナル画像と異なって、歪み（Ｄｉｓｔｏｒｔｉｏｎ）が生成する。再構成画像に対して、例えば、ＤＢＦ、ＳＡＯ又はＡＬＦなどのフィルタを使用してフィルタリング動作を行って、量子化による歪みの程度を効果的に低減することができる。これらのフィルタリングされた再構成画像は、後続の符号化画像の参照として将来の信号を予測するため、上記のフィルタリング動作は、ループフィルタリング、即ち、符号化ループ内のフィルタリング動作とも呼ばれる。
復号化画像キャッシュ２７０は、再構成後のピクセルブロックを記憶することができる。フレーム間予測ユニット２１１は、再構成後のピクセルブロックを含む参照画像を使用して、他の画像のＰＵに対してフレーム間予測を実行することができる。さらに、フレーム内予測ユニット２１２は、復号化画像キャッシュ２７０内の再構成後のピクセルブロックを使用して、ＣＵと同じ画像内の他のＰＵに対してフレーム内予測を実行することができる。
エントロピー符号化ユニット２８０は、変換／量子化ユニット２３０からの量子化後の変換係数を受信することができる。量子化後の変換ドメイン信号は、各値の出現頻度に従って統計的に圧縮符号化され、最終的に、２値化（０又は１）の圧縮コードストリームが出力される。また、符号化によって、例えば、選択されたモード、モーションベクトルデータなどの他の情報が生成され、ビットレートを低下させるためにエントロピー符号化を行う必要もある。統計的符号化は、可逆的符号化方式であり、同じ信号を表現するのに必要なビットレートを効果的に削減することができる。一般的な統計的符号化方式は、可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）又はコンテキスト適応型２進算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｎｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）である。
図３は、本願の実施例によるビデオデコーダの例示的なブロック図である。
図３に示すように、ビデオデコーダ３００は、エントロピー復号化ユニット３１０、予測ユニット３２０、逆量子化／変換ユニット３３０、再構成ユニット３４０、ループフィルタリングユニット３５０、及び復号化画像キャッシュ３６０を含む。なお、ビデオデコーダ３００は、より多い、より少ない、又は異なる機能コンポーネントを含み得る。
ビデオデコーダ３００は、コードストリームを受信することができる。エントロピー復号化ユニット３１０は、コードストリームを解析して、コードストリームから構文要素を抽出することができる。コードストリームの解析の一部として、エントロピー復号化ユニット３１０は、コードストリームにおけるエントロピー符号化後の構文要素を解析することができる。予測ユニット３２０、逆量子化／変換ユニット３３０、再構成ユニット３４０及びループフィルタリングユニット３５０は、コードストリームから抽出した構文要素に基づいてビデオデータを復号化して、復号化後のビデオデータを生成することができる。
いくつかの実施例では、予測ユニット３２０は、フレーム間予測ユニット３２１及びフレーム内予測ユニット３２２を含む。
フレーム間予測ユニット３２１は、フレーム内予測を実行してＰＵの予測ブロックを生成することができる。フレーム間予測ユニット３２１は、フレーム内予測モードを使用して、空間的に隣接するＰＵのピクセルブロックに基づいてＰＵの予測ブロックを生成することができる。フレーム間予測ユニット３２１は、コードストリームから解析された１つ又は複数の構文要素に基づいて、ＰＵのフレーム内予測モードを決定することもできる。
フレーム内予測ユニット３２２は、コードストリームから解析された構文要素に基づいて、第１参照画像リスト（リスト０）及び第２参照画像リスト（リスト１）を構築することができる。さらに、ＰＵがフレーム間予測符号化を使用する場合、エントロピー復号化ユニット３１０は、ＰＵのモーション情報を解析することができる。フレーム内予測ユニット３２２は、ＰＵのモーション情報に基づいて、ＰＵの１つ又は複数の参照ブロックを決定することができる。フレーム内予測ユニット３２２は、ＰＵの１つ又は複数の参照ブロックに基づいて、ＰＵの予測ブロックを生成することができる。
逆量子化／変換ユニット３３０は、ＴＵに関連付けられた変換係数を逆量子化（即ち、非量子化）することができる。逆量子化／変換ユニット３３０は、ＴＵのＣＵに関連付けられたＱＰ値を使用して量子化の度合いを決定することができる。
変換係数を逆量子化した後、逆量子化／変換ユニット３３０は、１つ又は複数の逆変換を逆量子化変換係数に適用して、ＴＵに関連付けられた残差ブロックを生成することができる。
再構成ユニット３４０は、ＣＵのＴＵに関連付けられた残差ブロック及びＣＵのＰＵの予測ブロックを使用して、ＣＵのピクセルブロックを再構成する。例えば、再構成ユニット３４０は、残差ブロックのサンプルを予測ブロックの対応するサンプルに加算してＣＵのピクセルブロックを再構成して、再構成画像ブロックを得ることができる。
ループフィルタリングユニット３５０は、デブロッキングフィルタリング動作を実行して、ＣＵに関連付けられたピクセルブロックのブロッキング効果を低減することができる。
ビデオデコーダ３００は、ＣＵの再構成画像を復号化画像キャッシュ３６０に格納することができる。ビデオデコーダ３００は、復号化画像キャッシュ３６０内の再構成画像を参照画像として後続の予測に使用したり、再構成画像を表示装置に伝送して呈示したりすることができる。
ビデオコーデックの基本プロセスは以下の通りである。即ち、符号化側で、１フレームの画像をブロックに分割し、現在のブロックに対して、予測ユニット２１０は、フレーム内予測又はフレーム間予測を使用して現在のブロックの予測ブロックを生成する。残差ユニット２２０は、予測ブロックと現在のブロックのオリジナルブロックとに基づいて、残差ブロック、即ち、予測ブロックと現在のブロックのオリジナルブロックとの差分を計算することができ、前記残差ブロックは残差情報とも呼ばれ得る。前記残差ブロックは、変換／量子化ユニット２３０による変換及び量子化などのプロセスによって、人間の目に鈍感な情報を除去して、視覚的な冗長性を除去することができる。いくつかの実施例では、変換／量子化ユニット２３０による変換及び量子化前の残差ブロックは、時間ドメイン残差ブロックと呼ばれ得、変換／量子化ユニット２３０による変換及び量子化後の時間ドメイン残差ブロックは、周波数残差ブロック又は周波数ドメイン残差ブロックと呼ばれ得る。エントロピー符号化ユニット２８０は、変換／量子化ユニット２３０から出力される量子化後の変換係数を受信し、前記量子化後の変換係数をエントロピー符号化して、コードストリームを出力することができる。例えば、エントロピー符号化ユニット２８０は、目標コンテキストモデル及びバイナリコードストリームの確立情報に基づいて文字の冗長性を除去することができる。
復号化側では、エントロピー復号化ユニット３１０は、コードストリームを解析して現在のブロックの予測情報、量子化係数行列などを得ることができ、予測ユニット３２０は、予測情報に基づいて現在のブロックに対してフレーム内予測又はフレーム間予測を使用して現在のブロックの予測ブロックを生成する。逆量子化／変換ユニット３３０は、コードストリームから得られた量子化係数行列を使用して、量子化係数行列に対して逆量子化、逆変換を行って、残差ブロックを得る。再構成ユニット３４０は、予測ブロックと残差ブロックとを加算して再構成ブロックを得る。再構成ブロックは再構成画像を構成し、ループフィルタリングユニット３５０は、画像に基づいて、又はブロックに基づいて、再構成画像をループフィルタリングして、復号化画像を得る。符号化側も、復号化画像を取得するために復号化側と同様の操作が必要である。前記復号化画像は、再構成画像とも呼ばれ、再構成画像は、後続のフレームであり得、フレーム間予測の参照フレームとして使用される。
なお、符号化側で決定されたブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報、又はパラメータ情報などは、必要に応じてコードストリームで搬送される。復号化側は、コードストリームを解析し、既存の情報に基づいて分析することにより、符号化側と同じブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報、又はパラメータ情報を決定し、それにより、符号化側で取得した復号化画像と復号化側で取得した復号化画像とが同じであることが保証される。
前述したのは、ブロックベースのハイブリッド符号化フレームワークでのビデオコーデックの基本プロセスであり、技術の発展に伴い、前記フレームワーク又はプロセスの一部のモジュール又はステップが最適化される可能性がある。本願は、前記ブロックベースのハイブリッド符号化フレームワークでのビデオコーデックの基本プロセスに適用されるが、前記フレームワーク又はプロセスに限定されるものではない。
いくつかの実施例では、本願の実施例は、クラウド技術、人工知能、スマート交通、運転支援などを含むがこれらに限定されない様々な画像処理シーンに適用され得る。
以下では、いくつかの実施例によって、本願の実施例の技術的解決策について詳細に説明する。以下のいくつかの実施例は、相互に組み合わせることができ、同一又は類似の概念又はプロセスについては、いくつかの実施例では繰り返して説明しない場合がある。
図４は、本願の実施例による画像フィルタリング方法のフローチャートであり、図４に示すように、前記方法は以下のステップを含む。
ステップＳ４０１において、フィルタリング対象画像の符号化情報を決定し、符号化情報は、フィルタリング対象画像の分類情報を含み、前記分類情報は、フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する。
いくつかの実施例では、本願の実施例は、符号化側及び復号化側の両方に適用され得る。つまり、本願の実施例の実行主体は、上記の図１及び図２におけるエンコーダであってもよいし、図１及び図３におけるデコーダであってもよい。
いくつかの実施例では、本願の実施例は、他の表示機器にも適用され得る。例えば、デコーダは、復号化後の再構成画像を表示機器に送信し、前記表示機器は、本願の実施例の画像フィルタリング方法を採用して再構成画像をフィルタリングし、フィルタリング後の画像を表示する。
つまり、本願の実施例の実行主体は、画像フィルタリング装置などの画像フィルタリング機能を備える装置である。前記画像フィルタリング装置は、電子機器であり得、又は電子機器内のプロセッサなどの電子機器内の一部である。前記電子機器は、エンコーダ、デコーダ、コーデック、表示機器などであり得る。
説明の便宜上、以下では、実行主体が電子機器である場合を例として、本願の実施例の方法について説明する。
本願の実施例に係るフィルタは、ニューラルネットワークフィルタ、即ち、フィルタリングモデルである。いくつかの実施例では、前記フィルタリングモデルは、ニューラルネットワークに基づくループ内フィルタ（ＮＮＬＦ：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）とも呼ばれる。
本願の実施例のフィルタリングモデルは、フレーム内符号化画像のフィルタリングを実現するだけでなく、フレーム間符号化画像のフィルタリングを実現することもできる。つまり、本願の実施例のフィルタリングモデルは、汎用フィルタリングモデルであり、モデルパラメータの記憶コストを低減することができる。
本願の実施例の適用シーンは、以下のいくつかのシーンを含むが、これらに限定されない。
シーン１：図５Ａに示すように、上記のフィルタリング対象画像は、上記の再構成ユニットによって再構成された画像である。つまり、本願の実施例のループフィルタリングユニットは、前記フィルタリングモデルであり、図２における再構成ユニット２５０は、再構成画像をループフィルタリングユニット２６０内のフィルタリングモデルに入力してフィルタリングを行って、フィルタリング後の画像を得、前記フィルタリング後の画像を復号化画像キャッシュに格納する。又は、図３における再構成ユニット３４０は、再構成画像をループフィルタリングユニット３５０内のフィルタリングモデルに入力してフィルタリングを行って、フィルタリング後の画像を得、前記フィルタリング後の画像を復号化画像キャッシュに格納したり、表示したりする。
シーン２：図５Ｂに示すように、上記のフィルタリング対象画像は、ＤＢＦ、ＳＡＯ、ＡＬＦのうちの少なくとも１つによってフィルタリングされた画像である。つまり、本願の実施例のループフィルタリングユニットは、ＤＢＦ、ＳＡＯ、及びＡＬＦのうちの少なくとも１つのような従来のフィルタだけでなく、フィルタリングモデルも含む。図２における再構成ユニット２５０は、再構成画像をループフィルタリングユニット２６０内の従来のフィルタに入力してフィルタリングを行い、フィルタリング後の画像をさらにフィルタリングモデルに入力してフィルタリングを行って、フィルタリング後の画像を得、前記フィルタリング後の画像を復号化画像キャッシュに格納する。又は、図３における再構成ユニット３４０は、再構成画像をループフィルタリングユニット３５０内の従来のフィルタに入力してフィルタリングを行い、フィルタリング後の画像をさらにフィルタリングモデルに入力してフィルタリングを行って、フィルタリング後の画像を得、前記フィルタリング後の画像を復号化画像キャッシュに格納したり、表示したりする。
なお、上記の図５Ｂは、従来のフィルタと本願の実施例のフィルタリングモデルとを組み合わせて使用した一例のみを示している。いくつかのシーンでは、従来のフィルタと本願の実施例のフィルタリングモデルとの組み合わせ方式は、最初にフィルタリングモデルを使用してフィルタリングし、次に、従来のフィルタを使用してフィルタリングする方式、又は最初に従来のフィルタを使用してフィルタリングし、次に、フィルタリングモデルを使用してフィルタリングし、次に、従来のフィルタを使用してフィルタリングする方式、又は他の組み合わせ方式を含むが、これらに限定されず、本願はこれらを限定しない。
シーン３：図５Ｃに示すように、上記のフィルタリング対象画像は表示対称画像である。例えば、図３における再構成ユニット３４０は、再構成画像をループフィルタリングユニット３５０に入力してフィルタリングを行い、フィルタリング後の画像を復号化画像キャッシュに格納する。復号化画像キャッシュ内の画像は、後続の図の参照画像として予測される。例えば、予測ユニット３２０は、復号化画像キャッシュから参照画像を読み出して予測を行う。また、復号化画像キャッシュ内の画像は表示にも使用されるが、表示に使用される前に、まず、本願の実施例のフィルタリングモデルを使用してフィルタリングを行ってから、フィルタリング後の画像を表示する。
上記の図５Ａ及び図５Ｂに示すように、いくつかの実施例では、本願の実施例のフィルタリング後の画像は後続の画像の参照画像として使用される。
上記の図５Ｃに示すように、いくつかの実施例では、本願の実施例のフィルタリング後の画像は表示に使用され、且つ後続の画像の参照画像としては使用されない。
本願の実施例のフィルタリングモデルは、汎用フィルタリングモデルであり、フレーム内符号化された画像のフィルタリングに使用されてもよいし、フレーム間符号化された画像のフィルタリングに使用されてもよい。しかしながら、フレーム内符号化とフレーム間符号化との違いにより、フィルタリング精度を向上させるために、本願の実施例では、フィルタリングモデルにフィルタリング対象画像を入力する。前記入力は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードなどの分類情報を指示する。
本願の実施例では、フィルタリング対象画像の符号化情報は、特に限定されず、フィルタリング対象画像の符号化プロセスに関与する符号化タイプ情報であり得る。
いくつかの実施例では、フィルタリング対象画像の符号化情報は分類情報を含み、前記分類情報は、フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する。
本願の実施例に係る符号化画像タイプは、フルフレーム内符号化画像及びフレーム間符号化可能画像を含む。
ここで、フルフレーム内符号化画像とは、前記画像の符号化タイプがすべてフレーム内符号化方式であることを指し、つまり、フルフレーム内符号化画像の予測のための参照情報がすべて本画像の空間ドメイン情報からのものであることを意味する。
フレーム間符号化可能画像とは、前記画像の符号化タイプがフレーム間符号化方式である可能性があることを指し、つまり、フレーム間符号化可能画像の予測プロセスでは、他の参照フレームの時間ドメイン参照情報を参照することができることを意味する。
いくつかの実施例では、符号化モードの分類は、符号化総モードを含み、例えば、フレーム間符号化モード及びフレーム内符号化モードの２つのタイプを含む。
符号化側では、符号化総モードは、フィルタリング対象画像に対応するすべての予測ユニットによって使用される予測モードに基づいて決定され得る。例えば、前記フィルタリング対象画像の符号化プロセスでは、フィルタリング対象画像に対応するすべての予測ユニットがフレーム内予測モードを使用して予測する場合、前記フィルタリング対象画像の符号化総モードは、フレーム内符号化モードであると決定し、フィルタリング対象画像に対応するすべての予測ユニットがフレーム間予測モードを使用して予測する場合、前記フィルタリング対象画像の符号化総モードは、フレーム間符号化モードであると決定する。
復号化側では、前記フィルタリング対象画像の符号化総モードを取得する方式は、少なくとも以下の２つの方式を含む。
方式１：コードストリームには、前記フィルタリング対象画像の符号化総モードが含まれ、このように、復号化側は、コードストリームを復号化して、前記フィルタリング対象画像の符号化総モードを得る。
方式２：復号化側は、フィルタリング対象画像に対応するすべての予測ユニットによって使用される予測モードに基づいて前記フィルタリング対象画像の符号化総モードを決定する。例えば、前記フィルタリング対象画像の復号化プロセスでは、フィルタリング対象画像に対応するすべての予測ユニットがフレーム内予測モードを使用して予測する場合、前記フィルタリング対象画像の符号化総モードはフレーム内符号化モードであると決定し、フィルタリング対象画像に対応するすべての予測ユニットがフレーム間予測モードを使用して予測する場合、前記フィルタリング対象画像の符号化総モードはフレーム間符号化モードであると決定する。
いくつかの実施例では、符号化モードの分類は、符号化サブモードに具体化することもできる。符号化サブモードは、フィルタリング対象画像の具体的な符号化方式として理解でき、例えば、フレーム内符号化モードにおいて具体的にどのサブモードであるか、又はフレーム間符号化モデルにおいて具体的にどのサブモードであるかである。
一般的なフレーム内符号化技術は、通常のフレーム内符号化モード、ＭＩＰモード（ＭＩＰ：Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）、フレーム内ブロック複製技術（ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）、フレーム内文字列予測技術（ＩＳＰ：Ｉｎｔｒａ Ｓｔｒｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ）、パレット技術（ＰＬＴ：Ｐａｌｅｔｔｅ）などを含む。
一般的なフレーム間符号化技術は、通常のフレーム間符号化モード、モーションマージモード（Ｍｅｒｇｅモード）、モーションマージ及び残差スキップモード（Ｓｋｉｐモード）、フレーム間とフレーム内との複合予測モード（ＣＩＩＰ：Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）などを含む。
符号化側では、符号化サブモードは、フィルタリング対象画像に対応するすべての予測ユニットによって使用される予測モードに基づいて決定され得る。例えば、前記フィルタリング対象画像の符号化プロセスでは、フィルタリング対象画像に対応するすべての予測ユニットが通常のフレーム内符号化モードを使用して予測する場合、前記フィルタリング対象画像の符号化サブモードは通常のフレーム内符号化モードであると決定し、フィルタリング対象画像に対応するすべての予測ユニットがＭｅｒｇｅモードを使用して予測する場合、前記フィルタリング対象画像の符号化サブモードはＭｅｒｇｅモードであると決定する。
復号化側では、前記フィルタリング対象画像の符号化サブモードを取得する方式は、少なくとも以下の２つの方式を含む。
方式１：コードストリームには、前記フィルタリング対象画像の符号化サブモードが含まれ、このように、復号化側は、コードストリームを復号化して、前記フィルタリング対象画像の符号化サブモードを得る。
方式２：復号化側は、フィルタリング対象画像に対応するすべての予測ユニットによって使用される予測モードに基づいて、前記フィルタリング対象画像の符号化サブモードを決定する。例えば、前記フィルタリング対象画像の復号化プロセスでは、フィルタリング対象画像に対応するすべての予測ユニットが通常のフレーム内符号化モードを使用して予測する場合、前記フィルタリング対象画像の符号化サブモードは通常のフレーム内符号化モードであると決定し、フィルタリング対象画像に対応するすべての予測ユニットがＭｅｒｇｅモードを使用して予測する場合、前記フィルタリング対象画像の符号化サブモードはＭｅｒｇｅモードであると決定する。
本願の実施例では、フィルタリング時に、フィルタリング対象画像と、フィルタリング対象画像の符号化画像タイプ、符号化モードの少なくとも一方を指示する分類情報をフィルタリングモデルに入力して、フィルタリング対象画像のフィルタリング後の画像を得る。
いくつかの実施例では、フィルタリング対象画像の分類情報は、複数の要素を含む行列であってもよい。
いくつかの実施例では、フィルタリング対象画像の分類情報は、１つの要素のデータである。
以下では、具体的な例を参照して、本願の実施例におけるフィルタリング対象画像の符号化情報を決定するプロセスについて詳細に説明する。
ケース一：分類情報がフィルタリング対象画像の符号化画像タイプを指示する場合、上記のステップＳ４０１において、フィルタリング対象画像の符号化情報を決定するプロセスは、以下のステップを含む。
ステップＳ４０１－Ａ１において、フィルタリング対象画像内の複数の画像領域に対応する符号化画像タイプを取得し、前記複数の画像領域がすべてフルフレーム内符号化画像に属する場合、分類情報の値は第１の値であると決定する。
ステップＳ４０１－Ａ２において、前記複数の画像領域がすべてフレーム間符号化可能画像に属する場合、分類情報の値は第２の値であると決定する。
ステップＳ４０１－Ａ３において、フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、分類情報の値は第３の値であると決定し、又は前記複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域及びフレーム間符号化可能画像に属する画像領域のフィルタリング対象画像におけるそれぞれの割合に基づいて、分類情報を決定する。
具体的には、本願の実施例の符号化画像は、フルフレーム内符号化画像及びフレーム間符号化可能画像に分けられ、ここで、図６Ａ～図６Ｃに示すように、画像は、フレーム（ｆｒａｍｅ）、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）を含む。分類情報が符号化画像タイプを表す場合、前記分類情報は、スライスレベル、タイルレベル、又はフレームヘッダレベルのうちの１つで指示され得る。
実際にフィルタリングモデルを使用する場合、１つのフレーム全体を直接入力してフィルタリングするのではなく、画像をサブ画像に分割し、次に、サブ画像をフィルタリングモデルに順次入力してフィルタリングを行うのが一般的である。サブ画像のサイズには大小があるため、フィルタリングモデルに入力されるフィルタリング対象画像がスライス／タイル境界を横切る場合がある。本願の実施例のフィルタリング対象画像は、１つのサブ画像として理解することができる。
これに基づき、本願の実施例では、フィルタリング対象画像の符号化画像タイプ及びフィルタリング対象画像がスライス境界又はタイル境界を横切るか否かに基づいて、フィルタリング対象画像の分類情報を決定する。
上記のフィルタリング対象画像内の複数の画像領域は、フィルタリング対象画像内のすべての画像領域であってもよいし、フィルタリング対象画像内の画像領域の一部、例えば、フィルタリング対象画像の画像領域の８０％であってもよい。
具体的には、フィルタリング対象画像の複数の画像領域内のすべての画像領域がフルフレーム内符号化画像に属する場合、分類情報の値は第１の値であると決定し、フィルタリング対象画像の複数の画像領域内のすべての画像領域がフレーム間符号化可能画像に属する場合、分類情報の値は第２の値であると決定する。
本願の実施例は、第１の値及び第２の値の具体的な値を限定しない。
いくつかの実施例では、第１の値は０である。
いくつかの実施例では、第２の値は１である。
一例では、本願の実施例の分類情報は１つの要素のデータである。例えば、フィルタリング対象画像の複数の画像領域内のすべての画像領域がフルフレーム内符号化画像に属する場合、分類情報の値は１であると決定し、フィルタリング対象画像の複数の画像領域内のすべての画像領域がフレーム間符号化可能画像に属する場合、フィルタリング対象画像の分類情報の値は０であると決定する。
別の例では、本願の実施例の分類情報は行列であり、前記行列は、フィルタリング対象画像のサイズと一致してもよいし、フィルタリング対象画像のサイズと異なってもよい。例えば、現在のフィルタリング対象画像の複数の画像領域のすべてがフルフレーム内符号化画像に属する場合、分類情報はオールゼロ行列であると決定する。現在のフィルタリング対象画像の複数の画像領域のすべてがフレーム間符号化可能画像に属する場合、分類情報はオール１行列であると決定する。
フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、以下の２つの方式に基づいて、フィルタリング対象画像の分類情報を決定することができる。
方式１：フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、分類情報の値は第３の値であると決定する。
本願の実施例では、第３の値の具体的な値は、上記の第１の値及び第２の値と異なる値であれば限定されない。
一例では、上記の分類情報が１つの要素のデータである場合、例えば、フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、分類情報は２であると決定する。
別の例では、上記の分類情報が１つの行列である場合、例えば、フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、分類情報はオール２行列であると決定する。
方式２：フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域及びフレーム間符号化可能画像に属する画像領域のフィルタリング対象画像におけるそれぞれの割合に基づいて、分類情報を決定する。
上記の方式２において、フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域及びフレーム間符号化可能画像に属する画像領域のフィルタリング対象画像におけるそれぞれの割合に基づいて、分類情報を決定する実施形態は、以下のいくつかの例を含むが、これらに限定されない。
例１：フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域のフィルタリング対象画像における割合が第１閾値より大きいか等しい場合、分類情報の値は第１の値であると決定し、フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域のフィルタリング対象画像における割合が第１閾値より小さい場合、分類情報の値は第２の値であると決定する。
例２：フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域のフィルタリング対象画像における割合が第１閾値より大きいか等しい場合、分類情報の値は第１の値であると決定し、フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域のフィルタリング対象画像における割合が第１閾値より小さく、且つ第２閾値より大きいか等しい場合、分類情報の値は第２の値であると決定し、フィルタリング対象画像の複数の画像領域のうち、フルフレーム内符号化画像に属する画像領域のフィルタリング対象画像における割合が第２閾値より小さい場合、分類情報の値は第３の値であると決定する。
本願の実施例では、第１閾値及び第２閾値の具体的な値は限定されず、第１閾値は第２閾値より大きい。
いくつかの実施例では、第１閾値は５０％より大きく、且つ１００％より小さい。
上記のケース一では、分類情報は、フィルタリング対象画像の符号化画像タイプを指示し、前記分類情報がフィルタリングモデルに入力された後、フィルタリングモデルは、フィルタリング対象画像の符号化画像タイプに基づいて、フィルタリング対象画像を正確にフィルタリングすることができる。
ケース二：符号化モードは、フレーム内符号化モード及びフレーム間符号化モードを含み、上記の分類情報は、フィルタリング対象画像の符号化モードを指示し、前記分類情報は、第１分類情報及び第２分類情報のうちの少なくとも１つを含む。この実施例では、前記分類情報は、ブロックレベルで指示される。
第１分類情報は、フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを指示する。
第２分類情報は、フィルタリング対象画像内の所定サイズ領域に対応する符号化モードを指示する。
第１分類情報及び第２分類情報に対して、前記ケース二におけるフィルタリング対象画像の符号化情報を決定するプロセスは、ケース１及びケース２のサブケースを含む。ここで、ケース１は、第１分類情報を決定するプロセスであり、ケース２は、第２分類情報を決定するプロセスである。
ケース１：分類情報が第１分類情報を含み、前記第１分類情報が複数の要素からなる行列であり、各要素がフィルタリング対象画像内の１つ又は複数のピクセルの符号化モードに対応する場合、上記のステップＳ４０１におけるフィルタリング対象画像の符号化情報を決定するプロセスは、以下のステップを含む。
ステップＳ４０１－Ｂにおいて、フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを取得し、フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードに基づいて、第１分類情報を決定する。
前記ケース１では、フィルタリング対象画像内の１つ又は複数のピクセルの符号化モードに基づいて、第１分類情報を決定する。例えば、フィルタリング対象画像内の各ピクセルの符号化モードがフレーム内符号化モードである場合、前記第１分類情報内の各行列要素の値は第１の値であると決定する。
いくつかの実施例では、上記のステップＳ４０１－Ｂの実施形態は以下のいくつかの例を含むが、これらに限定されない。
例１：フィルタリング対象画像内のすべてのピクセルに対応する符号化モードがフレーム内符号化モードである場合、第１分類情報内の各行列要素の値は第１の値であると決定する。
例２：フィルタリング対象画像内のすべてのピクセルに対応する符号化モードがフレーム間符号化モードである場合、第１分類情報内の各行列要素の値は第２の値であると決定する。
例３：フィルタリング対象画像内の第１画像領域内の１つ又は複数のピクセルに対応する符号化モードがフレーム内符号化モードであり、第２画像領域内の１つ又は複数のピクセルに対応する符号化モードがフレーム間符号化モードである場合、第１分類情報における第１画像領域内の１つ又は複数のピクセルに対応する行列要素の値は第１の値であり、第２画像領域内の１つ又は複数のピクセルに対応する行列要素の値は第２の値であると決定する。
本願の実施例は、第１の値及び第２の値の具体的な値を限定しない。
いくつかの実施例では、第１の値は０である。
いくつかの実施例では、第２の値は１である。
一可能な実施形態では、第１分類情報のサイズは、フィルタリング対象画像のサイズと一致し、つまり、第１分類情報内の各行列要素は、フィルタリング対象画像内の各ピクセルと１対１に対応する。このようにして、フィルタリング対象画像内の各ピクセルに対応する符号化モードに基づいて、第１分類情報の値を決定することができる。例えば、フィルタリング対象画像内の各ピクセルに対応する符号化モードがフレーム内符号化モードである場合、第１分類情報内の各行列要素の値はいずれも第１の値（例えば、０）であると決定する。フィルタリング対象画像内の各ピクセルに対応する符号化モードがフレーム間符号化モードである場合、第１分類情報内の各行列要素の値はいずれも第２の値（例えば、いずれも１）であると決定する。フィルタリング対象画像内の第１部分のサブピクセルに対応する符号化モードがフレーム内符号化モードであり、第２部分のサブピクセルに対応する符号化モードがフレーム間符号化モードである場合、第１分類情報内の第１部分のサブピクセルに対応する行列要素の値はいずれも第１の値（例えば、いずれも０）であり、第２部分のサブピクセルに対応する行列要素の値はいずれも第２の値であると決定する。
別の可能な実施形態では、第１分類情報のサイズは、フィルタリング対象画像のサイズと一致しない。例えば、第１分類情報のサイズは、フィルタリング対象画像のサイズより小さい。例示的に、フィルタリング対象画像のサイズが６４×６４である場合、第１分類情報のサイズは６４／ｎ×６４／ｍであり、ここで、ｎ、ｍは両方とも正の整数である。例えば、第１分類情報のサイズは３２×３２であり、第１分類情報内の１つの行列要素は、フィルタリング対象画像内の４つのピクセルに対応する。このように、フィルタリング対象画像内の４つのピクセルごとに対応する符号化モードに基づいて、第１分類情報内の対応する行列要素の値を決定することができる。
例えば、フィルタリング対象画像内のピクセル１、ピクセル２、ピクセル３、及びピクセル４は、第１分類情報内の行列要素１に対応する。ピクセル１、ピクセル２、ピクセル３、及びピクセル４に対応する符号化モードがいずれもフレーム内符号化モードである場合、第１分類情報内の行列要素１の値は第１の値であると決定する。ピクセル１、ピクセル２、ピクセル３、及びピクセル４に対応する符号化モードがいずれもフレーム間符号化モードである場合、第１分類情報内の行列要素１の値は第２の値であると決定する。ピクセル１、ピクセル２、ピクセル３、及びピクセル４のほとんどのピクセルに対応する符号化モードがフレーム間符号化モードである場合、第１分類情報内の行列要素１の値は第２の値であると決定する。ピクセル１、ピクセル２、ピクセル３、及びピクセル４のほとんどのピクセルに対応する符号化モードがフレーム内符号化モードである場合、第１分類情報内の行列要素１の値は第１の値であると決定する。
ケース２：分類情報が第２分類情報を含む場合、上記のステップＳ４０１におけるフィルタリング対象画像の符号化情報を決定するプロセスは以下のステップを含む。
ステップＳ４０１－Ｃにおいて、フィルタリング対象画像内の異なる符号化モードに対応する画像領域のフィルタリング対象画像における割合に基づいて、第２分類情報を決定する。
前記ケース２では、フィルタリング対象画像内の異なる符号化モードに対応する画像領域のフィルタリング対象画像における割合（又は比率）に基づいて、第２分類情報を決定することができる。例えば、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフレーム間符号化モードに対応する画像領域より大きい場合、第２分類情報の値は第１の値であると決定する。
いくつかの実施例では、上記のステップＳ４０１－Ｃの実施形態は以下のいくつかの形態を含むが、これらに限定されない。
形態１：フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、第２分類情報の値は第１の値であると決定し、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より小さい場合、第２分類情報の値は第２の値であると決定する。
いくつかの実施例では、第２分類情報は、１つの要素の値、例えば、０又は１である。例えば、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、第２分類情報の値は０であると決定し、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、第２分類情報の値は１であると決定する。
いくつかの実施例では、第２分類情報は行列である。例えば、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、第２分類情報はオール０行列であると決定し、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より小さい場合、第２分類情報はオール１行列であると決定する。
本願の実施例は、第１閾値の具体的な値を限定しない。
いくつかの実施例では、第１所定閾値は８０％である。
例えば、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフィルタリング対象画像サイズの８０％より大きいか等しい場合、第２分類情報の値は０であると決定する（第２分類情報が行列である場合、第２分類情報内の各要素の値はいずれも０である）。フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフィルタリング対象画像サイズの８０％より小さい場合、第２分類情報の値は１であると決定する（第２分類情報が行列である場合、第２分類情報内の各要素の値はいずれも１である）。
形態２：フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、第２分類情報の値は第１の値であると決定し、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第１所定閾値より小さく、且つ第２所定閾値（第２所定閾値は第１所定閾値より小さい）より大きいか等しい場合、第２分類情報の値は第２の値であると決定し、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域のフィルタリング対象画像における割合が第２所定閾値より小さい場合、第２分類情報の値は第３の値であると決定する。
本願の実施例は、第１の値、第２の値、及び第３の値の具体的な値を限定しない。
いくつかの実施例では、第１の値は０である。
いくつかの実施例では、第２の値は１である。
いくつかの実施例では、第３の値は２である。
本願の実施例は、第１所定閾値及び第２所定閾値の具体的な値を限定しない。
いくつかの実施例では、第１所定閾値は８０％である。
いくつかの実施例では、第２所定閾値は６０％である。
例えば、フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフィルタリング対象画像サイズの８０％より大きいか等しい場合、第２分類情報の値は０であると決定する（第２分類情報が行列である場合、第２分類情報内の各要素の値はいずれも０である）。フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフィルタリング対象画像サイズの８０％より小さく、且つフィルタリング対象画像サイズの６０％より大きいか等しい場合、第２分類情報の値は１であると決定する（第２分類情報が行列である場合、第２分類情報内の各要素の値はいずれも１である）。フィルタリング対象画像において、フレーム内符号化モードに対応する画像領域がフィルタリング対象画像サイズの６０％より小さい場合、第２分類情報の値は２であると決定する（第２分類情報が行列である場合、第２分類情報内の各要素の値はいずれも２である）。
前記ケース二では、分類情報は、フィルタリング対象画像の符号化モードを指示する。前記符号化モードは、フレーム内符号化モード又はフレーム間符号化モードなどのフィルタリング対象画像の符号化総モードとして理解できる。前記分類情報がフィルタリングモデルに入力された後、フィルタリングモデルは、フィルタリング対象画像の符号化モードに基づいて、フィルタリング対象画像を正確にフィルタリングして、フィルタリング効果を向上させることができる。
ケース三：フィルタリング対象画像の符号化モードは、通常のフレーム内符号化モード、ＭＩＰモード、ＩＢＣモード、ＩＳＰモード、ＰＬＴモード、通常のフレーム間符号化モード、Ｓｋｉｐモード、Ｍｅｒｇｅモード、ＣＩＩＰモードのうちの少なくとも１つを含む。この場合、分類情報がフィルタリング対象画像の符号化モードを指示する場合、前記分類情報は、ブロックレベルで指示される。前記分類情報が前記フィルタリング対象画像の符号化モードを指示する場合、上記のステップＳ４０１におけるフィルタリング対象画像の符号化情報を決定するプロセスは以下のステップを含む。
ステップＳ４０１－Ｄにおいて、前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードを取得し、フィルタリング対象画像内の各画像領域に対応する符号化モードに基づいて、分類情報を決定する。
本願の実施例では、フィルタリング対象画像の１つの画像領域は１つのピクセルであってもよいし、いくつかの連続するピクセルであってもよいし、１つの符号化ブロックであってもよい。本願の実施例では、フィルタリング対象画像内の複数の画像領域に対応する符号化モードを取得することにより、フィルタリング対象画像内の複数の画像領域に対応する符号化モードに基づいて、フィルタリング対象画像の分類情報を決定する。例えば、フィルタリング対象画像内の複数の画像領域に対応する符号化モードが通常のフレーム内符号化モードである場合、分類情報の値は第１の値であると決定する。
いくつかの実施例では、符号化モードのインデックスに基づいて、分類情報を決定することができる。即ち、上記のステップＳ４０１－Ｄは、いかのステップを含む。ステップＳ４０１－Ｄ１において、フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスを決定する。ステップＳ４０１－Ｄ２において、フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスに基づいて、分類情報を決定する。
いくつかの実施例では、１つの符号化モードは１つのインデックスに対応し、通常のフレーム内符号化モード、ＭＩＰモード、ＩＢＣモード、ＩＳＰモード、ＰＬＴモード、通常のフレーム間符号化モード、ｓｋｉｐモード、ｍｅｒｇｅモード、ＣＩＩＰモードに対して、異なるのインデックス値を事前に設定する。これに基づき、フィルタリング対象画像内の各画像領域に対応する符号化モードのインデックスに基づいて、分類情報を決定することができる。例えば、フィルタリング対象画像内の各画像領域に対応する符号化モードがいずれも通常のフレーム内符号化モードであり、通常のフレーム内符号化モードのインデックス値が０である場合、分類情報は０値又はオール０の行列であると決定する。
いくつかの実施例では、複数の符号化モードが１つのインデックスに対応する。例えば、通常のフレーム内符号化モードのインデックス値は０であり、ＭＩＰモード、ＩＢＣモード、ＩＳＰモード、及びＰＬＴモードのインデックス値は１であり、通常のフレーム間符号化モードのインデックス値は２であり、ｓｋｉｐモード及びｍｅｒｇｅモードのインデックス値は３であり、ＣＩＩＰモードのインデックス値は４である。これに基づき、フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスに基づいて、分類情報を決定することができる。例えば、フィルタリング対象画像内の第１領域に対応する符号化モードは、ｓｋｉｐモード及びｍｅｒｇｅモードであり、第２領域に対応する符号化モードは、通常のフレーム間符号化モードである。このように、分類情報内の第１領域に対応する要素の値は３であり、符号化モード指示情報内の第２領域に対応する要素の値は２である。この場合、前記分類情報は、１つの行列である。
上記のケース一～ケース三では、それぞれ、分類情報によって指示されるフィルタリング対象画像の符号化画像タイプ及び符号化方式について説明した。
いくつかの実施例では、分類情報は、３つの行列によって、上記のケース一～ケース三で説明した符号化画像タイプ及び符号化モードを指示することができる。例示的に、行列Ａは、フィルタリング対象画像の符号化画像タイプを指示し、具体的には、上記のケース一の記述に従って、行列Ａの値を決定する。行列Ｂは、フィルタリング対象画像の符号化モードがフレーム内符号化モードであるか、フレーム間符号化モードであるか、又はフレーム内符号化モードとフレーム間符号化モードとの共存であるかを指示し、具体的には、上記のケース二の記述に従って、行列Ｂの値を決定する。行列Ｃは、フィルタリング対象画像に使用される符号化モード、例えば、フレーム内符号化モード又はフレーム間符号化モードのいずれが使用されるかを指示し、具体的には、上記のケース三の記述に従って、行列Ｃの値を決定する。
分類指示情報が符号化画像タイプ及び符号化モードの両方を指示する場合、分類情報は、行列Ａ、行列Ｂ、及び行列Ｃのうちの少なくとも１つを含む。
例示的に、分類指示情報が符号化画像タイプを指示し、符号化モードを指示しない場合、分類情報は、行列Ｂ及び行列Ｃを含まず、行列Ａのみを含んでもよい。
例示的に、分類指示情報が符号化画像タイプを指示しないが、符号化モードを指示する場合、分類情報は行列Ａを含まず、行列Ｂ及び行列Ｃのうちの少なくとも一方を含む。
いくつかの実施例では、実際の状況に応じて、上記の行列は、１つの要素のみを有するデータであってもよい。
本願の実施例では、上記の方法によれば、フィルタリング対象画像の分類情報を決定した後、以下のステップＳ４０２を実行する。
ステップＳ４０２において、フィルタリング対象画像及びフィルタリング対象画像の分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、フィルタリングモデルに、分類情報に基づいてフィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得る。
本願の実施例のフィルタリングモデルは、深層学習ベースの一般的なモデルであり、モデルの予測精度を向上させるために、図７Ａに示すように、フィルタリング対象画像をフィルタリングモデルに入力することに加えて、さらに、フィルタリング対象画像の分類情報をフィルタリングモデルに入力する。即ち、符号化タイプの補助情報をフィルタリングモデルの入力として導入することで、同じフィルタを使用して特徴量の多い画像を処理（フレーム内符号化モード及びフレーム間符号化モードを含む画像を同時処理）することによるフィルタリング性能の低下を回避し、より精緻な画像情報を画像に提供することができる。これにより、フィルタリング対象画像の分類情報に基づいて、フィルタリング対象画像の各画像領域をフィルタリングするときに、フィルタリング効果を向上させることができる。
本願の実施例は、フィルタリングモデルの具体的なネットワーク構造を限定するものではなく、図７Ａは例示に過ぎない。
いくつかの実施例では、上記のステップＳ４０２において、フィルタリング対象画像及びフィルタリング対象画像の分類情報を深層学習ベースの同一のフィルタリングモデルに入力するプロセスは、以下のステップを含む。ステップＳ４０２－Ａにおいて、フィルタリング対象画像及び分類情報のうちの少なくとも１つを前処理した後、フィルタリングモデルに入力する。
前処理の例１：フィルタリング対象画像と分類情報とをレイヤのマージをした後、フィルタリングモデルに入力する。
一例として、レイヤのマージは、ＤｅｎｓｅＮｅｔの連結（ｃｏｎｃａｔｅｎａｔｅ）動作によって実現され、ＤｅｎｓｅＮｅｔはチャネルのマージに使用される。レイヤのマージの例として、フィルタリング対象画像に含まれる３つのチャネル（赤、緑、青）のグレースケール・データに基づいて、１つの分類情報チャネルを新たに追加して分類情報を記録する。それにより、マージ後のフィルタリング対象画像は、４つのチャネルのデータを含む。
前処理の例２：フィルタリング対象画像と分類情報とを乗算した後、フィルタリングモデルに入力する。
乗算の例として、ドット乗算によって実現することができる。即ち、フィルタリング対象画像の各ピクセルのチャネル（赤、緑、青）のグレースケール・データは、それぞれ分類情報の埋め込みベクトル表現と乗算され、乗算して得られる３つのチャネルのグレースケール・データを、フィルタリングモデルの入力として使用する。
前処理の例３：図７Ｂに示すように、フィルタリング対象画像と分類情報とを乗算（例えば、上記の点乗算）してから第１特徴抽出ユニットに入力して、フィルタリング対象画像と分類情報とを融合した後の第１特征情報を得、フィルタリング対象画像を第２特徴抽出ユニットに入力して特徴抽出を行って、フィルタリング対象画像の第２特征情報を得、第１特征情報及び第２特征情報フィルタリングモデルに入力して、フィルタリング対象画像のフィルタリング後の画像を得る。
本願の実施例は、フィルタリングモデルの具体的なネットワーク構造を限定するものではなく、図７Ｂは例示に過ぎない。本願の実施例は、第１特徴抽出ユニット及び第２特徴抽出ユニットの具体的なネットワーク構造を限定するものではない。例示的に、図７Ｂに示すように、第１特徴抽出ユニットは、１つの畳み込み層ｃｏｎｖ（ステップ長Ｓ＝１）及び１つの活性化関数（ｐｒｅｌｕ活性化関数）を含み、第２特徴抽出ユニットも、１つの畳み込み層（ステップ長Ｓ＝１）及び１つの活性化関数（ｐｒｅｌｕ関数）を含む。いくつかの実施例では、活性化関数は、図７Ｂに示すｐｒｅｌｕ活性化関数に加えて、ｒｅｌｕ活性化関数などの他のタイプの活性化関数であってもよく、本願の実施例はこれらを限定しない。第２特徴抽出ユニットの構造は、第１特徴抽出ユニットと同じであってもよい。
いくつかの実施例では、上記のステップＳ４０２において、フィルタリング対象画像及びフィルタリング対象画像の分類情報を深層学習ベースの同一のフィルタリングモデルに入力するプロセスは、以下のステップを含む。ステップＳ４０２－Ｂにおいて、フィルタリング対象画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、フィルタリング対象画像及び分類情報とを、フィルタリングモデルに入力する。ここで、予測画像は、現在のフィルタリング対象画像に対応する予測画像であり、各予測ブロックをスティッチングすることによって形成される。
ブロック分割情報は、現在のフィルタリング対象画像に対応するブロック分割画像である。２つの生成方法を有する。第１の方法は、ブロック分割境界及び非ブロック分割境界に異なるの値を割り当てることであり、第２の方法は、各ブロック分割境界内の領域（符号化ユニット）を、現在の領域内のフィルタリング対象画像の平均値で埋めることである。
量子化パラメータは、シーケンスレベル量子化パラメータ及びスライスレベル量子化パラメータのうちの少なくとも１つを含む。シーケンスレベル量子化パラメータは、現在のシーケンス（すべてのフレーム、スライス、及びタイルなど）に作用する量子化パラメータであり、他の量子化パラメータは、これに基づいてオフセットを加算することによって得られる。スライスレベル量子化パラメータは、現在のスライスに作用する量子化パラメータである。
一例では、フィルタリング対象画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、フィルタリング対象画像及び分類情報とを融合した後、フィルタリングモデルに入力して、フィルタリング対象画像のフィルタリング後の画像を得る。
別の例では、ステップＳ４０２－Ｂは以下のステップを含む。ステップＳ４０２－Ｂ１において、予測画像を第１処理ユニットに入力して、予測画像の特徴情報を得る。ステップＳ４０２－Ｂ２において、フィルタリング対象画像を第２処理ユニットに入力して、フィルタリング対象画像の特徴情報を得る。ステップＳ４０２－Ｂ３において、予測画像の特徴情報、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、フィルタリング対象画像の特徴情報及び分類情報とを、フィルタリングモデルに入力して、フィルタリング対象画像のフィルタリング後の画像を得る。
本願の実施例では、まず、フィルタリング対象画像に対応する予測画像を第１処理ユニットに入力して、予測画像の特徴情報を得る。フィルタリング対象画像を第２処理ユニットに入力して、フィルタリング対象画像の特徴情報を得る。図７Ｃに示すように、予測画像の特徴情報、量子化パラメータ及びブロック分割情報のうちの少なくとも１つと、フィルタリング対象画像の特徴情報及び分類情報とをフィルタリングモデルに入力して、フィルタリング対象画像のフィルタリング後の画像を得る。
本願の実施例は、第１処理ユニット、第２処理ユニット、及びフィルタリングモデルの具体的なネットワーク構造を限定するものではない。例示的に、図７Ｃに示すように、第１処理ユニットは、１つの畳み込み層及び１つの活性化関数を含む。例示的に、図７Ｃに示すように、第２処理ユニットは、１つの畳み込み層及び１つの活性化関数を含む。
いくつかの実施例では、上記の活性化関数は、図７Ｃに示すｐｒｅｌｕ活性化関数に加えて、他のたタイプの活性化関数であってもよく、本願の実施例はこれらを限定しない。
本願の実施例のフィルタリングモデルのネットワーク構造は、図７Ａ～図７Ｃに示す構造に加えて、他の構造であってもよく、本願は、フィルタリングモデルの具体的なネットワーク構造を限定するものではない。
いくつかの実施例では、予測画像の特徴情報、量子化パラメータ及びブロック分割情報のうちの少なくとも１つと、フィルタリング対象画像の特徴情報及び分類情報とを融合した後、フィルタリングモデルに入力する。
例えば、図７Ｃでは、予測画像の特徴情報、量子化パラメータ、フィルタリング対象画像の特徴情報及び分類情報をマージした後、フィルタリングモデルに入力する。
別の例では、図７Ｃでは、予測画像の特徴情報、量子化パラメータ、フィルタリング対象画像の特徴情報及び分類情報を乗算した後、フィルタリングモデルに入力する。
いくつかの実施例では、図７Ａ～図７Ｃを参照すると、本願の実施例のフィルタリングモデルは、フィルタリングモデルのネットワーク構造を含み、順次接続される以下の構造、即ち、畳み込み層（ステップ長ｓ＝１）、活性化関数（ｐｒｅｌｕ活性化関数）、Ｎ個の残差ブロック（Ｎは正の整数である）、畳み込み層（ステップ長ｓ＝１）及びアップサンプリング層を含む。上記のＮ個の残差ブロックのネットワーク構造は、同じでも異なってもよい。
いくつかの実施例では、Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は同じである。
例示的に、図８Ａに示すように、Ｎ個の残差ブロックのうちの少なくとも１つ残差ブロックは、１つの１ｘ１畳み込み層及び３ｘ３畳み込み層を含み、前記１ｘ１畳み込み層及び３ｘ３畳み込み層の入力チャネル数は、出力チャネル数に等しい。
いくつかの実施例では、図８Ａに示す残差ブロックに基づいて注目層を追加してもよい。例えば、図８Ｂに示すように、畳み込みブロック注目モジュール（ＣＢＡＭ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｂｌｏｃｋ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ）を追加する。
いくつかの実施例では、Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は異なる。
例示的に、図８Ｃに示すように、Ｎ個の残差ブロックのうちの少なくとも１つ残差ブロックは、１つの１ｘ１畳み込み層及び３ｘ３畳み込み層を含み、前記１ｘ１畳み込み層及び３ｘ３畳み込み層の入力チャネル数は、出力チャネル数と等しくない。例えば、活性化関数の前にチャネル数を増加し、活性化関数の後にチャネル数を減らすように設定してもよい。即ち、最初の１ｘ１畳み込み層の入力チャネル数及び出力チャネル数はそれぞれ６４及び１９２であり、２番目の１ｘ１畳み込み層の成入力チャネル数及び出力チャネル数はそれぞれ１９２及び６４であり、３番目の３ｘ３畳み込み層の入力チャネル数及び出力チャネル数はそれぞれ６４及び６４である。
いくつかの実施例では、図８Ｃに示す残差ブロックに基づいて注目層を追加してもよい。例えば、図８Ｄに示すように、畳み込みブロック注目モジュール（ＣＢＡＭ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｂｌｏｃｋ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ）を追加する。
なお、上記の図７Ａ～図８Ｄは、本願に係るフィルタリングモデルのネットワーク構造の模式図に過ぎない。本願の実施例のフィルタリングモデルのネットワーク構造は、上記の図７Ａ～図８Ｄに示すものを含むがこれらに限定されない。上記の図７Ａ～図８Ｄに示す具体的なネットワークパラメータも一例に過ぎず、本願の実施例はこれらに限定されない。
本願の実施例のフィルタリングモデルは、フレーム内符号化モードにおけるフィルタリング対象画像に対するフィルタリングを実現することができ、フレーム間符号化モードにおけるフィルタリング対象画像に対するフィルタリングを実現することもできる。これは、異なるモードにおけるフィルタリング対象画像としての汎用フィルタリングモデルに相当し、異なるモードに対して対応するフィルタリングモデルをそれぞれ構築することに比べて、モデルパラメータの記憶空間の占有率が大幅に低減され、モデルパラメータの記憶コストが低い。また、フィルタリングモデルに分類情報を結合し、フィルタリング対象画像に対して差別化フィルタリングを行うことにより、異なるモードにおけるフィルタリング対象画像を適用でき、フィルタリング対象画像のフィルタリング効果を向上させることができる。
以上により、本願の実施例に係る画像フィルタリング方法について詳細に説明した。フィルタリングモデルを使用して上記の画像フィルタリングを行う前に、まず、フィルタリングモデルをトレーニングする必要がある。下記において、フィルタリングモデルのトレーニングプロセスについて説明する。
図９に示すように、本願の実施例のフィルタリングモデルのトレーニングプロセスは以下のステップを含む。
ステップ９０１：データセットの生成。
（コーデック）ソフトウェアを使用してトレーニングセットを生成する。
なお、前記トレーニングセットに含まれるトレーニング画像は、フレーム内符号化モードにおける画像を含み、フレーム間符号化モードにおける画像も含む。
また、前記トレーニングセットには、各トレーニング画像の符号化情報がさらに含まれ、ここで、符号化情報は分類情報を含み、前記分類情報は、トレーニング画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する。
ステップ９０２：モデルのトレーニング。
トレーニングセットを使用してフィルタリングモデルをトレーニングする。具体的には、上記のトレーニング画像及びトレーニング画像の分類情報フィルタリングモデルに入力して、フィルタリングモデルをトレーニングして、トレーニング後のフィルタリングモデルを得る。
モデルトレーニングプロセスでは、損失関数が使用される。損失関数は、予測値と実測値の差を測定する。損失値（ｌｏｓｓ）が大きいほど、差が大きいことを表し、トレーニングの目的は、ｌｏｓｓを減らすことである。本願の実施例の損失関数には、Ｌ１ノルム損失関数、Ｌ２ノルム損失関数、及びｓｍｏｏｔｈ Ｌ１損失関数がある。
実際にフィルタリングモデルを使用する場合、１つのフレーム全体を直接入力してフィルタリングするのではなく、画像をサブ画像に分割し、次に、サブ画像をフィルタリングモデルに順次入力してフィルタリングを行うのが一般的である。サブ画像のサイズには大小があるため、フィルタリングモデルに入力されるフィルタリング対象画像がスライス／タイル境界を横切る場合がある。
これに基づき、いくつかの実施例では、トレーニング画像及びトレーニング画像の分類情報をフィルタリングモデルに入力することに加えて、トレーニング画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つを、フィルタリングモデルにさらに入力することにより、フィルタリング画像がトレーニング画像のより多くの情報を学習し、それにより、モデルのフィルタリング効果を向上させることができる。
ステップ９０３：ソフトウェアの統合。
トレーニングされたフィルタリングモデルをソフトウェアに統合してフィルタリングする。例えば、上記のトレーニングされたフィルタリングモデルを、上記のエンコーダ及び／又は復号化に統合して、再構成画像をフィルタリングする。これにより、再構成効果を向上させる。
なお、図４～図９は、本願の実施例の例示に過ぎず、本願の実施例の制限として解釈されるべきではない。
以上により、図面を参照して、本願の実施例の好ましい実施形態について説明したが、本願は、上記の実施形態における具体的な詳細に限定されない。本願の実施例の技術的構想の範囲内で、本願の実施例の技術的解決策に対して様々な簡単な変更を行うことができ、これらの簡単な変更はすべて、本願の実施例の保護範囲に属する。例えば、上記の具体的な実施形態で説明される各具体的な技術的特徴は、矛盾することなく、任意の適切な方式で組み合わせることができ、不必要な繰り返しを回避するために、本願は様々な可能な組み合わせについては説明しない。別の例では、本願の実施例の様々な異なる実施形態も、任意に組み合わせることができ、本願の実施例の思想に違反しない限り、当該組み合わせも、本願で開示される内容と見なされるべきである。
以上により、図４～図１２を参照して、本願の実施例の方法の実施例について詳細に説明し、下記において、本願の実施例の装置の実施例について詳細に説明する。
図１０は、本願の実施例による画像フィルタリング装置の構成を示す模式図である。画像フィルタリング装置１０は、フィルタリング対象画像の符号化情報を決定するように構成される決定ユニット１１であって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、決定ユニット１１と、前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、フィルタリングモデルに、前記分類情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るように構成されるフィルタリングユニット１２と、を備える。
いくつかの実施例では、符号化画像タイプは、フルフレーム内符号化画像及びフレーム間符号化可能画像を含み、前記分類情報が前記フィルタリング対象画像の符号化画像タイプを指示する場合、いくつかの実施例では、上記の分類情報は、スライスレベル、画像ブロックレベル、又は画像ヘッダレベルで指示される。
この場合、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の複数の画像領域に対応する符号化画像タイプを取得し、前記複数の画像領域がいずれも前記フルフレーム内符号化画像に属する場合、前記分類情報の値は第１の値であると決定し、前記複数の画像領域がいずれも前記フレーム間符号化可能画像に属する場合、前記分類情報の値は第２の値であると決定し、前記フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、前記分類情報の値は第３の値であると決定し、又は前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域及び前記フレーム間符号化可能画像に属する画像領域の前記フィルタリング対象画像におけるそれぞれの割合に基づいて、前記分類情報の値を決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像の複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が第１閾値より大きいか等しい場合、前記分類情報の値は前記第１の値であると決定し、前記フィルタリング対象画像の複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第１閾値より小さい場合、前記分類情報の値は前記第２の値であると決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像の複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が第１閾値より大きいか等しい場合、前記分類情報の値は前記第１の値であると決定し、前記フィルタリング対象画像の複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第１閾値より小さく、且つ第２閾値より大きいか等しい場合、前記分類情報の値は前記第２の値であると決定し、前記フィルタリング対象画像の複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第２閾値より小さい場合、前記分類情報の値は前記第３の値であると決定するように構成される。
いくつかの実施例では、符号化モードは、フレーム内符号化モード及びフレーム間符号化モードを含み、前記分類情報がフィルタリング対象画像の符号化モードを指示する場合、前記分類情報は、第１分類情報及び第２分類情報のうちの少なくとも１つを含み、前記第１分類情報は、前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを指示し、前記第２分類情報は、前記フィルタリング対象画像内の所定サイズ領域に対応する符号化モードを指示する。いくつかの実施例では、前記分類情報は、ブロックレベルで指示される。
いくつかの実施例では、前記分類情報が前記第１分類情報を含み、前記第１分類情報が複数の要素からなる行列であり、前記行列内の各要素が前記フィルタリング対象画像内の１つ又は複数のピクセルの符号化モードに対応する場合、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを取得し、前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードに基づいて、前記第１分類情報を決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像内のすべてのピクセルに対応する符号化モードが前記フレーム内符号化モードである場合、前記第１分類情報内の各行列要素の値は第１の値であると決定し、前記フィルタリング対象画像内のすべてのピクセルに対応する符号化モードが前記フレーム間符号化モードである場合、前記第１分類情報内の各行列要素の値は第２の値であると決定し、前記フィルタリング対象画像における第１画像領域内の１つ又は複数のピクセルに対応する符号化モードが前記フレーム内符号化モードであり、第２画像領域内の１つ又は複数のピクセルに対応する符号化モードが前記フレーム間符号化モードである場合、前記第１分類情報における前記第１画像領域内の１つ又は複数のピクセルに対応する行列要素の値は前記第１の値であり、前記第２画像領域内の１つ又は複数のピクセルに対応する行列要素の値は前記第２の値であると決定するように構成される。
いくつかの実施例では、前記分類情報が前記第２分類情報を含む場合、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の異なる符号化モードに対応する画像領域の前記フィルタリング対象画像における割合に基づいて、前記第２分類情報を決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、前記第２分類情報の値は第１の値であると決定し、前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第１所定閾値より小さい場合、前記第２分類情報の値は第２の値であると決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、前記第２分類情報の値は第１の値であると決定し、前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第１所定閾値より小さく、且つ第２所定閾値より大きいか等しい場合、前記第２分類情報の値は第２の値であると決定し、前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第２所定閾値より小さい場合、前記第２分類情報の値は第３の値であると決定するように構成される。
いくつかの実施例では、前記符号化モードは、通常のフレーム内符号化モード、行列重み付けフレーム内予測（ＭＩＰ）モード、フレーム内ブロック複製（ＩＢＣ）モード、フレーム内文字列予測（ＩＳＰ）モード、パレット（ＰＬＴ）モード、通常のフレーム間符号化モード、スキップ（Ｓｋｉｐ）モード、モーションマージ（Ｍｅｒｇｅ）モード、フレーム間とフレーム内との複合予測（ＣＩＩＰ）モードのうちの少なくとも１つを含み、前記分類情報が前記フィルタリング対象画像の符号化モードを指示する場合、いくつかの実施例では、前記分類情報は、ブロックレベルで指示される。
この場合、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードを取得し、前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードに基づいて、前記分類情報を決定するように構成される。
いくつかの実施例では、決定ユニット１１は、具体的には、前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスを決定し、前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスに基づいて、前記分類情報を決定するように構成される。
いくつかの実施例では、１つの符号化モードが１つのインデックスに対応し、又は複数の符号化モードが１つのインデックスに対応する。
いくつかの実施例では、フィルタリングユニット１２は、具体的には、前記フィルタリング対象画像及び前記分類情報のうちの少なくとも１つを前処理した後、前記フィルタリングモデルに入力するように構成される。
いくつかの実施例では、フィルタリングユニット１２は、具体的には、前記フィルタリング対象画像と前記分類情報とをレイヤのマージをした後、前記フィルタリングモデルに入力するように構成される。
いくつかの実施例では、フィルタリングユニット１２は、具体的には、前記フィルタリング対象画像と前記分類情報とを乗算してから第１特徴抽出ユニットに入力して、前記フィルタリング対象画像と前記分類情報とを融合した後の第１特征情報を得、前記フィルタリング対象画像を第２特徴抽出ユニットに入力して特徴抽出を行って、前記フィルタリング対象画像の第２特征情報を得、前記第１特征情報及び前記第２特征情報を前記フィルタリングモデルに入力するように構成される。
いくつかの実施例では、フィルタリングユニット１２は、具体的には、前記フィルタリング対象画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、前記フィルタリング対象画像及び前記分類情報とを、前記フィルタリングモデルに入力するように構成される。
いくつかの実施例では、フィルタリングユニット１２は、具体的には、前記予測画像を第１処理ユニットに入力して、前記予測画像の特徴情報を得、前記フィルタリング対象画像を第２処理ユニットに入力して、前記フィルタリング対象画像の特徴情報を得、前記予測画像の特徴情報、前記量子化パラメータ、及び前記ブロック分割情報のうちの少なくとも１つと、前記フィルタリング対象画像の特徴情報及び前記分類情報とを、前記フィルタリングモデルに入力するように構成される。
いくつかの実施例では、前記量子化パラメータは、シーケンスレベル量子化パラメータ及びスライスレベル量子化パラメータのうちの少なくとも１つを含む。
いくつかの実施例では、前記フィルタリングモデルは、Ｎ個の残差ブロックを含み、前記Ｎは正の整数である。
いくつかの実施例では、前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は同じであり、又は、前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は異なる。
いくつかの実施例では、前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックは、注目層を含む。
いくつかの実施例では、前記フィルタリング後の画像は後続の画像の参照画像として使用され、又は、前記フィルタリング後の画像は表示に使用され、且つ後続の画像の参照画像としては使用されない。
なお、装置の実施例と方法の実施例は相互に対応し、同様の説明は方法の実施例を参照することができる。重複を避けるために、ここでは繰り返して説明しない。具体的には、図１０に示す装置１０は、上記の方法の実施例を実行することができ、装置１６における各モジュールの前記動作及び他の動作及び／又は機能は、それぞれ上記の方法の実施例を実現するために使用され、簡潔性のために、ここでは繰り返して説明しない。
以上により、図面を参照して、機能モジュールの観点から本願の実施例の装置について説明した。なお、前記機能モジュールは、ハードウェアの形態で実装されてもよいし、ソフトウェアの形態の命令によっても実装されてもよいし、ハードウェアモジュールとソフトウェアモジュールの組み合わせによっても実装されてもよい。具体的には、本願の実施例における方法の実施例の各ステップは、プロセッサ内のハードウェア集積論理回路及び／又はソフトウェアの形態の命令によって完了することができ、本願の実施例に開示された方法のステップは、ハードウェア復号化プロセッサによって完了されてもよいし、復号化プロセッサ内のハードウェアとソフトウェアモジュールの組み合わせによって完了されてもよい。任意選択的に、ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、又は電気的に消去可能なプログラム可能なメモリ、レジスタなどの従来の記憶媒体に配置されることができる。前記記憶媒体はメモリ内に配置され、プロセッサは、メモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法の実施例のステップを完了する。
図１１は、本願の実施例による電子機器の例示的なブロック図である。前記電子機器は、上記の画像フィルタリング装置、又はビデオエンコーダ、又はビデオデコーダであってもよい。
図１１に示すように、前記電子機器４０は、メモリ４１とプロセッサ４２とを含み得、前記メモリ４１は、コンピュータプログラムを記憶し、プログラムコードを前記プロセッサ４２に伝送するように構成される。言い換えれば、前記プロセッサ４２は、メモリ４１からコンピュータプログラムを呼び出して実行することにより、本願の実施例における方法を実現することができる。例えば、前記プロセッサ４２は、前記コンピュータプログラム内の命令に従って、上記の方法の実施例を実行するように構成され得る。
本願の実施例のいくつかの実施例では、前記プロセッサ４２は、汎用コンピュータ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
本願の実施例のいくつかの実施例では、前記メモリ４１は、揮発性メモリ及び／又は不揮発性メモリを含むが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。例示的であるが限定的ではない例示によれば、多くの形のＲＡＭ、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、拡張された同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ｌｉｎｋ ＤＲＡＭ）及びダイレクトメモリバスランダムアクセスメモリ（ＤＲ ＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）などであり得る。
本願の実施例のいくつかの実施例では、前記コンピュータプログラムは、１つ又は複数のモジュールに分割され得、前記１つ又は複数のモジュールは前記メモリ４１に記憶され、前記プロセッサ４２によって実行されて、本願の実施例によって提供される方法を完了する。前記１つ又は複数のモジュールは、特定の機能を実行できる一連のコンピュータプログラム命令セグメントであり得、前記命令セグメントは、前記ビデオ制作装置における前記コンピュータプログラムの実行プロセスを記述するために使用される。
図１１に示すように、前記電子機器４０は、トランシーバ４０をさらに含み得、前記トランシーバ４３は、前記プロセッサ４２又はメモリ４１に接続され得る。ここで、プロセッサ４２は、他の機器と通信するように当前記トランシーバ４３を制御することができ、具体的には、情報又はデータを他の機器に送信し、又は他の機器によって送信される情報又はデータを受信することができる。トランシーバ４３は、送信機及び受信機を含み得る。トランシーバ４３は、１つ又は複数のアンテナをさらに含み得る。
なお、前記ビデオ制作装置の各構成要素は、バスシステムにより接続され、ここで、バスシステムは、データバスに加えて、電力バス、制御バス、及び状態信号バスを含む。
本願は、コンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは電子機器によって実行されるときに、電子機器に上記の方法の実施例における方法を実行させる。又は、本願の実施例は、命令を含むコンピュータプログラム製品をさらに提供し、前記命令はコンピュータによって実行されるときに、電子機器に上記の方法の実施例における方法を実行させる。
個別のパーツとして説明されたモジュールは、物理的に分離されている場合と分離されていない場合があり、モジュールとして表示されるパーツは、物理モジュールである場合とそうでない場合があり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中の部分の一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。例えば、本願の各実施例における各機能モジュールは、１つの処理モジュールに統合されてもよいし、又は各ユニットが物理的に別々に存在してもよいし、２つ又は２つ以上のモジュールが１つのモジュールに統合されてもよい。
上記の内容は、本願の特定の実施形態に過ぎず、本願の保護範囲はこれに限定されない。本願で開示された技術的範囲内で、当業者が容易に想到し得る変形又は置換はすべて、本願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲に従うものとする。

Claims (25)

  1. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記符号化画像タイプは、フルフレーム内符号化画像及びフレーム間符号化可能画像を含み、前記分類情報が前記フィルタリング対象画像の符号化画像タイプを指示する場合、前記フィルタリング対象画像の符号化情報を決定するステップは、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化画像タイプを取得するステップと、
    前記複数の画像領域がいずれも前記フルフレーム内符号化画像に属する場合、前記分類情報の値は第１の値であると決定するステップと、
    前記複数の画像領域がいずれも前記フレーム間符号化可能画像に属する場合、前記分類情報の値は第２の値であると決定するステップと、
    前記フィルタリング対象画像がスライス境界又はタイル境界を横切る場合、前記分類情報の値は第３の値であると決定し、又は前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域及び前記フレーム間符号化可能画像に属する画像領域の前記フィルタリング対象画像におけるそれぞれの割合に基づいて、前記分類情報の値を決定するステップと、を含む、
    画像フィルタリング方法。
  2. 前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域及び前記フレーム間符号化可能画像に属する画像領域の前記フィルタリング対象画像におけるそれぞれの割合に基づいて、前記分類情報を決定するステップは、
    前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が第１閾値より大きいか等しい場合、前記分類情報の値は前記第１の値であると決定するステップと、
    前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第１閾値より小さい場合、前記分類情報の値は前記第２の値であると決定するステップと、を含む、
    請求項１に記載の画像フィルタリング方法。
  3. 前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域及び前記フレーム間符号化可能画像に属する画像領域の前記フィルタリング対象画像におけるそれぞれの割合に基づいて、前記分類情報の値を決定するステップは、
    前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が第１閾値より大きいか等しい場合、前記分類情報の値は前記第１の値であると決定するステップと、
    前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第１閾値より小さく、且つ第２閾値より大きいか等しい場合、前記分類情報の値は前記第２の値であると決定するステップと、
    前記複数の画像領域のうち、前記フルフレーム内符号化画像に属する画像領域の前記フィルタリング対象画像における割合が前記第２閾値より小さい場合、前記分類情報の値は前記第３の値であると決定するステップと、を含む、
    請求項１に記載の画像フィルタリング方法。
  4. 前記分類情報は、スライスレベル、画像ブロックレベル、又は画像ヘッダレベルで指示される、
    請求項１に記載の画像フィルタリング方法。
  5. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記符号化モードは、フレーム内符号化モード及びフレーム間符号化モードを含み、前記分類情報がフィルタリング対象画像の符号化モードを指示する場合、前記分類情報は、第１分類情報及び第２分類情報のうちの少なくとも１つを含み、
    前記第１分類情報は、前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを指示し、前記第２分類情報は、前記フィルタリング対象画像内の所定サイズ領域に対応する符号化モードを指示し、
    前記分類情報が前記第２分類情報を含む場合、前記フィルタリング対象画像の符号化情報を決定するステップは、
    前記フィルタリング対象画像内の異なる符号化モードに対応する画像領域の前記フィルタリング対象画像における割合に基づいて、前記第２分類情報を決定するステップを含む、
    画像フィルタリング方法。
  6. 前記分類情報が前記第１分類情報を含む場合、前記フィルタリング対象画像の符号化情報を決定するステップは、
    前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードを取得するステップと、
    前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードに基づいて、前記符号化情報内の第１分類情報を決定するステップと、を含み、
    前記第１分類情報は、複数の要素からなる行列であり、前記行列内の各要素は、前記フィルタリング対象画像内の１つ又は複数のピクセルの符号化モードに対応する、
    請求項５に記載の画像フィルタリング方法。
  7. 前記フィルタリング対象画像内の１つ又は複数のピクセルに対応する符号化モードに基づいて、前記第１分類情報を決定するステップは、
    前記フィルタリング対象画像内のすべてのピクセルに対応する符号化モードが前記フレーム内符号化モードである場合、前記第１分類情報内の各行列要素の値は第１の値であると決定するステップと、
    前記フィルタリング対象画像内のすべてのピクセルに対応する符号化モードが前記フレーム間符号化モードである場合、前記第１分類情報内の各行列要素の値は第２の値であると決定するステップと、
    前記フィルタリング対象画像における第１画像領域内の１つ又は複数のピクセルに対応する符号化モードが前記フレーム内符号化モードであり、第２画像領域内の１つ又は複数のピクセルに対応する符号化モードが前記フレーム間符号化モードである場合、前記第１分類情報における前記第１画像領域内の１つ又は複数のピクセルに対応する行列要素の値は前記第１の値であり、前記第２画像領域内の１つ又は複数のピクセルに対応する行列要素の値は前記第２の値であると決定するステップと、を含む、
    請求項５に記載の画像フィルタリング方法。
  8. 前記フィルタリング対象画像内の異なる符号化モードに対応する画像領域の前記フィルタリング対象画像における割合に基づいて、前記第２分類情報を決定するステップは、
    前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、前記第２分類情報の値は第１の値であると決定するステップと、
    前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第１所定閾値より小さい場合、前記第２分類情報の値は第２の値であると決定するステップと、を含む、
    請求項５に記載の画像フィルタリング方法。
  9. 前記フィルタリング対象画像内の異なる符号化モードに対応する画像領域の前記フィルタリング対象画像における割合に基づいて、前記第２分類情報を決定するステップは、
    前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が第１所定閾値より大きいか等しい場合、前記第２分類情報の値は第１の値であると決定するステップと、
    前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第１所定閾値より小さく、且つ第２所定閾値より大きいか等しい場合、前記第２分類情報の値は第２の値であると決定するステップと、
    前記フィルタリング対象画像内の前記フレーム内符号化モードに対応する画像領域の前記フィルタリング対象画像における割合が前記第２所定閾値より小さい場合、前記第２分類情報の値は第３の値であると決定するステップと、を含む、
    請求項５に記載の画像フィルタリング方法。
  10. 前記分類情報は、ブロックレベルで指示される、
    請求項５に記載の画像フィルタリング方法。
  11. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記符号化モードは、通常のフレーム内符号化モード、行列重み付けフレーム内予測（ＭＩＰ）モード、フレーム内ブロック複製（ＩＢＣ）モード、フレーム内文字列予測（ＩＳＰ）モード、パレット（ＰＬＴ）モード、通常のフレーム間符号化モード、スキップ（Ｓｋｉｐ）モード、モーションマージ（Ｍｅｒｇｅ）モード、フレーム間とフレーム内との複合予測（ＣＩＩＰ）モードのうちの少なくとも１つを含み、
    前記分類情報が前記フィルタリング対象画像の符号化モードを指示する場合、前記フィルタリング対象画像の符号化情報を決定するステップは、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードを取得するステップと、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードに基づいて、前記符号化情報内の分類情報を決定するステップと、を含み、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードに基づいて、前記符号化情報内の分類情報を決定するステップは、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスを決定するステップと、
    前記フィルタリング対象画像内の複数の画像領域に対応する符号化モードのインデックスに基づいて、前記分類情報を決定するステップと、を含む、
    画像フィルタリング方法。
  12. １つの符号化モードが１つのインデックスに対応し、又は複数の符号化モードが１つのインデックスに対応する、
    請求項１１に記載の画像フィルタリング方法。
  13. 前記分類情報は、ブロックレベルで指示される、
    請求項１１に記載の画像フィルタリング方法。
  14. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力するステップは、
    前記フィルタリング対象画像及び前記分類情報のうちの少なくとも１つを前処理した後、前記フィルタリングモデルに入力するステップを含む、
    画像フィルタリング方法。
  15. 前記フィルタリング対象画像及び前記分類情報のうちの少なくとも１つを前処理した後、前記フィルタリングモデルに入力するステップは、
    前記フィルタリング対象画像と前記分類情報とをレイヤのマージをした後、前記フィルタリングモデルに入力するステップを含む、
    請求項１４に記載の画像フィルタリング方法。
  16. 前記フィルタリング対象画像及び前記分類情報のうちの少なくとも１つを前処理した後、前記フィルタリングモデルに入力するステップは、
    前記フィルタリング対象画像と前記分類情報とを乗算してから第１特徴抽出ユニットに入力して、前記フィルタリング対象画像と前記分類情報とを融合した後の第１特征情報を得るステップと、
    前記フィルタリング対象画像を第２特徴抽出ユニットに入力して特徴抽出を行って、前記フィルタリング対象画像の第２特征情報を得るステップと、
    前記第１特征情報及び前記第２特征情報を前記フィルタリングモデルに入力するステップと、を含む、
    請求項１４に記載の画像フィルタリング方法。
  17. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力するステップは、
    前記フィルタリング対象画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、前記フィルタリング対象画像及び前記分類情報とを、前記フィルタリングモデルに入力するステップを含み、
    前記フィルタリング対象画像に対応する予測画像、量子化パラメータ、及びブロック分割情報のうちの少なくとも１つと、前記フィルタリング対象画像及び前記分類情報とを、前記フィルタリングモデルに入力するステップは、
    前記予測画像を第１処理ユニットに入力して、前記予測画像の特徴情報を得るステップと、
    前記フィルタリング対象画像を第２処理ユニットに入力して、前記フィルタリング対象画像の特徴情報を得るステップと、
    前記予測画像の特徴情報、前記量子化パラメータ、及び前記ブロック分割情報のうちの少なくとも１つと、前記フィルタリング対象画像の特徴情報及び前記分類情報とを、前記フィルタリングモデルに入力するステップと、を含む、
    画像フィルタリング方法。
  18. 前記量子化パラメータは、シーケンスレベル量子化パラメータ及びスライスレベル量子化パラメータのうちの少なくとも１つを含む、
    請求項１７に記載の画像フィルタリング方法。
  19. 画像フィルタリング方法であって、
    フィルタリング対象画像の符号化情報を決定するステップであって、前記符号化情報は、前記フィルタリング対象画像の分類情報を含み、前記分類情報は、前記フィルタリング対象画像の符号化画像タイプ、符号化モードのうちの少なくとも１つを指示する、ステップと、
    前記フィルタリング対象画像及び前記分類情報を深層学習ベースの同一のフィルタリングモデルに入力し、前記フィルタリングモデルに、前記符号化情報に基づいて前記フィルタリング対象画像をフィルタリングさせて、フィルタリング後の画像を得るステップと、を含み、
    前記フィルタリングモデルは、Ｎ個の残差ブロックを含み、前記Ｎは正の整数である、
    画像フィルタリング方法。
  20. 前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は同じであり、又は、前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックに含まれる各畳み込み層の入力チャネル数と出力チャネル数は異なる、
    請求項１９に記載の画像フィルタリング方法。
  21. 前記Ｎ個の残差ブロックのうちの少なくとも１つの残差ブロックは、注目層を含む、
    請求項１９に記載の画像フィルタリング方法。
  22. 前記フィルタリング後の画像は後続の画像の参照画像として使用され、又は、前記フィルタリング後の画像は表示に使用され、且つ後続の画像の参照画像としては使用されない、
    請求項１に記載の画像フィルタリング方法。
  23. 請求項１ないし２２のうちいずれか一項に記載の方法を実行するように構成された画像フィルタリング装置。
  24. 電子機器であって、
    プロセッサと、メモリと、を備え、前記メモリは、コンピュータプログラムを記憶するように構成され、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、請求項１～２２のいずれか一項に記載の方法を実行する、電子機器。
  25. 電子機器で実行されるときに、前記電子機器に、請求項１～２２のいずれか一項に記載の方法を実行させるコンピュータプログラム命令を含む、コンピュータプログラム。

JP2024516555A 2022-02-10 2022-12-09 画像フィルタリング方法、装置、機器及びプログラム Active JP7761139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202210126411.XA CN116630171A (zh) 2022-02-10 2022-02-10 图像滤波方法、装置、设备及存储介质
CN202210126411.X 2022-02-10
PCT/CN2022/137882 WO2023151365A1 (zh) 2022-02-10 2022-12-09 图像滤波方法、装置、设备及存储介质、程序产品

Publications (2)

Publication Number Publication Date
JP2024531738A JP2024531738A (ja) 2024-08-29
JP7761139B2 true JP7761139B2 (ja) 2025-10-28

Family

ID=87563594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024516555A Active JP7761139B2 (ja) 2022-02-10 2022-12-09 画像フィルタリング方法、装置、機器及びプログラム

Country Status (6)

Country Link
US (2) US12368866B2 (ja)
EP (1) EP4390833A4 (ja)
JP (1) JP7761139B2 (ja)
KR (1) KR20240054313A (ja)
CN (1) CN116630171A (ja)
WO (1) WO2023151365A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118741128B (zh) * 2024-05-17 2026-01-16 北京红云融通技术有限公司 一种视频编解码处理方法及相关产品
WO2025244421A1 (ko) * 2024-05-22 2025-11-27 엘지전자 주식회사 메쉬 데이터 부호화 장치, 메쉬 데이터 부호화 방법, 메쉬 데이터 복호화 장치 및 메쉬 데이터 복호화 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031410A1 (ja) 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
WO2019093268A1 (ja) 2017-11-08 2019-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像処理装置及び画像処理方法
CN110351568A (zh) 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN113259671A (zh) 2020-02-10 2021-08-13 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
WO2021244884A1 (en) 2020-06-04 2021-12-09 Interdigital Vc Holdings France, Sas Neural network based filter in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643454B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
US11265540B2 (en) * 2018-02-23 2022-03-01 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
US20190306502A1 (en) * 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
CN113766249B (zh) * 2020-06-01 2022-05-13 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111711824B (zh) * 2020-06-29 2021-07-02 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031410A1 (ja) 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
WO2019093268A1 (ja) 2017-11-08 2019-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像処理装置及び画像処理方法
CN110351568A (zh) 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN113259671A (zh) 2020-02-10 2021-08-13 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
WO2021244884A1 (en) 2020-06-04 2021-12-09 Interdigital Vc Holdings France, Sas Neural network based filter in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yue Li et al，EE1-1.2: Test on Deep In-Loop Filter with Adaptive Parameter Selection and Residual Scaling [online]，JVET-Y0143-v2，ITU-T，2022年01月12日，pp.1-6，[retrieved on 2025.02.05], Retrieved from the Internet:<URL:https://jvet-experts.org/doc_end_user/documents/25_Teleconference/wg11/JVET-Y0143-v2.zip>, JVET-Y0143-r1.docx pp.1-6

Also Published As

Publication number Publication date
WO2023151365A1 (zh) 2023-08-17
CN116630171A (zh) 2023-08-22
US12368866B2 (en) 2025-07-22
US20240089465A1 (en) 2024-03-14
KR20240054313A (ko) 2024-04-25
EP4390833A1 (en) 2024-06-26
EP4390833A4 (en) 2025-05-07
US20250337927A1 (en) 2025-10-30
JP2024531738A (ja) 2024-08-29

Similar Documents

Publication Publication Date Title
AU2023202344B2 (en) Position dependent intra prediction combination extended with angular modes
KR102745742B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR102142181B1 (ko) 비디오 코딩에서의 팔레트 블록 사이즈에 대한 제한
JP2023544705A (ja) ビデオコーディング中の、ジョイント成分ニューラルネットワークベースのフィルタ処理
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
CN106658019A (zh) 参考帧编解码的方法与装置
CN112673640A (zh) 使用调色板译码的编码器、解码器和相应方法
US20250337927A1 (en) Filtering differently coded frames by a general filtering model based on deep learning
JP7657931B2 (ja) ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器
KR20200023358A (ko) 무분할 양방향 필터
TW202133612A (zh) 用於視訊解碼的基於塊的增量脈衝解碼調制
US20240236371A1 (en) Video encoding method, video decoding method, device, system, and storage medium
JP2021519018A (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法
KR20250171279A (ko) 비디오 코딩을 위한 분리가능한 컨볼루션 및 멀티-스케일 강화를 갖는 뉴럴 네트워크-기반 인 루프 필터 아키텍처들
CN116405701B (zh) 图像滤波方法、装置、设备及存储介质
WO2023092404A1 (zh) 视频编解码方法、设备、系统、及存储介质
JP7765159B2 (ja) 画像フィルタリング方法およびその装置、並びに機器
CN114979628B (zh) 图像块预测样本的确定方法及编解码设备
JP7293460B2 (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法
WO2024213011A1 (en) Visual volumetric video-based coding method, encoder and decoder
US20240015312A1 (en) Neural network based filtering process for multiple color components in video coding
CN114979629B (zh) 图像块预测样本的确定方法及编解码设备
RU2820991C1 (ru) Кодирующее устройство, декодирующее устройство и соответствующие способы уменьшения сложности при внутрикадровом прогнозировании для планарного режима
HK40092615A (zh) 图像滤波方法、装置、设备及存储介质
WO2024151494A2 (en) Visual volumetric video-based coding method, encoder and decoder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250929

R150 Certificate of patent or registration of utility model

Ref document number: 7761139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150