WO2023111384A1 - Procédé, appareil et produit programme d'ordinateur pour un codage et un décodage vidéo - Google Patents

Procédé, appareil et produit programme d'ordinateur pour un codage et un décodage vidéo Download PDF

Info

Publication number
WO2023111384A1
WO2023111384A1 PCT/FI2022/050732 FI2022050732W WO2023111384A1 WO 2023111384 A1 WO2023111384 A1 WO 2023111384A1 FI 2022050732 W FI2022050732 W FI 2022050732W WO 2023111384 A1 WO2023111384 A1 WO 2023111384A1
Authority
WO
WIPO (PCT)
Prior art keywords
bitstream
base
filter
input
layer
Prior art date
Application number
PCT/FI2022/050732
Other languages
English (en)
Inventor
Honglei Zhang
Francesco Cricrì
Miska Matias Hannuksela
Hamed REZAZADEGAN TAVAKOLI
Nam Hai LE
Ramin GHAZNAVI YOUVALARI
Jukka Ilari AHONEN
Emre Baris Aksu
Jani Lainema
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of WO2023111384A1 publication Critical patent/WO2023111384A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Les modes de réalisation concernent un procédé de codage et de décodage. Le procédé de codage comprend la réception (1310) d'une séquence vidéo d'entrée ; le codage (1320) de la séquence vidéo d'entrée par un codeur de couche de base à un flux binaire comprenant un flux vidéo codé ; la génération (1330) d'informations de commande de modérateur pour provoquer des modifications du flux vidéo codé afin d'améliorer les performances de tâche d'une ou plusieurs tâches machine ; et l'inclusion (1340) des informations de commande de modérateur dans ou le long du flux binaire. Le procédé de décodage comprend la réception (1350) d'un flux binaire d'entrée, dans lequel le flux binaire d'entrée comprend un flux vidéo codé généré par un codeur de couche de base ; et la modification (1360) du flux binaire d'entrée reçu pour améliorer les performances de tâche d'une ou plusieurs tâches machine. Les modes de réalisation concernent également des appareils et des produits programmes d'ordinateur pour mettre en œuvre les procédés.
PCT/FI2022/050732 2021-12-13 2022-11-08 Procédé, appareil et produit programme d'ordinateur pour un codage et un décodage vidéo WO2023111384A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20216267 2021-12-13
FI20216267 2021-12-13

Publications (1)

Publication Number Publication Date
WO2023111384A1 true WO2023111384A1 (fr) 2023-06-22

Family

ID=86773676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FI2022/050732 WO2023111384A1 (fr) 2021-12-13 2022-11-08 Procédé, appareil et produit programme d'ordinateur pour un codage et un décodage vidéo

Country Status (1)

Country Link
WO (1) WO2023111384A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160255355A1 (en) * 2013-10-11 2016-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
US20170078704A1 (en) * 2014-03-04 2017-03-16 Sagemcom Broadband Sas Method for modifying a binary video stream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160255355A1 (en) * 2013-10-11 2016-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
US20170078704A1 (en) * 2014-03-04 2017-03-16 Sagemcom Broadband Sas Method for modifying a binary video stream

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHENG-PO WANG (ITRI), CHING-CHIEH LIN (ITRI), CHUN-LUNG LIN (ITRI): "[VCM] A study on impact of coding tools on machine vision performance and visual quality", 134. MPEG MEETING; 20210426 - 20210430; ONLINE; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 23 April 2021 (2021-04-23), pages 1 - 7, XP030295525 *
WEN GAO (TENCENT), XIAOZHONG XU, SHAN LIU: "[VCM] Response to CfE: Investigation of VVC Codec for Video Coding for Machine", 134. MPEG MEETING; 20210426 - 20210430; ONLINE; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 22 April 2021 (2021-04-22), pages 1 - 8, XP030295217 *
WENHAN ZHANG (GYRFALCONTECH), LU YU, LINGYU DUAN, YUAN ZHANG, PATRICK DONG, LIN YANG: "[VCM] Hybrid Framework for combined human and machine vision", 129. MPEG MEETING; 20200113 - 20200117; BRUSSELS; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 12 January 2020 (2020-01-12), pages 1 - 3, XP030225138 *

Similar Documents

Publication Publication Date Title
US11375204B2 (en) Feature-domain residual for video coding for machines
EP3120548B1 (fr) Décodage vidéo utilisant une palette à long terme
US8396127B1 (en) Segmentation for video coding using predictive benefit
EP4367889A1 (fr) Améliorations de performance de tâches de vision artificielle par l'intermédiaire d'un filtre à base de réseau neuronal appris
WO2023135518A1 (fr) Syntaxe de haut niveau de codage résiduel prédictif dans une compression de réseau neuronal
WO2022238967A1 (fr) Procédé, appareil et produit programme d'ordinateur pour fournir un réseau neuronal réglé précisément
WO2022269415A1 (fr) Procédé, appareil et produit-programme d'ordinateur permettant de fournir un bloc d'attention de compression d'image de vidéo reposant sur un réseau neuronal
US20230325639A1 (en) Apparatus and method for joint training of multiple neural networks
EP4142289A1 (fr) Procédé, appareil et produit programme informatique pour codage et décodage vidéo
US20230196072A1 (en) Iterative overfitting and freezing of decoder-side neural networks
WO2022224113A1 (fr) Procédé, appareil et produit programme informatique pour fournir un filtre de réseau neuronal à réglage fin
WO2023111384A1 (fr) Procédé, appareil et produit programme d'ordinateur pour un codage et un décodage vidéo
EP3672241A1 (fr) Procédé, appareil et produit programme informatique pour codage et décodage vidéo
WO2024002579A1 (fr) Procédé, appareil et produit-programme informatique de codage vidéo
WO2023194650A1 (fr) Procédé, appareil et produit-programme informatique de codage vidéo
WO2024068081A1 (fr) Procédé, appareil et produit programme d'ordinateur pour traitement d'image et de vidéo
WO2024074231A1 (fr) Procédé, appareil et produit programme d'ordinateur pour le traitement d'image et de vidéo faisant appel à des branches de réseau de neurones artificiels présentant différents champs de réception
WO2024068190A1 (fr) Procédé, appareil et produit programme d'ordinateur pour un traitement d'image et de vidéo
WO2024061508A1 (fr) Procédé, appareil et produit programme d'ordinateur pour le traitement d'image et de vidéo à l'aide d'un réseau de neurones artificiels
WO2023151903A1 (fr) Procédé, appareil et produit-programme informatique de codage vidéo
WO2023073281A1 (fr) Procédé, appareil et produit-programme informatique de codage vidéo
US20240121387A1 (en) Apparatus and method for blending extra output pixels of a filter and decoder-side selection of filtering modes
WO2023089231A1 (fr) Procédé, appareil et produit-programme informatique de codage et de décodage vidéo
WO2023237809A1 (fr) Procédé, appareil et produit-programme informatique de codage et de décodage vidéo
US20230169372A1 (en) Appratus, method and computer program product for probability model overfitting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22906727

Country of ref document: EP

Kind code of ref document: A1