KR20220088519A - 서브픽처 디블로킹을 위한 필터 플래그 - Google Patents

서브픽처 디블로킹을 위한 필터 플래그 Download PDF

Info

Publication number
KR20220088519A
KR20220088519A KR1020227020471A KR20227020471A KR20220088519A KR 20220088519 A KR20220088519 A KR 20220088519A KR 1020227020471 A KR1020227020471 A KR 1020227020471A KR 20227020471 A KR20227020471 A KR 20227020471A KR 20220088519 A KR20220088519 A KR 20220088519A
Authority
KR
South Korea
Prior art keywords
picture
video
filter
loop
bitstream
Prior art date
Application number
KR1020227020471A
Other languages
English (en)
Inventor
에프누 헨드리
예-쿠이 왕
지안리 첸
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220088519A publication Critical patent/KR20220088519A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A61F2/962—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve
    • A61F2/97—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve the outer sleeve being splittable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/12022—Occluding by internal devices, e.g. balloons or releasable wires
    • A61B17/12027—Type of occlusion
    • A61B17/1204—Type of occlusion temporary occlusion
    • A61B17/12045—Type of occlusion temporary occlusion double occlusion, e.g. during anastomosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/12022—Occluding by internal devices, e.g. balloons or releasable wires
    • A61B17/12131—Occluding by internal devices, e.g. balloons or releasable wires characterised by the type of occluding device
    • A61B17/12136—Balloons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/122—Clamps or clips, e.g. for the umbilical cord
    • A61B17/1227—Spring clips
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3478—Endoscopic needles, e.g. for infusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A61F2/064—Blood vessels with special features to facilitate anastomotic coupling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A61F2/07—Stent-grafts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A61F2/9517—Instruments specially adapted for placement or removal of stents or stent-grafts handle assemblies therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A61F2/954—Instruments specially adapted for placement or removal of stents or stent-grafts for placing stents or stent-grafts in a bifurcation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A61F2/962—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve
    • A61F2/966—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve with relative longitudinal movement between outer sleeve and prosthesis, e.g. using a push rod
    • A61F2/9662—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve with relative longitudinal movement between outer sleeve and prosthesis, e.g. using a push rod the middle portion of the stent or stent-graft is released first
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B2017/1107—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis for blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B2017/1132—End-to-end connections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A61F2002/061—Blood vessels provided with means for allowing access to secondary lumens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A61F2002/065—Y-shaped blood vessels
    • A61F2002/067—Y-shaped blood vessels modular
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/04—Hollow or tubular parts of organs, e.g. bladders, tracheae, bronchi or bile ducts
    • A61F2/06—Blood vessels
    • A61F2/07—Stent-grafts
    • A61F2002/075—Stent-grafts the stent being loosely attached to the graft material, e.g. by stitching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A61F2/962—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve
    • A61F2/966—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve with relative longitudinal movement between outer sleeve and prosthesis, e.g. using a push rod
    • A61F2002/9665—Instruments specially adapted for placement or removal of stents or stent-grafts having an outer sleeve with relative longitudinal movement between outer sleeve and prosthesis, e.g. using a push rod with additional retaining means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Cardiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Pulmonology (AREA)
  • Reproductive Health (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 디코더에 의해 구현되는 방법으로서, 이 방법은 비디오 디코더에 의해, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, loop_filter_across_subpic_enabled_flag가 0과 같을 때 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스를 적용하는 단계를 포함한다. 비디오 디코더에 의해 구현되는 방법으로서, 이 방법은 비디오 디코더에 의해, 픽처, EDGE_VER, 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계 - 픽처는 서브픽처를 포함함 -와, edgeType이 EDGE_VER와 동일하고, 현재 코딩 블록의 좌측 경계가 서브픽처의 좌측 경계이고, loop_filter_across_subpic_enabled_flag가 0이면 filterEdgeFlag를 0으로 설정하는 단계를 포함한다.

Description

서브픽처 디블로킹을 위한 필터 플래그{FILTER FLAGS FOR SUBPICTURE DEBLOCKING}
관련 출원에 대한 상호 참조
본 특허 출원은 2019년 9월 24일자로 Futurewei Technologies, Inc.에 의해 "비디오 코딩에서 서브픽처를 위한 디블로킹 작업"이라는 제목으로 출원된 미국 가특허 출원 제62/905,231호를 우선권으로 주장하며, 이는 참조로 통합된다.
개시된 실시예는 일반적으로 비디오 코딩에 관한 것으로, 특히 서브픽처 디블로킹을 위한 필터 플래그에 관한 것이다.
비교적 짧은 비디오라도 이를 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나, 또는 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움을 초래할 수 있다. 따라서, 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스가 제한될 수 있기 때문에 비디오가 저장 장치에 저장될 때 비디오의 크기도 문제가 될 수 있다. 비디오 압축 장치는 종종 전송 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 사용하여, 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 양을 줄인다. 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 장치에 의해 목적지에서 수신된다. 네트워크 리소스가 제한되어 있고 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축해제 기술이 바람직하다.
제1 양태는 비디오 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은, 비디오 디코더에 의해, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, loop_filter_across_subpic_enabled_flag가 0일 때, 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스를 적용하는 단계를 포함한다.
제1 실시예에서, 2개의 서브픽처가 서로 인접하고(예를 들어, 제1 서브픽처의 우측 경계는 또한 제2 서브픽처의 좌측 경계이기도 하거나, 또는 제1 서브픽처의 하부 경계는 또한 제2 서브픽처의 상부 경계이기도 함), 두 서브픽처의 loop_filter_across_subpic_enabled_flag[ i ]의 값이 상이한 경우, 두 서브픽처에 의해 공유되는 경계의 디블로킹에 두 가지 조건이 적용된다. 첫째, loop_filter_across_subpic_enabled_flag[ i ]가 0인 서브픽처에 대해, 인접 서브픽처와 공유되는 경계의 블록에는 디블로킹이 적용되지 않는다. 둘째, loop_filter_across_subpic_enabled_flag[ i ]가 1인 서브픽처에 대해, 인접 서브픽처와 공유되는 경계의 블록에 디블로킹이 적용된다. 그 디블로킹을 구현하기 위해, 경계 강도 결정(boundary strength determination)이 일반 디블로킹 프로세스마다 적용되고, 샘플 필터링이 1과 동일한 loop_filter_across_subpic_enabled_flag[i]를 갖는 서브픽처에 속하는 샘플에만 적용된다. 제2 실시예에서, subpic_treated_as_pic_flag[ i ]의 값이 1이고 loop_filter_across_subpic_enabled_flag[ i ]의 값이 0인 서브픽처가 있는 경우, 모든 서브픽처의 loop_filter_across_subpic_enabled_flag[ i ]의 값은 0과 동일해야 한다. 제3 실시예에서, 각 서브픽처에 대해 loop_filter_across_subpic_enabled_flag[ i ]를 시그널링하는 대신, 서브픽처에 걸친 루프 필터가 활성화되는지 여부를 지정하기 위해 하나의 플래그만이 시그널링된다. 개시된 실시예는 위에서 설명된 아티팩트를 감소 또는 제거하고 인코딩된 비트스트림에서 낭비되는 비트를 더 적게한다.
선택적으로, 선행 양태들 중 임의의 것에서, 1과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행될 수 있음을 지정한다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않는다는 것을 지정한다.
제2 양태는 비디오 인코더에 의해 구현되는 방법에 관한 것으로, 이 방법은 비디오 인코더에 의해, loop_filter_across_subpic_enabled_flag를 생성하되 loop_filter_across_subpic_enabled_flag가 0일 때 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스가 적용되도록 하는 단계와, 비디오 인코더에 의해 loop_filter_across_subpic_enabled_flag를 비디오 비트스트림으로 인코딩하는 단계와, 비디오 인코더에 의해, 비디오 디코더를 향한 통신할 비디오 비트스트림을 저장하는 단계를 포함한다.
선택적으로, 선행 양태들 중 임의의 것에서, 1과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행될 수 있음을 지정한다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않음을 지정한다.
선택적으로, 선행 양태들 중 임의의 것에서, 방법은 seq_parameter_set_rbsp를 생성하는 단계와, seq_parameter_set_rbsp에 loop_filter_across_subpic_enabled_flag를 포함시키는 단계와, seq_parameter_set_rbsp를 비디오 비트스트림 내로 인코딩함으로써 loop_filter_across_subpic_enabled_flag를 비디오 비트스트림 내로 추가로 인코딩하는 단계를 포함한다.
제3 양태는 비디오 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은 비디오 디코더에 의해, 픽처, EDGE_VER, 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, edgeType이 EDGE_VER와 같고, 현재 코딩 블록의 좌측 경계가 서브픽처의 좌측 경계이며, loop_filter_across_subpic_enabled_flag가 0인 경우, filterEdgeFlag를 0으로 설정하는 단계를 포함한다.
선택적으로, 선행 양태들 중 임의의 것에서, edgeType은 수직 에지가 필터링되는지 또는 수평 에지가 필터링되는지를 지정하는 변수이다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 edgeType은 수직 에지가 필터링되는 것을 지정하고, EDGE_VER는 수직 에지이다.
선택적으로, 선행 양태들 중 임의의 것에서, 1과 동일한 edgeType은 수평 에지가 필터링되는 것을 지정하고, EDGE_HOR은 수평 에지이다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않는다는 것을 지정한다.
선택적으로, 선행 양태들 중 임의의 것에서, 방법은 filterEdgeFlag에 기초하여 픽처를 필터링하는 단계를 더 포함한다.
제4 양태는 비디오 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은 비디오 디코더에 의해, 픽처, EDGE_HOR, 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, edgeType이 EDGE_HOR과 동일하고, 현재 코딩 블록의 상단 경계가 서브픽처의 상단 경계이고, loop_filter_across_subpic_enabled_flag가 0이면, filterEdgeFlag를 0으로 설정하는 단계를 포함한다.
선택적으로, 선행 양태들 중 임의의 것에서, edgeType은 수직 에지가 필터링되는지 또는 수평 에지가 필터링되는지 여부를 지정하는 변수이다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 edgeType은 수직 에지가 필터링되는 것을 지정하고, EDGE_VER는 수직 에지이다.
선택적으로, 선행 양태들 중 임의의 것에서, 1과 동일한 edgeType은 수평 에지가 필터링되는 것을 지정하고, EDGE_HOR은 수평 에지이다.
선택적으로, 선행 양태들 중 임의의 것에서, 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않는다는 것을 지정한다.
선택적으로, 선행 양태들 중 임의의 것에서, 방법은 filterEdgeFlag에 기초하여 픽처를 필터링하는 단계를 더 포함한다.
제5 양태는 비디오 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은 비디오 디코더에 의해, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, loop_filter_across_subpic_enabled_flag가 0일 때, 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 SAO 프로세스를 적용하는 단계를 포함한다.
제6 양태는 비디오 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은 비디오 디코더에 의해, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 픽처는 서브픽처를 포함함 -와, loop_filter_across_subpic_enabled_flag가 0일 때, 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 ALF 프로세스를 적용하는 단계를 포함한다.
전술한 실시예 중 임의의 것은 새로운 실시예를 생성하기 위해 다른 임의의 실시예와 조합될 수 있다. 이들 및 다른 특징은 첨부된 도면 및 청구범위와 함께 취해진 다음의 상세한 설명으로부터 더 명확하게 이해될 것이다.
본 개시의 보다 완전한 이해를 위해, 유사한 참조 번호가 유사한 부분을 나타내는 첨부 도면 및 상세한 설명과 관련하여 취해진 다음의 간략한 설명을 이제 참조한다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 픽처 비디오 스트림으로부터 추출된 복수의 서브픽처 비디오 스트림을 예시하는 개략도이다.
도 6은 서브-비트스트림으로 분할된 예시적인 비트스트림을 예시하는 개략도이다.
도 7은 제1 실시예에 따라 비트스트림을 디코딩하는 방법을 나타내는 흐름도이다.
도 8은 제1 실시예에 따라 비트스트림을 인코딩하는 방법을 나타내는 흐름도이다.
도 9는 제2 실시예에 따라 비트스트림을 디코딩하는 방법을 나타내는 흐름도이다.
도 10은 제3 실시예에 따라 비트스트림을 디코딩하는 방법을 나타내는 흐름도이다.
도 11은 비디오 코딩 장치의 개략도이다.
도 12는 코딩 수단의 실시예의 개략도이다.
하나 이상의 실시예의 예시적인 구현이 이하에서 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는지와는 상관없는 임의의 수의 기술을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 개시는 본 명세서에 예시되고 설명된 예시적인 설계 및 구현을 포함하여 아래에 예시된 예시적인 구현, 도면 및 기술에 결코 국한되어서는 안 되며, 첨부된 청구범위의 범위 내에서 등가물의 전체 범위를 따라 수정될 수 있다.
다음 약어가 적용된다.
ALF: 적응 루프 필터
ASIC: 애플리케이션 특정 집적 회로
AU: 액세스 유닛
AUD: 액세스 유닛 구분자
BT: 이진 트리
CABAC: 컨텍스트 적응형 이진 산술 코딩
CAVLC: 컨텍스트 적응형 가변 길이 코딩
Cb: 청색 차이 크로마
CPU: 중앙 처리 장치
Cr: 적색 차이 크로마
CTB: 코딩 트리 블록
CTU: 코딩 트리 유닛
CU: 코딩 유닛
CVS: 코딩된 비디오 시퀀스
DC: 직류
DCT: 이산 코사인 변환
DMM: 깊이 모델링 모드
DPB: 디코딩된 픽처 버퍼
DSP: 디지털 신호 프로세서
DST: 이산 사인 변환
EO: 전기-광학
FPGA: 필드 프로그래밍 가능한 게이트 어레이
HEVC: 고효율 비디오 코딩
HMD: 헤드 마운트 디스플레이
I/O: 입력/출력
NAL: 네트워크 추상화 계층
OE: 광-전기
PIPE: 확률 구간 분할 엔트로피
POC: 픽처 순서 카운트
PPS: 픽처 파라미터 세트
PU: 픽처 유닛
QT: 쿼드 트리
RAM: 랜덤 액세스 메모리
RBSP: 원시 바이트 시퀀스 페이로드
RDO: 레이트 왜곡 최적화
ROM: 판독 전용 메모리
RPL: 참조 픽처 리스트
Rx: 수신기 유닛
SAD: 절대차의 합
SAO: 샘플 적응 오프셋
SBAC: 신택스 기반 산술 코딩
SPS: 시퀀스 파라미터 세트
SRAM: 정적 RAM
SSD: 차이의 제곱 합
TCAM: 3항의 콘텐츠 주소 지정가능 메모리
TT: 트리플 트리
TU: 변환 유닛
Tx: 송신기 유닛
VR: 가상 현실
VVC: 다목적 비디오 코딩.
다른 곳에서 수정되지 않는 한 다음 정의가 적용되는제, 즉 비트스트림은 인코더와 디코더 사이의 전송을 위해 압축되는 비디오 데이터를 포함하는 비트 시퀀스이다. 인코더는 인코딩 프로세스를 사용하여 비디오 데이터를 비트스트림으로 압축하는 장치이다. 디코더는 디코딩 프로세스를 사용하여 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하는 장치입니다. 픽처는 프레임 또는 필드를 생성하는 루마 샘플 또는 크로마 샘플의 어레이이다. 인코딩 또는 디코딩되고 있는 픽처는 현재 픽처로 지칭될 수 있다. 참조 픽처는 인터 예측(inter-prediction) 또는 층간 예측(inter-layer prediction)에 따라 다른 픽처를 코딩할 때 참조로서 사용될 수 있는 참조 샘플을 포함한다. 참조 픽처 리스트는 인터 예측 또는 층간 예측에 사용되는 참조 픽처의 리스트이다. 플래그는 0 또는 1의 두 가지 가능한 값 중 하나를 취할 수 있는 가변 또는 단일 비트 신택스이다. 일부 비디오 코딩 시스템은 참조 픽처 리스트 1 및 참조 픽처 리스트 0으로 표시될 수 있는 2개의 참조 픽처 리스트를 활용한다. 참조 픽처 리스트 구조는 여러 참조 픽처 리스트를 포함하는 주소 지정가능한 신택스 구조이다. 인터 예측은 현재 픽처와 다른 참조 픽처 내의 표시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이되, 참조 픽처와 현재 픽처는 동일한 층 내에 있다. 참조 픽처 리스트 구조 엔트리는 참조 픽처 리스트와 연관된 참조 픽처를 나타내는 참조 픽처 리스트 구조 내의 주소 지정가능한 위치이다. 슬라이스 헤더는 슬라이스에 표현된 타일 내의 모든 비디오 데이터에 관한 데이터 요소를 포함하는 코딩된 슬라이스의 일부이다. PPS는 전체 픽처와 관련된 데이터를 포함한다. 보다 구체적으로, PPS는 각 픽처 헤더에서 발견되는 신택스 요소에 의해 결정되는 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 요소를 포함하는 신택스 구조이다. SPS는 픽처 시퀀스와 관련된 데이터를 포함한다. AU는 DPB로부터의 출력을 위한(예를 들어, 사용자에게 디스플레이하기 위한) 동일한 디스플레이 시간(예를 들어, 동일한 픽처 순서 카운트)과 연관된 하나 이상의 코딩된 픽처의 세트이다. AUD는 AU의 시작 또는 AU 사이의 경계를 나타낸다. 디코딩된 비디오 시퀀스는 사용자에게 디스플레이하기 위해 디코더에 의해 재구성된 픽처 시퀀스이다.
도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 보다 작은 파일 크기는 압축된 비디오 파일이 사용자에게 전송되는 것을 가능하게 하는 동시에 관련 대역폭 오버헤드를 줄인다. 그런 다음 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 디스플레이할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 인코딩 프로세스를 미러링하여 디코더가 비디오 신호를 일관되게 재구성할 수 있게 한다.
단계(101)에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 장치에 의해 캡처될 수 있고 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 컴포넌트와 비디오 컴포넌트를 모두 포함할 수 있다. 비디오 컴포넌트는 일련의 이미지 프레임을 포함하는데, 이 이미지 프레임은 시퀀스로 보여질 때 움직임에 대한 시각적 인상을 준다. 프레임은 본 명세서에서 루마 성분(또는 루마 샘플)이라고 하는 광과 크로마 성분(또는 컬러 샘플)이라고 하는 색상으로 표현되는 픽셀을 포함한다. 일부 예에서, 프레임은 또한 3차원 보기를 지원하기 위해 깊이 값을 포함할 수 있다.
단계(103)에서, 비디오는 블록으로 파티셔닝된다. 파티셔닝은 압축을 위해 각 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 하위 분할(subdivide)하는 작업을 포함한다. 예를 들어, HEVC에서, 프레임은 먼저 미리 정의된 크기(예컨대, 64 픽셀 x 64 픽셀)의 블록인 CTU로 분할될 수 있다. CTU는 루마 및 크로마 샘플 모두를 포함한다. 코딩 트리를 사용하여 CTU를 블록으로 분할하고 그런 다음 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 하위 분할할 수 있다. 예를 들어, 프레임의 루마 성분은 개별 블록이 상대적으로 균일한 조명 값을 포함할 때까지 하위 분할될 수 있다. 또한, 프레임의 크로마 성분은 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 하위 분할화될 수 있다. 따라서, 파티셔닝 메커니즘은 비디오 프레임의 콘텐츠에 따라 달라진다.
단계(105)에서, 단계(103)에서 파티셔닝된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터 예측 및/또는 인트라-예측이 사용될 수 있다. 인터 예측은 공통 장면 내의 객체가 연속적인 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계된다. 따라서, 참조 프레임에서 객체를 나타내는 블록은 인접 프레임에서 반복적으로 기술될 필요가 없다. 특히, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서, 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘을 사용하여 여러 프레임에 걸쳐 객체를 매칭시킬 수 있다. 또한, 움직이는 객체는 예를 들어 객체의 움직임이나 카메라의 움직임으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 화면을 가로질러 움직이는 자동차를 보여줄 수 있다. 모션 벡터는 이러한 움직임을 설명하는 데 사용될 수 있다. 모션 벡터는 프레임에 있는 객체의 좌표에서 참조 프레임에 있는 객체의 좌표까지의 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터 예측은 현재 프레임의 이미지 블록을, 참조 프레임의 해당 블록으로부터의 오프셋을 나타내는 움직임 벡터의 세트로 인코딩할 수 있다.
인트라 예측은 공통 프레임 내의 블록을 인코딩한다. 인트라 예측은 루마 및 크로마 성분이 프레임에서 클러스터링되는 경향이 있다는 사실을 이용한다. 예를 들어, 트리의 일 부분에 있는 녹색 패치는 유사한 녹색 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다중 방향 예측 모드(예컨대, HEVC에서 33개), 평면 모드 및 DC 모드를 사용한다. 방향 모드는 현재 블록이 해당 방향에서 이웃 블록의 샘플과 유사/동일함을 나타낸다. 평면 모드는 행/열(예컨대, 평면)을 따라 일련의 블록이 행의 에지에 있는 인접 블록을 기반으로 보간될 수 있음을 나타낸다. 실제로 평면 모드는 값을 변경할 때 상대적으로 일정한 기울기를 사용함으로써 행/열에 걸쳐 광/색상의 부드러운 전환을 나타낸다. DC 모드는 경계부의 평활화를 위해 사용되며, 블록이 방향 예측 모드의 각도 방향과 연관된 모든 이웃 블록의 샘플과 연관된 평균 값과 유사/동일함을 나타낸다. 따라서, 인트라 예측 블록은 실제 값 대신에, 다양한 관계형 예측 모드 값으로 이미지 블록을 표현할 수 있다. 또한, 인터 예측 블록은 실제 값 대신에, 모션 벡터 값으로 이미지 블록을 나타낼 수 있다. 어느 경우든, 예측 블록은 경우에 따라 이미지 블록을 정확하게 나타내지 않을 수 있다. 모든 차이는 잔차 블록에 저장된다. 파일을 추가로 압축하기 위해 나머지 블록에 변환이 적용될 수 있다.
단계(107)에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인루프 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 블록 이미지의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩하고, 그런 다음 인코딩된 블록을 나중에 참조 블록용으로 재구성한다. 인루프 필터링 방식은 블록/프레임에 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터를 반복적으로 적용한다. 이들 필터는 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 차단 아티팩트를 완화한다. 또한, 이러한 필터는 재구성된 참조 블록에서 아티팩트를 완화하여, 아티팩트가 재구성된 참조 블록에 기초하여 인코딩되는 후속 블록에서 추가 아티팩트를 생성할 가능성이 적도록 한다.
비디오 신호가 파티셔닝되고, 압축되고, 필터링되면, 결과적인 데이터는 단계(109)에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의한 데이터와 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 필요한 임의의 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 파티션 데이터, 예측 데이터, 잔차 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청 시 디코더로의 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림의 생성은 반복적인 프로세스이다. 따라서, 단계(101, 103, 105, 107, 및 109)는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 설명의 명료함과 용이함을 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 제한하려는 의도는 없다.
디코더는 단계(111)에서 비트스트림을 수신하고 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하는데 엔트로피 디코딩 방식을 사용한다. 디코더는 비트스트림으로부터의 신택스 데이터를 사용하여 단계(111)에서 프레임에 대한 파티션을 결정한다. 파티셔닝은 단계(103)에서 블록 파티셔닝의 결과와 일치해야 한다. 이제 단계(111)에서 사용된 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지(들)에서 값의 공간적 배치를 기반으로 여러 가능한 선택 중에서 블록 파티셔닝 방식을 선택하는 것과 같은 여러 선택을 압축 프로세스 동안 행한다. 정확한 선택에 대한 시그널링은 많은 수의 빈(bin)을 사용할 수 있다. 본 명세서에서 사용된 바와 같이, 빈은 변수로 취급되는 이진 값(예를 들어, 컨텍스트에 따라 변동될 수 있는 비트 값)이다. 엔트로피 코딩을 사용하면 인코더가 특정 경우에 대해서 명확하게 실행 가능하지 않은 임의의 옵션을 버리고 허용 가능한 옵션 세트를 남길 수 있다. 그런 다음 각 허용 가능한 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용 가능한 옵션의 수를 기반으로 한다(예컨대, 2개의 옵션에 대해서는 1개의 빈, 3 내지 4개의 옵션에 대해서는 2개의 빈 등). 그런 다음, 인코더는 선택한 옵션에 대해 코드 워드를 인코딩한다. 이 방식은, 코드 워드가 가능한 모든 옵션의 잠재적으로 큰 세트로부터 선택을 고유하게 표시하는 것과는 대조적으로 허용 가능한 옵션의 작은 서브세트로부터 선택을 고유하게 나타내기 위해 원하는 만큼 크므로, 코드 워드의 크기를 축소시킨다. 그런 다음, 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정함으로써 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써, 디코더는 코드 워드를 판독하고 인코더에 의해 행해진 선택을 결정할 수 있다.
단계(113)에서, 디코더는 블록 디코딩을 수행한다. 특히, 디코더는 역변환을 사용하여 잔차 블록을 생성한다. 그 다음, 디코더는 잔차 블록 및 대응하는 예측 블록을 사용하여 파티셔닝에 따라 이미지 블록을 재구성한다. 예측 블록은 단계(105)에서 인코더에서 생성된 인트라 예측 블록 및 인터 예측 블록 모두를 포함할 수 있다. 그런 다음, 재구성된 이미지 블록은 단계(111)에서 결정된 파티셔닝 데이터에 따라 재구성된 비디오 신호의 프레임에 배치된다. 단계(113)에 대한 신택스는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.
단계(115)에서, 인코더에서 단계(107)와 유사한 방식으로 재구성된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터가 프레임에 적용되어 차단 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 보도록 단계(117)에서 디스플레이로 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더와 디코더 모두에 사용되는 컴포넌트를 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계(101 및 103)와 관련하여 논의된 바와 같이 비디오 신호를 수신하고 파티셔닝하는데, 이는 파티셔닝된 비디오 신호(201)를 생성한다. 코덱 시스템(200)은 방법(100)의 단계(105, 107 및 109)와 관련하여 설명된 대로 인코더로서 동작하는 경우 파티셔닝된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 동작할 때, 코덱 시스템(200)은 동작 방법(100)의 단계(111, 113, 115, 및 117)와 관련하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인루프 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223), 및 헤더 포맷팅 및 CABAC 컴포넌트(231)를 포함한다. 이러한 컴포넌트는 도시된 바와 같이 결합된다. 도 2에서, 흑색선은 인코딩된/디코딩된 데이터의 이동을 나타내고, 점선은 다른 컴포넌트의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 컴포넌트는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트들의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역변환 컴포넌트(229), 인루프 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함할 수 있다. 이들 컴포넌트는 이제 설명된다.
파티셔닝된 비디오 신호(201)는 코딩 트리에 의해 픽셀 블록으로 파티셔닝된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀 블록을 더 작은 픽셀 블록으로 하위 분할하기 위해 다양한 분할 모드를 사용한다. 그런 다음 이러한 블록은 더 작은 블록으로 더 하위 분할될 수 있다. 블록은 코딩 트리에서 노드로 지칭될 수 있다. 더 큰 부모 노드는 더 작은 자식 노드로 분할된다. 노드가 하위 분할되는 횟수는 노드/코딩 트리의 깊이라고 한다. 분할된 블록은 경우에 따라 CU에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령과 함께 루마 블록, Cr 블록(들) 및 Cb 블록(들)을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드는 노드를, 사용되는 분할 모드에 따라 다양한 형상의 2개, 3개 또는 4개의 자식 노드로 각각 분할하는 데 사용되는 BT, TT 및 QT를 포함할 수 있다. 파티셔닝된 비디오 신호(201)는 압축을 위해 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227), 및 모션 추정 컴포넌트(221)로 전달된다.
일반 코더 제어 컴포넌트(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 재구성 품질에 대한 비트레이트/비트스트림 크기의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청을 기반으로 할 수 있다. 일반 코더 제어 컴포넌트(211)는 또한 버퍼 언더런(buffer underrun) 및 오버런 문제를 완화하기 위해 전송 속도에 비추어 버퍼 활용을 관리한다. 이러한 문제를 관리하기 위해, 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트에 의한 파티셔닝, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 컴포넌트(211)는 코덱 시스템(200)의 다른 컴포넌트를 제어하여 비디오 신호 재구성 품질과 비트 레이트 문제의 균형을 맞춘다. 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩하기 위한 파라미터를 시그널링하기 위해 비트스트림에서 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.
파티셔닝된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)로 전송된다. 파티셔닝된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임의 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 코덱 시스템(200)은 예를 들어 비디오 데이터의 각 블록에 대한 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스를 수행할 수 있다.
모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이 측면에서, 코딩될 블록과 밀접하게 일치하는 것으로 발견된 블록이다. 예측 블록은 참조 블록이라고도 할 수 있다. 이러한 픽셀 차이는 SAD, SSD, 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, CTB 및 CU를 비롯한 여러 코딩된 객체를 사용한다. 예를 들어, CTU는 CTB로 분할될 수 있으며, 그런 다음 이는 CU에 포함하기 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 유닛 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 TU로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트-왜곡 분석을 사용함으로써 모션 벡터, 예측 유닛, 및 TU를 생성한다. 예를 들어, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다수의 참조 블록, 다수의 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구성의 품질(예컨대, 압축에 의한 데이터 손실의 양)과 코딩 효율성(예컨대, 최종 인코딩의 크기)의 균형을 맞춘다.
일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된 참조 픽처의 정수 미만 값의 픽셀 위치(sub-integer pixel positions)에 대한 값을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 참조 픽처의 기타 분수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 컴포넌트(221)는 온전한 픽셀 위치 및 분수 픽셀 위치에 대한 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는 예측 유닛의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 예측 유닛에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 계산된 모션 벡터를 인코딩을 위해 모션 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)에 출력하고 모션을 모션 보상 컴포넌트(219)에 출력한다.
모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하거나 생성하는 것을 수반할 수 있다. 다시, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 일부 예에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 예측 유닛에 대한 모션 벡터를 수신할 때, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록을 찾을 수 있다. 그 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 빼서 픽셀 차이 값을 형성함으로써 잔차 비디오 블록이 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 성분에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 성분 및 루마 성분 모두에 대해 루마 성분에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다.
파티셔닝된 비디오 신호(201)는 또한 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)로 전송된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 같이, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 앞서 설명한 바와 같이, 프레임 간에 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 프레임의 블록에 대한 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 컴포넌트(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위한 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.
예를 들어, 인트라 픽처 추정 컴포넌트(215)는 다양한 테스트된 인트라 예측 모드에 대해 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양과, 인코딩된 블록을 생성하는 데 사용된 비트레이트(예컨대, 비트의 수)를 결정한다. 인트라 픽처 추정 컴포넌트(215)는 블록에 대한 최상의 레이트 왜곡 값을 나타내는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대해 왜곡 및 레이트로부터 비율(ratios)을 계산한다. 또한, 인트라 픽처 추정 컴포넌트(215)는 RDO에 기초한 DMM을 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.
인트라 픽처 예측 컴포넌트(217)는 인코더 상에서 구현될 때 인트라 픽처 추정 컴포넌트(215)에 의해 결정된 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔차 블록을 생성하거나, 또는 디코더 상에서 구현될 때 비트스트림으로부터 잔차 블록을 판독할 수 있다. 잔차 블록은 예측 블록과 원본 블록 간의 값의 차이를 포함하며 행렬로 표현된다. 그 다음, 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 루마 및 크로마 성분 모두에 대해 동작할 수 있다.
변환 스케일링 및 양자화 컴포넌트(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 DCT, DST 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 부분대역 변환 또는 다른 유형의 변환도 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 예를 들어 주파수에 기초하여 변환된 잔차 정보를 스케일링하도록 구성된다. 그러한 스케일링은 상이한 주파수 정보가 상이한 입도에서 양자화되도록 잔차 정보에 스케일링 인자를 적용하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 관련된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 변환 스케일링 및 양자화 컴포넌트(213)는 그 다음 양자화된 변환 계수를 포함하는 행렬에 대한 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전송되어 비트스트림에서 인코딩된다.
스케일링 및 역변환 컴포넌트(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 컴포넌트(213)의 역 동작을 적용한다. 스케일링 및 역변환 컴포넌트(229)는 예를 들어 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔차 블록을 재구성하도록 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 나중 블록/프레임의 모션 추정에 사용하기 위해 대응하는 예측 블록에 잔차 블록을 다시 추가함으로써 참조 블록을 계산할 수 있다. 필터는 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 참조 블록에 적용된다. 그렇지 않으면 후속 블록이 예측될 때 이러한 아티팩트는 부정확한 예측을 야기할 수 있다(그리고 추가 아티팩트를 생성할 수도 있다).
필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)는 필터를 잔차 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역변환 컴포넌트(229)로부터의 변환된 잔차 블록은 인트라 픽처 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 결합되어 원본 이미지 블록을 재구성할 수 있다. 그런 다음 필터가 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서, 필터들은 그 대신에 잔차 블록에 적용될 수 있다. 도 2의 다른 컴포넌트와 마찬가지로, 필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)는 고도로 통합되고 함께 구현될 수 있지만 개념적 목적을 위해 별도로 도시된다. 재구성된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하기 위해 여러 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 그러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다. 인루프 필터 컴포넌트(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 노이즈 억제 필터, SAO 필터, 적응 루프 필터를 포함할 수 있다. 이러한 필터는 예시에 따라, 공간/픽셀 도메인(예컨대, 재구성된 픽셀 블록) 또는 주파수 도메인에서 적용될 수 있다.
인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 컴포넌트(223)는 재구성되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 전송한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록, 잔차 블록, 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 장치일 수 있다.
헤더 포맷팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트로부터 데이터를 수신하고 디코더를 향한 전송을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 컴포넌트(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더를 생성한다. 또한, 인트라 예측 및 움직임 데이터를 포함하는 예측 데이터와, 양자화된 변환 계수 데이터 형태의 잔차 데이터가 모두 비트스트림에 인코딩된다. 최종 비트스트림은 원래의 파티셔닝된 비디오 신호(201)를 재구성하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블이라고도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 표시, 파티션 정보의 표시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술을 사용하여 인코딩될 수 있다. 엔트로피 코딩에 후속하여, 코딩된 비트스트림은 다른 장치(예를 들어, 비디오 디코더)로 전송되거나 나중의 전송 또는 검색을 위해 보관될 수 있다.
도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하고 및/또는 동작 방법(100)의 단계(101, 103, 105, 107, 및/또는 109)를 구현하기 위해 사용될 수 있다. 인코더(300)는 입력 비디오 신호를 파티셔닝하여 파티셔닝된 비디오 신호(301)를 생성하며, 이는 파티셔닝된 비디오 신호(201)와 실질적으로 유사하다. 파티셔닝된 비디오 신호(301)는 그 다음 인코더(300)의 컴포넌트에 의해 압축되고 비트스트림으로 인코딩된다.
구체적으로, 파티셔닝된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 컴포넌트(317)로 전달된다. 인트라 픽처 예측 컴포넌트(317)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 파티셔닝된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 컴포넌트(323)의 참조 블록에 기초한 인터 예측을 위해 모션 보상 컴포넌트(321)로 전달된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 인트라 픽처 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록 및 잔차 블록은 잔차 블록의 변환 및 양자화를 위해 변환 및 양자화 컴포넌트(313)로 전달된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔차 블록 및 대응하는 예측 블록은 (관련 제어 데이터와 함께) 비트스트림 내로 코딩하기 위해 엔트로피 코딩 컴포넌트(331)로 전달된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포맷팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.
변환 및 양자화된 잔차 블록 및/또는 대응하는 예측 블록은 또한 모션 보상 컴포넌트(321)에 의해 사용되도록 참조 블록 내로의 재구성을 위해 변환 및 양자화 컴포넌트(313)에서 역변환 및 양자화 컴포넌트(329)로 전달된다. 역변환 및 양자화 컴포넌트(329)는 스케일링 및 역변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인루프 필터 컴포넌트(325)의 인루프 필터는 또한 예에 따라 잔차 블록 및/또는 재구성된 참조 블록에 적용된다. 인루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인루프 필터 컴포넌트(325)는 인루프 필터 컴포넌트(225)와 관련하여 논의된 바와 같은 다중 필터를 포함할 수 있다. 필터링된 블록은 그 다음 움직임 보상 컴포넌트(321)에 의한 참조 블록으로서 사용하기 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다.
도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고/하거나 동작 방법(100)의 단계(111, 113, 115, 및/또는 117)를 구현하기 위해 사용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.
비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는 헤더 정보를 사용하여 비트스트림에서 코드워드로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔차 블록으로부터의 양자화된 변환 계수와 같은, 비디오 신호를 디코딩하는데 필요한 임의의 정보를 포함한다. 양자화된 변환 계수는 잔차 블록으로의 재구성을 위해 역변환 및 양자화 컴포넌트(429)로 전달된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수 있다.
재구성된 잔차 블록 및/또는 예측 블록은 인트라 예측 동작에 기초한 이미지 블록으로의 재구성을 위해 인트라 픽처 예측 컴포넌트(417)로 전달된다. 인트라 픽처 예측 컴포넌트(417)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 컴포넌트(417)는 프레임에서 참조 블록을 찾기 위해 예측 모드를 사용하고 결과에 잔차 블록을 적용하여 인트라 예측된 이미지 블록을 재구성한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔차 블록 및 대응하는 인터 예측 데이터는 인루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 전달되는데, 이들 디코딩된 픽처 버퍼 컴포넌트(423) 및 인루프 필터 컴포넌트(425)는 디코딩된 픽처 버퍼 컴포넌트(223) 및 인루프 필터 컴포넌트(225) 각각과 실질적으로 유사할 수 있다. 인루프 필터 컴포넌트(425)는 재구성된 이미지 블록, 잔차 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 컴포넌트(421)로 전달된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 예측 블록을 생성하기 위해 참조 블록으로부터 모션 벡터를 사용하고 결과에 잔차 블록을 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록은 또한 인루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 전달될 수 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는 파티션 정보를 통해 프레임으로 재구성될 수 있는 추가의 재구성된 이미지 블록을 계속해서 저장한다. 이러한 프레임은 시퀀스로 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.
도 5는 픽처 비디오 스트림(500)으로부터 추출된 복수의 서브픽처 비디오 스트림(501, 502, 503)을 예시하는 개략도이다. 예를 들어, 서브픽처 비디오 스트림(501-503) 각각 또는 픽처 비디오 스트림(500)은 방법(100)에 따라 코덱 시스템(200) 또는 인코더(300)와 같은 인코더에 의해 인코딩될 수 있다. 또한, 서브픽처 비디오 스트림(501-503) 또는 픽처 비디오 스트림(500)은 코덱 시스템(200) 또는 디코더(400)와 같은 디코더에 의해 디코딩될 수 있다.
픽처 비디오 스트림(500)은 시간 경과에 따라 제시되는 복수의 픽처를 포함한다. 픽처 비디오 스트림(500)은 VR 애플리케이션에서 사용하도록 구성된다. VR은 사용자가 구(sphere)의 중앙에 있는 것처럼 디스플레이될 수 있는 비디오 콘텐츠의 구를 코딩함으로써 작동한다. 각 픽처는 전체 구를 포함한다. 한편, 뷰포트라고 하는 픽처의 일부만이 사용자에게 디스플레이된다. 예를 들어, 사용자는 사용자의 머리 움직임에 따라 구의 뷰포트를 선택하고 디스플레이하는 HMD를 사용할 수 있다. 이는 비디오에 의해 묘사된 바와 같이 가상 공간에 물리적으로 존재하는 듯한 느낌을 제공한다. 이 결과를 달성하기 위해, 비디오 시퀀스의 각 픽처는 해당 순간에서 비디오 데이터의 전체 구를 포함한다. 그러나, 픽처의 작은 부분(예컨대, 단일 뷰포트)만이 사용자에게 디스플레이된다. 픽처의 나머지 부분은 렌더링되지 않고 디코더에서 폐기된다. 전체 픽처가 전송되어 사용자의 머리 움직임에 따라 상이한 뷰포트가 동적으로 선택 및 디스플레이될 수 있다.
픽처 비디오 스트림(500)의 픽처는 각각 이용가능한 뷰포트에 기초하여 서브픽처로 하위 분할될 수 있다. 따라서, 각각의 픽처 및 대응하는 서브픽처는 시간적 표시의 일부로서 시간적 위치(예를 들어, 픽처 순서)를 포함한다. 서브픽처 비디오 스트림(501-503)은 시간이 지남에 따라 하위 분할이 일관되게 적용될 때 생성된다. 이러한 일관된 하위 분할은 서브픽처 비디오 스트림(501-503)을 생성하되 각 스트림은 픽처 비디오 스트림(500) 내의 대응하는 픽처에 대해 미리 결정된 크기, 형상 및 공간적 위치를 갖는 서브픽처 세트를 포함한다. 더 나아가, 서브픽처 비디오 스트림(501-503) 내의 서브픽처 세트는 표시 시간에 걸쳐 시간적 위치 면에서 변한다. 이와 같이, 서브픽처 비디오 스트림(501-503)의 서브픽처는 시간적 위치에 기초하여 시간 도메인에서 정렬될 수 있다. 그 다음, 각각의 시간적 위치에서 서브픽처 비디오 스트림(501-503)으로부터의 서브픽처는 디스플레이를 위해 픽처 비디오 스트림(500)을 재구성하도록 미리 정의된 공간 위치에 기초하여 공간 도메인에서 병합될 수 있다. 구체적으로, 서브픽처 비디오 스트림(501-503)은 각각 별개의 서브-비트스트림으로 인코딩될 수 있다. 이러한 서브-비트스트림이 함께 병합되면, 시간이 지남에 따라 전체 픽처 세트를 포함하는 비트스트림이 생성된다. 결과 비트스트림은 사용자의 현재 선택된 뷰포트를 기반으로 디코딩 및 디스플레이를 위해 디코더로 전송될 수 있다.
모든 서브픽처 비디오 스트림(501-503)은 고품질로 사용자에게 전송될 수 있다. 이를 통해 디코더는 사용자의 현재 뷰포트를 동적으로 선택하고 대응하는 서브픽처 비디오 스트림(501-503)에서 실시간으로 서브픽처를 디스플레이할 수 있다. 그러나, 사용자는 예를 들어 서브픽처 비디오 스트림(501)으로부터 단일 뷰포트만을 볼 수 있는 반면, 서브픽처 비디오 스트림(502-503)은 폐기된다. 이와 같이, 고품질로 서브픽처 비디오 스트림(502-503)을 전송하는 것은 상당한 양의 대역폭을 낭비할 수 있다. 코딩 효율을 향상시키기 위해, VR 비디오는 복수의 비디오 스트림(500)으로 인코딩될 수 있되, 각각의 비디오 스트림(500)은 상이한 품질로 인코딩된다. 이러한 방식으로, 디코더는 현재의 서브픽처 비디오 스트림(501)에 대한 요청을 전송할 수 있다. 이에 응답하여, 인코더는 고품질 비디오 스트림(500)으로부터 고품질 서브픽처 비디오 스트림(501)을 선택할 수 있고 저품질 비디오 스트림(500)으로부터 저품질 서브픽처 비디오 스트림(502-503)을 선택할 수 있다. 그 다음 인코더는 디코더로의 전송을 위해 이러한 서브-비트스트림을 완전한 인코딩된 비트스트림으로 병합할 수 있다. 이러한 방식으로, 디코더는 일련의 픽처를 수신하는데, 현재 뷰포트는 품질이 더 높고 다른 뷰포트는 품질이 더 낮다. 또한, 최고 품질의 서브픽처는 일반적으로 사용자에게 디스플레이되고 저품질 서브픽처는 일반적으로 폐기되어 기능과 코딩 효율성의 균형을 이룬다.
사용자가 서브픽처 비디오 스트림(501) 보기에서 서브픽처 비디오 스트림(502) 보기로 전환하는 경우, 디코더는 새로운 현재 서브픽처 비디오 스트림(502)이 더 높은 품질로 전송되도록 요청한다. 인코더는 그에 따라 병합 메커니즘을 변경할 수 있다.
서브픽처는 또한 원격 회의 시스템에서 사용될 수 있다. 그러한 경우에, 각 사용자의 비디오 피드는 서브픽처 비디오 스트림(501, 502, 503)과 같은 서브픽처 비트스트림에 포함된다. 시스템은 이러한 서브픽처 비디오 스트림(501, 502, 또는 503)을 수신하여 이들을 상이한 위치에서 또는 해상도에서 결합하여 사용자들에게 다시 전송하기 위한 완전한 픽처 비디오 스트림(500)을 생성한다. 이를 통해, 원격 회의 시스템은 사용자 입력의 변화에 기초하여, 예를 들어 서브픽처 비디오 스트림(501, 502 또는 503)의 크기를 늘리거나 줄여서 픽처 비디오 스트림(500)을 동적으로 변경하여, 현재 말하고 있는 사용자를 강조하거나 또는 더 이상 말하지 않는 사용자를 강조하지 않을 수 있다. 따라서, 서브픽처는 사용자 행동의 변화에 기초하여 런타임에서 픽처 비디오 스트림(500)이 동적으로 변경되도록 하는 많은 애플리케이션을 갖는다. 이 기능은 픽처 비디오 스트림(500)으로부터 또는 픽처 비디오 스트림(500) 내로 서브픽처 비디오 스트림(501, 502, 503)을 추출하거나 결합함으로써 달성될 수 있다.
도 6은 서브-비트스트림(601)으로 분할된 예시적인 비트스트림(600)의 개략도이다. 비트스트림(600)은 픽처 비디오 스트림(500)과 같은 픽처 비디오 스트림을 포함할 수 있고, 서브-비트스트림(601)은 서브픽처 비디오 스트림(501, 502, 또는 503)과 같은 서브픽처 비디오 스트림을 포함할 수 있다. 예를 들어, 비트스트림(600) 및 서브-비트스트림(601)은 코덱 시스템(200) 또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 또는 인코더(300)에 의해 생성될 수 있다. 예를 들어, 비트스트림(600) 및 서브-비트스트림(601)은 단계(111)에서 디코더에 의해 사용하기 위해 방법(100)의 단계(109)에서 인코더에 의해 생성될 수 있다.
비트스트림(600)은 SPS(610), 복수의 PPS(611), 복수의 슬라이스 헤더(615), 및 이미지 데이터(620)를 포함한다. SPS(610)는 비트스트림(600)에 포함된 비디오 시퀀스의 모든 픽처에 공통인 시퀀스 데이터를 포함한다. 이러한 데이터는 픽처 크기 설정, 비트 심도, 코딩 도구 파라미터 또는 비트 레이트 제한을 포함할 수 있다. PPS(611)는 전체 픽처에 적용되는 파라미터를 포함한다. 따라서, 비디오 시퀀스의 각 픽처는 PPS(611)를 참조할 수 있다. 각 픽처는 PPS(611)를 참조하지만, 단일 PPS(611)는 여러 픽처에 대한 데이터를 포함할 수 있다. 예를 들어, 다수의 유사한 픽처가 유사한 파라미터에 따라 코딩될 수 있다. 이러한 경우, 하나의 PPS(611)는 이와 같은 유사한 픽처에 대한 데이터를 포함할 수 있다. PPS(611)는 해당 픽처의 슬라이스에 사용가능한 코딩 도구, 양자화 파라미터 또는 오프셋를 나타낼 수 있다. 슬라이스 헤더(615)는 픽처의 각 슬라이스에 특정한 파라미터를 포함한다. 따라서, 비디오 시퀀스의 슬라이스당 하나의 슬라이스 헤더(615)가 있을 수 있다. 슬라이스 헤더(615)는 슬라이스 유형 정보, POC, RPL, 예측 가중치, 타일 진입 포인트, 또는 디블로킹 파라미터를 포함할 수 있다. 슬라이스 헤더(615)는 또한 타일 그룹 헤더로 지칭될 수 있다. 비트스트림(600)은 또한 단일 픽처의 모든 슬라이스에 적용되는 파라미터를 포함하는 신택스 구조인 픽처 헤더를 포함할 수 있다. 이러한 이유로, 픽처 헤더와 슬라이스 헤더(615)는 혼용될 수 있다. 예를 들어, 특정 파라미터는 이러한 파라미터가 픽처의 모든 슬라이스에 공통되는지 여부에 따라 슬라이스 헤더(615)와 픽처 헤더 사이에서 이동될 수 있다.
이미지 데이터(620)는 인터 예측, 인트라 예측, 층간 예측에 따라 인코딩된 비디오 데이터와, 대응하는 변환 및 양자화된 잔차 데이터를 포함한다. 예를 들어, 비디오 시퀀스는 복수의 픽처(621)를 포함한다. 픽처(621)는 프레임 또는 그 필드를 생성하는 루마 샘플의 어레이 또는 크로마 샘플의 어레이이다. 프레임은 비디오 시퀀스의 해당 순간에 사용자에게 전체 또는 부분적으로 디스플레이하기 위한 완전한 이미지이다. 픽처(621)는 하나 이상의 슬라이스를 포함한다. 슬라이스는 단일 NAL 유닛에 배타적으로 포함되는 픽처(621)의 정수 개수의 완전한 타일 또는 정수 개수의 연속적인 완전한 CTU 행(예를 들어, 타일 내에서)으로 정의될 수 있다. 슬라이스는 CTU 또는 CTB로 더 분할된다. CTU는 코딩 트리에 의해 파티셔닝될 수 있는 미리 정의된 크기의 샘플 그룹이다. CTB는 CTU의 서브세트이며 CTU의 루마 성분 또는 크로마 성분을 포함한다. CTU/CTB는 코딩 트리를 기반으로 코딩 블록으로 더 분할된다. 그 다음, 코딩 블록은 예측 메커니즘에 따라 인코딩/디코딩될 수 있다.
픽처(621)는 복수의 서브 픽처(623, 624)로 분할될 수 있다. 서브 픽처(623또는 624)는 픽처(621) 내의 하나 이상의 슬라이스의 직사각형 영역이다. 따라서, 슬라이스 및 그 하위 분할 각각은 서브픽처(623 또는 624)에 할당될 수 있다. 이를 통해, 서브픽처(623 또는 624)가 그러한 영역을 포함하는지에 따라 픽처(621)의 상이한 영역이 코딩 관점과는 다르게 처리될 수 있다.
서브 비트스트림(601)은 서브 비트스트림 추출 프로세스(605)에 따라 비트스트림(600)으로부터 추출될 수 있다. 서브 비트스트림 추출 프로세스(605)는 타겟 세트에 포함된 NAL 유닛을 포함하는 출력 서브-비트스트림을 생성하도록 타겟 세트의 일부가 아닌 NAL 유닛을 비트스트림으로부터 제거하는 특정 메커니즘이다. NAL 유닛은 슬라이스를 포함한다. 이와 같이, 서브-비트스트림 추출 프로세스(605)는 슬라이스의 타겟 세트를 유지하고 다른 슬라이스를 제거한다. 타겟 세트는 서브 픽처 경계를 기반으로 선택될 수 있다. 서브픽처(623)의 슬라이스는 타겟 세트에 포함되고 서브픽처(624)의 슬라이스는 타겟 세트에 포함되지 않는다. 이와 같이, 서브 비트스트림 추출 프로세스(605)는 비트스트림(600)과 실질적으로 유사하지만, 서브픽처(624)를 제외하면서 서브픽처(623)를 포함하는 서브-비트스트림(601)을 생성한다. 서브-비트스트림 추출 프로세스(605)는 사용자 행동/요청에 기초하여 비트스트림(600)을 동적으로 변경하도록 구성된 인코더 또는 연관된 슬라이서에 의해 수행될 수 있다.
따라서, 서브 비트스트림(601)은 입력 비트스트림(600)에 적용된 서브 비트스트림 추출 프로세스(605)의 결과인 추출된 비트스트림이다. 입력 비트스트림(600)은 서브픽처 세트를 포함한다. 그러나, 추출된 비트스트림(예를 들어, 서브-비트스트림(601))은 서브-비트스트림 추출 프로세스(605)에 대한 입력 비트스트림(600)의 서브픽처의 서브세트만을 포함한다. 입력 비트스트림(600)의 서브픽처 세트는 픽처(623 및 624)를 포함하는 반면, 서브-비트스트림(601)의 서브픽처의 서브세트는 서브픽처(623)를 포함하지만 서브픽처(624)는 포함하지 않는다. 임의의 수의 서브픽처(623-624)가 사용될 수 있다. 예를 들어, 비트스트림(600)은 N개의 서브픽처(623-624)를 포함할 수 있고 서브-비트스트림은 N-1개 이하의 서브픽처(623)를 포함할 수 있으며, 여기서 N은 임의의 정수 값이다.
설명된 바와 같이, 픽처는 다수의 서브픽처로 파티셔닝될 수 있으며, 여기서 각각의 서브픽처는 직사각형 영역을 커버하고 정수 개수의 완전한 슬라이스를 포함한다. 서브픽처 파티셔닝은 CVS 내의 모든 픽처에 걸쳐 지속되며, 파티셔닝 정보는 SPS에서 시그널링된다. 서브픽처는 모션 보상을 위해 임의의 다른 서브픽처로부터의 샘플 값을 사용하지 않고 코딩될 수 있다.
각각의 서브픽처에 대해, 플래그 loop_filter_across_subpic_enabled_flag[ i ]는 서브픽처에 걸친 인루프 필터링이 허용되는지 여부를 지정한다. 플래그는 ALF, SAO 및 디블로킹 도구를 커버한다. 각 서브픽처에 대한 플래그의 값이 다를 수 있으므로, 인접한 두 서브픽처는 상이한 값의 플래그를 가질 수 있다. 그 차이는 디블로킹이 디블로킹되는 경계의 왼쪽과 오른쪽 모두에서 샘플 값을 변경하기 때문에 ALF 및 SAO보다 더 디블로킹 작업에 영향을 준다. 따라서, 2개의 인접한 서브픽처가 서로 다른 플래그 값을 가질 때, 두 서브픽처가 공유하는 경계를 따라 샘플에 디블로킹이 적용되지 않아 가시적인 아티팩트가 발생한다. 이러한 아티팩트를 피하는 것이 바람직하다.
본 명세서에서는 서브픽처 디블로킹을 위한 필터 플래그에 대한 실시예가 개시된다. 제1 실시예에서, 2개의 서브픽처가 서로 인접하고(예를 들어, 제1 서브픽처의 우측 경계가 또한 제2 서브픽처의 좌측 경계이거나 또는 제1 서브픽처의 하부 경계가 또한 제2 서브픽처의 상부 경계임), 두 서부픽처의 loop_filter_across_subpic_enabled_flag[ i ] 값이 다르면, 두 서브픽처가 공유하는 경계의 디블로킹에 두 가지 조건이 적용된다. 첫째, loop_filter_across_subpic_enabled_flag[ i ]가 0인 서브픽처에 대해, 인접 서브픽처와 공유되는 경계의 블록에는 디블로킹이 적용되지 않는다. 둘째, loop_filter_across_subpic_enabled_flag[ i ]가 1인 서브픽처에 대해, 인접 서브픽처와 공유되는 경계의 블록에 디블로킹이 적용된다. 그 디블로킹을 구현하기 위해, 경계 강도 결정이 일반 디블로킹 프로세스마다 적용되고, 샘플 필터링이 1과 동일한 loop_filter_across_subpic_enabled_flag[ i ]를 갖는 서브픽처에 속하는 샘플에만 적용된다. 제2 실시예에서, subpic_treated_as_pic_flag[ i ]의 값이 1이고 loop_filter_across_subpic_enabled_flag[ i ]의 값이 0인 서브픽처가 있는 경우, 모든 서브픽처의 loop_filter_across_subpic_enabled_flag[ i ]의 값은 0과 동일해야 한다. 제3 실시예에서, 각 서브픽처에 대해 loop_filter_across_subpic_enabled_flag[ i ]를 시그널링하는 것 대신에, 서브픽처에 걸친 루프 필터가 활성화되었는지 여부를 지정하는데 하나의 플래그만이 시그널링된다. 개시된 실시예는 전술한 아티팩트를 감소 또는 제거하고 인코딩된 비트스트림에서 더 적은 낭비 비트를 초래한다.
SPS는 실시예를 구현하기 위해 다음과 같은 신택스 및 시맨틱을 갖는다.
Figure pat00001
도시된 바와 같이, 각각의 서브픽처에 대해 loop_filter_across_subpic_enabled_flag[ i ]를 시그널링하는 대신, 서브픽처에 걸친 루프 필터가 활성화되는지 여부를 지정하기 위해 하나의 플래그만이 시그널링되고, 그 플래그는 SPS 레벨에서 시그널링된다.
1과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각 코딩된 픽처 내의 서브픽처의 경계에 걸쳐 수행될 수 있음을 지정한다. 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각 코딩된 픽처 내의 서브픽처의 경계에 걸쳐 수행되지 않음을 지정한다. 존재하지 않을 때, loop_filter_across_subpic_enabled_pic_flag의 값은 1과 같은 것으로 추론된다.
일반 디블로킹 필터 프로세스
디블로킹 필터는 블록 사이의 경계에서 시각적 아티팩트의 출현을 최소화하기 위해 디코딩 프로세스의 일부로 적용되는 필터링 프로세스이다. 일반적인 디블로킹 필터 프로세스에 대한 입력은 디블로킹 이전에 재구성된 픽처(어레이(recPictureL))이고, 어레이(recPictureCb 및 recPictureCr)은 ChromaArrayType이 0이 아닐 때의 입력이다.
일반적인 디블로킹 필터 프로세스의 출력은 디블로킹 후의 수정된 재구성된 픽처(어레이(recPictureL))이고, 또한 ChromaArrayType이 0이 아닐 때의 어레이(recPictureCb 및 recPictureCr)이다.
픽처의 수직 에지가 먼저 필터링된다. 그런 다음, 픽처의 수평 에지는 입력으로서 수직 에지 필터링 프로세스에 의해 수정된 샘플로 필터링된다. 각 CTU의 CTB에서 수직 및 수평 에지는 CU를 기준으로 별도로 처리된다. CU에서 코딩 블록의 수직 에지는 기하학적 순서에 따라 코딩 블록의 오른쪽을 향해 에지를 통해 진행하는 코딩 블록의 왼쪽 에지에서 시작하여 필터링된다. CU에서 코딩 블록의 수평 에지는 기하학적 순서로 코딩 블록의 하단을 향해 에지를 통해 진행하는 코딩 블록의 상단에 있는 에지에서 시작하여 필터링된다. 필터링 프로세스는 픽처를 기반으로 지정되지만, 디코더가 동일한 출력 값을 생성하기 위해 처리 종속성 순서를 적절하게 고려한다면 필터링 프로세스는 CU를 기반으로 구현되어 동등한 결과를 얻을 수 있다.
디블로킹 필터 프로세스는 다음 유형의 에지, 즉 픽처의 경계에 있는 에지, loop_filter_across_subpic_enabled_flag가 0일 때, 서브픽처의 경계와 일치하는 에지, pps_loop_filter_across_virtual_boundaries_disabled_flag가 1일 때 픽처의 가상 경계와 일치하는 에지, loop_filter_across_bricks_enabled_flag가 0일 때 벽돌 경계와 일치하는 에지, loop_filter_across_slices_enabled_flag가 0일 때 슬라이스 경계와 일치하는 에지, slice_deblocking_filter_disabled_flag가 1일 때 슬라이스의 상단 또는 왼쪽 경계와 일치하는 에지, slice_deblocking_filter_disabled_flag가 1일 때 슬라이스 내의 에지, 루마 성분의 4x4 샘플 그리드 경계에 대응하지 않는 에지, 크로마 성분의 8x8 샘플 그리드 경계에 대응하지 않는 에지, 에지의 양쪽이 1과 동일한 intra_bdpcm_flag를 갖는 루마 성분 내의 에지, 및 연관된 변환 유닛의 에지가 아닌 크로마 서브블록의 에지를 제외한, 픽처의 모든 코딩 서브블록 에지 및 변환 블록 에지에 적용된다. 서브블록은 블록 또는 코딩 블록의 분할, 예를 들어 64x64 블록의 64x32 분할이다. 변환 블록은 디코딩 프로세스에서 변환으로 인해 생성된 샘플의 직사각형 MxN 블록이다. 변환은 변환 계수의 블록이 공간 도메인 값의 블록으로 변환되게 하는 디코딩 프로세스의 일부이다. 디블로킹 필터 프로세스가 논의되지만, 동일한 제약이 SAO 프로세스 및 ALF 프로세스에 적용될 수 있다.
단방향 디블로킹 필터 프로세스
단방향 디블로킹 필터 프로세스에 대한 입력은 현재 루마 성분(DUAL_TREE_LUMA)이 처리되는지 또는 크로마 성분(DUAL_TREE_CHROMA)이 처리되는지 여부를 지정하는 변수와, treeType이 DUAL_TREE_LUMA와 동일한 경우 디블로킹 이전의 재구성된 픽처(예를 들어, 어레이(recPictureL))와, ChromaArrayType이 0이 아니고 treeType이 DUAL_TREE_CHROMA와 같을 때 어레이(recPictureCb 및 recPictureCr)와, 수직(EDGE_VER) 에지가 필터링되는지 또는 수평(EDGE_HOR) 에지가 필터링되는지 여부를 지정하는 변수(edgeType)이다.
단방향 디블로킹 필터 프로세스에 대한 출력은 디블로킹 후의 수정된 재구성된 픽처, 구체적으로는, treeType이 DUAL_TREE_LUMA와 같을 때의 어레이(recPictureL, 및 ChromaArrayType)이 0이 아니고 treeType이 DUAL_TREE_CHROMA와 같을 때의 어레이(recPictureCb 및 recPictureCr)이다.
변수(firstCompIdx 및 lastCompIdx)는 다음과 같이 유도된다.
Figure pat00002
각각의 CU에 대해, 그리고 코딩 블록 폭(nCbW), 코딩 블록 높이(nCbH), 및 코딩 블록의 좌측 상단 샘플의 위치(xCb, yCb)와 함께, firstCompIdx에서 lastCompIdx까지의 범위에 있는 색상 성분 인덱스(cIdx)로 표시된 CU의 각 코딩 블록에 대해, cIdx가 0과 같은 경우, 또는 cIdx가 0과 같지 않고 edgeType이 EDGE_VER와 같으며 xCb % 8이 0과 같은 경우, 또는 cIdx가 0과 같지 않고 edgeType이 EDGE_HOR와 같으며 yCb % 8이 0과 같은 경우, 에지는 다음과 같은 순서화된 단계에 따라 필터링된다.
단계 1: 변수(filterEdgeFlag)는 다음과 같이 도출되는데, 즉 먼저, edgeType이 EDGE_VER와 동일하고, 후속하는 조건들 중 하나 이상이 참인 경우, filterEdgeFlag는 0과 동일하게 설정되는데, 이 후속하는 조건들은, 현재 코딩 블록의 왼쪽 경계는 픽처의 왼쪽 경계인 조건, 현재 코딩 블록의 왼쪽 경계는 서브픽처의 왼쪽 또는 오른쪽 경계이고 loop_filter_across_subpic_enabled_flag는 0과 동일한 조건, 현재 코딩 블록의 왼쪽 경계는 벽돌의 왼쪽 경계이고 loop_filter_across_bricks_enabled_flag는 0과 동일한 조건, 현재 코딩 블록의 왼쪽 경계는 슬라이스의 왼쪽 경계이고 loop_filter_across_slices_enabled_flag는 0과 같은 조건, 또는 현재 코딩 블록의 왼쪽 경계는 픽처의 수직 가상 경계 중 하나이고 pps_loop_filter_across_virtual_boundaries_disabled_flag는 1과 같은 조건을 포함한다. 둘째, 그렇지 않고, edgeType이 EDGE_HOR이고 후속하는 조건들 중 하나 이상이 참이면 변수(filterEdgeFlag)는 0과 동일하게 설정되는데, 즉 이 후속하는 조건들은, 현재 루마 코딩 블록의 상단 경계는 픽처의 상단 경계인 조건, 현재 코딩 블록의 상단 경계는 서브픽처의 상단 또는 하단 경계이며 loop_filter_across_subpic_enabled_flag는 0과 동일한 조건, 현재 코딩 블록의 상단 경계는 벽돌의 상단 경계이며 loop_filter_across_bricks_enabled_flag는 0과 동일한 조건, 현재 코딩 블록의 상단 경계는 슬라이스의 상단 경계이며 loop_filter_across_slices_enabled_flag는 0과 동일한 조건, 또는 현재 코딩 블록의 상단 경계는 픽처의 수평 가상 경계 중 하나이며 pps_loop_filter_across_virtual_boundaries_disabled_flag는 1과 동일한 조건을 포함한다. 셋째, 그렇지 않으면 filterEdgeFlag는 1로 설정된다. filterEdgeFlag는 블록의 에지가 예를 들어 인루프 필터링을 사용하여 필터링되어야 하는지 여부를 지정하는 변수이다. 에지는 블록의 테두리를 따라 있는 픽셀을 나타낸다. 현재 코딩 블록은 현재 디코더에 의해 디코딩되고 있는 코딩 블록이다. 서브픽처는 픽처 내에서 하나 이상의 슬라이스의 직사각형 영역이다.
단계 2: 2차원 (nCbW)x(nCbH) 어레이(edgeFlags, maxFilterLengthQs, 및 maxFilterlengthPs)의 모든 요소는 0과 같도록 초기화된다.
단계 3: VVC의 8.8.3.3절에 명시된 변환 블록 경계의 도출 프로세스는 위치(xCb, yCb), 코딩 블록 폭(nCbW), 코딩 블록 높이(nCbH), 변수(cIdx), 변수(filterEdgeFlag), 어레이(edgeFlags), 최대 필터 길이 어레이(maxFilterLengthPs 및 maxFilterLengthQs), 및 변수(edgeType)를 입력으로서, 그리고 수정된 어레이(edgeFlags), 수정된 최대 필터 길이 어레이(maxFilterLengthPs 및 maxFilterLengthQs)를 출력으로서 사용하여 호출된다.
단계 4: cIdx가 0과 같을 때, VVC의 8.8.3.4절에 명시된 코딩 서브블록 경계의 도출 프로세스는 위치(xCb, yCb), 코딩 블록 폭(nCbW), 코딩 블록 높이(nCbH), 어레이(edgeFlags), 최대 필터 길이 어레이(maxFilterLengthPs 및 maxFilterLengthQs), 변수(edgeType)를 입력으로서, 그리고 수정된 어레이(edgeFlags), 수정된 최대 필터 길이 어레이(maxFilterLengthPs 및 maxFilterLengthQs)를 출력으로서 사용하여 호출된다.
단계 5: 픽처 샘플 어레이(recPicture)는 다음과 같이 도출되는데, 즉 cIdx가 0과 같으면, recPicture는 recPictureL을 디블로킹하기 전에 재구성된 루마 픽처 샘플 어레이와 동일하게 설정된다. 그렇지 않고, cIdx가 1과 같다면, recPicture는 recPictureCb를 디블로킹하기 전에 재구성된 크로마 픽처 샘플 어레이와 동일하게 설정된다. 그렇지 않은 경우(cIdx는 2임), recPicture는 recPictureCr을 디블로킹하기 전에 재구성된 크로마 픽처 샘플 어레이와 동일하게 설정된다.
단계 6: VVC의 8.8.3.5절에 명시된 경계 필터링 강도의 도출 프로세스는 픽처 샘플 어레이(recPicture), 루마 위치(xCb, yCb), 코딩 블록 폭(nCbW), 코딩 블록 높이(nCbH), 변수(edgeType), 변수(cIdx) 및 어레이(edgeFlags)를 입력으로서, 그리고 (nCbW)x(nCbH) 어레이(bS)를 출력으로서 사용하여 호출된다.
단계 7: 하나의 방향에 대한 에지 필터링 프로세스는 변수(edgeType), 변수(cIdx), 디블로킹 이전의 재구성된 픽처(recPicture), 위치(xCb, yCb), 코딩 블록 폭(nCbW), 코딩 블록 높이(nCbH) 및 어레이(bS, maxFilterLengthPs 및 maxFilterLengthQs)를 입력으로서, 그리고 수정된 재구성된 픽처(recPicture)를 출력으로서 사용하여, VVC의 8.8.3.6절에 명시된 대로 코딩 블록에 대해 호출된다.
도 7은 제1 실시예에 따른 비트스트림을 디코딩하는 방법(700)을 예시하는 흐름도이다. 디코더(400)는 방법(700)을 구현할 수 있다. 단계(710)에서, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림이 수신된다. 픽처는 서브픽처를 포함한다. 마지막으로, 단계(720)에서, loop_filter_across_subpic_enabled_flag가 0과 같을 때, 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스가 적용된다.
방법(700)은 추가적인 실시예를 구현할 수 있다. 예를 들어, 1과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행될 수 있음을 지정한다. 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않음을 지정한다.
도 8은 제1 실시예에 따른 비트스트림을 인코딩하는 방법(800)을 예시하는 흐름도이다. 인코더(300)는 방법(800)을 구현할 수 있다. 단계(810)에서, loop_filter_across_subpic_enabled_flag가 0일 때 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스가 적용되도록 loop_filter_across_subpic_enabled_flag가 생성된다. 단계(820)에서, loop_filter_across_subpic_enabled_flag는 비디오 비트스트림으로 인코딩된다. 마지막으로, 단계(830)에서, 비디오 비트스트림은 비디오 디코더를 향한 통신을 위해 저장된다.
방법(800)은 추가적인 실시예를 구현할 수 있다. 예를 들어, 1과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행될 수 있음을 지정한다. 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않음을 지정한다. 방법(800)은 seq_parameter_set_rbsp에 loop_filter_across_subpic_enabled_flag를 포함하는 seq_parameter_set_rbsp를 생성하는 단계, 및 seq_parameter_set_rbsp를 비디오 비트스트림 내로 인코딩함으로써 loop_filter_across_subpic_enabled_flag를 비디오 비트스트림 내로 추가로 인코딩하는 단계를 더 포함한다.
도 9는 제2 실시예에 따른 비트스트림을 디코딩하는 방법(900)을 예시하는 흐름도이다. 디코더(400)는 방법(900)을 구현할 수 있다.
단계(910)에서, 픽처, EDGE_VER, 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림이 수신된다. 픽처는 서브픽처를 포함한다. 마지막으로, 단계(920)에서, edgeType이 EDGE_VER와 같고, 현재 코딩 블록의 왼쪽 경계는 서브픽처의 왼쪽 경계이고, loop_filter_across_subpic_enabled_flag는 0과 같으면, filterEdgeFlag는 0으로 설정된다. 신택스 요소에 밑줄의 존재는 해당 신택스 요소가 비트스트림에서 시그널링됨을 나타낸다. 신택스 요소에 밑줄이 없다는 것은 디코더에 의한 해당 신택스 요소의 파생을 나타낸다. "만약(If)"은 "~인 경우(when)"와 같은 의미로 사용될 수도 있다.
방법(900)은 추가적인 실시예를 구현할 수 있다. 예를 들어, edgeType은 수직 에지가 필터링되는지 또는 수평 에지가 필터링되는지 여부를 지정하는 변수이다. edgeType이 0이라는 것은 수직 에지가 필터링됨을 지정하고, EDGE_VER은 수직 에지이다. edgeType이 1이라는 것은 수평 에지가 필터링됨을 지정하고 EDGE_HOR은 수평 에지이다. 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않는다는 것을 지정한다. 방법(900)은 filterEdgeFlag에 기초하여 픽처를 필터링하는 단계를 더 포함한다.
도 10은 제3 실시예에 따른 비트스트림을 디코딩하는 방법(1000)을 예시하는 흐름도이다. 디코더(400)는 방법(1000)을 구현할 수 있다. 단계(1010)에서, 픽처, EDGE_HOR, 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림이 수신된다. 마지막으로, 단계(1020)에서, edgeType이 EDGE_HOR과 같고, 현재 코딩 블록의 상단 경계는 서브픽처의 상단 경계이고, loop_filter_across_subpic_enabled_flag는 0과 같은 경우, filterEdgeFlag는 0으로 설정된다.
방법(1000)은 추가적인 실시예를 구현할 수 있다. 예를 들어, edgeType은 수직 에지가 필터링되는지 또는 수평 에지가 필터링되는지 여부를 지정하는 변수이다. edgeType이 0이라는 것은 수직 에지가 필터링됨을 지정하고 EDGE_VER은 수직 에지이다. edgeType이 1이라는 것은 수평 에지가 필터링됨을 지정하고 EDGE_HOR은 수평 에지이다. 0과 동일한 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 CVS의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않는다는 것을 지정한다. 예를 들어, 방법(1000)은 filterEdgeFlag에 기초하여 픽처를 필터링하는 단계를 더 포함한다.
도 11은 본 개시의 실시예에 따른 비디오 코딩 장치(1100)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))의 개략도이다. 비디오 코딩 장치(1100)는 개시된 실시예를 구현하기에 적합하다. 비디오 코딩 장치(1100)는 데이터를 수신하기 위한 입구 포트(1110) 및 Rx(1120)와, 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 CPU(1130)와, 데이터를 전송하기 위한 Tx(1140) 및 출구 포트(1150)와, 데이터를 저장하기 위한 메모리(1160)를 포함한다. 비디오 코딩 장치(1100)는 또한 광학 또는 전기 신호의 출력 또는 입력을 위해 입구 포트(1110), 수신기 유닛(1120), 송신기 유닛(1140), 및 출구 포트(1150)에 결합된 OE 컴포넌트 및 EO 컴포넌트를 포함할 수 있다.
프로세서(1130)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(1130)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서로서), FPGA, ASIC, 및 DSP로서 구현될 수 있다. 프로세서(1130)는 입구 포트(1110), Rx(1120), Tx(1140), 출구 포트(1150), 및 메모리(1160)와 통신한다. 프로세서(1130)는 코딩 모듈(1170)을 포함한다. 코딩 모듈(1170)은 개시된 실시예를 구현한다. 예를 들면, 코딩 모듈(1170)은 다양한 코덱 기능을 구현, 처리, 준비 또는 제공할 수 있다. 따라서, 코딩 모듈(1170)의 포함은 비디오 코딩 장치(1100)의 기능에 대한 실질적인 개선을 제공하고 비디오 코딩 장치(1100)를 다른 상태로 변환하는 것에 영향을 미친다. 대안적으로, 코딩 모듈(1170)은 메모리(1160)에 저장되고 프로세서(1130)에 의해 실행되는 명령어로서 구현된다.
비디오 코딩 장치(1100)는 또한 사용자와 데이터를 통신하기 위한 I/O 장치(1180)를 포함할 수 있다. I/O 장치(1180)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 장치를 포함할 수 있다. I/O 장치(1180)는 또한 키보드, 마우스 또는 트랙볼, 또는 이러한 출력 장치와 상호 작용하기 위한 해당 인터페이스와 같은 입력 장치를 포함할 수 있다.
메모리(1160)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고 오버플로 데이터 저장 장치로 사용될 수 있으며, 프로그램이 실행을 위해 선택될 때 이러한 프로그램을 저장하고, 또한 프로그램 실행 동안 판독되는 명령어 및 데이터를 저장한다. 메모리(1160)는 휘발성 및/또는 비휘발성일 수 있으며, ROM, RAM, TCAM 또는 SRAM일 수 있다.
도 12는 코딩 수단(1200)의 실시예의 개략도이다. 일 실시예에서, 코딩 수단(1200)은 비디오 코딩 장치(1202)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))에서 구현된다. 비디오 코딩 장치(1202)는 수신 수단(1201)을 포함한다. 수신 수단(1201)은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 장치(1202)는 수신 수단(1201)에 연결된 전송 수단(1207)을 포함한다. 전송 수단(1207)은 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이 수단(예를 들어, I/O 장치(1180) 중 하나)에 전송하도록 구성된다.
비디오 코딩 장치(1202)는 저장 수단(1203)을 포함한다. 저장 수단(1203)은 수신 수단(1201) 또는 전송 수단(1207) 중 적어도 하나에 연결된다. 저장 수단(1203)은 명령어를 저장하도록 구성된다. 비디오 코딩 장치(1202)는 또한 프로세싱 수단(1205)을 포함한다. 프로세싱 수단(1205)은 저장 수단(1203)에 연결된다. 프로세싱 수단(1205)은 본 명세서에 개시된 방법을 수행하기 위해 저장 수단(1203)에 저장된 명령어를 실행하도록 구성된다.
일 실시예에서, 수신 수단은 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신한다. 픽처는 서브픽처를 포함한다. 프로세싱 수단은 loop_filter_across_subpic_enabled_flag가 0일 때 서브픽처의 경계와 일치하는 에지를 제외한 픽처의 모든 서브블록 에지 및 변환 블록 에지에 디블로킹 필터 프로세스를 적용한다.
용어 "약"은 달리 명시되지 않는 한 후속 숫자의 ±10%를 포함하는 범위를 의미한다. 본 개시에서 몇몇 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해할 수 있다. 본 예는 제한이 아닌 예시적인 것으로 간주되어야 하며, 그러한 의도는 본 명세서에 제공된 세부 사항으로 국한되지 않는다. 예를 들어, 다양한 요소 또는 컴포넌트들은 다른 시스템에서는 결합 또는 통합될 수 있고, 또는 특정 특징이 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시예에서 개별적이거나 분리된 것으로 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 컴포넌트, 기술, 또는 방법과 결합되거나 통합될 수 있다. 결합된 것으로 도시되거나 논의된 다른 항목들은 직접적으로 결합될 수도 있고, 또는 전기적으로, 기계적으로 또는 다른 방식으로든 일부 인터페이스, 장치 또는 중간 컴포넌트를 통해 간접적으로 결합되거나 통신할 수 있다. 변경, 대체 및 변형의 다른 예는 당업자에 의해 확인 가능하고 본 명세서에 개시된 정신 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (16)

  1. 비디오 디코더에 의해 구현되는 방법으로서,
    상기 비디오 디코더에 의해, 픽처 및 loop_filter_across_subpic_enabled_flag를 포함하는 비디오 비트스트림을 수신하는 단계- 상기 픽처는 서브픽처를 포함함 -와,
    edgeType이 EDGE_HOR와 같고, 현재 코딩 블록의 상부 경계가 상기 서브픽처의 상부 경계이고, 상기 loop_filter_across_subpic_enabled_flag가 0인 경우 filterEdgeFlag를 0으로 설정하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 edgeType은 수직 에지가 필터링되는지 또는 수평 에지가 필터링되는지 여부를 지정하는 변수인
    방법.
  3. 제1항에 있어서,
    0과 동일한 상기 edgeType은 수직 에지가 필터링됨을 지정하고, EDGE_VER이 상기 수직 에지인
    방법.
  4. 제1항에 있어서,
    1과 동일한 상기 edgeType은 수평 에지가 필터링되는 것을 지정하고, 상기 EDGE_HOR이 상기 수평 에지인
    방법.
  5. 제1항에 있어서,
    0과 동일한 상기 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 코딩된 비디오 시퀀스(coded video sequence, CVS)의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않음을 지정하는
    방법.
  6. 제1항에 있어서,
    상기 filterEdgeFlag에 기초하여 상기 픽처를 필터링하는 단계를 더 포함하는
    방법.
  7. 제2항 내지 제4항 또는 제6항 중 어느 한 항에 있어서,
    0과 동일한 상기 loop_filter_across_subpic_enabled_flag는 인루프 필터링 동작이 코딩된 비디오 시퀀스(coded video sequence, CVS)의 각각의 코딩된 픽처에서 서브픽처의 경계를 가로질러 수행되지 않음을 지정하는
    방법.
  8. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 filterEdgeFlag에 기초하여 상기 픽처를 필터링하는 단계를 더 포함하는
    방법.
  9. 비디오 디코더로서,
    명령어를 저장하도록 구성된 메모리와,
    상기 메모리에 연결되고 제1항 내지 제6항 중 어느 한 항의 방법을 수행하기 위해 상기 명령어를 실행하도록 구성된 프로세서를 포함하는
    비디오 디코더.
  10. 비일시적 매체에 저장하기 위한 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 실행가능 명령어는 프로세서에 의해 실행될 때 비디오 디코더가 제1항 내지 제6항 중 어느 한 항의 방법을 수행하게 하는
    컴퓨터 프로그램.
  11. 비디오 코딩 시스템으로서,
    인코더와,
    제1항 내지 제6항 중 어느 한 항의 방법을 수행하도록 구성된 디코더를 포함하는
    비디오 코딩 시스템.
  12. 코딩 장치로서,
    인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기와,
    상기 수신기에 결합되고, 상기 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이로 전송하도록 구성된 송신기와,
    상기 수신기 또는 상기 송신기 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 메모리와,
    상기 메모리에 결합되며, 제1항 내지 제6항 중 어느 한 항의 방법을 수행하기 위해 상기 메모리에 저장된 명령어를 실행하도록 구성된 프로세서를 포함하는
    코딩 장치.
  13. 코딩 수단으로서,
    인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단과,
    상기 수신 수단에 결합되고, 상기 비트스트림을 디코딩 수단으로 전송하거나 디코딩된 이미지를 디스플레이 수단으로 전송하도록 구성된 전송 수단과,
    상기 수신 수단 또는 상기 전송 수단 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 저장 수단과,
    상기 저장 수단에 결합되며, 제1항 내지 제6항 중 어느 한 항의 방법을 수행하기 위해 상기 저장 수단에 저장된 명령어를 실행하도록 구성된 프로세싱 수단을 포함하는
    코딩 수단.
  14. 제1항 내지 제6항 중 어느 한 항의 방법을 수행함으로써 디코딩된 비트스트림을 저장하는 저장 매체.
  15. 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 저장 매체는 프로세서에 의해 실행가능한 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 제1항 내지 제6항 중 어느 한 항의 방법을 수행하는
    컴퓨터 판독가능 저장 매체.
  16. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하기 위한 프로세싱 회로를 포함하는 코더.
KR1020227020471A 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그 KR20220088519A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962905231P 2019-09-24 2019-09-24
US62/905,231 2019-09-24
PCT/US2020/052287 WO2021061826A1 (en) 2019-09-24 2020-09-23 Filter flags for subpicture deblocking
KR1020227013629A KR20220065057A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227013629A Division KR20220065057A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그

Publications (1)

Publication Number Publication Date
KR20220088519A true KR20220088519A (ko) 2022-06-27

Family

ID=75166103

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227020467A KR20220088804A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그
KR1020227020471A KR20220088519A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그
KR1020227013629A KR20220065057A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227020467A KR20220088804A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227013629A KR20220065057A (ko) 2019-09-24 2020-09-23 서브픽처 디블로킹을 위한 필터 플래그

Country Status (12)

Country Link
US (1) US20220239954A1 (ko)
EP (1) EP4029260A4 (ko)
JP (3) JP7408787B2 (ko)
KR (3) KR20220088804A (ko)
CN (1) CN114503568A (ko)
AU (3) AU2020354548B2 (ko)
BR (1) BR112022005502A2 (ko)
CA (1) CA3155886A1 (ko)
CL (1) CL2022000718A1 (ko)
IL (2) IL293930A (ko)
MX (2) MX2022003567A (ko)
WO (1) WO2021061826A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130925A1 (en) * 2018-12-20 2020-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for video coding using uniform segment split in pictures
WO2021125703A1 (ko) * 2019-12-20 2021-06-24 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치
WO2023249404A1 (ko) * 2022-06-21 2023-12-28 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
WO2013155897A1 (en) * 2012-04-16 2013-10-24 Mediatek Inc. Method and apparatus for loop filtering across slice or tile boundaries
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
WO2020089201A1 (en) * 2018-10-30 2020-05-07 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking between block boundaries and sub-block boundaries in a video encoder and/or video decoder
MX2021011016A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
MX2023006589A (es) * 2020-12-03 2023-06-16 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodos de prediccion intramarco, codificador, decodificador y medio de almacenamiento.

Also Published As

Publication number Publication date
JP2022550321A (ja) 2022-12-01
JP7403587B2 (ja) 2023-12-22
CL2022000718A1 (es) 2022-11-18
AU2022204212A1 (en) 2022-07-07
MX2022003567A (es) 2022-07-11
JP2022179468A (ja) 2022-12-02
KR20220065057A (ko) 2022-05-19
WO2021061826A1 (en) 2021-04-01
AU2022204213A1 (en) 2022-07-07
US20220239954A1 (en) 2022-07-28
EP4029260A1 (en) 2022-07-20
MX2022007683A (es) 2022-07-19
EP4029260A4 (en) 2022-12-14
KR20220088804A (ko) 2022-06-28
JP7403588B2 (ja) 2023-12-22
AU2020354548B2 (en) 2023-10-12
BR112022005502A2 (pt) 2022-06-14
CA3155886A1 (en) 2021-04-01
AU2020354548A1 (en) 2022-04-21
AU2022204212B2 (en) 2024-05-02
JP2022183143A (ja) 2022-12-08
IL293930A (en) 2022-08-01
IL291669A (en) 2022-05-01
JP7408787B2 (ja) 2024-01-05
CN114503568A (zh) 2022-05-13
AU2022204213B2 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
KR20210129184A (ko) 인코더, 디코더 및 대응하는 방법
KR102410200B1 (ko) 루마 및 크로마 블록 파티셔닝
JP2020508617A (ja) 複数の参照線を用いたイントラ予測
JP7436641B2 (ja) 時間スケーラビリティのためのピクチャタイミング及び復号ユニット情報
JP7454657B2 (ja) ピクチャーレベルでの非ピクチャーレベルの構文要素のシグナリング
AU2022204213B2 (en) Filter flags for subpicture deblocking
US11445188B2 (en) Partitioning with high level constraint
KR20220063273A (ko) 다층 비디오 비트스트림에 대한 dpb 파라미터의 시그널링 기법
KR20210105980A (ko) 비디오 인코더, 비디오 디코더 및 상응하는 방법들
KR20220063262A (ko) 서브픽처 기반 비디오 코딩에서 서브픽처당 하나의 슬라이스의 지시
JP7201821B2 (ja) ビデオコーディング方法及び機器
KR20210135621A (ko) 비디오 코딩에서 슬라이스 엔트리 포인트
WO2020124016A1 (en) Arbitrary and wrap-around tile grouping
KR20220053676A (ko) 서브픽처 기반 비디오 코딩에서의 서브픽처 id의 시그널링
KR20210104900A (ko) 비디오 인코더, 비디오 디코더 및 상응하는 방법들
RU2819291C2 (ru) Извлечение битового потока видеокодирования с помощью сигнализации идентификаторов
NZ789468A (en) Filter flags for subpicture deblocking

Legal Events

Date Code Title Description
A107 Divisional application of patent