KR20190028364A - Sei 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치 - Google Patents

Sei 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20190028364A
KR20190028364A KR1020187030483A KR20187030483A KR20190028364A KR 20190028364 A KR20190028364 A KR 20190028364A KR 1020187030483 A KR1020187030483 A KR 1020187030483A KR 20187030483 A KR20187030483 A KR 20187030483A KR 20190028364 A KR20190028364 A KR 20190028364A
Authority
KR
South Korea
Prior art keywords
message
supplemental enhancement
enhancement information
containment
video
Prior art date
Application number
KR1020187030483A
Other languages
English (en)
Other versions
KR102324623B1 (ko
Inventor
피에르 안드리본
필리페 보르드
에두아르드 프랑스아
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20190028364A publication Critical patent/KR20190028364A/ko
Application granted granted Critical
Publication of KR102324623B1 publication Critical patent/KR102324623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오를 국부적으로 후처리하기 위한 창 처리 좌표를 갖는 비트스트림으로 비디오를 인코딩하기 위한 방법 및 장치가 제시된다. 이러한 방법은: - 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하는 단계(301)와, - 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계(302)를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계는: - 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 인코딩하는 단계(303)와, - 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계(304)를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 인코딩한다.

Description

SEI 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치
비디오를 비트스트림으로 코딩하기 위한 방법 및 장치가 개시된다. 대응하는 디코딩 방법 및 장치가 또한 개시된다.
메타데이터는 비디오의 콘텐츠 제작 단계에서 또는 비디오의 인코딩 단계 직전에 생성된다. 이러한 메타데이터는 일반적으로 텔레비전(TV) 또는 셋톱 박스(STB)와 같은 수신기에서 포스트-디코딩 프로세스를 제공하기 위해 모두 비디오 가치 사슬(video value chain)을 따라 전송된다. 예를 들어, 이러한 메타데이터는 화질 또는 사용자에 대한 비디오의 인식을 향상시키거나, 수신기의 성능에 따라 비디오 렌더링을 조정하기 위해, 비디오의 재구성된 화상에 대해 수신기 또는 렌더러(renderer)에 의해 적용될 파라미터를 포함할 수 있다.
예를 들어, 정적 메타데이터용 SMPTE ST 2086, 제작 환경에서 사용하기 위한 콘텐츠 기반 또는 동적 메타데이터용 SMPTE ST 2094와 같은 SMPTE 표준은 이러한 메타데이터를 정의한다. 특히, ST 2094 표준은 처리 창(processing window)또는 관심 영역(region-of-interest, ROI)별로 적용할 수 있는 메타데이터를 정의한다.
이러한 메타데이터는, 예를 들어 외부 컨버터 또는 렌더러에서 수행되는 포스트-디코딩 프로세스에서 사용하기 위해, 비디오 분배 단계 동안 비디오 시퀀스의 코딩된 비트스트림과 함께 전달될 필요가 있을 수 있다.
보충 강화 정보(Supplemental Enhancement Information, SEI) 메시지는 H.26x 표준에 명시되어 있다. 이러한 메시지는 비디오 시퀀스의 코딩된 비트스트림을 따라 메타데이터를 전달할 수 있다.
예를 들어, 일부 SEI 메시지는 컬러 리매핑(Colour Remapping) 또는 포스트 필터링 등을 위한 후처리 파라미터를 전달할 수 있다.
그러나, 이러한 SEI 메시지는 전체 재구성된 화상, 즉 화상의 모든 픽셀에 적용될 후처리 파라미터를 전달한다.
ST 2094에 정의된 바와 같은 창/ROI 처리를 가능하게 하는 신호처리 또는 메커니즘은 없다.
하나의 해결책은 각각의 처리 SEI 메시지와 관련된 좌표를 다른 처리 창을 통해 전달하는 것이다. 그러나, 이는 메타데이터 캐리어(carrier)의 수를 크게 증가시키고 메타데이터를 느슨하게 하거나 잘못 처리할 위험(처리 창과 처리 메타데이터의 잘못된 조합/순서 또는 잘못된 연관)을 증가시킨다.
따라서, 처리 SEI 메시지를 이미지 상에 국부적으로 적용하도록 구성된 인코딩/디코딩 방법이 필요하다.
본 원리의 일 양태에 따르면, 비디오를 인코딩하기 위한 방법이 개시되며, 방법은,
- 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하는 단계와,
- 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계는,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 인코딩하는 단계와,
- 적어도 하나의 보충 강화 정보 메시지를 인코딩하는 단계를 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보, 예를 들어, 메타데이터를 인코딩한다.
본 개시는 비디오의 화상을 후처리하기 위해 영역 기반 정보를 갖는 비디오 시퀀스의 코딩된 비트스트림을 전달할 수 있다. 후처리 정보를 전달하는 H.26x 표준의 기존 SEI 메시지는 따라서 다시 사용될 수 있다. 따라서, 후처리 SEI 메시지를 다시 정의할 필요는 없다. 바람직하게, 본 개시는 이러한 SEI 메시지에 창 처리를 추가함으로써 기존의 후처리 SEI 메시지에 새로운 기능을 제공한다. 창 처리 파라미터는 동일한 정보 전달 메커니즘 내에서 일관되게 관련된다.
비디오를 인코딩하기 위한 장치가 개시되며, 장치는,
- 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하는 수단과,
- 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 수단을 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 수단은,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터를 인코딩하는 수단과,
- 적어도 하나의 보충 강화 정보 메시지를 인코딩하는 수단을 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 인코딩한다.
변형예에서, 비디오를 인코딩하기 위한 장치가 개시되며, 장치는 비디오의 적어도 하나의 화상에 액세스하도록 구성된 통신 인터페이스 및 적어도 하나의 프로세서를 포함하고, 프로세서는,
- 적어도 하나의 액세스된 화상을 비트스트림으로 인코딩하고,
- 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하도록 구성되고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하기 위해,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터를 인코딩하고,
- 적어도 하나의 보충 강화 정보 메시지를 인코딩하는 것을 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 인코딩한다.
일 실시형태에 따르면, 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계는 상기 적어도 하나의 보충 강화 정보 메시지가 적용되는 상기 화상 내의 영역의 수를 나타내는 파라미터를 추가로 인코딩하는 단계를 포함한다. 이러한 실시형태는 SEI 내포 메시지에 포함된 SEI 메시지가 적용되어야 하는 화상의 여러 영역 또는 처리 창을 정의하는 것을 가능하게 한다. 따라서, 대역 사용이 최적화된다.
본 원리의 또 다른 실시형태에 따르면, 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계는 보충 강화 정보 메시지의 수를 나타내는 파라미터를 추가로 인코딩하는 단계를 포함한다. 이러한 실시형태는 화상의 하나 이상의 영역에 대해 정의된 하나의 SEI 내포 메시지에 몇 개의 후처리 SEI 메시지을 포함하는 것을 가능하게 한다. 따라서, 동일한 의도를 갖거나 동일한 페이로드 유형의 몇 개의 SEI 메시지를 전달할 필요성을 줄이고 몇 개의 처리 창이 겹치는 경우 후처리 작업에 대해 암시적 순서를 추가로 제공한다.
본 원리의 일 양태에 따르면, 코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 방법이 개시되며, 디코딩하기 위한 방법은,
- 상기 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하고, 디코딩된 화상을 전달하는 단계와,
- 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 단계를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 단계는,
- 상기 디코딩된 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 디코딩하는 단계와,
- 적어도 하나의 보충 강화 정보 메시지를 디코딩하는 단계를 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 디코딩된 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 포함한다.
코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 장치가 개시되며, 장치는,
- 상기 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하여 디코딩된 화상을 획득하는 수단과,
- 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 수단을 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 수단은,
- 상기 디코딩된 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터를 디코딩하는 수단과,
- 적어도 하나의 보충 강화 정보 메시지를 디코딩하는 수단을 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 디코딩된 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 포함한다.
변형예에서, 적어도 하나의 스트림에 액세스하도록 구성된 통신 인터페이스 및 적어도 하나의 프로세서를 포함하는 디코딩 장치가 개시되며, 프로세서는,
- 상기 액세스된 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하여 디코딩된 화상을 획득하고,
- 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하도록 구성되고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하기 위해,
- 상기 디코딩된 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터를 디코딩하고,
- 적어도 하나의 보충 강화 정보 메시지를 디코딩하도록 구성되며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 디코딩된 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 포함한다.
일 실시형태에 따르면, 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 단계는 상기 적어도 하나의 보충 강화 정보 메시지가 적용되는 상기 화상 내의 영역의 수를 나타내는 파라미터를 추가로 디코딩하는 단계를 포함한다.
본 원리의 또 다른 실시형태에 따르면, 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 단계는 보충 강화 정보 메시지의 수를 나타내는 파라미터를 추가로 디코딩하는 단계를 포함한다.
본 실시형태는 또한 본 개시에 설명된 실시형태 중 어느 하나에 따라 비디오를 코딩하기 위한 명령어를 저장한 컴퓨터 판독 가능 저장 매체를 제공한다.
본 실시형태는 또한 본 개시에 설명된 실시형태 중 어느 하나에 따른 비디오를 디코딩하기 위한 명령어를 저장한 컴퓨터 판독 가능 저장 매체를 제공한다.
코딩된 비디오를 나타내는 비트스트림이 또한 개시되며, 비트스트림은,
- 상기 비디오의 하나의 화상을 나타내는 코딩된 데이터와,
- 적어도 하나의 보충 강화 정보 내포 메시지를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지는,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터와,
- 적어도 하나의 보충 강화 정보 메시지를 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 인코딩한다.
비트스트림을 저장한 비-일시적 프로세서 판독 가능 매체가 개시되며, 비트스트림은,
- 상기 비디오의 하나의 화상을 나타내는 코딩된 데이터와,
- 적어도 하나의 보충 강화 정보 내포 메시지를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지는,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터와,
- 적어도 하나의 보충 강화 정보 메시지를 포함하며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 정보를 인코딩한다.
일 실시형태에 따르면, 위에서 설명한 비디오를 코딩하기 위한 방법 또는 비디오를 디코딩하기 위한 방법의 상이한 단계는 비디오를 코딩/디코딩하기 위한 장치의 데이터 프로세서에 의한 실행을 위한 소프트웨어 명령어를 포함하는 하나 이상의 소프트웨어 프로그램 또는 소프트웨어 모듈 프로그램에 의해 구현되며, 이들 소프트웨어 명령어는 본 원리에 따른 방법의 상이한 단계의 실행을 명령하도록 설계된다.
컴퓨터에 의해 또는 데이터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램이 또한 개시되며, 이 프로그램은 위에서 언급한 비디오를 코딩하기 위한 방법의 단계 또는 비디오를 디코딩하기 위한 방법의 단계의 실행을 명령하도록 하는 명령어를 포함한다.
이 프로그램은 모든 프로그래밍 언어를 사용할 수 있으며, 부분적으로 컴파일된 형식이나 다른 바람직한 모든 형식과 같은 소스 코드(source code), 목적 코드(object code) 또는 소스 코드와 목적 코드 사이의 중간 코드 형태로 존재할 수 있다.
정보 캐리어는 프로그램을 저장할 수 있는 모든 개체 또는 장치일 수 있다. 예를 들어, 캐리어는 ROM과 같은 저장 수단, 예를 들어 CD ROM 또는 마이크로 전자 회로 ROM 또는 다시 플로피 디스크 또는 하드 디스크 드라이브와 같은 자기 기록 수단을 포함할 수 있다.
또한, 정보 캐리어는 전기 또는 광 케이블을 통해, 무선 또는 다른 수단에 의해 전달될 수 있는 전기 또는 광학 신호와 같은 전송 가능한 캐리어일 수 있다. 본 원리에 따른 프로그램은 특히 인터넷 유형 네트워크에 업로드될 수 있다.
대안으로서, 정보 캐리어는 프로그램이 통합되는 집적 회로일 수 있으며, 회로는 해당 방법을 실행하도록 구성되거나 실행에 사용되도록 구성된다.
일 실시형태에 따르면, 방법/장치는 소프트웨어 및/또는 하드웨어 구성요소에 의해 구현될 수 있다. 이 점에 있어서 "모듈" 또는 "유닛"이라는 용어는 본 문서에서 동일하게 소프트웨어 구성요소, 하드웨어 구성요소 또는 일련의 하드웨어 및 소프트웨어 구성요소에 해당할 수 있다.
소프트웨어 구성요소는 하나 이상의 컴퓨터 프로그램, 프로그램의 하나 이상의 서브-프로그램, 또는 보다 일반적으로는 관련된 모듈에 대해 아래에서 설명하는 바와 같은 기능 또는 일련의 기능을 구현할 수 있는 프로그램의 임의의 요소 또는 소프트웨어의 일부분에 해당한다. 이러한 소프트웨어 구성요소는 물리적 개체(단말기, 서버 등)의 데이터 프로세서에 의해 실행되며 이 물리적 개체(메모리, 기록 매체, 통신 버스, 입/출력 전자 보드, 사용자 인터페이스 등)의 하드웨어 자원에 액세스할 수 있다.
동일한 방식으로, 하드웨어 구성요소는 관련된 모듈에 대해 아래에서 설명하는 바와 같이 기능 또는 일련의 기능을 구현할 수 있는 하드웨어 유닛의 임의의 요소에 해당한다. 이는 프로그램 가능한 하드웨어 구성요소 또는 소프트웨어 실행을 위한 통합 프로세서를 갖는 구성요소, 예를 들어 집적 회로, 스마트카드, 메모리 카드, 펌웨어 실행을 위한 전자 보드 등일 수 있다.
도 1은 본 원리의 일 실시형태에 따라, 비디오를 나타내고 SEI 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림을 인코딩 및 디코딩하기 위한 예시적인 시스템을 도시하고,
도 2A는 비디오로부터 코딩된 비디오 데이터로 화상을 코딩하기 위한 예시적인 코더(coder)에 대한 블록도를 도시하고,
도 2B는 NAL 단위 원리에 따른 코딩된 화상에 대한 예시적인 액세스 유닛을 도시하고,
도 2C는 코딩된 비디오 데이터로부터의 비디오에서 화상을 디코딩하기 위한 예시적인 디코더(decoder)에 대한 블록도를 도시하고,
도 3은 일 실시형태에 따라 비디오를 인코딩하기 위한 예시적인 방법의 블록도를 도시하고,
도 4는 일 실시형태에 따라 비디오를 디코딩하기 위한 예시적인 방법의 블록도를 도시하고,
도 5는 일 실시형태에서 사용될 수 있는 예시적인 인코더를 도시하고,
도 6은 일 실시형태에서 사용될 수 있는 예시적인 디코더를 도시하고,
도 7은 후처리가 적용되어야 하는 화상에서 정의된 예시적인 처리 창을 도시한다.
도 1은 본 원리의 실시형태에 따라, 영역 기반 후처리 파라미터를 SEI 내포 메시지로 전달하는 비트스트림으로 비디오를 코딩하기 위한 예시적인 시스템(110) 및 상기 해당 비트스트림을 디코딩하기 위한 예시적인 시스템(109)을 도시하고 있다.
도 1은 비디오 콘텐츠를 생성하도록 구성된 비디오 제작 모듈(100)을 포함한다. 비디오 제작 모듈은 예를 들어 라이브 비디오 콘텐츠를 캡처하기 위한 카메라 및 제작자 또는 컬러리스트(colorist)가 캡처된 라이브 콘텐츠를 조작하고 비디오 콘텐츠와 관련된 정보, 예를 들어, 메타데이터를 생성할 수 있게 하는 인터페이스를 포함하는 제작 플랫폼일 수 있다. 이러한 정보는 화질을 향상시키거나, 예를 들어 비디오 화상을 컬러 그레이딩(color grading)함으로써, 창작자의 예술적 의도를 더욱 잘 표현할 수 있게 한다.
예를 들어, 수신기의 성능에 따라 전송된 비디오의 렌더링 품질을 조정할 필요가 있을 수 있다. 예를 들어, 하이 다이나믹 레인지(High Dynamic Range, HDR) 화상은 스탠다드 다이나믹 레인지(Standard Dynamic Range, SDR) 디스플레이 또는 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI)와 같은 SDR 인터페이스에서 지원되지 않을 수 있다. 이 경우, 렌더러 또는 렌더러의 렌더러 상류의 장비(예를 들어, STB, 블루-레이 플레이어(Blu-ray player))는 수신된 비디오의 화상을 처리하여 화상을 디스플레이 특성에 맞게 또는 디스플레이 지원 포맷으로 조정할 수 있다. 렌더링 단계에서 콘텐츠 제작자의 예술적 의도를 보존하기 위해, 이러한 처리를 제어하는 것이 바람직하다.
이러한 처리는 비디오의 화상과 관련된 후처리 정보/메타데이터를 생성함으로써 콘텐츠 제작자에 의해 제어될 수 있다. 이하에서, "메타데이터" 대신에 "정보"라는 단어가 사용될 수 있다. 이를 위해, 비디오 제작 모듈(100)은 비디오 제작 모듈의 인터페이스 상의 콘텐츠 제작자의 입력에 따라 이러한 후처리 메타데이터(MD)를 출력하는 메타데이터 생성 모듈(101)을 포함한다.
일례로서, 도 7은 후처리가 적용되어야 하는 두 개의 영역(R1 및 R2)을 컬러리스트가 정의한 화상을 도시하고 있다. 예를 들어, 컬러리스트는 영역(R1)에 대한 사용자의 인식을 강조하기 위해 영역(R1)에 적용될 처리(또는 컬러-그레이딩) 파라미터(P1)를 우선 정의한다. 이후, 컬러리스트는 사용자가 영역(R2)에 주목하는 것을 방지하기 위해 영역(R2)에 적용될 처리 파라미터(P2)를 정의한다. 이 도면에서, 영역은 직사각형이다. 그러나, 본 원리는 타원, 원 또는 임의의 다른 파라메트릭 형상과 같은 비-직사각형 영역에도 적용된다.
화상(또는 비디오)을 컬러-그레이딩하는 것은 화상(또는 비디오)의 컬러를 변경/강화하는 프로세스이다. 일반적으로, 화상을 컬러-그레이딩하는 것은 색 부피(색 공간 및/또는 다이나믹 레인지)의 변경 또는 이 화상과 관련된 색 대역(color gamut)의 변경을 포함한다. 따라서, 동일한 화상의 두 개의 다른 컬러-그레이딩된 버전은 값이 다른 색 부피(또는 색 대역)로 표현되는 이 화상의 버전 또는 이들의 컬러 중 적어도 하나가 다른 컬러 그레이드에 따라 변경/강화된 화상의 버전이다. 이는 예를 들어 컬러리스트로부터의 사용자 상호작용을 포함할 수 있다. 컬러리스트는 (국부적 신호 특성에 맞게 조정하기 위해) 국부적 변경이 가능한 예술적 의도를 주입하기 위해 일부 색상 값을 미세 조정/수정함으로써, 캡처한 화상의 제 1 컬러-그레이딩된 버전의 색상 값에 대해 제어를 수행한다.
컬러리스트에 의해 정의된 제어 파라미터는 영역(R1)에 대한 파라미터(P1) 및 영역(R2)에 대한 파라미터(P2)의 집합으로 표현된다. 파라미터(P1 및 P2)의 이러한 집합은 렌더링 전에 적용하기 위해 후처리 메타데이터를 정의한다. 일 실시형태에 따르면, 후처리 메타데이터는 비디오 콘텐츠의 화상의 적어도 하나의 영역에 적용된다. 파라미터(MD) 집합은 따라서 화상 내의 영역(R1, R2) 및 영역에 적용할 후처리 단계를 규정하는 파라미터(P1, P2)를 찾을 수 있게 하는 좌표를 포함한다.
도 1을 다시 참조하면, 비디오 제작 모듈(100)은 일련의 화상(PIC) 형태의 비디오 콘텐츠 및 메타데이터(MD) 집합을 비디오 인코더에 입력으로서 전달한다.
이러한 비디오 인코더(102)는 본 원리의 실시형태에 따라 비디오의 화상(PIC)을 비트스트림으로 인코딩하고 메타데이터(MD) 집합을 상기 비트스트림으로 인코딩한다. 비디오 인코더(102)는 H.266, HEVC/H.265, AVC/H.264 또는 임의의 독점적인 비디오 코딩 시스템과 같은 임의의 비디오 코딩 표준에 따라 화상(PIC)을 인코딩한다.
통상적으로, 비디오 인코더(102)는, 도 2A에 도시된 바와 같이, 블록 기반 비디오 인코딩을 위한 몇 개의 모듈을 포함할 수 있다. 인코딩될 화상(PIC)는 인코더(102)에 입력된다. 인코더(102)는, 예를 들어, 율/왜곡 최적화(rate/distortion optimization)를 기반으로 코딩될 화상의 블록에 대한 코딩 모드를 선택하는 모드 선택 유닛을 포함하고, 이러한 모드 선택 유닛은,
- 코딩될 화상의 하나의 현재 블록과 참조 화상 사이의 움직임을 추정하기 위한 움직임 추정 모듈과,
- 추정된 움직임을 이용하여 현재 블록을 예측하기 위한 움직임 보상 모듈과,
- 현재 블록을 공간적으로 예측하기 위한 인트라 예측 모듈을 포함한다.
모드 선택 유닛은 예측 블록(PRED) 및 디코더에서 동일한 블록 예측을 수행하기 위해 비트스트림 내에 코딩될 대응하는 구문 요소(syntax element)를 전달한다.
이후, 코딩될 화상의 블록 및 예측 블록(PRED)으로부터 잔차 블록(residual blocks, RES)이 획득된다. 잔차 블록(RES)은 변환 처리 모듈에 의해 변환되고, 양자화된 잔차 변환 계수(COEF)를 전달하는 양자화 모듈에 의해 양자화된다.
구문 요소 및 양자화된 잔차 변환 계수(COEF)는 이후 코딩된 비디오 데이터를 전달하기 위해 엔트로피 코딩 모듈에 입력된다.
양자화된 잔차 변환 계수(COEF)는 잔차 블록(RES')을 재구성하기 위한 역양자화(inverse quantization) 모듈 및 역변환(inverse transform) 모듈에 의해 처리된다. 예측 블록(PRED)은 재구성된 현재 화상(REC)을 형성하는 블록을 재구성하기 위해 재구성된 잔차 블록(RES')에 추가된다. 재구성된 현재 화상(REC)은 이후 비디오 콘텐츠의 다음 화상을 인코딩하기 위한 참조 화상으로서 나중에 사용하기 위해 참조 프레임 메모리에 추가된다.
도 1을 다시 참조하면, 일 실시형태에 따라 인코더(102)는 또한 코딩된 비디오 데이터와 메타데이터(MD) 집합을 포함하는 인코딩된 비트스트림(STR)을 전달하도록 구성된 스트림 생성 모듈(108)을 포함한다.
코딩된 비디오 데이터를 전송 계층에 매핑하기 위해, 대부분의 비디오 코딩 표준은 네트워크 추상 계층 단위(Network Abstraction Layer Unit, NALU) 원리를 사용한다. 이 원리에 따르면, 코딩된 비디오 데이터는 액세스 유닛으로 형성되는 NAL 유닛이라 하는 일련의 데이터 유닛으로 편성된다.
도 2B에 도시된 바와 같이, 액세스 유닛(AU)은 동일한 출력 시간에 해당하는 화상을 집합적으로 나타내는 하나 이상의 NAL 유닛의 집합을 포함한다. 액세스 유닛 내의 하나 이상의 NAL 유닛은 동일한 출력 시간에 해당하는 화상을 집합적으로 구성하는 하나 이상의 비디오 코딩 계층(VCL) NAL 유닛(23, 24)의 집합 및 0 이상의 비-VCL NAL 유닛(즉, VCL NAL 유닛이 아닌 NAL 유닛)을 포함한다.
VCL NAL 유닛은 코딩된 비디오 데이터의 슬라이스 세그먼트(slice segment)를 전달한다. 비-VCL NAL 유닛은 일반적으로 제어 정보를 포함한다.
액세스 유닛에 존재할 수 있는 한 가지 유형의 비-VCL NAL 유닛은 보충 강화 정보(Supplemental Enhancement Information, SEI) NAL 유닛이며, 이는 디코딩된 비디오 신호의 유용성을 향상시킬 수 있지만 일반적으로는 필요하지 않은 보충 데이터를 포함한다. SEI 메시지는, 예를 들어, 화상 출력 타이밍, 디스플레이, 색 공간의 해석 및/또는 프레임 패킹과 관련된 정보를 제공할 수 있는 코딩된 비디오 데이터와 관련된 다양한 유형의 메타데이터를 포함할 수 있다.
도 1을 다시 참조하면, 스트림 생성 모듈(108)은 비디오 콘텐츠의 하나의 화상에 대해, 화상(PIC)에 대응하는 코딩된 비디오 데이터를 액세스 유닛의 VCL NAL 유닛으로 편성하고, 메타데이터(MD) 집합을 이하에서 처리 창 내포 SEI 메시지라고 하는 SEI NAL 유닛으로 인코딩한다.
본 개시의 일 실시형태에서, 이러한 처리 창 내포 SEI 메시지는 표 1에 도시된 바와 같은 구조를 가지며, 여기서 구문 요소의 의미는 다음과 같이 주어진다:
Figure pct00001
pw_id는 하나 이상의 처리 창의 목적을 식별하는 데 사용될 수 있는 식별 번호를 포함한다. pw_jd의 값은 0 내지 232 - 2를 포함하는 범위 내에 있어야 한다.
0 내지 255 및 512 내지 231 - 1의 pw_jd 값은 응용에 의해 결정한대로 사용될 수 있다. 256 내지 511 및 231 내지 232-2의 pw_jd의 값은 ITU-T | ISO/IEC에 의한 장래의 사용을 위해 보류된다. pw_jd의 값이 256 내지 511를 포함하는 범위 또는 231 내지 232 - 2를 포함하는 범위에 있는 디코더는 이를 무시해야 한다.
pw_rect_left_offset, pw_right_offset, pw_rect_top_offset 및 pw_rect_bottom_offset은 화상 좌표로 지정된 직사각형 영역의 관점에서 메타데이터 집합 내의 화상의 샘플을 지정한다. 존재하지 않으면, pw_rect_left_offset, pw_rect_right_offset, pw_rect_top_offset 및 pw_rect_bottom_offset의 값은 0이라고 추정된다.
처리 창은 4:4:4 크로마 포맷(chroma format)으로 지정된다. 이는 pw_rect_left_offset 내지 pic_width_in_luma_samples - (pw_rect_right_offset + 1)의 수평 화상 좌표와 pw_rect_top_offset 내지 pic_height_in_luma_samples - (pw_rect_bottom_offset + 1)까지의 수직 화상 좌표를 포함하는 컬러 샘플, 즉 픽셀을 포함하며, 여기서 pic_with_in_luma_samples는 수평축에 따른 화상의 휘도 성분의 픽셀 수에 해당하고, pic_height_in_luma_samples는 수직축에 따른 화상의 휘도 성분의 픽셀 수에 해당한다.
(pw_rect_left_offset + pw_rect_right_offset)의 값은 pic_width_in_luma_samples보다 작아야 하며, (pw_rect_top_offset + pw_rect_bottom_offset)의 값은 pic_height_in_luma_samples보다 작아야 한다.
pw_nesting_zero_bit는 0이어야 한다.
영역이 직사각형이 아닌 경우, 화상 내의 영역을 찾을 수 있게 하는 파라미터는 pw_rect_left_offset, pw_right_offset, pw_rect_top_offset, 및 pw_rect_bottom_offset과 다를 수 있다. 일례로서, 원의 경우 이의 중심 및 반경의 위치는 화상에서 이를 찾을 수 있게 하는 파라미터이다.
구문 구조 "sei_message( )"는 강화 정보, 즉, 표 1에 주어진 화상 좌표에 의해 정의된 직사각형 영역에 포함된 픽셀에 적용되는 후처리 파라미터를 포함하는 SEI 메시지에 해당한다.
표 1에 도시된 실시형태에 따르면, 하나의 SEI 메시지만이 처리 창 내포 SEI 메시지에 정의된 영역에 적용될 것이다. 영역에 적용될 SEI 메시지는 처리 창 내포 SEI 메시지에 내포된 메시지이다.
다른 실시형태에 따르면, 처리 창 내포 메시지는 SEI 메시지가 적용되는 현재 화상 내의 영역의 수를 나타내는 파라미터 및/또는 영역에 적용될 SEI 메시지의 수를 나타내는 파라미터를 포함할 수 있다.
처리 창 내포 SEI 메시지의 구조의 또 다른 실시형태가 표 2에 도시되어 있다. 표 2에서, 윈도우와 특정 SEI 메시지 사이의 관계, 더욱 정확하게는 영역과 특정 SEI 메시지와의 연관성은 의미 또는 응용 레벨에 나타날 수 있다. "sei_message( )"와 영역과의 연관성은 추가 연관 테이블을 사용하여 지정될 수도 있다.
Figure pct00002
(이전 실시형태 이상의) 추가의 의미는 다음과 같다:
pw_rect_cnt_minus1 플러스 1은 i-번째 내포된 sei_message( )에서 처리 창(즉, 영역)의 수를 지정한다. pw_rect_cnt_minus1 마이너스 1의 값은 0 내지 15까지의 범위 내에 있어야 한다.
pw_rect_left_offset[i], pw_right_offset[i], pw_rect_top_offset[i] 및 pw_rect_bottom_offset[i]는 화상 좌표로 지정된 직사각형 영역의 관점에서 i-번째 메타데이터 집합 내의 화상의 샘플을 지정한다. 존재하지 않으면, pw_rect_left_offset[i], pw_rect_right_offset[i], pw_rect_top_offset[i], 및 pw_rect_bottom_offset[i]의 값은 0으로 추정된다.
처리 창은 4:4:4 크로마 포맷으로 지정된다. 이는 pw_rect_left_offset[i] 내지 pic_width_in_luma_samples - (pw_rect_right_offset[i] +1)까지의 수평 화상 좌표와 pw_rect_top_offset[i] 내지 pic_height_in_luma_samples - (pw_rect_bottom_offset[i] + 1)까지의 수직 화상 좌표를 포함하는 컬러 샘플을 포함한다.
(pw_rect_left_offset[i] + pw_rect_right_offset[i])의 값은 pic_width_in_luma_samples보다 작아야 하고, (pw_rect_top_offset[i] + pw_rect_bottom_offset[i])의 값은 pic_height_in_luma_samples보다 작아야 한다.
pw_sei_cnt_minus1 플러스 1은 처리 창 내포 메시지에 포함된 SEI 메시지 구조의 수를 지정한다.
sei_message( )는 반복 루프 내에서 호출되는 경우 동일하게(즉, 동일한 페이로드 유형으로)로 제한될 수 있다는 점에 유의해야 한다.
처리 창 내포 SEI 메시지의 구조의 또 다른 실시형태가 표 3 또는 4에 도시되어 있다. 표 3에서, 영역당 SEI 메시지(sei_message( ))가 정의되어 있고, 표 4에서는 정의된 모든 영역에 적용되는 단일 SEI 메시지가 정의되어 있다.
Figure pct00003
Figure pct00004
이 현재의 실시형태에 대한 의미는 상기한 이전의 실시형태와 동일하다.
스트림 생성 모듈(108)은 표 1 내지 표 3에서 위에서 설명한 실시형태 중 어느 하나에 따라 모든 구문 요소를 인코딩함으로써 메타데이터(MD) 집합을 인코딩한다. 구문 요소는 예를 들어 도 2A의 엔트로피 코더와 같은 엔트로피 코더에 의해 인코딩될 수 있다.
도 1의 스트림 생성 모듈(108)은, 예를 들어, 라이브 콘텐츠에 대해, 비디오 콘텐츠(화상 집합(Group of Picture), 즉 GOP에 해당함)의 모든 또는 특정 수의 화상(PIC)이 인코더(102)에 의해 인코딩되거나 각각의 화상을 인코딩한 후에 동작할 수 있다. 스트림 생성 모듈(108)은 이후 비트스트림을 전송하는 송신기(103)에 인코딩된 비트스트림(STR)을 전달한다.
송신기(103)는 인코딩된 비트스트림(STR)을 수신하고 인코딩된 비트스트림을 하나 이상의 출력 신호(SIG)로 전송한다. 통상적인 송신기는, 예를 들어, 에러 정정 코딩을 제공하고, 신호 내의 데이터를 인터리빙하고, 신호의 에너지를 랜덤화하며, 변조기(미도시)를 사용하여 하나 이상의 캐리어로 신호를 변조하는 것과 같은 하나 이상의 기능을 수행한다. 송신기(103)는 안테나(미도시)를 포함하거나 이와 인터페이스할 수 있다. 또한, 송신기(103)의 구현은 변조기로 제한될 수 있다. 송신기(103)는 위성, 케이블, 전화선 또는 지상파 방송과 같은 다양한 매체를 통해 출력 신호를 전송할 수 있다. 출력 신호는 인터넷 또는 일부 다른 네트워크를 통해 전송될 수 있다.
도 1에 도시된 시스템은 또한 저장 유닛(미도시)과 통신 가능하게 결합될 수 있다. 다른 실시형태에서, 저장 유닛은 인코더(102)와 결합되어 인코더(102)로부터 인코딩된 비트스트림을 저장한다. 또 다른 실시형태에서, 저장 유닛은 송신기(103)와 결합되어 송신기(103)로부터 비트스트림을 저장한다. 다른 구현예에서, 저장 유닛은 표준 DVD, 블루-레이 디스크, 하드 드라이브 또는 일부 다른 저장 장치 중 하나 이상일 수 있다.
이후, 하나 이상의 신호(SIG)가 디코딩 시스템(109)에 의해 수신된다. 이러한 디코딩 시스템(109)은, 예를 들어, 휴대폰, 컴퓨터, 셋톱 박스, 텔레비전, 광 디스크 플레이어, 또는 인코딩된 비디오를 수신하고, 예를 들어, 디스플레이(예를 들어, 사용자에게 디스플레이)를 위해, 처리를 위해, 또는 저장을 위해 디코딩된 비디오 신호를 제공하는 다른 장치일 수 있다.
디코딩 시스템(109)은 데이터 정보를 수신하고 처리할 수 있다. 수신 시스템 또는 장치(109)는 인코딩된 신호(SIG)를 수신하기 위한 수신기(104)를 포함한다.
수신기(104)는, 예를 들어, 인코딩된 화상을 나타내는 다수의 비트스트림을 갖는 프로그램 신호를 수신하도록 구성될 수 있다. 통상적인 수신기는, 예를 들어, 변조 및 인코딩된 데이터 신호를 수신하고, 복조기(미도시)를 사용하여 하나 이상의 캐리어로부터 데이터 신호를 복조하고, 신호의 에너지를 디-랜덤화하고, 신호 내의 데이터를 디-인터리빙하고, 신호를 에러 정정 디코딩하는 것과 같은 하나 이상의 기능을 수행한다. 수신기(104)는 안테나(미도시)를 포함하거나 이와 인터페이스할 수 있다. 수신기(104)의 구현은 복조기로 제한될 수 있다.
수신기(104)는 이후 인코딩된 비트스트림(STR)을 비디오 디코더(105)에 전달한다.
비디오 디코더(105)는 비트스트림 STR을 파싱(parsing)하여 디코딩할 화상에 대응하는 액세스 유닛(AU)을 추출하는 스트림 파서(stream parser, 미도시)를 포함한다. 스트림 파서는 또한 액세스 유닛의 VLC NAL 유닛 및 SEI NAL 유닛으로부터의 코딩된 비디오 데이터를 AU로부터 추출하도록 구성된다. 스트림 파서는 예를 들어 SEI NAL 유닛으로부터 처리 창 내포 SEI 메시지를 추출한다. 처리 창 내포 SEI 메시지의 구문 요소는 코딩 단계 동안 사용된 구문에 따라 디코딩된다. 예를 들어, 구문 요소는 도 2C의 엔트로피 디코더에 의해 디코딩된다. 처리 창 내포 SEI 메시지의 디코딩은 후처리 메타데이터(MD) 집합을 획득하는 것을 가능하게 한다.
처리 창 내포 SEI 메시지의 디코딩은 스트림 파서 그 자체에 의해 또는 메시지 내에 정의된 후처리 단계를 적용하도록 구성된 후처리기(post-processor)에 의해 수행될 수 있다. 메타데이터(MD) 집합은 후처리가 적용되는 화상 내의 영역 및 영역에 적용할 후처리 단계를 규정하는 파라미터를 찾을 수 있게 하는 좌표(좌측 오프셋, 우측 오프셋, 상부 오프셋 및 하부 오프셋)를 포함한다. 메타데이터(MD) 집합은 동일한 후처리가 적용되는 몇 개의 영역 및/또는 상이한 후처리가 적용되는 몇 개의 영역을 포함할 수 있다.
코딩된 비디오 데이터는 비디오 디코더(105)의 비디오 디코딩 모듈로 전달된다. 비디오 디코더(105)는 도 2C에 도시된 바와 같은 비디오 디코딩 모듈을 포함할 수 있다.
도 2C에 도시된 바와 같이, 비디오 코딩된 데이터는, 엔트로피 디코딩을 수행하고 양자화된 계수(COEF)를 역양자화 모듈에 전달하고 구문 요소를 예측 모듈에 전달하는 엔트로피 디코딩 모듈에 전달된다.
양자화된 계수(COEF)는 역양자화 모듈에 의해 역양자화되고 잔차 블록 데이터(RES')를 전달하는 역변환 모듈에 의해 역변환된다. 예측 모듈은 구문 요소에 따라 그리고 현재 블록이 인터-예측된 경우 움직임 보상 모듈을 사용하거나 현재 블록이 공간적으로 예측된 경우 인트라 예측 모듈을 사용하여 예측 블록(PRED)을 구성한다. 재구성된 화상(D_PIC)은 예측 블록(PRED)과 잔차 블록(RES')을 추가함으로써 얻어진다. 재구성된 화상(D_PIC)은 참조 프레임으로서 나중에 사용하기 위해 참조 프레임 메모리에 추가된다.
재구성된 화상(D_PIC)은 비디오 디코더(105)에 의해 출력된다.
도 1을 다시 참조하면, 비디오 디코더(105)에 의해 출력된 재구성된 화상(D_PIC)은 메타데이터(MD) 집합을 갖는 후처리기(106)에 입력된다. 일부 실시형태에서, 디코더 장치(105)는 셋톱 박스에 포함될 수 있다.
후처리기(106)는 메타데이터(MD) 집합에 표시된 좌표에 의해 정의된 영역에 메타데이터(MD) 집합에 정의된 후처리 파라미터를 적용한다. 일례로서, 도 7은 후처리(P1, P2)가 각각 적용되어야 하는 재구성 화상(D_PIC)의 두 개의 영역(R1 및 R2)을 도시하고 있다. 예를 들어, 영역(R1)에 대한 컬러-그레이딩 또는 처리 동작을 정의하는 파라미터(P1)의 제 1 집합은 처리 창 SEI 메시지에 내포된 SEI 메시지에 코딩되었고, 영역(R2)에 대한 또 다른 컬러-그레이딩 또는 처리 동작을 정의하는 파라미터(P2)의 제 2 집합은 처리 창 SEI 메시지에 내포된 또 다른 SEI 메시지에 코딩되었다. 이러한 예는 표 2 또는 표 3에 도시된 구문을 사용하여 하나의 처리 창 내포 SEI 메시지에 또는 표 1에 도시된 구문을 사용하여 두 개의 별도의 처리 창 내포 SEI 메시지에 인코딩될 수 있다.
도 7의 예에서, 후처리기(106)는 영역(R1)에 포함된 화상(D_PIC)의 픽셀에 후처리 파라미터(P1)를 적용하고 영역(R2)에 포함된 화상(D_PIC)의 픽셀에 후처리 파라미터(P2)를 적용한다.
후처리기(106)는 이후 처리된 화상(P-PIC)을 렌더러(107)로 출력한다.
일부 실시형태에서, 후처리기(106)는 렌더러(107)에 또는 디코더 장치(105)에 포함될 수 있다.
따라서, 렌더러(107)는, 예를 들어, 텔레비전 화면, 컴퓨터 모니터, 컴퓨터(저장, 처리 또는 디스플레이용), 또는 일부 다른 저장, 처리 또는 디스플레이 장치일 수 있다.
렌더러(107)는 디코더(105) 및 후처리기(106)와 동일한 장치에 내장될 수 있다.
본 개시의 일 실시형태는 비디오를 코딩하기 위한 방법에 관한 것이다. 도 3은 본 개시의 일 실시형태에 따른 비디오를 코딩하기 위한 이러한 방법의 블록도를 도시하고 있다.
비디오 코딩 방법은 단계(300)에서 시작한다. 단계(301)에서, 비디오의 화상은 비트스트림으로 인코딩된다. 예를 들어, 도 2A를 참조하여 설명된 화상을 코딩하기 위한 인코딩 장치가 사용될 수 있다. 단계(302)에서, 적어도 하나의 보충 강화 정보 내포 메시지가 인코딩된다. 이러한 SEI 내포 메시지는 본 개시에서 처리 창 SEI 메시지라고도 한다. 단계(302)는 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 인코딩하는 하위 단계(303)를 포함한다. 예를 들어, 이러한 파라미터 집합은 화상의 좌측 경계로부터의 좌측 오프셋, 화상의 우측 경계로부터 정의된 우측 오프셋, 화상의 상부 경계로부터 정의된 상부 오프셋, 및 화상의 하부 경계로부터 정의된 하부 오프셋에 의해 정의된 도 7의 영역(R1)의 좌표일 수 있다. 이러한 좌표는 화상 내의 직사각형 영역(R1)을 정의할 수 있다. 따라서, 영역(R1)의 픽셀은 후처리 동안 쉽게 찾을 수 있다.
단계(302)는 또한 적어도 하나의 보충 강화 정보 메시지(SEI)를 인코딩하는 하위 단계(304)를 포함한다. 이러한 SEI 메시지의 페이로드는 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 메타데이터를 인코딩한다. 이러한 SEI 메시지에서 인코딩할 구문과 파라미터는 영역에서 작업할 처리 유형에 의존한다. 본 개시의 이점은 기존의 SEI 메시지의 재사용을 가능하게 하는 것이다. 따라서, 이러한 SEI 메시지의 구문과 코딩은 여기에서 더 이상 설명하지 않는다. 이러한 SEI 메시지의 예는 AVC/H.264 또는 HEVC/ITU-T H.265 고효율 비디오 코딩과 같은 표준 정의에 개시되어 있다. 이러한 SEI 메시지는 2015년 4월의 ITU-T H.265 문서 부록 E에 정의되어 있다. 섹션 D2.15의 tone_mapping_info(), 섹션 D2.14의 post_filter_hint() 및 섹션 D2.32의 colour_remapping_info()는 내포 SEI에 내포될 수 있는 이러한 SEI 메시지의 예이다.
단계(301) 및 단계(302)는 코딩될 필요가 있는 비디오 콘텐츠의 각각의 화상에 대해 수행된다. 단계(302)는 제작 단계 동안 하나의 화상에 대해 메타데이터가 생성되었는지 여부에 따라 비디오 콘텐츠의 일부 화상에서만 필요할 수 있다.
비디오 코딩 방법은 이후 단계(305)에서 종료한다.
또 다른 실시형태에 따르면, 단계(302)는 상기 적어도 하나의 SEI 메시지가 적용되는 상기 화상 내의 영역의 수(R)를 나타내는 파라미터의 인코딩을 수행하는 하위 단계(306)(미도시)를 더 포함한다. 이 실시형태에서, 상기 화상 내의 R 영역은 후처리될 필요가 있고, 이들 R 영역 각각의 좌표는 인코딩될 필요가 있다.
따라서, 이러한 수가 1보다 클 때, 하위 단계(303)는 각각의 R 영역의 좌표가 인코딩될 때까지 반복된다. 이러한 실시형태는 표 2 또는 3에 도시되어 있다.
또 다른 실시형태에 따르면, 단계(302)는 후처리 SEI 메시지의 수(N)를 나타내는 파라미터를 인코딩하는 하위 단계(307)를 더 포함한다. 이 실시형태에서, N 개의 SEI 메시지, 즉 N 개 집합의 후처리 파라미터는 SEI 내포 메시지에서 인코딩되어야 한다. 따라서, 이러한 수가 1보다 클 때, 하위 단계(304)는 N과 동일한 수의 SEI 메시지가 인코딩될 때까지 반복된다. 이러한 실시형태는 표 2에 도시되어 있다.
본 개시의 일 실시형태는 비디오를 디코딩하기 위한 방법에 관한 것이다. 도 4는 본 개시의 일 실시형태에 따른 비디오를 디코딩하기 위한 이러한 방법의 블록도를 도시하고 있다.
비디오 디코딩 방법은 단계(400)에서 시작한다. 단계(401)에서, 비디오의 화상은 비트스트림으로부터 디코딩되고, 디코딩된 화상을 전달한다. 예를 들어, 도 2C를 참조하여 설명된 화상을 디코딩하기 위한 디코딩 장치가 사용될 수 있다. 단계(402)에서, 적어도 하나의 보충 강화 정보 내포 메시지가 디코딩된다. 이러한 SEI 내포 메시지는 본 개시에서 처리 창 SEI 메시지라고도 한다. 단계(402)는 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 디코딩하는 하위 단계(403)를 포함한다. 예를 들어, 이러한 파라미터 집합은 화상의 좌측 경계로부터의 좌측 오프셋, 화상의 우측 경계로부터 정의된 우측 오프셋, 화상의 상부 경계로부터 정의된 상부 오프셋, 및 화상의 하부 경계로부터 정의된 하부 오프셋에 의해 정의된 도 7의 영역(R1)의 좌표일 수 있다. 이러한 좌표는 화상 내의 직사각형 영역(R1)을 정의할 수 있다. 따라서, 영역(R1)의 픽셀은 후처리 동안 쉽게 찾을 수 있다.
단계(402)는 또한 적어도 하나의 보충 강화 정보 메시지(SEI)를 디코딩하는 하위 단계(404)를 포함한다. 이러한 SEI 메시지의 페이로드는 화상의 상기 영역에 포함된 픽셀을 처리하기 위한 처리 메타데이터를 포함한다.
단계(401) 및 단계(402)는 디코딩될 필요가 있는 비디오 콘텐츠의 각각의 화상에 대해 수행된다. 단계(402)는 처리 창 내포 메시지 유형의 SEI 내포 메시지를 포함하는 적어도 하나의 SEI NAL 유닛이 현재 화상에 대응하는 액세스 유닛에 존재할 때에만 필요할 수 있다. 이러한 SEI NAL 유닛이 액세스 유닛에 존재하지 않는 경우, 이는 영역 기반 처리를 위한 메타데이터가 비디오 코딩된 데이터와 함께 전송되지 않았다는 것을 의미한다. 비디오 디코딩 방법은 이후 단계(405)에서 종료한다.
또 다른 실시형태에 따르면, 단계(402)는 상기 적어도 하나의 SEI 메시지가 적용되는 상기 화상 내의 영역의 수(R)를 나타내는 파라미터를 디코딩하는 하위 단계(미도시)를 더 포함한다. 이 실시형태에서, 상기 화상 내의 R 영역은 후처리될 필요가 있고, 이들 R 영역 각각의 좌표는 디코딩될 필요가 있다.
따라서, 이러한 수가 1보다 클 때, 서브 영역(403)은 각각의 R 영역의 좌표가 디코딩될 때까지 반복된다. 이러한 실시형태는 표 2 또는 3에 도시되어 있다.
또 다른 실시형태에 따르면, 단계(402)는 SEI 메시지의 수(N)를 나타내는 파라미터를 디코딩하는 하위 단계(407)를 더 포함한다. 이 실시형태에서, N 개의 SEI 메시지, 즉 N 개 집합의 후처리 파라미터는 SEI 내포 메시지에서 디코딩되어야 한다. 따라서, 이러한 수가 1보다 클 때, 하위 단계(404)는 N과 동일한 수의 SEI 메시지가 디코딩될 때까지 반복된다. 이러한 실시형태는 표 2에 도시되어 있다.
도 5는 일 실시형태에 따른 비디오를 코딩하기 위한 장치(인코더)의 단순화된 구조를 도시하고 있다. 이러한 비디오 코딩 장치는 도 1 또는 도 3을 참조하여 위에서 설명한 본 원리에 따라 비디오를 코딩하기 위한 방법을 구현하도록 구성된다. 도 5의 인코더 장치는 일례로서 도 1에 도시된 인코더(102)일 수 있다.
도 5에 도시된 예에서, 인코더 장치는, 예를 들어, 프로세서를 구비하고 메모리(MEM)에 저장된 컴퓨터 프로그램(PG)에 의해 구동되며 본 원리에 따른 비디오를 코딩하기 위한 방법을 구현하는 처리 유닛(PROC)을 포함한다.
인코더 장치(ENCODER)는,
- 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하고,
- 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하도록 구성되고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩할 때, 상기 인코더는,
- 상기 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 인코딩하고,
- 적어도 하나의 보충 강화 정보 메시지를 인코딩하도록 더 구성되며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 화상의 상기 영역에 포함된 화소를 처리하기 위한 처리 메타데이터를 인코딩한다.
초기화 시에, 컴퓨터 프로그램(PG)의 코드 명령어는 예를 들어 RAM(미도시)에 로딩된 다음 처리 유닛(PROC)의 프로세서에 의해 실행된다. 처리 유닛(PROC)의 프로세서는 컴퓨터 프로그램(PG)의 명령어에 따라 위에서 설명한 비디오를 코딩하기 위한 방법의 단계를 구현한다.
선택적으로, 인코더 장치(ENCODER)는 디코더에 인코딩된 비트스트림을 전송하는 통신 유닛(COM)을 포함한다.
인코더 장치(ENCODER)는 또한 코딩될 화상과, 상기 화상 내의 영역의 위치를 나타내는 파라미터 집합 및 인코딩할 처리 메타데이터를 수신하기 위한 인터페이스를 포함한다.
도 6은 일 실시형태에 따른 비디오를 디코딩하기 위한 장치(디코더)의 단순화된 구조를 도시하고 있다. 이러한 비디오 디코딩 장치는 도 1 또는 도 4를 참조하여 위에서 설명한 본 원리에 따라 비디오를 디코딩하기 위한 방법을 구현하도록 구성된다. 도 6의 디코더 장치는 일례로서 도 1에 도시된 디코더(105)일 수 있다.
도 5에 도시된 예에서, 디코더 장치는, 예를 들어, 프로세서를 구비하고 메모리(MEM)에 저장된 컴퓨터 프로그램(PG)에 의해 구동되며 본 원리에 따른 비디오를 디코딩하기 위한 방법을 구현하는 처리 유닛(PROC)을 포함한다.
디코더 장치(DECODER)는,
- 상기 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하고, 디코딩된 화상을 전달하며,
- 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하도록 구성되고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩할 때, 상기 디코더는,
- 상기 디코딩된 화상 내의 영역의 위치를 나타내는 적어도 하나의 파라미터 집합을 디코딩하고,
- 적어도 하나의 보충 강화 정보 메시지를 디코딩하도록 더 구성되며, 상기 적어도 하나의 보충 강화 정보 메시지는 상기 디코딩된 화상의 상기 영역에 포함된 화소를 처리하기 위한 처리 메타데이터를 포함한다.
초기화 시에, 컴퓨터 프로그램(PG)의 코드 명령어는 예를 들어 RAM(미도시)에 로딩된 다음 처리 유닛(PROC)의 프로세서에 의해 실행된다. 처리 유닛(PROC)의 프로세서는 컴퓨터 프로그램(PG)의 명령어에 따라 위에서 설명한 비디오를 디코딩하기 위한 방법의 단계를 구현한다.
선택적으로, 디코더 장치(DECODER)는 인코더로부터 인코딩된 비트스트림을 수신하는 통신 유닛(COM)을 포함한다.
디코더 장치(DECODER)는 또한 디코딩된 화상과, 상기 디코딩된 화상 내의 영역의 위치를 나타내는 파라미터의 디코딩된 집합 및 상기 디코딩된 화상 내의 상기 영역의 픽셀에 적용할 디코딩된 처리 메타데이터를 전송하기 위해 후처리기와 통신하도록 구성된 인터페이스를 포함한다.

Claims (7)

  1. 비디오를 인코딩하기 위한 방법으로서, 방법은,
    - 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하는 단계(301)와,
    - 보충 강화 정보 내포 메시지를 인코딩하는 단계(302)를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 단계는,
    - 상기 화상 내의 영역의 수를 나타내는 파라미터를 인코딩하는 단계(303)와,
    - 상기 영역 각각에 대해, 상기 화상의 상기 영역의 위치를 나타내는 적어도 하나의 파라미터를 인코딩하는 단계(303)와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 보충 강화 정보 메시지의 수를 나타내는 파라미터를 인코딩하는 단계(304)와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 각각의 보충 강화 정보 메시지에 대해, 처리 정보를 인코딩하는 단계(304)와,
    - 각각의 영역과 상기 적어도 하나의 보충 강화 정보 내포 메시지에 내포된 적어도 하나의 보충 강화 정보 메시지와의 연관성을 나타내는 정보를 인코딩하는 단계(304)를 포함하는, 비디오를 인코딩하기 위한 방법.
  2. 코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 방법으로서, 방법은,
    - 상기 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하는 단계(401)와,
    - 보충 강화 정보 내포 메시지를 디코딩하는 단계(402)를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 단계는,
    - 상기 화상 내의 영역의 수를 나타내는 파라미터를 디코딩하는 단계(403)와,
    - 상기 영역 각각에 대해, 상기 화상 내의 상기 영역의 위치를 나타내는 적어도 하나의 파라미터를 디코딩하는 단계(403)와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 보충 강화 정보 메시지의 수를 나타내는 파라미터를 디코딩하는 단계(404)와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 각각의 보충 강화 정보 메시지에 대해, 처리 정보를 디코딩하는 단계(403)와,
    - 각각의 영역과 상기 적어도 하나의 보충 강화 정보 내포 메시지에 내포된 적어도 하나의 보충 강화 정보 메시지와의 연관성을 나타내는 정보를 디코딩하는 단계(304)를 포함하는, 코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 방법.
  3. 비디오를 인코딩하기 위한 장치로서, 장치는,
    - 상기 비디오의 적어도 하나의 화상을 비트스트림으로 인코딩하는 수단과,
    - 보충 강화 정보 내포 메시지를 인코딩하는 수단을 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 인코딩하는 수단은,
    - 상기 화상 내의 영역의 수를 나타내는 파라미터를 인코딩하는 수단과,
    - 상기 영역 각각에 대해, 상기 화상 내의 상기 영역의 위치를 나타내는 적어도 하나의 파라미터를 인코딩하는 수단과,
    - 상기 보충 강화 정보 내포 메시지에 내포된 보충 강화 정보 메시지의 수를 나타내는 파라미터를 인코딩하는 수단과,
    - 상기 보충 강화 정보 내포 메시지에 내포된 각각의 보충 강화 정보 메시지에 대해, 처리 정보를 인코딩하는 수단과,
    - 각각의 영역과 상기 적어도 하나의 보충 강화 정보 내포 메시지에 내포된 적어도 하나의 보충 강화 정보 메시지와의 연관성을 나타내는 정보를 인코딩하는 수단을 포함하는, 비디오를 인코딩하기 위한 장치.
  4. 코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 장치로서, 장치는,
    - 상기 비트스트림으로부터 상기 비디오의 적어도 하나의 화상을 디코딩하는 수단과,
    - 보충 강화 정보 내포 메시지를 디코딩하는 수단을 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지를 디코딩하는 수단은,
    - 상기 화상 내의 영역의 수를 나타내는 파라미터를 디코딩하는 수단과,
    - 상기 영역 각각에 대해, 상기 화상 내의 상기 영역의 위치를 나타내는 적어도 하나의 파라미터를 디코딩하는 수단과,
    - 상기 보충 강화 정보 내포 메시지에 내포된 보충 강화 정보 메시지의 수를 나타내는 파라미터를 디코딩하는 수단과,
    - 상기 보충 강화 정보 내포 메시지에 내포된 각각의 보충 강화 정보 메시지에 대해, 처리 정보를 디코딩하는 수단과,
    - 각각의 영역과 상기 적어도 하나의 보충 강화 정보 내포 메시지에 내포된 적어도 하나의 보충 강화 정보 메시지와의 연관성을 나타내는 정보를 디코딩하는 수단을 포함하는, 코딩된 비디오를 나타내는 비트스트림을 디코딩하기 위한 장치.
  5. 제 1 항에 따른 방법을 수행하기 위한 소프트웨어 코드 명령어를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되는 컴퓨터 프로그램.
  6. 제 2 항에 따른 방법을 수행하기 위한 소프트웨어 코드 명령어를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되는 컴퓨터 프로그램.
  7. 코딩된 비디오를 나타내는 비트스트림으로서, 비트스트림은,
    - 상기 비디오의 하나의 화상을 나타내는 코딩된 데이터와,
    - 적어도 하나의 보충 강화 정보 내포 메시지를 포함하고, 상기 적어도 하나의 보충 강화 정보 내포 메시지는,
    - 상기 화상 내의 영역의 수를 나타내는 파라미터와,
    - 상기 영역 각각에 대한 상기 화상 내의 상기 영역의 위치를 나타내는 적어도 하나의 파라미터와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 보충 강화 정보 메시지의 수를 나타내는 파라미터와,
    - 상기 보충 강화 정보 내포 메시지에 내포된 각각의 보충 강화 정보 메시지에 대한 처리 정보와,
    - 각각의 영역과 상기 적어도 하나의 보충 강화 정보 내포 메시지에 내포된 적어도 하나의 보충 강화 정보 메시지와의 연관성을 나타내는 정보를 포함하는, 코딩된 비디오를 나타내는 비트스트림.
KR1020187030483A 2016-03-31 2017-03-14 Sei 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치 KR102324623B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305383.8 2016-03-31
EP16305383.8A EP3226561A1 (en) 2016-03-31 2016-03-31 Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
PCT/EP2017/056019 WO2017167576A1 (en) 2016-03-31 2017-03-14 Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message

Publications (2)

Publication Number Publication Date
KR20190028364A true KR20190028364A (ko) 2019-03-18
KR102324623B1 KR102324623B1 (ko) 2021-11-09

Family

ID=55701903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030483A KR102324623B1 (ko) 2016-03-31 2017-03-14 Sei 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치

Country Status (10)

Country Link
US (1) US10986350B2 (ko)
EP (2) EP3226561A1 (ko)
JP (1) JP6993983B2 (ko)
KR (1) KR102324623B1 (ko)
CN (1) CN109479148B (ko)
BR (1) BR112018069891A2 (ko)
CA (1) CA3019401C (ko)
MX (1) MX2018011886A (ko)
RU (1) RU2743632C2 (ko)
WO (1) WO2017167576A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004252B2 (en) 2018-12-28 2021-05-11 Intel Corporation Real time ray tracing (RTRT)-based adaptive multi-frequency shading (AMFS)
US20230171420A1 (en) * 2020-05-22 2023-06-01 Intel Corporation Technology to use video source context information in post-processing operations
WO2021252461A1 (en) 2020-06-09 2021-12-16 Bytedance Inc. Constraints on supplemental enhancement information in video coding
KR20230074521A (ko) * 2020-09-25 2023-05-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브비트스트림 추출
WO2024076141A1 (ko) * 2022-10-05 2024-04-11 엘지전자 주식회사 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034943A (ko) * 2005-09-26 2007-03-29 한국전자통신연구원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US20150103927A1 (en) * 2013-10-15 2015-04-16 Nokia Corporation Video encoding and decoding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578B (zh) 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
EP2898695A1 (en) 2012-09-18 2015-07-29 VID SCALE, Inc. Region of interest video coding using tiles and tile groups
US20140092976A1 (en) 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
KR101972284B1 (ko) 2013-04-08 2019-04-24 소니 주식회사 Shvc를 이용한 관심 영역 확장성
GB2516224A (en) 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN109862373B (zh) 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
CN106233745B (zh) 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US9258210B2 (en) * 2013-10-01 2016-02-09 Juniper Networks, Inc. Dynamic area filtering for link-state routing protocols
US9894370B2 (en) 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9716900B2 (en) 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034943A (ko) * 2005-09-26 2007-03-29 한국전자통신연구원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US20150103927A1 (en) * 2013-10-15 2015-04-16 Nokia Corporation Video encoding and decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. Karczewicz et al., "Post-Filter SEI Message Extensions," ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG), VCEG-AI34 *
M. M. Hannuksela et al., "Scope of SEI messages," Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), JVT-T073 *

Also Published As

Publication number Publication date
RU2018138129A (ru) 2020-04-30
WO2017167576A1 (en) 2017-10-05
MX2018011886A (es) 2019-08-29
CN109479148A (zh) 2019-03-15
EP3226561A1 (en) 2017-10-04
US20190116366A1 (en) 2019-04-18
CA3019401A1 (en) 2017-10-05
CN109479148B (zh) 2021-06-29
US10986350B2 (en) 2021-04-20
EP3437320B1 (en) 2023-05-03
RU2743632C2 (ru) 2021-02-20
RU2018138129A3 (ko) 2020-07-10
BR112018069891A2 (pt) 2019-02-05
JP6993983B2 (ja) 2022-01-14
JP2019512985A (ja) 2019-05-16
KR102324623B1 (ko) 2021-11-09
CA3019401C (en) 2023-06-27
EP3437320A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
CN108028944B (zh) 用于处理经解码视频数据的方法、系统和存储介质
KR102324623B1 (ko) Sei 내포 메시지에 영역 기반 후처리 파라미터를 전달하는 비트스트림으로 비디오를 코딩하기 위한 방법 및 장치
EP3399752B1 (en) Image decoding method and decoding device
CN109983772A (zh) 用于发信号给及约束具有动态元数据的高动态范围(hdr)视频系统的系统及方法
CN109479150B (zh) 用于显示器调适的色彩重映射信息sei消息发信号
CN109691111A (zh) 在补充增强信息消息中传信色彩重新映射信息的目标显示参数
KR20230169239A (ko) 인공 신경망 기반 툴을 사용하여 이미지 및 비디오를 인코딩/디코딩하기 위한 방법 및 장치
CN113170100A (zh) 用于帧内预测的方法和装置
CN117939164A (zh) 图像解码方法、图像编码方法、存储介质和发送方法
CN114762339B (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
CN114762335B (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码
US20240171781A1 (en) A method or an apparatus for generating film grain parameters, a method or an apparatus for generating a block of pixels with film grain pattern
WO2024061660A1 (en) Dynamic structures for volumetric data coding
KR20240048460A (ko) 비디오 코딩에서의 신경 네트워크 포스트-필터 정보 업데이트들을 시그널링하기 위한 시스템들 및 방법들
KR20240050993A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 프레임 레이트 업샘플링 정보를 시그널링하기 위한 시스템들 및 방법들
KR20240032616A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 특성 정보를 시그널링하기 위한 시스템들 및 방법들
CN117651132A (zh) 发送信号通知神经网络环路后滤波器信息的方法和设备
CN117616752A (zh) 用于图片重采样的高级语法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant