KR102156030B1 - 이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더 - Google Patents

이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더 Download PDF

Info

Publication number
KR102156030B1
KR102156030B1 KR1020187022134A KR20187022134A KR102156030B1 KR 102156030 B1 KR102156030 B1 KR 102156030B1 KR 1020187022134 A KR1020187022134 A KR 1020187022134A KR 20187022134 A KR20187022134 A KR 20187022134A KR 102156030 B1 KR102156030 B1 KR 102156030B1
Authority
KR
South Korea
Prior art keywords
parameter
reshape
image
layer
reconstructed image
Prior art date
Application number
KR1020187022134A
Other languages
English (en)
Other versions
KR20180100368A (ko
Inventor
밍 리
핑 우
자오 우
구오치앙 샹
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20180100368A publication Critical patent/KR20180100368A/ko
Application granted granted Critical
Publication of KR102156030B1 publication Critical patent/KR102156030B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 이미지 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더를 제공하였으며, 해당 이미지 복호화 방법은: 영상 비트 스트림을 분석하고, 해당 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 를 포함하며, 여기서, 해당 복원 이미지는 리셰이프 처리를 실행하기 전, 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함한다. 본 발명을 통해 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결하였다.

Description

이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더
본 발명은 통신분야에 관한 것이며, 구체적으로 이미지의 복호화(디코딩) 및 부호화(인코딩) 방법, 복호화 및 부호화 장치, 디코더 및 인코더에 관한 것이다.
현재, 국제표준기구는 H.265/HEVC 표준에서 하이 다이내믹 레인지 영상(High Dynamic Range, HDR)에 대한 확장 표준을 제정하고 있다. HDR 확장 표준은 "리셰이퍼(Reshaper)" 신호처리 프레임을 사용하여 테스트 모델을 구축할 것을 계획하고 있다. 리셰이퍼는 입력된 HDR 영상을 선단에서 H.265/HEVC Main 10 Profile 인코더에 적합한 입력 영상(예를 들어, 스탠더드 다이내믹 레인지 이미지(Standard Dynamic Range, SDR))으로 처리하고; 수신단에서 리셰이퍼는 선단과 상반되는 동작을 통해, H.265/HEVC Main 10 Profile 디코더의 복호화 복원 SDR 영상을 HDR 영상으로 처리한다. 동시에, 만일 HDR 영상과 SDR 영상이 서로 다른 색 공간(Color Gamut)을 사용하면(HDR 영상이 더 큰 색 공간을 사용), 영상의 색 공간에 대한 변환 역시 선단과 수신단에서의 리셰이퍼 작업에 포함된다.
상기 신호처리 프레임을 지지하기 위해, 국제표준기구에서는 H.265/HEVC에 대하여 확장하였고, 파라미터 셋 구조에서 수신단의 리셰이퍼 작업을 가이드 하기 위한 정보를 부호화 및 전송한다. 선택적으로, HDR 영상 변환 특성의 파라미터는 시퀀스 파라미터 셋(Sequence Parameter Set, SPS) 확장에서 부호화 및 전송되며, 수신단의 리셰이퍼의 작업에 사용되는 파라미터는 이미지 파라미터 셋(Picture Parameter Set, PPS)의 확장에서 부호화 및 전송된다. 수신단에서, 디코더가 이미지 재구성을 완료 한 후, 파라미터 셋의 파라미터에 따라 재구성 된 이미지에 대해 리셰이프(reshape) 작업을 계속 수행하여, 재구성 된 이미지를 HDR 이미지로 변환시킨다.
상기 방법의 슬라이스(Slice) 복호화 과정에서, 인용된 파라미터 셋은 파라미터 셋 식별자에 의해 활성화되고, 해당 파라미터 셋 내의 정보 파라미터를 사용하여 슬라이스에 대하여 복호화한다. SPS의 적용 범위는 전체 부호화된 비디오 시퀀스(Coded Video Sequence, CVS)이며, 즉 동일한 CVS의 슬라이스 복호화 과정에는 동일한 SPS가 사용된다. PPS의 사용범위는 하나의 프레임 이미지이며, 즉 동일한 프레임 이미지의 슬라이스 복호화 과정에서는 동일한 PPS가 사용된다. 부호화 과정에 대응하여, 동일한 CVS의 슬라이스는 동일한 SPS를 인용해야 하고, 해당 SPS의 정보 파라미터는 CVS의 부호화 과정에서 변경되지 않으며; 동일한 프레임 이미지의 슬라이스는 동일한 PPS를 인용해야 하며, 해당 PPS의 파라미터 정보는 해당 이미지 부호화 과정에서 변경되지 않는다.
다이내믹 레인지와 색 공간의 변환 과정에서는 돌이킬 수 없는 정보 손실을 초래할 수 있다. 측정 결과로부터 알 수 있는바, 오리지널의 HDR 영상과 비교할 때, 전술한 신호처리 프레임을 사용하면 수신단에서 리셰이퍼를 사용하여 복원된 HDR 영상에는 텍스처(texture) 디테일 손실, 색 왜곡 등 가시적인 왜곡이 존재하며, 이러한 가시적인 왜곡은 H.265/HEVC 인코더를 사용한 영상의 압축률과 관련이 있다. 일반적으로 압축률이 높을 수록, 즉 부호화 비트레이트가 낮을 수록, 복호화 복원 영상에서 손실 압축으로 인한 왜곡이 더 크고, 리셰이퍼가 복호화하여 복원 영상을 처리한 후 출력되는 HDR 영상에 더 많은 텍스처와 색 왜곡이 포함된다. 따라서 HDR 영상의 소스 특성 및 인코더 손실 압축 특성 등 요소에 따라, HDR 영상의 부호화 과정에서 리셰이퍼 파라미터를 동적으로 조정하면, 수신단에서 HDR 복원 영상의 주관적 시청 품질을 효과적으로 향상기킬 수 있다.
PPS는 이론적으로 부호화 파라미터에 대한 이미지층 적응 조정(adaptive adjustment)을 진행하기 위한 메커니즘을 제공하여, 이미지의 각 프레임에 대해 PPS를 개별적으로 설정함으로써 리셰이퍼의 이미지 적응 조정을 구현할 수 있으나, 리셰이퍼 파라미터는 PPS 확장에서 부호화되므로 이미지의 각 프레임에 대해 리셰이퍼 파라미터를 조정하는 동시에, PPS에서 조정할 필요가 없는 기타 부호화 파라미터를 반복적으로 부호화해야 하므로, 이러한 반복적으로 부호화되는 파라미터는 비교적 많은 부호화 비트 오버헤드를 초래한다.
관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드(encoding cost)가 높은 문제에 대해, 현재에는 아직 효과적인 해결방안이 제안되지 않고 있다.
본 발명 실시예는 이미지 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더를 제공하여, 적어도 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결하였다.
본 발명 실시예에 따라 한 방면으로, 영상 비트 스트림을 분석하고, 상기 영상 비트 스트림의 이미지 층 데이터 유닛 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 를 포함하며, 상기 복원 이미지는 리셰이프 처리를 실행하기 전, 상기 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 이미지 파라미터 셋(PPS)과 다른 이미지 층 파라미터 셋 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 이미지 복호화 처리 방법을 제공한다.
선택적으로, 상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계 전에, 상기 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하는 단계; 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계; 를 더 포함한다.
선택적으로, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는: 상기 PPS의 확장부분 및/또는 상기 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하는 단계; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계; 를 포함한다.
선택적으로, 상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 슬라이스 헤더의 확장부분을 분석하여 제2리셰이프 파라미터를 얻는 단계; 상기 제2리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 혹은 다시 결정하는 단계를 포함한다.
선택적으로, 상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 영상 비트 스트림내의 AU에 포함되는 파라미터 데이터 유닛을 분석하여 제3리셰이프 파라미터를 얻되, 상기 파라미터 데이터 유닛은 상기 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛인 단계; 상기 제3리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는 미리 설정된 리셰이프 파라미터 결정방식에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제3리셰이프 파라미터로 결정하는 단계; 를 포함한다.
선택적으로, 상기 제3리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는: 상기 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하는 단계; 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계; 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제3리셰이프 파라미터를 사용하여 업데이트 또는 다시 결정하는 단계를 포함한다.
선택적으로, 상기 파라미터 셋 식별자를 통해 인용된 상기 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는: 상기 PPS의 확장부분 및/또는 상기 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하는 단계; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계를 포함한다.
선택적으로, 상기 제3리셰이프 파라미터는 상기 AU 직전(preceding)의 AU에 포함되는 파라미터 데이터 유닛을 분석하여 얻은 제4리셰이프 파라미터를 포함한다.
선택적으로, 상기 미리 설정된 리셰이프 파라미터의 결정방식은 다음과 같은: 디폴트 결정방식, 영상 파라미터 셋(VPS)를 분석하여 얻은 리셰이프 파라미터를 지시하는 제1식별정보를 이용하여 결정하는 방식, 시퀀스 파라미터 셋(SPS)을 분석하여 얻은 리셰이프 파라미터를 지시하는 제2식별정보를 이용하여 결정하는 방식 중의 적어도 하나의 방식을 포함한다.
선택적으로, 상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 AU에 포함되는 상기 슬라이스 헤더를 분석하여, 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 의해 결정되는지를 지시하는 제3식별정보를 얻는 단계; 상기 제3식별정보가 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 데이터 유닛에 의해 결정된다고 지시할 때, 상기 AU에 포함되는 상기 슬라이스 헤더를 분석하여, 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자를 얻는 단계; 식별자가 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자와 동일한 파라미터 셋을 활성화시켜, 제5리셰이프 파라미터를 얻는 단계; 상기 제5리셰이프 파라미터를 사용하여, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계를 포함한다.
선택적으로, 상기 영상 비트 스트림을 분석하여 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 제6리셰이프 파라미터를 얻는 단계; 상기 제6리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는, 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제6리셰이프 파라미터로 결정하는 단계; 를 포함하며; 여기서, 상기 시스템층 이미지 파라미터 데이터 유닛은 상기 영상 비트 스트림의 액세스 유닛(AU)에 대응되는 기술성 정보 또는 보조 정보를 포함한다.
선택적으로, 상기 제6리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는: 상기 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하는 단계; 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계; 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제6리셰이프 파라미터를 사용하여 업데이트 또는 다시 결정하는 단계를 포함한다.
선택적으로, 상기 파라미터 셋 식별자를 통해 인용된 상기 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는: 상기 PPS의 확장부분 및/또는 상기 PPS에 인용된 파라미터 셋 내에 제1리셰이프 파라미터가 포함되었는지 판단하는 단계; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계; 를 포함한다.
선택적으로, 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 상기 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻는 단계는: 상기 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은: 리셰이프 작업의 실행 여부를 식별하는 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 상기 리셰이프 파라미터를 결정하는 단계; 를 포함한다.
선택적으로, 상기 방법은: 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 상기 영상 비트 스트림의 액세스 유닛(AU)에 대응되는 기술성 정보 또는 보조 정보를 포함하는 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는 단계; 얻은 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 이용하여 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 단계; 를 포함한다.
선택적으로, 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는 단계는: 상기 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은: 리셰이프 작업의 실행 여부를 식별하는 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 결정하는 단계를 포함한다.
본 발명 실시예의 다른 한 방면으로, 복원 이미지를 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하고, 여기서, 상기 복원 이미지는 인코더가 리셰이프 작업을 실행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지(SDR) 이미지이거나, 또는, 상기 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 SDR 이미지이며; 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하되, 여기서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계; 를 포함하는 이미지 부호화 처리 방법을 제공한다.
선택적으로, 상기 복원 이미지를 상기 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 복원 이미지와 목표 HDR 이미지 사이의 오차를 최소화하는 리셰이프 처리 과정에서 사용되는 필터 계수를 포함하는 이미지층 리셰이프 파라미터와, 상기 목표 HDR 이미지가 구성하는 목표 HDR 영상의 다이내믹 레인지와 색 공간, 및 상기 복원 이미지가 구성하는 복원 영상의 다이내믹 레인지와 색 공간에 따라, 결정된 상기 복원 영상의 다이내믹 레인지로부터 상기 목표 HDR 영상의 다이내믹 레인지까지 확장된 매핑 파라미터 및/또는 상기 복원 영상의 색 공간으로부터 상기 목표 HDR 영상의 색 공간까지의 변환 파라미터를 포함하는 시퀀스층 리셰이프 파라미터를 결정하는 단계; 상기 이미지층 리셰이프 파라미터와 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함한다.
선택적으로, 상기 목표 HDR 이미지는 인코더에 입력되는 원본 HDR 영상에서 상기 복원 이미지에 대응되는 HDR 이미지이다.
선택적으로, 상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함한다.
선택적으로, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 상기 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 상기 PPS에 인용되는 파라미터 셋에 기록하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 슬라이스 헤더에 기록하는 단계; 를 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터와 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 현재 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함한다.
선택적으로, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 상기 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 상기 PPS에 인용되는 파라미터 셋에 기록하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터 또는 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 부호화하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하는 단계; 또는 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 액세스 유닛(AU)에서 제4식별정보를 부호화하는 것을 포함하되, 여기서, 상기 제4식별정보는 상기 리셰이프 파라미터가 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터임을 지시하는 것인 단계; 를 포함하며, 상기 파라미터 데이터 유닛은 상기 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립된 데이터 유닛이다.
선택적으로, 상기 방법은 다음과 같은: 영상 파라미터 셋(VPS)에서 상기 리셰이프 파라미터를 지시하기 위한 제1식별정보를 부호화하는 방식, 시퀀스 파라미터 셋(SPS)에서 상기 리셰이프 파라미터를 지시하기 위한 제2식별정보를 부호화하는 방식 중의 적어도 하나의 방식에 따라 상기 리셰이프 파라미터를 지시하기 위한 식별정보를 부호화하는 단계; 를 더 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터와 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 이미 사용된 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 슬라이스 헤더 내의 이미지 파라미터 셋(PPS)을 제외한 이미지 및/또는 슬라이스 층 파라미터 셋 내에서 부호화한 하나 또는 복수 개의 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계를 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제1기타 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함한다.
선택적으로, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 슬라이스 헤더 내에서, PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋을 사용하지 않음을 지시하는 정보를 부호화하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 제1기타 리셰이프 파라미터일 때, 슬라이스 헤더 내에서, PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋을 사용함을 지시하는 정보를 부호화하고, 상기 제1기타 리셰이프 파라미터가 소재하는 파라미터 셋의 파라미터 셋 식별자를 부호화하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터를 부호화하고 부호화 비트를 새로 구축한 파라미터 셋 데이터 유닛에 기록하되, 여기서, 상기 새로 구축한 파라미터 셋 데이터 유닛에는 파라미터 셋 식별자가 배치되고, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용함을 지시하는 정보를 부호화하고, 상기 파라미터 셋 식별자를 부호화 하는 단계; 를 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 전송 스트림 또는 미디어 파일의 시스템층에서 부호화된 하나 또는 복수 개의 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함한다.
선택적으로, 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제2기타 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계를 포함한다.
선택적으로, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 상기 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용하지 않음을 지시하는 제5식별정보를 시스템층에서 부호화하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 시스템층에서 상기 이미지층 리셰이프 파라미터를 부호화하는 단계; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 제2기타 리셰이프 파라미터일 때, 상기 시스템층에서 제2기타 리셰이프 파라미터를 부호화하거나 또는 상기 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용함을 지시하는 제6식별정보를 상기 시스템층에서 부호화하는 단계; 를 포함한다.
선택적으로, 상기 복원 이미지에 대해 2차 리셰이프를 수행하기 위한 리셰이프 파라미터 및 2차 리셰이프 작업의 실행방식을 지시하기 위한 제어정보를 상기 시스템층에서 부호화한다.
본 발명 실시예의 다른 한 방면으로, 영상 비트 스트림을 분석하고, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 배치된 제1결정 모듈; 상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하도록 배치된 처리 모듈; 을 포함하며, 여기서, 상기 복원 이미지는 리셰이프 처리를 실행하기 전, 상기 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 이미지 복호화 처리 장치를 제공한다.
본 발명 실시예의 다른 한 방면으로, 복원 이미지를 하이 다이내믹 레인지 영상(HDR)의 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 배치된 제2결정 모듈(여기서, 상기 복원 이미지는 인코더가 리셰이프 작업을 수행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지(SDR) 이미지이거나, 또는 상기 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 SDR 이미지); 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하도록 배치된 기록 모듈(여기서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함); 을 포함하는 이미지 부호화 처리 장치를 제공한다.
본 발명 실시예의 다른 한 방면으로, 상기 이미지 복호화 처리 장치를 포함하는 디코더를 제공한다.
본 발명 실시예의 다른 한 방면으로, 상기 이미지 부호화 처리 장치를 포함하는 인코더를 제공한다.
본 발명의 다른 실시예는 상기 실시예 중의 하나의 단계 또는 그 조합을 실행하는 실행 명령을 저장하는 컴퓨터 저장매체를 제공한다.
본 발명의 실시예를 통해 영상 비트 스트림을 분석하고, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하며; 여기서, 상기 복원 이미지는 리셰이프 처리를 실행하기 전, 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함한다. 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결함으로써, 영상 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 낮추는 효과를 실현할 수 있다.
여기서 설명하는 첨부 도면은 본 발명의 이해를 돕기 위해 제공한 것으로, 본 출원을 구성하는 일부분으로 되며; 본 발명의 예시적 실시예 및 그에 대한 설명들은 본 발명을 분석하기 위한 것이며, 본 발명에 대한 불합리한 한정으로 구성되지 않는다. 도면에서,
도 1은 본 발명 실시예에 따른 이미지 복호화 처리 방법의 흐름도이다.
도 2는 본 발명 실시예에 따른 이미지 부호화 처리 방법의 흐름도이다.
도 3은 본 발명 실시예에 따른 이미지 복호화 처리 장치의 블록구성도이다.
도 4는 본 발명 실시예에 따른 이미지 복호화 처리 장치의 선택적 블록구성도이다.
도 5는 본 발명 실시예에 따른 이미지 부호화 처리장치의 블록구성도이다.
도 6은 본 발명 실시예에 따른 디코더의 블록구성도이다.
도 7은 본 발명 실시예에 따른 인코더의 블록구성도이다.
아래에서는 첨부 도면을 참조하고 실시예에 결합하여 본 발명을 상세하게 설명한다. 설명하여야 할 것은, 모순되지 않을 경우, 본 출원의 실시예 및 실시예 중의 특징들은 서로 조합될 수 있다.
설명하여야 할 것은, 본 발명의 명세서와 청구범위 및 상기 첨부 도면에서의 "제1", "제2" 등 용어들은 유사한 대상을 구별하기 위한 것이고, 특정된 순서 또는 선후순서를 설명하는 것이 아니다.
본 실시예에서는 이미지 복호화 처리 방법을 제공하였으며, 도 1은 본 발명 실시예에 따른 이미지 복호화 처리 방법의 흐름도이며, 도 1에 도시한 바와 같이, 해당 과정은 아래와 같은:
영상 비트 스트림(Code stream)을 분석하고, 해당 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계(S102)와;
상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 복원 이미지에 대해 리셰이프 처리를 수행하며; 여기서, 해당 복원 이미지는 리셰이프 처리를 실행하기 전, 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(Access Unit, AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계(S104)를 포함한다.
여기서, 상기 실시예에서 작업을 실행하는 것은 복호화 처리 설비일 수 있으며, 예를 들어, 디코더이다.
상기 실시예로부터 알 수 있는 바, 복원 이미지에 대해 리셰이프 처리를 수행하기 위한 리셰이프 파라미터는 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 얻은 리셰이프 파라미터에 따라 결정된 것이며, 이미지의 시청 품질을 효과적으로 제고할 수 있으며, 더 나아가 영상의 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 절감할 수 있다. 상기 단계를 통해 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결함으로써, 영상 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 낮추는 효과를 실현할 수 있다.
하나의 선택적 실시예에서, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하기 전에, 상기 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더의 PPS 파라미터 셋 식별자를 결정하고; 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계를 더 포함한다.
여기서, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 방식은 여러가지가 있을 수 있으며, 아래에서는 하나의 방식을 예로 들어 설명한다. 상기 PPS의 확장부분 및/또는 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 해당 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정한다. 아래에서는 상기 영상 비트 스트림을 HDR 영상 비트 스트림으로 예를 들어 설명한다.
복호화 처리 설비는 HDR 영상 비트 스트림에서의 각 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 분석하고, 이미 수신된 PPS에서 PPS 데이터 유닛 내의 식별자가 슬라이스 헤더를 분석하여 얻은 파라미터 셋 식별자와 값이 동일한 PPS를 검색한다. 복호화 처리 설비는 해당 PPS를 활성화시키고, 해당 PPS 데이터 유닛 내의 부호화 비트(coded bits)를 분석한다. 해당 PPS의 확장부분을 분석하여 리셰이프 파라미터를 얻으면, 해당 리셰이프 파라미터를 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터로 설정한다. 반대로, 해당 PPS 확장을 분석하여 리셰이프 파라미터를 얻지 못하면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터를 널 또는 미리 설정한 값으로 설정한다.
상기 실시예로부터 알 수 있는 바, 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함한다. 아래에서는 서로 다른 이미지 및/또는 슬라이스 층 데이터 유닛을 각각 결합하여 상기 단계(S102)에 관한 작업에 대해 설명한다.
하나의 선택적 실시예에서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 슬라이스 헤더일 수 있고, 해당 실시예에서 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 슬라이스 헤더의 확장부분을 분석하여 제2리셰이프 파라미터를 얻고; 해당 제2리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 혹은 다시 결정하는 단계를 포함한다. 아래에서는 하나의 선택적 실시예에 결합하여 이미지 및/또는 슬라이스 층 데이터 유닛이 슬라이스 헤더일 수 있을 때의 작업에 대해 설명한다.
선택적 실시예 1:
본 실시예는 HDR 영상에 대해 복호화 처리를 수행하는 장치에 사용되는 HDR 영상의 복호화 처리 방법이다. 상기 장치는 HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 입력하며, 재생에 사용되는 복원된 HDR 영상을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다:
단계(1), 비트 스트림을 분석하여, 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻는다.
복호화 처리 설비는 입력 스트림을 분석한다. 만일 입력 스트림이 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일이면, 상기 전송 스트림 또는 미디어 파일로부터 HDR 영상 비트 스트림을 추출한다.
복호화 처리 설비는 HDR 영상 비트 스트림 내의 각 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 분석하고, 수신된 PPS에서 PPS 데이터 유닛 내의 식별자가 슬라이스 헤더를 분석하여 얻은 파라미터 셋 식별자와 값이 동일한 PPS를 검색한다.
복호화 처리 설비는 해당 PPS를 활성화시키고, 해당 PPS 데이터 유닛의 부호화 비트를 분석한다. 해당 PPS의 확장부분을 분석하여 리셰이프 파라미터를 얻으면, 해당 리셰이프 파라미터를 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터(상기 제1리셰이프 파라미터에 대응)로 설정한다. 반대로, 해당 PPS 확장 분석에서 리셰이프 파라미터를 얻지 못하면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터를 널 또는 미리 설정한 값으로 설정한다.
복호화 처리 설비는 슬라이스 헤더를 분석한다. 해당 슬라이스 헤더 확장부분을 분석하여 리셰이프 파라미터(상기 제2리셰이프 파라미터에 대응)를 얻으면, 해당 리셰이프 파라미터를 해당 슬라이스에 사용되는 리셰이프 파라미터로 설정하고, 즉 해당 슬라이스 헤더 확장부분을 분석하여 얻은 리셰이프 파라미터를 사용하여, 해당 슬라이스가 인용한 PPS를 분석하여 얻은 리셰이프 파라미터 또는 미리 설정된 값을 커버한다. 반대로, 해당 슬라이스 헤더 확장부분을 분석하여 리셰이프 파라미터를 얻지 못하면, 해당 슬라이스가 인용한 PPS 확장을 분석하여 얻은 리셰이프 파라미터 또는 미리 설정된 값을 사용한다.
특히, HDR 영상 비트 스트림으로부터 얻은 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행할 필요가 있는지 여부"를 지시하는 식별정보에 대해, 복호화 처리 설비가 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행 할 필요가 없음"으로 지시하면, 복호화 처리 설비는 리셰이프 파라미터 분석 단계와 해당 SDR 이미지에 대한 리셰이프 처리 단계를 스킵할 수 있다. 그러나, 복호화 처리 설비는 복호화된 이미지를 재생에 적합한 영상 데이터 포맷으로 변환시킬 필요가 있다.
단계(2), 영상 비트 스트림을 분석하여 복원 이미지를 얻는다.
복호화 처리 설비는 HDR 영상 비트 스트림을 복호화하여 복원된 SDR 영상을 얻는다.
단계(3), 복원 이미지에 사용되는 리셰이프 파라미터에 따라 복원 SDR 이미지에 대해 리셰이프 처리를 수행하고, HDR 이미지로 변환시킨다.
상기 방법을 사용하여, 복원 SDR 이미지의 소스 특성(다이내믹 레인지, 색 공간, 손실 압축 왜곡 등을 포함하지만 이에 한정되지 않음)과 시퀀스 내의 대부분 이미지가 동일하거나 유사할 때, 복호화 처리 설비는 PPS로부터 얻은 리셰이프 파라미터를 사용하여 복원된 SDR 영상에 대해 리셰이프 처리를 수행한다. 복원 SDR 이미지의 소스 특성과 시퀀스 내의 대부분 이미지가 차이가 많을 때, 복호화 처리 설비는 슬라이스 헤더 확장으로부터 복원 이미지의 소스 특성과 관련되는 리셰이프 파라미터를 얻을 수 있으며, 상기 리셰이프 파라미터에 따라 복원 SDR 이미지에 대해 리셰이프 처리를 수행하여, 리셰이프 처리를 통해 얻은 HDR 이미지의 시청 품질을 제고한다. 이로써, 이미지층의 리셰이프 파라미터 변경으로 인한 복호화 처리 설비의 빈번한 PPS 업데이트 작업을 방지한다.
하나의 선택적 실시예에서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 AU에 포함되는 파라미터 데이터 유닛일 수 있다. 해당 실시예에서, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 영상 비트 스트림 내의 AU에 포함되는 파라미터 데이터 유닛(AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛임)을 분석하여 제3리셰이프 파라미터를 얻고; 상기 제3리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는 미리 설정된 리셰이프 파라미터 결정 방식에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 제3리셰이프 파라미터로 결정하는 단계를 포함한다.
선택적으로, 상기 제3리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는: 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하고; 해당 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻고; 얻은 해당 복원 이미지에 사용되는 리셰이프 파라미터를 제3리셰이프 파라미터를 사용하여 업데이트 또는 다시 결정하는 단계를 포함한다. 여기서, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 방식은 여러가지가 있을 수 있으며, 예를 들어, 다음과 같은 방식으로 복원 이미지에 사용되는 리셰이프 파라미터를 얻을 수 있다: 상기 PPS의 확장부분 및/또는 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정한다.
여기서, 상기 제3리셰이프 파라미터는 다음과 같은 방식을 통해 결정될 수도 있다: 즉 상기 AU 직전의 AU에 포함되는 파라미터 데이터 유닛을 분석하여 얻은 제4리셰이프 파라미터로 결정될 수 있다. 해당 직전의 AU는 AU 복호화 순서에 따라 결정되는 복호화 될 현재 AU(즉, 상기 AU) 직전의 AU일 수 있다.
상기 미리 설정된 리셰이프 파라미터의 결정 방식은 다음과 같은: 디폴트 결정방식, 영상 파라미터 셋(VPS)를 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제1식별정보를 이용하여 결정하는 방식, 시퀀스 파라미터 셋(SPS)을 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제2식별정보를 이용하여 결정하는 방식 중의 적어도 하나의 방식을 포함한다. 여기서, 상기 디폴트 방식은 사전에 미리 설정된 결정방식일 수 있다. 아래에서는 하나의 선택적 실시예에 결합하여 이미지 및/또는 슬라이스 층 데이터 유닛이 AU에 포함되는 파라미터 데이터 유닛일 때의 작업에 대해 설명한다.
선택적 실시예 2:
본 실시예는 HDR 영상에 대해 복호화 처리를 수행하는 장치에 사용되는 HDR 영상의 복호화 처리 방법이다. 상기 장치는 HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 입력하며, 재생에 사용되는 복원된 HDR 영상을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다.
단계(1), 비트 스트림을 분석하여 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻는다.
복호화 처리 설비는 입력 스트림을 분석한다. 만일 입력 스트림이 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일이면, 상기 전송 스트림 또는 미디어 파일로부터 HDR 영상 비트 스트림을 추출한다.
복호화 처리 설비는 HDR 영상 비트 스트림 내의 각 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 분석하고, 수신된 PPS에서 PPS 데이터 유닛 내의 식별자가 슬라이스 헤더를 분석하여 얻은 파라미터 셋 식별자와 값이 동일한 PPS를 검색한다.
복호화 처리 설비는 해당 PPS를 활성화시키고, 해당 PPS 데이터 유닛의 부호화 비트를 분석한다. 해당 PPS의 확장부분을 분석하여 리셰이프 파라미터(상기 제1리셰이프 파라미터에 대응)를 얻으면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터로 해당 리셰이프 파라미터를 설정한다. 반대로, 해당 PPS 확장 분석에서 리셰이프 파라미터를 얻지 못하면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터를 널 또는 미리 설정한 값으로 설정한다.
복호화 처리 설비가 파라미터 데이터 유닛이 AU에 포함된다고 감지했을 때, 해당 파라미터 데이터 유닛을 분석하여, 해당 AU에 포함되는 슬라이스를 복호화하여 얻은 SDR 복원 이미지에 대해 리셰이프 작업을 수행하는 리셰이프 파라미터(상기 제3리셰이프 파라미터에 대응)를 얻고, 상기 리셰이프 파라미터를 SDR 복원 이미지에 대해 리셰이프 작업을 수행하는 리셰이프 파라미터로 설정한다. 반대로, 복호화 처리 설비가 파라미터 데이터 유닛이 AU에 포함되지 않는다고 감지했을 때, 해당 AU에 포함되는 슬라이스에 인용된 PPS를 분석하여 얻은 리셰이프 파라미터를 SDR 복원 이미지에 대해 리셰이프 작업을 수행하는 리셰이프 파라미터로 설정한다. 여기서, 상기 파라미터 데이터 유닛은 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛이며, 예를 들어, 파라미터 셋, 보충 강화 정보(Supplemental Enhancement Information, SEI) 데이터 유닛, 사용자가 정의한 데이터 유닛 등이다.
선택적으로, 복호화 처리 설비가 파라미터 데이터 유닛이 AU에 포함된다고 감지했을 때, AU 복호화 순서에 따라 현재 복호화 할 AU 직전의 AU에 포함되는 파라미터 데이터 유닛을 분석하여 얻은 리셰이프 파라미터(제4리셰이프 파라미터에 대응)를, 현재 AU를 복호화하여 얻은 SDR 복원 이미지의 후보 리셰이프 파라미터(상기 제3파라미터에 대응)로 설정할 수 있다. 다른 한 조의 후보 리셰이프 파라미터는 PPS를 분석하여 얻은 리셰이프 파라미터이다. 복호화 처리 설비는 복호화 할 AU에 포함되는 슬라이스 헤더를 분석하여, 어느 한 조의 후보 리셰이프 파라미터를 선택하는 식별정보를 얻고, 식별정보에 따라 대응되는 리셰이프 파라미터를 사용하여 SDR 복원 이미지에 대해 리셰이프 처리를 수행한다. 여기서, 복호화 처리 설비의 배치 방법은: 복호화 처리 설비가 상기 방법을 디폴트로 채용하는 방법; 또는 복호화 처리 설비가 영상 파라미터 셋(Video Parameter Set, VPS) 및/또는 SPS를 분석하여, 상기 방법의 사용 여부를 지시하는 식별정보(VPS에서 분석된 식별정보는 상기 제1식별정보에 대응되고, SPS에서 분석된 식별정보는 상기 제2식별정보에 대응)를 얻고, 식별정보에 따라 복호화된 AU 내의 파라미터 데이터 유닛에 포함되는 리셰이프 파라미터의 사용 여부를 배치하는 방법일 수 있다.
특히, HDR 영상 비트 스트림으로부터 얻은 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행 할 필요가 있는지 여부"의 식별정보에 대해, 복호화 처리 설비가 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행 할 필요가 없음"으로 지시하면, 복호화 처리 설비는 리셰이프 파라미터 분석 단계와 해당 SDR 이미지에 대한 리셰이프 처리 단계를 스킵할 수 있다. 그러나, 복호화 처리 설비는 복호화 이미지를 재생에 적합한 영상 데이터 포맷으로 변환시킬 필요가 있다.
단계(2), 선택적 실시예 1의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 선택적 실시예 1의 단계(3)과 동일하며, 여기서 더 이상 서술하지 않는다.
설명하여야 할 것은, 해당 선택적 실시예에서, HDR 영상 비트 스트림 내의 각 AU에 포함되는 슬라이스 헤더 중의 PPS에서 리셰이프 파라미터를 분석하는 작업은, AU에 포함되는 파라미터 데이터 유닛에서 리셰이프 파라미터를 분석하는 작업 후에 수행할 수 있다.
선택적 실시예 1에서 설명한 복호화 처리 설비에 비해, 본 실시예의 복호화 처리 설비는 AU 내의 파라미터 데이터 유닛을 분석하여, AU 내의 모든 슬라이스에 사용되는 리셰이프 파라미터를 얻음으로써, 슬라이스 헤더를 분석하는 오버헤드를 한층 더 절감할 수 있다.
하나의 선택적 실시예에서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 AU에 포함되는 슬라이스 헤더일 수 있고, 해당 실시예에서 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: AU에 포함되는 슬라이스 헤더를 분석하여, 복원 이미지에 사용되는 리셰이프 파라미터가 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 따라 결정되는지를 지시하는 제3식별정보를 얻고; 상기 제3식별정보가 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 따라 복원 이미지에 사용되는 리셰이프 파라미터가 결정된다고 지시할 때, AU에 포함되는 슬라이스 헤더를 분석하여, 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자를 얻고; 식별자가 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자와 동일한 파라미터 셋을 활성화시켜, 제5리셰이프 파라미터를 얻으며; 상기 제5리셰이프 파라미터를 사용하여, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계를 포함한다. 아래에서는 하나의 선택적 실시예에 결합하여 이미지 및/또는 슬라이스 층 데이터 유닛이 AU에 포함되는 슬라이스 헤더일 때의 관련 작업에 대해 설명한다.
선택적 실시예 3:
본 실시예는 HDR 영상에 대해 복호화 처리를 수행하는 장치에 사용되는HDR 영상의 복호화 처리 방법이다. 상기 장치는 HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 입력하며, 재생에 사용되는 복원된 HDR 영상을 출력한다. 해당 실시예는 아래와 같은 단계를 포함한다:
단계(1), 비트 스트림을 분석하여 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻는다.
복호화 처리 설비는 입력 스트림을 분석한다. 만일 입력 스트림이 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일이면, 상기 전송 스트림 또는 미디어 파일로부터 HDR 영상 비트 스트림을 추출한다.
복호화 처리 설비는 HDR 영상 비트 스트림 내의 각 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 분석하고, 수신된 PPS에서 PPS 데이터 유닛 내의 식별자가 슬라이스 헤더를 분석하여 얻은 파라미터 셋 식별자와 값이 동일한 PPS를 검색한다.
복호화 처리 설비는 해당 PPS를 활성화시키고, 해당 PPS 데이터 유닛의 부호화 비트를 분석한다. 해당 PPS의 확장부분을 분석하여 리셰이프 파라미터(상기 제1리셰이프 파라미터에 대응)를 얻으면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터로 해당 리셰이프 파라미터를 설정한다. 반대로, 해당 PPS 확장 분석에서 리셰이프 파라미터를 얻지 못하면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터를 널 또는 미리 설정한 값으로 설정한다.
복호화 처리 설비는 해당 슬라이스 헤더를 분석하여, PPS를 제외한 기타 이미지/슬라이스층 파라미터 셋의 사용 여부에 관한 식별정보를 얻는다. 만일 해당 식별정보가 "PPS를 제외한 기타 이미지/슬라이스층 파라미터 셋을 사용하지 않음"으로 지시하면, PPS 확장을 분석하여 얻은 리셰이프 파라미터를 사용하여 복원 SDR 이미지에 대해 리셰이프 처리를 수행한다.
반대로, 만일 해당 식별정보가 "PPS를 제외한 기타 이미지/슬라이스층 파라미터 셋을 사용"으로 지시하면, 계속하여 슬라이스 헤더를 분석하여 해당 이미지/슬라이스층 파라미터 셋의 식별자를 얻고, 수신된 스트림 또는 복호화된 파라미터 셋 데이터 유닛에서 파라미터 셋의 식별자가 슬라이스 헤더를 분석하여 얻은 식별자와 동일한 파라미터 셋을 검색한다. 복호화 처리 설비는 해당 파라미터 셋을 분석하여 리셰이프 파라미터(상기 제5리셰이프 파라미터에 대응)를 얻고, 해당 리셰이프 파라미터를 사용하여 복호화하여 복원 SDR 이미지에 대해 리셰이프 처리를 수행한다. 상기 과정에서 복호화 처리 설비는 수신된 AU 및 AU 밖에서 전송되는 파라미터 셋 비트 스트림을 검색하여, 상기 이미지/슬라이스층 파라미터 셋을 검색한다. 선택적으로, 처리된 HDR 영상 비트 스트림 내에 파라미터 셋 식별자가 다른 상기 이미지/슬라이스층 파라미터 셋이 비교적 많이 포함되므로, 복호화 처리 설비가 파라미터 셋을 검색하는 처리 과정의 복잡성을 낮추기 위해, 복호화 처리 설비는 하나의 파라미터 셋 식별자를 액세스 파라미터로 하는 데이터 구성을 사용한다. 예를 들어, 파라미터 셋 식별자를 액세스 파라미터로 하는 포인터 배열(pointer　array) 구현방식일 수 있으며, 배열 중의 포인터는 해당 파라미터 셋 식별자에 대응되는 파라미터 셋이 저장된 분석 데이터를 가리킨다. 복호화 처리 설비는 슬라이스 헤더를 분석하여 파라미터 셋 식별자를 얻은 후, 직접 파라미터 셋 식별자를 엔트리 파라미터로 하여 해당 데이터 구성에 액세스 하여, 대응되는 파라미터 셋에 포함되는 리셰이프 파라미터를 얻을 수 있다.
특히, HDR 영상 비트 스트림으로부터 얻은 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행할 필요가 있는지 여부"의 식별정보에 대해, 복호화 처리 설비가 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행할 필요가 없음"으로 지시할 때, 복호화 처리 설비는 리셰이프 파라미터 분석 단계와 해당 SDR 이미지에 대한 리셰이프 처리 단계를 스킵할 수 있다. 그러나, 복호화 처리 설비는 복호화 이미지를 재생에 적합한 영상 데이터 포맷으로 변환시킬 필요가 있다.
단계(2), 선택적 실시예 2의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 선택적 실시예 2의 단계(3)과 동일하며, 여기서 더 이상 서술하지 않는다.
선택적 실시예 2의 복호화 처리 설비에 비해, 본 실시예의 복호화 처리 설비는 PPS와 다른 이미지/슬라이스층 파라미터 셋을 분석하여, 슬라이스에 사용되는 리셰이프 파라미터를 얻는다. 이로써 복호화 처리 설비는 직전의 복호화 AU에 제한되지 않은 리셰이프 파라미터를 선택하여 사용할 수 있으므로, 복호화된 정보의 이용률을 제고한다. 아울러, 파라미터 셋 자체의 속성에 기반하여, 복호화 처리장치는 패킷 손실 상황의 존재 여부를 보다 쉽게 판단한다. 예를 들어, 복호화 처리 설비는 슬라이스 헤더의 파라미터 셋 번호를 분석한 후, 수신된 파라미터 셋 내에서 동일한 파라미터 셋 번호를 구비한 파라미터 셋을 찾지 못하면, 이때, 복호화 처리 설비는 에러 처리 매커니즘을 가동시켜 에러를 복구할 수 있으므로, 영상 통신의 신뢰성을 제고한다.
하나의 선택적 실시예에서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 시스템층 이미지 파라미터 데이터 유닛일 수 있으며, 해당 실시예에서 영상 비트 스트림을 분석하여 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 제6리셰이프 파라미터를 얻고; 해당 제6리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는, 복원 이미지에 사용되는 리셰이프 파라미터를 제6리셰이프 파라미터로 결정하는 것을 포함하며; 여기서, 해당 시스템층 이미지 파라미터 데이터 유닛은 영상 비트 스트림 내의 액세스 유닛(AU)에 대응되는 기술성 정보(description information) 또는 보조 정보(side information)를 포함한다.
하나의 선택적 실시예에서, 상기 제6리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는: 상기 영상 비트 스트림 중의 AU 내에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하고; 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻으며; 상기 제6리셰이프 파라미터를 사용하여 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는: 상기 PPS의 확장부분 및/또는 PPS를 인용한 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 해당 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 리셰이프 파라미터를 얻는 단계는: 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은 파라미터, 즉 리셰이프 작업의 실행 여부를 지시하는 식별 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 상기 리셰이프 파라미터를 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 영상의 품질을 확보하기 위해 상기 복원 이미지에 대해 여러 번의 리셰이프 처리(예를 들어, 두 번의 리셰이프 처리)를 수행할 수 있다. 아래에서는 해당 실시예에 대해 설명한다. 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛(기타 시스템층 정보 유닛일 수도 있음)으로부터 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻되, 해당 시스템층 이미지 파라미터 데이터 유닛은 영상 비트 스트림 내의 액세스 유닛(AU)에 대응되는 기술성 정보 또는 보조 정보를 포함하고; 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 얻은 리셰이프 파라미터를 이용하여 복원 이미지에 대해 2차 리셰이프 처리를 수행한다. 여기서 설명하여야 할 것은, 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는 작업은, 상기 각 실시예에서 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 작업 전에 수행할 수 있다.
하나의 선택적 실시예에서, 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는 단계는: 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은 파라미터, 즉 리셰이프 작업의 실행 여부를 지시하는 식별 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 결정하는 단계를 포함한다.
아래에서는 하나의 선택적 실시예에 결합하여 상기 이미지 및/또는 슬라이스 층 데이터 유닛이 시스템층 이미지 파라미터 데이터 유닛일 때의 작업에 대해 설명한다.
선택적 실시예 4:
본 실시예는 HDR 영상에 대해 복호화 처리를 수행하는 장치에 사용되는 HDR 영상의 복호화 처리 방법이다. 상기 장치는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 입력하며, 재생에 사용되는 복원된 HDR 영상을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다.
단계(1), 비트 스트림을 분석하여 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻는다.
복호화 처리 설비는 입력 스트림을 분석하여, 상기 전송 스트림 또는 미디어 파일로부터 HDR 영상 비트 스트림을 추출한다. 복호화 처리 설비는 HDR 영상 비트 스트림 중의 각 AU에 포함되는 슬라이스 헤더 중의 PPS 파라미터 셋 식별자를 분석하고, 수신된 PPS에서 PPS 데이터 유닛 내의 식별자가 슬라이스 헤더를 분석하여 얻은 파라미터 셋 식별자와 값이 동일한 PPS를 검색한다.
복호화 처리 설비는 해당 PPS를 활성화시키고, 해당 PPS 데이터 유닛의 부호화 비트를 분석한다. 해당 PPS의 확장부분을 분석하여 리셰이프 파라미터(상기 제1리셰이프 파라미터에 대응)를 얻으면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터로 해당 리셰이프 파라미터를 설정한다. 반대로, 해당 PPS 확장 분석에서 리셰이프 파라미터를 얻지 못하면, 해당 PPS를 인용한 슬라이스에 사용되는 리셰이프 파라미터를 널 또는 미리 설정한 값으로 설정한다.
복호화 처리 설비는 전송 스트림 또는 미디어 파일 내의 시스템층 정보유닛(예를 들어, 시스템층 이미지 파라미터 데이터 유닛)을 분석하여, 복원 SDR 이미지에 대해 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는다. 이러한 시스템층 정보 유닛은 예를 들어, 기술자(Descriptor)와 같은 전송 스트림 또는 미디어 파일 내의 HDR 영상 비트 스트림 내의 AU와 관련되는 기술성 정보 또는 보조 정보일 수 있다. 복호화 처리 설비는 시스템층 정보유닛으로부터 다음과 같은 파라미터: 즉 리셰이프 작업의 실행 여부를 지시하는 식별 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터 중의 적어도 하나의 파라미터를 얻는다. 여기서, 리셰이프 파라미터 사용범위는 복원된 SDR 영상에 사용되는 리셰이프 파라미터(후보 파라미터는 PPS를 분석하여 얻은 리셰이프 파라미터, 시스템층 비트 스트림을 분석하여 얻은 리셰이프 파라미터, 리셰이프 파라미터 디폴트 값 또는 미리 설정된 값, 등을 포함하지만 이에 한정되지 않음) 및 해당 리셰이프 파라미터 사용 이미지 범위(예를 들어, HDR 영상 비트 스트림 내의 어느 한 지정된 AU로부터 다른 한 지정된 AU까지)를 지시한다. 복호화 처리 설비는 시스템층 정보유닛 내의 파라미터에 따라, AU를 복호화하여 얻은 SDR 이미지에 대해 리셰이프 작업을 수행하는 리셰이프 파라미터를 결정한다.
선택적으로, 본 실시예의 복호화 처리 설비도 선택적 실시예 1, 선택적 실시예 2, 또는 선택적 실시예 3에서 설명한 HDR 비트 스트림을 분석하여 리셰이프 파라미터를 얻는 방식을 사용할 수 있다. 선택적으로, 전술한 바와 같은 실시예 1, 2 또는 3을 사용하여 리셰이프 파라미터를 결정한 후, 추가로 본 실시예의 상기 방법을 사용하여, 시스템층 리셰이프 파라미터와 리셰이프 작업의 제어 파라미터를 얻을 수 있다. 여기서, 리셰이프 작업의 제어 파라미터는 복호화 처리 설비가 SDR 복원 이미지에 대해 리셰이프 작업을 수행할 때 선택되는 리셰이프 파라미터(예를 들어, HDR 비트 스트림을 분석하여 얻은 리셰이프 파라미터와 시스템층 비트 스트림을 분석하여 얻은 리셰이프 파라미터 사이에서 선택)를 지시할 수 있고, 리셰이프 작업의 실행모드를 지시할 수도 있으며, 예를 들어, 먼저 HDR 비트 스트림을 분석하여 얻은 리셰이프 파라미터를 사용하여 SDR 복원 이미지에 대해 리셰이프 처리를 수행하고, 다음 시스템층 비트 스트림을 분석하여 얻은 리셰이프 파라미터를 사용하여 제2차 리셰이프 처리를 수행한다. 이러한 캐스케이드된 리셰이프 처리를 통해, SDR 복원 이미지에 대해 정밀도가 점차 향상된 리셰이프 처리를 수행할 수 있으며, 복원된 HDR 이미지의 품질을 제고할 수 있다.
특히, 전송 스트림 또는 미디어 파일로부터 얻은 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행 할 필요가 있는지 여부"의 식별정보에 대해, 복호화 처리 설비가 "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행 할 필요가 없음"으로 지시할 때, 복호화 처리 설비는 리셰이프 파라미터 분석 단계와 해당 SDR 이미지에 대한 리셰이프 처리 단계를 스킵할 수 있다. 그러나, 복호화 처리 설비는 복호화된 이미지를 재생에 적합한 영상 데이터 포맷으로 변환시킬 필요가 있다.
단계(2), 선택적 실시예 3의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 선택적 실시예 3의 단계(3)과 동일하며, 여기서 더 이상 서술하지 않는다.
선택적 실시예 3에서 설명한 복호화 처리 설비에 비해, 본 실시예의 복호화 처리 설비는 전송 스트림 또는 미디어 파일 내의 시스템층 비트 스트림을 분석하여, SDR 복원 이미지의 리셰이프 파라미터를 얻는다. 복호화 처리 설비는 전송 스트림 또는 미디어 파일 내에 포함되는 HDR 영상 비트 스트림에 대한 시스템층의 기술성 정보에 기반하여, 보다 원활하게 리셰이프 파라미터를 선택하여 SDR 이미지에 대해 리셰이프 처리를 수행한다. 아울러, 선택적으로, 복호화 처리 설비는 시스템층의 리셰이프 파라미터를 사용하여 SDR 복원 이미지에 대해 "2차 리셰이프 처리"를 수행할 수 있으며, 복원된 HDR 영상의 품질을 한층 더 향상기킨다.
본 발명 실시예는 다른 한 방면으로, 이미지 부호화 처리 방법을 더 제공하였으며, 도 2는 본 발명 실시예에 따른 이미지 부호화 처리 방법의 흐름도이며, 도 2에 도시한 바와 같이, 해당 과정은 아래와 같은 단계: 즉,
복원 이미지를 하이 다이내믹 레인지 영상의 HDR 이미지로 전환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하고, 여기서, 해당 복원 이미지는 인코더가 리셰이프 작업을 실행하기 전, 현재 영상 복호화 이미지(current coding picture)에 대해 복원한 스탠더드 다이내믹 레인지 SDR 이미지이거나, 또는 해당 복원 이미지는 처리할 영상 비트 스트림(Video bitstream)을 복호화하여 얻은 SDR 이미지인 단계(S202);
결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록(writing)하고, 여기서, 해당 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은 데이터 유닛: 즉 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계(S204)를 포함한다.
여기서, 상기 실시예에서 작업을 실행하는 것은, 예를 들어, 인코더와 같은 부호화 처리 설비일 수 있다.
상기 실시예로부터 알 수 있는 바, 복원 이미지에 사용되는 리셰이프 파라미터를 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록할 수 있고, 이미지의 시청 품질을 효과적으로 제고할 수 있음으로써, 영상의 시청 품질을 제고할 수 있고, 리셰이프 파라미터의 부호화 오버헤드를 절감할 수도 있다. 상기 단계를 통해 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결함으로써, 영상 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 낮추는 효과를 실현할 수 있다.
하나의 선택적 실시예에서, 상기 복원 이미지를 하이 다이내믹 레인지 영상의 HDR 이미지로 변환시키기 위한 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터(복원 이미지와 목표 HDR 이미지 사이의 오차를 최소화하는 리셰이프 처리 과정에서 사용되는 필터 계수(filter coefficient)를 포함)와 시퀀스층 리셰이프 파라미터(목표 HDR 이미지가 구성하는 목표 HDR 영상의 다이내믹 레인지와 색 공간, 및 복원 이미지가 구성하는 복원 영상의 다이내믹 레인지와 색 공간에 따라 결정된 복원 영상의 다이내믹 레인지로부터 목표 HDR 영상의 다이내믹 레인지까지 확장된 매핑 파라미터 및/또는 복원 영상의 색 공간으로부터 목표 HDR 영상의 색 공간까지의 변환 파라미터를 포함)를 결정하고, 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 상기 목표 HDR 이미지는 인코더에 입력되는 오리지널 HDR 영상에서 상기 복원 이미지에 대응되는 HDR 이미지이다.
상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 방식은 여러가지가 있으며, 아래에서는 해당 결정 방식에 대해 각각 예를 들어 설명한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다. 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 해당 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정한다. 선택적으로, 결정된 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 PPS에 인용되는 파라미터 셋에 기록하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림 내의 액세스 유닛(AU)에 포함되는 슬라이스 헤더 내에 기록하는 것을 포함한다. 아래에서는 하나의 선택적 실시예에 결합하여 설명한다.
선택적 실시예 5:
본 실시예는 선택적 실시예 1에서 설명한 복호화 방법에 대응되는, HDR 영상에 대해 부호화 처리를 수행하는 장치에 사용되는 HDR 영상의 부호화 처리 방법을 제공한다. 해당 장치가 산생하는 비트 스트림은 선택적 실시예 1의 복호화 처리 장치에 의해 정확하게 처리될 수 있다. 본 실시예의 장치는 오리지널 HDR 영상(Original HDR video)을 입력하고, HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 출력한다. 해당 실시예는 아래와 같은 단계를 포함한다.
단계(1), 입력된 HDR 영상에 대해 리셰이프 처리를 수행하여, H.265/HEVC Main 10 Profile 인코더에 적용되는 SDR 입력 영상을 얻는다. 해당 인코더를 사용하여 입력된 영상에 대해 부호화를 수행하여, 인코더 로컬 복원 SDR 영상을 얻는다.
해당 단계에서의 리셰이프 처리 과정은 HDR 비디오 시퀀스 중의 이미지에 응용될 수 있고, HDR 이미지의 다이내믹 레인지를 낮추는 동시에 응용 설정에 따라 HDR 이미지의 색 공간에 대한 변환 작업을 선택적으로 실행할 수 있다. 선택적으로, 수신단에서 복호화 복원해야 할 SDR 영상과 원본 HDR 영상이 동일한 색 공간을 구비하면, 색 공간의 변환 작업을 실행하지 않고, 그 반대이면, 색 공간의 변환 작업을 실행한다. 여기서, 상기 입력된 HDR 영상에 대한 리셰이프 처리는 전술한 바와 같은 국제표준화기구 테스트 모델 중의 종래 방법을 사용할 수 있다. 해당 리셰이프 과정에서 출력되는 목표 SDR 영상의 다이내믹 레인지와 색 공간의 파라미터는 실제 응용 수요에 따라 설정할 수 있다.
단계(2), 인코더 복원 SDR 이미지를 HDR 이미지로 전환시키는 리셰이프 과정의 리셰이프 파라미터를 계산한다.
인코더 로컬 복호화에 의해 복원된 SDR 영상 이미지에 대해, 대응하는 오리지널 입력 HDR 이미지를 기준으로 하여, 해당 SDR 이미지에 대한 리셰이프 작업을 수행하기 위한 리셰이프 파라미터가 결정된다. 상기 리셰이프 작업은 SDR 이미지의 다이내믹 레인지를 증가하는 것을 포함하고, 동시에 응용 설정에 따라 SDR 이미지의 색 공간에 대한 변환 작업을 선택적으로 실행할 수 있다. 선택적으로, 수신단에서 필요한 HDR 영상과 복호화하여 복원된 SDR 영상이 동일한 색 공간을 구비하면, 색 공간의 변환 작업을 실행하지 않고, 그 반대이면, 색 공간의 변환 작업을 실행한다.
일반적인 경우에, HDR 이미지는 SDR 이미지보다 훨씬 더 넓은 다이내믹 레인지를 가지며, 또한 HDR 이미지는 색역도에서 더 넓은 영역을 커버하는 색 공간을 사용한다. 따라서, 리셰이프 과정에서, SDR 이미지의 다이내믹 레인지와 색 공간을 "확장" 할 필요가 있다. 하나의 방법은 리셰이프 처리된 SDR 이미지와 원본 HDR 입력 이미지 사이의 오차를 최소화할 수 있는 리셰이프 처리 과정에서 사용되는 필터 계수를 계산하고, 상기 계수를 해당 리셰이프 처리 과정의 리셰이프 파라미터(즉, "이미지층 리셰이프 파라미터")로 하는 적응 필터링 방법을 사용하는 것이다. 이미지층 리셰이프 파라미터를 결정하는 과정에서, 인코더 로컬 복호화에 의해 복원된 SDR 이미지를 사용함으로써, 결정된 이미지층 리셰이프 파라미터는 해당 SDR 복원 이미지 내의 손실 압축 왜곡을 보상할 수 있다.
리셰이프 파라미터를 결정하는 또 하나의 방법은, 오리지널 입력 HDR 영상의 다이내믹 레인지와 색 공간, 및 로컬 복호화에 의해 복원된 SDR 영상의 다이내믹 레인지와 색 공간에 따라, SDR 영상의 다이내믹 레인지로부터 HDR 영상의 다이내믹 레인지까지 확장된 매핑 파라미터를 계산하고, SDR 영상의 색 공간으로부터 HDR 영상의 색 공간까지의 변환 파라미터를 계산하여, 매핑 파라미터와 변환 파라미터를 리셰이프 처리 과정에서의 리셰이프 파라미터(즉, "시퀀스층 리셰이프 파라미터")로 한다.
선택적으로, 다이내믹 레인지의 변환 과정에서, 먼저 SDR 영상의 시퀀스와 오리지널 HDR 시퀀스의 평균 다이내믹 레인지를 결정하고, 서로 다른 다이내믹 레인지에서의 영상 내의 표본점(sampling point) 값과 대응되는 광 강도 사이의 곡선에 따라, SDR 영상의 다이내믹 레인지 내의 표본점 값을 HDR 영상의 다이내믹 레인지 내로 매핑시키는 대응관계 곡선을 계산하고, 곡선 파라미터를 매핑 파라미터로 한다. 색 공간 변환 과정에서, HDR 영상의 색 공간에 비해 SDR 영상의 색 공간은 색역도에서 커버하는 영역이 보다 작으므로, 하나의 간단한 방법으로 SDR 영상의 색 공간 내의 색점(color point) 대응 값을 HDR 영상의 색 공간 내의 동일한 색점 대응 값으로 직접 변환시키고, 해당 변환 과정에서 사용되는 계산 파라미터를 변환 파라미터로 하는 것이다. 또 하나의 색 공간 전환 방법으로는, SDR 색 공간 내의 동일 색도 선에 따라, SDR 영상의 색 공간 내의 점을 HDR 영상의 색 공간 내의 동일 색도 선의 색점으로 확장 매핑시키고, 매핑 곡선에 대응되는 파라미터를 변환 퍼러미터로 하는 것이다. 이러한 방법은 원본 SDR 영상의 색 공간 내의 색점을 SDR 영상의 색 공간 커버 색역 이외의 HDR 영상의 색 공간 커버 색역으로 확장할 수 있어 HDR 영상의 색포화도를 향상기킨다.
HDR 영상에 대한 부호화 과정에서, 처리장치는 먼저 "시퀀스층 리셰이프 파라미터"를 결정할 수 있다. 처리 설비는 입력된 HDR 영상과 인코더 복원 SDR 영상에 대한 분석을 수행하여, 영상의 다이내믹 레인지와 색 공간을 결정할 수 있고; 처리 설비는 설정 파라미터에 따라 HDR 영상과 SDR 영상의 다이내믹 레인지와 색 공간을 직접 결정할 수도 있다. 예를 들어, HDR 영상과 함께 입력된 설정 파라미터에서 HDR 영상의 다이내믹 레인지와 색 공간을 지시하기 위한 파라미터거나, 단계(1)에서 사용한 영상을 목표 SDR 영상의 다이내믹 레인지와 색 공간으로 전환하기 위한 파라미터이다.
특히, 부호화 처리 설비는 인코더 복원 SDR 이미지에 대한 리셰이프 처리의 필요 여부를 판단할 수 있으며, 해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행할 필요가 있는지 식별하는 정보를 부호화 한다. 부호화 처리 설비가 사용할 수 있는 하나의 판단 방법은, 부호화 처리 설비가 복원 SDR 이미지와 입력된 원본 HDR 이미지 사이의 다이내믹 레인지의 차이를 감지하고, 양자의 다이내믹 레인지가 같거나, 또는 SDR 이미지의 다이내믹 레인지 이외에 대응되는 입력 HDR 이미지의 픽셀이 적거나, 또는 선택된 HDR 영상의 품질 평가 기준에 따라 SDR 이미지의 다이내믹 레인지 이외에 대응되는 입력 HDR 이미지의 픽셀이 HDR 복원 영상 시청 품질에 대한 영향을 무시할 수 있으면, 다이내믹 레인지의 리셰이프 작업을 수행하지 않는다. 마찬가지로, 부호화 처리 설비가 오리지널 입력 HDR 이미지 내의 표본값에 대응되는 색이 모두 SDR 이미지의 색 공간이 커버하는 영역 내에 있거나, 또는 SDR 이미지의 색 공간 이외에 대응되는 입력 HDR 이미지의 픽셀이 적거나, 또는 선택된 HDR 영상의 품질 평가 기준에 따라 SDR 이미지의 색 공간 이외에 대응되는 입력 HDR 이미지의 픽셀이 HDR 복원 영상 시청 품질에 대한 영향을 무시할 수 있으면, 색 공간의 리셰이프 작업을 수행하지 않는다. 여기서, 상기 HDR 영상의 품질 평가 기준은 표준 조직 테스트 모델 및 참조 소프트웨어에 기존하는, HDR 영상 품질을 평가하기 위한 오차 규준(error criterion)을 사용할 수 있다. 부호화 처리 설비가 복원 SDR 이미지에 대해 리셰이프 작업을 수행할 필요가 없다고 판단하면, "해당 이미지의 복원 SDR 이미지에 대해 리셰이프 처리를 수행할 필요가 없음"의 식별정보를 부호화 한다. 부호화 처리 설비는 단계(2) 및 그 추후의 단계(3)과 단계(4)를 실행할 필요가 없다.
단계(3), 인코더 복원 SDR 이미지를 HDR 이미지로 변환시키는 리셰이프 과정의 리셰이프 파라미터를 선택한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터와 이미지층 리셰이프 파라미터 중에서 인코더 복원 SDR 이미지에 사용되는 리셰이프 파라미터를 선택한다. 하나의 방법은 시퀀스층 리셰이프 파라미터와 이미지층 파라미터를 각각 사용하여 복원 SDR 영상에 대해 리셰이프 처리를 수행하여 얻은 HDR 영상과 오리지널 HDR 영상 사이의 오차를 비교하여, 오차가 작은 파라미터를 복원 SDR 이미지의 리셰이프 파라미터로 한다. 여기서, 계산 오차는 종래의 표준 오차 규준(예를 들어 절대 오차합)을 사용할 수 있으며; 표준 조직 테스트 모델 및 참조 소프트웨어에 기존하는 HDR 영상 품질을 평가하기 위한 오차 규준을 사용할 수도 있다.
단계(4), 리셰이프 파라미터를 부호화하여, 부호화 비트를 영상 비트 스트림 중의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터를 부호화하고, 부호화 비트를 PPS에 기록하며, 전체 HDR 영상의 부호화 시퀀스에 대해 새로운 시퀀스층 리셰이프 파라미터를 다시 계산하지 않으며, 새로운 리셰이프 파라미터를 포함하는 PPS를 다시 생성하지 않는다. 복원 SDR 이미지가 시퀀스층 리셰이프 파라미터를 사용할 경우, 이미지층 리셰이프 파라미터에 대해 부호화하지 않고; 반대로 복원 SDR 이미지가 이미지층 리셰이프 파라미터를 사용할 경우, 이미지층 리셰이프 파라미터를 부호화하며, 부호화 비트를 해당 이미지에 포함되는 슬라이스 헤더에 기록한다.
선택적으로, 부호화 처리 설비는 생성된 PPS에서, 슬라이스 헤더의 확장 사용을 지시하는 플래그 비트 slice_segment_header_extension_present_flag 를 1로 설정할 수 있다. 시퀀스층 리셰이프 파라미터를 사용할 때, 부호화 처리 설비는 해당 PPS를 인용하는 슬라이스의 슬라이스 헤더 내에서, 슬라이스 헤더의 확장부분의 비트 수를 지시하는 파라미터를 0으로 설정할 수 있다. 이미지층 리셰이프 파라미터를 사용할 때, 부호화 처리 설비는 이미지층 리셰이프 파라미터를 부호화하고, 이미지층 리셰이프 파라미터를 부호화하는데 필요한 비트 수를 계산하며, 그 값을 슬라이스 헤더의 확장부분의 비트 수 값으로 설정하며, 부호화 처리 설비는 해당 값을 슬라이스 헤더의 확장부분 비트 스트림에 기록하고, 이미지층 리셰이프 파라미터의 부호화 비트를 슬라이스 헤더의 확장부분 비트 스트림에 기록한다.
더 나아가 설명하여야 할 것은, 상기 부호화 처리 설비의 실행 흐름은 구현 가능한 방식이며, 이에 대해 추가적인 최적화를 수행할 수 있다. 예를 들어, 부호화 처리 설비의 계산 복잡성을 낮추기 위해, 입력 HDR 영상과 설정된 SDR 영상의 파라미터에 따라 부호화하기 전에 시퀀스층 리셰이프 파라미터를 계산할 수 있으며, 키 프레임 이미지에 대해서만 단계(302)에서 이미지층 리셰이프 파라미터를 계산하고, 기타 이미지에 대해서는 시퀀스층 리셰이프 파라미터를 직접 사용하며, 여기서, 키 프레임으로 선택될 수 있는 이미지는, 부호화 비디오 시퀀스 중의 장면 전환 이미지, 랜덤 액세스 이미지, 시간영역 식별번호(Temporal Identifier(ID)) 값이 비교적 작은 이미지를 포함한다. 다른 한 방면으로, 최상의 HDR 복원 영상 품질을 추구하기 위해, 부호화 처리 설비는 가능한 많은 SDR 이미지에 대해 이미지층 리셰이프 파라미터를 선택하여 사용하거나, 또는 각 SDR 이미지에 대해 모두 이미지층 리셰이프 파라미터를 선택하여 사용한다. 부호화 처리 설비가 각 SDR 이미지가 모두 이미지층 리셰이프 파라미터를 선택하여 사용하도록 설정된 모드일 때, PPS에서 시퀀스층 리셰이프 파라미터를 부호화하지 않고, 이미지의 슬라이스 헤더 확장에서 이미지층 리셰이프 파라미터를 부호화하며, 동시에 복원 HDR 영상의 품질을 한층 더 향상기키기 위해, 부호화 처리장치는 동일한 이미지의 부동한 슬라이스에 대해 이미지층 리셰이프 파라미터를 각각 계산하고 슬라이스 헤더 확장에서 부호화할 수 있다. 부호화 처리 설비는 응용 요구, 설비 자체의 사용 가능한 컴퓨팅 자원 상황에 따라 부호화 제어 파라미터를 설정할 수 있으며, 상기 리셰이프 파라미터의 계산과 부호화 방법 중에서 선택한다. 예를 들어, 일반적으로 부호화 처리 설비는 영상 저장, 비실시간 스트림 미디어 응용에 대해 충족한 컴퓨팅 자원이 배치되고, 따라서 각 이미지가 모두 이미지층 리셰이프 파라미터인 부호화 모드를 선택할 수 있으며; 실시간 영상 통신 또는 부호화 처리 설비 컴퓨팅 자원이 제한적인 상황에서는 키 프레임 이미지에 대해 이미지층 리셰이프 파라미터를 사용하고, 키 프레임이 아닌 이미지에 대해 시퀀스층 리셰이프 파라미터를 사용할 수 있다.
상기 부호화 처리 방법을 사용하면 리셰이프 과정의 이미지 적응성을 제고하는 동시에, 새로운 PPS가 빈번하게 생성되어 리셰이프 파라미터 부호화로 인한 PPS 반복 부호화에서 기타 부호화 제어 파라미터에 대한 부호화로 인한 별도의 부호화 오버헤드를 방지한다.
하나의 선택적 실시예에서, 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계를 포함한다. 선택적으로, 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함한다.
하나의 선택적 실시예에서, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 해당 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 PPS에 인용되는 파라미터 셋에 기록하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 부호화하고 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하며; 또는 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 액세스 유닛(AU)에서 제4식별정보를 부호화하는 것을 포함하며; 여기서, 해당 제4식별정보는 리셰이프 파라미터가 직전의 부호화 이미지에 사용되는 리셰이프 파라미터임을 지시하고, 해당 파라미터 데이터 유닛은 상기 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛이다. 선택적으로, 상기 실시예에서는 다음과 같은: 영상 파라미터 셋(VPS)에서 상기 리셰이프 파라미터를 지시하기 위한 제1식별정보를 부호화하는 방식, 시퀀스 파라미터 셋(SPS)에서 상기 리셰이프 파라미터를 지시하기 위한 제2식별정보를 부호화하는 방식 중의 적어도 하나의 방식에 따라 리셰이프 파라미터를 지시하기 위한 식별정보를 부호화하는 방법을 더 포함한다. 아래에서는 선택적 실시예에 결합하여 설명한다.
선택적 실시예 6:
본 실시예는 선택적 실시예 2에서 설명한 복호화 방법에 대응되는, HDR 영상에 대해 부호화 처리를 수행하는 장치에 사용되는 HDR 영상의 부호화 처리 방법을 제공한다. 해당 장치가 산생하는 비트 스트림은 선택적 실시예 2의 복호화 처리 장치에 의해 정확하게 처리될 수 있다. 본 실시예의 장치는 오리지널 HDR 영상을 입력하고, HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다:
단계(1), 선택적 실시예 5의 단계(1)과 동일하며, 여기서 더 이상 서술하지 않는다.
단계(2), 선택적 실시예 5의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 인코더 복원 SDR 이미지를 HDR 이미지로 변환시키는 리셰이프 과정의 리셰이프 파라미터를 선택한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터, 이미지층 리셰이프 파라미터 및 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터 중에서 인코더 복원 SDR 이미지의 리셰이프 파라미터를 선택한다. 하나의 방법은 각 후보 리셰이프 파라미터를 각각 사용하여 복원 SDR 영상에 대해 리셰이프 처리를 수행하여 얻은 HDR 영상과 원본 HDR 영상 사이의 오차를 비교하여, 오차가 더 작게 되는 파라미터를 복원 SDR 이미지의 리셰이프 파라미터로 한다. 여기서, 계산 오차는 종래의 표준 오차 규준(예를 들어, 절대오차합)을 사용할 수 있으며; 표준 조직 테스트 모델 및 참조 소프트웨어에 기존하는, HDR 영상 품질을 평가하기 위한 오차 규준을 사용할 수도 있다.
단계(4), 리셰이프 파라미터를 부호화하여, 부호화 비트를 영상 비트 스트림 중의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터를 부호화하고, 부호화 비트를 PPS에 기록하며, 전체 HDR 영상 부호화 시퀀스에 대해 새로운 시퀀스층 리셰이프 파라미터를 다시 계산하지 않으며, 새로운 리셰이프 파라미터를 포함하는 PPS를 다시 생성하지 않는다.
선택적 실시예 2의 복호화 처리 설비에 대응하여, 복원 SDR 이미지에 시퀀스층 리셰이프 파라미터가 사용될 때, 단계(3)에서 설명한 다른 두 조의 후보 리셰이프 파라미터를 부호화하지 않으며; 반대로 복원 SDR 이미지에 시퀀스층 리셰이프 파라미터가 사용되지 않을 때, 부호화 처리 설비는 파라미터 데이터 유닛을 산생하여, 사용되는 비시퀀스층 리셰이프 파라미터를 부호화하며, 부호화 비트를 파라미터 데이터 유닛에 기록하고, 파라미터 데이터 유닛을 부호화 이미지가 소재하는 AU에 기록한다. 여기서, 해당 파라미터 데이터 유닛은 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛이며, 예를 들어 SEI 데이터 유닛, 사용자가 정의한 데이터 유닛 등 이다.
선택적 실시예 2의 복호화 처리 설비에 대응하여, 선택적으로, 부호화 처리 설비가 비시퀀스층 리셰이프 파라미터를 사용하여 SDR 복원 영상에 대해 리셰이프 처리를 수행할 때, 부호화 처리 설비는 이미 부호화된 AU의 리셰이프 파라미터를 직접 사용하는 모드로 배치될 수 있다. 선택적으로, 만일 부호화 처리 설비가 이미지층 리셰이프 파라미터를 사용하면, 부호화 처리 설비는 파라미터 데이터 유닛을 산생하고, 이미지층 리셰이프 파라미터를 부호화하여, 부호화 비트를 파라미터 데이터 유닛에 기록하고, 파라미터 데이터 유닛을 부호화 이미지가 소재하는 AU에 기록하며; 반대로 만일 부호화 처리 설비가 부호화 순서에 따른 직전의 AU에 사용되는 리셰이프 파라미터를 사용하여 현재 SDR 복원 이미지에 대해 리셰이프 처리를 수행하면, 부호화 처리 설비는 파라미터 데이터 유닛을 산생하지 않고, 부호화 처리 설비는 슬라이스 헤더 중에서 "어느 조의 후보 리셰이프 파라미터를 사용하는가"를 지시하는 식별정보(상기 제4식별정보에 대응)를 부호화하여, SDR 복원 영상에 대해 리셰이프 처리를 수행할 때 PPS 내의 리셰이프 파라미터를 사용하는가 아니면 부호화 순서에 따른 직전의 AU에 사용되는 리셰이프 파라미터를 사용하는가를 지시한다. 선택적 실시예 2에서 설명한 복호화 처리 설비에 대응하여, 여기서, 부호화 처리 설비의 설정방법은: 부호화 처리 설비가 상기 방법을 디폴트로 채용하는 방법; 또는 부호화 처리 설비가 VPS 및/또는 SPS에서 상기 방법의 사용 여부를 지시하는 식별정보(여기서, VPS에서 부호화하는 식별정보는 상기 제1식별정보에 대응되고, SPS에서 부호화하는 식별정보는 상기 제2식별정보에 대응)를 부호화하여, 복호화된 AU 내의 파라미터 데이터 유닛에 포함되는 리셰이프 파라미터의 사용 여부를 지시한다.
설명하여야 할 것은, 선택적 실시예 5에서의 부호화 처리장치와 유사한 최적화 방법은 본 실시예에서 설명한 부호화 처리장치에도 응용될 수 있다.
선택적 실시예 5에서 설명한 부호화 처리 설비에 비하면, 본 실시예에서의 부호화 처리 장치는 AU에 포함되는 파라미터 데이터 유닛에서 리셰이프 파라미터를 부호화하고, 이미지에 비교적 많은 슬라이스가 포함되는 상황에서(예를 들어, 슬라이스 부호화 비트가 웹 최대 전송 유닛의 크기에 적응할 것을 요구하는 상황), 슬라이스 헤더 내의 리셰이프 파라미터의 부호화 오버헤드를 절감한다.
하나의 선택적 실시예에서, 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 사용된 복원 이미지에 대응되는 액세스 유닛에 포함되는 슬라이스 헤더 내의 이미지 파라미터 셋(PPS)을 제외한 이미지 및/또는 슬라이스 층 파라미터 셋 중에서 부호화한 하나 또는 복수 개의 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계를 포함한다. 선택적으로, 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제1기타 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용하지 않음을 지시하는 식별정보를 부호화하고; 복원 이미지에 사용되는 리셰이프 파라미터가 제1기타 리셰이프 파라미터일 때, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용함을 지시하는 식별정보를 부호화하고, 제1기타 리셰이프 파라미터가 소재하는 파라미터 셋의 파라미터 셋 식별자를 부호화하며; 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 이미지층 리셰이프 파라미터를 부호화하고, 부호화 비트를 새로 구축한 파라미터 셋 데이터 유닛에 기록하는 것을 포함하며, 여기서, 새로 구축한 파라미터 셋 데이터 유닛에는 파라미터 셋 식별자가 설정되고, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용함을 지시하는 식별정보를 부호화하고, 상기 파라미터 셋 식별자를 부호화한다. 아래에서는 하나의 선택적 실시예에 결합하여 설명한다.
선택적 실시예 7:
본 실시예는 선택적 실시예 3에서 설명한 복호화 방법에 대응되는, HDR 영상에 대해 부호화 처리를 수행하는 장치에 사용되는 HDR 영상의 부호화 처리 방법을 제공한다. 본 실시예의 장치가 산생하는 비트 스트림은 선택적 실시예 3의 복호화 처리 장치에 의해 정확하게 처리될 수 있다. 본 실시예의 장치는 오리지널 HDR 영상을 입력하고, HDR 영상 비트 스트림 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다.
단계(1), 선택적 실시예 6의 단계(1)과 동일하며, 여기서 더 이상 서술하지 않는다.
단계(2), 선택적 실시예 6의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 인코더 복원 SDR 이미지를 HDR 이미지로 변환시키는 리셰이프 과정의 리셰이프 파라미터를 선택한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터, 이미지층 리셰이프 파라미터 및 사용된 PPS를 제외한 이미지/슬라이스층 파라미터 셋(상기 이미지 및/또는 슬라이스 층 파라미터 셋) 중에서 부호화한 하나 또는 복수 개의 리셰이프 파라미터(상기 제1기타 리셰이프 파라미터에 대응)에서 인코더 복원 SDR 이미지를 위한 리셰이프 파라미터를 선택한다. 하나의 방법은 각 후보 리셰이프 파라미터를 각각 사용하여 복원된 SDR 영상에 대해 리셰이프 처리를 수행하여 얻은 HDR 영상과 원본 HDR 영상 사이의 오차를 비교하여, 오차가 더 작은 파라미터를 선택하여 복원 SDR 이미지에 사용되는 리셰이프 파라미터로 한다. 여기서, 계산 오차는 종래의 표준 오차 규준(예를 들어, 절대오차합)을 사용할 수 있으며; 표준 조직 테스트 모델 및 참조 소프트웨어에 기존하는 HDR 영상 품질을 평가하기 위한 오차 규준을 사용할 수도 있다.
단계(4), 리셰이프 파라미터를 부호화하여, 부호화 비트를 영상 비트 스트림 중의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터를 부호화하고, 부호화 비트를 PPS에 기록하며, 전체 HDR 영상 부호화 시퀀스에 대해 새로운 시퀀스층 리셰이프 파라미터를 다시 계산하지 않으며, 새로운 리셰이프 파라미터를 포함하는 PPS를 다시 생성하지 않는다.
선택적 실시예 3에서 설명한 복호화 처리 설비에 대응하여, 복원 SDR 이미지에 시퀀스층 리셰이프 파라미터가 사용되거나, 또는 PPS를 제외한 이미지/슬라이스층 파라미터 셋 내에서 부호화된 리셰이프 파라미터가 사용될 때, 단계(3)의 이미지층 후보 리셰이프 파라미터를 부호화하지 않으며; 반대로 복원 SDR 이미지에 이미지층 리셰이프 파라미터가 사용될 때, 부호화 처리 설비는 새로운 파라미터 셋 데이터 유닛을 산생하여 파라미터 셋 식별자를 분배하며, 사용된 이미지층 리셰이프 파라미터를 부호화하고, 부호화 비트를 상기 파라미터 셋 데이터 유닛에 기록한다. 상기 과정에서 부호화 처리 설비가 시퀀스층 리셰이프 파라미터를 사용할 경우, 부호화 처리 설비는 슬라이스 헤더에서 "PPS를 제외한 기타 이미지/슬라이스층 파라미터 셋을 사용하지 않음"의 식별정보를 부호화하고; 이와 반대일 경우, 부호화 처리 설비는 슬라이스 헤더에서 "PPS를 제외한 기타 이미지/슬라이스층 파라미터 셋을 사용함"의 식별정보를 부호화하고, 사용되는 리셰이프 파라미터가 소재하는 이미지/슬라이스층 식별자를 부호화한다.
설명하여야 할 것은, 선택적 실시예 5에서의 부호화 처리장치와 유사한 최적화 방법은 본 실시예에서 설명한 부호화 처리 장치에도 응용할 수 있다.
선택적 실시예 6의 부호화 처리 설비에 비해, 본 실시예의 부호화 처리 장치는 리셰이프 파라미터를 전부 파라미터 셋 내에서 부호화하여, 부호화된 리셰이프 파라미터를 보다 원활하게 선택할 수 있고, 정보 이용률을 제고하고 별도의 부호화 오버헤드를 절감한다. 동시에, 파라미터 셋의 특성에 기반하여, 부호화 처리 장치는 PPS를 제외한 이미지/슬라이스층 파라미터 셋에 대해 AU 내 전송과 AU 외 전송 두가지 방식을 선택하여, 전송 효율을 겸비한 동시에 리셰이프 파라미터 전송의 신뢰성을 제고한다. 예를 들어, 복호화 처리 장치를 포함하는 수신단으로부터 파라미터 셋 손실 피드백을 수신한 경우, 부호화 처리 장치가 배치된 송신단은 손실 파라미터 셋 식별자에 따라 같은 컨텐츠 파라미터 셋을 재전송함으로써 에러 복구를 수행할 수 있다.
하나의 선택적 실시예에서, 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 전송 스트림 또는 미디어 파일의 시스템층에서 부호화되는 하나 또는 복수 개의 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계를 포함한다. 선택적으로, 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제2기타 리셰이프 파라미터로부터 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제2기타 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는: 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 시스템층에서 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 이미 부호화된 리셰이프 파라미터를 사용하지 않음을 지시하는 제5식별정보를 부호화하고; 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 상기 시스템층에서 이미지층 리셰이프 파라미터를 부호화하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 제2기타 리셰이프 파라미터일 때, 시스템층에서 제2기타 리셰이프 파라미터를 부호화하거나 또는 시스템층에서 제6식별정보를 부호화하는 것을 포함하며; 여기서 상기 제6식별정보는 상기 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 이미 부호화된 리셰이프 파라미터를 사용함을 지시한다.
하나의 선택적 실시예에서, 상기 시스템층에서 복원 이미지에 대해 2차 리셰이프를 수행하기 위한 리셰이프 파라미터 및 2차 리셰이프 작업의 실행방식을 지시하기 위한 제어정보를 부호화한다. 아래에서는 선택적 실시예에 결합하여 설명한다.
선택적 실시예 8:
본 실시예는 선택적 실시예 4에서 설명한 복호화 방법에 대응되는, HDR 영상에 대해 부호화 처리를 수행하는 장치에 사용되는 HDR 영상의 부호화 처리 방법을 제공한다. 해당 실시예의 장치가 산생하는 비트 스트림은 선택적 실시예 4의 복호화 처리 장치에 의해 정확하게 처리될 수 있다. 본 실시예의 장치는 오리지널 HDR 영상을 입력하고, HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 출력한다. 해당 실시예는 다음과 같은 단계를 포함한다.
단계(1), 선택적 실시예 7의 단계(1)과 동일하며, 여기서 더 이상 서술하지 않는다.
단계(2), 선택적 실시예 7의 단계(2)와 동일하며, 여기서 더 이상 서술하지 않는다.
단계(3), 인코더 복원 SDR 이미지를 HDR 이미지로 변환시키는 리셰이프 과정의 리셰이프 파라미터를 선택한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터, 이미지층 리셰이프 파라미터 및 전송 스트림 또는 미디어 파일의 시스템층 중에서 부호화한 하나 또는 복수 개의 리셰이프 파라미터에서 인코더 복원 SDR 이미지를 위한 리셰이프 파라미터를 선택한다. 하나의 방법은 각 후보 리셰이프 파라미터를 각각 사용하여 복원된 SDR 영상에 대해 리셰이프 처리를 수행하여 얻은 HDR 영상과 원본 HDR 영상 사이의 오차를 비교하여, 오차가 더 작은 파라미터를 선택하여 복원 SDR 이미지에 사용되는 리셰이프 파라미터로 한다. 여기서, 계산 오차는 종래의 표준 오차 규준(예를 들어, 절대오차합)을 사용할 수 있으며; 표준 조직 테스트 모델 및 참조 소프트웨어에 기존하는, HDR 영상 품질을 평가하기 위한 오차 규준을 사용할 수도 있다.
단계(4), 리셰이프 파라미터를 부호화하여, 부호화 비트를 영상 비트 스트림 중의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록한다.
부호화 처리 설비는 시퀀스층 리셰이프 파라미터를 부호화하고, 부호화 비트를 PPS에 기록하며, 전체 HDR 영상 부호화 시퀀스에 대해 새로운 시퀀스층 리셰이프 파라미터를 다시 계산하지 않으며, 새로운 리셰이프 파라미터를 포함하는 PPS를 다시 생성하지 않는다.
선택적 실시예 4의 복호화 처리 설비에 대응하여, 복원 SDR 이미지에 시퀀스층 리셰이프 파라미터가 사용될 때, 선택적으로, 부호화 처리 설비는 시스템층에서 이미지층 리셰이프 파라미터를 부호화하지 않으며, 동시에 시스템층에서 현재 AU는 시스템층에서 부호화된 리셰이프 파라미터를 사용하지 않음을 지시하는 식별정보(상기 제5식별정보에 대응)를 부호화하고; 선택적으로, 부호화 처리 설비는 SDR 복원 이미지에 대해 두 번의 리셰이프 작업을 사용하는 처리 방법을 선택할 수 있으며, 시퀀스층 리셰이프 파라미터를 사용하여 처리한 이미지에 대해 제2차 리셰이프 작업을 수행하는 리셰이프 파라미터를 시스템층 비트 스트림에서 부호화한다. 부호화 처리 설비는 리셰이프 작업의 실행방식을 지시하는 제어정보를 시스템층에서 부호화한다.
선택적 실시예 4의 복호화 처리 설비에 대응되어, 복원 SDR 이미지에 시퀀스층 리셰이프 파라미터가 사용되지 않을 때, 선택적으로, 부호화 처리 설비는 시스템층에서 SDR 이미지를 리셰이프 처리하는 리셰이프 파라미터를 부호화하며, 부호화된 리셰이프 파라미터는 이미지층 리셰이프 파라미터일 수 있고, 시스템층에서 부호화된 리셰이프 파라미터를 사용함을 지시하는 식별정보(상기 제6식별정보에 대응)일 수도 있으며; 선택적으로, 부호화 처리 설비는 SDR 복원 이미지에 대해 두 번의 리셰이프 작업을 사용하는 처리 방법을 선택할 수 있으며, HDR 영상 비트 스트림 내에서 이미지층 리셰이프 파라미터(예를 들어, 전술한 바와 같은 선택적 실시예 5, 선택적 실시예 6, 또는 선택적 실시예 7에서의 방법)를 부호화하고, 더 나아가 이미지층 리셰이프 파라미터 또는 시스템층에서 부호화된 리셰이프 파라미터를 사용하여 SDR 복원 이미지에 대해 리셰이프 처리 후의 이미지에 대해 다시 리셰이프 작업을 수행하는 리셰이프 파라미터를 계산하고, 시스템층에서 해당 리셰이프 파라미터를 부호화하는 동시에, 복호화 처리 설비는 리셰이프 작업의 실행방식을 지시하는 제어정보를 스시템층에서 부호화한다.
설명하여야 할 것은, 선택적 실시예 5에서의 부호화 처리 장치와 유사한 최적화 방법은 본 실시예에의 부호화 처리 장치에도 응용할 수 있다.
선택적 실시예 7의 부호화 처리 설비에 비해, 본 실시예의 부호화 처리 설비는 전송 스트림 또는 미디어 파일 내에서 리셰이프 파라미터를 부호화하고, 리셰이프 작업 실행방식의 제어정보를 부호화하며, 부호화 처리 설비는 SDR 이미지에 대해 보다 원활하게 리셰이프 처리를 수행할 수 있으며, 시스템층에서 부호화된 리셰이프 파라미터를 보다 효율적으로 이용할 수 있다. 아울러, 선택적으로, 부호화 처리 설비는 SDR 복원 이미지에 대해 케스케이드 리셰이프를 수행하는 작업 방식을 선택할 수 있으며, 시스템층에서 SDR 복원 이미지에 대해 "2차 리셰이프 처리"를 수행하는 리셰이프 파라미터를 부호화하여, SDR 복원 영상의 리셰이프 처리 정밀도를 한층 더 향상시키고, 복원된 HDR 영상의 품질을 제고한다.
이상으로 설명한 실시방식을 통해 본 분야 당업자는 소프트웨어 및 필요한 범용 하드웨어 플랫폼에 의해 상기 실시예에 따른 방법을 구현할 수 있다는 것을 명확히 이해할 수 있으며, 또한 하드웨어를 통해 구현될 수도 있지만, 대부분의 경우에 전자가 최적의 실시방식이다. 이러한 이해의 기초상, 본 발명 기술방안의 실질적 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 기억 매체(ROM/RAM, 자기 디스크, 광디스크)에 저장되며, 하나의 단말기 장치(휴대 전화, 컴퓨터, 서버 또는 네트워크 장치 등일 수 있음)가 본 발명의 다양한 실시예들에서 설명된 방법들을 수행하도록 하는 명령들을 포함한다.
본 실시예에서는 이미지 복호화 처리 장치 및 이미지 부호화 처리 장치를 더 제공하였으며, 해당 장치는 상기 실시예 및 선택적 실시형태를 구현하며, 이미 설명한 부분에 대해서는 더 이상 서술하지 않는다. 아래에서 사용된 바와 같은, "모듈"이라는 용어는 기능이 미리 설정된 소프트웨어 및/또는 하드웨어의 조합을 구현할 수 있다. 아래 실시예에서 설명되는 장치는 바람직하게는 소프트웨어로 구현되지만, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현되는 것도 고려할 수 있다.
도 3은 본 발명 실시예에 따른 이미지 복호화 처리 장치의 블록구성도이며, 도 3에 도시한 바와 같이, 해당 장치는 제1결정 모듈(32)과 처리 모듈(34)을 포함하며, 아래에서는 해당 장치에 대해 설명한다.
제1결정 모듈(32)은 영상 비트 스트림을 분석하여, 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 설정되며; 처리 모듈(34)은 상기 제1결정 모듈(32)에 연결되고, 상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 복원 이미지에 대해 리셰이프 처리를 수행하도록 설정되며; 여기서, 해당 복원 이미지는 리셰이프 처리를 실행하기 전, 영상 비트 스트림을 복호화하여 얻은 이미지이며; 해당 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함한다.
도 4는 본 발명 실시예에 따른 이미지 부호화 처리 장치의 블록구성도이며, 도 4에 도시한 바와 같이, 해당 장치는 도 3에 도시한 모든 모듈 이외에, 제3결정 모듈(42)과 획득 모듈(44)을 더 포함하며, 아래에서는 해당 장치에 대해 설명한다.
제3결정 모듈(42)은 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하기 전, 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하도록 설정되고; 획득 모듈(44)은 상기 제3결정 모듈(42)과 제1결정 모듈(32)에 연결되며, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻도록 설정된다.
하나의 선택적 실시예에서, 획득 모듈(44)은 다음과 같은 방식을 통해 파라미터 셋 식별자에 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻을 수 있다: 즉 PPS의 확장부분 및/또는 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정한다.
하나의 선택적 실시예에서, 상기 제1결정 모듈(32)은 또 다음과 같은 방식으로 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉, 상기 슬라이스 헤더의 확장부분을 분석하여 제2리셰이프 파라미터를 얻고; 해당 제2리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 혹은 다시 결정한다.
하나의 선택적 실시예에서, 상기 제1결정 모듈(32)은 또 다음과 같은 방식으로 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉, 상기 영상 비트 스트림 내의 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 파라미터 데이터 유닛을 분석하여 제3리셰이프 파라미터를 얻고; 제3리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는 미리 설정된 리셰이프 파라미터 결정방식에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 제3리셰이프 파라미터로 결정한다.
하나의 선택적 실시예에서, 다음과 같은 방식을 통해 제3리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정할 수 있다: 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하고; 해당 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻으며; 제3리셰이프 파라미터를 사용하여 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻을 수 있다: 즉 PPS의 확장부분 및/또는 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 제1리셰이프 파라미터로 결정하고; 및/또는, 판단 결과가 "아니오"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정한다.
하나의 선택적 실시예에서, 상기 제3리셰이프 파라미터는 AU 직전의 AU 내에 포함되는 파라미터 데이터 유닛을 분석하여 얻은 제4리셰이프 파라미터를 포함한다.
하나의 선택적 실시예에서, 상기 미리 설정된 리셰이프 파라미터의 결정 방식은 다음과 같은: 즉, 디폴트 결정방식, 영상 파라미터 셋(VPS)를 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제1식별정보를 이용하여 결정하는 방식, 시퀀스 파라미터 셋(SPS)을 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제2식별정보를 이용하여 결정하는 방식 중의 적어도 하나의 방식을 포함한다.
하나의 선택적 실시예에서, 상기 제1결정 모듈(32)은 또 다음과 같은 방식을 통해 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉, AU에 포함되는 슬라이스 헤더를 분석하여, 복원 이미지에 사용되는 리셰이프 파라미터가 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 따라 결정되는지를 지시하는 제3식별정보를 얻고; 제3식별정보가 복원 이미지에 사용되는 리셰이프 파라미터가 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 따라 결정된다고 지시할 때, AU에 포함되는 슬라이스 헤더를 분석하여, 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자를 얻고; 식별자가 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자와 동일한 파라미터 셋을 활성화시켜, 제5리셰이프 파라미터를 얻으며; 해당 제5리셰이프 파라미터를 사용하여, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정한다.
하나의 선택적 실시예에서, 상기 제1결정 모듈(32)은 또 다음과 같은 방식을 통해 영상 비트 스트림을 분석하여 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 제6리셰이프 파라미터를 얻고, 해당 제6리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하며; 또는, 복원 이미지에 사용되는 리셰이프 파라미터를 제6리셰이프 파라미터로 결정하며; 여기서, 상기 시스템층 이미지 파라미터 데이터 유닛은 영상 비트 스트림의 액세스 유닛(AU)에 대응되는 기술정보 또는 보조정보를 포함한다.
하나의 선택적 실시예에서, 상기 제6리셰이프 파라미터를 사용하여 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는: 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더의 PPS 파라미터 셋 식별자를 결정하고; 해당 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻으며; 상기 제6리셰이프 파라미터를 사용하여 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는: PPS의 확장부분 및/또는 PPS가 인용한 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하고; 판단 결과가 "예"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계를 포함한다.
하나의 선택적 실시예에서, 다음과 같은 방식을 통해 상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻을 수 있다. 상기 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은: 리셰이프 작업의 실행 여부를 지시하는 식별 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 리셰이프 파라미터를 결정한다.
하나의 선택적 실시예에서 상기 이미지 복호화 처리장치는 2차 리셰이프 파라미터 획득 모듈과 2차 리셰이프 처리 모듈을 더 포함할 수 있으며, 여기서, 해당 2차 리셰이프 파라미터 획득 모듈 및 2차 리셰이프 처리 모듈과 상기 이미지 복호화 처리 장치의 각 모듈의 연결관계는 특별히 제한되지 않으며, 즉 해당 2차 리셰이프 파라미터 획득 모듈 및 2차 리셰이프 처리 모듈에서 실행하는 작업과 상기 이미지 복호화 처리 장치에 포함되는 모듈에서 실행하는 작업의 선후순서는 제한되지 않는다. 아래에서는 해당 2차 리셰이프 파라미터 획득 모듈과 2차 리셰이프 처리 모듈에 대해 설명한다.
2차 리셰이프 파라미터 획득 모듈은 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛(기타 시스템층 정보 유닛일 수도 있음)으로부터 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻도록 설정되되, 여기서 상기 시스템층 정보 유닛은 영상 비트 스트림 내의 액세스 유닛(AU)에 대응되는 기술성 정보 또는 보조 정보를 포함하며; 2차 리셰이프 처리 모듈은 상기 2차 리셰이프 파라미터 획득 모듈에 연결되며, 얻은 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 이용하여 복원 이미지에 대해 2차 리셰이프 처리를 수행하도록 설정된다.
하나의 선택적 실시예에서, 상기 2차 리셰이프 파라미터 획득 모듈은 다음과 같은 방식을 통해 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻을 수 있다. 즉, 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 다음과 같은: 리셰이프 작업의 실행 여부를 지시하는 식별 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 복원 이미지에 대해 2차 리셰이프퍼리를 수행하는 리셰이프 파라미터를 결정한다.
도 5는 본 발명 실시예에 따른 이미지 부호화 처리 장치의 블록구성도이며, 도 5에 도시한 바와 같이, 해당 장치는 결정 모듈(52)과 기록 모듈(54)을 포함하며, 아래에서는 해당 장치에 대해 설명한다.
결정 모듈(52)은 복원 이미지를 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 설정되며, 여기서, 해당 복원 이미지는 인코더가 리셰이프 작업을 수행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지(SDR) 이미지이거나, 또는, 해당 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 SDR 이미지이며; 기록 모듈(54)은 상기 결정 모듈(52)에 연결되며, 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하도록 설정되며, 여기서, 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은: 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함한다.
하나의 선택적 실시예에서, 상기 결정 모듈(52)은 다음과 같은 방식을 통해 복원 이미지를 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다. 즉, 상기 복원 이미지와 목표 HDR 이미지 사이의 오차를 최소화하는 리셰이프 처리 과정에서 사용되는 필터 계수를 포함하는 이미지층 리셰이프 파라미터와, 목표 HDR 이미지가 구성하는 목표 HDR 영상의 다이내믹 레인지와 색 공간, 및 복원 이미지가 구성하는 복원 영상의 다이내믹 레인지와 색 공간에 따라 결정된 복원 영상의 다이내믹 레인지로부터 목표 HDR 영상의 다이내믹 레인지까지 확장된 매핑 파라미터 및/또는 복원 영상의 색 공간으로부터 목표 HDR 영상의 색 공간까지의 전환 파라미터를 포함하는 시퀀스층 리셰이프 파라미터를 결정하고; 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정한다.
하나의 선택적 실시예에서, 상기 목표 HDR 이미지는 인코더에 입력되는 오리지널 HDR 영상에서 상기 복원 이미지에 대응되는 HDR 이미지이다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉, 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 해당 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정한다.
하나의 선택적 실시예에서, 상기 기록 모듈(54)은 다음과 같은 방식으로 결정된 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록할 수 있다: 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 해당 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 PPS에 인용되는 파라미터 셋에 기록하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 액세스 유닛(AU)에 포함되는 슬라이스 헤더에 기록한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프파라미터를 결정할 수 있다: 즉, 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정한다.
하나의 선택적 실시예에서, 상기 기록 모듈(54)은 다음과 같은 방식을 통해 결정된 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록할 수 있다. 즉 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 파라미터 셋(PPS) 및/또는 PPS에 인용되는 파라미터 셋에 기록하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 부호화하고 부호화된 부호화 비트를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림 내의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하며; 또는 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 현재 부호화 이미지가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림 내의 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛에 기록하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림 내의 액세스 유닛(AU)에 제4식별정보를 부호화하며; 여기서, 해당 제4식별정보는 리셰이프 파라미터가 직전의 부호화 이미지에 사용되는 리셰이프 파라미터임을 지시하고, 해당 파라미터 데이터 유닛은 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립된 데이터 유닛이다.
하나의 선택적 실시예에서, 상기 이미지 부호화 처리 장치는 상기 모듈 이외에, 부호화 모듈을 더 포함할 수 있으며, 해당 부호화 모듈과 이미지 부호화 처리 장치 중의 상기 모듈의 연결관계는 특별히 제한되지 않으며, 즉 해당 부호화 모듈에서 실행하는 작업과 이미지 부호화 처리 장치의 상기 모듈에서 실행되는 작업의 선후순서는 제한되지 않는다. 아래에서는 해당 부호화 모듈에 대해 설명한다.
부호화 모듈은 영상 파라미터 셋(VPS)에서 리셰이프 파라미터를 지시하기 위한 제1식별정보를 부호화하는 방식, 시퀀스 파라미터 셋(SPS)에서 리셰이프 파라미터를 지시하기 위한 제2식별정보를 부호화하는 방식 중의 적어도 하나의 방식에 따라 리셰이프 파라미터를 지시하기 위한 식별정보를 부호화하도록 설정된다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 이미 사용된 상기 복원 이미지에 대응되는 액세스 유닛에 포함되는 슬라이스 헤더 내의 이미지 파라미터 셋(PPS)을 제외한 이미지 및/또는 슬라이스 층 파라미터 셋 중에서 부호화하는 하나 또는 복수 개의 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제1기타 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 해당 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정한다.
하나의 선택적 실시예에서, 상기 기록 모듈(54)은 다음과 같은 방법을 통해 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록할 수 있다. 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 슬라이스 헤더에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용하지 않음을 식별하는 정보를 부호화하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 제1기타 리셰이프 파라미터일 때, 슬라이스 헤더에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용함을 식별하는 정보를 부호화하고, 상기 제1기타 리셰이프 파라미터가 소재하는 파라미터 셋의 파라미터 셋 식별자를 부호화하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터를 부호화하고 부호화 비트를 새로 구축한 파라미터 셋 데이터 유닛에 기록하며, 여기서, 새로 구축한 파라미터 셋 데이터 유닛에는 파라미터 셋 식별자가 설정되어 있고, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋 정보를 사용함을 식별하는 정보를 부호화하고, 상기 파라미터 셋 식별자를 부호화한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 상기 이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 즉, 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 전송 스트림 또는 미디어 파일의 시스템층에서 부호화되는 하나 또는 복수 개의 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정한다.
하나의 선택적 실시예에서, 다음과 같은 방식으로 상기 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제2기타 리셰이프 파라미터로부터 복원 이미지에 사용되는 리셰이프 파라미터를 결정할 수 있다: 이미지층 리셰이프 파라미터, 시퀀스층 리셰이프 파라미터 및 제2기타 리셰이프 파라미터를 각각 이용하여 복원 이미지에 대해 리셰이프 처리를 수행하고; 상기 복원 이미지에 대해 리셰이프 처리를 수행여 얻은 HDR 이미지와 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 복원 이미지에 사용되는 리셰이프 파라미터로 결정한다.
하나의 선택적 실시예에서, 상기 기록 모듈(54)은 다음과 같은 방법을 통해 결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록할 수 있다. 즉, 상기 복원 이미지에 사용되는 리셰이프 파라미터가 시퀀스층 리셰이프 파라미터일 때, 시스템층에서 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용하지 않음을 지시하는 제5식별정보를 부호화하고; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 이미지층 리셰이프 파라미터일 때, 상기 시스템층에서 이미지층 리셰이프 파라미터를 부호화하며; 복원 이미지에 사용되는 리셰이프 파라미터가 제2기타 리셰이프 파라미터일 때, 상기 시스템층에서 제2기타 리셰이프 파라미터를 부호화하거나 또는 상기 시스템층에서 제6식별정보를 부호화하며; 여기서 해당 제6식별정보는 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용함을 지시한다.
하나의 선택적 실시예에서, 상기 시스템층에는 복원 이미지에 대해 2차 리셰이프를 수행하기 위한 리셰이프 파라미터 및 2차 리셰이프 작업의 실행방식을 지시하는 제어정보를 부호화 될 수 있다.
도 6은 본 발명 실시예에 따른 디코더의 블록구성도이며, 도 6에 도시한 바와 같이, 해당 디코더(62)는 상기 어느 한 항의 이미지 복호화 처리 장치(64)를 포함한다.
도 7은 본 발명 실시예에 따른 인코더의 블록구성도이며, 도 7에 도시한 바와 같이, 해당 인코더(72)는 상기 어느 한 항의 (74)를 포함한다.
본 발명 실시예에서는 복호화 처리 설비(예를 들어, 상기 디코더(62)) 및/또는 부호화 처리 설비(예를 들어, 상기 인코더(72))를 포함하는 전자기기를 더 제공한다.
여기서, 상기 복호화 처리 설비는 전술한 바와 같은 선택적 실시예 1, 선택적 실시예 2, 선택적 실시예 3, 선택적 실시예 4 중의 임의의 복호화 처리 설비의 실시방법을 사용하여, HDR 영상 비트 스트림, 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 처리하며, 재생에 적합한 HDR 복원 영상을 산생할 수 있다.
상기 부호화 처리 설비는 전술한 바와 같은 실시예에 대응되는 선택적 실시예 5, 선택적 실시예 6, 선택적 실시예 7, 선택적 실시예 8 중의 임의의 복호화 처리 설비의 실시방법을 사용하여, HDR 영상(즉, 입력된 오리지널 HDR 영상)을 처리하여, HDR 영상 비트 스트림, 또는 HDR 영상 비트 스트림을 포함하는 전송 스트림 또는 미디어 파일을 산생할 수 있다.
본 실시예의 전자기기는 영상 통신 응용에서 관련되는 비트 스트림 생성기기 및 수신 재생기기일 수 있으며, 예를 들어, 휴대폰, 컴퓨터, 서버, 셋톱 박스, 휴대용 이동단말기, 디지털 카메라, 텔레비전 방송 시스템기기 등이다.
설명하여야 할 것은, 상기 각 모듈은 소프트웨어 또는 하드웨어를 통해 구현될 수 있으며, 또한 후자에 대해서는, 상기 모듈이 모두 동일한 처리기에 위치하거나; 또는 상기 모듈이 각각 복수 개의 처리기에 위치하는 방식을 통해 구현될 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 실시예는 저장매체를 더 제공한다. 선택적으로, 본 실시에에서 상기 저장매체는 다음과 같은 단계를 실행하기 위한 프로그램 코드(procedure code)를 저장하도록 설정될 수 있다: 즉,
영상 비트 스트림을 분석하고, 해당 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻으며, 얻은 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계(S11); 및
상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 복원 이미지에 대해 리셰이프 처리를 수행하며; 여기서, 해당 복원 이미지는 리셰이프 처리를 실행하기 전, 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛 다음과 같은 데이터 유닛: 즉 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계(S12); 를 실행한다.
선택적으로, 저장매체는 다음과 같은 단계를 실행하기 위한 프로그램 코드를 저장하도록 설정된다: 즉
복원 이미지를 하이 다이내믹 레인지(HDR) 영상 이미지로 변환시키는 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하며, 여기서, 해당 복원 이미지는 인코더가 리셰이프 작업을 실행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지(SDR) 이미지이거나, 또는 해당 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 SDR 이미지인 단계(S21);
결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하고, 여기서, 이미지 및/또는 슬라이스 층 데이터 유닛은 다음과 같은 데이터 유닛: 즉 이미지 파라미터 셋(PPS)과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛(AU)에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계(S22); 를 실행한다.
선택적으로, 본 실시예에서, 상기 저장매체는 U디스크, 롬(Read-Only Memory, ROM), 램(Random Access Memory, RAM), 모바일 하드디스크, 자기 디스크 또는 광디스크 등 프로그램 코드를 저장할 수 있는 매체를 포함하지만, 이에 한정되는 것은 아니다.
선택적으로, 본 실시예에서 처리기는 저장매체에 저장된 프로그램 코드에 따라 상기 여러 방법 실시예 중의 단계를 실행한다.
선택적으로, 본 실시예의 구체적인 예시는 상기 실시예 및 선택적 실시방식에서 설명한 예시를 참고할 수 있으며, 여기서 더 이상 서술하지 않는다.
본 분야 당업자는 전술한 본 발명의 각 모듈 또는 단계는 범용 컴퓨팅 장치에 의해 구현될 수 있되, 단일 컴퓨팅 장치에 집중되거나 복수 개의 컴퓨팅 장치로 구성된 네트워크에 분포될 수 있음을 명백하게 이해해야 한다. 선택적으로, 이들은 컴퓨팅 장치에 의해 실행 가능한 프로그램 코드로 구현될 수 있으므로, 저장 장치에 저장되어 컴퓨팅 장치로 실행되며, 어떤 경우에는 이와 다른 순서로 기재 또는 설명된 단계를 실행할 수 있고, 또는 이들을 집적회로 모듈로 각각 제조하거나, 이들 중 복수 개의 모듈 또는 단계를 단일 집적회로 모듈로 제작하여 구현할 수 있다. 이로써, 본 발명은 임의의 특정된 하드웨어 또는 소프트웨어에 제한되지 않는다.
이상에서 설명한 내용은 단지 본 발명의 선택적 실시예일 뿐, 본 발명의 범위를 제한하고자하는 것이 아니며, 본 분야 당업자에 있어서 본 발명은 각종 수정 및 변경을 수행할 수 있다. 본 발명의 요지와 원칙의 범위내에서 수행한 임의의 수정, 동등한 교체 및 개량 등은 모두 본 발명의 보호범위에 속한다.
상기 설명으로부터 알 수 있는 바, 본 발명에서 복원 이미지에 대해 리셰이프 처리를 수행하는 리셰이프 파라미터는 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 얻은 리셰이프 파라미터에 따라 결정된 것이며, 따라서 이미지의 시청 품질을 효과적으로 제고할 수 있고, 더 나아가 영상의 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 절감할 수 있다. 상기 단계를 통해 관련기술에 존재하는 영상 시청 품질이 떨어지고, 리셰이프 파라미터의 부호화 오버헤드가 높은 문제를 해결함으로써, 영상 시청 품질을 제고하고, 리셰이프 파라미터의 부호화 오버헤드를 낮추는 효과를 실현할 수 있다.

Claims (36)

  1. 영상 비트 스트림(Video bitstream)을 분석하고, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지(reconstructed picture)에 사용되는 리셰이프 파라미터(reshaping parameter)를 결정하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계; 를 포함하며,
    여기서, 상기 복원 이미지는 리셰이프 처리를 실행하기 전, 상기 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 이미지 파라미터 셋 PPS와 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛 AU에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 이미지 복호화 처리 방법.
  2. 제 1 항에 있어서,
    상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계 전에,
    상기 영상 비트 스트림 내의 액세스 유닛에 포함되는 슬라이스 헤더의 PPS 파라미터 셋 식별자(PPS identifier)를 결정하는 단계;
    상기 PPS 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계; 를 더 포함하고,
    상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는:
    상기 PPS의 확장부분 및/또는 상기 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지를 판단하는 단계;
    판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널(null)로 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  3. 제 2 항에 있어서,
    상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 슬라이스 헤더의 확장부분을 분석하여 제2리셰이프 파라미터를 얻는 단계;
    상기 제2리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  4. 제 1 항에 있어서,
    상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 영상 비트 스트림내의 AU에 포함되는 파라미터 데이터 유닛을 분석하여 제3리셰이프 파라미터를 얻되, 상기 파라미터 데이터 유닛은 상기 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛인 단계;
    상기 제3리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계; 또는,
    미리 설정된 리셰이프 파라미터 결정방식에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 제3리셰이프 파라미터로 결정하는 단계; 를 포함하고,
    상기 미리 설정된 리셰이프 파라미터 결정방식은,
    디폴트 결정방식, 영상 파라미터 셋(VPS)을 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제1식별정보를 이용하여 결정하는 방식, 시퀀스 파라미터 셋을 분석하여 얻은 리셰이프 파라미터를 지시하기 위한 제2식별정보를 이용하여 결정하는 방식 중의 적어도 하나의 방식을 포함하는 이미지 복호화 처리 방법.
  5. 제 4 항에 있어서,
    상기 제3리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는:
    상기 영상 비트 스트림내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하는 단계;
    상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계;
    상기 제3리셰이프 파라미터를 사용하여 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계; 를 포함하고,
    상기 파라미터 셋 식별자를 통해 인용된 상기 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는:
    상기 PPS의 확장부분(extended part of the PPS) 및/또는 상기 PPS에 인용된 파라미터 셋에 제1리셰이프 파라미터가 포함되었는지 판단하는 단계;
    판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  6. 제 2 항에 있어서,
    상기 영상 비트 스트림의 상기 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 AU에 포함되는 상기 슬라이스 헤더를 분석하여 제3식별정보를 얻되, 상기 제3식별정보는 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 의해 결정되는지를 지시하기 위한 것인 단계;
    상기 제3식별정보가 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 PPS를 제외한 기타 이미지 및/또는 슬라이스 층 파라미터 셋에 의해 결정된다고 지시할 때, 상기 AU에 포함되는 상기 슬라이스 헤더를 분석하여, 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자를 얻는 단계;
    식별자가 상기 기타 이미지 및/또는 슬라이스 층 파라미터 셋의 식별자와 같은 파라미터 셋을 활성화시켜 제5리셰이프 파라미터를 얻는 단계;
    상기 제5리셰이프 파라미터를 사용하여, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  7. 제 1 항에 있어서,
    상기 영상 비트 스트림을 분석하여 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 제6리셰이프 파라미터를 얻는 단계;
    상기 제6리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하거나; 또는, 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제6리셰이프 파라미터로 결정하는 단계; 를 포함하며;
    여기서, 상기 시스템층 이미지 파라미터 데이터 유닛은 상기 영상 비트 스트림의 AU에 대응되는 기술성 정보 또는 보조 정보를 포함하며,
    상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 상기 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 리셰이프 파라미터를 얻는 단계는:
    상기 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은, 리셰이프 작업의 실행 여부를 식별하는 파라미터, 다이내믹 레인지 리셰이프 파라미터(dynamic range reshaping parameter), 색 공간 리셰이프 파라미터(color gamut reshaping parameter), 리셰이프 파라미터 사용범위(use range of the reshaping parameter) 중의 적어도 하나의 파라미터에 따라 상기 리셰이프 파라미터를 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  8. 제 7 항에 있어서,
    상기 제6리셰이프 파라미터를 사용하여 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계는:
    상기 영상 비트 스트림내의 AU에 포함되는 슬라이스 헤더 내의 PPS 파라미터 셋 식별자를 결정하는 단계;
    상기 파라미터 셋 식별자를 통해 인용된 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계;
    상기 제6리셰이프 파라미터를 사용하여 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 업데이트 또는 다시 결정하는 단계; 를 포함하고,
    상기 파라미터 셋 식별자를 통해 인용된 상기 PPS에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 얻는 단계는:
    상기 PPS의 확장부분 및/또는 상기 PPS에 인용된 파라미터 셋 내에 제1리셰이프 파라미터가 포함되었는지 판단하는 단계;
    판단 결과가 "예"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 제1리셰이프 파라미터로 결정하며; 및/또는, 판단 결과가 "아니오"이면, 얻은 상기 복원 이미지에 사용되는 리셰이프 파라미터를 미리 설정된 값 또는 널로 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  9. 제 1 항에 있어서, 상기 방법은:
    상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻되, 상기 시스템층 이미지 파라미터 데이터 유닛은 상기 영상 비트 스트림의 AU에 대응되는 기술성 정보(description information) 또는 보조 정보(auxiliary information)를 포함하는 단계;
    상기 복원 이미지에 대해 2차리셰이프 처리를 수행하는 얻은 리셰이프 파라미터를 이용하여 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 단계: 를 포함하고,
    상기 영상 비트 스트림을 탑재하는 전송 스트림 또는 미디어 파일 내의 시스템층 이미지 파라미터 데이터 유닛으로부터 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 얻는 단계는:
    상기 시스템층 이미지 파라미터 데이터 유닛으로부터 얻은 리셰이프 작업의 실행 여부를 식별하는 파라미터, 다이내믹 레인지 리셰이프 파라미터, 색 공간 리셰이프 파라미터, 리셰이프 파라미터 사용범위 중의 적어도 하나의 파라미터에 따라 상기 복원 이미지에 대해 2차 리셰이프 처리를 수행하는 리셰이프 파라미터를 결정하는 단계; 를 포함하는 이미지 복호화 처리 방법.
  10. 복원 이미지를 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하되, 여기서, 상기 복원 이미지는 인코더가 리셰이프 작업을 실행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지 SDR 이미지이거나, 또는 상기 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 SDR 이미지인 단계;
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하되, 여기서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은, PPS과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 AU에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  11. 제 10 항에 있어서,
    상기 복원 이미지를 상기 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    이미지층 리셰이프 파라미터와 시퀀스층 리셰이프 파라미터를 결정하는 단계;
    상기 이미지층 리셰이프 파라미터와 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함하며,
    여기서, 상기 이미지층 리셰이프 파라미터는 상기 복원 이미지와 목표 HDR 이미지 사이의 오차를 최소화하는 리셰이프 처리 과정에서 사용되는 필터 계수를 포함하고;
    상기 시퀀스층 리셰이프 파라미터는 상기 목표 HDR 이미지가 구성하는 목표 HDR 영상의 다이내믹 레인지와 색 공간, 및 상기 복원 이미지가 구성하는 상기 복원 영상의 다이내믹 레인지와 색 공간에 따라 결정된 상기 복원 영상의 다이내믹 레인지로부터 상기 목표 HDR 영상의 다이내믹 레인지까지 확장된 매핑 파라미터 및/또는 상기 복원 영상의 색 공간으로부터 상기 목표 HDR 영상의 색 공간까지의 변환 파라미터를 포함; 하는 것을 포함하고,
    상기 목표 HDR 이미지는 인코더에 입력되는 오리지널 HDR 영상에서 상기 복원 이미지에 대응되는 HDR 이미지인 이미지 부호화 처리 방법.
  12. 제 11 항에 있어서,
    상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계;
    상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함하고,
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는:
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 상기 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 이미지 파라미터 셋 PPS 및/또는 상기 PPS에 인용되는 파라미터 셋에 기록하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림 내의 AU에 포함되는 슬라이스 헤더 내에 기록하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  13. 제 11 항에 있어서,
    상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함하고,
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 현재 부호화 순서에 따른 직전의 부호화 이미지에 사용되는 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계;
    상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  14. 제 13 항에 있어서,
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는:
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 상기 시퀀스층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 PPS 및/또는 상기 PPS에 인용되는 파라미터 셋에 기록하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터 또는 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터 또는 직전의 부호화 이미지에 사용되는 리셰이프 파라미터를 부호화하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 AU에 포함되는 파라미터 데이터 유닛에 기록하는 단계; 또는,
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터에 대해 부호화를 수행하고, 부호화한 부호화 비트를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 AU에 포함되는 파라미터 데이터 유닛에 기록하며; 상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터일 때, 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림 또는 상기 처리할 영상 비트 스트림의 AU에서 제4식별정보를 부호화 하되, 여기서, 상기 제4식별정보는 상기 리셰이프 파라미터가 상기 직전의 부호화 이미지에 사용되는 리셰이프 파라미터임을 지시하는 것인 단계; 를 포함하며,
    또한, 영상 파라미터 셋 VPS 에서 상기 리셰이프 파라미터를 지시하기 위한 제1식별정보를 부호화하는 방식, 시퀀스 파라미터 셋에서 상기 리셰이프 파라미터를 지시하기 위한 제2식별정보를 부호화하는 방식 중의 적어도 하나의 방식에 따라 상기 리셰이프 파라미터를 지시하기 위한 식별정보를 부호화하는 단계; 를 더 포함하며,
    상기 파라미터 데이터 유닛은 상기 AU에 포함되며 슬라이스 비트 스트림 데이터 유닛에 독립되는 데이터 유닛인 이미지 부호화 처리 방법.
  15. 제 11 항에 있어서,
    상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 이미 사용된 상기 복원 이미지에 대응되는 AU에 포함되는 슬라이스 헤더 내의 PPS를 제외한 이미지 및/또는 슬라이스 층 파라미터 셋에서 부호화한 하나 또는 복수 개의 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함하고,
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제1기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 제1기타 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계;
    상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  16. 제 15 항에 있어서,
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는:
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋을 사용하지 않음을 지시하는 정보를 부호화하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 제1기타 리셰이프 파라미터일 때, 슬라이스 헤더 내에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋을 사용함을 지시하는 정보를 부호화하고, 상기 제1기타 리셰이프 파라미터가 소재하는 파라미터 셋의 파라미터 셋 식별자를 부호화하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 이미지층 리셰이프 파라미터를 부호화하고 부호화 비트를 새로 구축한 파라미터 셋 데이터 유닛에 기록하되, 여기서 상기 새로 구축한 파라미터 셋 데이터 유닛에는 파라미터 셋 식별자가 설정되며, 슬라이스 헤더에서 PPS 이외의 이미지 및/또는 슬라이스 층 파라미터 셋을 사용함을 지시하는 정보를 부호화하고, 상기 파라미터 셋 식별자를 부호화하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  17. 제 11 항에 있어서,
    상기 이미지층 리셰이프 파라미터 및 상기 시퀀스층 리셰이프 파라미터에 따라 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 전송 스트림 또는 미디어 파일의 시스템층에서 부호화된 하나 또는 복수 개의 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계; 를 포함하고,
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 상기 제2기타 리셰이프 파라미터로부터 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하는 단계는:
    상기 이미지층 리셰이프 파라미터, 상기 시퀀스층 리셰이프 파라미터 및 제2기타 리셰이프 파라미터를 각각 이용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하는 단계;
    상기 복원 이미지에 대해 리셰이프 처리를 수행하여 얻은 HDR 이미지와 상기 목표 HDR 이미지 사이의 오차가 가장 작은 파라미터를 상기 복원 이미지에 사용되는 리셰이프 파라미터로 결정하는 단계; 를 포함하는 이미지 부호화 처리 방법.
  18. 제 17 항에 있어서,
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 상기 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 상기 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하는 단계는:
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 시퀀스층 리셰이프 파라미터일 때, 시스템층에서 제5식별정보를 부호화 하되, 상기 제5식별정보는 상기 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용하지 않음을 지시하기 위한 것인 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 상기 이미지층 리셰이프 파라미터일 때, 상기 시스템층에서 상기 이미지층 리셰이프 파라미터를 부호화하는 단계;
    상기 복원 이미지에 사용되는 리셰이프 파라미터가 제2기타 리셰이프 파라미터일 때, 상기 시스템층에서 상기 2기타 리셰이프 파라미터를 부호화하거나, 또는 상기 시스템층에서 제6식별정보를 부호화하되, 상기 제6식별정보는 상기 복원 이미지에 사용되는 리셰이프 파라미터는 상기 시스템층에서 부호화된 리셰이프 파라미터를 사용함을 지시하기 위한 것인 단계; 를 포함하고,
    상기 시스템층에서 상기 복원 이미지에 대해 2차 리셰이프를 수행하기 위한 리셰이프 파라미터 및 2차 리셰이프 작업의 실행방식을 지시하기 위한 제어정보를 부호화하는 이미지 부호화 처리 방법.
  19. 영상 비트 스트림을 분석하고, 상기 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛으로부터 리셰이프 파라미터를 얻고, 얻은 상기 리셰이프 파라미터에 따라 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 설정된 제1결정모듈;
    상기 복원 이미지에 사용되는 리셰이프 파라미터를 사용하여 상기 복원 이미지에 대해 리셰이프 처리를 수행하도록 설정된 처리모듈; 을 포함하며;
    여기서, 상기 복원 이미지는 리셰이프 처리를 실행하기 전, 상기 영상 비트 스트림을 복호화하여 얻은 이미지이며; 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 이미지 파라미터 셋 PPS와 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 액세스 유닛 AU에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 이미지 복호화 처리 장치.
  20. 복원 이미지를 하이 다이내믹 레인지 영상 HDR 이미지로 변환시키기 위한 상기 복원 이미지에 사용되는 리셰이프 파라미터를 결정하도록 설정된 제2결정모듈;
    결정된 상기 복원 이미지에 사용되는 리셰이프 파라미터를 현재 부호화 이미지의 비트가 소재하는 영상 비트 스트림에 기록하거나 또는 처리할 영상 비트 스트림의 이미지 및/또는 슬라이스 층 데이터 유닛에 기록하도록 설정된 기록 모듈; 을 포함하며,
    상기 제2결정모듈에서, 상기 복원 이미지는 인코더가 리셰이프 작업을 실행하기 전, 현재 부호화 이미지에 대해 복원한 스탠더드 다이내믹 레인지 이미지이거나, 또는 상기 복원 이미지는 처리할 영상 비트 스트림을 복호화하여 얻은 스탠더드 다이내믹 레인지 이미지이며,
    상기 기록 모듈에서, 상기 이미지 및/또는 슬라이스 층 데이터 유닛은 PPS과 다른 이미지 및/또는 슬라이스 층 파라미터 셋, 상기 복원 이미지에 대응되는 AU에 포함되는 파라미터 데이터 유닛, 슬라이스 헤더, 시스템층 이미지 파라미터 데이터 유닛 중의 적어도 하나의 데이터 유닛을 포함하는 이미지 부호화 처리 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
KR1020187022134A 2015-12-31 2016-11-15 이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더 KR102156030B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201511032566.3 2015-12-31
CN201511032566.3A CN106937121B (zh) 2015-12-31 2015-12-31 图像解码和编码方法、解码和编码装置、解码器及编码器
PCT/CN2016/105926 WO2017114016A1 (zh) 2015-12-31 2016-11-15 图像解码和编码方法、解码和编码装置、解码器及编码器

Publications (2)

Publication Number Publication Date
KR20180100368A KR20180100368A (ko) 2018-09-10
KR102156030B1 true KR102156030B1 (ko) 2020-09-16

Family

ID=59224465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022134A KR102156030B1 (ko) 2015-12-31 2016-11-15 이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더

Country Status (6)

Country Link
US (1) US11006134B2 (ko)
EP (2) EP3399752B1 (ko)
JP (1) JP7045317B2 (ko)
KR (1) KR102156030B1 (ko)
CN (1) CN106937121B (ko)
WO (1) WO2017114016A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
CN117082247A (zh) * 2018-02-14 2023-11-17 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
CN113383547A (zh) 2019-02-01 2021-09-10 北京字节跳动网络技术有限公司 环路整形和帧间编解码工具之间的相互作用
WO2020156534A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and intra block copy
KR20230163584A (ko) * 2019-02-28 2023-11-30 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
WO2020177704A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. In-loop filtering in video processing
US20220150481A1 (en) * 2019-03-07 2022-05-12 Lg Electronics Inc. Video or image coding based on luma mapping with chroma scaling
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020192614A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
CN111027448B (zh) * 2019-12-04 2023-05-05 成都考拉悠然科技有限公司 一种基于时域推理图的视频行为类别识别方法
CN115361510A (zh) * 2020-05-08 2022-11-18 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
EP4205395A4 (en) * 2020-12-24 2023-07-12 Huawei Technologies Co., Ltd. CODING WITH FEATURE MAP DATA SIGNALING

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
JP5332773B2 (ja) 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
US8990200B1 (en) * 2009-10-02 2015-03-24 Flipboard, Inc. Topical search system
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
CN105324997B (zh) 2013-06-17 2018-06-29 杜比实验室特许公司 用于增强动态范围信号的分层编码的自适应整形
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
EP3024222A4 (en) * 2013-07-14 2017-01-18 LG Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
KR101839258B1 (ko) 2013-10-14 2018-03-15 나이키 이노베이트 씨.브이. 운동 움직임 속성으로부터의 페이스 및 에너지 지출의 계산
US20150103878A1 (en) 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US20150195574A1 (en) * 2013-11-06 2015-07-09 Arris Enterprises, Inc. Modification of picture parameter set (pps) for hevc extensions
CN104754347B (zh) 2013-12-26 2019-05-17 中兴通讯股份有限公司 视频图像序号的编码、解码方法及装置、电子设备
EP2938084A4 (en) * 2013-12-27 2016-10-26 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP6530854B2 (ja) 2015-07-16 2019-06-12 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒおよび広色域の信号のための信号整形および符号化
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US11277610B2 (en) * 2015-09-23 2022-03-15 Arris Enterprises Llc Single layer high dynamic range coding with standard dynamic range backward compatibility

Also Published As

Publication number Publication date
US11006134B2 (en) 2021-05-11
US20190014331A1 (en) 2019-01-10
JP7045317B2 (ja) 2022-04-01
CN106937121A (zh) 2017-07-07
EP3962085A3 (en) 2022-05-25
JP2019500811A (ja) 2019-01-10
EP3399752B1 (en) 2021-12-22
WO2017114016A1 (zh) 2017-07-06
CN106937121B (zh) 2021-12-10
EP3399752A4 (en) 2019-12-11
KR20180100368A (ko) 2018-09-10
EP3399752A1 (en) 2018-11-07
EP3962085A2 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
KR102156030B1 (ko) 이미지의 복호화 및 부호화 방법, 복호화 및 부호화 장치, 디코더 및 인코더
RU2659748C2 (ru) Синтаксис и семантика для буферизации информации с целью упрощения конкатенации видеоданных
CN110199522B (zh) 编码方法、解码方法和解码设备
CN110650349B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
US20170006285A1 (en) Method and Device for Coding Image and Method and Device for Decoding Image
JP7480170B2 (ja) 画像予測方法、エンコーダー、デコーダー及び記憶媒体
US11477465B2 (en) Colour component prediction method, encoder, decoder, and storage medium
JP2022500890A (ja) ビデオ画像成分の予測方法、装置及びコンピュータ記憶媒体
KR20210135247A (ko) 인 루프 재성형 적응적 재성형기 방향
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
KR20230025879A (ko) 신경 네트워크 기반 인트라 예측 모드에 대한 변환 프로세스의 적응
US20140044167A1 (en) Video encoding apparatus and method using rate distortion optimization
US20220014765A1 (en) Method for picture prediction, encoder, decoder, and storage medium
KR102129870B1 (ko) 동영상 압축 장치 및 방법
US20240236378A1 (en) Encoding method, decoding method, and decoder
JP2024510433A (ja) ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク
JP2024147829A (ja) 画像予測方法、エンコーダ、デコーダ及び記憶媒体
KR20230157975A (ko) 딥러닝 기반 yuv 비디오 압축을 위한 모션 흐름 코딩
CN113412621A (zh) 图像分量的预测方法、编码器、解码器及计算机存储介质
JP2013192024A (ja) 映像送信装置およびそのプログラム、ならびに、映像受信装置およびそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant