KR20180098117A - 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스 - Google Patents

디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20180098117A
KR20180098117A KR1020170172832A KR20170172832A KR20180098117A KR 20180098117 A KR20180098117 A KR 20180098117A KR 1020170172832 A KR1020170172832 A KR 1020170172832A KR 20170172832 A KR20170172832 A KR 20170172832A KR 20180098117 A KR20180098117 A KR 20180098117A
Authority
KR
South Korea
Prior art keywords
parameters
image data
image
parameter
lost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170172832A
Other languages
English (en)
Other versions
KR102458747B1 (ko
Inventor
피에르 앙드리봉
다비 뚜즈
니꼴라 까라멜
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP17305212.7A external-priority patent/EP3367684A1/en
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180098117A publication Critical patent/KR20180098117A/ko
Application granted granted Critical
Publication of KR102458747B1 publication Critical patent/KR102458747B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 원리들은 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (
Figure pat00103
) 로부터 오리지널 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성 (101) 하기 위한 방법 또는 디바이스에 관한 것이고, 상기 파라미터들은 상기 오리지널 이미지 데이터 (I1) 로부터 프로세싱되고, 상기 방법은:
- 상기 파라미터들이 손실, 손상되는지 또는 그래픽 또는 오버레이가 추가될 디코딩된 이미지 데이터와 정렬되지 않는지를 검사하는 단계 (102);
- 상기 파라미터들 중 적어도 하나가 손실, 손상되거나 또는 그래픽 또는 오버레이가 추가될 디코딩된 이미지 데이터와 정렬되지 않을 때,
- 상기 파라미터들이 프로세싱되었던 방법을 나타내는 정보 데이터 (ID, 103) 에 따라 복구 모드 (RMi) 를 선택하는 단계 (104); 및
- 선택된 복구 모드 (RMi) 를 적용하는 것에 의해 상기 적어도 하나의 손실, 손상되거나 또는 정렬되지 않는 파라미터를 복구하는 단계 (105) 로서, 그 후 이미지 데이터 (I3) 의 상기 재구성이 상기 복구된 파라미터들을 고려하여 행해지는 (12), 상기 파라미터를 복구하는 단계를 포함하는 것을 특징으로 한다.

Description

디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR RECONSTRUCTING IMAGE DATA FROM DECODED IMAGE DATA}
본 원리들은 일반적으로 디코딩된 이미지/비디오 데이터로부터의 이미지/비디오 재구성에 관한 것이다. 보다 구체적으로, 그러나 비배타적으로, 본 원리들의 기술 분야는 다른 이미지로부터 이미지를 재구성하는 파라미터들을 복구하는 것에 관한 것이다.
본 섹션은 하기에 기재되고 및/또는 청구되는 본 원리들의 다양한 양태들에 관련될 수도 있는, 다양한 기술의 양태들을 독자에게 소개하기 위해 의도된다. 이 논의는 본 원리들의 다양한 양태들을 더 잘 이해하기 쉽게 하기 위해 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이 서술들은 이러한 점에서 읽혀져야 하며, 종래 기술의 허용들로서가 아님을 이해해애 한다.
다음에 있어서, 이미지 데이터는 이미지 (또는 비디오) 의 픽셀 값들에 대한 모든 정보 및 예를 들어 이미지 (또는 비디오) 를 시각화하고 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 디바이스에 의해 사용될 수도 있는 모든 정보를 특정하는 특정 이미지/비디오 포맷에서의 샘플들 (픽셀 값들) 의 하나 또는 몇몇 어레이들을 지칭한다. 이미지는 보통 이미지의 루미넌스 (또는 루마) 를 나타내는 샘플들의 제 1 어레이의 형상에서의 제 1 컴포넌트, 및 보통 이미지의 컬러 (또는 크로마) 를 나타내는 샘플들의 다른 어레이들의 형상에서의 제 2 및 제 3 컴포넌트를 포함한다. 또는, 동등하게, 동일한 정보가 전형적인 트리-크로마틱 RGB 표현과 같은, 컬럼 샘플들의 어레이들의 세트에 의해 또한 표현될 수도 있다.
픽셀 값은 C 값들의 벡터에 의해 나타내며, 여기서 C 는 컴포넌트들의 수이다. 벡터의 각 값은 픽셀 값들의 최대 동적 범위를 정의하는 비트들의 수로 나타낸다.
표준 동적 범위 이미지들 (SDR 이미지들) 은 루미넌스 값들이 제한된 수의 비트들 (통상적으로 8) 로 표현되는 이미지들이다. 이러한 제한된 표현은 특히, 다크 및 브라이트 루미넌스 범위들에서, 작은 신호 변화들의 정확한 렌더링을 허용하지 않는다. 높은 동적 범위 이미지 (HDR 이미지들) 에 있어서, 신호 표현은 그 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 확장된다. HDR 이미지들에 있어서, 루미넌스 레벨들을 나타내는 픽셀 값들은 보통 플로팅 포인트 포맷 (통상적으로 컴포넌트 당 적어도 10 비트, 즉 플로트 또는 하프 플로트), 가장 인기있는 포맷인 오픈EXR 하프 플로트 포맷 (RGB 컴포넌트 당 16 비트, 즉 픽셀 당 48 비트) 으로, 또는 긴 표현, 통상적으로 적어도 16 비트를 갖는 정수들로 나타낸다.
고효율 비디오 코딩 (HEVC) 표준 (ITU-T H.265, ITU 의 텔레통신 표준화 부문 (10/2014), 시리즈 H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, 권고 (Recommendation) ITU-T H.265) 의 도입은, 울트라 HD 브로드캐스트 서비스들과 같은, 강화된 뷰잉 경험을 갖는 새로운 비디오 서비스들의 전개를 가능하게 한다. 증가된 공간 해상도에 부가하여, 울트라 HD 는 현재 개발된 표준 동적 범위 (SDR) HD-TV 보다 더 넓은 컬러 가뮤트 (wider color gamut)(WCG) 및 더 높은 동적 범위 (HDR) 를 가져올 수 있다. HDR/WCG 비디오의 코딩 및 표현을 위한 상이한 솔루션들이 제안되고 있다 (SMPTE 2014, "High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays", 또는 SMPTE ST 2084, 2014, 또는 Diaz, R., Blinstein, S. 및 Qu, S. "Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline", SMPTE Motion Imaging Journal, Vol. 125, Issue 1. Feb, 2016, pp 14-21).
디코딩 및 렌더링 디바이스들과의 SDR 역방향 호환성은 브로드캐스팅 또는 멀티캐스팅 시스템들과 같은 일부 비디오 배포 시스템들에서 중요한 피처이다.
단일 계층 코딩/디코딩 프로세스에 기초한 솔루션은 역방향 호환가능, 예를 들어 SDR 호환가능할 수도 있고, 이미 가동중인 레거시 배포 네트워크들 및 서비스들을 레버리지할 수도 있다.
그러한 단일 계층 기반 배포 솔루션은, HDR-인에이블형 소비자 전자장치 (CE) 디바이스들 상에서 고품질 HDR 렌더링을 가능하게 하면서, 또한 SDR-인에이블형 CE 디바이스들 상에서 고품질 SDR 렌더링을 제공한다.
그러한 단일 계층 기반 배포 솔루션은, 디코딩된 신호, 예를 들어 SDR 신호로부터, 또 다른 신호, 예를 들어 HDR 신호를 재구성하기 위해 사용될 수 있는 인코딩된 신호, 예를 들어 SDR 신호, 및 (비디오 프레임 또는 장면 당 몇 바이트의) 연관된 메타데이터를 생성한다.
메타데이터는 신호의 재구성을 위해 사용된 파라미터 값들을 저장하였고 정정이거나 동적일 수도 있다. 정적 메타데이터는 비디오 (또는 이미지들의 세트) 및/또는 프로그램에 대해 동일한 상태를 유지하는 메타데이터를 의미한다.
정적 메타데이터는 전체 비디오 콘텐츠 (장면, 무비, 클립...) 에 대해 유효하고 이미지 콘텐츠에 의존하지 않을 수도 있다. 이들은, 예를 들어 이미지 포맷 또는 컬러 스페이스, 컬러 가뮤트를 정의할 수도 있다. 가령, SMPTE ST 2086:2014, "Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images" 는 제작 여건에서 사용하기 위한 그러한 정적 메타데이터의 종류이다. 마스터링 디스플레이 컬러 볼륨 (MDCV) SEI (보충 강화 정보) 메시지는, H.264/AVC ("Advanced video coding for generic audiovisual Services", 시리즈 H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, 권고 ITU-T H.264, ITU 의 텔레통신 표준화 부문, 2012 년 1월) 및 HEVC 비디오 코덱들 양자 모두에 대한 ST 2086 의 배포 플레이버 (flavor) 이다.
동적 메타데이터는, 예를 들어 각각의 이미지 또는 이미지들의 각각의 그룹에 대해 이미지/비디오 콘텐츠에 의해 변화할 수 있는 콘텐츠 의존형이다. 일 예로서, SMPTE ST 2094:2016 표준 패밀리들, "Dynamic Metadata for Color Volume Transform" 은 제작 여건에서 사용하기 위한 동적 메타데이터이다. SMPTE ST 2094-30 는 컬러 재맵핑 정보 (CRI) SEI 메시지 덕분에 HEVC 코딩된 비디오 스트림을 따라 배포될 수 있다.
다른 단일 계층 기반 배포 솔루션들은, 디스플레이 적응 동적 메타데이터가 레거시 비디오 신호와 함께 전달되는 배포 네트워크들 상에 존재한다. 이들 단일 계층 기반 배포 솔루션들은, HDR-10 비트 이미지 데이터 (예를 들어, 신호가 Rec. ITU-R BT.2100-0 "권고 ITU-R BT.2100-0, Image parameter values for high dynamic range television for use in production and international program exchange" 에서 특정된 바와 같은 HLG10 또는 PQ10 로서 표현되는 이미지 데이터) 및 입력 신호 (통상적으로 12 또는 16 비트) 로부터 연관된 메타데이터를 생성하고, 예를 들어 HEVC 메인 10 프로파일 인코딩 스킴을 사용하여 상기 HDR 10 비트 이미지 데이터를 인코딩하며, 상기 연관된 메타데이터 및 디코딩된 비디오 신호로부터 비디오 신호를 재구성할 수도 있다. 재구성된 신호의 동적 범위는 타겟 디스플레이의 특징들에 의존할 수도 있는 연관된 메타데이터에 따라 적응된다.
실제적인 실세계 재생 및 배포에서의 동적 메타데이터 송신은 스플라이싱, 오버레이 층들 삽입, 비트스트림을 프루닝하는 전문적인 장비, 제휴사들에 의한 스트림 핸들링, 및 포스트 제조 / 전문적인 플랜트에 걸쳐 메타데이터의 반송을 위한 표준화의 현재 결여로 인하여 보장이 어렵고 손실 또는 손상되는 것이 가능할 수도 있다.
단일 레이어 기반의 배포 솔루션들은 다양한 동적 메타데이터의 존재 없이는 동작할 수 없는데, 이들 중 일부는 비디오 신호 재구성의 성공을 보장하는데 중요하다.
동적 메타데이터가 그래픽들 또는 오버레이가 추가되는 이미지와 정렬되지 않는 경우에도 또한 유사한 문제가 발생할 수 있다. 예를 들어 이는 그래픽들 (오버레이, OSD, ...) 이 배포 체인 외부의 이미지에 삽입 (추가) 될 때 그래픽이 이미지에 삽입 (추가) 되면 상기 이미지에 대해 연산된 메타데이터가 또한 적용되기 때문에 발생한다. 그 후, 메타데이터는 그래픽 또는 오버레이가 추가되는 이미지와 정렬되지 않는 것으로 간주되는데, 그 이유는 이들이 그래픽 또는 오버레이를 포함하는 상기 이미지의 부분에 적용되지 않을 수 있기 때문이다.
이들 문제는 디코딩된 이미지가 시간이 지남에 따라 디스플레이될 때 그래픽의 고정된 부분 상에 플리커링되는 이미지에 의해 또는 부적절한 메타데이터 (예를 들어, 다크 컨텐츠를 위해 생성된 메타데이터에 의해 프로세싱된 밝은 OSD) 로 프로세싱된 그래픽 또는 오버레이를 포함하는 이미지 부분에 바람직하지 않은 영향 (포화도, 클리핑 등 ...) 으로 특징지어질 수도 있다.
다음은 본 원리들의 일부 양태들의 기본적인 이해를 제공하기 위해서 본 원리들의 간략화된 개요를 제시한다. 이 개요는 본 원리들의 폭넓은 개관이 아니다. 이것은 본 원리들의 핵심적인 또는 중요한 엘리먼트들을 식별하려는 것으로 의도되지 않는다. 다음의 개요는 단지 하기에 제공되는 더 상세한 설명에 대한 서두로서 간략화된 형태로 본 원리들의 일부 양태들을 제시한다.
종래 기술의 결점들 중 적어도 하나를 개선하기 위해 착수된 본 원리들은, 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터로부터 오리지널 이미지 데이터를 나타내는 이미지 데이터를 재구성하기 위한 방법 및 디바이스로 취해지며, 상기 파라미터들은 상기 오리지널 이미지 데이터로부터 프로세싱되었다.
상기 방법은:
- 상기 파라미터들이 손실, 손상되는지 또는 그래픽 또는 오버레이가 추가되는 디코딩된 이미지 데이터와 정렬되지 않는지를 검사하는 단계;
- 상기 파라미터들 중 적어도 하나가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되는 디코딩된 이미지 데이터와 정렬되지 않을 때,
- 상기 파라미터들이 프로세싱되었던 방법을 나타내는 정보 데이터에 따라 복구 모드를 선택하는 단계; 및
- 선택된 복구 모드를 적용하는 것에 의해 상기 적어도 하나의 손실, 손상되거나, 또는 정렬되지 않는 파라미터를 복구하는 단계로서, 그 후 이미지 데이터의 상기 재구성이 복구된 상기 파라미터들을 고려하여 행해지는, 상기 파라미터를 복구하는 단계를 포함한다.
일 실시형태에 따르면, 정보 데이터는 비트스트림에서 신택스 엘리먼트에 의해 명시적으로 시그널링된다.
일 실시형태에 따르면, 정보 데이터 (ID) 는 묵시적으로 (implicitly) 시그널링된다.
일 실시형태에 따르면, 정보 데이터는 파라미터들을 프로세싱하기 위해 오리지널 이미지 데이터에 적용되는 프로세싱이 무엇인지를 식별한다.
일 실시형태에 따르면, 파라미터는 파라미터가 비트스트림으로부터 취출되지 않을 때 손실된 것으로서 고려된다.
일 실시형태에 따르면, 파라미터는 다음 조건들 중 적어도 하나가 충족될 때 손상된 것으로서 간주된다.
- 그 값이 값들의 범위 밖에 있다;
- 상기 파라미터는 다른 파라미터 값들에 따라 코히어런트 값을 갖지 않는다;
일 실시형태에 따르면, 복구 모드는 파라미터들 중 일부만이 손상없이, 손실되거나 또는 그래픽 또는 오버레이가 추가되는 디코딩된 이미지 데이터와 정렬되지 않는 경우에도 복구된 파라미터들로 모든 파라미터들을 대체하는 것이다.
일 실시형태에 따르면, 복구 모드는 각각의 손실, 손상되거나, 또는 정렬되지 않는 파라미터들을 복구된 파라미터로 대체하는 것이다.
일 실시형태에 따르면, 복구 모드는 손실, 손상되거나, 또는 정렬되지 않는 파라미터를, 이전에 저장된 미리정해진 파라미터 값들의 세트 중 소정 값으로 대체하는 것이다.
일 실시형태에 따르면, 복구 모드는 오리지널 이미지 데이터, 또는 오리지널 이미지 데이터 또는 재구성될 이미지 데이터를 그레이드하는데 이용되는 마스터링 디스플레이 중 적어도 하나의 특징, 또는 재구성된 이미지 데이터 또는 타겟 디스플레이 중 적어도 하나의 특징에 따라 선택된다.
이들 양태들의 다른 것에 따라, 본 원리들은 또한 위의 방법을 구현하는 수단을 포함하는 디바이스, 및 프로그램이 컴퓨터 상에서 실행될 때 위의 방법의 단계들을 실행하는 프로그램 코드 명령들을 갖는 비일시적 프로세서 판독가능 매체에 관련된다.
도면들에서, 본 원리들의 예들이 도시된다. 그것은 다음을 나타낸다:
- 도 1 은 본 원리들의 일 예에 따라 디코딩된 이미지 (
Figure pat00001
) 로부터 오리지널 이미지를 나타내는 이미지 (I3) 를 재구성하는 방법의 단계들의 다이어그램을 도시한다;
- 도 2 는 본 원리들의 일 예에 따라 HDR 및 SDR 인에이블형 CE 디스플레이들에 대한 컨텐츠 생성 및 전달을 지원하는 단-대-단 워크플로우를 도시한다;
- 도 3 은 본 원리들의 일 실시형태에 따라 도 2 의 단-대-단 워크플로우의 변형예를 도시한다;
- 도 4 는 본 원리들의 다른 실시형태에 따라 도 2 의 단-대-단 워크플로우의 변형예를 도시한다;
- 도 5a 는 지각 전달 함수의 예시를 도시한다.
- 도 5b 는 맵핑을 위해 사용된 구간 (piece-wise) 곡선의 일 예를 도시한다.
- 도 5c 는 신호를 선형 광 도메인으로 역 변환하기 위해 사용된 곡선의 일 예를 도시한다.
- 도 6 은 본 원리의 일 예에 따라 및 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터로부터 이미지를 재구성하는 방법의 이용의 다른 예를 도시한다; 및
- 도 7 은 본 원리들의 일 예에 따른 디바이스의 아키텍처의 일 예를 도시한다.
유사하거나 동일한 엘리먼트들은 동일한 참조 번호들로 언급된다.
이하, 본 원리들이 나타나 있는 첨부 도면들을 참조하여 본 원리들이 충분히 기재될 것이다. 하지만, 본 원리들은, 많은 대안의 형태들로 구현될 수도 있고 본 명세서에 기술된 예들에 제한되는 것으로 해석되지 않아야 한다. 따라서, 본 원리들이 다양한 수정들 및 대안의 형태들에 영향을 받기 쉽지만, 그 특정 예들은 도면들에서 예시들로서 나타내며 본 명세서에서 상세하게 기재될 것이다. 하지만, 본 원리들을 개시된 특정 형태들에 제한하려는 의도는 없지만, 대조적으로 개시물은 청구항들에 의해 정의된 바와 같이 본 원리들의 사상 및 범위 내에 포함되는 모든 수정들, 등가물들, 및 대안들을 커버하는 것임을 이해해야 한다.
본 명세서에서 사용된 전문용어는 특정 예들만을 기술하기 위한 목적이고 본 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에서 사용된 바와 같이, 단수 형태들 "a", "an" 및 "the" 는 문맥이 달리 명백히 나타내지 않으면, 또한 복수 형태들을 포함하는 것으로 의도된다. 용어들 "포함하다 (comprise)", "포함하는 (comprising)", "포함하다 (include)" 및/또는 "포함하는 (including)" 은 이 명세서에서 사용될 때 언급된 피처들, 정수들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들을 특정하지만, 하나 이상의 다른 피처들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그 그룹들의 존재 또는 부가를 제외시키지 않음을 또한 이해할 것이다. 또한, 엘리먼트가 또 다른 엘리먼트에 대해 "응답적인" 또는 "접속된" 으로 지칭될 때, 다른 엘리먼트들에 직접 응답적이거나 접속될 수 있으며, 또는 중개 엘리먼트들이 존재할 수도 있다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접 응답적인" 또는 "직접 접속된" 으로 지칭될 때, 중개 엘리먼트들이 존재하지 않는다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는" 은 연관된 열거된 아이템들 중 하나 이상의 임의의 것 그리고 모든 조합들을 포함하고 "/" 로서 축약될 수도 있다.
용어들, 제 1, 제 2, 등등은 본 명세서에서 다양한 엘리먼트들을 기재하기 위해 사용될 수도 있지만, 이 엘리먼트들이 이 용어들에 의해 제한되지 않아야 함을 이해할 것이다. 이 용어들은 단지 또 하나의 엘리먼트를 다른 것과 구별하기 위해서만 사용된다. 예를 들어, 제 1 엘리먼트는 제 2 엘리먼트로 칭할 수 있으며, 유사하게 제 2 엘리먼트는 본 원리들의 교시들을 벗어나지 않으면서 제 1 엘리먼트를 지칭할 수 있다.
다이어그램들의 일부는 통신의 주요 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하지만, 통신은 도시된 화살표와 반대 방향으로 발생할 수도 있음을 이해한다.
일부 예들은 블록 다이어그램들 및 동작 플로우차트들에 관하여 기재되며, 여기서 각각의 블록은 회로 엘리먼트, 모듈, 또는 특정된 논리 함수(들)을 구현하기 위한 하나 이상의 실행가능 명령들을 포함하는 코드의 부분을 나타낸다. 또한, 다른 구현들에서, 블록들에서 언급된 기능(들) 은 언급된 순서와 달리 발생할 수도 있음을 유의해야 한다. 예를 들어, 연속적으로 나타낸 2 개의 블록들은, 사실상 수반된 기능성에 의존하여, 때때로 반대 순서로 실행될 수도 있고 또는 실질적으로 동시에 실행될 수도 있다.
본 명세서에서, "일 예에 따라" 또는 "일 예에서" 에 대한 언급은, 그 예와 관련하여 기재되는 특정 피처, 구조, 또는 특징이 본 원리들의 적어도 하나의 구현에 포함될 수 있음을 의미한다. 명세서의 다양한 곳에 있는 구절 "일 예에 따라" 또는 "일 예에서" 의 표현이 반드시 모두 동일한 예를 지칭하는 것도 아니고, 또한 반드시 다른 예들에 상호 배타적인 별도의 또는 대안의 예들을 지칭하는 것도 아니다.
청구항들에서 나타나는 참조 번호들은 단지 예시를 위해서이며 청구항들의 범위를 제한하는데 영향을 미치지 않는다.
명시적으로 기재되지는 않았지만, 본 예들 및 변형들은 임의의 조합 또는 하위 조합에서 채용될 수도 있다.
다음에서, 대문자 부호들, 예를 들어 (C1, C2, C3) 은 제 1 이미지의 컴포넌트들을 지정하고, 소문자 부호들, 예를 들어 (c1, c2, c3) 는 루미넌스의 동적 범위가 제 1 이미지의 루미넌스의 동적 범위보다 더 작은 또 다른 이미지의 컴포넌트들을 지정한다.
이미지의 루미넌스의 동적 범위는 상기 이미지의 루미넌스 값들의 최대 대 최소 사이의 비율이다. 통상적으로, SDR 이미지의 루미넌스의 동적 범위는 HDR 이미지에 대해 500 (100cd/m2 대 0.2cd/m2) 및 10000 (1000 cd/m2 대 0.1 cd/m2).
다음에서, 프라임 심볼들, 예를 들어, (
Figure pat00002
) 는, 이들 프라임 심볼들이 대문자 부호들일 때 제 1 이미지의 감마-압축된 컴포넌트들을 지정하고, 프라임 부호들, 예를 들어 (y',u',v') 는 이들 프라임 심볼들이 소문자 부호들일 때 제 2 이미지의 감마-압축된 컴포넌트들을 지정한다.
본 원리들은 이미지를 코딩/디코딩/재구성하기 위해 기재되지만, 이미지들 (비디오들) 의 시퀀스의 코딩/디코딩/재구성으로 확장하는데, 이는 시퀀스의 각각의 이미지가 하기에 기재되는 바와 같이 순차적으로 인코딩되고/디코딩되고/재구성되기 때문이다.
도 1 은 본 원리들의 일 예에 따라 디코딩된 이미지 (
Figure pat00003
) 로부터 오리지널 이미지 (I1) 를 나타내는 이미지 (I3) 를 재구성하는 방법의 단계들의 다이어그램을 도시한다.
단계 10 에서, 파라미터들의 세트 (SP) 가 이미지(I3) 를 재구성하기 위해 획득된다. 적어도 하나의 파라미터 (P) 가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되어진 디코딩된 이미지 (
Figure pat00004
) 와 정렬되지 않을 때 이들 파라미터들은 비트스트림 (B) 으로부터 획득된 파라미터들 (P) 이거나, 또는 복구된 파라미터들 (Pr) 이다.
단계 11 에서, 모듈 (M1) 은 디코딩된 이미지 (
Figure pat00005
) 를 획득하고 단계 12 에서, 모듈 (M2) 은 파라미터들의 세트 (SP) 를 이용하는 것에 의해 디코딩된 이미지 (
Figure pat00006
) 로부터 이미지 (I3) 를 재구성한다.
디코딩된 이미지 데이터 (
Figure pat00007
) 는 비트스트림 (신호) B 또는 임의의 다른 비트스트림으로부터 획득되고, 가능하다면, 상기 비트스트림들은 로컬 메모리 또는 임의의 다른 저장 매체 상에 저장될 수도 있다.
(단계 10 의) 서브-단계 101 에서, 모듈 (M3) 은 이미지 (I3) 를 재구성하기 위해 필요한 파라미터들 (P) 을 획득한다.
(단계 10 의) 서브-단계 102 에서, 모듈 (M4) 은 파라미터들 (P) 중 적어도 하나가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되어진 디코딩된 이미지 (
Figure pat00008
) 와 정렬되지 않는지를 검사한다.
파라미터 (P) 중 어느 것도 손실, 손상되지 않은 것이 아니고 또는 그래픽 또는 오버레이가 추가되는 디코딩된 이미지 (
Figure pat00009
) 와 정렬되지 않는 것이 아닐 때, 파라미터들의 세트 (SP) 는 그 파라미터들 (P) 만을 포함한다.
(단계 10 의) 서브-단계 103 에서 파라미터들 (P) 중 적어도 하나가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되어진 디코딩된 이미지 (
Figure pat00010
) 와 정렬되지 않을 때, 모듈 (M5) 은 (단계 10 의) 서브-단계 104 에서 상기 파라미터들이 어떻게 프로세싱되었는지를 나타내는 정보 데이터 (ID) 를 획득하고, 모듈 (M6) 은 상기 정보 데이터 (ID) 에 따라 복구 모드 (RMi) 를 선택하고, 그리고 (단계 10 의) 서브-단계 105 에서 모듈 (M7) 은 선택된 복구 모드 (RMi) 를 적용하는 것에 의해 상기 적어도 하나의 손실, 손상되거나, 또는 정렬되지 않는 파라미터를 복구한다. 적어도 하나의 복구된 파라미터 (Pr) 는 파라미터들의 세트 (SP) 에 추가된다.
단계 12 에서, 그 후, 이미지 (I3) 는 상기 적어도 하나의 복구된 파라미터 (Pr) 를 고려하여 재구성된다.
본 방법은 다수의 단일 계층 기반 배포 솔루션들이 파라미터들의 공통 세트를 반송하기 위하여 신택스 엘리먼트들의 동일한 세트를 공유할 때 그리고 상기 단일 계층 기반 배포 솔루션들이 손실, 손상되거나, 또는 정렬되지 않는 파라미터들을 복구하기 위하여 상이한 복구 모드들 (프로세스) 을 요구할 때 단일 계층 기반 배포 솔루션을 위한 파라미터들을 획득하는 것을 허용하고 이에 따라 상기 단일 계층 기반 배포 솔루션의 각각에 대한 이미지 (I3) 의 재구성의 성공을 보장하기 때문에, 유익하다.
본 방법은 또한 방법이 비정렬 파라미터들을 디코딩된 이미지 (I2) 더하기 그래픽 (또는 오버레이) 에 적응된 파라미터들로 대체하도록 특정 복구 모드를 선택하고, 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 (
Figure pat00011
) 로부터 복구된 상기 파라미터들을 이용하는 것에 의해 이미지 (I3) 를 재구성하여, 재구성된 이미지 품질에 영향을 주는 일부 플리커링 아트팩트들 또는 원하지 않는 효과들을 방지하기 때문에, 통상적으로 셋톱박스 또는 플레이어인 CE 디바이스가 디코딩된 이미지 (
Figure pat00012
) 상단에 그래픽을 삽입할 때 유익하다.
도 1 을 참조하여 설명된 방법은 이미지가 디코딩된 이미지로부터 재구성되어야 할 때 여러 애플리케이션들에 이용될 수도 있다.
도 2 는 본 원리들의 일 예에 따라 컨텐츠 생성, 및 HDR 및 SDR 인에이블형 CE 디스플레이들로의 전달을 지원하는 단-대-단 워크플로우를 도시한다.
이러한 워크플로우는 연관된 메타데이터를 갖는 단일 계층 기반 배포 솔루션을 수반하고, 도 1 에 예시된 본 원리들의 일 예에 따라 획득된 디코딩된 이미지 데이터 (
Figure pat00013
) 및 파라미터들의 세트 (SP) 로부터 오리지널 이미지 데이터 (I1) 를 나타내는 이미지 (I3) 를 재구성하기 위한 방법의 사용의 일 예를 도시한다.
기본적으로, 이 단일 계층 기반 배포 솔루션은 프리-프로세싱 부분 및 포스트-프로세싱 부분을 포함한다.
프리 프로세싱 부분에서, 프리 프로세싱 스테이지 (20) 는 파라미터들의 세트 (SP) 및 출력 이미지 (I12) 에서 오리지널 이미지 (I1) 를 분해하고, 스위칭 단계 (24) 는 오리지널 이미지 (I1) 또는 출력 이미지 (I12) 가 비트스트림 (B) 에서 인코딩되는지 (단계 23) 를 결정한다.
단계 23 에서, 이미지 (I2) 는 임의의 레거시 비디오 코덱으로 인코딩될 수도 있고 비트스트림 (B) 은 비트스트림 (B) 에 임베딩되거나 특정 채널 상에서 전달되는 연관된 메타 데이터 (파라미터들의 세트 (SP)) 를 동반하는 기존 레거시 배포 네트워크 전체에 걸쳐 반송된다.
변형에 있어서, 메타데이터를 동반하는 비트스트림 (B) 은 예를 들어, 셋-톱-박스의 메모리 또는 레지스터와 같은 저장 매체 상에 저장된다.
변형에 있어서, 동반하는 연관된 메타데이터는 또 다른 특정 채널에 의해 반송되고 별도의 저장 매체 상에 저장된다.
바람직하게, 비디오 코덱은 H.265/HEVC 코덱 (ITU-T H.265, ITU 의 텔레통신 표준화 부문 (10/2014), 시리즈 H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, 권고 ITU-T H.265) 또는 H.264/AVC ("Advanced video coding for generic audiovisual Services", 시리즈 H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, 권고 ITU-T H.264, ITU 의 텔레통신 표준화 부문, 2012 년 1월) 로 코딩된다.
정보 데이터 (ID) 가 단계 23 에서 오리지널 이미지 (I1)(가능하게 컴포넌트들 (C1, U', V') 또는 Y'CbCr 4:2:0 PQ10 또는 HLG10 비디오 신호로 나타냄) 가 인코딩되는 것을 결정하는 경우, 상기 오리지널 이미지 (I1) 는 HEVC 메인 10 프로파일로 인코딩될 수도 있다.
정보 데이터 (ID) 가 단계 23 에서 출력 이미지 (I12) 가 인코딩되는 것을 결정하는 경우, Y'CbCr 4:2:0 감마 전달 특징 (표준 동적 범위) 신호로서 표현될 수 있는 출력 이미지 (I12) 는 메인 10 또는 메인 프로파일들을 포함하는 임의의 HEVC 프로파일로 인코딩될 수도 있다.
정보 데이터 (ID) 는 연관된 메타데이터로서 또한 전달될 수도 있다 (단계 23). 포스트 프로세싱 부분에서, 디코딩된 이미지 (
Figure pat00014
) 는 비트스트림 (B) 로부터 획득되고 (단계 11), 파라미터들의 세트 (SP) 는 도 1 에서 설명된 바와 같이 획득되며 (단계 10), 그리고 프리 프로세싱 스테이지 (20) 의 기능적 반전인, 포스트 프로세싱 스테이지 (12) 는 디코딩된 이미지 (
Figure pat00015
) 및 파라미터들의 세트 (SP) 로부터 이미지 (I3) 를 재구성한다.
이러한 단일 계층 기반 배포 솔루션은 또한 옵션의 포맷 적응 단계들 (21, 22, 25, 26) 을 포함할 수도 있다.
예를 들어, 단계 21 (옵션) 에서, 오리지널 이미지 (I1) 의 포맷은 프리 프로세싱 스테이지 (20) 의 입력의 특정 포맷 (C1,U',V') 에 적응될 수도 있고, 단계 22 (옵션) 에서, 출력 이미지 (I12) 의 포맷 (c, u', v') 은 또한 인코딩 전에 특정 출력 포맷에 적응될 수도 있다. 단계 25 에서, 디코딩된 이미지 (
Figure pat00016
) 의 포맷은 포스트 프로세싱 스테이지 (12) 의 입력의 특정 포맷에 적응될 수도 있고, 단계 26 에서, 이미지 (I3) 는 타겟 장치 (예를 들어, 셋-톱-박스, 접속된 TV, HDR/SDR 인에이블형 CE 디바이스, 블루-레이 디스크 플레이어) 의 적어도 하나의 특징에 적응될 수도 있고, 및/또는 역 가뮤트 맵핑은 디코딩된 이미지 (
Figure pat00017
) 및 이미지 (I3) 또는 오리지널 이미지 (I1) 가 상이한 컬러 스페이스 및/또는 가뮤트에서 표현될 때 사용될 수도 있다.
상기 포맷 적응 단계들 (21, 22, 25, 26) 은 컬러 스페이스 변환 및/또는 컬러 가뮤트 맵핑을 포함할 수도 있다. RGB-투-YUV 또는 YUV-투-RGB 변환, BT.709-투-BT.2020 또는 BT.2020-투-BT.709, 다운 샘플링 또는 업 샘플링 크로마 컴포넌트들 등과 같은 통상의 포맷 적응 프로세스들이 사용될 수도 있다. 잘 알려진 YUV 컬러 스페이스는 또한 종래 기술에서 잘 알려진 YCbCr 를 지칭함을 유의한다. 권고 ETSI 권고 ETSI TS 103 433 V1.1.1, 릴리즈 2016-8 의 부록 E 는 포맷 적응 프로세스들 및 역 가뮤트 맵핑 (부록 D) 의 일 예를 제공한다.
상기 입력 포맷 적응 단계 21 은 또한, 오리지널 이미지 (I1) 의 비트 심도를, 예를 들어 오리지널 이미지 (I1) 상에 전달 함수를 적용하는 것에 의해, 10 비트와 같은 특정 비트 심도로 적응하는 것을 포함할 수도 있다. 예를 들어, PQ 또는 HLG 전달 함수가 사용될 수도 있다 (Rec. ITU-R BT.2100-0).
더 상세하게, 프리 프로세싱 스테이지 (20) 는 단계들 (200-202) 를 포함한다.
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (c1) 는 오리지널 이미지 (I1) 의 제 1 컴포넌트 (C1) 을 맵핑하는 것에 의해 획득된다:
Figure pat00018
식 중, TM 은 맵핑 함수이다. 맵핑 함수 (TM) 은 오리지널 이미지 (I1) 의 루미넌스의 동적 범위를 감소시키거나 증가시킬 수도 있고, 그 역은 이미지의 루미넌스의 동적 범위를 증가시키거나 감소시킬 수도 있다.
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (c1) 에 따라 오리지널 이미지 (I1) 의 제 2 및 제 3 컴포넌트들 (U', V') 를 보정하는 것에 의해 도출된다.
크로마 컴포넌트들의 보정은 맵핑의 파라미터들을 튜닝하는 것에 의해 제어하에서 유지될 수도 있다. 따라서 컬러 포화도 및 휴 (hue) 가 제어 하에 있다.
단계 201 의 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (U' 및 V') 은, 값이 제 1 컴포넌트 (c1) 에 의존하는, 스케일링 함수
Figure pat00019
에 의해 도출된다.
수학적으로 말하면, 제 2 및 제 3 컴포넌트들 (u', v') 은 다음으로 주어진다:
Figure pat00020
옵션으로, 단계 202 에서, 제 1 컴포넌트 (c1) 는 다음과 같이, 인지된 포화도를 추가로 제어하도록 조정될 수도 있다:
Figure pat00021
식 중, a 및 b 는 파라미터들의 세트 (SP) 중 2 개의 파라미터들이다.
이 단계 202 는 오리지널 이미지 (I1) 의 컬러들과 출력 이미지 (I12) 의 컬러들 사이에서 인지된 컬러 매칭을 보장하기 위해 출력 이미지 (I12) 의 루미넌스를 제어하도록 허용한다.
파라미터들의 세트 (SP) 는 맵핑 함수 (TM) 또는 그 역 (ITM), 스케일링 함수
Figure pat00022
에 대한 파라미터들을 포함할 수도 있다. 이 파라미터들은 동적 메타데이터와 연관되고, 비트스트림, 예를 들어, 비트스트림 (B) 에서 반송된다. 파라미터들 (a 및 b) 는 또한 비트스트림에서 반송될 수도 있다.
더 상세하게, 단계 10 에서의 포스트 프로세싱 부분에서, 파라미터들의 세트 (SP) 가 도 1 에 설명된 바와 같이 획득된다.
단계 10 의 일 실시형태에 따라, 파라미터들의 세트 (SP) 는 비트스트림 (B) 를 포함하는, 비트스트림으로부터 또는 특정 채널로부터 획득된 정적/동적 메타데이터에 의해 반송되고, 가능하게는 저장 매체에 저장한다.
단계 11 에서, 모듈 (M1) 은 비트스트림 (B) 를 디코딩하는 것에 의해 디코딩된 이미지 (
Figure pat00023
) 를 획득하고, 디코딩된 이미지 (
Figure pat00024
) 는 그 후 SDR 또는 HDR 인에이블형 CE 디스플레이 중 어느 하나에 이용가능하다.
더 상세하게, 포스트 프로세싱 스테이지 (12) 는 단계들 (120-122) 을 포함한다.
옵션의 단계 120 에서, 디코딩된 이미지 (
Figure pat00025
) 의 제 1 컴포넌트 (c) 는 다음과 같이 조정될 수도 있다:
Figure pat00026
c
Figure pat00027
식 중 a 및 b 는 파라미터들의 세트 (SP) 중 2 개의 파라미터들이다.
단계 121 에서, 이미지 (I3) 의 제 1 컴포넌트 (C1) 는 제 1 컴포넌트 (c1) 를 역 맵핑하는 것에 의해 획득된다:
Figure pat00028
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 컴포넌트 (c1) 에 따라 디코딩된 이미지 (
Figure pat00029
) 의 제 2 및 제 3 컴포넌트 (u', v') 를 역 보정하는 것에 의해 도출된다.
일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 은 스케일링 함수
Figure pat00030
에 의해 승산되며, 이 스케일링 함수의 값은 제 1 컴포넌트 (c1) 에 의존한다.
수학적으로 말하면, 2 개의 제 1 및 제 2 컴포넌트들 (U', V') 은 다음으로 주어진다:
Figure pat00031
프리 프로세싱 부분에서 도 3 에 도시된 바와 같이, 도 2 의 방법의 제 1 실시형태에 따라, 오리지널 이미지 (I1) 의 제 1 컴포넌트 (C1) 는 다음에 의해 오리지널 이미지 (I1) 의 RGB 컴포넌트로부터 획득된 선형 광 루미넌스 컴포넌트 (L) 이고,
Figure pat00032
제 2 및 제 3 컴포넌트 (U', V') 는 오리지널 이미지 (I1) 의 RGB 컴포넌트들에 (BT.709 OETF 에 근접한) 제곱근을 사용한 의사 감마화 (peudo-gammatization) 를 적용하는 것에 의해 도출된다:
Figure pat00033
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (y1) 는 상기 선형 광 루미넌스 컴포넌트 (L) 를 맵핑하는 것에 의해 획득된다:
Figure pat00034
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (y1) 에 따라 제 1 및 제 2 컴포넌트들 (U', V') 을 보정하는 것에 의해 도출된다.
단계 121 에서의 포스트 프로세싱 부분에서, 이미지 (I3) 의 선형 광 루미넌스 컴포넌트 (L) 는 제 1 컴포넌트 (c1) 를 역 맵핑하는 것에 의해 획득된다:
Figure pat00035
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 제 1 컴포넌트 (y1) 에 따라 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트들 (u', v') 을 역 보정하는 것에 의해 도출된다.
단계 122 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 는 스케일링 함수
Figure pat00036
에 의해 승산되고, 스케일링 함수의 값은 제 1 컴포넌트 (y1) 에 의존한다.
수학적으로 말하면, 2 개의 제 2 및 제 3 컴포넌트들은 (U', V') 은 다음으로 주어진다:
Figure pat00037
프리 프로세싱 부분에서 도 4 에 도시된 바와 같이, 도 2 의 방법의 제 2 실시형태에 따라, 오리지널 이미지 (I1) 의 제 1 컴포넌트 (C1) 는 다음에 의해 오리지널 이미지 (I1) 의 감마-압축된 RGB 컴포넌트들로부터 획득된 컴포넌트 (Y'),
Figure pat00038
이며, 그리고 오리지널 이미지 (I1) 의 RGB 컴포넌트들에 감마화를 적용하는 것에 의한 제 2 및 제 3 컴포넌트 (U', V'),
Figure pat00039
이며, 식 중, γ 는 감마 팩터, 바람직하게 2.4 와 동일할 수도 있다.
비선형 신호인 컴포넌트 (Y') 는 선형 광 루미넌스 컴포넌트 (L) 와 상이함을 유의한다.
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (y'1) 는 상기 컴포넌트 (Y') 에 의해 획득된다.
Figure pat00040
단계 121 에서, 재구성된 컴포넌트 (
Figure pat00041
) 는 제 1 컴포넌트 (y'1) 를 역 맵핑하는 것에 의해 획득되며,
Figure pat00042
식 중 ITM 은 맵핑 함수 (TM) 의 역이다.
따라서, 재구성된 컴포넌트 (
Figure pat00043
) 의 값들은 컴포넌트 (Y') 의 값들의 동적 범위에 속한다.
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (y'1) 및 재구성된 컴포넌트 (
Figure pat00044
) 에 따라 제 1 및 제 2 컴포넌트들 (U', V') 을 보정하는 것에 의해 도출된다.
이 단계 201 는 출력 이미지 (I12) 의 컬러들을 제어하도록 허용하고 오리지널 이미지 (I1) 의 컬러에 대한 그 매칭을 보장한다.
크로마 컴포넌트들의 보정은 맵핑 (역 맵핑) 의 파라미터들을 튜닝하는 것에 의한 제어 하에서 유지될 수도 있다. 따라서, 컬러 포화도 및 휴는 제어 하에 있다. 그러한 제어는, 보통 비-파라미터성 지각 전달 함수가 사용될 때, 가능하지 않다.
단계 (201) 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (U' 및 V') 은 스케일링 함수
Figure pat00045
에 의해 도출되고, 이 스케일링 함수의 값은 컴포넌트 (y'1) 를 통한 재구성된 컴포넌트 (
Figure pat00046
) 의 비율에 의존한다:
Figure pat00047
식 중, Ω 는 (예를 들어, BT.2020 에 대해 1.3 과 동일한) 오리지널 이미지 (I1) 의 컬러 프라이머리들에 의존하는 상수이다.
단계 121 에서의 포스트 프로세싱 부분에서, 이미지 (I3) 의 컴포넌트 (
Figure pat00048
) 는 제 1 컴포넌트 (
Figure pat00049
) 의 역 맵핑에 의해 획득된다:
Figure pat00050
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 제 1 컴포넌트 (y'1) 및 컴포넌트 (
Figure pat00051
) 에 따라 디코딩된 이미지 (
Figure pat00052
) 의 제 2 및 제 3 컴포넌트 (u',v') 을 역 보정하는 것에 의해 도출된다.
단계 122 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 은 스케일링 함수
Figure pat00053
에 의해 승산된다.
수학적으로 말하면, 2 개의 제 1 및 제 2 컴포넌트들 (U', V') 은 다음으로 주어진다:
Figure pat00054
맵핑 함수 (TM) 은 지각 전달 함수에 기초하며, 그 목적은 오리지널 이미지 (I1) 의 컴포넌트를 출력 이미지 (I12) 의 컴포넌트로 변환함으로써, 그 루미넌스의 값들의 동적 범위를 감소 (또는 증가) 시키는 것이다. 따라서, 출력 이미지 (I12) 의 컴포넌트의 값들은 오리지널 이미지 (I1) 의 컴포넌트의 값들 보다 더 낮은 (또는 더 큰) 동적 범위에 속한다.
상기 지각 전달 함수는 제어 파라미터들의 제한된 세트를 사용한다.
도 5a 는 루미넌스 컴포넌트들을 맵핑하기 위해 사용될 수도 있는 지각 전달 함수의 예시를 나타내지만, 루마 컴포넌트들을 맵핑하기 위한 유사한 지각 전달 함수가 사용될 수도 있다.
맵핑은 (도 5a 에서 5000cd/m2 와 동등한) 마스터링 디스플레이 피크 루미넌스에 의해 제어된다. 블랙 및 화이트 레벨들을 더 잘 제어하기 위해서, 콘텐츠 의존형 블랙과 화이트 레벨들 사이에 신호 스트레칭이 적용된다. 그 후, 변환된 신호는 도 5b 에 도시된 바와 같이, 3 개의 부분들 외부로부터 구축된 구간 곡선을 사용하여 맵핑된다. 상부 및 하부 섹션들은 선형이고, 준도 (steepness) 는 shadowGain 및 highlightGain 파라미터들에 의해 각각 결정된다. 중간 섹션은 2 개의 선형 섹션들 사이에서 평활한 브리지를 제공하는 포물선이다. 크로스 오버의 폭은 midToneWidthAdjFactor 파라미터에 의해 결정된다.
맵핑을 제어하는 모든 파라미터들은 예를 들어, SMPTE ST 2094-20 메타데이터를 반송하기 위해 JCTVC-W0133 에서 정의된 바와 같은 SEI 메시지를 사용하는 것에 의해 메타데이터로서 전달될 수도 있다.
도 5c 는 지각적 최적화된 비디오 신호가 타겟 레거시 디스플레이 최대 루미넌스, 예를 들어 100 cd/m2에 기초하여 선형 광 도메인으로 어떻게 역 변환되는지를 예시하기 위해 지각 전달 함수 (TM)(도 5a) 의 역의 예를 나타낸다.
단계 10 (도 1) 에서, 파라미터들의 세트 (SP) 는 디코딩된 이미지 (
Figure pat00055
) 로부터 이미지 (I3) 를 재구성하기 위해 획득된다.
이 파라미터들은 비트스트림, 예를 들어 비트스트림 (B) 으로부터 획득된 메타데이터로부터 획득될 수도 있다.
권고 ETSI TS 103 433 V1.1.1 조항 6, 2016-08 은 상기 메타데이터의 신택스의 일 예를 제공한다.
SDR 비디오로부터 HDR 비디오를 재구성하기 위해 권고 ETSI TS 103 433 v1.1.1 의 신택스가 기재되지만, 이 신택스는 임의의 디코딩된 이미지 (
Figure pat00056
) 로부터 임의의 이미지 (I3) 의 재구성으로 확장할 수도 있다.
포스트 프로세싱 (단계 12) 은 동적 메타데이터로부터 도출되는 스케일링 함수
Figure pat00057
및 역 맵핑 함수 (IMT) 에 대해 연산하는데, 이는 이들이 제 1 컴포넌트 (c1) 에 의존하기 때문이다.
권고 ETSI TS 103 433 V1.1.1 에 따라, 상기 동적 메타데이터는 이른바, 파라미터 기반 모드 또는 테이블 기반 모드 중 어느 하나에 따라 전달될 수도 있다.
파라미터 기반 모드는, 주요 목적이 직접 SDR 역방향 호환성 서비스들에 동적 메타데이터를 반송하기 위해 매우 낮은 부가 페이로드 또는 대역폭 사용을 제공하기 위한 것인, 배포 워크플로우들에 대한 관심일 수도 있다. 테이블 기반 모드는 HDR 및 SDR 스트림들의 양자 모두를 적절히 표현하기 위해 높은 레벨의 적응이 요구될 때 또는 로우-엔드 단말기들이 구비된 워크플로우들에 대한 관심일 수도 있다.
파라미터 기반 모드에 있어서, 전달될 동적 메타데이터는 역 함수 (ITM) 을 나타내는 루미넌스 맵핑 파라미터들, 즉
tmInputSignalBlackLevelOffset;
tmInputSignalWhiteLevelOffset;
shadowGain;
highlightGain;
midToneWidthAdjFactor;
tmOutputFineTuning 파라미터들이다.
게다가, 전달될 다른 동적 메타테이트는 함수
Figure pat00058
를 정의하는데 사용된 컬러 보정 파라미터들 (saturationGainNumVal , saturationGainX (i) 및 saturationGainY(i)) 이다 (ETSI 권고 ETSI TS 103 433 V1.1.1 조항들 6.3.5 및 6.3.6).
파라미터들 (a 및 b) 는 위에 설명된 바와 같이 saturationGain 함수 파라미터들에서 각각 반송/은닉될 수도 있음을 유의한다.
이들 동적 메타데이터는, 신택스가 SMPTE ST 2094-20 사양 (권고 ETSI TS 103 433 V1.1.1 부록 A.3) 에 기초하는, HEVC 컬러 볼륨 재구성 정보 (CVRI) 사용자 데이터 등록된 SEI 메시지를 사용하여 전달될 수도 있다.
통상적인 동적 메타데이터 페이로드는 장면 당 약 25 바이트이다.
단계 101 에서, CVRI SEI 메시지는 맵핑 파라미터들 및 컬러 보정 파라미터들을 획득하기 파싱된 SEI 메시지이다.
단계 12 에서, 역 맵핑 함수 (ITM)(이른바 lutMapY) 는 획득된 맵핑 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.1 참조).
단계 12 에서, 스케일링 함수
Figure pat00059
(이른바 lutCC) 는 또한, 획득된 컬러 보정 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.2 참조).
테이블 기반 모드에서, 전달될 동적 데이터는 역 맵핑 함수 (ITM) 를 나타내는 구간 선형 곡선의 피봇 점들이다. 예를 들어, 동적 데이터는, 피봇 점들의 수를 표시하는 luminanceMappingNumVal , 피봇 점들의 x 값들을 표시하는 luminanceMappingX, 및 피봇 점들의 y 값들을 표시하는 luminanceMappingY 이다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항들 6.2.7 및 6.3.7 참조).
또한, 전달될 다른 동적 메타데이터는 스케일링 함수
Figure pat00060
를 나타내는 구간 선형 곡선의 피봇 점들일 수도 있다. 예를 들어, 동적 메타데이터는 피봇 점들의 수를 표시하는 colorCorrectionNumVal, 피봇 점들의 x 값들을 표시하는 colorCorrectionX, 및 피봇 점들의 y 값들을 표시하는 colorCorrectionY 이다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항들 6.2.8 및 6.3.8 참조).
이들 동적 메타데이터는, 신택스가 SMPTE ST 2094-30 사양 (권고 ETSI TS 103 433 V1.1.1 부록 A.4) 에 기초하는, HEVC 컬러 재맵핑 정보 (CRI) SEI 메시지를 사용하여 전달될 수도 있다.
통상적인 페이로드는 장면 당 약 160 바이트이다.
단계 102 에서, CRI (컬러 재맵핑 정보) SEI 메시지 (2016 년 12 월에 공개된 HEVC/H.265 버전에서 특정된 바와 같음) 는 역 맵핑 함수 (ITM) 를 나타내는 구간 선형 곡선의 피봇 점들 및 스케일링 함수
Figure pat00061
를 나타내는 구간 선형 곡선의 피봇 점들, 그리고 크로마 대 루마 인젝션 파라미터들 (a 및 b) 를 획득하기 위해 파싱된다.
단계 12 에서, 역 맵핑 함수 (ITM) 는, 역 맵핑 함수 (ITM) 을 나타내는 구간 선형 곡선에 대한 피봇 점들의 것들로부터 도출된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.3 참조).
단계 12 에서, 스케일링 함수
Figure pat00062
는 또한, 스케일링 함수
Figure pat00063
를 나타내는 구간 선형 곡선에 대한 상기 피봇 점들의 것들로부터 도출된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.4 참조).
포스트 프로세싱 스테이지에 의해 사용된 정적 메타데이터는 또한 SEI 메시지에 의해 전달될 수도 있음을 유의한다. 예를 들어, 파라미터 기반 모드 또는 테이블 기반 모드 중 어느 하나의 선택은, 권고 ETSI TS 103 433 V1.1.1 (조항 A.2.2) 에 의해 정의된 바와 같이 정보 (TSI) 사용자 데이터 등록된 SEI 메시지 (payloadMode) 에 의해 반송될 수도 있다. 예를 들어, 컬러 프라이머리들 또는 최대 디스플레이 마스터링 디스플레이 루미넌스와 같은 정적 메타데이터는, AVC, HEVC 에서 정의된 바와 같이 마스터링 디스플레이 컬러 볼륨 (MDCV) SEI 메시지에 의해 전달된다.
단계 103 의 일 실시형태에 따라, 정보 데이터 (ID) 는 비트스트림에서 신택스 엘리먼트에 의해 명시적으로 시그널링되고, 이로써 비트스트림을 파싱하는 것에 의해 획득된다.
예를 들어, 상기 신택스 엘리먼트는 SEI 메시지의 부분이다.
일 실시형태에 따라, 상기 정보 데이터 (ID) 는, 파라미터들의 세트 (SP) 를 프로세싱하기 위해 오리지널 이미지 (I1) 에 적용되는 프로세싱이 무엇인지를 식별한다.
이 실시형태에 따라, 정보데이터 (ID) 는 그 후 이미지 (I3) 를 재구성하기 위해 파라미터들을 어떻게 사용할지를 추론하는데 사용될 수도 있다 (단계 12).
예를 들어, 1 과 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 오리지널 HDR 이미지 (I1) 에 적용하는 것에 의해 파라미터들 (SP) 이 획득되었다는 것 그리고 디코딩된 이미지 (
Figure pat00064
) 가 SDR 이미지인 것을 표시한다.
2 와 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 HDR10비트 이미지 (단계 20 의 입력) 에 적용하는 것에 의해 파라미터들이 획득되었다는 것, 디코딩된 이미지 (
Figure pat00065
) 가 HDR10 이미지이고, 맵핑 함수 (TM) 가 PQ 전달 함수인 것을 표시한다.
3 과 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 HDR10 이미지 (단계 20 의 입력) 에 적용하는 것에 파라미터들이 획득되었다는 것, 디코딩된 이미지 (
Figure pat00066
) 가 HLG10 이미지이고, 맵핑 함수 (TM) 가 오리지널 이미지 (I1) 에 대한 HLG 전달 함수인 것을 표시한다.
단계 103 의 일 실시형태에 따라, 정보 데이터 (ID) 는 묵시적으로 시그널링된다.
예를 들어, AVC (부록 E) 또는 HEVC (부록 E) 의 VUI 에 제시된 신택스 엘리먼트 transfer-characteristics 는 보통, 사용될 전달 함수 (맵핑 함수 (TM)) 을 식별한다. 상이한 단일 계층 배포 솔루션들은 상이한 전달 함수 (PQ, HLG,...) 를 사용하기 때문에, 신택스 엘리먼트 transfer-characteristics 는 사용될 복구 모드를 묵시적으로 식별하기 위해 사용될 수도 있다.
정보 데이터 (ID) 는 또한 상위 전송 또는 시스템 계층에서 정의된 서비스에 의해 묵시적으로 시그널링될 수도 있다.
또 다른 예에 따라, 이미지 (I3) 의 컬러 스페이스 및 피크 루미넌스 값은, 비트스트림에 의해 반송된 MDCV SEI 메시지를 파싱하는 것에 의해 획득될 수도 있고, 정보 데이터 (ID) 는 피크 루미넌스 값들 및 컬러 스페이스들 (컬러 프라이머리들) 의 특정 조합들로부터 추론될 수도 있다.
단계 102 의 일 실시형태에 따르면, 파라미터 (P) 는 비트스트림에 존재하지 않을 때 (비트스트림으로부터 취출되지 않을 때) 손실된 것으로서 간주된다.
예를 들어, 파라미터들 (P) 이 SEI 메시지, 이를 테면, 위에 설명된 CVRI 또는 CRI SEI 메시지들에 의해 반송되는 경우, SEI 메시지가 비트스트림에서 송신되지 않을 때, 또는 SEI 메시지의 파싱이 실패할 때 파라미터 (P) 는 손실된 것 (존재하지 않는 것) 으로 간주된다.
단계 103 의 일 실시형태에 따르면, 파라미터 (P) 는 다음 조건들 중 적어도 하나가 충족될 때 손상된 것으로 간주된다:
- 그 값이 값들의 결정된 범위 밖에 있다 (예를 들어, 준수 범위가 0 내지 6 일 때 saturation_gain_num_val 가 10 과 같다);
- 상기 파라미터가 다른 파라미터 값들에 따라 코히어런트 값을 갖지 않는다 (예를 들어, saturation_gain_y[i] 가 아웃라이어 즉, 다른 saturation_gain_y[i] 값들과는 먼 값을 포함한다; 통상적으로 saturation_gain[4] 가 0 내지 16 의 범위에서의 값과 같을 때까지 saturation_gain[0] 이고 saturation_gain[1] = 255).
본 방법의 일 실시형태에 따르면, 복구 모드 (RMi) 는, 파라미터들 (P) 일부만이 손상없이, 손실되거나 또는 그래픽 또는 오버레이가 추가되는 디코딩된 이미지 (
Figure pat00067
) 와 정렬되지 않는 경우에도 모든 파라미터들 (P) 을 복구된 파라미터들 (Pr) 로 대체하는 것이다.
본 방법의 일 실시형태에 따르면, 다른 복구 모드 (RMi) 는 각각의 손실, 손상되거나, 또는 정렬되지 않는 파라미터 (P) 를 복구된 파라미터 (Pr) 로 대체하는 것이다.
본 발명의 일 실시형태에 따르면, 복구 모드 (RMi) 는 손실, 손상되거나, 또는 정렬되지 않는 파라미터 (P) 를 이전에 저장된 미리 정해진 파라미터 값들의 세트 중 소정 값으로 대체하는 것이다.
예를 들어, 미리 정해진 파라미터 값들의 세트는 CRI 및/또는 CVRI SEI 메시지에 의해 반송된 적어도 하나의 메타데이터에 대한 미리 정해진 값을 모은다.
미리 정해진 파라미터 값들의 고유 세트는 예를 들어, 정보 데이터 (ID) 에 의해 식별된 각각의 단일 계층 기반 배포 솔루션에 대해 결정될 수도 있다.
표 1 은 3 개의 상이한 단일 계층 기반 배포 솔루션들에 대한 미리 정해진 값들의 고유 세트의 비제한적 예이다.
Figure pat00068
표 1
표 1 에 따르면, 미리정해진 값들의 상이한 세트들은 정보 데이터 (ID) 에 따라 정의된다. 미리 정의된 값들의 이들 세트들은 포스트 프로세싱 스테이지에 의해 이용된 일부 파라미터들에 대하여 복구 값들을 정의하였다. 다른 파라미터들은 상이한 단일 계층 솔루션에 공통인 고정된 값들로 설정된다.
단계 104 의 일 실시형태에 따르면, 복구 모드 (RMi) 는 오리지널 비디오 (이미지 (I1)) (통상적으로 오리지널 컨텐츠의 피크 루미넌스), 또는 입력 이미지 데이터 또는 재구성될 이미지 데이터를 그레이드하는데 이용된 마스터링 디스플레이 중 적어도 하나의 특징, 또는 다른 비디오 (통상적으로, 재구성된 이미지 (I3) 의 피크 루미넌스) 또는 타겟 디스플레이 중 적어도 하나의 특징에 따라 선택된다.
일 실시형태에 따르면, 복구 모드 (RMi) 는 오리지널 이미지 (I1) 또는 입력 이미지 데이터 또는 재구성될 이미지 데이터를 그레이드하는데 이용되는 마스터링 디스플레이 중 한 특징 (예를 들어, ST 2086 에서 정의된 바와 같은 특징들) 이 존재하는지를 검사하고, 상기 특징으로부터 적어도 하나의 복구된 파라미터들을 연산하는 것이다. 입력 비디오의 상기 특징이 존재하지 않고, 마스터링 디스플레이의 특징이 존재하지 않으면, 재구성된 이미지 (I3) 의 특징 또는 타겟 이미지의 특징 (예를 들어, CTA-861.3 에서 정의된 바와 같은 피크 루미넌스) 이 존재하는지를 검사하고 상기 특징으로부터 적어도 하나의 복구된 파라미터를 연산한다. 복구된 이미지 (I3) 의 상기 특징이 존재하지 않고 상기 타겟 디스플레이의 특징이 존재하지 않으면, 적어도 하나의 복구된 파라미터는 고정된 값이다 (예를 들어, 비디오 표준화 협회 또는 산업 포럼에 의해 고정된 값 이를 테면, 예를 들어, 1000 cd/m2 이다).
비제한적 예에 따르면, 표 2 는 마스터링/타겟 디스플레이들 및 입력/출력 컨텐츠 상의 이용가능 정보의 존재에 의존하는 포스트-프로세싱 스테이지에 의해 이용된 일부 파라미터들에 대한 복구 값들의 예들을 제공한다.
Figure pat00069
표 2
파라미터, matrix_coefficient_value [ i ] 는 존재하는 경우 MDCV SEI/ST 2086 메시지를 파싱하는 것에 의해 획득되는 입력/출력 비디오 컬러 스페이스, BT.709 또는 BT.2020 (입력 또는 출력 비디오의 특징) 에 따라 설정될 수도 있다. 복구 모드는 상기 컬러 스페이스들에 의존한다.
파라미터, shadow_gain_control 는 존재하는 경우 MDCV SEI/ST 2086 메시지를 파싱하는 것에 의해 획득된 값에 따라 연산될 수도 있다.
예를 들어, 마스터링 디스플레이의 피크 루미넌스를 표현하는 정보는 MDCV SEI/ST 2086 메시지로부터 획득되고 파라미터 shadow_gain_control 는 (복구 모드 1) 에 의해 연산된다:
shadow_gain_control =Clip(0; 255; Floor( rs ( hdrDisplayMaxLuminance ) x 127.5 +0.5))
여기에서,
Figure pat00070
및
Figure pat00071
서비스 레벨 정보에서 또는 특정 워크플로우에 대해 hdrDisplayMaxLuminance 의 값은 알려져 있는 것이다. 이 값은 또한 이 특징이 이용가능할 때 타겟 (프리젠테이션) 디스플레이의 피크 루미넌스로 설정될 수도 있다. 그렇지 않으면 (복구 모드 2), 이는 디폴트 값, 구체적으로, 1000 cd/m2 로 임의적으로 설정된다. 이 디폴트 값은 현재 HDR 마켓들의 대부분에서 현재 관측되는 참조 최대 디스플레이 마스터링 루미넌스에 의존한다.
도 6 은 본 발명의 원리들의 일 예에 따라 비트스트림 (B) 로부터 획득된 파라미터들의 세트 (SP) 및 디코딩된 이미지 데이터 (
Figure pat00072
) 로부터 이미지 (I3) 를 재구성하는 방법의 이용의 다른 예를 도시한다.
상기 예는 오버레이 삽입 및 혼합 메카니즘을 구현하고 오버레이가 디코딩된 이미지 (
Figure pat00073
) 에 추가되어야 한다는 이벤트 (통상적으로, overlay_present_flag 가 1 로 설정됨) 를 시그널링/전송하는 임의의 (중간-) 디바이스 (예를 들어, 셋톱 박스 또는 UltraHD Blu-ray 플레이어) 에서 적어도 부분적으로 구현되도록 의도된다.
도 1 에 도시된 바와 같이, 오버레이 (그래픽) 이 디코딩된 이미지 (
Figure pat00074
) 에 추가되지 않아야 할 때, 파라미터들의 세트 (SP) 가 획득되고 (단계 10), 디코딩된 이미지 (
Figure pat00075
) 가 획득되고 (단계 11) 이미지 (I3) 가 재구성된다 (단계 12).
오버레이가 디코딩된 이미지 (
Figure pat00076
) 에 추가되어야 할 때 디코딩된 이미지 (
Figure pat00077
) 가 획득되고 (단계 11), 단계 60 에서, 디코딩된 이미지 (
Figure pat00078
) 에 그래픽 (오버레이) 를 추가하는 것에 의해 합성 이미지 (I'2) 가 획득된다.
정보 데이터 (ID) 가 그 후 획득되고 (단계 103), 복구 모드가 선택되고 (단계 104) 선택된 복구 모드 (RMi) 가 복구된 파라미터들 (Pr) 을 획득하도록 적용된다 (단계 105).
이미지 (I3) 는 그 후 복구된 파라미터 (Pr) 및 디코딩된 이미지 (
Figure pat00079
) 로부터 재구성된다 (단계 12).
일 실시형태에 따르면, 파라미터들 (Pr) 은 상이한 양태들 (브라이트, 다크, 로그들을 가짐 ...) 의 이미지들의 대형 세트를 트레이닝하는 것에 의해 획득된다.
선택적으로 (도 6 에 도시되지 않음), 단계 12 는 원격 디바이스, 이를 테면, TV 세트에서 구현될 수도 있다. 그 경우, 디코딩된 이미지 (
Figure pat00080
) 더하기 파라미터들 (P) 또는 합성 이미지 (I'2) 더하기 파라미터들 (Pr) 은 상기 TV 세트로 송신된다.
도 1 내지 도 6 에서, 모듈들은 기능 유닛들이며, 이들은 별개의 물리 유닛들과 관련될 수도 또는 관련되지 않을 수도 있다. 예를 들어, 이들 모듈들 또는 그 일부는 고유 컴포넌트 또는 회로에서 통합될 수도 있고 또는 소프트웨어의 기능성들에 기여할 수도 있다. 반대로, 일부 모듈들은 별도의 물리 엔티티들로 잠재적으로 구성될 수도 있다. 본 원리들과 호환가능한 장치는, 순수 하드웨어, 예를 들어 전용 하드웨어, 예컨대 ASIC 또는 FPGA 또는 VLSI, 각각 주문형 집적 회로, 필드 프로그램가능 게이트 어레이, 대규모 집적을 사용하여, 또는 디바이스에 임베딩된 몇몇 통합된 전자 컴포넌트들로부터, 또는 하드웨어 및 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.
도 7 은 도 1 내지 도 6 과 관련하여 기재된 방법을 구현하도록 구성될 수도 있는 디바이스 (70) 의 예시적인 아키텍처를 나타낸다.
디바이스 (70) 는 데이터 및 어드레스 버스 (71) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다:
- 예를 들어, DSP (또는 디지털 신호 프로세서) 인, 마이크로프로세서 (72)(또는 CPU);
- ROM (또는 리드 온니 메모리)(73);
- RAM (또는 랜덤 액세스 메모리)(74);
- 애플리케이션으로부터, 송신하는 데이터의 수신을 위한 I/O 인터페이스 (75);
- 배터리 (76)
일 예에 따라, 배터리 (76) 는 디바이스 외부에 있다. 언급된 메모리의 각각에 있어서, 명세서에서 사용된 단어 《레지스터》는 작은 용량 (약간의 비트) 의 영역에 또는 매우 큰 영역 (예를 들어, 수신되거나 디코딩된 데이터의 많은 양 또는 전체 프로그램) 에 대응할 수 있다. ROM (73) 은 적어도 프로그램 및 파라미터들을 포함한다. ROM (73) 은 본 원리들에 따른 기법들을 수행하기 위한 알고리즘들 및 명령들을 저장할 수도 있다. 스위치 온될 때, CPU (72) 는 RAM (74) 에 프로그램을 업로드하고 대응 명령들을 실행한다.
RAM (74) 는, 레지스터에서, CPU (72) 에 의해 실행되고 디바이스 (70) 의 스위치 온 후에 업로드되는 프로그램, 레지스터에서의 입력 데이터, 레지스터에서의 방법의 상이한 상태들의 중간 데이터, 및 레지스터에서의 방법의 실행을 위해 사용된 다른 변수들을 포함한다.
본 명세서에 기재된 구현들은, 예를 들어 방법 또는 프로세서, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수도 있다. 구현의 단일 형태의 콘텍스트에서만 논의 (예를 들어, 방법 또는 디바이스로서만 논의) 되었더라도, 논의된 피처들의 구현은 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 일반적으로 포함하는, 프로세싱 디바이스들을 지칭하는, 예를 들어 프로세서와 같은, 장치에서 구현될 수도 있다. 프로세서들은 또한, 예를 들어 컴퓨터들, 셀폰들, 휴대용/개인용 디지털 보조기들 ("PDA들"), 및 엔드 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
일 예에 따라, 예를 들어 입력 비디오 또는 입력 비디오의 오리지널 이미지는 소스로부터 획득되었다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (73 또는 74), 예를 들어 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리), 플래시 메모리, ROM (또는 리드 온니 메모리), 하드 디스크;
- 저장 인터페이스 (75), 예를 들어 대용량 스토리지, RAM, 플래시 메모리, RAOM, 광학 디스크 또는 자기 서포트와의 인터페이스;
- 통신 인터페이스 (75), 예를 들어 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및
- 이미지 캡처링 회로 (예를 들어, 센서, 이를 테면, 예를 들어 CCD (또는 전하 커플형 디바이스) 또는 CMOS (또는 상보형 금속-산화물-반도체)).
예들에 따라, 메타데이터 상에서 반송하는 비트스트림들은 목적지로 전송된다. 일 예로서, 이들 비트스트림들 중의 하나 또는 양자는 로컬 또는 원격 메모리, 예를 들어 비디오 메모리 또는 RAM (74), 하드 디스크에 저장된다. 변형에 있어서, 비트스트림들의 적어도 하나는 저장 인터페이스 (75), 예를 들어 대용량 스토리지, 플래시 메모리, ROM, 광학 디스크 또는 자기 서포트와의 인터페이스에 전송되고 및/또는 통신 인터페이스 (75), 예를 들어 포인트 대 포인트 링크, 통신 버스, 포인트 대 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.
다른 예들에 따라, 메타데이터 상에서 반송되는 비트스트림은 소스로부터 획득된다. 예시적으로, 비트스트림은 로컬 메모리, 예를 들어 비디오 메모리 (74), RAM (74), ROM (73), 플래시 메모리 (73), 또는 하드 디스크 (73) 로부터 판독된다. 변형에 있어서, 비트스트림은 저장 인터페이스 (75), 예를 들어 대용량 스토리지, RAM, ROM, 플래시 메모리, 광학 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고, 및/또는 통신 인터페이스 (75), 예를 들어 포인트 대 포인트 링크, 버스, 포인트 대 멀티포인트 링크 또는 브로드캐스트 네트워크로부터 수신된다.
예들에 따라, 상술한 방법을 구현하도록 구성되는 디바이스 (70) 는, 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿 (또는 태블릿 컴퓨터)
- 랩탑;
- 스틸 이미지 카메라:
- 비디오 카메라;
- 인코딩/디코딩 칩;
- TV 세트;
- 셋톱 박스;
- 디스플레이;
- 스틸 이미지 서버; 및
- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오 온 디멘드 서버 또는 웹 서버).
본 명세서에 기재된 다양한 프로세스들 및 피처들의 구현들은 각종 상이한 장비 또는 애플리케이션들에서 실시될 수도 있다. 그러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트 프로세서, 인코더로부터의 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩탑, 개인용 컴퓨터, 셀폰, PDA, 및 이미지 또는 비디오 또는 다른 통신 디바이스들을 프로세싱하기 위한 임의의 다른 디바이스를 포함한다. 명백하게 되는 바와 같이, 장비는 모바일일 수도 있고 또한 모바일 차량에 설치될 수도 있다.
부가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 컴퓨터 판독가능 매체 상에 저장될 수도 있다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들) 에서 구현되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드가 수록된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용된 바와 같이 컴퓨터 판독가능 저장 매체는 그 내부에 정보를 저장하기 위한 고유 능력 뿐만 그로부터 정보의 취출을 제공하기 위한 고유 능력이 주어진 비일시적 저장 매체로 고려된다. 컴퓨터 판독가능 저장 매체는, 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 상기한 것들의 임의의 적절한 조합일 수 있지만, 이에 제한되지 않는다. 다음은, 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 많은 특정 예들을 제공하지만, 당업자에 의해 쉽게 이해되는 바와 같이, 단지 예시적이며 배타적인 열거가 아님을 이해한다; 휴대용 컴퓨터 디스켓; 하드 디스크; 리드 온니 메모리 (ROM); 소거가능 프로그램가능 리드 온니 메모리 (EEPROM 또는 플래시 메모리); 휴대용 컴팩 디스크 리드 온니 메모리 (CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기한 것들의 임의의 적절한 조합.
명령들은 프로세서 판독가능 매체 상에서 유형으로 수록된 애플리케이션 프로그램을 형성할 수도 있다.
명령들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션, 이들 2 개의 조합에서 발견될 수도 있다. 이에 따라, 프로세서는, 예를 들어, 프로세스를 실행하도록 구성된 디바이스 및 프로세스를 실행하기 위한 명령들을 갖는 프로세서 판독가능 매체 (예컨대, 저장 디바이스) 를 포함하는 디바이스 양자 모두에 의해 특징화될 수도 있다. 추가로, 프로세서 판독가능 매체는, 명령들에 부가하여 또는 명령들 대신, 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.
당업자에게 자명하게 될 바와 같이, 구현들은 예를 들어, 저장되거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어, 기재된 구현들 중 하나에 의해 생성된 데이터, 또는 방법을 수행하기 위한 명령들을 포함할 수도 있다. 예를 들어, 신호는 본 원리들의 기재된 예들의 신택스를 기입하거나 판독하기 위한 규칙들을 데이터로서 반송하기 위해, 또는 본 원리들의 기재된 예에 의해 기입된 실제 신택스 값들을 데이터로서 반송하기 위해 포맷팅될 수도 있다. 그러한 신호는, 예를 들어 전자기파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는, 예를 들어 아날로그 또는 디지털 정보일 수도 있다. 신호는, 알려진 바와 같이, 각종 상이한 유선 또는 무선 링크들을 통해 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
다수의 구현들이 기재되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수도 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 조합되거나, 보충되거나, 수정되거나, 또는 제거되어 다른 구현들을 생성할 수도 있다. 부가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들에 대해 치환될 수도 있고 결과의 구현들은 개신된 구현들과 적어도 실질적으로 동일한 결과(들) 을 달성하기 위해서, 적어도 실질적으로 동일한 방식(들) 로, 적어도 실질적으로 동일한 기능(들) 을 수행할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현들은 이 애플리케이션에 의해 고려된다.

Claims (13)

  1. 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (
    Figure pat00081
    ) 로부터 오리지널 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성 (101) 하기 위한 방법으로서,
    상기 파라미터들은 상기 오리지널 이미지 데이터 (I1) 로부터 프로세싱되었고,
    상기 방법은:
    - 상기 파라미터들이 손실, 손상되는지, 또는 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 데이터와 정렬되지 않는지를 검사하는 단계 (102);
    - 상기 파라미터들 중 적어도 하나가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 데이터와 정렬되지 않을 때,
    - 상기 파라미터들이 프로세싱되었던 방법을 나타내는 정보 데이터 (ID, 103) 에 따라 복구 모드 (RMi) 를 선택하는 단계 (104); 및
    - 선택된 복구 모드 (RMi) 를 적용하는 것에 의해 적어도 하나의 손실, 손상되거나, 또는 정렬되지 않는 상기 파라미터를 복구하는 단계 (105) 로서, 이미지 데이터 (I3) 의 상기 재구성이 이때 복구된 상기 파라미터들을 고려하여 행해지는 (12), 상기 파라미터를 복구하는 단계 (105) 를 포함하는 것을 특징으로 하는 이미지 데이터를 재구성하기 위한 방법.
  2. 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터로부터 오리지널 이미지 데이터를 나타내는 이미지 데이터를 재구성하기 위한 디바이스로서,
    상기 파라미터들은 상기 오리지널 이미지 데이터로부터 프로세싱되었고,
    상기 디바이스는:
    - 상기 파라미터들이 손실, 손상되는지 또는 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 데이터와 정렬되지 않는지를 검사하기 위한 수단;
    - 상기 파라미터들 중 적어도 하나가 손실, 손상되거나, 또는 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 데이터와 정렬되지 않을 때,
    - 상기 파라미터들이 프로세싱되었던 방법을 나타내는 정보 데이터에 따라 복구 모드를 선택하기 위한 수단; 및
    - 선택된 복구 모드를 적용하는 것에 의해 적어도 하나의 손실, 손상되거나, 또는 정렬되지 않는 상기 파라미터를 복구하기 위한 수단으로서, 이미지 데이터의 상기 재구성이 이때 복구된 상기 파라미터들을 고려하여 행해지는, 상기 파라미터를 복구하기 위한 수단을 포함하는 것을 특징으로 하는 이미지 데이터를 재구성하기 위한 디바이스.
  3. 제 1 항에 기재된 방법 또는 제 2 항에 기재된 디바이스로서,
    상기 정보 데이터 (ID) 는 비트스트림에서 신택스 엘리먼트에 의해 명시적으로 시그널링되는, 제 1 항에 기재된 방법 또는 제 2 항에 기재된 디바이스.
  4. 제 1 항에 기재된 방법 또는 제 2 항에 기재된 디바이스로서,
    상기 정보 데이터 (ID) 는 묵시적으로 (implicitly) 시그널링되는, 제 1 항에 기재된 방법 또는 제 2 항에 기재된 디바이스.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 방법으로서,
    상기 정보 데이터 (ID) 는 상기 파라미터들을 프로세싱하기 위해 상기 오리지널 이미지 데이터 (I1) 에 적용되는 프로세싱이 무엇인지를 식별하는, 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 방법.
  6. 제 1 항 및 제 3 항 내지 제 5 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 5 항 중 어느 한 항에 기재된 디바이스로서,
    파라미터는 상기 파라미터가 비트스트림으로부터 취출되지 않을 때 손실된 것으로서 간주되는, 제 1 항 및 제 3 항 내지 제 5 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 5 항 중 어느 한 항에 기재된 디바이스.
  7. 제 1 항 및 제 3 항 내지 제 6 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 6 항 중 어느 한 항에 기재된 디바이스로서,
    파라미터는 하기의 조건들:
    - 그 값이 값들의 범위 밖에 있는 것;
    - 상기 파라미터는 다른 파라미터 값들에 따라 코히어런트 값을 갖지 않는 것;
    중 적어도 하나가 충족될 때 손상된 것으로서 간주되는, 제 1 항 및 제 3 항 내지 제 6 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 6 항 중 어느 한 항에 기재된 디바이스.
  8. 제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 7 항 중 어느 한 항에 기재된 디바이스로서,
    복구 모드는 파라미터들 중 일부만이 손상 없이, 손실되거나, 또는 그래픽 또는 오버레이가 추가되는 상기 디코딩된 이미지 데이터와 정렬되지 않는 경우에도 복구된 파라미터들로 모든 파라미터들을 대체하는 것인, 제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 7 항 중 어느 한 항에 기재된 디바이스.
  9. 제 1 항 및 제 3 항 내지 제 8 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 8 항 중 어느 한 항에 기재된 디바이스로서,
    복구 모드는 각각의 손실, 손상되거나, 또는 정렬되지 않는 파라미터들을 복구된 파라미터로 대체하는 것인, 제 1 항 및 제 3 항 내지 제 8 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 8 항 중 어느 한 항에 기재된 디바이스.
  10. 제 1 항 및 제 3 항 내지 제 9 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 9 항 중 어느 한 항에 기재된 디바이스로서,
    복구 모드는 손실, 손상되거나, 또는 정렬되지 않는 파라미터를, 이전에 저장된 미리정해진 파라미터 값들의 세트 중 한 값으로 대체하는 것인, 제 1 항 및 제 3 항 내지 제 9 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 9 항 중 어느 한 항에 기재된 디바이스.
  11. 제 1 항 및 제 3 항 내지 제 10 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 10 항 중 어느 한 항에 기재된 디바이스로서,
    복구 모드는 오리지널 이미지 데이터, 또는 오리지널 이미지 데이터 또는 재구성될 이미지 데이터를 그레이드하는데 이용되는 마스터링 디스플레이 중 적어도 하나의 특징, 또는 재구성된 이미지 데이터 또는 타겟 디스플레이 중 적어도 하나의 특징에 따라 선택되는, 제 1 항 및 제 3 항 내지 제 10 항 중 어느 한 항에 기재된 방법 또는 제 2 항 내지 제 10 항 중 어느 한 항에 기재된 디바이스.
  12. 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 및 제 3 항 내지 제 11 항 중 어느 한 항에 기재된 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
  13. 프로그램이 컴퓨터 상에서 실행될 때 비일시적 프로세서 판독가능 매체의 프로그램 코드 명령들이, 제 1 항 및 제 3 항 내지 제 11 항 중 어느 한 항에 기재된 방법의 단계들을 실행하는, 비일시적 프로세서 판독가능 매체.
KR1020170172832A 2017-02-24 2017-12-15 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스 Active KR102458747B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP17305212.7 2017-02-24
EP17305212.7A EP3367684A1 (en) 2017-02-24 2017-02-24 Method and device for decoding a high-dynamic range image
EP17158481 2017-02-28
EP17158481.6 2017-02-28

Publications (2)

Publication Number Publication Date
KR20180098117A true KR20180098117A (ko) 2018-09-03
KR102458747B1 KR102458747B1 (ko) 2022-10-24

Family

ID=60811990

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170172832A Active KR102458747B1 (ko) 2017-02-24 2017-12-15 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스
KR1020197027425A Ceased KR20190117686A (ko) 2017-02-24 2018-02-19 높은 동적 범위 이미지를 디코딩하기 위한 방법 및 디바이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197027425A Ceased KR20190117686A (ko) 2017-02-24 2018-02-19 높은 동적 범위 이미지를 디코딩하기 위한 방법 및 디바이스

Country Status (10)

Country Link
US (1) US11257195B2 (ko)
EP (2) EP3367685B1 (ko)
JP (1) JP7086587B2 (ko)
KR (2) KR102458747B1 (ko)
CN (2) CN108513134B (ko)
BR (1) BR102017027195A2 (ko)
CA (2) CA2989134A1 (ko)
MX (2) MX2022003583A (ko)
RU (1) RU2758035C2 (ko)
WO (1) WO2018153800A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
US11928796B2 (en) * 2017-12-01 2024-03-12 Interdigital Patent Holdings, Inc. Method and device for chroma correction of a high-dynamic-range image
CN109598671A (zh) * 2018-11-29 2019-04-09 北京市商汤科技开发有限公司 图像生成方法、装置、设备及介质
EP3709272A1 (en) * 2019-03-15 2020-09-16 InterDigital VC Holdings, Inc. Processing a point cloud
MX2022013191A (es) * 2020-04-22 2023-01-05 Dolby Laboratories Licensing Corp Optimización iterativa de funciones de remodelación en códec de imágenes hdr de una sola capa.
WO2021224076A1 (en) 2020-05-05 2021-11-11 Interdigital Vc Holdings France Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems
CN111654707B (zh) * 2020-06-03 2022-03-15 福建师范大学福清分校 一种基于俄罗斯方块的信息隐藏方法及终端
CN112188179B (zh) * 2020-08-28 2022-07-08 北京小米移动软件有限公司 图像缩略图显示方法、图像缩略图显示装置及存储介质
JP2022085475A (ja) * 2020-11-27 2022-06-08 シャープ株式会社 動画像符号化装置、復号装置
CN113592770B (zh) * 2021-06-23 2024-02-23 中国科学院南京地理与湖泊研究所 一种去除水草影响的藻华遥感识别方法
US11606605B1 (en) 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+
CN115564659B (zh) * 2022-02-28 2024-04-05 荣耀终端有限公司 视频处理方法和装置
CN114936174B (zh) * 2022-06-09 2024-01-30 中国兵器工业计算机应用技术研究所 基于地面无人平台的图像处理与融合计算方法
US20240153053A1 (en) * 2022-11-09 2024-05-09 Apple Inc. Techniques for generating gain maps based on acquired images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856973A (en) * 1996-09-10 1999-01-05 Thompson; Kenneth M. Data multiplexing in MPEG server to decoder systems
US20150264345A1 (en) * 2014-03-13 2015-09-17 Mitsubishi Electric Research Laboratories, Inc. Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode
WO2015180854A1 (en) * 2014-05-28 2015-12-03 Koninklijke Philips N.V. Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279388A (ja) 2005-03-29 2006-10-12 Matsushita Electric Ind Co Ltd 動画像復号化装置および動画像復号化方法
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US9215435B2 (en) * 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
EP2375751A1 (en) * 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
CN103339946B (zh) * 2010-12-03 2015-10-07 Lg电子株式会社 用于接收多视图三维广播信号的接收设备和方法
TWI800092B (zh) 2010-12-03 2023-04-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
US9075806B2 (en) * 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
US9451274B2 (en) * 2011-04-28 2016-09-20 Koninklijke Philips N.V. Apparatuses and methods for HDR image encoding and decoding
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
CN107103588B (zh) * 2011-09-27 2025-08-22 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
PL2959672T3 (pl) * 2013-02-21 2020-06-01 Koninklijke Philips N.V. Ulepszone sposoby i urządzenia do kodowania i dekodowania obrazu hdr
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
MY178217A (en) * 2014-01-02 2020-10-07 Vid Scale Inc Methods and systems for scalable video coding with mixed interlace and progressive content
DE112015000950T5 (de) * 2014-02-25 2016-12-08 Apple Inc. Abwärtskompatible Einrichtung und abwärtskompatibles Verfahren zum Bereitstellen von Video mit sowohl Standard- als auch hohem Dynamikbereich
EP3051486A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
WO2016197033A1 (en) 2015-06-05 2016-12-08 Apple Inc. Rendering and displaying high dynamic range content
EP3113496A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
EP3338452B1 (en) * 2015-09-23 2020-08-26 ARRIS Enterprises LLC Signalling of reshaping functions for coding high dynamic range and wide color gamut sequences
CN106937121B (zh) 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856973A (en) * 1996-09-10 1999-01-05 Thompson; Kenneth M. Data multiplexing in MPEG server to decoder systems
US20150264345A1 (en) * 2014-03-13 2015-09-17 Mitsubishi Electric Research Laboratories, Inc. Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode
WO2015180854A1 (en) * 2014-05-28 2015-12-03 Koninklijke Philips N.V. Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images

Also Published As

Publication number Publication date
KR102458747B1 (ko) 2022-10-24
BR112019017651A2 (pt) 2020-03-31
US20200394774A1 (en) 2020-12-17
RU2021128023A (ru) 2021-10-28
CN108513134A (zh) 2018-09-07
MX391034B (es) 2025-03-21
RU2017144024A (ru) 2019-06-17
EP3367685A1 (en) 2018-08-29
JP7086587B2 (ja) 2022-06-20
EP3586509A1 (en) 2020-01-01
KR20190117686A (ko) 2019-10-16
MX2017016554A (es) 2018-11-09
MX2022003583A (es) 2022-05-26
RU2758035C2 (ru) 2021-10-25
BR102017027195A2 (pt) 2018-10-30
EP3367685B1 (en) 2024-04-24
US11257195B2 (en) 2022-02-22
JP2018191269A (ja) 2018-11-29
CA3054488A1 (en) 2018-08-30
CA2989134A1 (en) 2018-08-24
CN110574376A (zh) 2019-12-13
RU2017144024A3 (ko) 2021-04-19
CN110574376B (zh) 2022-10-21
WO2018153800A1 (en) 2018-08-30
EP3586509B1 (en) 2024-05-29
CN108513134B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
KR102458747B1 (ko) 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스
US20220167019A1 (en) Method and device for reconstructing image data from decoded image data
EP3493150A1 (en) Tone mapping adaptation for saturation control
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
US20220318965A1 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
US11989855B2 (en) Saturation control for high-dynamic range reconstruction
JP7074461B2 (ja) ディスプレイ適合ｈｄｒ画像を再構成する方法およびデバイス
KR102496345B1 (ko) Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
EP3557872A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
KR102369771B1 (ko) 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스
RU2836275C2 (ru) Способ и устройство для реконструкции данных изображений по декодированным данным изображений
US11575944B2 (en) Method and apparatus for encoding an image
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
BR102017025044B1 (pt) Método e dispositivo para reconstruir uma imagem em hdr adaptada para exibição

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171215

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20191126

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201111

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171215

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220125

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220916

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221020

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221020

End annual number: 3

Start annual number: 1

PG1601 Publication of registration