KR20130036730A - Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체 - Google Patents

Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체 Download PDF

Info

Publication number
KR20130036730A
KR20130036730A KR1020120110117A KR20120110117A KR20130036730A KR 20130036730 A KR20130036730 A KR 20130036730A KR 1020120110117 A KR1020120110117 A KR 1020120110117A KR 20120110117 A KR20120110117 A KR 20120110117A KR 20130036730 A KR20130036730 A KR 20130036730A
Authority
KR
South Korea
Prior art keywords
ldr
sampled
image
frame
hdr
Prior art date
Application number
KR1020120110117A
Other languages
English (en)
Inventor
야닉 올리비에
필립쁘 보르드
도미니끄 또로
죠앙 라크
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130036730A publication Critical patent/KR20130036730A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 고 명암비의 이미지들의 코딩 분야에 관한 것이다.
본 발명은 프레임 호환 가능 포맷의 개념에 기초한다. 본 아이디어는, 프레임에서, LDR 콘텐츠로부터 HDR 콘텐츠의 재구성을 가능하게 하는 추가 정보와 함께 다운-샘플링된 LDR 콘텐츠를 이동한다.
따라서, 청구항 1에 따른 고 명암비의 HDR 이미지를 인코딩하는 방법이 제안된다. 상기 방법은 LDR 이미지 및 추가 데이터를 다운-샘플링(DWN)하는 단계를 포함하고, LDR 이미지는 HDR 이미지 콘텐츠의 더 낮은 명암비 묘사(a lower dynamic range depiction)를 제공하며, 추가 데이터는 LDR 이미지로부터 HDR 이미지의 재구성을 가능케 한다. 상기 방법은, 프레임에서, 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터를 배열(PCK)하는 단계 - 배열은 수평 다운-샘플링인 경우에는 나란히 배열되고, 수직 다운-샘플링인 경우에는 상하로 배열됨 - , 및 프레임을 인코딩(AVC)하는 단계를 더 포함한다.

Description

HDR 이미지를 인코딩하기 위한 방법 및 장치, HDR 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체{METHOD OF AND DEVICE FOR ENCODING AN HDR IMAGE, METHOD OF AND DEVICE FOR RECONSTRUCTING AN HDR IMAGE AND NON-TRANSITORY STORAGE MEDIUM}
본 발명은 고 명암비의 이미지들의 코딩 분야에 관한 것이다.
정지 이미지들이건 또는 이미지 시퀀스의 이미지 프레임들이건 간에, 이미지들은, 일반적으로, 휘도 신호를 나타내기 위해 제한된 범위의 값들에 대응하는, 제한된 수의 비트들(예를 들어, 8, 10, 12 또는 그 이상의 비트들)로 표현된다. 이러한 방법으로 표현된 이미지들은 저 명암비(low dynamic range)의 이미지들, 또는, 짧게, LDR 이미지들이라고 한다. 그러나, 인간의 시각 체계는 더 넓은 범위의 휘도를 인식할 수 있다. 제한된 표현은, 대개, 특히 매우 어두운 또는 밝은 휘도의 이미지 영역들에서, 작은 신호 변화들을 정확하게 재구성하지 못하게 한다. HDR(High Dynamic Range) 포맷은, 전체 휘도 범위에서 신호의 높은 정확성을 유지하기 위해, 신호 표현의 비트-깊이를 더 많은 비트들, 예를 들어, 20 내지 64 비트들을 가진 정수 표현으로, 또는 심지어는 플로팅 표현(floating representation)으로 상당히 확장한다.
HDR 이미지들은 각종 방법들로 포착될 수 있다. 예를 들어, 디지털 단일 렌즈 리플렉스 카메라들은 브라케팅 기술(bracketing technique)을 사용해서, 상이하게 노출된 동일한 장면의 연속 이미지들을 포착할 수 있으며, 노출은 이미지를 찍는 과정 중에 이미징 매체(사진 필름 또는 이미지 센서)에 떨어지도록 허용된 빛의 총 양이다. 상이하게 노출된 이미지들은 LDR 이미지들로서 표현된다. 상이한 노출 값들 EV에 대해 도 1에 일례로서 도시된 바와 같이, 부족하게 노출된 이미지들은 밝은 영역들에서 디테일들을 포착하는 반면, 과도하게 노출된 이미지들은 어두운 영역들에서 디테일들을 포착한다.
상이하게 노출된 LDR 이미지들의 결합으로, HDR 이미지는 부동소수점 표현으로 생성될 수 있으며, 생성된 HDR 이미지는 밝은 영역들뿐만 아니라 어두운 영역들의 모든 디테일들을 포함한다.
HDR 이미지는 LDR 이미지들과 함께 사용하게 하기 위해 지정된 장치들, 예를 들어, 셋탑 박스들, PVR, 및 레거시 디스플레이들에 의해 소스 포맷으로 사용될 수 없다. 여하튼, 톤 매핑(Tone Mapping)이라고 하는 프로세스는, 특히 명암 강도 범위들에서, 상이한 신호 강도 세그먼트들의 양호한 복원력(a good restituion)을 보장하면서, 이미지의 표현을 가능케 한다. 톤 매핑은, HDR 이미지로부터, 모든 요소들이 정확하게 노출되는 LDR 이미지를 생성한다. LDR 이미지는 어두운 영역들 및 화이트 영역 모두에서 훨씬 더 상세화된다. 이것은 도 2에서 예시적으로 도시되어 있다.
특히, 후처리(post-production)에서, HDR이 사용된다. 모든 특수 효과 도구들은 부동소수점 표현으로 HDR 이미지들을 다룬다. 자연스러운 장면 및 특수 효과들의 혼합(mixing)이 또한 HDR 표현으로 실현된다. 후처리 과정의 끝에, 톤 매핑이 적용되어, 사진 감독의 통제 하에 표준 8/10/12-비트 마스터를 생성한다.
맨티욱(Mantiuk) 외 다수: 2006년, "백워드 호환 가능한 고 명암비 MPEG 비디오 압축(Backward Compatible High Dynamic Range MPEG Video Compression)", SIGGRAPH(Special issue of ACM Transactions on Graphics) '06의 기록물, 25 (3), pp. 713-723은, DVD 플레이어 등의 기존 MPEG 디코더들에서 재생될 수 있는, 잔류 스트림 및 표준 LDR 스트림으로 HDR 비디오 스트림을 분해하는데 사용되는 콤팩트 재구성 기능을 도입하는 이전 기종과 호환 가능한 HDR 비디오 압축(HDR MPEG) 방법을 제안한다. 맨티욱의 잔류 스트림은 오직 LDR 스트림에 비교하여 대략 30%의 비트스트림 오버헤드를 도입한다.
모트라(Motra) 및 토마(Thoma): 2010년 9월, 홍콩, "고 명암비 비디오 압축을 위한 적응 LogLuv 변환(An Adaptive LogLuv Transform for High Dynamic Range Video Compression)", 이미지 프로세싱에 대한 2010 IEEE 17회 국제 회의의 기록물은, 저자들에 의해 제안된 적응 LogLuv 변환으로 HDR 비디오 시퀀스를 인코딩하는데 기존 인코더가 사용될 수 있는 방식을 기술한다. 모트라 및 토마는 이 데이터를 인코딩하기 위해 MPEG AVC의 고 비트 깊이 프로필을 사용하는 것을 기술한다.
상술된 방법들의 한 단점은 표준 HDTV 에코 시스템과 역호환되지 않는다(non retro-compatibility)는 점이다.
이미 개발된 이미지/비디오 인코더들을 재사용할 수 있게 하고 표준 LDR HDTV와 백워드 호환 가능한(backward-compatible), HDR 이미지들 및 비디오들을 위한 대안의 인코딩 방식이 본 기술 분야에서 필요함을 본 발명인들은 깨달았다.
본 발명은 프레임 호환 가능 포맷의 개념에 기초한다. 본 아이디어는 프레임 호환 가능 방법을 사용해서, LDR 콘텐츠로부터 HDR 콘텐츠의 재구성을 가능하게 하는 추가 정보와 함께 다운-샘플링된 LDR 콘텐츠를 이동한다. 디코더 측에서, LDR 콘텐츠는 LDR 디스플레이들을 얻는데 사용될 수 있으며, HDR 콘텐츠는 따라서 재구성되어 HDR 디스플레이들을 얻는데 사용될 수 있다. 또는 HDR 콘텐츠 재구성은 LDR 디스플레이들에 의해 사용되도록 톤 매핑될 수 있다.
따라서, 청구항 1에 따른 고 명암비의 HDR 이미지를 인코딩하는 방법이 제안된다. 상기 방법은 LDR 이미지 및 추가 데이터를 다운-샘플링하는 단계를 포함하고, LDR 이미지는 HDR 이미지 콘텐츠의 더 낮은 명암비 묘사(a lower dynamic range depiction)를 제공하며, 추가 데이터는 LDR 이미지로부터 HDR 이미지의 재구성을 가능케 한다. 상기 방법은, 프레임에서, 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터를 배열하는 단계를 더 포함한다.
청구항 2에 따른 고 명암비의 HDR 이미지를 재구성하는 방법이 더 제안된다. 상기 더 제안된 방법은 프레임을 디코딩하는 단계, 프레임을 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터로 분할하는 단계 - 상기 LDR 이미지는 HDR 이미지 콘텐츠의 다운-샘플링된 더 낮은 명암비 묘사를 제공하고 상기 추가 데이터는 LDR 이미지로부터 HDR 이미지의 재구성을 가능하게 함 - , 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터를 업-샘플링하는 단계, 및 업-샘플링된 추가 데이터를 사용해서 업-샘플링된 LDR 이미지로부터 HDR 이미지를 재구성하는 단계를 포함한다.
또한, 저 명암비의 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 정보를 포함하는 인코딩된 프레임을 캐리하는 기억 매체가 제안되는데, 추가 데이터는 LDR 이미지 콘텐츠의 더 높은 명암비 묘사를 제공하는 HDR 이미지의 재구성을 가능케 한다.
또한, 본 발명인들은, 고 명암비의 HDR 이미지를 인코딩하기 위한 장치, 청구항 11에 따른 인코딩 장치, 및 고 명암비의 HDR 이미지를 재구성하기 위한 장치, 청구항 14에 따른 인코딩 장치를 제안한다.
일 실시예에서, 프레임은 기초 층에서 인코딩되고, 정보는 LDR 이미지를 다운-샘플링함으로써 제거되고, 추가 데이터는 강화 층에서 인코딩된다.
추가의 실시예들에서, 다운-샘플링 및 업-샘플링은 샘플링 방향으로, 예를 들어, 수평, 대각선 또는 수직 샘플링 방향으로, 발생한다. 샘플링 방향에 대응해서, 배열 패턴이 존재하는데, 예를 들어, 나란히 배열(side-by-side arrangement)은 수평 샘플링에 대응하고, 상하 배열(top-and-bottom)은 수직 다운-샘플링 및 업-샘플링에 대응한다.
추가의 유익한 실시예들의 특징들은 종속항들에 명시되어 있다.
본 발명의 일례의 실시예들은 도면들에 예시되고 이하의 설명에서 더 상세히 설명된다. 일례의 실시예들은, 청구항들에서 정의된 본 발명의 개시 내용 또는 범위를 제한하기 위해서가 아니라, 오직 본 발명을 더 자세히 설명하기 위해서 기술된 것이다.
도 1은 상이하게 노출된 동일한 장면의 동일한 뷰의 일례의 시리즈를 도시한다.
도 2는 톤 매핑이 밝은 영역들에 적용된 일례의 이미지를 도시한다.
도 3은 제1 및 제2 일례의 실시예의 인코딩 측에서의 나란히 다운-샘플링 및 패킹(packing)을 일례로서 도시한다.
도 4는 제1 및 제2 일례의 실시예의 인코딩 측에서의 상하 다운-샘플링 및 패킹을 일례로서 도시한다.
도 5는 제1 일례의 실시예의 코딩 프레임워크를 도시한다.
도 6은 제1 일례의 실시예의 2개의 가능한 프레임 구조들을 도시한다.
도 7은 제1 및 제2 일례의 실시예의 디코딩 측에서의 나란히 디-패킹(de-packing) 및 업-샘플링을 일례로서 도시한다.
도 8은 제1 및 제2 일례의 실시예의 디코딩 측에서의 상하 디-패킹 및 업-샘플링을 일례로서 도시한다.
도 9는 제2 일례의 실시예의 2개의 가능한 프레임 구조들을 도시한다.
도 10은 제2 실시예의 코딩 프레임워크를 도시한다.
도 11은 제3 일례의 실시예의 2개의 가능한 프레임 구조들을 도시한다.
도 12는 제3 일례의 실시예의 코딩 프레임워크를 도시한다.
도 13은 MVC 호환 가능 디코딩 장치에 따른 멀티-뷰 코딩에 기초한 제1 일례의 실시예의 추가의 코딩 프레임워크를 도시한다.
도 14는 MVC 호환 불가능 디코딩 장치에 따른 멀티-뷰 코딩에 기초한 제1 일례의 실시예의 추가의 코딩 프레임워크를 도시한다.
도 15는 스케일러블 비디오 코딩에 기초한 제1 일례의 실시예의 추가의 코딩 프레임워크를 도시한다.
본 발명은 대응하여 적응된 처리 장치를 포함하는 임의의 전자 장치에서 구현될 수 있다. 예를 들어, 본 발명은, 텔레비전, 미디어 게이트웨이, 셋탑 박스, 휴대 전화, 퍼스널 컴퓨터, 디지털 정지 카메라, 디지털 비디오 카메라 또는 자동차 엔터테인먼트 시스템으로 구현될 수 있으며, 이 일례의 시스템들 각각은 저 명암비, 고 명암비 또는 둘 다로 이미지 콘텐츠를 처리하도록 구성될 수 있다. 본 발명은 HDR 비디오/HDR 이미지 시퀀스들 뿐만 아니라 HDR 정지 이미지들에도 적용될 수 있다.
본 발명의 제1 일례의 실시예는, 고 명암비의 이미지가 상이하게 노출된 정렬된 이미지들, 예를 들어, 동일한 뷰포인트로부터 찍힌 동일한 장면의 한 쌍의 이미지들 - 이미지들 중 하나는 부족하게 노출되고 다른 하나는 과도하게 노출됨 - 로부터 생성될 수 있다는 사실을 이용한다.
싱글 프레임에 한 쌍의 이미지들을 맞추기 위해, 이미지들은 다운-샘플링된다. 제1 일례의 실시예에서, 다운-샘플링은, 수평으로 - 즉, 모든 홀수 열 또는 모든 짝수 열이 도 3에 일례로서 도시된 바와 같이 제거됨 -, 또는 수직으로 - 즉, 모든 홀수 행 또는 모든 짝수 행이 도 4에 일례로서 도시된 바와 같이 제거됨 -, 일 수 있다. 그 후, 다운-샘플링된 이미지들은 싱글 프레임에 배열될 수 있다. 배열은, 수평 다운-샘플링인 경우에는 나란히 배열되고, 수직 다운-샘플링인 경우에는 상하로 배열된다. 이는 도 5에 일례로서 도시되어 있다. 일례로서 도시된 2개의 LDR 이미지들은, 1080 행들 및 1920 열들을 가지며, 도 6a에 도시된 바와 같이, 960 열들에 수평으로 다운-샘플링되고 나란히 배열되며, 또는 도 6b에 도시된 바와 같이, 540 행들에 수직으로 다운-샘플링되고 상하로 배열된다.
다른 샘플링 방향들, 예를 들어, 대각선으로 올라가는 방향 또는 대각선으로 내려가는 방향도 가능하다. 샘플링 방향은 고정될 수 있으며, 또는 콘텐츠 보존에 적합하게 선택될 수 있다. 예를 들어, 수개의 샘플링 방향들이, 인코더 측에서, 이미지당 또는 사진 그룹당 테스트될 수 있으며, 예를 들어, 최상의 일그러짐율(rate-distortion)을 야기하는 샘플링 방향이 선택된다. 배열 타입은, 프레임을 반으로 나누는 에지들의 피처들을, 프레임에서, 탐색함으로써 결정되거나 또는 메타데이터로 시그널링될 수 있다. 피처들의 중요성(significance)은 비교될 수 있으며, 가장 중요한 피처가 후에 다시 프레임을 이미지들로 분할하는데 사용될 수 있다.
유사하게, 상기 샘플링 방향에 직교인 홀수 또는 짝수 라인들이 제거될 지의 여부는, 예를 들어, 일그러짐율을 향상시키기 위해, 고정되거나 또는 양 이미지들에 대해 공통으로 또는 개별적으로 조정될 수 있다. 이러한 조정은, 예를 들어, 고정된 샘플링 방향의 경우에, 샘플링 방향의 적응과 독립적으로 발생할 수 있으며, 또는 샘플링 방향 적응과 일관성 있게 발생할 수 있다.
프레임에서의 배열 후에, 프레임은 인코딩된다. LDR 이미지들이 HDR 비디오를 재구성하기에 적합한 LDR 이미지 쌍들의 시퀀스에 속하는 경우에, 프레임은 임의의 공지된 비디오 코딩 표준, 예를 들어, H.264/MPEG-4 AVC에 따라 인코딩될 수 있다. 본 발명의 요지상, 어떤 코딩 표준이 사용되는 지는 중요하지 않다.
인코딩은, 2개의 LDR 이미지들이 상이하게 노출된 동일한 콘텐츠를 나타낸다는 사실을 이용할 수 있다. 즉, 움직임 벡터 탐색(motion vector search)은 프레임의 1/2로 제한될 수 있으며, 1/2-프레임에서 결정된 움직임 벡터들은 다른 1/2-프레임에서 재사용될 수 있다. 재사용은 심지어 의무적으로 이루어질 수 있으며, 이 경우, 1/2-프레임의 오직 움직임 벡터들만이 인코딩될 필요가 있다.
선택적으로, 인코더는 스케일러블 이미지/비디오 코딩(SVC) 포맷의 기초 층을 출력하며, 다운-샘플링된 LDR 이미지들에서 생략된 행들 또는 열들은 SVC 포맷의 강화 층에서 인코딩된다. 또는, 인코더는 멀티-뷰 코딩(MVC) 포맷의 제1 뷰를 출력하며, 다운-샘플링된 LDR 이미지들에서 생략된 행들 또는 열들은 MVC 포맷의 제2 뷰에서 인코딩된다.
2개의 LDR 이미지들 각각의 정상적으로 노출된 영역들에서 디테일들을 보존하는 방법으로 2개의 LDR 이미지들의 노출들을 향상시키기 위해, 다운-샘플링 전에 또는 후에, 선택적인 히스토그램 얼라인먼트(histogram alignment)가 적용될 수 있다. 히스토그램 조정의 특정 세팅들은 고정되거나, 또는, 디코더가 역 변환을 실행할 수 있도록, 메타데이터를 통해 디코딩 프로세스에 송신될 수 있는 경우에 적용될 수 있다.
2개의 상이하게 노출된 LDR 이미지들에 기초한 일례의 코딩 프레임워크는 도 5에 도시되어 있다.
인코딩 장치 ENC는 저 명암비의 2개의 상이하게 노출된, 정렬된 이미지들 또는 비디오 프레임들을 수신하고, 모듈 HST에서 히스토그램 이퀄라이제이션(histogram equalization)에 의해 그 노출을 조정한다. 그 후, 노출 조정 이미지들은 다운-샘플링(DWN)되고, H.264/MPEG-4 AVC 인코더 AVC에 의해 인코딩된 싱글 프레임으로 패킹(PCK)된다. 모듈 MDE는 히스토그램 얼라인먼트의 파라미터, 다운-샘플링에 대한 정보 및 프레임의 메타데이터로의 패킹에 대한 정보를 인코딩한다. 그 후, 메타데이터를 포함하는 인코딩된 프레임은 스트림으로 송신되기 위해 또는 기억 매체, 예를 들어, 광 디스크에 저장되기 위해 출력된다.
디코딩 장치 DEC는 기억 매체를 판독하기 위한 장치로부터 또는 스트림 수신 장치로부터 메타데이터를 포함하는 인코딩된 프레임을 수신하고, 인코딩에 사용되는 표준에 따라 프레임을 디코딩(IAVC)한다. 그 후, 메타데이터는 디코딩(MDD)되고, 다운-샘플링된 LDR 이미지들로 프레임들을 분할(SEP)하는데 사용된다. 메타데이터는, 또한, 업-샘플링(UP)이 홀수 또는 짝수 라인들로 되는지의 여부에 사용된다. 분할 및 업-샘플링은, 나란히 배열될 LDR 이미지들에 대해, 도 7에서, 일례로서 도시되고, 상하로 배열된 LDR 이미지들에 대해, 도 8에서, 일례로서 도시된다. 다음으로, 히스토그램 얼라인먼트 파라미터들의 메타데이터가 역 히스토그램 얼라인먼트(IHST)에 사용된다. 역 얼라인먼트 후에, LDR 이미지들을 결합(FUS)하여 HDR 콘텐츠를 생성한다.
그 후, HDR 콘텐츠는 HDR 디스플레이를 얻기(sourcing) 위해 있는 그대로 출력될 수 있으며, 또는 LDR 디스플레이를 얻기 위해 출력 톤 매핑(MAP)될 수 있다.
도 9에 도시된 제2 일례의 실시예에서, 인코딩 장치 ENC는 RGB(red-green-blue) 색 공간의 HDR 콘텐츠를 얻는다. 콘텐츠는 RGB로 LDR 콘텐츠를 생성하기 위해 톤 매핑(MAP)된다. LDR 콘텐츠는 휘도-색차 공간, 예를 들어, YUV 420으로 색 변환(CCV)되고, HDR 콘텐츠의 휘도 값들이 결정된다. 다음으로, 이 값들은, 예를 들어, LDR 콘텐츠의 휘도 값들로 HDR 콘텐츠의 휘도 값들을 픽셀 단위로 나눔(pixel-wise division)(DIV)으로써, HDR 콘텐츠로부터 노출 맵을 추출하는데 사용된다. 이는, 휘도-색차로의 변환이, 예를 들어, 로그 스케일링(logarithmic scaling) 또는 리니어 스케일링(linear scaling)을 사용해서 실행될 수 있음을 요구한다. 그 후, 노출 맵은 포맷에 의해 허용되는 비트 깊이로 정규화 및 양자화(NQ)된다. YUV 420 프레임이 최적화되는 인코딩하는 장점을 취하기 위해, 정규화 및 양자화된 노출 맵은 YUV 400 공간으로부터 YUV 420 공간으로 변환된다.
그 후, 변환된 노출 맵 및 LDR 콘텐츠는, 도 10a에 일례로서 도시된 바와 같이 나란히, 또는 도 10b에 일례로서 도시된 바와 같이 상하로, 한 프레임으로 다운-샘플링(DWN) 및 패킹(PCK)된다. 프레임은 그 후 AVC 인코딩된다. 다운-샘플링은 수평 또는 수직일 수 있으며, 홀수 라인들 또는 짝수 라인들이 제거될 수 있고/있거나, 다운-샘플링으로 인해 제거된 정보는 SVC의 강화 층으로 또는 MVC의 상이한 뷰로 전달될 수 있다.
도 9에 일례로서 도시된 이 제2 일례의 실시예에서, 메타데이터는, 홀수 또는 짝수 라인들이 제거되었는 지에 관한 정보 외에, 정규화에 사용된 휘도 비율의 극값들을 포함한다. 배열, 예를 들어, 나란히 배열 또는 상하 배열에 대한 정보도 또한 포함될 수 있으며, 또는 프레임-이등분 에지 피처 검출을 사용해서 디코더 측에서 결정될 수 있다.
디코더 DEC는 인코딩된 프레임을 디코딩(IAVC)하고 다운-샘플링된 톤 매핑 LDR 콘텐츠 및 다운-샘플링된 노출 맵으로 분할(SEP)한다. 업-샘플링(UP)에 의해, LDR 콘텐츠 및 노출 맵은 다시 프레임 사이즈로 확장된다.
업-샘플링된 LDR 콘텐츠는 LDR 가능 장치에 있는 그대로 출력될 수 있다. 노출 맵은 메타데이터로서 전달된 최소 및 최대 휘도 값들을 사용해서 디-퀀타이즈(de-quantized)되고 디-노멀라이즈(de-normalized)(IQN)될 수 있다. 그 후, 확장된 노출 맵은 역 톤 매핑(ITM)에 사용될 수 있으며, 결과 HDR 콘텐츠는 HDR 가능 디스플레이를 얻을 수 있다.
본 발명의 제3 일례의 실시예는, 또한, 고 명암비의 이미지가 상이하게 노출된 정렬된 이미지들, 예를 들어, 동일한 뷰포인트로부터 찍힌 동일한 장면의 3개의 이미지들 - 이미지들 중 하나는 부족하게 노출되고, 하나는 정상적으로 노출되며, 하나는 과도하게 노출됨 - 로부터 생성될 수 있다는 사실을 이용한다.
도 12에 도시된 제3 실시예에서, 정상적으로 노출되지 않은 정렬된 이미지들은 수평으로 또한 수직으로 다운-샘플링된다. 선택적으로, 히스토그램 얼라인먼트가 다운-샘플링 전에 적용된다. 정상적으로 노출된 LDR 이미지는 히스토그램 얼라인먼트 없이 수직으로 또는 수평으로 다운-샘플링된다. 그 후, 3개의 이미지들은 도 11a 또는 도 11b에 일례로서 도시된 바와 같이 프레임에 배열된다.
즉, 정상적으로 노출된 LDR 이미지가 수직으로 다운-샘플링된 경우에, 다운-샘플링된 정상적으로 노출되지 않은 이미지들은 나란히 배열되고, 다운-샘플링된 정상적으로 노출된 이미지는 아래에 또는 맨 위에 배열된다. 또한, 정상적으로 노출된 LDR 이미지가 수평으로 다운-샘플링된 경우에, 다운-샘플링된 정상적으로 노출되지 않은 이미지들은 상하로 배열되고, 다운-샘플링된 정상적으로 노출된 이미지는 나란히 배열된다. 그 후, 결과 프레임은, 예를 들어, AVC 인코더를 사용해서, 인코딩된다. 프레임의 메타데이터는 제거된 라인들의 패리티, 정상적으로 노출된 이미지의 다운-샘플링의 방향 및/또는 히스토그램 얼라인먼트의 파라미터들에 대한 정보를 캐리할 수 있다.
디코더 측에서, 스트림은, 예를 들어, AVC 등의 표준 비디오 코더를 사용해서 먼저 디코딩된다. 그 후, 프레임은 메타데이터에 의해 캐리된 합의 방법(according method)을 사용해서 또는 검출된 수직 또는 수평 중간 에지를 사용해서 언패킹(unpacked)된다. 그 후, 결과 이미지들 또는 이미지 스트림들의 정상적으로 노출된 이미지는 메타데이터에 의해 캐리된 합의 방법을 사용해서 오버-샘플링되어서, 재구성된 정상적으로 노출된 LDR 이미지/비디오를 생성한다. 과도하게 노출된 LDR 비디오 및 부족하게 노출된 LDR 비디오는 수직으로 또한 수평으로 오버-샘플링된다.
결과 정상적으로 노출된 LDR 콘텐츠는 LDR 디스플레이를 직접 얻을 수 있다.
인코더 측에서 히스토그램 얼라인먼트가 적용된 경우에, 역 히스토그램 조정은, 메타데이터에 의해 캐리된 파라미터들을 사용해서, 과도하게 노출된 콘텐츠 및 부족하게 노출된 콘텐츠에 선택적으로 적용될 수 있다.
결과 정상적으로 노출된 LDR 콘텐츠는 역 히스토그램 정렬된 과도하게 노출된 LDR 콘텐츠 및 부족하게 노출된 LDR 콘텐츠와 더 결합되어서 HDR 콘텐츠를 재구성할 수 있으며, 그 후, HDR 콘텐츠는 HDR 디스플레이에 제공될 수 있다.
제1 및 제2 일례의 실시예 뿐만 아니라 제3 일례의 실시예에서, 프레임은, 또한, 스케일러블 비디오 코딩 포맷의 기초 층에서 인코딩될 수 있다. 또는 MVC가 사용될 수 있다. 그 후, 다운-샘플링으로 인해 기초 층/주요 뷰에서 부족한 정보는 하나의 또는 그 이상의 강화 층들/보조 뷰들에서 인코딩될 수 있다. 상이한 뷰들 또는 층들에 대한 정보를 분배하는 이 원리들이 적용되는 모든 경우에, 기초 층/제1 뷰의 1/2-프레임의 움직임 벡터 정보는 기초 층/제1 뷰의 다른 1/2-프레임에 재사용될 수 있을 뿐만 아니라, 강화 층의 1/2-프레임들에도 재사용될 수 있다.
예를 들어, HDR 콘텐츠가 상이한 노출 픽셀들의 4개의 이미지들에 기초하면, 4개의 LDR 이미지들 각각은 1/4 해상도의 4개의 LDR 서브-이미지들로 분류될 수 있다. 예를 들어, 홀수 행들의 홀수 픽셀들은 제1 서브-이미지로 분류되고, 짝수 행들의 홀수 픽셀들은 제2 서브-이미지로 분류되며, 홀수 행들의 짝수 픽셀들은 제3 서브-이미지로 분류되고, 짝수 행들의 짝수 픽셀들은 제4 서브-이미지로 분류된다. 그 후, 4개의 LDR 이미지들의 제1 서브-이미지들은 SVC 기초 층 또는 주요 MVC 뷰에 배열되고, 4개의 LDR 이미지들의 제2 서브-이미지들은 제1 SVC 강화 층 또는 제1 보조 MVC 뷰에 배열되며, 4개의 LDR 이미지들의 제3 서브-이미지들은 제2 SVC 강화 층/제2 보조 MVC 뷰에 배열되고, 4개의 LDR 이미지들의 제4 서브-이미지들은 제3 SVC 강화 층/제3 보조 MVC 뷰에 배열된다.
프레임 인코딩이 H.264/MPEG-4 AVC에 따른 일례의 실시예들에서 메타데이터를 인코딩하기 위해, 이하의 일례의 구문이 제안된다.
즉, 본 발명의 일 양상은 변경된 또는 새로운 SEI 메시지의 제안에 관한 것이다. 예를 들어, 이하의 표 1에 일례로서 도시된 바와 같이, sei_payload()는, 표 2에 일례로서 도시된, hdr_frame_compatible_info(payloadSize)로 액세스를 트리거하는, 45와 동일한 추가 payloadType이 정의되도록, 변경될 수 있다.
Figure pat00001
Figure pat00002
SEI HDR 프레임 호환 가능 정보 메시지는, 출력 디코딩 사진이 표시된 프레임 패킹 배열 방식을 사용해서 다수의 별개의 공간적 패킹 구성 프레임들로 구성된 한 프레임의 샘플들을 포함한다고 디코더에게 알려준다. 이 정보는, 디코더가 샘플들을 적절히 재배열하고 디스플레이를 위해 또는 다른 목적들(본 명세서의 범위 밖의 목적들)을 위해 구성 프레임들의 샘플들을 적절히 처리하는데 사용될 수 있다.
hdr_frame_compatible_id는 HDR 프레임 호환 가능 정보 SEI 메시지의 사용을 식별하는데 사용될 수 있는 식별 번호를 포함한다. hdr_frame_compatible_id의 값은 0 및 232-2를 포함해서 0 내지 232-2의 범위 내에 있다.
0 내지 255 및 512 내지 231-1의 hdr_frame_compatible_id의 값들은 애플리케이션에 의해 결정된 대로 사용될 수 있다. 256 내지 511 및 231 내지 232-2의 hdr_frame_compatible_id의 값들은 ITU-T|ISO/IEC에 의한 다른 사용을 위해 보유된다. 디코더들은 256 내지 511의 범위의 또는 231 내지 232-2의 범위의 hdr_frame_compatible_id의 값을 포함하는 모든 HDR 프레임 호환 가능 정보 SEI 메시지들을 무시(비트스트림으로부터 제거 및 폐기)하며, 비트스트림들은 이러한 값들을 포함하지 않는다.
1과 동일한 hdr_frame_compatible_cancel_flag는, HDR 프레임 호환 가능 정보 SEI 메시지가 출력 순서로 임의의 HDR 프레임 호환 가능 정보 SEI 메시지의 지속성(persistence)을 취소함을 나타낸다.
0과 동일한 hdr_frame_compatible_cancel_flag는, HDR 프레임 호환 가능 정보 SEI 메시지가 따라옴을 나타낸다.
hdr_frame_packing_arrangement_type은, 표 3에 명시된 바와 같은 프레임들의 패킹 배열의 타입을 나타낸다.
Figure pat00003
Figure pat00004
hdr_frame_compatible_type은 HDR 관련 정보를 이동하는데 사용된 해법을 지정한다.
0의 hdr_frame_compatible_type은 2개의 LDR 뷰들을 사용하는 방식에 대응하고; 1의 hdr_frame_compatible_type은 LDR 뷰 및 노출 맵을 사용하는 방식에 대응하며; 2의 hdr_frame_compatible_type은 1/2 프레임의 LDR 뷰, 1/4 프레임의 부족하게 노출된 LDR 뷰 및 1/4 프레임의 과도하게 노출된 LDR 뷰를 사용하는 방식에 대응한다. 2 보다 큰 hdr_frame_compatible_type은 3 개 보다 많은 LDR 이미지들을 사용함을 나타낼 수 있다.
over_exposed_view_mapping은, 어떤 1/2 프레임이 과도하게 노출된 LDR 뷰와 매핑되는 지를 지정한다. 이 플래그는, hdr_frame_compatible_type이 0 또는 2와 동일할 때, 존재한다.
hdr_frame_packing_arrangement_type이 0 내지 3 범위 내에 있을 때(나란히 배열):
- 0과 동일한 over_exposed_view_mapping은, 과도하게 노출된 LDR 뷰가 왼쪽 1/2-프레임에 매핑되어서, 부족하게 노출된 LDR 뷰는 오른쪽 1/2-프레임에 매핑됨을 나타낸다.
- 1과 동일한 over_exposed_view_mapping은, 과도하게 노출된 LDR 뷰가 오른쪽 1/2-프레임에 매핑되어서, 부족하게 노출된 LDR 뷰는 왼쪽 1/2-프레임에 매핑됨을 나타낸다.
hdr_frame_packing_arrangement_type이 4 내지 7 범위 내에 있을 때(상하 배열):
- 0과 동일한 over_exposed_view_mapping은, 과도하게 노출된 LDR 뷰가 상부 1/2-프레임에 매핑되어서, 부족하게 노출된 LDR 뷰는 하부 1/2-프레임에 매핑됨을 나타낸다.
- 1과 동일한 over_exposed_view_mapping은, 과도하게 노출된 LDR 뷰가 하부 1/2-프레임에 매핑되어서, 부족하게 노출된 LDR 뷰는 상부 1/2-프레임에 매핑됨을 나타낸다.
ldr_view_mapping은, 어떤 1/2 프레임이 LDR 뷰와 매핑되는 지를 지정한다. 이 플래그는, hdr_frame_compatible_type이 1과 동일할 때, 존재한다.
hdr_frame_packing_arrangement_type이 0 내지 3 범위 내에 있을 때(나란히 배열):
- 0과 동일한 ldr_view_mapping은, LDR 뷰가 왼쪽 1/2-프레임에 매핑되어서, 노출 맵은 오른쪽 1/2-프레임에 매핑됨을 나타낸다.
- 1과 동일한 ldr_view_mapping은, LDR 뷰가 오른쪽 1/2-프레임에 매핑되어서, 노출 맵은 왼쪽 1/2-프레임에 매핑됨을 나타낸다.
hdr_frame_packing_arrangement_type이 4 내지 7 범위 내에 있을 때(상하 배열):
- 0과 동일한 ldr_view_mapping은, LDR 뷰가 상부 1/2-프레임에 매핑되어서, 노출 맵은 하부 1/2-프레임에 매핑됨을 나타낸다.
- 1과 동일한 ldr_view_mapping은, LDR 뷰가 하부 1/2-프레임에 매핑되어서, 노출 맵은 상부 1/2-프레임에 매핑됨을 나타낸다.
hdr_luminance_min은, 정규화 전의 HDR 프레임 및 대응 LDR 프레임 간의 휘도 비율의 최소 값을 제공한다. 이 16-비트 값은 1/2-부동 값(IEEE 754 표현)으로서 해석된다.
hdr_luminance_max는, 정규화 전의 HDR 프레임 및 대응 LDR 프레임 간의 휘도 비율의 최대 값을 제공한다. 이 16-비트 값은 1/2-부동 값(IEEE 754 표현)으로서 해석된다.
luminance_ratio_scaling_method는 휘도 비율 값들을 압축하는데 사용되는 방법을 지정한다.
luminance_ratio_scaling_method, 0은 리니어 스케일링에 대응한다.
luminance_ratio_scaling_method, 1은 로그2 스케일링에 대응한다.
luminance_ratio_scaling_method, 2는 로그10 스케일링에 대응한다.
multi_view_mapping은, 어떤 1/2 프레임이 정상적으로 노출된 LDR 뷰와 매핑되는 지와, 어떤 1/4 프레임이 부족하게 노출된 LDR 뷰 및 과도하게 노출된 LDR 뷰와 매핑되는 지를 지정한다. 이 플래그는, 오직 hdr_frame_compatible_type이 2와 동일할 때만, 존재한다.
hdr_frame_packing_arrangement_type이 0 내지 3 범위 내에 있을 때(나란히 배열):
- 0과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 왼쪽 1/2-프레임에 매핑되고, 부족하게 노출된 LDR 뷰는 오른쪽 상부 1/4-프레임에 매핑되며, 과도하게 노출된 LDR 뷰는 오른쪽 하부 1/4-프레임에 매핑됨을 나타낸다.
- 1과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 왼쪽 1/2-프레임에 매핑되고, 과도하게 노출된 LDR 뷰는 오른쪽 상부 1/4-프레임에 매핑되며, 부족하게 노출된 LDR 뷰는 오른쪽 하부 1/4-프레임에 매핑됨을 나타낸다.
- 2와 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 오른쪽 1/2-프레임에 매핑되고, 부족하게 노출된 LDR 뷰는 왼쪽 상부 1/4-프레임에 매핑되며, 과도하게 노출된 LDR 뷰는 왼쪽 하부 1/4-프레임에 매핑됨을 나타낸다.
- 3과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 오른쪽 1/2-프레임에 매핑되고, 과도하게 노출된 LDR 뷰는 왼쪽 상부 1/4-프레임에 매핑되며, 부족하게 노출된 LDR 뷰는 왼쪽 하부 1/4-프레임에 매핑됨을 나타낸다.
hdr_frame_packing_arrangement_type이 4 내지 7 범위 내에 있을 때(상하 배열):
- 0과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 상부 1/2-프레임에 매핑되고, 부족하게 노출된 LDR 뷰는 하부 왼쪽 1/4-프레임에 매핑되며, 과도하게 노출된 LDR 뷰는 하부 오른쪽 1/4-프레임에 매핑됨을 나타낸다.
- 1과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 상부 1/2-프레임에 매핑되고, 과도하게 노출된 LDR 뷰는 하부 왼쪽 1/4-프레임에 매핑되며, 부족하게 노출된 LDR 뷰는 하부 오른쪽 1/4-프레임에 매핑됨을 나타낸다.
- 2와 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 하부 1/2-프레임에 매핑되고, 부족하게 노출된 LDR 뷰는 상부 왼쪽 1/4-프레임에 매핑되며, 과도하게 노출된 LDR 뷰는 상부 오른쪽 1/4-프레임에 매핑됨을 나타낸다.
- 3과 동일한 multi_view_mapping은, 정상적으로 노출된 LDR 뷰가 하부 1/2-프레임에 매핑되고, 과도하게 노출된 LDR 뷰는 상부 왼쪽 1/4-프레임에 매핑되며, 부족하게 노출된 LDR 뷰는 상부 오른쪽 1/4-프레임에 매핑됨을 나타낸다.
secondary_down_sample_mapping은, 보조 다운-샘플링 방법이 적용되는 방식, 즉, 어떤 라인들 또는 열들(짝수 또는 홀수)이 사용되는 지를 지정한다. 이 플래그는, 오직 hdr_frame_compatible_type이 2와 동일할 때만, 존재한다.
hdr_frame_packing_arrangement_type이 0 내지 3 범위 내에 있을 때(나란히 배열), 수평 서브-샘플링을 위한 열 선택은 hdr_frame_packing_arrangement_type 값에 의해 이미 지정되어 있다.
0과 동일한 secondary_down_sample_mapping은, 짝수 라인들이 수직 서브-샘플링을 위해 과도하게 노출된 LDR 뷰 및 부족하게 노출된 LDR 뷰 둘 다에 사용됨을 나타낸다.
1과 동일한 secondary_down_sample_mapping은, 홀수 라인들이 수직 서브-샘플링을 위해 과도하게 노출된 LDR 뷰 및 부족하게 노출된 LDR 뷰 둘 다에 사용됨을 나타낸다.
hdr_frame_packing_arrangement_type이 4 내지 7 범위 내에 있을 때(상하 배열), 수직 서브-샘플링을 위한 라인 선택은 hdr_frame_packing_arrangement_type 값에 의해 이미 지정되어 있다.
0과 동일한 secondary_down_sample_mapping은, 짝수 열들이 수평 서브-샘플링을 위해 과도하게 노출된 LDR 뷰 및 부족하게 노출된 LDR 뷰 둘 다에 사용됨을 나타낸다.
1과 동일한 secondary_down_sample_mapping은, 홀수 열들이 수평 서브-샘플링을 위해 과도하게 노출된 LDR 뷰 및 부족하게 노출된 LDR 뷰 둘 다에 사용됨을 나타낸다.
본 발명은 이미 활용된 해법들(표준 HDTV 시스템들)을 사용하는 HDR 분배를 가능케 한다.
본 발명은, 또한, 표준 HDTV 시스템들과 역호환 가능(retro-compatibility)한 HDR 데이터의 효율적인 스케일러블 인코딩을 가능케 한다.
본 발명은 다수의 디스플레이 기술들에 적응될 수 있는 바와 같이 융통성이 있다.
본 발명은 분배 및/또는 기억을 위한 HDR 비디오 인코딩/디코딩의 분야에 적용될 수 있다.
본 발명은 비디오 표현 포맷, 비디오 분배 체인 및 수신기(셋탑 박스, 디코더, PVR) 또는 디스플레이 장치들과 관련될 수 있다.

Claims (15)

  1. 고 명암비(high dynamic range)의 HDR 이미지를 인코딩하는 방법으로서,
    LDR 이미지 및 추가 데이터를 다운-샘플링(DWN)하는 단계 - 상기 LDR 이미지는 상기 HDR 이미지 콘텐츠의 더 낮은 명암비 묘사(a lower dynamic range depiction)를 제공하고 상기 추가 데이터는 상기 LDR 이미지로부터 상기 HDR 이미지의 재구성을 가능하게 함 -,
    프레임에서, 상기 다운-샘플링된 LDR 이미지 및 상기 다운-샘플링된 추가 데이터를 배열(PCK)하는 단계, 및
    상기 프레임을 인코딩(AVC)하는 단계
    를 포함하는 방법.
  2. 고 명암비의 HDR 이미지를 재구성하는 방법으로서,
    프레임을 디코딩(IAVC)하는 단계,
    상기 프레임을 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터로 분할(SEP)하는 단계 - 상기 LDR 이미지는 상기 HDR 이미지 콘텐츠의 다운-샘플링된 더 낮은 명암비 묘사를 제공하고 상기 추가 데이터는 상기 LDR 이미지로부터 상기 HDR 이미지의 재구성을 가능하게 함 -,
    상기 다운-샘플링된 LDR 이미지 및 상기 다운-샘플링된 추가 데이터를 업-샘플링(UP)하는 단계, 및
    상기 업-샘플링된 추가 데이터를 사용해서 상기 업-샘플링된 LDR 이미지로부터 상기 HDR 이미지를 재구성(FUS)하는 단계
    를 포함하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 LDR 이미지는 부족하게 노출되며, 상기 추가 데이터는 상기 HDR 이미지 콘텐츠의 저 명암비 묘사의 추가의 LDR 이미지이고, 상기 추가의 LDR 이미지는 과도하게 노출되는 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 LDR 이미지는 정상적으로 노출되고, 상기 다운-샘플링된 추가 데이터는 상기 HDR 이미지 콘텐츠의 저 명암비 묘사의 2개의 추가의 다운-샘플링된 LDR 이미지들을 포함하며, 상기 2개의 추가의 다운-샘플링된 LDR 이미지들 중 하나는 과도하게 노출되고, 상기 2개의 추가의 다운-샘플링된 LDR 이미지들 중 하나는 부족하게 노출되며, 추가의 다운-샘플링된 LDR 이미지들 둘 다는 수평으로 및 수직으로 다운-샘플링되고, 상기 추가 데이터에서, 상기 다운-샘플링된 추가 데이터 및 상기 LDR 이미지가 상하로 배열되는 경우에 상기 2개의 추가의 다운-샘플링된 LDR 이미지들은 나란히 배열되며, 상기 다운-샘플링된 추가 데이터 및 상기 LDR 이미지가 나란히 배열되는 경우에, 상기 2개의 추가의 다운-샘플링된 LDR 이미지들은 상하로 배열되는 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 부족하게 노출된 LDR 이미지 및 상기 과도하게 노출된 LDR 이미지는 히스토그램 얼라인먼트(histogram alignment)(HIST)를 사용해서 조정되고, 상기 히스토그램 얼라인먼트의 적어도 하나의 파라미터는 상기 프레임의 메타데이터로 인코딩되는 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 LDR 이미지는 상기 HDR 이미지의 톤 매핑 버전(a tone mapped version)이고, 상기 추가 데이터는 역 톤 매핑(inverse tone mapping)(ITM)을 가능하게 하는 노출 맵(an exposure map)을 포함하는 방법.
  7. 제6항에 있어서,
    상기 노출 맵은 상기 HDR 이미지 및 상기 HDR 이미지의 톤 매핑 버전의 휘도 값들의 비율들의 정규화된 맵(a normalized map)이고, 최소 휘도 비율 값 및 최대 휘도 비율 값 중 적어도 하나는 상기 프레임의 메타데이터로 인코딩되는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    다운-샘플링 정보는 상기 프레임의 메타데이터로 인코딩되고, 상기 다운-샘플링 정보는 홀수 라인들이 상기 다운-샘플링된 LDR 이미지에서 제거되었는지 및 홀수 라인들이 상기 다운-샘플링된 추가 데이터에서 제거되었는지 중 적어도 하나를 나타내는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    배열 정보는 상기 프레임의 메타데이터로 인코딩되고, 상기 배열 정보는 상기 다운-샘플링된 LDR 이미지 및 상기 다운-샘플링된 추가 데이터가 상기 프레임에서 어떻게 배열되는 지를 나타내며,
    다운-샘플링은 수평이고 배열은 나란히하거나, 또는
    다운-샘플링은 수직이고 배열은 상하인 방법.
  10. 저 명암비의 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 정보를 포함하는 인코딩된 프레임을 캐리(carry)하는 일시적이지 않은 기억 매체로서,
    상기 추가 데이터는 상기 LDR 이미지 콘텐츠의 더 높은 명암비 묘사를 제공하는 HDR 이미지의 재구성을 가능하게 하는 기억 매체.
  11. 고 명암비의 HDR 이미지를 인코딩하는 장치로서,
    LDR 이미지 및 추가 데이터를 다운-샘플링하기 위한 수단 - 상기 LDR 이미지는 상기 HDR 이미지 콘텐츠의 더 낮은 명암비 묘사를 제공하고 상기 추가 데이터는 상기 LDR 이미지로부터 상기 HDR 이미지의 재구성을 가능하게 함 -,
    프레임에서, 상기 다운-샘플링된 LDR 이미지 및 상기 다운-샘플링된 추가 데이터를 배열하기 위한 수단, 및
    상기 프레임을 인코딩하기 위한 수단
    을 포함하는 장치.
  12. 제11항에 있어서,
    히스토그램 얼라인먼트를 위한 수단을 더 포함하는 장치.
  13. 제11항에 있어서,
    노출 맵을 결정하기 위한 수단을 더 포함하는 장치.
  14. 고 명암비의 HDR 이미지를 재구성하는 장치로서,
    프레임을 디코딩하기 위한 수단,
    상기 프레임을 다운-샘플링된 LDR 이미지 및 다운-샘플링된 추가 데이터로 분할하기 위한 수단 - 상기 LDR 이미지는 상기 HDR 이미지 콘텐츠의 다운-샘플링된 더 낮은 명암비 묘사를 제공하고 상기 추가 데이터는 상기 LDR 이미지로부터 상기 HDR 이미지의 재구성을 가능하게 함 -,
    상기 다운-샘플링된 LDR 이미지를 업-샘플링하기 위한 수단, 및
    상기 업-샘플링된 추가 데이터를 사용해서 상기 업-샘플링된 LDR 이미지로부터 상기 HDR 이미지를 재구성하기 위한 수단
    을 포함하는 장치.
  15. 제11항에 있어서,
    히스토그램 얼라인먼트를 위한 수단 및 역 톤 매핑을 위한 수단 중 적어도 하나를 더 포함하는 장치.
KR1020120110117A 2011-10-04 2012-10-04 Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체 KR20130036730A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11306281.4 2011-10-04
EP11306281.4A EP2579591A1 (en) 2011-10-04 2011-10-04 Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium

Publications (1)

Publication Number Publication Date
KR20130036730A true KR20130036730A (ko) 2013-04-12

Family

ID=46785327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120110117A KR20130036730A (ko) 2011-10-04 2012-10-04 Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체

Country Status (5)

Country Link
US (1) US9554056B2 (ko)
EP (2) EP2579591A1 (ko)
JP (1) JP6349053B2 (ko)
KR (1) KR20130036730A (ko)
CN (1) CN103037215B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US9712781B2 (en) 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
WO2014077827A1 (en) * 2012-11-16 2014-05-22 Thomson Licensing Processing high dynamic range images
US9129388B2 (en) * 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US9280803B2 (en) * 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images
JP6510404B2 (ja) * 2013-04-30 2019-05-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、送信方法、受信装置および受信方法
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
JP2015008024A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
JP2016530780A (ja) * 2013-07-14 2016-09-29 エルジー エレクトロニクス インコーポレイティド デジタル放送システムにおける高品質の色感表現のための超高画質放送信号送受信方法及び装置
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
EP2938083A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Method and device for processing an information data indicating that a frame contains samples of at least two distinct packed constituent frames according to a specific frame-packing-arrangement scheme
WO2015193114A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture
WO2015193113A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
CN110675840B (zh) 2014-06-26 2022-03-25 松下知识产权经营株式会社 显示装置及显示方法
EP2963924B1 (en) * 2014-07-01 2017-05-24 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
GB201506644D0 (en) * 2015-04-20 2015-06-03 Univ Warwick HDR compression method and application to viewers
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10440401B2 (en) * 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
GB2554663B (en) * 2016-09-30 2022-02-23 Apical Ltd Method of video generation
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
US10489878B2 (en) * 2017-05-15 2019-11-26 Google Llc Configurable and programmable image processor unit
JP7037396B2 (ja) * 2018-03-15 2022-03-16 キヤノン株式会社 撮像素子、撮像装置及び撮像方法
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN113170158B (zh) 2018-11-19 2023-07-11 杜比实验室特许公司 视频编码器和编码方法
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN113283819B (zh) * 2021-07-21 2021-10-01 武汉科技大学 基于规则解码的Job Shop调度问题求解方法及系统
WO2024102337A1 (en) * 2022-11-09 2024-05-16 Apple Inc. Techniques for preprocessing images to improve gain map compression outcomes

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121114B2 (ja) * 1986-07-30 1995-12-20 ソニー株式会社 高能率符号化装置
JPH06204892A (ja) * 1992-12-26 1994-07-22 Canon Inc ディジタル信号処理装置
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
JP2001339722A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd マルチチャネル画像符号化装置、復号化表示装置、符号化方法および復号化表示方法
JP2003299067A (ja) * 2002-01-31 2003-10-17 Hitachi Kokusai Electric Inc 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム
US7296286B2 (en) * 2002-01-31 2007-11-13 Hitachi Kokusai Electric Inc. Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2004135107A (ja) * 2002-10-11 2004-04-30 Hitachi Ltd 画像処理装置及びその方法
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP2009033586A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置
EP2180692A1 (en) 2008-10-22 2010-04-28 STWireless SA Method of and a device for producing a digital picture
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5430218B2 (ja) * 2009-05-07 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP5672796B2 (ja) * 2010-01-13 2015-02-18 株式会社ニコン 画像処理装置、画像処理方法
JP5454158B2 (ja) * 2010-01-15 2014-03-26 カシオ計算機株式会社 撮像装置、その制御方法およびプログラム
JP2011142682A (ja) * 2011-04-04 2011-07-21 Panasonic Electric Works Co Ltd 映像表示システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712781B2 (en) 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US9736507B2 (en) 2013-11-13 2017-08-15 Lg Electronics Inc. Broadcast signal transmission method and apparatus for providing HDR broadcast service
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10516915B2 (en) 2015-04-24 2019-12-24 Lg Electronics Inc. Apparatus and method of processing metadata for indicating a change in HDR information

Also Published As

Publication number Publication date
EP2579591A1 (en) 2013-04-10
EP2579597A1 (en) 2013-04-10
JP6349053B2 (ja) 2018-06-27
CN103037215B (zh) 2018-01-12
JP2013081170A (ja) 2013-05-02
CN103037215A (zh) 2013-04-10
US9554056B2 (en) 2017-01-24
US20130083838A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
JP6349053B2 (ja) Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体
US10708620B2 (en) Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US11812042B2 (en) Image decoding device and method for setting information for controlling decoding of coded data
US20140177706A1 (en) Method and system for providing super-resolution of quantized images and video
CN110460846B (zh) 针对编码标准可扩展性的层间参考图片处理
US9357197B2 (en) Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
ES2887248T3 (es) Organización en mosaico en codificación y decodificación de vídeo
KR101676059B1 (ko) 비디오 코딩을 위한 프레임 패킹
KR102243120B1 (ko) 인코딩 방법 및 장치 및 디코딩 방법 및 장치
WO2005083637A1 (es) Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
CN111491168A (zh) 视频编解码方法、解码器、编码器和相关设备
US20120307882A1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
US20210400295A1 (en) Null tile coding in video coding
RU2787713C2 (ru) Способ и устройство предсказания блока цветности
KR102377191B1 (ko) 비트스트림 처리방법 및 장치
WO2024061660A1 (en) Dynamic structures for volumetric data coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application