KR20140111270A

KR20140111270A - Ｌｄｒ 비디오와 함께 ｈｄｒ 비디오를 인코딩하는 방법 및 장치, 함께 코딩된 ｈｄｒ 비디오 및 ｌｄｒ 비디오 중의 하나를 재구성하는 방법 및 장치 및 비일시적 저장 매체

Info

Publication number: KR20140111270A
Application number: KR1020147018394A
Authority: KR
Inventors: 야닉 올리비에; 다비드 뚜즈; 필립쁘 보르드; 프렁크 이롱
Original assignee: 톰슨 라이센싱
Priority date: 2012-01-06
Filing date: 2012-12-18
Publication date: 2014-09-18
Also published as: US20190104320A1; JP2015506623A; US20140369410A1; KR101993945B1; WO2013102560A1; BR112014016417A2; PL2801191T3; HK1204177A1; US10110921B2; BR112014016417B1; CN109274975A; CN104041046B; EP2613532A1; CN104041046A; AU2012364389A1; ES2710379T3; CN109274975B; TR201901751T4; JP6111266B2; BR112014016417A8

Abstract

본 발명자는 LDR 콘텐츠 및 HDR 레지듀얼을 이용하여 HDR 콘텐츠를 나타내는 것은 문제가 있다는 것을 알았다. 그러므로, 본 발명은 대신 LDR 콘텐츠, LDR 레지듀얼 및 글로벌 조명 데이터를 이용하여 HDR 콘텐츠를 나타내는 것을 제안한다. 즉, LDR 비디오와 함께 높은 동적 범위의 HDR 비디오를 인코딩하는 방법이 제안되며, 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 상기 방법은 LDR 비디오의 하나의 비디오 및 HDR 비디오 및 LDR 비디오의 다른 비디오와 독립적으로 HDR 비디오로부터 추출된 추가의 LDR 비디오를 인코딩하고 상기 하나의 비디오를 기준으로 하여 다른 비디오를 예측 인코딩하고 상기 HDR 비디오로부터 추가로 추출된 글로벌 조명 데이터를 무손실 인코딩하는 프로세싱 수단을 이용하는 단계를 포함한다. 이것은 예측이 더 안정적이며 글로벌 최적 예측기를 더 용이하게 찾을 수 있는 이점이 있다.

Description

ＬＤＲ 비디오와 함께 ＨＤＲ 비디오를 인코딩하는 방법 및 장치, 함께 코딩된 ＨＤＲ 비디오 및 ＬＤＲ 비디오 중의 하나를 재구성하는 방법 및 장치 및 비일시적 저장 매체{METHOD OF AND DEVICE FOR ENCODING AN HDR VIDEO TOGETHER WITH AN LDR VIDEO, METHOD OF AND DEVICE FOR RECONSTRUCTING ONE OF AN HDR VIDEO AND AN LDR VIDEO CODED TOGETHER AND NON-TRANSITORY STORAGE MEDIUM}

본 발명은 높은 동적 범위의 비디오의 코딩 분야에 관한 것이다. 특히, 본 발명은 높은 동적 범위의 비디오와 동일한 콘텐츠를 나타내는 낮은 동적 범위의 비디오와 함께 높은 동적 범위의 비디오의 코딩 분야에 관한 것이다.

비디오는 일반적으로 제한된 범위의 값에 대응하는 제한된 수의 비트(예를 들어, 8, 10, 12 또는 그 이상의 비트)로 표현되어 휘도(luminance) 신호를 나타낸다. 이러한 방식으로 표현된 비디오는 낮은 동적 범위(low dynamic range)의 비디오 또는 짧게 LDR 비디오라 한다. 그러나, 인간 시각 시스템은 더 넓은 범위의 휘도를 인지할 수 있다. 제한된 표현은, 특히, 매우 어둡거나 밝은 비디오 이미지 영역, 즉, 높거나 낮은 휘도 영역에서, 종종 작은 신호의 변화를 정확하게 재구성할 수 없게 한다. HDR(High Dynamic Range) 포맷은, 전체 휘도 범위 상에서 신호의 높은 정확도를 유지하기 위하여, 신호 표현의 비트 깊이(bit-depth)를 더 많은 비트, 예를 들어, 20비트 내지 64 비트를 갖는 정수 표현, 또는 심지어 부동 소수점 표현으로 크게 확장하는 것에 있다.

HDR 이미지 또는 비디오는 다양한 방식으로 캡쳐될 수 있다. 예를 들어, 디지털 단일 렌즈 리플렉스 카메라(Digital Single Lens Reflex camera)는 동일한 장면의 연속적인 이미지를 상이한 노광으로 캡쳐하는 브래킷(bracketing) 기술을 이용할 수 있고, 노광은 이미지를 촬영하는 프로세스 동안 촬상 매체(imaging medium)(사진 필름 또는 이미지 센서) 상에 떨어지도록 허용되는 광의 총 밀도이다. 상이한 노광의 이미지는 LDR 이미지로 표현된다. 상이한 노광 값(EV)에 대하여 도 1에 예시적으로 도시된 바와 같이 노광 부족 이미지(under-exposed image)는 밝은 영역 내의 세부사항을 캡쳐하는 반면에 노광 과다 이미지(over-exposed image)는 어두운 영역 내의 세부사항을 캡쳐한다.

상이하게 노광된 LDR 이미지의 결합에 의해, HDR 이미지/비디오는 부동 소수점 표현으로 생성될 수 있고, 생성된 HDR 이미지/비디오는 밝은 영역 내의 세부사항 뿐만 아니라 어두운 영역 내의 모든 세부사항을 포함한다.

HDR 이미지/비디오는 LDR 이미지와 함께 사용되도록 지정된 장치, 예를 들어, 셋탑 박스, PVR 및 레거시(legacy) 디스플레이에서 그 소스 포맷으로 사용될 수 없다. 톤 맵핑(Tone Mapping)이라 불리우는 프로세스는, 특히, 높은 및 낮은 세기 범위들 내에서, 상이한 신호 세기 세그먼트의 양호한 보상(good restitution)을 확보하면서 이미지를 나타내게 한다. 톤 맵핑은, HDR 이미지로부터 LDR 이미지를 생성하고, 모든 엘리먼트는 정확하게 노광된다. LDR 이미지는 어두운 영역 및 백색 영역에서 훨씬 더 상세하다. 이것은 도 2에 예시적으로 도시된다.

HDR은 특히 포스트-프로덕션(post-production)에 이용된다. 모두는 아니더라도 대부분의 특수 효과 기구가 부동 소수점 표현으로 HDR 이미지를 다룬다. 자연 경관과 특수 효과인 믹싱(mixing)이 또한 HDR 표현으로 실현된다. 포스트-프로덕션 프로세스의 끝에, 톤 맵핑이 공통으로 적용되어 촬영 감독의 제어하에서 표준, 예를 들어, 8/10/12 비트 마스터를 생성한다.

후처리에서 적용되는 톤 맵핑은 일반적으로 알려져 있지 않다.

미국 특허 출원 2008/0175494에는, 높은 동적 범위 이미지 엘리먼트를 예측하는 방법으로서, 낮은 동적 범위 이미지 데이터를 수신하는 단계; 예측 데이터 및 HDR 레지듀얼(residual) 이미지 엘리먼트를 포함하는 높은 동적 범위 이미지 데이터를 수신하는 단계; 상기 LDR 이미지 데이터로부터 LDR 이미지 값을 추출하는 단계; 상기 예측 데이터에 기초하여 상기 LDR 이미지 값을 변경하는 단계; 및 상기 변경된 LDR 이미지 값을 상기 HDR 레지듀얼 이미지 엘리먼트와 결합하여 HDR 이미지 엘리먼트를 형성하는 단계를 포함하는 방법이 기재되어 있다.

본 발명자는 LDR 콘텐츠 및 HDR 레지듀얼을 이용하여 HDR 콘텐츠를 나타내는 것은 문제가 있다는 것을 알았다. 그러므로, 본 발명은 대신 LDR 콘텐츠, LDR 레지듀얼 및 글로벌 조명 데이터를 이용하여 HDR 콘텐츠를 나타내는 것을 제안한다.

즉, LDR 비디오와 함께 높은 동적 범위의 HDR 비디오를 인코딩하기 위한 청구항 1에 따른 방법 및 청구항 2에 따른 장치가 제안되고, 여기서, 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사(depiction)를 제공한다. 제안된 방법은 LDR 비디오의 하나의 비디오, 및 HDR 비디오 및 LDR 비디오의 다른 비디오와 독립적으로 HDR 비디오로부터 추출된 추가의 LDR 비디오를 인코딩하고, 상기 하나의 비디오를 기준으로 하여 다른 비디오를 예측 인코딩하고 상기 HDR 비디오로부터 추가로 추출된 글로벌 조명 데이터를 무손실 인코딩하는 프로세싱 수단을 이용하는 단계를 포함한다. 인코딩 장치는 상기 프로세싱 수단을 포함한다.

이것은 다양한 이점을 갖는다. 예를 들어, 기준 및 예측된 콘텐츠의 동일한 비트 깊이 때문에, 예측이 더 안정적이며 글로벌 최적 예측기를 더 용이하게 찾을 수 있다. 추가적으로, 이 접근법은 예를 들어 높은 경사도(gradient)에서 후광(halo)과 같은 아티팩트(artifact)를 도입하지 않고 이 HDR 콘텐츠를 서브샘플링할 수 있다. 또한 이 접근법은 예를 들어 AVC와 같은 고전적인 8비트 인코딩 방식의 효율을 활용하도록 채용된다.

인코딩 방법 및 인코딩 장치의 추가의 유리한 실시예의 특징은 종속 청구항에서 특정된다.

높은 동적 범위의 HDR 비디오를 재구성하는 청구항 10에 따른 방법 및 청구항 11에 따른 장치가 또한 제안된다. 상기 재구성 방법은 LDR 비디오를 디코딩하고 - 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공함 -; 상기 LDR 비디오 및 레지듀얼을 이용하여 추가의 LDR 비디오를 디코딩하고 - 상기 추가의 LDR 비디오는 상기 HDR 비디오 콘텐츠의 추가의 더 낮은 동적 범위 묘사를 제공함 -; 및 글로벌 조명 데이터를 디코딩하고 상기 글로벌 조명 데이터 및 상기 LDR 비디오와 추가의 LDR 비디오 중의 하나를 이용하여 상기 HDR 비디오를 재구성하는 프로세싱 수단을 이용하는 단계를 포함한다. 재구성 장치는 상기 프로세싱 수단을 포함한다.

재구성 방법 및 재구성 장치의 추가의 유리한 실시예의 특징은 종속 청구항에서 특정된다.

본 발명은, 또한 LDR 비디오와 함께 인코딩된 HDR 비디오를 갖는 데이터 스트림 및/또는 비일시적 저장 매체를 제안하며, 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 상기 HDR 비디오는 제안된 인코딩 방법 또는 그 실시예에 따라 LDR 비디오와 함께 인코딩된다.

본 발명의 예시적인 실시예는 도면에 도시되며 다음의 상세한 설명에서 더 자세히 설명한다. 예시적인 실시예는 단지 본 발명을 설명하기 위한 것으로, 청구범위에 정의된 본 발명의 개시 또는 범위를 제한하는 것은 아니다.
도 1은 상이한 노광으로 캡쳐된 동일한 콘텐츠의 예시적인 이미지를 나타내는 도면.
도 2는 좌측 상의 과다 노광 영역을 갖는 예시적인 낮은 동적 범위 이미지 및 잘 노광된 모든 영역을 갖는 대응하는 높은 동적 범위 이미지의 톤 맵핑으로부터 기인하는 우측 상의 다른 예시적인 낮은 동적 범위 이미지를 나타내는 도면.
도 3은 본 발명의 제1 예시적인 프레임워크를 나타내는 도면.
도 4는 본 발명의 제1 예시적인 프레임워크를 나타내는 도면.
도 5는 글로벌 조명 데이터 추출기의 제1 예시적인 실시예를 나타내는 도면.
도 6은 도 5에 도시된 글로벌 조명 데이터 추출기의 예시적인 실시예에 대응하는 HDR 비디오 재구성기의 제1 예시적인 실시예를 나타내는 도면.
도 7은 글로벌 조명 데이터 추출기의 제2 예시적인 실시예를 나타내는 도면.
도 8은 도 7에 도시된 글로벌 조명 데이터 추출기의 예시적인 실시예에 대응하는 HDR 비디오 재구성기의 제2 예시적인 실시예를 나타내는 도면.

본 발명은 대응하여 적응되는 프로세싱 장치를 포함하는 임의의 전자 장치 상에서 실현될 수 있다. 예를 들어, 본 발명은 텔레비전, 비디오 폰, 셋탑 박스, 게이트웨이, 퍼스널 컴퓨터 또는 디지털 비디오 카메라에서 실현될 수 있다.

본 발명의 일부 예시적인 실시예는, 예를 들어, H.264/AVC에 따라, 주 시점(main view)이 시점내(intra-view) 예측 인코딩된 다-시점(multi-view)(MVC) 인코딩 방식에 기초한다. 주 시점은 디코더가 MVC 방식의 보조 시점을 더 디코딩할 수 있는지와 무관하게 임의의 AVC 디코더에 의해 디코딩될 수 있다. 이들 실시예에서, LDR 비디오는 주 시점에서 인코딩된다. 보조 시점은 글로벌 조명 데이터(GID) 또는 LDR 비디오 레지듀얼을 포함한다. 글로벌 조명 데이터(GID)가 보조 시점에 포함되지 않으면, 다르게, 예를 들어, MVC 코드의 무손실 인코딩 메타 데이터로서, 전달된다.

보조 시점이 글로벌 조명 데이터(GID)를 포함하는 예시적인 실시예에서, 주 시점의 LDR 비디오 이미지는 HDR 비디오 이미지를 형성하기 위해 상기 글로벌 조명 데이터(GID)에 기초하여 변경될 수 있다.

보조 시점이 LDR 비디오 레지듀얼을 포함하는 제1 예시적인 실시예에서, 주 시점의 LDR 비디오 이미지는 HDR 비디오 이미지를 형성하기 위해 글로벌 조명 데이터(GID)에 기초하여 변경될 수 있다. 주 시점의 LDR 비디오 이미지는 또한 다른 LDR 비디오 이미지를 형성하기 위해 보조 시점 내의 LDR 레지듀얼 비디오 이미지와 결합될 수 있다.

보조 시점이 LDR 비디오 레지듀얼을 포함하는 제2 예시적인 실시예에서, 주 시점의 LDR 비디오 이미지는 추가의 LDR 비디오 이미지를 형성하기 위해 보조 시점 내의 LDR 레지듀얼 비디오 이미지와 결합될 수 있고, 추가의 LDR 비디오 이미지는 HDR 비디오 이미지를 형성하기 위해 글로벌 조명 데이터(GID)에 기초하여 변경될 수 있다.

상기 제2 예시적인 실시예에서, LDR 비디오 이미지는 HDR 비디오 이미지의 톤 맵핑 버전일 수 있고, 사용되는 톤 맵핑(UTM)은 무관한데, 예를 들어 알려져 있지 않다(unknown). 포스트-프로덕션 또는 실시간 라이브 프로덕트(real-time live product)에서 사용될 수 있는 많은 상이한 톤 맵핑 기술이 존재한다.

그 다음, 인코더 측(ENC)에서, 도 3에 예시적으로 도시된 바와 같이, 추가의 톤 맵 (KTM)이 적절한 톤 맵핑 기술을 이용하여 HDR 비디오에 적용되어 그 후 HDR 비디오의 제2 LDR 톤 맵핑 버전이 되는 추가의 LDR 비디오를 생성한다. 반드시 그런 것은 아니지만 바람직하게, HDR 비디오의 제2 LDR 톤 맵핑 버전은 본래의 톤 맵핑 버전에 대하여 레지듀얼을 최소화하기 위하여 본래의 톤 맵핑 버전에 근접한다.

상기 제2 예시적인 실시예에서, MVC 인코딩 수단(MVCENC)은, 주 시점으로서, 즉, AVC 비디오로서, HDR 비디오의 본래의 LDR 톤 맵핑 버전을 인코딩하고 보조 시점으로서 HDR 비디오의 추가의 LDR 톤 맵핑 버전을 시점간(inter-view) 예측 인코딩하는데 사용된다. 2개의 버전이 비교적 유사하므로, MVC는 매우 효율적으로 제2 시점을 인코딩하여 작은 오버헤드 비트스트림을 생성해야 한다.

인코더측(ENC)에서는, 또한 제2 LDR 톤 맵핑 버전 및 본래의 HDR 비디오로부터 장면(scene)의 글로벌 조명 데이터(GID)를 추출한다. 이 정보는 사람의 눈이 큰 조명차를 구별하는 능력을 갖지 않기 때문에 매우 정밀할 필요는 없다. 이 정보는 또한 인코딩 수단(LLE)에서, 바람직하게는 무손실로 인코딩될 것이다. 예를 들어, 2개의 LDR 버전에 대한 시점간 예측은 움직임 벡터를 필요로 하지 않기 때문에, 움직임 벡터 대신에, 글로벌 조명 데이터(GID)가 인코딩된다. 다른 예는 메타데이터로서 인코딩된 글로벌 조명 데이터(GID)이다.

결과적인 데이터 스트림의 주 시점은 본래의 LDR 톤 맵핑 비디오를 생성하기 위해 이미 배치된 AVC 디코더에 의해 판독가능하고 디코딩가능하다.

본 발명에 따라 변경된 디코더(DEC)는, 글로벌 조명 결합기(GIC; global illumination combiner)에서 본래의 LDR 톤 맵핑 비디오를 제2 시점 내의 레지듀얼과 결합하고 글로벌 조명 데이터(GID)에 따라 결합 결과를 프로세싱함으로써 본래의 LDR 톤 맵핑 비디오 및 HDR 비디오를 둘다 재생할 수 있다.

이러한 디코더(DEC)는 들어오는 스트림을 디코딩하여 주 시점 및 주 시점과 함께 사용될 수 있는 제2 시점의 레지듀얼을 다시 얻어 제2 시점을 재구성하는 MVC 디코딩 수단(MVCDEC)을 포함한다. 주 시점 또는 제2 시점이 소스 LDR 디스플레이에 출력될 수 있다. 주 시점 또는 제2 시점은 또한 글로벌 조명 데이터(GID)와 함께 사용되고, 디코딩 수단(LLD)을 이용하여 글로벌 조명 결합기(GIC)에서 디코딩되어 HDR 비디오를 다시 얻을 수 있다. 어떤 시점이 사용되는지는 글로벌 조명 데이터(GID)를 추출하는데 사용되는 LDR 비디오가 주 시점 또는 제2 시점으로서 인코딩되는지에 의존한다.

글로벌 조명 데이터(GID)를 추출 및/또는 HDR 비디오를 톤 맵핑(KTM)하여 제2 LDR 톤 맵핑 버전을 생성하는 많은 가능한 구현예가 존재한다. 일부 예시적인 경우가 이하에서 상세히 기재된다.

예를 들어, 글로벌 조명 데이터(GID)는 본래의 LDR 톤 맵핑 버전 및 본래의 HDR 비디오를 이용하여 추출될 수 있다. 이것은 도 4에 예시적으로 도시된다.

도 5에 도시된 다른 예시적인 경우에, 본래의 LDR 톤 맵핑 버전의 정규화된 휘도에 대한 HDR 비디오의 정규화된 휘도의 비는 글로벌 조명 데이터(GID)를 추출하는데 사용될 수 있다. 이 경우, 제2 LDR 톤 맵핑 버전은 본래의 LDR 톤 맵핑 버전과 동일하고, 따라서, 레지듀얼이 없고, 글로벌 조명 데이터는 제2 시점에서 인코딩될 수 있다.

선택적으로, 본래의 LDR 톤 맵핑 버전 및 HDR 비디오는 추출 전에 서브샘플링(SSP)된다.

도 3에 도시된 제2 예시적인 경우에, 제2 LDR 톤 맵핑 버전의 정규화된 휘도에 대한 HDR 비디오의 정규화된 휘도의 비는 글로벌 조명 데이터를 추출하는데 사용될 수 있고, 제2 LDR 톤 맵핑 버전은 본래의 HDR 비디오의 알려진(known) 톤 맵핑(KTM)으로부터 기인한다.

또한, 추출 전에 제2 LDR 톤 맵핑 버전 및 HDR 비디오를 다운샘플링(SSP)하는 옵션이 존재한다.

제1 및 제2 예시적인 경우에, HDR 비디오로부터 추출된 최소값 및 최대값에 대하여 정규화(NRM)가 수행된다. 휘도비는 이진화(BIN)된다. 글로벌 조명 데이터(GID)는 이진화된 데이터 및 메타데이터로 만들어진다. 메타데이터는 휘도비 이진화(BIN) 전에 최소-최대 값에 대하여 알리고 정규화(NRM) 전에 HDR 휘도의 최소-최대 값에 대하여 알려준다. 서브샘플링이 적용되면, 메타데이터는 또한 서브샘플링 파라미터 데이터에 대하여 알려준다.

제2 예시적인 경우에, 제2 LDR 톤 맵핑 버전은 임의의 톤 맵핑 기술에 의해 결정될 수 있다.

제3 예시적인 경우에, 대략적인(coarse) 조명 추출기가 적용된다. 이것은 도 7에 예시적으로 도시된다. 원리는 본래의 HDR 비디오를 2개의 컴포넌트, 즉, 각 이미지의 조명(lighting)에 대하여 대략적으로 알려주는 제1 컴포넌트 및 본래의 HDR 비디오, 즉, 본래의 HDR 비디오의 제2 톤 맵핑 버전으로부터의 대략적인 조명 제거의 결과인 제2 컴포넌트로 분해하는 것이다.

먼저, 본래의 HDR 비디오의 분해 계산(DEC)이 적용된다. 이 분해에 대한 예는 제곱근이지만, 다른 분해도 가능하다. 그 후, 결과적인 비디오는 서브샘플링(SSP)되어 각각의 데이터가 영역(픽셀 그룹)의 휘도를 나타낸다. 이 비디오는 디코더로 전송되는 글로벌 조명 데이터(GID)의 일부인 글로벌 조명 비디오를 나타낸다. 그 후, 이 글로벌 조명 비디오는 각각의 포인트의 조명을 모델링하는 포인트 스프레드 함수(Point Spread Function; PSF)로 컨볼루션된다(convoluted). 예를 들어, LED에 대하여, 이것은 그 공간 조명을 나타낸다. 컨볼루션이 오버샘플링 필터로서 동작하기 때문에 결과는 본래의 포맷과 동일한 포맷의 비디오이다. 결과적인 비디오는 본래의 HDR 비디오 및 글로벌 조명 비디오를 이용하여 계산되어 제2 LDR 톤 맵핑 비디오를 형성한다. 예를 들어, HDR 휘도 대 글로벌 조명 비가 계산된다.

글로벌 조명 데이터(GID)는 글로벌 조명 비디오 및 일부 메타데이터로 만들어진다. 메타데이터는, 디코더가 메타데이터 단독으로 또는 코딩 표준과 결합하여, 본래의 HDR 비디오의 분해 모델, 각 조명 포인트의 포인트 스프레드 함수(PSF) 및 서브샘플링 구조를 결정할 수 있도록 구성된다. 제2 LDR 비디오를 계산하는 방법이 최종 계산을 변화시킬 수 있는 실시예에서, 예를 들어, 제산(division)이 또한 시그널링된다(signalled).

디코더측에서, 도 8에 예시적으로 도시된 바와 같이, 글로벌 조명 결합기(GIC)는 글로벌 조명 데이터를 포인트 스프레드 함수(PSF)로 컨볼루션하는데 사용된다. 그 후, 결과는 디코딩된 제2 LDR 톤 맵핑 비디오와 함께 사용되어 인코더측에서 수행되는 계산을 반전(invert)함으로써 재구성된 HDR 비디오를 형성한다. 인코더측에서 제산이 수행되면, 디코더측에서 승산이 수행된다.

이것은, 특히 디스플레이에서 구현되는 듀얼 변조 기술을 디스플레이에 제공하는데 유용하고, 즉, 인코딩에 사용되는 서브샘플링 및 PSF가 디스플레이의 서브샘플링 및 LED PSF에 대응하면, 제2 LDR 톤 맵핑 비디오가 직접 LCD 패널에 공급되고 글로벌 조명 데이터(GID)가 직접 LED 패널에 공급된다.

본 발명의 다수의 이점 중에서, 표준 HDTV 시스템과의 역호환(retro-compatibility)으로 HDR 데이터의 효율적인 인코딩을 가능하게 하는 이점이 존재한다. 또한, 본 발명은 융통성이 있고 특정 디스플레이 기술에 쉽게 적응될 수 있다.

그러므로, 본 발명은 많은 다른 산업 분야에 적용될 수 있다.

본 발명의 예시적인 실시예에서, 글로벌 조명 데이터(GID)는 픽셀의 휘도비를 이용하여 인코더측에서 결정된다. 이것은 도 5에 예시적으로 도시된다. 글로벌 조명 추출 수단(GIE)은 입력으로서 HDR 비디오 및 상기 HDR 비디오의 LDR 톤 맵핑 버전을 수신하고 상기 HDR 비디오 및 그의 톤 맵핑 버전으로부터 휘도 비디오(Y)를 추출한다. 선택적으로, 결과적인 휘도 비디오는 서브샘플링(SUB)되어 예를 들어 n_min=0 및 n_max=1인 값 범위(n_min; n_max)로 정규화(NOR)된다. 대안으로, 결과적인 휘도 비디오는 서브샘플링되지 않고 오직 정규화된다. 그 후, 서브샘플링되지 않는 경우 픽셀 방향 제산(pixel-wise division)인 정규화된 휘도 비디오의 엘리먼트 방향 제산(element-wise division)(DIV)이 발생한다. 그 후, 결과적인 휘도 비는 b_min 및 b_max를 이용하여 이진화(BIN)된다. 이진화된 휘도비는 n_min, n_max, b_min 및 b_max와 함께 글로벌 휘도 데이터(GID)를 나타낸다.

디코더측에서, 도 6에 예시적으로 도시된 바와 같이, 글로벌 휘도 데이터(GID)는 HDR 비디오의 LDR 톤 맵핑 버전과 함께 사용되어 상기 HDR 비디오를 재구성할 수 있다.

즉, 디코더측에서, b_min, b_max, n_min 및 n_max는 글로벌 조명 데이터(GID)를 역이진화(debinarize)(DBN)하고 역정규화(DNM)하는데 사용된다. 글로벌 조명 데이터(GID)의 해상도가 재구성될 HDR 비디오의 LDR 톤 맵핑 버전의 해상도보다 작으면, 역정규화된 데이터가 상기 LDR 톤 맵핑 버전의 해상도로 업샘플링된다. 재구성될 HDR 비디오의 LDR 톤 맵핑 버전은 n_min 및 n_max를 이용하여 정규화된다. 그 후, 정규화된 LDR 비디오는 동일한 해상도의 역정규화 데이터에 의해 픽셀 방향 승산(pixel-wise multiplied)되어 HDR 비디오를 재구성한다.

이 예시적인 예에서 이용되는 HDR 비디오의 LDR 톤 맵핑 버전은 LDR 톤 맵핑 버전일 수 있고, 톤 맵핑이 알려져 있지 않다. 이 경우, 이것은 재구성된 HDR 이미지에 아티팩트를 유발할 수 있기 때문에 서브샘플링을 실행하지 않는 것이 유리할 수 있다.

HDR 비디오의 LDR 톤 맵핑 버전의 톤 맵핑이 디코딩측에 알려지고 전달되는 경우, 재구성된 HDR에서 아티팩트가 발생할 가능성이 제거될 수 있다.

본 발명의 다른 예시적인 실시예에서, 글로벌 조명 데이터(GID)는 또한 픽셀의 휘도비를 이용하여 인코더측에서 결정된다. 그러나, 이러한 다른 예시적인 실시예에서, 포인트 스프레드 함수는 HDR 비디오로부터 글로벌 조명 데이터를 생성하는데 사용된다. 즉, 분해가 적용된다.

이것은 도 7에 예시적으로 도시된다. 글로벌 조명 추출 수단(GIE)은 HDR 비디오를 수신하고 그로부터 HDR 비디오의 분해(DEC), 분해된 HDR 비디오의 서브샘플링(SSP) 및 포인트 스프레드 함수(PSF)를 이용하여 분해되고 서브샘플링된 HDR 비디오의 컨볼루션을 이용하여 글로벌 조명 데이터(GID)를 생성한다. 그 후, 글로벌 조명 데이터(GID)는 포인트 스프레드 함수(PSF)를 이용하여 컨볼루션되고 HDR 비디오는 컨볼루션 결과에 의해 픽셀 방향으로 제산되어, 상기 HDR 비디오의 LDR 톤 맵핑 버전을 생성한다. 그 후, 글로벌 조명 데이터(GID) 및 LDR 톤 맵핑 버전은 인코딩되고 디코더로 송신되거나 저장된다.

HDR 비디오의 대응하는 재구성은 도 8에 예시적으로 도시된다. 글로벌 조명 데이터(GID) 및 재구성될 HDR 비디오의 LDR 톤 맵핑 버전이 수신된다. 그 후, 글로벌 조명 데이터(GID)는 인코더측에서 동일한 포인트 스프레드 함수(PSF)를 이용하여 컨볼루션되고, LDR 톤 맵핑 버전은 컨볼루션 결과에 의해 픽셀 방향으로 승산되어 상기 HDR 비디오를 재구성한다.

본 발명의 예시적인 실시예에서, LDR 비디오를 기준으로 하여 예측 인코딩된 높은 동적 범위의 HDR 비디오를 갖는 비일시적 저장 매치가 존재하며, LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공한다. LDR 비디오가 또한 인코딩된다. 비일시적 저장 매체는 LDR 비디오를 기준으로 하여 추가의 LDR 비디오의 인코딩된 레지듀얼 및 무손실 인코딩된 글로벌 조명 데이터를 갖고, 추가의 LDR 비디오는 HDR 비디오 콘텐츠의 추가의 더 낮은 동적 범위 묘사를 제공하고, 글로벌 조명 데이터는 추가의 LDR 비디오를 이용하여 HDR 비디오를 재구성하도록 한다.

예시적인 실시예 중에서, 높은 동적 범위 이미지 엘리먼트를 예측하는 방법이 존재한다. 상기 방법은 낮은 동적 범위 이미지 데이터를 수신하는 단계, 및 글로벌 조명 데이터 및 LDR 레지듀얼 이미지 엘리먼트를 포함하는 높은 동적 범위 이미지 데이터를 수신하는 단계를 포함한다. 방법은 또한 LDR 이미지 데이터로부터 LDR 이미지 값을 추출하는 단계 및 상기 LDR 이미지 값을 상기 LDR 레지듀얼 이미지 엘리먼트와 결합하여 LDR 이미지 엘리먼트를 형성하는 단계를 더 포함한다. 마지막으로, 상기 LDR 이미지 엘리먼트는 상기 글로벌 조명 데이터에 기초하여 변경되어 HDR 이미지 엘리먼트를 형성한다.

예시적인 실시예 중에서, 높은 동적 범위 이미지 엘리먼트를 예측하는 추가의 방법이 존재한다. 상기 방법은 낮은 동적 범위 이미지 데이터를 수신하는 단계, 예측 데이터 및 HDR 레지듀얼 이미지 엘리먼트를 포함하는 높은 동적 범위 이미지 데이터를 수신하는 단계, 상기 LDR 이미지 데이터로부터 LDR 이미지 값을 추출하는 단계, 상기 예측 데이터에 기초하여 상기 LDR 이미지 값을 변경하는 단계, 상기 변경된 LDR 이미지 값을 상기 HDR 레지듀얼 이미지 엘리먼트와 결합하여 HDR 이미지 엘리먼트를 형성하는 단계를 포함한다.

LDR 비디오와 함께 높은 동적 범위의 HDR 비디오의 인코딩을 실현하는 예시적인 실시예가 존재하며, LDR 비디오는, HDR 비디오로부터 추가의 LDR 비디오 및 대응하는 글로벌 조명 데이터를 추출하고, 독립적으로 제1 LDR 비디오를 인코딩하고 제1 LDR 비디오를 기준으로 하여 제2 LDR 비디오를 예측 인코딩하고, 글로벌 조명 데이터를 인코딩하는 프로세싱 수단을 이용함으로써 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 제1 LDR 비디오는 LDR 비디오이고 제2 LDR 비디오는 추가의 LDR 비디오이거나, 제1 LDR 비디오는 추가의 LDR 비디오이고 제2 LDR 비디오는 LDR 비디오이다.

Claims

LDR 비디오와 함께 높은 동적 범위(high dynamic range)의 HDR 비디오를 인코딩하는 방법으로서,
상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사(depiction)를 제공하고, 상기 방법은,
제1 LDR 비디오라 불리우는 상기 HDR 비디오의 제1 톤 맵핑 버전(tone mapped version) 및 제2 LDR 비디오라 불리우고 상기 제1 LDR 비디오와 독립적으로 상기 HDR 비디오로부터 추출된 상기 HDR 비디오의 제2 톤 맵핑 버전을 인코딩하고 상기 제1 LDR 비디오를 기준으로 하여 상기 제2 LDR 비디오를 예측 인코딩하고,
상기 HDR 비디오로부터 추가로 추출된 글로벌 조명 데이터(global illumination data)를 무손실 인코딩하는
프로세싱 수단을 이용하는 단계
를 포함하는 방법.
LDR 비디오와 함께 높은 동적 범위의 HDR 비디오를 인코딩하는 장치로서,
상기 LDR 비디오는 상기 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 상기 장치는,
제1 LDR 비디오라 불리우는 상기 HDR 비디오의 제1 톤 맵핑 버전 및 제2 LDR 비디오라 불리우고 상기 제1 LDR 비디오와 독립적으로 상기 HDR 비디오로부터 추출된 상기 HDR 비디오의 제2 톤 맵핑 버전을 인코딩하고 상기 제1 LDR 비디오를 기준으로 하여 상기 제2 LDR 비디오를 예측 인코딩하고,
상기 HDR 비디오로부터 추가로 추출된 글로벌 조명 데이터를 무손실 인코딩하는
프로세싱 수단을 포함하는 장치.
제1항 또는 제2항에 있어서, 상기 LDR 비디오는 상기 제1 LDR 비디오인 방법 또는 장치.
제1항 또는 제2항에 있어서, 상기 LDR 비디오는 상기 제2 LDR 비디오인 방법 또는 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 글로벌 조명 데이터를 추출하는 것은 상기 HDR 비디오 및 상기 LDR 비디오로부터 휘도 비디오들을 추출하는 것, 상기 휘도 비디오들을 정규화하는 것, 상기 휘도 비디오들을 이용하여 원(raw) 조명 데이터를 픽셀 방향으로 계산(pixels-wise computing)하는 것 및 상기 원 조명 데이터의 이진화에 의해 상기 글로벌 조명 데이터를 계산하는 것을 포함하고, 상기 방법은 역정규화(normalization) 및/또는 역이진화(binarization)를 허용하는 하나 이상의 파라미터를 인코딩하는 단계를 더 포함하는 방법 또는 장치.
제5항에 있어서, 상기 휘도 비디오들은 정규화 전에 서브샘플링되고, 하나 이상의 업샘플링 파라미터가 인코딩되고, 상기 업샘플링 파라미터들은 서브샘플링의 반전(inverting)을 허용하는 방법 또는 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 글로벌 조명 데이터는, 상기 HDR 비디오에 대해 분해 계산(decomposition computation)을 적용하고 상기 분해된 비디오를 서브샘플링함으로써 추출되고, 상기 추가의 LDR 비디오는, 상기 서브샘플링된 비디오를 포인트 스프레드 함수(point spread function)로 컨볼루션하고(convoluting) 상기 컨볼루션된 비디오 및 상기 HDR 비디오를 이용하여 상기 추가의 LDR 비디오를 픽셀 방향으로 계산함으로써 추출되는 방법 또는 장치.
LDR 비디오와 함께 인코딩된 HDR 비디오를 갖는 데이터 스트림으로서, 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 상기 HDR 비디오는 제1항 및 제3항 내지 제7항 중 어느 한 항에 따른 방법에 따라 상기 LDR 비디오와 함께 인코딩되는 데이트 스트림.
LDR 비디오와 함께 인코딩된 HDR 비디오를 갖는 비일시적 저장 매체로서, 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공하고, 상기 HDR 비디오는 제1항 및 제3항 내지 제7항 중 어느 한 항에 따른 방법에 따라 상기 LDR 비디오와 함께 인코딩되는 비일시적 저장 매체.
높은 동적 범위의 HDR 비디오를 재구성하는 방법으로서,
LDR 비디오를 디코딩하고 - 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공함 -;
상기 LDR 비디오 및 레지듀얼(residual)을 이용하여 제2 LDR 비디오를 디코딩하고 - 상기 제2 LDR 비디오는 상기 HDR 비디오 콘텐츠의 추가의 더 낮은 동적 범위 묘사를 제공함 -; 및
글로벌 조명 데이터를 디코딩하고 상기 글로벌 조명 데이터 및 상기 제1 또는 제2 LDR 비디오 중의 하나를 이용하여 상기 HDR 비디오를 재구성하는
프로세싱 수단을 이용하는 단계
를 포함하는 방법.
높은 동적 범위의 HDR 비디오를 재구성하는 장치로서,
LDR 비디오를 디코딩하고 - 상기 LDR 비디오는 HDR 비디오 콘텐츠의 더 낮은 동적 범위 묘사를 제공함 -;
상기 LDR 비디오 및 레지듀얼을 이용하여 제2 LDR 비디오를 디코딩하고 - 상기 제2 LDR 비디오는 상기 HDR 비디오 콘텐츠의 추가의 더 낮은 동적 범위 묘사를 제공함 -; 및
글로벌 조명 데이터를 디코딩하고 상기 글로벌 조명 데이터 및 상기 제1 또는 제2 LDR 비디오 중의 하나를 이용하여 상기 HDR 비디오를 재구성하는
프로세싱 수단을 포함하는 장치.
제10항 또는 제11항에 있어서, 상기 제1 LDR 비디오는 상기 LDR 비디오인 방법 또는 장치.
제10항 또는 제11항에 있어서, 상기 제2 LDR 비디오는 상기 LDR 비디오인 방법 또는 장치.
제10항 내지 제13항 중 어느 한 항에 있어서, 하나 이상의 파라미터가 디코딩되어 상기 글로벌 조명 데이터의 역정규화, 역이진화 및 업샘플링 중의 적어도 하나에 사용되는 방법 또는 장치.
제10항 내지 제13항 중 어느 한 항에 있어서, 상기 글로벌 조명 데이터는 디코딩 후에 포인트 스프레드 함수로 컨볼루션되는 방법 또는 장치.