KR20160102438A - 하이 다이내믹 레인지 이미지를 톤-매핑하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 일반적으로 이미지를 톤-매핑하기 위한 방법 및 디바이스와 관련된다. 방법은 이미지를 이미지로부터 결정된(11) 백라이트 이미지로 나누는 것에 의해 잔차 이미지를 획득하는 단계(12), 및 잔차 이미지를 톤-매핑하여 톤-매핑된 이미지를 획득하는 단계(13)를 포함하는 것을 특징으로 한다.

Description

하이 다이내믹 레인지 이미지를 톤-매핑하기 위한 방법 및 장치{METHOD AND DEVICE FOR TONE-MAPPING A HIGH DYNAMIC RANGE IMAGE}

본 발명은 일반적으로 이미지/비디오 톤-매핑에 관한 것이다. 특히, 본 발명의 기술 분야는 그 픽셀 값들이 하이 다이내믹 레인지(high-dynamic range)에 속하는 이미지의 톤-매핑에 관한 것이다.

본 섹션은 하기에 기술되고/되거나 청구되는 본 발명의 다양한 양태들에 관련될 수 있는 관련 기술의 다양한 양태들을 독자에게 소개하는 것으로 의도된다. 본 검토 내용은 본 발명의 다양한 양태를 더 잘 이해할 수 있도록 배경 정보를 독자에게 제공하는 데 도움이 된다고 여겨진다. 따라서, 이 진술들은 이에 비추어 읽혀져야 하고, 종래 기술의 인정으로서 간주되어서는 안 된다는 것을 이해해야 한다.

로우-다이내믹-레인지 이미지((LDR)(Low-Dynamic-Range) image)들은 그 휘도 값들이 제한된 비트 수(가장 빈번하게는 8 또는 10)로 표현되는 이미지들이다. 이러한 제한된 표현은, 특히 어두운(dark) 및 밝은(bright) 휘도 범위들 내에서, 작은 신호 변동들의 정확한 렌더링(rendering)을 허용하지 않는다. 하이-다이내믹 레인지 이미지(HDR 이미지)들에서, 신호 표현은 그것의 전체 범위에 걸쳐 신호의 높은 정확성을 유지하기 위해 확장된다. HDR 이미지들에서, 픽셀 값들은 보통 부동 소수점 포맷(각각의 컴포넌트에 대해 32비트 또는 16비트, 즉 부동 또는 반-부동(half-float))으로 표현되고, 가장 인기 있는 포맷은 openEXR 반-부동 포맷(RGB 컴포넌트당 16비트, 즉, 픽셀당 48비트)이거나 또는 긴 표현을 가진 정수들, 전형적으로 적어도 16비트이다.

본 발명에 의해 해결될 문제는 HDR 이미지를 LDR 이미지에 톤-매핑하는 자동 또는 반자동 방법, 또는 더 나아가 이 방법이 이미지별로 적용되기 때문에 HDR 이미지들의 시퀀스를 LDR 이미지들의 시퀀스에 톤-매핑하는 자동 또는 반자동 방법을 제공하는 것이다.

톤-매핑 방법은, 예를 들어 전통적인 LDR-호환 디스플레이상에서 또는 통상 브로드캐스트 시나리오에서 수행하는 듀얼 컬러-그레이딩 접근법에서 HDR 이미지를 보는 데 유용하다.

전형적으로, 듀얼 컬러-그레이딩 접근법은 HDR 이미지(또는 이미지들의 시퀀스)를 캡처하는 단계, 캡처된 HDR 이미지를 컬러-그레이딩하는 단계, 및 HDR 이미지를 그 후에 컬러-그레이딩된 LDR 이미지에 톤-매핑하는 단계를 포함한다.

사실상, 톤-매핑된 LDR 이미지가 표시되도록 의도되기 때문에, 이것은 강조된 HDR 장면에 부합하는 볼 수 있는 LDR 장면의 기본적인 것들을 충족시켜야만 한다. 다시 말해서, 톤-매핑은 적어도, 톤-매핑된 이미지로의 공간적 코히런스(spatial coherence), 이미지들의 시퀀스의 다수의 톤-매핑된 이미지들 간의 시간적 코히런스, 글로벌 휘도 코히런스(global luminance coherence)(즉, 어두운 HDR 장면들은 어두운 LDR 장면들을 초래하고, 그 반대도 성립한다), 및 HDR 이미지와 톤-매핑된 이미지 사이의 컬러 코히런스(즉, 컬러 그레이딩이 가능한 한 많이 보존된다)를 보존해야 한다.

듀얼 컬러-그레이딩 접근법은 이것이 컬러-그레이딩에서 전문가의 제어하에 생성되기 때문에 LDR 이미지에 대한 최고 품질로 이어지고, 그로 인해 제어되지 않고 원하지 않는 효과가 없는 자동적이며 체계적인 방법들을 보장한다. 그러나, 이것은 2개의 작업 흐름(하나는 HDR을 위한 것이고, 다른 하나는 LDR을 위한 것이다)을 다뤄야 하기 때문에 이중 사후-생성 리소스들이 필요하다.

이것은 모든 사용 예에서 실용적이지 않을 수 있고, HDR 시퀀스만이 컬러-그레이딩되는 경우가 있을 수 있다. 물론, 그런 경우에, 모든 고객이 표시를 위한 HDR 디바이스를 구비하지 않을 수 있기 때문에 볼 수 있는 LDR 이미지를 획득하는 것이 바람직하다. 이들 고객에 도달하기 위해, LDR 이미지는 추가 또는 대안적인 컬러-그레이딩 없이, 즉, 모든 콘텐츠에 대해 수용 가능한 품질을 가진 LDR 이미지를 제공하는 자동 톤-매핑 방법을 이용하여, 생성되어야만 한다.

다수의 로컬 또는 글로벌 톤-매핑 오퍼레이터가 종래 기술에 존재하며, 예를 들어 레인하드(Reinhard)에 의해 정의되는 톤-매핑 오퍼레이터가 이용될 수 있다(Reinhard, E., Stark, M., Shirley, P., and Ferwerda , J., ＼Photographic tone reproduction for digital images," ACM Transactions on Graphics 21 (July 2002)), or Boitard, R., Bouatouch, K., Cozot, R., Thoreau, D., & Gruson, A. (2012). Temporal coherency for video tone mapping. In A. M. J. van Eijk, C. C. Davis, S. M. Hammel, & A. K. Majumdar (Eds.),　Proc . SPIE 8499, Applications of Digital Image Processing (p. 84990D-84990D-10)).

그러나, 글로벌 톤-매핑 오퍼레이터들이 휘도 일관성과 같은, 이미지들의 시퀀스에 대한 시간적 속성을 보존할지라도, 글로벌 톤-매핑 오퍼레이터들은 그런 오퍼레이터들이 선명도의 현저한 손실 없이 더 낮은 다이내믹에 대한 공간 상세를 나타낼 수 없기 때문에 많은 다이내믹을 가진 HDR 이미지들의 시퀀스에 적용될 때 크게 실패할 수 있다.

한편, 로컬 톤-매핑 오퍼레이터들은 이들이 이미지들의 로컬 속성을 캡처하기 위해 로컬 픽셀 부근에 기초하기 때문에 이미지의 시퀀스를 처리할 때 효율적이지 않고, 이미지들의 시퀀스의 전반적인 밝기(시간적 밝기 일관성)를 보존하지 않는다. 따라서, 시간적 밝기 일관성은 객체 트레킹과 같은 추가적인 복잡한 처리 또는 시간적 필터링을 적용하기 위해 버퍼링하는 프레임을 이용하여 획득된다.

본 발명은 이미지를 톤-매핑하는 방법을 이용하여 종래 기술의 결점들 중 일부를 개선하기로 작정한 것으로,

- 이미지를 이미지로부터 결정된 백라이트 이미지로 나누어서 잔차 이미지를 획득하는 단계, 및

- 잔차 이미지를 톤-매핑하여 톤-매핑된 이미지를 획득하는 단계

를 포함하는 것을 특징으로 한다.

이것은 볼 수 있는 톤-매핑된 이미지, 즉, 톤-매핑된 이미지가 이미지 내의 원래 장면에 비해 톤 매핑된 장면을 적절히 잘 일관되게 예술적으로 렌더링한다는 의미에서의 이미지를 제공한다. 따라서, 이 방법은 볼 수 있는 톤-매핑된 이미지가 하이 다이내믹 레인지를 다룰 수 없는 전통적인 장치에 의해 인코딩/디코딩 및/또는 표시될 수 있기 때문에 하위 호환적(backward compatible)이다.

실시예에 따르면, 톤-매핑은 잔차 이미지의 픽셀 값들에 따른 감마 또는 S로그-보정(Slog-correction)을 포함한다.

어두운 및 밝은 정보의 손실이 없게 되도록 하는 감마 및 S로그 보정은 높은 정확도를 가진 톤-매핑된 이미지를 가져온다. 더욱이, 감마 및 S-로그 보정은 볼 수 있는 톤-매핑된 이미지에서 플랫 클리핑된 영역(flat clipped area)들을 회피한다.

실시예에 따르면, 이미지로부터 백라이트 이미지를 획득하는 단계는

- 이미지의 휘도 성분으로부터 백라이트 이미지를 획득하는 단계; 및

- 백라이트 이미지를 이미지의 평균 휘도 값으로 변조하는 단계

를 포함한다.

백라이트 이미지를 이미지의 평균 휘도 값으로 변조하는 단계는 이미지와 잔차 이미지 사이의 글로벌 휘도 코히런스를 향상시키고, 예를 들어, 이미지 내의 밝은 영역은 잔차 이미지에서 밝게 보이고, 이미지 내의 어두운 영역은 잔차 이미지에서 어둡게 보인다.

실시예에 따르면, 이미지로부터 백라이트 이미지를 획득하는 단계는

- 백라이트 이미지를 변조하기 전에 백라이트 이미지를 그것의 평균값에 의해 정규화하는 단계를 더 포함한다.

이것은 이미지에 대한 하나의 하나의 백라이트 이미지-에서의-중간-회색(mid-gray-at-one backlight image)를 얻도록 허용한다.

실시예에 따르면, 방법은 톤-매핑된 이미지를 스케일링하는 단계를 더 포함한다.

이것은 톤-매핑된 이미지로부터 획득된 이미지의 평균 회색을 뷰잉(viewing) 및 잠재적인 코딩 둘 다를 위한 적절한 값으로 추산한다.

실시예에 따르면, 방법은 톤-매핑된 이미지를 클리핑하는 단계를 더 포함한다.

톤-매핑된 이미지를 클리핑하는 것은, 제한된 수의 비트, 전형적으로 8-10비트가 클리핑된 톤-매핑된 이미지를 인코딩 또는 표시하는 데 필요하기 때문에, 종래의 인프라구조(코덱, 디스플레이, 분배 채널 등)와의 하위 호환성을 보장한다. 그 후, 예를 들어, 인코딩된 데이터는 이미지의 로우 다이내믹 레인지 버전을 원격 디스플레이상에 표시하기 위해 그런 인프라구조를 통해 전송될 수 있다.

본 발명의 양태들 중 다른 것에 따르면, 본 발명은 이미지를 톤-매핑하기 위한 디바이스와 관련된다.

본 발명의 특정한 속성뿐만 아니라 본 발명의 다른 목적들, 장점들, 특징들, 및 이용들은 첨부 도면을 참조하는 다음의 바람직한 실시예의 설명으로부터 명백하게 될 것이다.

실시예들은 첨부 도면들을 참조하여 설명될 것이다.
도 1은 본 발명의 실시예에 따라 이미지 I를 톤-매핑하는 방법의 단계들의 블록도를 도시한다;
도 2는 본 발명의 실시예에 따른 방법의 단계의 블록도를 도시한다;
도 3은 본 발명의 실시예에 따른 방법의 단계의 블록도를 도시한다;
도 4는 본 발명의 실시예에 따른 방법의 단계의 블록도를 도시한다;
도 5는 디바이스의 아키텍처의 예를 도시한다.

본 발명은, 그의 실시예들이 도시되어 있는 첨부 도면들을 참조하여 이하에 더 상세히 설명될 것이다. 그러나, 본 발명은 많은 대안적 형태들로 실시될 수 있고 여기 제시된 실시예들에 국한되는 것으로 해석해서는 안 된다. 따라서, 본 발명은 다양한 수정들 및 대안의 형태들의 여지가 있지만, 그것의 특정 실시예들이 도면들에 예로서 도시되고 여기에 상세히 설명될 것이다. 그러나, 본 발명을 개시된 특정한 형태들로 제한하려는 의도는 없으며, 도리어, 본 발명은 청구항들에 의해 정의되는 발명의 진의 및 범위 안에 속하는 모든 수정들, 동등물들, 및 대안들을 포함하는 것임을 이해해야 한다. 도면들의 설명의 전체에 걸쳐서 같은 번호들은 같은 요소들을 나타낸다.

본 명세서에 사용되는 용어는 단지 특정 실시예들을 설명하기 위한 것이며 본 발명을 제한하려는 것은 아니다. 본 명세서에서 사용될 때, 단수 형태들 "a", "an" 및 "the"는 문맥이 명확하게 달리 지시하지 않는 한 복수 형태들도 포함하는 것을 의도한다. 또한, 용어 "comprises", "comprising", "includes" 및/또는 "including"은 본 명세서에서 사용될 때, 기술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 그의 그룹들의 존재 또는 추가를 배제하지 않는다는 것을 이해해야 할 것이다. 더욱이, 한 요소가 다른 요소에 "응답하는"(responsive) 또는 "연결되는"(connected) 것으로 언급될 때, 이것은 다른 요소에 직접 응답하거나 연결될 수 있고, 또는 개재하는 요소들이 존재할 수 있다. 이와 대비하여, 한 요소가 다른 요소에 "직접 응답하는"(directly responsive) 또는 "직접 연결되는"(directly connected) 것으로 언급될 때, 개재하는 요소는 존재하지 않는다. 본 명세서에서 사용될 때, "및/또는"이라는 용어는 나열된 관련 항목들 중 하나 이상의 임의의 또는 모든 조합을 포함하며, "/"로서 축약될 수 있다.

비록 다양한 요소들을 기술하기 위해 용어 제1, 제2 등이 본 명세서에 사용될 수 있지만, 이 요소들은 이 용어들에 의해 제한되지 않아야 한다는 것을 이해할 것이다. 이 용어들은 단지 한 요소를 다른 요소와 구별하기 위해 사용된다. 예를 들어, 본 개시 내용의 교시들로부터 벗어나지 않고, 제1 요소는 제2 요소라 명명될 수 있고, 유사하게, 제2 요소는 제1 요소라 명명될 수 있다.

비록 도면들 중 몇몇은 통신의 주요 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하지만, 통신은 묘사된 화살표들과 정반대 방향으로 일어날 수 있다는 것을 이해해야 한다.

몇몇 실시예들은 블록도 및 동작 순서도에 관련하여 설명되고, 여기서 각 블록은 회로 요소, 모듈, 또는 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어들을 포함하는 코드의 일부를 나타낸다. 또한 다른 구현들에서, 블록들에서 언급된 기능(들)은 언급된 순서와 다르게 일어날 수 있다는 것에 유의해야 한다. 예를 들면, 연속해서 도시된 2개의 블록은, 실제로는 실질적으로 동시에 실행될 수 있거나 또는 그 블록들은 때때로 수반된 기능에 따라 역순으로 실행될 수 있다.

본 명세서에서 "일 실시예" 또는 "실시예'에 대한 언급은, 그 실시예와 관련하여 기술되는 특정한 피쳐, 구조, 또는 특징이 본 발명의 적어도 하나의 구현예에 포함될 수 있다는 것을 의미한다. 본 명세서의 여러 곳에서 "일 실시예에서" 또는 "실시예에 따라"라는 구문의 출현은 반드시 동일 실시예를 가리킬 필요가 없고, 별개의 또는 대안의 실시예들은 반드시 다른 실시예들을 상호 배제할 필요가 없다.

청구항들에 보이는 참조 번호는 예시만을 목적으로 한 것으로, 청구항들의 범위에 제한된 효과를 미치지 않는다.

명시적으로 설명되지 않을지라도, 본 실시예들 및 변형예들은 임의의 조합 또는 하위-조합으로 이용될 수 있다.

본 발명은 이미지를 인코딩/디코딩하기 위한 것으로 기술되어 있지만, 시퀀스의 각각의 이미지가 아래 기술되는 바와 같이 순차적으로 인코딩/디코딩되기 때문에 이미지들(비디오)의 시퀀스의 인코딩/디코딩으로 확장된다.

도 1은 본 발명의 실시예에 따라 이미지 I를 톤-매핑하는 방법의 단계들의 블록도를 도시한다.

단계 10에서, 모듈 IC은 톤-매핑될 이미지 I의 휘도 성분 L 및 잠재적인 적어도 하나의 컬러 성분 C(i)를 획득한다.

예를 들어, 이미지 I가 색 공간(X,Y,Z)에 속할 때, 휘도 성분 L은 성분 Y의 변환 f(.)(예를 들어, L=f(Y))에 의해 획득된다.

이미지 I가 색 공간(R,G,B)에 속할 때, 휘도 성분 L은, 예를 들어

L=0.2127.R+0.7152.G+0.0722.B

에 의해 주어지는 선형 조합에 의해 709 개머트(gamut)에서 획득된다.

단계 11에서, 모듈 BAM은 이미지 I의 휘도 성분 L로부터 백라이트 이미지 Bal을 결정한다.

도 2에 도시된, 단계 11의 실시예에 따르면, 모듈 Bl은

에 의해 주어진 형상 함수

의 가중처리된 선형 결합인 것으로서 백라이트 이미지 Ba를 결정하고, α_i는 가중처리 계수들이다.

따라서, 휘도 성분 L로부터 백라이트 이미지 Ba를 획득하는 단계는 백라이트 이미지 Ba가 휘도 성분 L에 적합하도록 최적의 가중처리 계수(또한, 미리 알려지지 않은 경우 잠재적인 최적의 형상 함수)를 찾는 단계로 구성된다.

가중처리 계수 a_i를 찾기 위한 많은 알려진 방법이 있다. 예를 들어, 하나는 백라이트 이미지 Ba와 휘도 성분 L 사이의 오차의 평균제곱을 최소화하기 위해 최소 제곱 평균 방법을 이용할 수 있다.

본 발명은 백라이트 이미지 Ba를 획득하기 위해 임의의 특정한 방법으로 제한되지 않는다.

형상 함수들이 디스플레이 백라이트의 진정한 물리적 응답(이것은, 예를 들어 LED로 이루어지고, 각각의 형상 함수는 이후 하나의 LED의 응답에 대응한다)일 수 있거나, 또는 기껏해야 휘도 성분에 적합하게 하기 위한 순수한 수학적 구조일 수 있음에 유의해야 있다.

그들의 서포트(support)들과 그들의 센터들의 사이즈는 형상 함수들의 일부 파라미터들일 수 있다.

예를 들어, 그들의 서포트들이 매우 크다면(사실상 무한하다면), 그것은 일정한 백라이트 이미지를 얻을 뿐이고, 최종 톤-매핑 방법은 이후 글로벌 톤-매핑 오퍼레이터에 상응한다. 반대로, 매우 작은 서포트에서, 최종 톤-매핑 방법은 이후 전술한 바와 같이 로컬 톤-매핑 오퍼레이터들의 모든 결점을 가진 하나의 로컬 톤-매핑 오퍼레이터에 상응한다.

형상 함수의 서포트의 사이즈는 톤-매핑 방법이 로컬이지만 큰 부근을 갖는 스무스 휘도 다이내믹 감소(smooth luminance dynamic reduction)를 이용하기 때문에 글로벌도 아니고 매우 로컬이지도 않은 톤-매핑 방법을 얻기 위해 실제로 선택된다.

그런 형상 함수들의 사용은 그들의 로컬 서포트 때문에 공간적 상세를 희생시키지 않으면서 매우 높은 다이내믹의 처리를 허용한다.

본 실시예에 따르면, 단계 11로부터 출력된 백라이트 이미지 Bal은 수학식 1에 의해 주어진 백라이트 이미지 Ba이다.

도 3에 예시된, 단계 11의 실시예에 따르면, 모듈 BM은 백라이트 이미지 Ba(수학식 1에 의해 주어짐)를, 모듈 HL에 의해 획득된 이미지 I의 평균 휘도 값 L_mean으로 변조한다.

본 실시예에 따르면, 단계 11로부터 출력된 백라이트 이미지 Bal은 변조된 백라이트 이미지이다.

실시예에 따르면, 모듈 HL은 전체 휘도 성분 L에 대한 평균 휘도 값 L_mean을 계산하도록 구성된다.

실시예에 따르면, 모듈 HL은

에 의해 평균 휘도 값 L_mean을 계산하도록 구성되며, β는 1보다 작은 계수이며, E(X)는 휘도 성분 L의 수학적 기대 값(평균)이다.

이런 최종 실시예는, 이미지 I가 이미지들의 시퀀스에 속할 때 평균 휘도 값 L_mean이 매우 성가신 시간 평균 밝기 불안정성을 통상적으로 초래하는 지나치게 높은 값을 갖는 소수의 픽셀에 의해 영향을 받는 것을 방지하기 때문에 유리하다.

본 발명은 평균 휘도 값 L_mean을 계산하기 위해 특정 실시예로 제한되지 않는다.

도 4에 예시된, 본 실시예의 변형에 따르면, 모듈 N은 이미지(또는 이미지 I가 이미지들의 시퀀스에 속하는 경우 모든 이미지들)에 대한 하나의 백라이트 이미지-에서의-중간-회색

를 얻도록 그것의 평균값 E(Ba)에 의해 백라이트 이미지 Ba(수학식 1에 의해 주어짐)를 정규화한다:

그리고 나서, 모듈 BM은 하나의 백라이트 이미지-에서의-중간-회색

를, 다음의 수학식 2를 이용하여 이미지 L의 낮은 공간-주파수 버전 L_lf로 변조하도록 구성되고:

cst_mod는 변조 계수이고, α는 1보다 작은, 전형적으로는 1/3인 다른 변조 계수이다.

이 변형에 따르면, 단계 11로부터 출력된 백라이트 이미지 Bal은 수학식 2에 의해 주어진 변조된 백라이트 이미지 Ba_mod이다.

변조 계수 cst_mod가 잔차 이미지에 대한 양호한 루킹 밝기(looking brightness)를 얻도록 조정되고, 백라이트 이미지를 획득하기 위한 프로세스에 크게 의존하는 것에 유의해야 한다. 예를 들어, 최소 제곱 평균에 의해 획득된 백라이트 이미지에 대해 cst_mod

1.7이다.

실질적으로, 선형성에 의해, 백라이트 이미지를 변조하기 위한 모든 연산들은 계수 α_i를 새로운 계수

로 변환하는 수정 팩터로서 백라이트 계수 α_i에 적용하고, 그 결과

이 얻어진다.

단계 12에서, 잔차 이미지 Res는 이미지를 백라이트 이미지 Bal로 나눔으로써 계산된다.

더 정확히, 모듈 IC로부터 획득된, 이미지 I의 휘도 성분 L과 잠재적인 각각의 컬러 성분 C(i)는 백라이트 이미지 Bal로 나눠진다. 이런 나눔은 픽셀별로 이루어진다.

예를 들어, 이미지 I의 성분들 R, G, B이 색 공간(R,G,B)에 표현될 때, 성분 R_Res, G_Res, 및 B_Res는 다음과 같이 획득된다:

R_res= R/Bal, G_res= G/Bal, B_res= B/Bal

예를 들어, 이미지 I의 성분들 X, Y 및 Z가 색 공간(Y,Y,Z)에 표현될 때, 성분 X_Res, Y_Res, 및 Z_Res는 다음과 같이 획득된다:

X_res= X/Bal Y_res= Y/Bal Z_res= Z/Bal

단계 13에서, 톤-매핑된 이미지 Res_v는 잔차 이미지 Res를 톤-매핑하여 획득된다.

잔차 이미지 Res가, 그것의 다이내믹 레인지가 너무 높고 이 잔차 이미지 Res가 너무 가시적인 아티팩트를 보이기 때문에, 볼 수 없는 것처럼 보일 수 있다. 잔차 이미지를 톤-매핑하는 것은 이러한 결점들 중 적어도 하나를 치유한다.

본 발명은 임의의 톤-매핑 오퍼레이터에 제한되지 않는다.

유리하게, 톤-매핑 오퍼레이터는 최초 HDR 이미지의 재구성을 허용하기 위해 가역적일 것이다.

단계 13의 실시예에 따르면, 잔차 이미지를 톤-매핑하는 것은 잔차 이미지의 픽셀 값들에 따른 감마 또는 S-로그 보정을 포함한다.

톤-매핑된 이미지 Res_v는 이후, 예를 들어 다음에 의해 주어지며:

A는 상수 값이고, γ는, 예를 들어 1/2.4과 동일한 감마 곡선의 계수이다.

대안적으로, 톤-매핑된 이미지 Res_v는, 예를 들어 다음에 의해 주어지고:

a, b 및 c는 0 및 1이 변하지 않도록 결정된 S-로그 곡선의 계수들이고, S-로그 곡선의 도함수는 1 아래에서 감마 곡선에 의해 연장될 때 1에서 연속적이다. 그러므로, a, b 및 c는 파라미터 γ의 함수들이다.

잔차 이미지 Res에 대해 감마 보정을 적용하는 것은, 어두운 영역을 풀업(pull up)하지만, 밝은 픽셀들의 버닝(burning)을 회피할 만큼 높은 광들을 충분히 낮추지 않는다.

잔차 이미지 Res에 대해 S로그 보정을 적용하는 것은 높은 광들을 충분히 낮추지만, 어두운 영역을 풀업하지 않는다.

그 후, 단계 13의 실시예에 따르면, 모듈 TMO는 잔차 이미지 Res의 픽셀 값들에 따라 감마 보정 또는 S로그 보정을 적용한다.

예를 들어, 잔차 이미지 Res의 픽셀 값이 임계값(1과 동일함)보다 낮을 때, 감마 보정이 적용되고, 그렇지 않으면 S로그 보정이 적용된다.

구성에 의해, 톤-매핑된 이미지 Res_v는 이미지 I의 밝기에 따라 1에 거의 근접한 평균 값을 보통 가지며, 특히 효율적인 상기 감마-S로그 조합을 이용한다.

방법의 실시예에 따르면, 단계 14에서, 모듈 SCA는 톤-매핑된 이미지 Res_v의 각각의 성분에 스케일링 팩터 cst_scaling을 곱함으로써 톤-매핑된 이미지 Res_v를 스케일링한다.

스케일링된-톤-매핑된 이미지 Res_s는 이후 Res_s = cst_scaling.Res_v에 의해 주어진다.

바람직하게, 스케일링 팩터 cst_scaling은 0과 최대값 2^N-1 사이에서 톤-매핑된 이미지 Res_v의 값들을 매핑하기 위해 정의되고, 여기서 N은, 예를 들어 디스플레이 또는 인코더에 의한 코딩을 위한 입력으로서, 허용된 비트들의 수이다.

이것은 값 1(이것은 톤-매핑된 이미지 Res_v의 대략 평균값임)을 중간-회색 값 2^N-1에 매핑함으로써 자연적으로 획득된다. 따라서, 표준 비트 수 N=8을 가진 톤-매핑된 이미지 Res_v에서, 120과 동일한 스케일링 팩터는 2⁷=128에서 중회색(neutral gray)에 매우 근접하기 때문에 매우 일정한 값이다.

방법의 실시예에 따르면, 단계 15에서, 모듈 CLI는 그것의 다이내믹 레인지를, 예를 들어 인코더 또는 디스플레이의 능력에 따라 정의되는 목표 다이내믹 레인지(TDR)(targeted dynamic range)로 한정하기 위해 톤-매핑된 이미지 Res_v를 클리핑한다.

이런 최종 실시예에 따르면, 최종 잔차 이미지 Res_c는, 예를 들어 방법의 실시예들에 따르는 다음에 의해 주어진다:

본 발명은 그런 클리핑(max(.))으로 제한되지 않고, 임의의 다른 클리핑으로 확장된다.

스케일링 및 클리핑 실시예들을 조합하는 것은 방법의 실시예에 따르는 다음에 의해 주어진 잔차 이미지 Res_sc를 가져온다:

또는

상술한 톤-매핑, 스케일링 및 클리핑은 파라메트릭 프로세스(parametric process)이다. 파라미터들은 고정되거나 아닐 수 있고, 후자의 경우에, 파라미터들 또는 이들 중 일부는 인코더에 의해 비트스트림으로 인코딩되고/되거나 원격 디스플레이에 전송되고/되거나 로컬 또는 원격 메모리로부터 획득될 수 있다.

파라미터들, 예를 들어 α, cst_mod, cst_scaling, γ, β의 선택은 사후 생성 및 컬러 그레이딩에서 전문가의 기호에 가장 잘 따르는 콘텐츠에 어울리는 톤-매핑의 선택을 위한 여지를 제공하는 것에 유의해야 한다. 또한, 백라이트를 생성하기 위해 이용되는 형상 함수들의 위치 및 사이즈는 선택될 수 있는 다른 파라미터이다.

한편, 범용 파라미터들은 매우 다양한 이미지들 모두에 대해 허용 가능하도록 정의될 수 있다. 이것은, 상술한 파라미터들이 최종 사용자 또는 임의의 다른 로컬 또는 외부 수단들에 의해 선택될 때의 반자동 파라메트릭 톤-매핑과 대비되는, 완전 자동 톤-매핑을 가져온다.

도 1-4에서, 모듈들은 구별 가능한 물리적 유닛들과 관련될 수 있거나 그렇지 않을 수 있는 기능 유닛들이다. 예를 들어, 이러한 모듈들 또는 이들 중 일부는 고유한 컴포넌트 또는 회로 내에 함께 모아질 수 있거나, 또는 소프트웨어의 기능성들에 기여할 수 있다. 그에 반해, 일부 모듈들은 잠재적으로 별도의 물리적 엔티티들로 구성될 수 있다. 본 발명과 호환 가능한 장치는 순수 하드웨어, 예를 들어 ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field Programmable Gate Array) 또는 VLSI(Very Large Scale Integration) 각각과 같은 전용 하드웨어를 이용하거나, 또는 디바이스에 내장된 여러 집적 전자 컴포넌트로부터 또는 하드웨어 및 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.

도 5는 도 1 내지 도 4와 관련해 설명된 방법을 구현하도록 구성될 수 있는 디바이스(50)의 예시적 아키텍처를 나타낸다.

디바이스(50)는 데이터 및 어드레스 버스(51)에 의해 함께 링크되는 다음의 요소들을 포함한다:

- 예를 들어, DSP(Digital Signal Processor)인 마이크로프로세서(52)(또는 CPU);

- ROM(또는 Read Only Memory)(53);

- RAM(또는 Random Access Memory)(54);

- 애플리케이션으로부터 전송할 데이터의 수신을 위한 I/O 인터페이스(55); 및

- 배터리(56).

변형에 따르면, 배터리(56)는 디바이스의 외부에 있다. 도 5의 이들 요소 각각은 본 기술분야의 통상의 기술자에 의해 잘 알려졌으며, 추가로 개시되지 않을 것이다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 <<레지스터>>는 작은 용량(예를 들어, 몇 개의 비트)의 영역 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(53)은 적어도 프로그램 및 파라미터들을 포함한다. 본 발명에 따르는 방법들의 알고리즘은 ROM(53)에 저장된다. 스위칭 온될 때, CPU(52)는 프로그램을 RAM에 업로드하고, 대응하는 명령어들을 실행한다.

RAM(54)은, 레지스터 내에, 디바이스(50)의 스위치 온 이후 CPU(52)에 의해 실행되고 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내에서 방법의 실행에 이용되는 다른 변수들을 포함한다.

본 명세서에서 기술되는 구현들은, 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에 구현될 수 있다. 비록 단지 단일 형태의 구현의 맥락에서 기술되기는 하지만(예컨대, 단지 방법 또는 디바이스로서 논의되기는 하지만), 논의된 특징들의 구현은 또한 다른 형태들(예컨대, 프로그램)로 구현될 수 있다. 장치는 예컨대, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은 예컨대, 컴퓨터, 마이크로프로세서, 집적회로 또는 프로그램 가능 로직 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예컨대 컴퓨터들, 셀 전화들, 휴대용/개인 휴대 단말("PDA")들 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현들은 각종 상이한 장비 또는 애플리케이션들, 특히 예를 들어 장비 또는 애플리케이션들로 구체화될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더로의 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확한 바와 같이, 장비는 모바일일 수 있으며 심지어 모바일 차량에 설치될 수 있다.

게다가, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있으며, 그러한 명령어들(및/또는 구현에 의해 생성되는 데이터 값들)은 예를 들어 집적 회로, 소프트웨어 캐리어 또는 다른 스토리지 디바이스, 예로서 하드 디스크, 콤팩트 디스켓("CD"), 광 디스크(예로서, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM")와 같은 프로세서 판독 가능 매체상에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체상에 실체적으로(tangibly) 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예컨대 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 명령어들은 예컨대 운영 체제, 개별 애플리케이션, 또는 이들의 조합에서 발견될 수 있다. 따라서, 프로세서는 예컨대 프로세스를 수행하도록 구성되는 디바이스와 프로세스를 수행하기 위한 명령어들을 가진 (스토리지 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스 둘 모두로서 특징지어질 수 있다. 게다가, 프로세서-판독가능 매체는 구현에 의하여 생성되는 명령어들, 데이터 값들 대신에 또는 이들에 부가하여 저장할 수 있다.

통상의 기술자에게 명백한 바와 같이, 구현들은 예컨대 저장되거나 또는 전송될 수 있는 정보를 운반(carry)하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는 예컨대 방법을 수행하기 위한 명령어들, 또는 설명되는 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예컨대, 신호는 설명된 실시예의 신택스를 기입하거나 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 또는 설명된 실시예에 의해 기입된 실제 신택스-값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는 예를 들어, (예컨대, 스펙트럼의 무선 주파수 부분을 이용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은 예컨대 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서-판독가능 매체상에 저장될 수 있다.

실시예에 따르면, I/O 인터페이스(55)는 도 1-4와 관련하여 설명된 방법에 의해 사용되는 파라미터들 중 적어도 하나를 수신하도록 구성된다. 예를 들어, 파라미터들은, 알려진 비적응성 형상 함수가 이용될 때 가중 처리 계수들 α_i 또는

로 제한되지만, 형상 함수

는, 예를 들어 더 나은 피팅을 위한 어느 정도의 최적 수학적 구성의 경우에는 사전에 알려지지 않을 수 있다. 그 후, 형상 함수

의 서포트의 사이즈 및 위치는 이후 파라미터들이 될 수 있다. 감마 곡선의 계수 γ, β, cst_mod, α, 스케일링 팩터 cst_scaling, 비트들의 수 N은 또한 본 발명에 따라 이미지를 톤-매핑하는 방법의 파라미터들일 수 있다.

이러한 파라미터들 중 일부는 로컬 또는 원격 메모리로부터 획득되거나 또는 디바이스(50)의 그래픽 인터페이스로부터 최종 사용자에 의해 선택될 수 있다. 따라서, 톤-매핑 방법은 이 방법의 파라미터를 획득하는 데 사용되는 방식에 따라 자동 또는 반자동일 수 있다.

이러한 수신되는 파라미터들 중 일부는 원격 디바이스에 의해 인코딩될 수 있다. 그 후, 디바이스(50)는 이들 수신되는 파라미터를 디코딩하기 위한 디코더를 포함한다.

복수의 구현이 설명되었다. 그렇기는 하지만, 다양한 수정이 행해질 수 있다는 것을 이해할 것이다. 예컨대, 상이한 구현들의 요소들은 다른 구현들을 생성하기 위하여 결합되거나 추가되거나 수정되거나 또는 제거될 수 있다. 또한, 본 기술분야의 통상의 기술자라면, 다른 구조들 및 프로세스들이 개시된 것을 대체할 수 있고, 그 결과로 생기는 구현들은 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것임을 이해할 것이다. 따라서, 이들, 및 다른 구현들은 본 출원에 의해 고려된다.

Claims (9)

1. 이미지를 톤-매핑하는 방법으로서,
   - 상기 이미지를, 상기 이미지로부터 결정된(11) 백라이트 이미지로 나누는 것에 의해 잔차 이미지(residual image)를 획득하는 단계(12), 및
   - 상기 잔차 이미지를 톤-매핑하여 톤-매핑된 이미지를 획득하는 단계(13)
   를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 톤-매핑은 상기 잔차 이미지의 픽셀 값들에 따른 감마- 또는 S로그-보정(Slog-correction)을 포함하는 방법.
3. 제1항 또는 제2항에 있어서, 상기 이미지로부터 상기 백라이트 이미지를 획득하는 단계(11)는
   - 상기 이미지의 휘도 성분으로부터 백라이트 이미지를 획득하는 단계, 및
   - 상기 백라이트 이미지를 상기 이미지의 평균 휘도 값(L_mean)으로 변조하는 단계
   를 포함하는 방법.
4. 제3항에 있어서, 상기 이미지로부터 상기 백라이트 이미지를 획득하는 단계(11)는
   - 상기 백라이트 이미지를 변조하기 전에 상기 백라이트 이미지를 백라이트 이미지의 평균값에 의해 정규화하는 단계를 더 포함하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방법은 상기 톤-매핑된 이미지를 스케일링하는 단계(14)를 더 포함하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법은 상기 톤-매핑된 이미지를 클리핑하는 단계(15)를 더 포함하는 방법.
7. 이미지를 톤-매핑하기 위한 디바이스로서,
   - 상기 이미지를, 상기 이미지로부터 결정된 백라이트 이미지로 나누는 것에 의해 잔차 이미지를 획득하기 위한 수단(BAM), 및
   - 상기 잔차 이미지를 톤-매핑하여 톤-매핑된 이미지를 획득하기 위한 수단(TMO)
   을 포함하는 디바이스.
8. 컴퓨터 프로그램 제품으로서, 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제1항 내지 제6항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
9. 프로그램 코드의 명령어들을 저장하는(carry) 비일시적 저장 매체로서, 상기 프로그램 코드의 명령어들은 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 제1항 내지 제6항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 것인, 비일시적 저장 매체.

Images