KR20200100077A - 개선된 역 톤 매핑 방법 및 대응하는 디바이스 - Google Patents

Abstract

본 개시내용은 로우 다이내믹 레인지 이미지들의 다이내믹 레인지를 확장하는 것을 수반하고, 이미지에 대한 제1 확장 지수 맵을 획득하는 것, 및 이미지의 각각의 픽셀에 대해, 픽셀의 휘도 값에 대한 제1 확장 지수 맵으로부터 결정된 확장 지수 값으로 누승을 수행함으로써 확장된 휘도 값을 결정하는 것에 관한 것이며, 이미지의 픽셀에 대해, 픽셀의 휘도를 나타내는 값을 입력으로서 취하며 더 높은 입력 값들에 대해 더 높은 증가를 갖는 증가 함수인 변조 함수를 사용하여 확장 정정 값을 계산하는 것; 및 제1 확장 지수 맵의 확장 지수 값으로부터 확장 정정 값을 감산하는 것을 포함할 수 있다.

Description

개선된 역 톤 매핑 방법 및 대응하는 디바이스

본 발명은 일반적으로 하이 다이내믹 레인지 이미징 분야에 관한 것이며, 로우 또는 표준 다이내믹 레인지 이미지들의 다이내믹 레인지를 확장하는 방법을 다룬다.

디스플레이 기술에서의 최근의 발전들은, 디스플레이될 이미지들의 컬러, 휘도 및 대비의 확장된 다이내믹 레인지를 허용하기 시작하고 있다. "이미지들"이라는 용어는 예를 들어 비디오 또는 스틸 사진일 수 있는 이미지 콘텐츠를 지칭한다.

이미지들의 휘도 또는 밝기에 있어서 확장된 다이내믹 레인지를 허용하는 기술들은 하이 다이내믹 레인지(high dynamic range) 이미징 또는 HDR 이미징이라고 지칭된다. 확장된 다이내믹 레인지로 HDR 이미지들을 처리하고 디스플레이할 수 있는 능력을 갖는 다수의 디스플레이 디바이스가 이미 고객들에게 이용가능하다. 그러한 증가된 다이내믹 레인지로 이미지들을 캡처할 수 있는 이미지 캡처 디바이스들도 개발되고 있다. 그러나, HDR 이미지들은 아직 널리 보급되지 않았으며, SDR(Standard dynamic range) 또는 LDR(Low Dynamic Range) 이미지인 다수의 기존 이미지가 존재한다. 따라서, 최근의 하이 다이내믹 레인지(HDR) 디바이스들에서 로우 또는 표준 다이내믹 레인지(LDR 또는 SDR) 이미지들을 시각화할 필요가 있다.

이를 위해, 반전 또는 역 톤 매핑 연산자들(inverse tone mapping operators)(iTMO)이 개발되었다. 그것들은 원본 장면의 모양을 복구하거나 재생성할 목적으로 이미지들 내의 픽셀들의 휘도 정보(luminance information)를 처리하는 알고리즘들을 사용하여, 종래의(LDR 또는 SDR) 이미지들로부터 HDR 이미지들을 생성하는 것을 허용한다.

로컬 톤 매핑 알고리즘들 및 글로벌 톤 매핑 알고리즘들과 같은 상이한 종류의 역 톤 매핑 알고리즘들이 존재한다. 예를 들어, 로컬 톤 매핑 알고리즘들의 분야에서, 특허 출원 WO2015/096955는 이미지의 각각의 픽셀 p에 대해 픽셀 확장 지수 값(pixel expansion exponent value) E(p)를 획득한 다음, 이하의 수학식을 계산함으로써 픽셀 p의 휘도 Y(p)를 확장된 휘도 값 Y_exp(p)로 역 톤 매핑(inverse tone mapping)하는 단계들을 포함하는 방법을 개시한다:

(1)

여기서, Y_exp(p)는 픽셀 p의 확장된 휘도 값이고;

Y(p)는 SDR(또는 LDR) 입력 이미지 내의 픽셀 p의 휘도 값이고;

Y_enhance(p)는 고역 통과 필터링에 의해 획득된 SDR(또는 LDR) 입력 이미지 내의 픽셀 p에 대한 휘도 향상 값이고;

E(p)는 픽셀 p에 대한 픽셀 확장 지수 값이다.

이미지의 모든 픽셀들에 대한 값들 E(p)의 세트는 이미지에 대한 확장 지수 맵 또는 "확장 맵"을 형성한다. 이러한 확장 지수 맵은 상이한 방법들에 의해, 예를 들어 저역 통과 필터링된 휘도 값 Y_base(p)를 얻기 위해 각각의 픽셀 p의 휘도 값 Y(p)를 저역 통과 필터링하고, 그 저역 통과 필터링된 것에 2차 함수를 적용함으로써 생성될 수 있으며, 상기 2차 함수는 이하의 수학식에 따라 파라미터들 a, b 및 c에 의해 정의된다:

SDR 이미지들에 대한 역 톤 매핑 방법들을 구현하기 위해 개발된, 역 톤 매핑 연산자들(inverse tone mapping operators)(iTMO)이라고 지칭되는 전용 도구들이 다음과 같이 사용될 수 있다:

- 컬러리스트들의 수동 그레이딩(manual grading)을 돕기 위해 촬영 후 도구(post-production tool) 내에서,

- 또는 자동 그레이딩을 실행하기 위해, 예를 들어 셋톱 박스 또는 TV 세트에 통합된 SoC(System On Chip) 내의 하드웨어 구현으로서.

첫 번째 경우에, 이미지들은 컬러리스트들에 의해 수동으로 처리되며, 이는 필름 제작자의 예술적 의도가 보존될 수 있기 때문에 좋은 결과를 제공한다. 그러나, 이러한 방법은 온-더-플라이(on the fly)로, 예를 들어 스트리밍 모드에서 비디오를 수신할 때 실시간으로 수행될 수 없다.

두 번째 경우에, 미리 결정된 확장 파라미터들(상기 예에서 파라미터들 a, b 및 c)은 원본 비디오 또는 이미지 콘텐츠에 대한 임의의 적응 없이, 그리고 컬러리스트의 임의의 수동 개입 없이 SDR(또는 LDR) 이미지들에 적용된다. 이러한 역 톤 매핑은 온-더-플라이로 수행될 수 있으므로, 셋톱 박스 또는 TV 세트와 같은 디바이스들에서 사용될 수 있다. 그러나, 역 톤 매핑의 동작이 이미지에 잘 적응되지 못하기 때문에, 결과들은 컬러리스트들의 수동 그레이딩으로부터 발행된 결과들만큼 좋지 않다.

상기 문제점을 해결하기 위해, EP3249605는 톤-매핑(tone-map)을 위해 콘텐츠에 자동으로 적응할 수 있는, 이미지의 역 톤 매핑을 위한 방법을 개시하고 있다. 이 방법은 템플릿을 형성하는 프로파일들의 세트를 사용한다. 이러한 프로파일들은 오프라인 처리인 학습 위상에서 결정된다. 각각의 프로파일은 확장 맵이 연관되어 있는 휘도 히스토그램과 같은 시각적 특징에 의해 정의된다. 학습 위상에서, ITM 파라미터들을 수동으로 설정하고 이러한 이미지들의 확장 맵을 생성하는 컬러리스트들에 의해 수동으로 그레이딩되는 수많은 참조 이미지들로부터 프로파일들이 결정된다. 다음으로, 참조 이미지들은 이러한 생성된 확장 맵들에 기초하여 클러스터링된다. 각각의 클러스터는 대표적인 휘도 히스토그램 및 이에 연관된 대표적인 확장 맵을 추출하기 위해 처리되어, 상기 클러스터로부터 발행된 프로파일을 형성한다. 그 후, 복수의 프로파일을 포함하는 템플릿은 하드웨어 메모리 내에, 예를 들어 셋톱 박스 또는 TV 디바이스에 저장된다.

후속 동작 위상에서, 새로운 SDR 이미지 콘텐츠는 예를 들어 셋톱 박스에 의해 스트리밍 모드로 수신된다. 입력 시에, 처리 유닛(예를 들어, CPU, SoC 또는 FPGA)는 SDR 비디오 스트림을 실시간으로 분석한다. 실시간 히스토그램 처리 모듈은 콘텐츠의 SDR 이미지에 대한 히스토그램들을 결정한다. 예를 들어, 콘텐츠 내에서의 각각의 컷 검출 후, 처리 유닛은 검출된 컷 이후의 첫번째 프레임 상에서 히스토그램을 계산한다. 대안적으로, 히스토그램은 검출된 컷 이후, 다음 컷 전에, n번째 프레임에서 계산될 수 있다. 템플릿의 최적 일치 히스토그램을 찾기 위해, 수신된 SDR 이미지 콘텐츠의 계산된 히스토그램이 학습 위상에서 발행된 템플릿에 저장된 히스토그램들 각각과 비교된다. 예를 들어, 수신된 콘텐츠의 계산된 히스토그램과 템플릿에 저장된 각각의 히스토그램 사이의 거리가 계산된다. 다음으로, 최적 일치를 제공하는 템플릿의 히스토그램에 관련된 확장 맵이 선택되어, 동일한 샷의 모든 이미지(즉, 검출된 컷과 다음 컷 사이의 모든 이미지)에 대해 온-더-플라이로 역 톤 매핑을 수행하고 대응하는 HDR 이미지들을 출력하기 위해 사용된다. 이러한 방식으로, HDR 비디오를 출력하기 위해, 템플릿의 최적 확장 맵이 적용된다.

이러한 역 톤 매핑 방법을 사용하면, 그레이딩의 품질은 템플릿 또는 모델 내의 상이한 프로파일들의 수에 의존하며; 더 많은 프로파일이 존재할수록 그레이딩이 더 좋이진다. 따라서, 그레이딩의 품질을 개선하는 방법은 학습 위상에서 더 많은 프로파일을 생성하는 것이다. 그러나, 처리 디바이스(셋톱 박스 또는 TV 디바이스)의 메모리 자원들이 제한되어 있기 때문에, 이러한 접근법은 실제로는 해결책이 아니다.

따라서, SDR로부터 HDR로의 알려진 ITM 변환 또는 역 톤 매핑 방법은 일부 휘도 범위들에 대해 불량한 그레이딩을 야기할 수 있다. 특히, SDR 이미지들 내의 넓은 영역들 상의 하이라이트들 또는 밝은 부분들은 HDR 이미지들에서 지나치게 밝은 영역을 초래할 수 있다. 본 발명은 이러한 상황을 개선하는 것을 목적으로 한다.

본 발명의 목적은 미리 결정된 확장 맵을 사용하고 이미지에 잘 적응될 수 있어서, 특히 출력 이미지에서 지나치게 밝은 일부 영역들을 회피하는, 온-더-플라이로 이미지들, 예를 들어 비디오 시퀀스들에 적용될 수 있는 역 톤 매핑을 위한 방법을 제안하는 것이다.

본 발명의 주제는 이미지의 적어도 일부의 역 톤 매핑(inverse tone mapping)을 위한 방법으로서,

상기 이미지에 대한 제1 확장 지수 맵(expansion exponent map)을 획득하는 단계; 및

이미지의 적어도 픽셀에 대해, 상기 픽셀의 휘도 값에 대해 상기 제1 확장 지수 맵으로부터 결정된 확장 지수 값으로 누승(exponentiation)을 수행함으로써 확장된 휘도 값을 결정하는 단계

를 포함하고, 방법은:

이미지의 상기 픽셀에 대해, 상기 픽셀의 휘도를 나타내는 값을 입력으로서 취하며 더 높은 입력 값들에 대해 더 높은 증가를 갖는 증가 함수인 변조 함수를 사용하여 확장 정정 값을 계산하는 단계;

제1 확장 지수 맵의 확장 지수 값으로부터 상기 확장 정정 값을 감산함으로써 상기 픽셀에 대한 정정된 확장 지수 값을 획득하는 단계; 및

이미지(I)의 상기 픽셀(p)에 대해, 상기 픽셀(p)의 휘도 값(Y(p))에 대해 상기 정정된 확장 지수 값으로 누승을 수행함으로써 확장된 휘도 값(Yexp(p))을 결정하는 단계(S4)

를 더 포함하는 방법이다.

제1 미리 결정된 확장 맵으로부터 취해진 확장 지수 값에 적용되는 정정은 이미지의 밝은 영역들에서 이러한 제1 미리 결정된 확장 맵의 효과를 국부적으로 감소시키는 것을 허용한다.

유리하게는, 상기 변조 함수는 입력 값에 대해 고정된 지수 파라미터로 누승을 달성한다. 상기 입력 값은 예를 들어 상기 이미지 픽셀의 저역 통과 필터링된 휘도 값의 정규화된 값이다. 고정된 지수 파라미터는 3 이상, 바람직하게는 6일 수 있다.

유리하게는, 확장 정정 값은 고정된 지수 파라미터에 의한 누승으로부터 발생하는 참조 확장 정정 값에 가중 계수를 적용함으로써 결정되며, 가중 계수는 이미지 및 제1 미리 결정된 확장 지수 맵에 의존한다.

본 발명의 특정 실시예에서, 상기 가중 계수는:

제1 휘도 임계 값 - 제1 휘도 임계 값은 이미지의 픽셀들의 미리 결정된 백분율이 상기 제1 임계 휘도 값보다 높은 휘도 값들을 갖는 것을 보장하는 휘도 값임 - ; 및

제1 확장 맵을 사용하여, 확장된 휘도의 목표 최댓값으로 톤 매핑되는 이미지의 픽셀의 휘도 값에 대응하는 제2 휘도 임계 값

으로부터 계산된다.

유리하게는, 상기 가중 계수는:

상기 제1 미리 결정된 확장 지수 맵을 통해 상기 이미지의 상기 제1 휘도 임계 값에 할당된 제1 확장 지수 값;

상기 확장 지수 맵을 통해 상기 제2 휘도 임계 값에 할당된 제2 확장 지수 값; 및

상기 제1 휘도 임계 값의 정규화된 값에 대한 상기 고정된 지수 파라미터에 의한 누승으로부터 발생하는 참조 감쇠 값

을 사용하여 계산된다.

따라서, 가중 계수 p_bright는 이하의 수학식:

을 사용하여 계산될 수 있고,

여기서, E(p₁)은 제1 확장 지수 값을 나타내고,

E(p₂)는 제2 확장 지수 값을 나타내고;

M_brigth(p₁)은 제1 휘도 임계 값의 정규화된 값에 대한 상기 고정된 지수 파라미터에 의한 누승의 결과인 참조 감쇠 값을 나타낸다.

본 발명의 다른 양태에 따르면, 변조 함수는 수학식

을 계산함으로써, 저역 통과 필터링된 휘도 값 Y_base(p)을 갖는 이미지 픽셀 p에 참조 감쇠 값 M_bright(p)을 할당하고, γ는 상기 고정된 지수 파라미터이다.

유리하게는, 상기 제2 확장 지수 값은 상기 확장된 휘도의 상기 목표 최댓값의 로그(logarithm)를 상기 제2 휘도 임계 값의 로그로 나눔으로써 계산된다.

바람직하게는, 본 발명의 방법은 상기 제1 휘도 임계 값과 상기 제2 휘도 임계 값을 비교하는 단계를 포함하고, 정정은 상기 제1 휘도 임계 값이 상기 제2 휘도 임계 값보다 우수한 조건이 만족되는 경우에만 실행된다.

특정 실시예에서, 제1 미리 결정된 확장 지수 맵은 관계에 의해 정의되는 2차 함수:

를 사용하여 이미지 픽셀들 p의 저역 통과 필터링된 휘도 값 Y_base(p)으로부터 생성되고, 여기서 a, b 및 c는 2차 함수의 파라미터들이다.

유리하게는, 상기 이미지에 대한 확장 지수 맵을 획득하는 단계는:

상기 이미지의 휘도를 나타내는, 상기 이미지에 대한 시각적 특징을 획득하는 단계,

상기 이미지의 시각적 특징과, 거리 기준에 따른 적어도 2개의 참조 이미지 클러스터의 시각적 특징들을 비교하는 단계 - 클러스터의 시각적 특징은 해당 클러스터의 참조 이미지들의 휘도를 나타냄- ;

상기 이미지에 대해, 상기 이미지의 시각적 특징에 가장 가까운 클러스터의 시각적 특징에 관련된 확장 지수 맵을 선택하는 단계

를 포함한다.

상기 이미지의 시각적 특징은 예를 들어 상기 이미지의 픽셀들의 휘도에 대한 히스토그램을 포함한다.

본 발명은 또한:

이미지를 역 톤 매핑하기 위해 앞에서 정의된 방법을 구현하기 위한 수단을 포함하는 이미지 처리 디바이스;

이미지 처리 디바이스를 포함하는 전자 디바이스

에 관한 것이다.

본 발명은 보호 범위를 제한하지 않는 예로서 주어진 이하의 설명 및 도면을 참조하여 더 잘 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 방법을 수행하도록 구성된 이미지 처리 디바이스의 블록도이다.
도 2는 본 발명의 실시예에 따른 방법 단계들의 오가니그램(organigram)을 나타낸다.
도 3a는 미리 결정된 확장 맵을 적용한 후의 이미지 픽셀들의 입력 휘도와 대응하는 출력 휘도 사이의 관계를 나타내는 그래프이다.
도 3b는 상기 미리 결정된 확장 맵을 나타낸다.
도 4a는 이미지 픽셀들의 입력 휘도와, 미리 결정된 확장 맵에 기초하며 본 발명의 실시예에 따라 정정된 확장 맵을 적용한 후의 대응하는 출력 휘도와의 사이의 관계를 나타내는 그래프이다.
도 4b는 도 4a에서 사용된 확장 맵을 나타낸다.
도 5는 픽셀들의 수가 정규화되고 제1 휘도 임계 값 "TH₁"을 나타내는 휘도 히스토그램을 나타낸다.
도 6은 도 3a에 나타낸 것과 동일한 그래프이며, 제2 휘도 임계 값 "TH₂"를 보여준다.

도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어, 및 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다.

본 발명은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있음을 이해해야 한다. "프로세서"라는 용어는 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 지칭하는 것으로 해석되어서는 안되며, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비-휘발성 저장소를 암시적으로 포함할 수 있지만, 그에 제한되지 않는다. 본 발명은 특히 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 유형적으로(tangibly) 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 이러한 소프트웨어는 플러그인 형태를 취하여 다른 소프트웨어에 통합될 수 있다. 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 이미지 처리 디바이스에 업로드되고 그에 의해 실행될 수 있다. 바람직하게는, 이미지 처리 디바이스는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로 명령 코드를 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스들 및 기능들은 CPU에 의해 실행될 수 있는 마이크로 명령 코드의 일부 또는 애플리케이션 프로그램의 일부 또는 이들의 임의의 조합일 수 있다. 추가로, 추가적인 데이터 저장 유닛, 디스플레이 디바이스, 인쇄 유닛...과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 연결될 수 있다. 본 발명에 따른 방법의 실시예를 구현하는 이미지 처리 디바이스는 예를 들어 TV 세트, 셋톱 박스, 게이트웨이, 셀 폰, 태블릿과 같은 이미지들을 수신할 수 있는 임의의 전자 디바이스의 일부일 수 있다. 전자 디바이스는 확장된 휘도로 HDR 이미지들을 디스플레이할 수 있는 HDR 디스플레이를 더 포함한다. 본 실시예에서, HDR 디바이스의 휘도 범위는 0과 1000 사이의 정수 휘도 값들을 포함하는 반면, SDR 이미지 I의 휘도 범위는 0과 255 사이의 정수 휘도 값들을 포함한다.

본 발명은 SDR(또는 LDR) 이미지인 이미지 I의 역 톤 매핑을 위한 방법에 관한 것이다. 이미지 I는 예를 들어 이미지 처리 디바이스를 포함하는 전자 디바이스에 의해 수신된 비디오 콘텐츠로부터 추출된 이미지이다. SDR 이미지 I에 적용되는 역 톤 매핑은 상기 SDR 이미지 I를 HDR 디스플레이에 의해 확장된 휘도 범위에서 디스플레이될 수 있는 HDR 이미지 I'으로 변환한다.

도 1에 도시된 바와 같은 이미지 처리 디바이스(10)는:

이미지 I에 적용할 미리 결정된 확장 지수 맵 E(p)를 획득하도록 구성되는 확장 맵 결정 모듈(20);

일부 휘도 범위들에서 휘도 확장을 변조하도록 구성되는 변조 모듈(30);

이 픽셀의 휘도 근방에서 픽셀들의 컬러들의 휘도 값들의 고 주파수들의 추출에 의해, 이미지의 각각의/임의의 픽셀에 대한 픽셀 휘도 향상 값을 획득하도록 구성된 고주파수 추출 모듈(40);

이미지 I의 각각의/임의의 픽셀 p의 휘도를 확장된 휘도로 역 톤 매핑하도록 구성된 역 톤 매핑 모듈(50) - 본 명세서에서 나중의 설명에서 더 상세히 설명되는 바와 같이, 확장은 변조 모듈(30)에 의해 정정되거나 감쇠되는 미리 결정된 확장 지수 맵 E(p)을 사용함 - ;

복수의 N개의 프로파일 P_i를 포함하는 모델 또는 템플릿을 저장하기 위한 메모리(60) - 여기서, 2≤N 및 1≤i≤N임 -

를 포함한다.

이미지 I의 역 톤 매핑을 위한 방법의 제1 실시예는 위에서 설명된 바와 같은 처리 디바이스를 사용하여 도 2를 참조하여 설명될 것이다.

방법은 이미지 I에 적용할 미리 결정된 확장 지수 맵 E(p)을 획득하는 제1 단계 S1을 포함한다. 이러한 제1 단계는 복수의 N개의 프로파일 P_i를 포함하는 모델 또는 템플릿을 이용하며, 2≤N 및 1≤i≤N이다.

N개의 프로파일 P_i는 EP3249605에 기술된 바와 같이 그들 각각의 휘도 히스토그램에 기초하여 클러스터로 배열된 복수의 참조 이미지로부터 학습 위상에서 획득된다. N개의 프로파일 P_i는 N개의 참조 이미지 클러스터로부터 발행된다. 대표적인 휘도에 대한 히스토그램 HL_i 및 확장 지수 맵 E_i(p)는 N개의 참조 이미지 클러스터 각각에 할당된다. 따라서, 2개의 이하의 연관된 요소가 참조 이미지 클러스터로부터 발행된 각각의 프로파일 P_i에 할당된다:

이 클러스터의 참조 이미지들의 휘도를 나타내는, 휘도에 대한 히스토그램 HL_i와 같은 시각적 특징, 및

확장 지수 맵 E_i(p).

이미지의 모든 픽셀들에 대한 값들 E_i(p)의 세트는 이미지에 대한 확장 지수 맵 또는 "확장 맵"을 형성한다. 이러한 확장 맵은 상이한 방법들에 의해, 예를 들어 저역 통과 필터링된 휘도 값 Y_base(p)를 얻기 위해 각각의 픽셀 p의 휘도 값 Y(p)를 저역 통과 필터링하고, 그 저역 통과 필터링된 것에 이하의 수학식에 따라 파라미터들 a, b 및 c에 의해 정의되는 2차 함수를 적용함으로써 생성될 수 있다:

따라서, 각각의 모델 프로파일들 P_i는 대표적인 휘도에 대한 히스토그램(HL_i), 및 확장 지수 값들 및 확장 맵 E_i(p)을 계산하기 위한 2차 함수를 정의하는 파라미터들 a_i, b_i, c_i의 세트에 의해 정의된다.

N개의 프로파일 P_i의 데이터는 이미지 처리 디바이스(10)의 메모리(60)에 저장된다.

제1 단계(S1)에서의 확장 맵 결정 모듈(20)을 사용하여, 하위단계(S10)에서의 처리를 위해 이미지 I에 대해 휘도에 대한 히스토그램 HL_I이 계산된다.

하위단계(S11)에서, 최적 일치 모델 히스토그램을 찾기 위해, 이미지 I의 히스토그램 HL_I는 거리 기준에 따라 학습 위상으로부터 발행된 메모리(60) 내의 템플릿에 저장된 히스토그램들 HL_i 각각과 비교된다. 즉, 이미지 I의 시각적 특징 HL_I는 거리 기준에 따른 N개의 참조 이미지 클러스터의 시각적 특징들 HL_i과 비교되며, 여기서 클러스터의 시각적 특징은 이 클러스터들의 참조 이미지들의 휘도를 나타낸다.

마지막으로, 하위단계(S12)에서, 최적 일치를 제공하는 모델 히스토그램에 관련된 확장 맵 E_i(p)(1≤i≤N)이 선택된다. 따라서, 템플릿의 최적 확장 맵이 입력 SDR 이미지 I를 처리하도록 선택된다.

단계(S1)로부터 발행된 미리 결정된 확장 맵은 이하의 설명에서 E(p)로 표시된다.

모델 또는 템플릿을 형성하는 N개의 프로파일의 생성 및 처리할 이미지 I에 대한 확장 맵의 선택에 대한 더 상세한 내용은 EP3249605를 참조하면 된다.

변조 모듈(30)을 사용하여, 제2 단계(S2)에서, 주변과의 부드러운 전이를 유지하면서 이미지 I의 일부 밝은 영역들에서만 단계(S1)에서 획득된 미리 결정된 확장 맵 E(p)에 의해 야기된 밝기 확장의 효과를 국부적으로 감소시키기 위해, 밝은 스폿 변조의 동작이 수행된다. 이하에서는, 입력 SDR 이미지 I에 대해 밝은 스폿 변조가 설명될 것이다.

밝은 스폿 변조의 동작은 변조 함수(감쇠 함수 또는 정정 함수라고도 함)을 사용한다. 이러한 변조 함수는 참조 변조(또는 "정정" 또는 "감쇠") 맵 M_bright(p)과 가중 계수 p_bright의 곱을 계산하고, 단계(S1)에서 획득된 미리 결정된 확장 맵 E(p)으로부터 이 곱을 감산한다. 따라서, 정정된(새로운) 확장 지수 맵 E_bright(p)는 이하의 수학식에 따라 계산된다:

여기서, E_brigth(p)는 정정된 확장 맵을 나타내고;

E(p)는 단계(S1)에서 획득된 미리 결정된 확장 맵이고;

M_brigth(p)는 모든 이미지 픽셀에 대한 함수에 의해 주어진 값들에 의해 형성된 참조 변조 또는 정정 맵을 생성하는 변조 함수이며;

p_bright는 정정 강도를 제어하기 위한 가중 계수이다.

밝은 스폿 변조를 달성하고, 맵 E_bright(p)를 형성하는 정정된 확장 지수 값들을 생성하기 위해, 이하에 설명될 다음의 하위단계들이 실행된다.

하위단계(S20)에서, 참조 확장 감쇠 또는 정정 맵 M_bright(p)는 이미지 I의 각각의 픽셀 p의 휘도를 나타내는 값을 입력으로서 취하는 참조 변조 함수 M_bright(p)를 사용하여 계산된다. 그것은 입력 값들이 높을수록 점점 더 커지는 증가 함수이다. 즉, 증가 함수는 더 높은 입력 값에 대해 더 높은 증가를 달성한다. 증가는 입력 값들이 높을수록 더 높다. 입력 값들이 높을수록 증가가 더 중요하다. 본 실시예에서, 입력 값은 정규화된 픽셀 p의 저역 통과 필터링된 휘도 값 Y_base(p)이다. 참조 감쇠 함수는 이 입력 값에 대해 고정된 지수 파라미터 γ를 사용하여 누승을 달성한다. 즉, 그것은 이하의 수학식에 따라, 고정된 파라미터 γ의 거듭제곱에서 정규화된 저역 통과 필터링된 휘도 값 Y_base(p)를 계산한다:

여기서, 255는 SDR 이미지 I의 최대 휘도 값이고;

γ는 고정된 지수 값, 예를 들어 3 이상, 예를 들어 6이고;

Y_base(p)는 이미지 I의 픽셀 p의 저역 통과 필터링된 휘도 값이고;

M_bright(p)는 이미지 I의 픽셀 p에 대한 참조 정정 또는 감쇠 값이다.

함수 M_bright(p)는 주로 더 높은 휘도 값들에서 동작하도록 적응된다.

가중 계수 p_bright는 미리 결정된 확장 값 E(p)에 적용하도록 정정을 가중하기 위해 사용되고, 따라서 이러한 정정의 강도를 제어한다. 그것의 값은 처리할 이미지 I 및 미리 결정된 확장 맵 E(p)(단계(S1)에서 획득됨)에 의존한다. 그것은 확장 맵 E(p)에 적용할 정정의 강도를 제어하기 위한 파라미터이다. 그것은 이미지 I 및 상기 확장 맵 E(p)에 의존하여, 미리 결정된 확장 맵 E(p)에 적용해야 할 정정의 양을 정량화하는 것을 허용한다.

하위단계(S21)에서, 가중 계수 p_bright는 큰 하이라이트 영역들에서 확장된 휘도를 감소시키도록 계산된다. 가중 계수 p_bright는

의 고정된 지수 파라미터 γ를 사용한 누승의 결과인 참조 확장 정정 값 M_bright(p)에 적용되도록 의도된다(여기에서는 곱해짐). 이 가중 계수 p_bright는 이미지 I의 콘텐츠, 및 단계(S1)에서 획득된 미리 결정된 확장 지수 맵 E(p)에 의존한다. 그것은 다음으로부터 계산된다:

제1 휘도 임계 값 TH₁ - 제1 휘도 임계 값은 이미지 I의 픽셀들의 미리 결정된 백분율이 상기 제1 임계 휘도 값 TH₁보다 높은 휘도 값들을 가질 것을 보장하는 휘도 값임 - ;

미리 결정된 확장 맵 E(p)를 이용하여, 확장된 휘도의 목표 최댓값으로 톤 매핑되는 이미지 I의 픽셀 p의 휘도 값에 대응하는 제2 휘도 임계 값 TH₂.

보다 정확하게, 가중 계수 p_bright는 이하를 사용하여 계산된다:

상기 미리 결정된 확장 지수 맵 E(p)를 통해 상기 이미지 I의 상기 제1 휘도 임계 값 TH₁에 할당되는 제1 확장 지수 값 E(p₁);

상기 확장 지수 맵 E(p)를 통해 상기 제2 휘도 임계 값 TH₂에 할당되는 제2 확장 지수 값 E(p₂);

상기 제1 휘도 임계 값 TH₁의 정규화된 값에 대한 상기 고정된 지수 파라미터 γ에 의한 누승으로부터 발생하는 참조 정정 값 M_brigth(p₁).

휘도 임계 값 TH₁을 결정하기 위해 사용되는 이미지 I의 픽셀들 p의 미리 결정된 백분율은 예를 들어 이미지 I 내의 총 픽셀 수의 0.5%이다.

변조 모듈(30)에 의해 달성되는 제1 확장 지수 값 E(p₁)의 계산이 이하에 설명 될 것이다. 요소 "p₁"은 임계 휘도 값 TH₁을 갖는 이미지 I의 픽셀을 나타내며, 임계 휘도 값 TH₁은 이미지 픽셀들의 총 개수의 미리 결정된 백분율이 TH₁보다 높은 휘도 값들을 가질 것을 보장한다. 임계 휘도 값 TH₁은 바람직하게는 저역 통과 필터링된 휘도 값이다. 이 백분율에 대한 바람직한 값은 0.5%이다. 그러나, 휘도 임계 값 TH₁을 결정하기 위해, 이미지 픽셀들 p의 상이한 백분율이 사용될 수 있다. 도 5는 SDR 이미지 I의 정규화된, 휘도에 대한 히스토그램을 나타내며, 임계 휘도 값 TH₁을 보여준다. SDR 이미지 I에서, 휘도 값들의 범위는 0 내지 255로 구성된다. 따라서, 휘도 임계 TH₁은 이하의 관계에 따라 결정된다:

여기서, bin(k)는 휘도 값 k(바람직하게는, 저역 통과 필터링된 휘도 값)를 갖는 이미지 I의 픽셀들의 수를 나타내고;

N_p는 이미지 I 내의 픽셀들의 총 수를 나타낸다.

제1 확장 지수 값 E(p₁)은 이하의 수학식에 따라 계산된다:

추가로, 변조 모듈(30)은 픽셀 p₁에 대한 참조 감쇠 또는 정정 값 M_bright(p₁)을 계산하며, 이는 이하의 수학식에 따라 휘도 값 TH₁에 대한 것을 의미한다:

여기서, γ=6이다.

즉, M_brigth(p₁)는 제1 휘도 임계 값 TH₁의 정규화된 값에 대한 고정된 지수 파라미터 γ를 이용한 누승의 결과를 나타낸다.

변조 모듈(30)에 의해 달성되는 제2 확장 지수 값 E(p₂)의 계산이 이제 설명될 것이다. 요소 "p₂"는 임계 휘도 값 TH₂를 갖는 이미지 I의 픽셀을 나타낸다. 이러한 임계 값 TH₂는 미리 결정된 확장 맵 E(p)를 통한 확장된 휘도의 목표 최댓값인 설정될 출력 휘도 Y_expTarget과 일치하는 이미지 I 내의 픽셀 p₂의 입력 휘도의 값이다. 확장된 휘도 Y_expTarget의 이러한 목표 최댓값은 HDR 디스플레이에 의해 고정된 최대 휘도에 의존한다(여기서는 1000). 본 실시예에서, 목표 확장된 휘도 Y_expTarget는 HDR 디스플레이의 최대 휘도보다 약간 작고, 예를 들어 900이다. 도 6은 임계 휘도 값 TH₂, 및 TH₂에 일치하는 목표 확장된 휘도 Y_expTarget에 의해 확장의 출력으로서 정의되는, 미리 결정된 확장 맵 E(p) 상의 점을 나타낸다. 제2 확장 지수 값 E(p₂)는 이하의 수학식에 따라, 확장된 휘도의 상기 목표 최댓값의 로그를 상기 제2 휘도 임계 값 TH₂의 로그로 나눔으로써 계산된다:

이러한 확장 지수 값 E(p₂)는 휘도 값 TH₁을 갖는 픽셀 p₁과 같이, 높은 휘도 값들을 갖는 이미지 픽셀들의 확장 지수 값들의 정정 또는 감쇠 후에 목표로 하는 확장 지수 값에 대응한다. E_bright(p₁)은 TH₁>TH₂일 때 아래 설명되는 바와 같다는 점에 유의해야 한다.

2개의 임계 휘도 값 TH₁ 및 TH₂의 결정 후에, 밝은 스폿 변조가 활성화되어야하는지의 여부를 결정하기 위해 테스트 하위단계가 수행된다. 테스트는 2개의 임계 휘도 값 TH₁과 TH₂를 비교하고, TH₁이 TH₂보다 우수한 조건이 만족되는지의 여부를 결정하는 데에 있다. 조건 TH₁>TH₂가 만족되는 경우, 밝은 스폿 변조가 달성된다. 그렇지 않으면, 밝은 스폿 변조는 실행되지 않는다.

다음으로, p_brigth 계산 하위단계(S21)에서, p_bright의 값은 이하의 수학식에 따라 값들 E(p₁), E(p₂) 및 M_brigth(p₁)를 사용하여 계산된다:

이미지 I 및 미리 결정된 확장 맵 E(p)에 대해, 참조 변조 맵 또는 함수 M_brigth(p) 및 가중 계수 p_brigth의 계산 후, E_bright(p) 계산 하위단계(E23)에서, 정정된 확장 지수 맵 E_bright(p)는 수학식 2의

에 따라 계산된다.

고주파수 추출 모듈(40)을 사용하여, 본 실시예의 제3 단계(S3)에서, 원본 이미지 I 내의 휘도 값들의 높은 공간 주파수들이 추출되어, 그것의 휘도 값 Y(p)을 갖는 이미지 I의 각각의 픽셀 p에 대한 픽셀 휘도 향상 값 Y_enhance(p)을 획득한다. 이 단계는 예를 들어 WO 2015/096955에 설명된 바와 같이 수행된다.

역 톤 매핑 모듈(50)을 사용하여, 본 실시예의 제4 단계(S4)에서, 이미지 I의 각각의 픽셀 p의 휘도 Y(p)는 제2 단계(S2)로부터 이러한 픽셀 p에 대해 획득된 정정된 확장 지수 값 E_bright(p)의 거듭제곱에서의 이러한 픽셀 p의 휘도, 및 제3 단계(S3)로부터 이러한 픽셀 p에 대해 획득된 지수 파라미터 c의 거듭제곱에서의 픽셀 휘도 향상 값 Y_enhance(p)의 곱을 통해 획득된 확장된 휘도 Y_exp(p)로 역 톤 매핑되거나 변환되고, 여기서 c는 1 이상이다. 이는 원본 이미지 I의 픽셀 p에 대한 확장된 휘도 Y_exp(p)가 이하의 수학식에 따라 계산됨을 의미한다:

지수 파라미터 c는 픽셀 휘도 향상 값에 의해 야기되는 세부 향상의 양을 제어한다. 따라서, 더 큰 c의 값들은 이미지 에지들의 대비를 점진적으로 증가시킨다. c=1.5의 값이 바람직하게 사용된다.

따라서, 원본 이미지 I의 모든 픽셀 p에 대한 확장된 휘도 값 Y_exp(p)은 감쇠된 확장 맵 E_bright(p)을 사용하여 계산된다. 후자의 맵은, 특히 이미지 I에 적응되고 이미지 I의 밝은 영역들에서 불량한 그레이딩을 피하도록 추가로 정정된 미리 결정된 확장 맵에 기초한다. 따라서, HDR 이미지 I'이 생성되고, HDR 디스플레이 디바이스 상에 디스플레이될 수 있다.

장점들

한편, 도 3b는 제1 단계(S1)에서 획득된 미리 결정된 확장 맵 E(p)를 나타낸다. 보다 정확하게는, 이미지 픽셀들 p의 입력 휘도 값들(즉, 저역 통과 필터링된 휘도 Y_base(p))은 가로 좌표에 표시되고, 이미지 픽셀들 p의 미리 결정된 확장 지수 값들 E(p)는 세로 좌표에 표시된다. 도 3a는 세로 좌표 상의 이미지 픽셀들 p의 확장된 휘도 값들, 및 가로 좌표 상의 이미지 픽셀들의 입력 휘도 값들(즉, 픽셀들 p의 저역 통과 필터링된 휘도 Y_base(p))을 나타내고, 이 경우, 미리 결정된 확장 맵 E(p)는 휘도 확장을 (이 확장의 정정 또는 감쇠 없이) 달성하기 위해 사용된다.

한편, 도 4b는 제3 단계(S3)에서 획득된 정정된 확장 맵 E_bright(p)를 나타낸다. 보다 정확하게는, 이미지 픽셀들 p의 입력 휘도 값들(즉, 저역 통과 필터링된 휘도 Y_base(p))은 가로 좌표 상에 표시되고, 이미지 픽셀들 p의 정정된 확장 지수 값 E_bright(p)는 세로 좌표 상에 표시된다. 도 4a는 세로 좌표 상의 이미지 픽셀들 p의 확장된 휘도 값들 및 가로 좌표 상의 이미지 픽셀들의 입력 휘도 값들(즉, 픽셀들 p의 저역 통과 필터링된 휘도 Y_base(p))을 나타내고, 이 경우, 정정된 확장 맵 E_bright(p)는 휘도 확장을 달성하기 위해 사용된다.

HDR 디스플레이의 최대 휘도 값은 여기서 1000과 동일하므로, 도 3a는, 확장 동작이 이러한 픽셀들에 대해 디스플레이 디바이스의 최대 용량보다 높은 확장된 휘도 값들을 생성하기 때문에, 확장된 휘도 값이 디스플레이 디바이스의 최대 휘도 1000과 동일한 고정된 값으로 감소되는 픽셀들 p에 대응하는 클립된 영역 CA를 보여준다.

반대로, 도 4a는 디스플레이 디바이스의 최대 휘도 용량보다 높은 확장된 휘도 값들의 생성을 피하는 정정된 확장 맵을 도시한다.

본 발명의 방법은 처리 디바이스의 저장 용량을 증가시킬 필요없이, 이미지 I에 대해, 이미지 I에 완전히 적응되는 역 톤 매핑을 이미지 I에서 자동으로 그리고 가능하게는 온-더-플라이로 실행하도록 한다. 이미지 I의 매우 밝은 영역들은 클리핑되지 않는다. 그것들은 양호하게 그레이딩되고(지나치게 밝지 않음), 역 톤 매핑을 통해 주변과의 부드러운 전이가 유지된다.

Claims (15)

1. 이미지(I)의 적어도 일부의 역 톤 매핑(inverse tone mapping)을 위한 방법으로서,
   상기 이미지(I)에 대한 제1 확장 지수 맵(E(p))을 획득하는 단계(S1); 및
   상기 이미지(I)의 적어도 픽셀(p)에 대해, 상기 픽셀(p)의 휘도 값(Y(p))에 대해 상기 제1 확장 지수 맵(E(p))으로부터 결정된 확장 지수 값으로 누승(exponentiation)을 수행함으로써 확장된 휘도 값(Yexp(p))을 결정하는 단계(S4)
   를 포함하고, 상기 방법은:
   상기 이미지(I)의 상기 픽셀(p)에 대해, 상기 픽셀(p)의 휘도를 나타내는 값

   

   을 입력으로서 취하며 더 높은 입력 값들에 대해 더 높은 증가를 갖는 증가 함수인 변조 함수(M_bright(p))를 사용하여 확장 정정 값(p_bright ^. M_bright(p))을 획득하는 단계;
   제1 확장 지수 맵(E(p))의 확장 지수 값(E(p))으로부터 상기 확장 정정 값(p_bright ^. M_bright(p))을 감산함으로써 상기 픽셀에 대한 정정된 확장 지수 값을 획득하는 단계; 및
   상기 이미지(I)의 상기 픽셀(p)에 대해, 상기 픽셀(p)의 상기 휘도 값(Y(p))에 대해 상기 정정된 확장 지수 값으로 누승을 수행함으로써 확장된 휘도 값(Yexp(p))을 결정하는 단계(S4)
   를 더 포함하는, 방법.
2. 제1항에 있어서, 상기 변조 함수는 상기 입력 값

   

   에 대해 고정된 지수 파라미터(γ)로 누승을 달성하는, 방법.
3. 제1항 또는 제2항에 있어서, 상기 입력 값은 상기 이미지 픽셀(p)의 저역 통과 필터링된 휘도 값의 정규화된 값

   

   인, 방법.
4. 제2항 또는 제3항에 있어서, 상기 고정된 지수 파라미터(γ)는 3 이상, 바람직하게는 6인, 방법.
5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 확장 정정 값(p_bright ^. M_bright(p))은 고정된 지수 파라미터(γ)에 의한 누승(M_bright(p))으로부터 발생하는 참조 확장 정정 값에 가중 계수(p_bright)를 적용함으로써 결정되고, 상기 가중 계수(p_bright)는 상기 이미지(I) 및 상기 제1 확장 지수 맵(E(p))에 의존하는, 방법.
6. 제5항에 있어서, 상기 가중 계수는:
   제1 휘도 임계 값(TH₁) - 상기 제1 휘도 임계 값은 상기 이미지(I)의 픽셀들의 제1 백분율이 상기 제1 임계 휘도 값(TH₁)보다 높은 휘도 값들을 가질 것을 보장하는 휘도 값임 - ;
   상기 제1 확장 맵(E(p))을 사용하여, 확장된 휘도의 목표 최댓값으로 톤 매핑되는 상기 이미지(I)의 픽셀(p)의 휘도 값에 대응하는 제2 휘도 임계 값(TH₂)
   으로부터 계산되는, 방법.
7. 제6항에 있어서, 상기 가중 계수는:
   상기 제1 확장 지수 맵(E(p))을 통해 상기 이미지(I)의 상기 제1 휘도 임계 값(TH₁)에 할당되는 제1 확장 지수 값(E(p₁));
   상기 확장 지수 맵(E(p))을 통해 상기 제2 휘도 임계 값(TH₂)에 할당되는 제2 확장 지수 값(E(p₂)); 및
   상기 제1 휘도 임계 값(TH₁)의 정규화된 값에 대한 상기 고정된 지수 파라미터(γ)에 의한 누승으로부터 발생하는 참조 정정 값(M_brigth(p₁))
   을 사용하여 계산되는, 방법.
8. 제7항에 있어서, 상기 가중 계수 p_bright는 이하의 수학식:
   

   

   
   을 사용하여 계산되고,
   E(p₁)은 제1 확장 지수 값을 나타내고,
   E(p₂)는 제2 확장 지수 값을 나타내고;
   M_brigth(p₁)은 제1 휘도 임계 값(TH₁)의 정규화된 값에 대한 상기 고정된 지수 파라미터(γ)에 의한 누승으로부터 발생하는 참조 감쇠 값을 나타내는, 방법.
9. 제2항 내지 제8항 중 어느 한 항에 있어서, 상기 변조 함수는 수학식

   

   을 계산함으로써, 저역 통과 필터링된 휘도 값 Y_base(p)를 갖는 이미지 픽셀 p에 참조 감쇠 값 M_bright(p)를 할당하고, γ는 상기 고정된 지수 파라미터인, 방법.
10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 제2 확장 지수 값(E(p₂))은 확장된 휘도의 상기 목표 최댓값의 로그(logarithm)를 상기 제2 휘도 임계 값(TH₂)의 로그로 나눔으로써 계산되는, 방법.
11. 제6항 내지 제11항 중 어느 한 항에 있어서, 상기 제1 휘도 임계 값(TH₁)과 상기 제2 휘도 임계 값(TH₂)을 비교하는 단계를 포함하고, 상기 제1 휘도 임계 값(TH₁)이 상기 제2 휘도 임계 값(TH₂)보다 우수한 조건이 만족되는 경우에만 정정이 실행되는, 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 제1 확장 지수 맵(E(p))은 관계에 의해 정의되는 2차 함수:
    

    

    
    를 사용하여 이미지 픽셀들 p의 저역 통과 필터링된 휘도 값들 Y_base(p)로부터 생성되고, a, b 및 c는 상기 2차 함수의 파라미터들인, 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 이미지(I)에 대한 확장 지수 맵(E(p))을 획득하는 단계는:
    상기 이미지(I)의 휘도를 나타내는, 상기 이미지(I)에 대한 시각적 특징(HL_I)을 획득하는 단계;
    상기 이미지(I)의 상기 시각적 특징(HL_I)과, 거리 기준에 따른 적어도 2개의 참조 이미지 클러스터의 시각적 특징들(HL_i)을 비교하는 단계 - 클러스터의 시각적 특징은 해당 클러스터의 참조 이미지들의 휘도를 나타냄- ;
    상기 이미지(I)에 대해, 상기 이미지(I)의 시각적 특징에 가장 가까운 클러스터의 시각적 특징에 관련된 확장 지수 맵(E_j(p))을 선택하는 단계
    를 포함하는, 방법.
14. 제13항에 있어서, 상기 이미지의 시각적 특징은 상기 이미지(I)의 픽셀들의 휘도에 대한 히스토그램(histogram on luminance)(HL_I)을 포함하는, 방법.
15. 이미지 처리 디바이스로서,
    이미지를 역 톤 매핑하기 위해 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하기 위한 수단을 포함하는 이미지 처리 디바이스.

Images