KR102646720B1 - 비디오 컨텐츠의 컬러들의 톤 매핑 - Google Patents

Abstract

톤 매핑 함수에 의한 이미지의 프로세싱을 위해, 기준 톤 매핑 함수들의 기준 컬렉션 중에서 톤 매핑 함수를 선택하고, 선택된 톤 매핑 함수를 이 이미지의 컬러들에 적용하는 것이 알려져 있다. 이 방법을 비디오 컨텐츠의 이미지들에 적용할 때, 이미지에 대한 이러한 선택 후에, 비디오 컨텐츠의 다음 이미지들에 대해 이 선택의 검증 단계를 추가하는 것이 제안된다. 장점: 비디오 컨텐츠 내 톤 매핑 함수의 너무 빈번한 변경들을 방지하고, 시각화하는 동안 일시적인 불안정성들 및 시각적 불편함을 감소시킨다.

Description

비디오 컨텐츠의 컬러들의 톤 매핑

본 발명은 이미지들의 톤들 또는 컬러들의 매핑에 관한 것이다. 톤 매핑은 컬러 범위를 압축하는 톤 매핑(tone-mapping) 및 컬러 범위를 확장하는 톤 매핑(일반적으로 "역 톤 매핑(inverse tone-mapping)"이라고 함)을 포함하는 일반적인 용어로 이해된다.

문헌 EP3249606은, 이미지 프로세싱을 위해, 역 톤 매핑(inverse Tone Mapping)(iTM) 알고리즘을 기준 iTM 알고리즘들의 기준 컬렉션 중에서 선택하고, 특히, 이 이미지의 컬러들에 선택된 ITM 알고리즘을 적용하여, 특히, 이 이미지를 HDR 포맷으로 변환하는 것을 개시한다. 이 방법에 따르면, 기준 iTM 알고리즘들의 컬렉션이 구축된다. 이 컬렉션의 임의의 기준 iTM 알고리즘은 연관된 기준 이미지들의 컬러 컨텐츠에 최적화되는 iTM 알고리즘이다. 이 방법에 따르면, 이 기준 iTM 알고리즘과 연관된 기준 이미지(들)의 컬러 컨텐츠에 기초하여 각각의 기준 iTM 알고리즘과 시각적 피처(visual feature)가 연관된다. 도 1에 예시된 이 방법에 따르면, 프로세싱할 이미지 IM_M의 시각적 피처 VF_M이 계산되고, iTM 알고리즘 TMf_M의 선택은 이 선택된 iTM 알고리즘과 연관된 시각적 피처가 (컬렉션의 다른 기준 iTM 알고리즘들과 연관된 시각적 피처들 중에서) 프로세싱할 이미지의 시각적 피처에 가장 가깝도록 수행된다. 그 후, 선택된 iTM 알고리즘 TMf_M이 프로세싱할 이미지 IM_M에 적용되어("톤 매핑" 동작), 프로세싱된 이미지 TM_MIM_M이 생성된다. SPIE Vol. 8652 Proc.에서 2013년에 공개된 Seul Ki Jang 등에 의한 "Content Dependent Contrast Enhancement for Displays based on Cumulative Distribution Function"이라는 제목의 글도 참조하도록 한다.

이러한 이미지 프로세싱 방법을 비디오 컨텐츠의 이미지들에 적용할 때, 비디오 컨텐츠는 샷들로 절단되어, 각각의 샷 내에서, 동일한 선택된 iTM 알고리즘을 샷의 각각의 이미지에 적용할 수 있을 만큼 컬러 컨텐츠가 충분히 균질하도록 한다.

시각화 동안 일시적인 불안정성들 및 시각적 불편함을 유발할 비디오 샷 내 iTM 알고리즘의 너무 빈번한 변경들을 방지하기 위해, 샷의 이미지에 대한 기준 iTM을 선택한 후, 이 샷의 다음 이미지들에 대해 이 선택의 검증 단계를 추가하는 것이 제안된다.

바람직하게는, iTM 알고리즘의 임의의 변경이 검증되자마자 이를 점진적으로 적용하는 것도 제안된다.

문헌 US9406112는 톤 매핑(Tone Mapping)(TM) 함수를 이전 TM 함수와 새로운 TM 함수 사이의 차이가 충분히 클 때에만 변경하는 것을 개시한다. WO2016192937은 이전 프레임들에 적용된 이전 TM 곡선들의 전체 이력을 고려하여 현재 프레임에 적용할 새로운 TM 곡선을 파라미터화한다. US20170070719에서, 톤 매핑 시스템은 이전 톤 곡선 파라미터 값들의 평균을 사용할 수 있다.

보다 정확하게는, 본 개시내용의 제1 양태는 톤 매핑 함수(tone mapping function)에 따라 비디오 컨텐츠의 이미지들을 톤 또는 컬러 매핑하기 위한 방법으로서, 비디오 컨텐츠의 복수의 연속 이미지들 상에서, 복수의 연속 이미지들 중 적어도 하나의 이미지에 대해, 톤 매핑 함수들의 기준 컬렉션에서 상기 적어도 하나의 이미지로부터 결정된 시각적 피처에 따라 기준 톤 매핑 함수를 선택하는 단계; 선택된 기준 톤 매핑 함수가 복수의 연속 이미지들 중 이전 이미지에 대해 이전에 선택된 톤 매핑 함수와 상이할 때, 검증 단계에 따라 기준 톤 매핑 함수를 결정하는 단계; 및 결정된 기준 톤 매핑 함수를 상기 적어도 하나의 이미지에 적용하여 대응하는 톤 매핑된 이미지를 생성하는 단계를 반복하는 단계를 포함하고, 기준 컬렉션은 기준 시각적 피처들과 연관된 기준 톤 매핑 함수들을 포함하는 방법에 관한 것이다.

제1 양태의 변형들에서, 검증 단계는 복수의 연속 이미지들을 사용하고, 가장 빈번한 연속 이미지들에 대해 결정된 기준 톤 매핑 함수를 선택하거나, 또는 동일한 기준 톤 매핑 함수의 연속적인 선택들의 수에 따라 기준 톤 매핑 함수를 선택하거나, 또는 다른 기준 톤 매핑 함수들에 비해 발생이 증가하는 기준 톤 매핑 함수를 선택한다.

제1 양태의 추가 변형에서, 기준 톤 매핑 함수를 선택하는 단계는 이미지의 시각적 피처와 이 선택된 기준 톤 매핑 함수와 연관된 기준 시각적 피처 사이의 최소 거리에 기초한 선택 기준에 따라 수행된다. 제1 양태의 추가 변형에서, 제1 기준 톤 매핑 함수와 제2 기준 톤 매핑 함수 사이의 트랜지션(transition)은 두 함수 사이의 가중치들을 변화시킴으로써 복수의 이미지들에 대해 점진적으로 수행되고, 제1 함수의 가중치는 트랜지션 동안 감소하고, 제2 함수의 가중치는 트랜지션 동안 증가한다. 제1 양태의 추가 변형에서, 비디오의 제1 이미지에 대해, 선택된 기준 톤 매핑 함수는 임의의 검증 단계를 필요로 하지 않고, 비디오의 제1 이미지에 적용된다.

본 개시내용의 제2 양태는 톤 매핑 함수에 따라 비디오 컨텐츠의 이미지들을 톤 또는 컬러 매핑하기 위한 디바이스로서, 상기 방법을 구현하도록 구성되는 적어도 하나의 프로세서를 포함하는 디바이스에 관한 것이다. 바람직하게는, 이 디바이스는 모바일 디바이스, 통신 디바이스, 게임 디바이스, 태블릿, 랩톱, 카메라, 칩, 서버, TV 세트 및 셋톱 박스로 구성되는 그룹에서 선택된다.

본 개시내용의 제3 양태는, 프로세서에 의해 실행될 때, 상기 방법을 수행하는 저장된 명령어들을 포함하는 계산 가능한 판독 가능 저장 매체에 관한 것이다.

본 발명은 비-제한적인 예로서 첨부된 도면들을 참조하여 주어지는 다음 설명을 읽으면 더 명확하게 이해될 것이다.
도 1은 EP3249606에 설명된 역 톤 매핑 방법의 흐름도이다.
도 2는 본 발명에 따른 톤 매핑 방법의 실시예의 흐름도이다.

도면들에 도시된 다양한 엘리먼트들의 기능들은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. "프로세서"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 지칭하는 것으로 해석되어서는 안되며, 디지털 신호 프로세서(digital signal processor)("DSP") 하드웨어, 소프트웨어 저장을 위한 판독 전용 메모리(read-only memory)("ROM"), 랜덤 액세스 메모리(random access memory)("RAM"), 및 비-휘발성 스토리지를 암시적으로 포함할 수 있지만, 이에 제한되지 않는다.

도면들에 도시된 임의의 스위치들은 개념적일 뿐이다. 이들의 기능은 프로그램 로직의 동작, 전용 로직, 프로그램 제어와 전용 로직의 상호 작용을 통해, 또는 심지어 수동으로, 문맥으로부터 보다 구체적으로 이해되는 바와 같이 구현자에 의해 선택 가능한 특정 기술로 수행될 수 있다.

이미지 프로세싱 방법은 다양한 형태들의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들 또는 이들의 조합들로 구현될 수 있다는 것이 이해되어야 한다. 이 방법은 특히 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 유형적으로 구체화되는 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 컴퓨팅 머신에 업로드되고, 이에 의해 실행될 수 있다. 바람직하게는, 머신은 하나 이상의 중앙 프로세싱 유닛(central processing units)("CPU"), 랜덤 액세스 메모리(random access memory)("RAM") 및 입/출력(input/output)("I/O") 인터페이스들과 같은 하드웨어를 갖는 장치 상에서 구현된다. 장치는 또한 운영 체제 및 마이크로명령어 코드를 포함할 수 있다. 본 명세서에 설명된 다양한 프로세스들 및 함수들은 CPU에 의해 실행될 수 있는 마이크로명령어 코드의 일부 또는 애플리케이션 프로그램의 일부 또는 이들의 임의의 조합일 수 있다. 또한, 실제 또는 가상 키보드, 디스플레이 디바이스 및 추가 데이터 저장 유닛과 같은 다양한 다른 주변 유닛들이 장치에 연결될 수 있다.

전체적으로, 이 장치는 특히 모바일 디바이스(예를 들어, 스마트폰), 통신 디바이스, 게임 디바이스, 태블릿(또는 태블릿 컴퓨터), 랩톱, TV 세트, 셋톱 박스, 카메라, 인코딩 칩 또는 서버(예를 들어, 브로드캐스트 서버, 주문형 비디오 서버(video-on-demand server) 또는 웹 서버)일 수 있다.

이제, 이미지 프로세싱 방법의 주요 실시예가 이 방법을 구현하기 위해 그 자체로 알려진 방식으로 구성되는 적어도 하나의 프로세서 및 적어도 하나의 메모리를 갖는 위에서 설명된 장치를 사용하여 설명될 것이다.

메모리는 기준 톤 매핑 알고리즘들의 기준 컬렉션 및 연관된 시각적 피처들을 저장한다. 톤 매핑은 컬러 범위를 압축하는 톤 매핑 및 컬러 범위를 확장하는 톤 매핑(일반적으로 "역 톤 매핑"이라고 함)을 포함하는 일반적인 용어이다. 이 기준 컬렉션은, 예를 들어, 다음과 같이 EP3249606에 개시된 대로 구축된다.

- 상이한 시각적 피처들을 갖는 이미지들이 이들 각각에 대해 최적화된 톤 매핑 함수에 의해 수집되고, "함수"라는 용어는 일반적이며 "알고리즘", "룩-업-테이블"(Look-Up-Table")(LUT) 또는 "곡선"과 같은 임의의 등가의 용어들을 포함하고, 톤 매핑 함수는 톤 매핑할 이미지의 픽셀의 적어도 휘도 또는 밝기의 함수이고, 톤 매핑 함수는 특히 문헌 EP3087730에 설명된 바와 같이 휘도의 지수 함수이며, 여기서 이 함수에 사용되는 지수 값들은 이미지의 각각의 픽셀에 대해 계산되고, 톤 매핑 함수는, 예를 들어, 전용의 공지된 툴들을 사용하여 컬러 리스트들에 의해 이미지에 대해 최적화된다. 이미지의 시각적 피처는, 예를 들어, 이 이미지의 컬러들의 휘도 값들의 분포를 특징으로 하며, 예를 들어, 휘도 값들의 히스토그램에 의해 표현된다. 예를 들어, MPEG7 표준에 인용된 바와 같은 도미넌트 컬러 디스크립터(Dominant Color Descriptor) 또는 컬러 구조 디스크립터(Color Structure Descriptor)와 같은 다른 시각적 피처들이 대신 사용될 수 있다. 바람직하게는, 시각적 피처는 휘도에 의존하도록 정의된다.

- 그런 다음, 가깝게 최적화된 톤 매핑 함수들을 갖는 이미지들이 클러스터링되어 임의의 주어진 클러스터의 기준 이미지들이 거리 기준에 따라 함께 가까운 톤 매핑 함수들을 갖도록 하고, 그 후, 임의의 클러스터의 가깝게 최적화된 톤 매핑 함수들이 이 클러스터와 연관된 하나의 기준 톤 매핑 함수로 평균화되고, 그 후, 임의의 클러스터의 이미지들의 시각적 피처들이 이 클러스터와 연관된 하나의 기준 시각적 피처로 평균화된다. 예를 들어, 시각적 피처가 휘도 히스토그램에 기초하는 경우, 평균 히스토그램이 기준 시각적 피처로서 계산된다. 이는 각각의 기준 톤 매핑 함수가 동일한 클러스터의 기준 시각적 피처와 연관됨을 의미한다. 변형으로서, 클러스터링은 가까운 시각적 피처들에 기초할 수 있다.

이러한 기준 톤 매핑 함수들의 컬렉션 및 연관된 기준 시각적 피처들을 구축하는 것은 다음을 포함하는 예비 트레이닝 페이즈 동안 "오프-라인"으로 - 동일한 플랫폼 또는 다른 플랫폼에서 - 수행될 수 있다.

- 상이한 시각적 피처들을 갖는 이미지들 수집,

- 각각의 이미지에 최적화된 톤 매핑 함수 생성,

- 최적화된 톤 매핑 함수들을 위에서 설명된 바와 같은 그들의 연관된 시각적 피처들로 클러스터링.

이제, 이미지 프로세싱 방법이 비디오 컨텐츠의 톤 매핑 컬러들에 대해 도 2를 참조하여 설명될 것이다.

메모리는 바람직하게는 버퍼에서 톤 매핑될 비디오 컨텐츠의 이미지들을 수신한다.

컨텐츠의 제1 이미지에 대해, 기준 톤 매핑 함수들의 기준 컬렉션에서, 이 선택된 기준 톤 매핑 함수와 연관된 기준 시각적 피처와 이 제1 이미지의 시각적 피처 사이의 최소 거리에 기초한 선택 기준에 따라 기준 톤 매핑 함수가 선택된다. 예를 들어, 컬렉션의 각각의 기준 시각적 피처와 제1 이미지의 시각적 피처 사이의 거리가 계산된다. 시각적 피처가 위에서 설명된 휘도 값들의 히스토그램일 때, 최단 계산 거리는 제1 이미지 내의 휘도 값들의 분포가 컬렉션의 휘도 값들의 기준 분포에 가깝다는 것을 나타내며, 이 가까운 휘도 값들의 기준 분포와 연관된 기준 톤 매핑 함수가 선택된다. 그 후, 선택된 기준 톤 매핑-함수가 제1 이미지에 적용되어, 대응하는 톤 매핑된 제1 이미지를 생성한다.

다음 이미지에 대해 선택된 기준 톤 매핑 함수가 이전 이미지에 대해 선택된 기준 톤 매핑 함수와 동일한 경우, 선택된 기준 톤 매핑 함수의 적용은, 컨텐츠의 이미지마다, 즉, 이전 이미지로부터 다음 이미지로 반복된다.

다음 이미지 IM_N에 대해 선택된 기준 톤 매핑 함수 TMf_N이 이전 이미지 IM_P에 대해 선택된 기준 톤 매핑 함수 TMf_P와 상이하자마자(이 상황은 도 2에서 마름모의 "≠" 기호로 표현됨), i+1개의 이미지 IM_N, IM_{N + 1}, ..., IM_k, ..., IM_{N +i}의 소위 말하는 현재 검증 시퀀스가 형성된다.

그런 다음, 컨텐츠의 i+1개의 이미지 IM_N, IM_{N + 1}, ..., IM_k, ..., IM_{N +i}에 대해 다음과 같이 검증 단계가 시작된다. 톤 매핑 함수의 변경 또는 비-변경을 검증하는 데 사용되는 이미지들의 수 i+1은 2보다 많다. 예를 들어, 프레임 레이트가 25이미지/초인 경우, i+1=5이다.

이 검증 단계는 톤 매핑-함수를 변경하기로 또는 톤 매핑-함수를 변경하지 않기로 결정하고, 변경이 결정된 경우, 시퀀스의 이미지들에 적용될 "올바른" 새로운 기준 톤 매핑 함수를 검증하는 것을 목표로 하며, 임의적으로는 그 사이에 트랜지션 단계를 갖는다(아래 참조).

검증 단계 자체에 앞서, 위와 동일한 선택 기준에 기초하여, 현재 검증 시퀀스의 마지막 i개의 이미지들 IM_{N + 1}, ..., IM_k, ..., IM_{N +i} 각각에 대해 기준 톤 매핑 함수들의 컬렉션에서 기준 톤 매핑 함수 TMf_{N + 1}, ..., TMf_k, ..., TMf_{N +i}가 선택된다.

현재 검증 시퀀스의 모든 이미지들에 대해 모든 기준 톤 매핑 함수들 TMf_N, TMf_N+1, TMf_{N +2}, TMf_{N +3}, TMf_{N +4}, TMf_{N +5}, ..., TMf_{k -1}, TMf_k, TMf_{k + 1}, ..., TMf_{N +i}가 선택되면, 검증 기준에 따라, 바람직하게는 이러한 선택된 톤 매핑 함수들의 분포에 기초하여 검증 단계가 수행된다.

예를 들어, i=9 및 k=N+7이라고 가정하면, 10개의 기준 톤 매핑 함수가 TMf_N, TMf_{N +1}, TMf_{N +2}, TMf_{N +3}, TMf_{N +4}, TMf_{N +5}, TMf_{k -1}, TMf_k, TMf_{k +1}, TMf_{N +i}와 같이 열거된다.

예를 들어, 이 목록에는, P1 및 P2라는 두 가지 상이한 기준 톤 매핑 함수만 있고, 분포가 TMf_N=P2, TMf_{N +1}=P1, TMf_{N +2}=P1, TMf_{N +3}=P2, TMf_{N +4}=P2, TMf_{N +5}=P2, TMf_{k -1}=P1, TMf_k=P2, TMf_k+1=P2, TMf_N+i=P2와 같다고 가정하도록 한다.

이 상황(분포=P2P1P1P2P2P2P1P2P2P2)에서, 두 가지 상이한 기준 톤 매핑 함수 P1 및 P2는 2개의 빈을 통해 분포되며, P1에 대한 제1 빈은 3의 값을 갖고, P2에 대한 제2 빈은 7의 값을 갖는다.

검증 기준은, 예를 들어, 분포에서 가장 많이 채워진 빈을 갖는 기준 톤 매핑 함수가 검증되는 것과 같이 정의되며, 여기서 P2는 특히 TMf_k에 대응한다.

제1 변형으로서, 검증 기준은 검증 시퀀스의 상이한 이미지들 내에서 동일한 기준 톤 매핑 함수의 연속적인 선택의 최소값에 기초한다. 예를 들어, 위와 같은 10개 이미지(i=9)의 동일한 검증 시퀀스 내에서, 이 최소값은 4의 값으로 고정되어, 이전 이미지 IM_P에 대해 선택된 동일한 기준 톤 매핑 함수 TMf_P의 검증으로 이어질 수 있는데(이 상황은 도 2에서 마름모의 "≠" 기호로 표현됨), 왜냐하면 이 시퀀스 내에는 P2의 4개의 연속적인 선택이 없기 때문이다.

제2 변형으로서, 검증 기준은 검증 시퀀스의 상이한 이미지들에 대한 선택된 기준 톤 매핑 함수들의 분포의 검증 패턴에 따라 정의된다. 예를 들어, 검증 시퀀스를 형성하는 20개의 이미지에 대한 상이한 선택된 기준 톤 매핑 함수 P1 및 P2의 분포가 P1P1P1P2P2P1P1P1P2P2P2P1P1P1P2P2P2P2P1P1인 경우, 이미지들에 대한 P2의 분포 패턴이 동일한 이미지들에 대한 P1의 것과 비교하여 P2의 증가하는 가중치를 나타내기 때문에, 11의 값을 갖는 P1에 대한 제1 빈이 9의 값을 갖는 P2에 대한 제2 빈보다 많더라도, P2가 검증될 것이다.

현재 검증 시퀀스에 대해 선택된 기준 톤 매핑 함수들 중 적어도 하나가 이전 검증 시퀀스에 대해 검증된 하나의 TMf_M과 동일할 수 있으며, 즉, 예를 들어, TMf_M=P1이다. 이 기준 톤 매핑 함수가 검증된 경우(P1이 분포에서 가장 많이 채워짐), 현재 검증 시퀀스의 이미지들에 적용된 톤 매핑 함수는 이전 현재 검증의 이미지들에 적용된 기준 톤 매핑 함수와 동일하게 유지된다.

현재 반복의 마지막 단계는 현재 검증 시퀀스의 이미지들에 검증된 기준 톤 매핑 함수를 적용하여, 다음과 같은 톤 매핑된 이미지들 TM_kIM_N, TM_kIM_{N + 1}, ..., TM_kIM_k, ..., TM_kIM_N+i를 생성하는 것이다.

그런 다음, 이미지에 대한 기준 톤 매핑 함수의 상기 선택과 이 이미지에 대한 그 적용은, 이들 다음의 이미지들 중 하나에 대해 선택된 기준 톤 매핑 함수가 이전 이미지에 대해 선택된 기준 톤 매핑 함수와 다시 상이할 때까지, 검증 시퀀스의 마지막 이미지 IM_{N +i}의 다음 이미지들에 대해 반복되고, 다른 검증 시퀀스의 각각의 이미지에 대해 위와 같이 다시 새로운 선택이 수행되고, 이 다른 검증 시퀀스의 이미지들에 적용되는 이 다른 검증 시퀀스에 대해 다른 기준 톤 매핑 함수의 다른 검증이 상기와 같이 수행된다.

이러한 반복들은 비디오 컨텐츠가 끝날 때까지 수행되어, 톤 매핑된 비디오 컨텐츠를 생성한다.

컨텐츠의 여러 연속 이미지들에 대한 선택을 검증한 후에만 톤 매핑 함수들을 변경하는 것으로 인해, 이러한 비디오 컨텐츠 내에서 톤 매핑 함수들의 너무 빈번한 변경들이 방지되고, 시각화 동안 일시적인 불안정성들 및 시각적 불편함이 방지된다.

바람직한 변형에서, 현재 검증 시퀀스에 대해 검증되는 기준 톤 매핑 함수 P2가 이전 검증 시퀀스에 대해 검증된 기준 톤 매핑 함수 P1과 상이할 때에는, P1으로부터 P2로의 톤 매핑 함수의 점진적인 변경이 구현된다.

톤 매핑 함수의 이러한 점진적인 변경은 트랜지션 시퀀스의 이미지들에 적용된다.

트랜지션 시퀀스의 이미지들의 수는, 예를 들어, 고정된 수로서 정의될 수도 있고, 또는 메타 데이터에 의해 획득될 수도 있고, 또는 현재 검증 시퀀스에 대해 검증되는 기준 톤 매핑 함수 P2와 이전 검증 시퀀스에 대해 검증된 기준 톤 매핑 함수 P1 사이의 차이의 균일한 비-감소 함수(non-decreasing function)일 수도 있으며, 트랜지션 시퀀스의 최대 이미지들의 수는 현재 검증 시퀀스의 이미지들의 수 i이다.

트랜지션 시퀀스에서, 이미지들의 수 j가 획득되며, j<i라고 가정된다. 현재 검증 시퀀스에 대해 검증되는 기준 톤 매핑 함수 P2를 현재 검증 시퀀스의 j개의 제1 이미지 각각에 적용하는 대신, 바람직하게는 공식 에 따라, 트랜지션 톤 매핑 함수 TMTR_t가 2개의 검증된 기준 톤 매핑 함수 P1과 P2 사이의 보간에 의해 획득되는 이러한 j개의 이미지의 각각의 IM_t에 적용되며, 여기서 t는 트랜지션 시퀀스에서 이 이미지 IM_t의 정렬 번호(ordering number)이다. 트랜지션 시퀀스의 이미지들을 따라, 새로이 검증되는 기준 톤 매핑 함수 P2의 가중치가 점진적으로 증가되고, 이전에 검증된 기준 톤 매핑 함수 P1의 가중치가 이러한 이미지들에 적용된 트랜지션 톤 매핑 함수들 TMTR_t에서 점진적으로 감소되며, t는 1에서 j로 변화한다.

본 발명의 예시적인 실시예들이 첨부된 도면들을 참조하여 본 명세서에서 설명되었지만, 본 발명은 해당 정확한 실시예들에 제한되지 않으며, 본 발명으로부터 벗어나지 않고, 본 기술분야의 통상의 기술자에 의해 다양한 변경들 및 수정들이 이루어질 수 있다는 것이 이해되어야 한다. 모든 이러한 변경들 및 수정들은 첨부된 청구 범위에 기재된 본 발명의 범위 내에 포함되도록 의도된다. 따라서, 청구된 본 발명은 본 기술분야의 통상의 기술자에게 명백한 바와 같이, 본 명세서에 설명된 특정 예들 및 바람직한 실시예들로부터의 변형들을 포함한다.

특정 실시예들 중 일부가 개별적으로 설명되고 청구될 수 있지만, 본 명세서에 설명되고 청구된 실시예들의 다양한 피처들이 조합되어 사용될 수 있다는 것이 이해되어야 한다. 청구 범위에 나타나는 참조 번호들은 단지 예시를 위한 것이며, 청구 범위의 범위에 제한적인 영향을 미치지 않을 것이다.

Claims (16)

1. 톤 매핑 함수(tone mapping function)에 따라 비디오 컨텐츠의 이미지들을 톤 또는 컬러 매핑하기 위한 방법으로서,
   - 상기 비디오 컨텐츠의 복수의 연속 이미지들 상에서, 상기 복수의 연속 이미지들 중 적어도 하나의 이미지에 대해,
   - 톤 매핑 함수들의 기준 컬렉션에서 상기 적어도 하나의 이미지로부터 결정된 시각적 피처(visual feature)에 따라 기준 톤 매핑 함수를 선택하는 단계;
   - 상기 선택된 기준 톤 매핑 함수가 상기 복수의 연속 이미지들 중 이전 이미지에 대해 이전에 선택된 톤 매핑 함수와 상이할 때, 동일한 기준 톤 매핑 함수의 연속적인 선택들의 수에 기초하여 기준 톤 매핑 함수를 선택하는 단계; 및
   - 상기 결정된 기준 톤 매핑 함수를 상기 적어도 하나의 이미지에 적용하여 대응하는 톤 매핑된 이미지를 생성하는 단계
   를 반복하는 단계를 포함하고,
   상기 기준 컬렉션은 기준 시각적 피처들과 연관된 기준 톤 매핑 함수들을 포함하는 방법.
2. 제1항에 있어서, 기준 톤 매핑 함수를 선택하기 위해 필요한 상기 연속적인 선택들의 수는 4인 방법.
3. 제1항에 있어서, 기준 톤 매핑 함수를 선택하는 단계는 다른 기준 톤 매핑 함수들에 비해 증가하는 발생에 따라 수행되는 방법.
4. 제1항에 있어서, 기준 톤 매핑 함수를 선택하는 단계는 상기 이미지의 시각적 피처와 이 선택된 기준 톤 매핑 함수와 연관된 기준 시각적 피처 사이의 최소 거리에 기초한 선택 기준에 따라 수행되는 방법.
5. 제1항에 있어서, 제1 기준 톤 매핑 함수와 제2 기준 톤 매핑 함수 사이의 트랜지션(transition)은 두 함수 사이의 가중치들을 변화시킴으로써 복수의 이미지들에 대해 점진적으로 수행되고, 상기 제1 함수의 가중치는 상기 트랜지션 동안 감소하고, 상기 제2 함수의 가중치는 상기 트랜지션 동안 증가하는 방법.
6. 제1항에 있어서, 상기 비디오의 제1 이미지에 대해, 상기 선택된 기준 톤 매핑 함수는 상기 비디오의 제1 이미지에 적용되는 방법.
7. 톤 매핑 함수에 따라 비디오 컨텐츠의 이미지들을 톤 또는 컬러 매핑하기 위한 디바이스로서,
   적어도 하나의 프로세서
   를 포함하고, 상기 적어도 하나의 프로세서는,
   상기 비디오 컨텐츠의 복수의 연속 이미지들 상에서, 상기 복수의 연속 이미지들 중 적어도 하나의 이미지에 대해,
   - 톤 매핑 함수들의 기준 컬렉션에서 상기 적어도 하나의 이미지로부터 결정된 시각적 피처에 따라 기준 톤 매핑 함수를 선택하는 것;
   - 상기 선택된 기준 톤 매핑 함수가 상기 복수의 연속 이미지들 중 이전 이미지에 대해 이전에 선택된 톤 매핑 함수와 상이할 때, 동일한 기준 톤 매핑 함수의 연속적인 선택들의 수에 기초하여 기준 톤 매핑 함수를 선택하는 것;
   - 상기 결정된 기준 톤 매핑 함수를 상기 적어도 하나의 이미지에 적용하여 대응하는 톤 매핑된 이미지를 생성하는 것
   을 반복하도록 구성되고,
   상기 기준 컬렉션은 기준 시각적 피처들과 연관된 기준 톤 매핑 함수들을 포함하는 디바이스.
8. 제7항에 있어서, 모바일 디바이스, 통신 디바이스, 게임 디바이스, 태블릿, 랩톱, 카메라, 칩, 서버, TV 세트 및 셋톱 박스로 구성되는 그룹에서 선택되는 디바이스.
9. 제7항에 있어서, 기준 톤 매핑 함수를 선택하기 위해 필요한 상기 연속적인 선택들의 수는 4인 디바이스.
10. 제7항에 있어서, 상기 기준 톤 매핑 함수를 선택하는 것은 다른 기준 톤 매핑 함수들에 비해 증가하는 발생에 따라 수행되는 디바이스.
11. 제7항에 있어서, 기준 톤 매핑 함수를 선택하는 것은 상기 이미지의 시각적 피처와 이 선택된 기준 톤 매핑 함수와 연관된 기준 시각적 피처 사이의 최소 거리에 기초한 선택 기준에 따라 수행되는 디바이스.
12. 제7항에 있어서, 제1 기준 톤 매핑 함수와 제2 기준 톤 매핑 함수 사이의 트랜지션은 두 함수 사이의 가중치들을 변화시킴으로써 복수의 이미지들에 대해 점진적으로 수행되고, 상기 제1 함수의 가중치는 상기 트랜지션 동안 감소하고, 상기 제2 함수의 가중치는 상기 트랜지션 동안 증가하는 디바이스.
13. 제7항에 있어서, 상기 비디오의 제1 이미지에 대해, 상기 선택된 기준 톤 매핑 함수는 상기 비디오의 제1 이미지에 적용되는 디바이스.
14. 명령어들이 저장된 비-일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    비디오 컨텐츠의 복수의 연속 이미지들 상에서, 상기 복수의 연속 이미지들 중 적어도 하나의 이미지에 대해,
    - 톤 매핑 함수들의 기준 컬렉션에서 상기 적어도 하나의 이미지로부터 결정된 시각적 피처에 따라 기준 톤 매핑 함수를 선택하는 것;
    - 상기 선택된 기준 톤 매핑 함수가 상기 복수의 연속 이미지들 중 이전 이미지에 대해 이전에 선택된 톤 매핑 함수와 상이할 때, 동일한 기준 톤 매핑 함수의 연속적인 선택들의 수에 기초하여 기준 톤 매핑 함수를 선택하는 것; 및
    - 상기 결정된 기준 톤 매핑 함수를 상기 적어도 하나의 이미지에 적용하여 대응하는 톤 매핑된 이미지를 생성하는 것
    을 반복하게 하고,
    상기 기준 컬렉션은 기준 시각적 피처들과 연관된 기준 톤 매핑 함수들을 포함하는 비-일시적 컴퓨터 판독 가능 저장 매체.
15. 삭제
16. 삭제

Images