KR20170074891A - 픽처 시퀀스의 두 개의 상이한 컬러 그레이딩된 버전들 간의 컬러 매핑을 추정하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 개시내용은 값들이 제1 컬러 볼륨으로 표현되는 픽처 시퀀스의 제1 컬러 그레이딩된 버전과 값들이 제2 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간에 컬러 매핑을 추정하는 것을 포함하는 픽처 시퀀스를 프로세싱하는 방법 및 디바이스에 관련된다. 방법은: - 상기 픽처 시퀀스의 상기 제1 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제1 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제1 복합 픽처를 획득하고, 상기 픽처 시퀀스의 상기 제2 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제2 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제2 복합 픽처가 획득되는 단계(10); 및 - 상기 제1 복합 픽처의 컬러 값들을 상기 제2 복합 픽처의 컬러 값들 상에 매핑하는 컬러 매핑 함수를 추정함으로써 픽처의 상기 제1 및 제2 컬러 그레이딩된 버전들 간의 상기 컬러 매핑을 추정하는 단계(20)를 포함하는 것에 특징이 있다.

Description

픽처 시퀀스의 두 개의 상이한 컬러 그레이딩된 버전들 간의 컬러 매핑을 추정하기 위한 방법 및 디바이스{A METHOD AND DEVICE FOR ESTIMATING A COLOR MAPPING BETWEEN TWO DIFFERENT COLOR-GRADED VERSIONS OF A SEQUENCE OF PICTURES}

본 개시내용은 컬러 매핑 도메인에 관한 것이다. 특히, 그것은 픽처 시퀀스의 제1 컬러 그레이딩된 버전과 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간의 컬러 매핑을 추정하는 방법에 관한 것이다.

전술한 바에 비추어, 본 개시내용의 양태들은 컴퓨터 시스템 상의 데이터 객체들 간의 시맨틱 관계들을 생성하는 것과 유지하는 것을 위한 것이다. 다음은 본 개시내용의 일부 양태들의 기본적인 이해를 제공하기 위하여 본 개시내용의 간략화된 개요를 제시한다. 이 개요는 본 개시내용의 광범위한 개관이 아니다. 그것은 본 개시내용의 키 또는 중요 엘리먼트들을 식별하기 위해 의도되지 않았다. 다음의 개요는 단지, 아래에 제공되는 더 상세한 설명에 대한 서문으로서 본 개시내용의 일부 개념들을 간략화된 형태로 제시한다.

다음에서, 픽처가 픽처(또는 비디오)의 화소 값들을 기준으로 하는 모든 정보와 예를 들어 픽처(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 디바이스에 의해 사용될 수 있는 모든 정보를 특정하는 특정 픽처/비디오 포맷으로 샘플들(화소 값들)의 하나 또는 여러 어레이들을 포함한다. 픽처가 적어도 하나의 성분, 보통 루마(또는 루미넌스) 성분을 제1 샘플 어레이의 형태로, 그리고, 아마도, 적어도 하나의 다른 성분, 보통 컬러 성분을 적어도 하나의 다른 샘플 어레이의 형태로 포함한다. 또는, 동등하게, 동일한 정보는 컬러 샘플들의 어레이들의 세트, 이를테면 전통적인 삼색 RGB 표현에 의해 또한 표현될 수 있다.

컬러 개머트(color gamut)가 컬러들의 특정한 완전한 세트이다. 가장 일반적인 사용은 주어진 환경에서, 이를테면 주어진 컬러 공간 내에서 또는 특정한 출력 디바이스에 의해 정확하게 표현될 수 있는 컬러들의 세트를 언급한다.

컬러 볼륨이 컬러 공간과 상기 컬러 공간에서 표현되는 값들의 동적 범위에 의해 정의된다.

예를 들어, 컬러 볼륨이 RGB ITU-R 권고 BT.2020 컬러 공간에 의해 정의되고 상기 RGB 컬러 공간에서 표현되는 값들은 0부터 4000 니트(제곱미터당 칸델라)까지의 동적 범위에 속한다. 컬러 볼륨의 다른 예가 RGB BT.2020 컬러 공간에 의해 정의되고 상기 RGB 컬러 공간에서 표현되는 값들은 0부터 1000 니트까지의 동적 범위에 속한다.

픽처(또는 비디오)를 컬러 그레이딩하는 것은 픽처(또는 비디오)의 컬러들을 변경/향상시키는 프로세스이다. 보통, 픽처를 컬러 그레이딩하는 것은 이 픽처를 기준으로 하는 컬러 볼륨(컬러 공간 및/또는 동적 범위)의 변화 또는 컬러 개머트의 변화를 수반한다. 따라서, 동일한 픽처의 두 개의 상이한 컬러 그레이딩된 버전들이, 상이한 컬러 볼륨들(또는 컬러 개머트)에서 값들이 표현되는 이 픽처의 버전들 또는 그들 컬러들 중 적어도 하나의 컬러가 상이한 컬러 그레이드들에 따라 변경/향상되어 있는 버전들이다. 이는 사용자 상호작용들을 수반할 수 있다.

예를 들어, 영화 제작에서, 픽처와 비디오가 삼색 카메라들을 사용하여 3 성분들(적색, 녹색 및 청색)로 이루어진 RGB 컬러 값들로 캡처된다. RGB 컬러 값들은 센서의 삼색 특성들(컬러 원색들(color primaries))에 따라 달라진다. 캡처된 픽처의 제1 컬러 그레이딩된 버전이 그 다음에 극장 렌더러(theatrical render)들을 얻기 위하여 (특정 극장 그레이드를 사용하여) 획득된다. 통상적으로, 캡처된 픽처의 제1 컬러 그레이딩된 버전의 값들은 울트라-고선명 텔레비전 시스템들(Ultra-High Definition Television systems)(UHDTV)을 위한 파라미터 값들을 정의하는 BT.2020과 같은 표준화된 YUV 포맷에 따라 표현된다.

그 다음에, 컬러리스트가, 보통 촬영 감독과 연계하여, 예술적 의도를 심어주기 위하여 일부 컬러 값들을 미세 튜닝/트위킹(tweaking)함으로써 캡처된 픽처의 제1 컬러 그레이딩된 버전의 컬러 값들에 대한 제어를 수행한다.

캡처된 픽처의 제2 컬러 그레이딩된 버전이 (특정 홈, 블루-레이 디스크/DVD 그레이드를 사용하여) 홈 릴리스 렌더러들을 얻기 위해 또한 획득된다. 통상적으로, 캡처된 픽처의 제2 컬러 그레이딩된 버전의 값들은 표준 4:3 및 와이드-스크린 16:9 애스펙트 비들을 위한 표준 디지털 텔레비전의 스튜디오 인코딩 파라미터들을 정의하는 ITU-R 권고 BT.601(Rec. 601), 또는 고선명 텔레비전 시스템들(HDTV)을 위한 파라미터 값들을 정의하는 ITU-R 권고 BT.709와 같은 표준화된 YUV 포맷에 따라 표현된다.

캡처된 픽처의 이러한 제2 컬러 그레이딩된 버전을 획득하는 것은 캡처된 픽처의 제2 컬러 그레이딩된 버전이 제2 컬러 볼륨(예를 들어 RGB BT.709 1000 니트)에 속하도록, 캡처된 픽처의 제1 컬러 그레이딩된 버전의 컬러 볼륨(예를 들어 컬러리스트에 의해 수정된 RGB BT.2020 1000 니트)을 스트레칭하는 것을 보통 포함한다. 이는 3차원 룩업 테이블(또한 3D LUT라 불리움)에 의해 보통 근사화되는 (예를 들어 RGB BT.2020 포맷 대 RGB BT.709의 매핑을 위한) 디폴트 컬러 매핑 함수를 사용하는 자동 단계이다. 모든 고려되는 YUV 포맷들이 임의의 RGB 대 YUV 및 YUV 대 RGB 컬러 매핑들을 정의하는 것을 허용하는 컬러 원색 파라미터들로 특징화된다는 것에 주의한다.

그 다음에, 컬러리스트가, 보통 촬영 감독과 연계하여, 홈 릴리스에서 예술적 의도를 심어주기 위하여 일부 컬러 값들을 미세 튜닝/트위킹함으로써 캡처된 픽처의 제2 컬러 그레이딩된 버전의 컬러 값들에 대한 제어를 수행한다.

YUV 대 RGB 컬러 매핑과 같은 디폴트 컬러 매핑을 디스플레이에게 명시적으로 시그널링하는 것이 알려져 있어서, 디스플레이는 적절한 디폴트 컬러 매핑을 적용할 수 있다. 더구나, 컬러 매핑이 픽처의 제1 및 제2 컬러 그레이딩된 버전으로부터 계산되는 파라미터들을 사용할 때, 그들 파라미터들은 디스플레이가 적절한 파라미터들을 갖는 적절한 디폴트 컬러 매핑을 적용할 수 있도록 디스플레이에게 또한 시그널링된다고 알려져 있다.

디폴트 컬러 매핑을 사용하면 아티스트 의도를 유지하는 데 실패하는데, 디폴트 컬러 매핑이 픽처의 제1 컬러 그레이딩된 버전에 적용될 때 픽처의 제2 컬러 그레이딩된 버전에서의, 컬러리스트에 의해 특정된 바와 같은, 일부 컬러들이 보존되지 않을 수 있기 때문이다.

예를 들어, 살(flesh) 또는 피부 색조들, 푸른 하늘 또는 녹색 잔디 음영들...등과 같은 기억 색(memory color)이, 주어진 등급에 대해 컬러리스트에 의해 특정될 때 보존되어야 한다.

동일한 픽처의 두 개의 컬러 그레이딩된 버전들 간에 컬러 매핑을 추정하는 것은 픽처의 제1 컬러 그레이딩된 버전의 컬러 값들을 상기 픽처의 제2 컬러 그레이딩된 버전의 컬러 값들 상에 최적으로 매핑하는 컬러 매핑 함수를 추정하는 것을 의미한다.

이 추론을 따라, 픽처 시퀀스가 시간적으로 연속하는 픽처들의 세트이기 때문에, 동일한 픽처 시퀀스의 두 개의 컬러 그레이딩된 버전들 간의 컬러 매핑을 추정하는 것은, 픽처 시퀀스의 각각의 픽처에 대한 컬러 매핑 함수, 즉, 픽처 시퀀스의 제1 컬러 그레이딩된 버전에서의 결정된 시간 순간에 시간적으로 위치된 픽처의 컬러 값들을 픽처 시퀀스의 제2 컬러 그레이딩된 버전에서의 동일한 시간 순간에 시간적으로 위치된 픽처의 컬러 값들 상으로 최적으로 매핑하는 컬러 매핑 함수를 추정하는 것을 의미한다.

그러나, 이 접근법은 시간 소모적이고 긴 컴퓨팅 시간을 요구한다. 더구나, 픽처 시퀀스를 대표하지 않는 잡음 또는 컬러 비가 매우 유사한 픽처들의 특성들(컬러들의 분포, 물체들의 존재...)과 함께 픽처 시퀀스에서 나타날 수 있다. 이는 시각적 명멸(flickering)(연속적인 픽처들의 외양(look)의 일시적 불안정)을 초래할 수 있는 시간 경과에 따른 컬러 매핑 결정들에서의 일시적인 변동들을 수반할 수 있다.

따라서 이러한 컴퓨팅 비용 및 이러한 명멸 현상을 감소시키는 픽처 시퀀스의 두 개의 상이한 컬러 그레이딩된 버전들 간의 컬러 매핑을 추정하기 위한 방법이 필요하다.

본 개시내용의 특정 성질뿐만 아니라 본 개시내용의 다른 목적들, 장점들, 특징들 및 용도들이 첨부 도면들과 연계하여 취해지는 다음의 실시예들의 설명으로 명확하게 될 것이다.

개요

전술한 바에 비추어, 본 개시내용의 양태들은 컴퓨터 시스템 상의 데이터 객체들 간의 시맨틱 관계들을 생성하는 것과 유지하는 것을 위한 것이다. 다음은 본 개시내용의 일부 양태들의 기본적인 이해를 제공하기 위하여 본 개시내용의 간략화된 개요를 제시한다. 이 개요는 본 개시내용의 광범위한 개관이 아니다. 그것은 본 개시내용의 키 또는 중요 엘리먼트들을 식별하기 위해 의도되지 않았다. 다음의 개요는 단지, 아래에 제공되는 더 상세한 설명에 대한 서문으로서 본 발명의 일부 개념들을 간략화된 형태로 제시한다.

본 개시내용은 픽처 시퀀스를 프로세싱하는 방법으로 종래 기술의 단점들의 일부를 개선하는 것을 설명하는데, 그 방법은 값들이 제1 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제1 컬러 그레이딩된 버전과 값들이 제2 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간의 컬러 매핑을 추정하는 단계를 포함한다. 그 방법은:

- 픽처 시퀀스의 제1 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제1 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제1 복합 픽처를 획득하고, 픽처 시퀀스의 제2 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제2 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 제2 복합 픽처가 획득되는 단계; 및

- 상기 제1 복합 픽처의 컬러 값들을 상기 제2 복합 픽처의 컬러 값들 상에 매핑하는 컬러 매핑 함수를 추정함으로써 픽처 시퀀스의 상기 제1 및 제2 컬러 그레이딩된 버전들 간의 상기 컬러 매핑을 추정하는 단계를 포함하는 것이 특징이다.

그 방법은 픽처 시퀀스에 대한 단일 컬러 매핑을 얻는 것을 허용하며 그래서 상기 픽처 시퀀스의 각각의 픽처에 대한 컬러 매핑을 추정하기 위해 요구된 컴퓨팅 시간과, 시각적 명멸을 감소시킨다.

더구나, 복합 픽처들의 사이즈는 결정된 시간 순간들의 수가 복합 픽처들을 획득하기 위해 사용되는 픽처들의 수를 제어하기 때문에 너무 크지 않을 수 있다.

일 실시예에 따르면, 시간 순간들(t _i )은 픽처들(P_1,ti 및 P_2,ti)이 동일한 장면 샷에 속하도록 결정된다.

일 실시예에 따르면, 시간 순간들의 일부가 동일하다.

일 실시예에 따르면, 제2 컬러 그레이딩된 픽처들은 결합되기 전에 클리핑된다.

일 실시예에 따르면, 그 방법은 제1 및 제2 복합 픽처들을 획득하기 전에 픽처 시퀀스의 제1 및 제2 컬러 그레이딩된 버전 둘 다에서의 결정된 시간 순간들에 위치된 픽처들을 다운 샘플링하는 단계를 더 포함한다.

일 실시예에 따르면, 상기 컬러 매핑 함수의 추정값이 어떤 기준에 도달될 때까지 반복적으로 획득된다.

일 실시예에 따르면, 상기 컬러 매핑 함수는 두 개의 컬러 변환들을 포함하며, 상기 컬러 매핑 함수의 추정값은 반복 k에서:

a) 반복 (k-1)에서 추정된 제1 컬러 변환을 제1 컬러 값 세트에 적용함으로써 제3 컬러 값 세트를 획득하는 단계;

b) 제2 컬러 값 세트를 제3 컬러 값 세트 상에 매핑함으로써 제3 컬러 변환을 추정하는 단계;

c) 상기 제3 컬러 변환을 제2 컬러 값 세트에 적용함으로써 제4 컬러 값 세트를 획득하는 단계;

d) 제1 컬러 값 세트를 상기 제4 컬러 값 세트 상에 매핑함으로써 제1 컬러 변환을 추정하는 단계; 상기 제1 컬러 변환은 제1 컬러 변환을 업데이트하는 데 사용됨;

e) 상기 제1 컬러 변환을 제1 컬러 값 세트에 적용함으로써 제5 컬러 값 세트를 획득하는 단계; 및

f) 제5 컬러 값 세트를 제2 컬러 값 세트 상에 매핑함으로써 제2 컬러 변환을 추정하는 단계에 의해 획득된다.

일 실시예에 따르면, 컬러 매핑 함수는 3차원 룩업 테이블에 의해 근사화된다.

일 실시예에 따르면, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 구분적(piecewise) 선형 함수에 의해 근사화된다.

일 실시예에 따르면, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 룩업 테이블에 의해 근사화된다.

일 실시예에 따르면, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 선형 행렬에 의해 근사화된다.

본원의 양태들 중 다른 것에 따르면, 본 개시내용은 위의 방법을 구현하도록 구성되는 프로세서를 포함하는 디바이스, 프로그램이 컴퓨터 상에서 실행될 때 위의 방법의 단계들을 실행하는 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품, 프로세서로 하여금 적어도 위의 방법의 단계들을 수행하게 하는 명령을 저장하고 있는 프로세서 판독가능 매체, 및 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 위의 방법의 단계들을 실행하기 위한 프로그램 코드의 명령들을 운반하는 비일시적 저장 매체에 관련된다.

도면들에서, 본 개시내용의 일 실시예가 다음의 도면들에 의해 예시되며:
도 1은 본 개시내용의 특정 및 비제한 실시예에 따른 픽처 시퀀스의 두 개의 컬러 그레이딩된 버전들 간의 컬러 매핑을 추정하는 방법의 단계들의 도면을 개략적으로 도시하며;
도 2는 컬러 매핑 함수의 추정값을 반복적으로 획득하는 단계(20)의 일 실시예를 개략적으로 예시하며;
도 3은 컬러 매핑 함수의 일 예를 개략적으로 예시하며;
도 4는 두 개의 컬러 변환들을 포함하는 컬러 매핑 함수를 추정하기 위한 일 예를 개략적으로 예시하며;
도 5는 세 개의 컬러 변환들을 포함하는 컬러 매핑 함수를 추정하기 위한 일 예를 개략적으로 예시하며;
도 6은 컬러 매핑 함수를 근사화하는 3D LUT의 일 예를 개략적으로 예시하며;
도 7은 1차원 구분적 선형 함수들 및 행렬에 의해 근사화된 컬러 변환들을 포함하는 컬러 매핑 함수를 개략적으로 예시하며;
도 8은 1차원 구분적 선형 함수(f)의 일 예를 도시하며;
도 9는 본 개시내용의 일 실시예에 따른 디바이스의 아키텍처의 일 예를 도시하며;
도 10은 복합 픽처를 획득하기 위한 상이한 어셈블링 접근법들을 예시하며;
도 11은 복합 픽처를 획득하기 위한 패킹 접근법의 일 예를 도시한다.

본 개시내용의 실시예들이 보이는 첨부 도면들을 참조하여 이하에서 본 개시내용이 더 충분히 설명될 것이다. 그러나, 본 개시내용은 많은 대체 형태들로 실시될 수 있고 본 명세서에서 언급된 실시예들로 제한되는 것으로 해석되지 않아야 한다. 따라서 본 개시내용이 다양한 수정들 및 대체 형태들에 민감하지만, 그것의 특정 실시예들은 도면들에서 예로서 도시되고 본 명세서에 상세히 설명된다. 그러나, 본 개시내용을 개시된 특정 형태들로 제한할 의도는 없고, 반면에, 본 개시내용은 청구항들에 의해 정의된 바와 같은 본 개시내용의 정신 및 범위 내에 속하는 모든 수정들, 동등물들, 및 대체물들을 커버하는 것이라는 것이 이해되어야 한다.

본 명세서에서 사용되는 용어들은 특정 실시예들만을 설명하기 위한 것이고, 본 개시내용을 한정할 의도는 아니다. 본 명세서에서 사용되는 바와 같이, 문맥이 다르다고 명확히 나타내지 않는 한, 단수형들은 복수형도 포함하는 것을 의도하고 있다. "포함한다", "포함하는", "구비한다" 및/또는 "구비하는"이란 용어들은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그 그룹들의 존재 또는 추가를 배제하지는 않는다는 것이 추가로 이해될 것이다. 더구나, 엘리먼트가 다른 엘리먼트에 "응답하는" 또는 "접속되는" 것으로서 언급될 때, 그 엘리먼트는 다른 엘리먼트에 직접적으로 응답하거나 또는 접속될 수 있거나, 또는 개재하는 엘리먼트들이 존재할 수 있다. 반면에, 엘리먼트가 다른 엘리먼트에 "직접적으로 응답하는" 또는 "직접적으로 접속되는" 것으로서 언급될 때, 개재하는 엘리먼트들이 존재하지 않는다. 본 명세서에서 사용되는 바와 같이 "및/또는"이란 용어는 연관되는 열거된 항목들 중 하나 이상의 항목들 중 임의의 것 및 모든 조합들을 포함하고 "/"로서 축약될 수 있다.

제1, 제2 등의 용어들이 본 명세서에서 다양한 엘리먼트들을 설명하는 데 사용될 수 있지만, 이들 엘리먼트들은 이러한 용어들에 의해 한정되지 않아야 한다는 것이 이해될 것이다. 이들 용어들은 하나의 엘리먼트를 다른 엘리먼트로부터 구별하는 데에만 사용된다. 예를 들어, 제1 엘리먼트가 제2 엘리먼트로 불릴 수 있고, 마찬가지로, 제2 엘리먼트가 본 개시내용의 교시내용들로부터 벗어남 없이 제1 엘리먼트로 불릴 수 있다.

각각의 블록이 특정 논리적 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령들을 포함하는 회로 엘리먼트, 모듈, 또는 코드의 부분을 나타내는 블록도들 및 동작 흐름도들에 관해 일부 실시예들이 설명된다. 다른 구현예들에서, 블록들에서 언급되는 기능(들)은 언급된 순서에서 벗어나게 발생할 수 있다. 예를 들어, 연속적으로 도시되는 두 개의 블록들이, 사실, 실질적으로 동시에 실행될 수 있거나 또는 그 블록들은, 수반되는 기능에 의존하여, 역순으로 때때로 실행될 수 있다.

"하나의 실시예" 또는 "일 실시예"에 대한 본 명세서에서의 언급은 그 실시예에 관련하여 설명되는 특정한 특징, 구조, 또는 특성이 본 개시내용의 적어도 하나의 구현예에 포함될 수 있다는 것을 의미한다. 본 명세서에서의 다양한 곳들에서 "하나의 실시예에서" 또는 "일 실시예에 따른"이란 어구의 출현은 반드시 모두가 동일한 실시예를 언급하는 것이 아니고, 별도의 또는 대체 실시예들이 다른 실시예들을 반드시 상호 배제하는 것도 아니다.

청구항들에서 보이는 참조 번호들은 예시로서만이고 청구항들의 범위에 대한 영향을 제한하지 않을 것이다.

명시적으로 설명되지 않았지만, 본 실시예들 및 개조예들은 임의의 조합 또는 서브-조합으로 채용될 수 있다.

픽처 시퀀스의 제1 컬러 그레이딩된 버전과 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간의 컬러 매핑을 추정하는 단계가 픽처 시퀀스를 프로세싱하기 위한 방법의 단계일 수 있다.

도 1은 본 개시내용의 특정 및 비제한 실시예에 따른 값들이 제1 컬러 볼륨으로 표현되는 픽처 시퀀스의 제1 컬러 그레이딩된 버전(E1)과 값들이 제2 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전(E2) 간의 컬러 매핑(CM)을 추정하기 위한 방법의 단계들의 도면을 개략적으로 도시한다.

단계 10에서, 모듈(M0)이, 픽처 시퀀스의 제1 컬러 그레이딩된 버전(E1)에서의 결정된 시간 순간들(t _i )에 시간적으로 위치된 적어도 두 개의 픽처들(P_1,ti)을, 제1 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제1 복합 픽처(C1)를 획득하고, 동일한 결정된 시간 순간들(t _i )에 픽처 시퀀스의 제2 컬러 그레이딩된 버전(E2)에 시간적으로 위치된 동일한 수의 픽처들(P_2,ti)을, 제2 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제2 복합 픽처(C2)를 획득한다.

일 실시예에 따르면, 시간 순간들(t _i )은 픽처들(P_1,ti 및 P_2,ti)이 동일한 장면 샷에 속하도록 결정된다. 그를 위해, 예를 들어, 샷 전환 검출기가 적어도 하나의 픽처를 포함하는 적어도 하나의 장면 샷을 얻기 위하여 픽처 시퀀스에 적용되고, 제1 (및 제 2) 복합 픽처가 각각의 검출된 장면 샷의 픽처들로부터 획득된다. 컬러 매핑 함수가 각각의 제1 및 제2 픽처들로부터 따라서 추정된다.

일 실시예에 따르면, 시간 순간들(ti)의 일부가 동일하다. 이는 픽처들(ti)에서의 컬러 샘플들의 가중값을 증가시키는 것을 허용한다.

도 10에 예시된 일 실시예에 따르면, 복합 픽처 C1, C2 각각은 임의의 모자이킹(mosaicing)(http://ieeexplore.ieee.org/xpls/ abs_all.jsp?arnumber=702214&tag=1)에 의해 획득되며, 즉, 복합 픽처 C1, C2 각각은 각각 픽처들(P_1,ti, P_2,ti)로부터 획득된 파노라마 픽처이다.

일 실시예에 따르면, 픽처들의 서브-지역들이 결합된다. 이는 흑색 스트립들 또는 로고들과 같은 원하지 않는 지역들을 제거하거나, 또는 반대로 로고의 컬러들에 대한 컴퓨테이션을 강조하는 것을 허용한다.

따라서, 상기 제1 복합 픽처 C1, C2 각각의 콘텐츠는, 상기 적어도 두 개의 픽처들(P_1,ti, P_2,ti) 중 각각의 픽처의 콘텐츠의 적어도 일부를 각각 포함한다.

일 실시예에 따르면, 제2 컬러 그레이딩된 픽처들은 결합되기 전에 클리핑된다. 이는 상이한 동적 범위 값들을 갖는 비디오 시퀀스들을 컬러 매핑하는 것을 허용한다.

도 10에 따르면, 복합 픽처 C1, C2 각각이, 픽처 시퀀스의 각각 제1 컬러 그레이딩된 버전(E1)과 제2 컬러 그레이딩된 버전(E2)에서의 시간 순간들(t1 및 t2)에서 시간적으로 위치되는, 각각 두 개의 픽처들(P_1,t1)과 두 개의 픽처들(P_1,t2)로부터 획득된다.

도 11에 예시된 다른 실시예에 따르면 복합 픽처 C1, C2 각각이, 상기 단일 픽처 C1, C2 각각에서의 픽처들(P_1,ti, P_2,ti) 각각을 패킹함으로써 획득된다.

따라서, 상기 제1 복합 픽처 C1, C2 각각의 콘텐츠는, 상기 적어도 두 개의 픽처들(P_1,ti, P_2,ti) 중 각각의 픽처의 콘텐츠를 각각 포함한다.

도 1상의 단계 10의 일 실시예에 따르면, 모듈 M0는 제1 및 제2 복합 픽처들(C1 및 C2)을 획득하기 전에 픽처 시퀀스의 제1 및 제2 컬러 그레이딩된 버전들(E1 및 E2) 둘 다에서의 결정된 시간 순간들(t _i )에 위치된 픽처들(P_1,ti, P_2,ti)을 다운 샘플링한다.

이는 복합 픽처(C1 및 C2)의 해상도(열들의 수 및/또는 행들의 수)를 감소시키는 것과 따라서 컬러 매핑을 추정하기 위한 컴퓨팅 시간을 감소시키는 것을 허용한다. 더구나, 픽처를 다운 샘플링하는 것은 픽처의 잡음을 감소시키고 따라서 컬러 매핑 함수의 품질을 증진시킨다.

단계 20에서, 모듈 M이 상기 제1 복합 픽처(C1)의 컬러 값들을 상기 제2 복합 픽처(C2)의 컬러 값들 상에 매핑하는 컬러 매핑 함수(CMF)를 추정함으로써 픽처 시퀀스의 상기 제1 및 제2 컬러 그레이딩된 버전들 간의 상기 컬러 매핑(CM)을 추정한다.

컬러 매핑 함수(CMF)는 제1 컬러 볼륨에서 표현되는 매핑 컬러 값들을 제2 컬러 볼륨에서 표현되는 컬러 값들 상에 매핑하기 위해 정의된다.

예를 들어, 제1 및 제2 컬러 볼륨의 동적 범위들만이 상이하다. 제1 컬러 볼륨은, 예를 들어, RGB BT.2020 컬러 공간과 0 내지 4000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용함으로써 정의될 수 있고 제2 컬러 볼륨은 RGB BT.2020 컬러 공간과 0 내지 1000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용하여 정의된다.

다른 예에 따르면, 제1 및 제2 컬러 볼륨들의 컬러 개머트들만이 상이하다. 제1 컬러 볼륨은, 예를 들어, RGB BT.2020 컬러 공간과 0 내지 1000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용함으로써 정의되고 제2 컬러 볼륨은 RGB BT.709 컬러 공간과 0 내지 1000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용하여 정의된다.

다른 예에 따르면, 제1 및 제2 컬러 볼륨들의 컬러 공간들만이 상이하다. 제1 컬러 볼륨은, 예를 들어, RGB BT.2020 컬러 공간과 0 내지 1000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용함으로써 정의되고 제2 컬러 볼륨은 YUV BT.2020 컬러 공간과 0 내지 1000 니트(제곱미터당 칸델라) 사이의 값들의 동적 범위를 사용하여 정의된다.

본 개시내용은 컬러 볼륨들의 이들 예들로 제한되지 않고, 제1 및 제2 컬러 볼륨들은 하나를 초과하는 이들 차이들(컬러 개머트, 컬러 공간, 동적 범위)을 갖는 것으로 정의될 수 있다는 것이 자명하다.

도 3에 예시된, 본 개시내용의 일 실시예에 따르면, 컬러 매핑 함수(CMF)는 적어도 두 개의 컬러 변환들(F1, F2, F_q,...F_Q)을 포함한다.

도 2에 예시된, 단계 20의 일 실시예에 따르면, 단계 100에서, 모듈 M1이 컬러 매핑 함수(CMF)의 제1 추정값(CMF⁰), 즉, 도 3에 예시된 방법의 실시예에 따른 각각의 컬러 변환(F_q)에 대한 제1 추정값(

)을 획득한다.

편의를 위해, 다음에서, 제1 성분 픽처(C1)의 컬러 값들은 제1 컬러 값 세트(S1)로 지칭되고 제2 성분 픽처(C2)의 컬러 값들은 제2 컬러 값 세트(S2)로 지칭된다.

일 실시예에 따르면, 각각의 컬러 변환의 제1 추정값(

)은 선형 단조 함수이고, 컬러 변환이 선형 행렬일 때, 컬러 변환의 제1 추정값은 항등 행렬(identity matrix)이다.

다른 예에 따르면, 컬러 변환들의 제1 추정값들은 제1 컬러 볼륨의 컬러 공간을 제2 컬러 볼륨의 컬러 공간으로 변환하는 컬러 매핑 함수들이다. 이러한 컬러 변환들은, 예를 들어, 표준 SMPTE RP 177에 의해 정의된다.

다음으로, 단계 110에서, 반복 k(k는 정수 값)에서, 모듈 M2가 이전(반복 k-1)에 계산된 각각의 컬러 변환(F_q)에 대한 추정값(

)(컬러 매핑 CMF의 추정값(CMF^k-1))을 사용하여 제1 및 제2 컬러 값 세트들(S1 및 S2)로부터 각각의 컬러 변환(F_q)에 대한 추정값(

)(컬러 매핑 함수(CMF)의 추정값(CMF^k-1))을 획득한다.

단계 110은 기준에 도달되기까지 반복된다. p(마지막 반복)로 각각의 컬러 변환(F_q)에 대한 추정값(

)(컬러 매핑 함수(CMF)의 CMF^p)과 동일한 각각의 컬러 변환(F_q)에 대한 최종 추정값(

)(컬러 매핑 함수(CMF)의

)이 따라서 획득된다.

예를 들어 반복들(k)의 최대 수에 도달될 때 또는 두 개의 연속하는 반복들 동안 계산된, 컬러 매핑 함수(CMF)의 추정값들(CMF^k-1 및 CMF^k)을 픽처의 제1 컬러 그레이딩된 버전(E1)에 적용함으로써 획득되는 픽처의 제2 컬러 그레이딩된 버전(E2)의 두 개의 연속하는 추정값들 간의 유클리디언 거리가 미리 정의된 임계값 미만일 때 그 기준에 도달된다.

대안적으로, 컬러 변환 기능(CMF)의 추정값(CMF^k)을 픽처의 제1 컬러 그레이딩된 버전(E1)에 적용함으로써 획득되는 픽처의 제2 컬러 그레이딩된 버전(E2)의 추정값과 그 픽처의 제2 컬러 그레이딩된 버전(E2) 간의 유클리디언 거리가 미리 정의된 임계값 미만일 때 그 기준에 도달된다.

본 개시내용의 일 실시예에 따르면, 컬러 매핑 함수(CMF)는 도 4에 예시된 방법에 의해 상기 제1 및 제2 컬러 값 세트들(S1 및 S2)로부터 추정되는 두 개의 컬러 변환들(F1 및 F2)을 포함한다.

두 개의 컬러 변환들(F1 및 F2)을 추정하는 것은 k가 정수인 각각의 반복 k에 대해:

a) 반복 (k-1)에서 추정된 제1 컬러 변환(F1^k-1)을 제1 컬러 값 세트(S1)에 적용함으로써 제3 컬러 값 세트(S3)를 획득하는 단계;

b) 제2 컬러 값 세트(S2)를 제3 컬러 값 세트(S3) 상에 매핑함으로써 제3 컬러 변환(F3^k)을 추정하는 단계;

c) 상기 제3 컬러 변환(F3^k)을 제2 컬러 값 세트(S2)에 적용함으로써 제4 컬러 값 세트(S4)를 획득하는 단계;

d) 제1 컬러 값 세트(S1)를 상기 제4 컬러 값 세트(S4) 상에 매핑함으로써 제1 컬러 변환(F1^k)을 추정하는 단계; 상기 제1 컬러 변환(F1^k)은 제1 컬러 변환(F1^k-1)을 업데이트하는 데 사용됨;

e) 상기 제1 컬러 변환(F1^k)을 제1 컬러 값 세트(S1)에 적용함으로써 제5 컬러 값 세트(S5)를 획득하는 단계; 및

f) 제5 컬러 값 세트(S5)를 제2 컬러 값 세트(S2) 상에 매핑함으로써 제2 컬러 변환(F2^k)을 추정하는 단계를 포함하는 반복 프로세스이다.

본 개시내용은 두 개의 컬러 변환들을 포함하는 컬러 매핑 함수(CMF)로 제한되지 않고 두 개를 초과하는 컬러 변환들을 포함하는 임의의 컬러 매핑으로 확장된다.

예시 목적으로, 도 5는 컬러 매핑 함수(CMF)가 세 개의 컬러 변환들(F1, F21 및 F22)을 포함할 때 그 컬러 매핑 함수가 추정되는 방법을 예시한다. 각각의 반복 k에 대해, -k는 정수임-:

a) 반복 (k-1)에서 추정된 제1 컬러 변환(F1^k-1)을 제1 컬러 값 세트(S1)에 적용함으로써 제3 컬러 값 세트(S3)를 획득하는 단계;

b) 반복 (k-1)에서 추정된 컬러 변환(F22^k-1)을 제3 컬러 값 세트(S3)에 적용함으로써 제4 컬러 값 세트(S4)를 획득하는 단계;

c) 제2 컬러 값 세트(S2)를 제4 컬러 값 세트(S4) 상에 매핑함으로써 제3 컬러 변환(F3^k)을 추정하는 단계;

d) 상기 제3 컬러 변환(F3^k)을 제2 컬러 값 세트(S2)에 적용함으로써 제5 컬러 값 세트(S5)를 획득하는 단계;

e) 제5 컬러 값 세트(S5)를 제3 컬러 값 세트(S3) 상에 매핑함으로써 제4 컬러 변환(F4^k)을 추정하는 단계;

f) 상기 제4 컬러 변환(F4^k)을 제5 컬러 값 세트(S5)에 적용함으로써 제6 컬러 값 세트(S6)를 획득하는 단계;

g) 제1 컬러 값 세트(S1)를 상기 제6 컬러 값 세트(S6) 상에 매핑함으로써 제1 컬러 변환(F1^k)을 추정하는 단계; 상기 제1 컬러 변환(F1^k)은 제1 컬러 변환(F1^k-1)을 업데이트하는 데 사용됨;

h) 상기 제4 컬러 변환(F1^k)을 제1 컬러 값 세트(S1)에 적용함으로써 제7 컬러 값 세트(S7)를 획득하는 단계;

i) 제7 컬러 값 세트(S7)를 상기 제5 컬러 값 세트(S5) 상에 매핑함으로써 컬러 변환(F22^k)을 추정하는 단계; 상기 컬러 변환(F22^k)은 컬러 변환(F22^{k - 1})을 업데이트하는 데 사용됨;

j) 상기 컬러 변환(F22^k)을 제7 컬러 값 세트(S7)에 적용함으로써 제8 컬러 값 세트(S8)를 획득하는 단계; 및

l) 제8 컬러 값 세트(S8)를 제2 컬러 값 세트(S2) 상에 매핑함으로써 컬러 변환(F21^k)을 추정하는 단계.

마지막 단계 l)이 각각의 반복에서 실행되는 것은 의무적인 것이 아니다. 이 단계는, 마지막 반복 후, 적어도 한 번 실행될 것이다.

일 실시예에 따르면, 단계 l)은, 예를 들어, (반복적인 방법을 중단하나 또는 중단하지 않을) 기준이 도 2에 관련하여 설명되는 반복적인 방법을 중단할 기준을 평가하기 위하여 각각의 반복에서 컬러 변환(F21^k)의 추정값을 요구할 때 각각의 반복에서 실행된다.

컬러 매핑 함수(CMF)를 추정하기 위한 원리는 임의의 수의 컬러 변환들을 포함하는 임의의 컬러 매핑 함수로 도 4 및 도 5에 따라 쉽사리 확장될 수 있다.

그 방법의 일 실시예에 따르면, 컬러 매핑 CMF는 3차원 룩업 테이블(3D LUT)에 의해 근사화된다.

이는 컬러 매핑 함수(CMF)를 표현하기 위한 수 개의 비트들이 감소된 코딩 비용으로 이어지는 것을 허용한다.

도 6은 특정 컬러 매핑 함수(CMF)를 근사화하는 3D LUT의 일 예를 개략적으로 도시한다.

3D LUT는 제1 컬러 볼륨에서 표현되는 적어도 하나의 컬러 값과 (제1 컬러 볼륨과는 상이한) 제2 컬러 볼륨에서 표현되는 컬러 값을 연관시킨다.

3D LUT는 제1 컬러 볼륨을 3D LUT의 정점들에 의해 범위가 정해지는 지역들의 세트로 구획화하는 것을 허용한다. 예시적으로, 3D LUT가 컬러 값 세트와 제1 컬러 볼륨에서의 컬러 값 트리플릿(triplet)을 연관시킨다. 컬러 값 세트는 제2 컬러 볼륨에서의 컬러 값 트리플릿 또는 제1 컬러 볼륨에서의 컬러 값들을 제2 컬러 볼륨에서의 컬러 값들로 변환하는 데 사용되는 컬러 변환을 나타내는 컬러 값 세트(예컨대, 국부적으로 정의된 컬러 매핑 함수 파라미터들)일 수 있다.

도 6 상에서, 정사각형 3D LUT가 NxNxN 정점들의 격자로서 표현된다. 3D LUT의 각각의 정점 V(c1, c2, c3)에 대해, 대응하는 컬러 값 트리플릿 (V_c1, V_c2, V_c3)이 저장될 것이 필요하다. 3D LUT에 연관된 데이터의 양은 NxNxNxK이며, 여기서 K는 하나의 3D LUT 트리플릿 값을 저장하는 데 사용되는 비트들의 양이다. 그 트리플릿 값은 예를 들어 (R, G, B) 트리플릿, (Y, U, V) 트리플릿 또는 (Y, Cb, Cr) 트리플릿 등이다.

그 방법의 일 실시예에 따르면, 컬러 매핑 함수(CMF)는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 구분적 선형 함수에 의해 근사화된다.

그 방법의 일 실시예에 따르면, 컬러 매핑 함수(CMF)는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 룩업 테이블에 의해 근사화된다.

이 실시예는 많은 스크린, 디스플레이들 및 TV에서 이미 구현된 현존 1차원 비선형 매핑 함수들의 조합에 의해 컬러 매핑 함수를 근사화하는 것이 가능하기 때문에 유리하다. 그것들은, 예컨대, 컬러 그레이딩이 컬러 공간 의존적인 경우 임의의 종류의 컬러 변환을 구현하는 데 사용될 수 있다.

그 방법의 일 실시예에 따르면, 컬러 매핑 함수(CMF)는 행렬에 의해 표현되는 컬러 변환을 포함한다.

도 7에 예시된 방법의 비제한 실시예에 따르면, 컬러 매핑 함수(CMF)는 C 개의 1차원 구분적 선형 함수들 f _1,j (

)에 의해 근사화되는 컬러 변환(F1), C 개의 1차원 구분적 선형 함수들 f _2,j (

)에 의해 근사화되는 제2 컬러 변환(F21), 및 선형 행렬(M)(이것은 다른 컬러 변환(F22)인 것으로서 간주될 수 있음)을 포함한다. C는 픽처의 성분들의 수와 동일한 정수 수이다. 보통 도 7에 예시된 바와 같이 C=3이다.

컬러 변환들(F1, F21 및 F22)은 그러면, 도 5에서 설명된 바와 같이 추정되는데 제3 컬러 변환(F3^k)은 C 개의 1차원 구분적 선형 함수들 f _3,j (

)에 의해 또한 근사화되고 제4 컬러 변환(F4^k)은 행렬이다.

각각의 1차원 구분적 선형 함수(f _1,j , f _2,j 또는 f _3,j )는 입력 컬러 값 세트, 여기서 E1_j에 속하는 컬러 값들 중 j 성분을 출력 컬러 값 세트, 여기서 E2_j에 속하는 컬러 값들 중 j 성분으로 매핑함으로써 추정된다. 예를 들어 도 5에 관하여, 1차원 구분적 선형 함수(f _1,j )가 추정될 때 입력 컬러 값 세트는 제1 컬러 값 세트(S1)이고 출력 컬러 값 세트는 제6 컬러 값 세트(S6)이다.

본 개시내용은 입력 컬러 값 세트에 속한 컬러 값들의 성분을 출력 컬러 값 세트에 속한 컬러 값들의 성분으로 매핑함으로써 1차원 구분적 선형 함수를 추정하는 특정 방법에 의해 제한되지 않는다.

예를 들어, 도 8에 관련하여 설명된 바와 같은 Cantoni 등의 방법("Optimal Curve Fitting With Piecewise Linear Functions", IEEE Transactions on Computers, Vol. C-20, No1, January 1971)은 사용될 수 있다.

도 8은 1차원 구분적 선형 함수(f)의 일 예를 도시한다.

1차원 구분적 선형 함수(f)가 간격들 [X _i ;X _i +1]에 의해 정의되고 각각의 간격에서 선형적이다. 본 명세서에서 그 간격들이 단순화를 위해 동일한 범위(1과 동일함)를 갖는 경우를 고려하지만, 동등한 이유가 일반적인 경우(같지 않은 범위들)에 적용할 수 있다는 것에 주의한다. 그때 그 값들(X _i )은 알려진 것으로서 간주된다.

횡좌표 s ∈ [X _i ;X _i +1]을 갖는 주어진 포인트에 대해, f에 의한 대응하는 이미지는 다음과 같은 y이다:

y = f(s) = L(X_i) + (L(X_i+1)-L(X_i))*(s-X_i)

L(X _i ) 에 대한 최적의 값들을, 예를 들어, 각각의 간격 [X _i ;X _i +1]_i=0,..T에 대해, s _o ∈ [X _i ;X _i +1]가 제1 컬러 값 세트(S1)의 컬러 값들이고 y _o 는 제2 컬러 값 세트(S2)의 컬러 값인 샘플 값 세트 (s _o ,y _o )의 2차 에러들 Err(X _i ) =(y _o - f(s _o )) ² 의 합을 최소화하는 최소 자승 최소화(Least Square Minimization, LSM) 방법을 사용함으로써 찾아야 한다. T는 고정된 정수 값 또는 최적화될 값 중 어느 하나이다.

최소 자승 최소화(LSM) 방법은 0과 동일한 L(X _i ) _i=0,..T 에 대해 각각 다음의 Err(X _i )의 편도함수의 수학식들의 세트를 풀이하는 것으로 이루어진다.

단 s_m ∈ [X _i -1;X _i ] (1)

단 s_m ∈ [X _i -1 ; X _i ], s_o ∈ [X _i ; X _i +1] (2)

단 s_o ∈ [X _i ; X _i +1] (3)

L(Xi)의 값은 양 간격들 [X _i -1;X _i ] 및 [X _i ;X _i +1] 상에서 함수 f를 다음과 같이 결정하며:

y = f(s_m) = L(X_i-1) + (L(X_i)-L(X_i-1))*(s_m-X_i+1) 단 s_m ∈ [X _i-1 ;X _i ] (4)

그리고 y = f(s_o) = L(X_i) + (L(X_i+1)-L(X_i))*(s_o-X_i) 단 s_o ∈ [X _i ;X _i +1] (5)

일단 수학식 (1-3)에서의 f(s _m ) 및 f(s _o )를 수학식들 (1) 및 (2)에 의해 주어진 그것들의 표현들에 의해 대체하면, 다음의 수학식들이 획득된다:

다른 간격들에 대해 동일한 논리를 적용하면, 다음의 체계가 획득된다:

본 개시내용은 입력 컬러 값 세트를 출력 컬러 값 세트 상에 매핑함으로써 행렬(M 또는 제4 컬러 변환(F4^k))을 추정하는 특정 방법에 의해 제한되지 않는다.

예를 들어, C가 3과 동일할 때(컬러 값당 세 개의 컬러 성분들), 입력 컬러 값 세트

를 출력 컬러 값 세트

상에 매핑함으로써 3x3 행렬

를 추정하는 것은 다음의 각각 세 개의 수학식들의 3 개의 선형 계들을 풀이하는 것을 포함한다:

단

샘플 세트 (( X ₀ ,X ₁ ,X ₂ ),Y _i )에 대해, Err _i =( Y _i -m _i ( X ₀ ,X ₁ ,X ₂ )) ² 인 2차 에러가 계산되고 최소 평균 제곱(Least Mean Squares) 법이 그러면 i=0,1,2 및 j=0,1,2인 g _i,j 에 대해 각각 mi()의 편도함수로부터 만들어진 9 개의 수학식들의 체계를 풀이하는 것으로 이루어진다.

도 1 내지 도 8과 도 10 및 도 11 상에서, 모듈들은 기능성 유닛들인데, 그 유닛들은 가능한 물리적 유닛들에 관련이 있을 수 있거나 또는 없을 수 있다. 예를 들어, 이들 모듈들 또는 그것들 중 일부는 고유 컴포넌트 또는 회로에서 합쳐질 수 있거나, 또는 소프트웨어의 기능들에 기여할 수 있다. 반대로, 일부 모듈들은 별도의 물리적 엔티티들로 잠재적으로 구성될 수 있다. 본 개시내용과 호환 가능한 장치는, 예를 들어 각각 ≪Application Specific Integrated Circuit≫, ≪Field-Programmable Gate Array≫, ≪Very Large Scale Integration≫인 ASIC 또는 FPGA 또는 VLSI와 같은 전용 하드웨어를 사용하는 순수 하드웨어를 사용하여, 또는 디바이스에 임베디드된 여러 통합된 전자 컴포넌트들로부터 또는 하드웨어 및 소프트웨어 컴포넌트들의 혼합체로부터 구현된다.

도 9는 도 1 내지 도 8와 도 10 및 도 11에 관련하여 설명되는 방법을 구현하도록 구성될 수 있는 디바이스(900)의 예시적인 아키텍처를 나타낸다.

디바이스(900)는 데이터 및 어드레스 버스(901)에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다:

- 예를 들어, DSP(또는 Digital Signal Processor)인 마이크로프로세서(902)(또는 CPU);

- ROM(또는 Read Only Memory)(903);

- RAM(또는 Random Access Memory)(904);

- 애플리케이션으로부터 송신하는 데이터의 수신을 위한 I/O 인터페이스(905); 및

- 배터리(906).

개조예에 따르면, 배터리(906)는 디바이스 외부에 있다. 도 9의 이들 엘리먼트들의 각각은 본 기술분야의 통상의 기술자들에 의해 널리 공지되어 있고 추가로 개시되지 않을 것이다. 언급된 메모리의 각각에서, 본 명세서에서 사용되는 ≪레지스터(register)≫라는 단어는 작은 용량(일부 비트들)의 영역에 또는 매우 큰 영역(예컨대, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(903)은 적어도 프로그램과 파라미터들을 포함한다. 본 개시내용에 따른 방법들의 알고리즘이 ROM(903)에 저장된다. 스위치 온 될 때, CPU(902)는 프로그램을 RAM에 업로드하고 대응하는 명령들을 실행한다.

RAM(904)은, 레지스터에, CPU(902)에 의해 실행되는 그리고 디바이스(900)의 스위치 온 후에 업로드되는 프로그램을, 입력 데이터를 레지스터에, 방법의 상이한 상태들에서의 중간 데이터를 레지스터에, 그리고 방법의 실행을 위해 사용되는 다른 변수들을 레지스터에 포함시킨다.

본 명세서에서 설명되는 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 심지어 단일 구현예 형태의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의되더라도), 논의되는 특징들의 구현예는 다른 형태들(예를 들어 프로그램)로 또한 구현될 수 있다. 장치가, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 그 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 포함하는 프로세싱 디바이스들을 일반적으로 지칭하는, 예를 들어, 프로세서와 같은, 예를 들어, 장치로 구현될 수 있다. 프로세서들은, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 정보 단말기들(personal digital assistants)("PDA들"), 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 또한 포함한다.

픽처의 제1 컬러 그레이딩된 버전(E1)과 상기 값들이 제2 컬러 볼륨으로 표현되는 픽처의 제2 컬러 그레이딩된 버전(E2) 간의 상기 컬러 매핑을 추정하는 방법 또는 디바이스의 특정 실시예에 따르면, 픽처의 제1 및/또는 제2 컬러 그레이딩된 버전들(E1 및 E2) 그리고/또는 제1 및/또는 제2 복합 픽처들(C1 및/또는 C2)이 소스로부터 획득된다. 결정된 시간 순간들(t _i )은 소스로부터 또한 획득될 수 있다. 예를 들어, 소스는:

- 국부 메모리(903 또는 904), 예컨대, 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;

- 스토리지 인터페이스(905), 예컨대, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광학적 디스크 또는 자기적 지원물과의 인터페이스;

- 통신 인터페이스(907), 예컨대, 와이어라인 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 국부 영역 네트워크 인터페이스) 또는 무선 인터페이스(이를테면 IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및

- 픽처 캡처링 회로(예컨대, 예를 들어, CCD(또는 Charge-Coupled Device) 또는 CMOS(또는 Complementary Metal-Oxide-Semiconductor)와 같은 센서)를 포함하는 세트에 속한다.

상이한 실시예들에 따르면, 도 1 내지 도 8과 도 10 및 도 11에 관련하여 설명되는 컬러 매핑을 추정하는 방법 또는 디바이스를 구현하도록 구성되어 있는 디바이스(900)는:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 스틸 픽처 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 스틸 픽처 서버;

- 비디오 서버(예컨대, 브로드캐스트 서버, 비디오 온-디맨드 서버 또는 웹 서버),

- 모바일 디바이스;

- 통신 디바이스:

- 게임 디바이스;

- 셋탑 박스;

- TV 세트;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이; 및

- 디코딩 칩을 포함하는 세트에 속한다.

본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현예들이 다양한 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 장비 또는 애플리케이션들로 구체화될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더에게 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 픽처 또는 비디오를 프로세싱하는 임의의 다른 디바이스 또는 임의의 다른 통신 디바이스들을 포함한다. 명확해야 할 바와 같이, 장비는 모바일일 수 있고 심지어 모바일 차량에 설치될 수 있다.

덧붙여, 그 방법들은 프로세서에 의해 수행되고 있는 명령들에 의해 수행될 수 있고, 이러한 명령들(및/또는 구현예에 의해 생성된 데이터 값들)은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 저장 매체가, 하나 이상의 컴퓨터 판독가능 매체(들)에 수록된 그리고 컴퓨터에 의해 실행 가능한 컴퓨터 판독가능 프로그램 코드를 수록하고 있는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용되는 바와 같은 컴퓨터 판독가능 저장 매체가 그 속에 정보를 저장하는 본래의 능력뿐만 아니라 그것으로부터의 정보의 검색을 제공하는 본래의 능력이 주어진 비일시적 저장 매체라고 간주된다. 컴퓨터 판독가능 저장 매체가, 예를 들어, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전술한 것들의 임의의 적합한 조합일 수 있지만 그것들로 제한되지 않는다. 휴대용 컴퓨터 디스켓; 하드 디스크; 판독전용 메모리(ROM); 소거가능 프로그램가능 판독전용 메모리(erasable programmable read-only memory)(EPROM 또는 플래시 메모리); 휴대용 콤팩트 디스크 판독전용 메모리(compact disc read-only memory)(CD-ROM); 광학적 저장 디바이스; 자기적 저장 디바이스; 또는 전술한 바들의 임의의 적절한 조합은, 본원의 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 더 구체적인 예들을 제공하지만, 단지 예시적인 것이고 본 기술분야의 통상의 기술자에 의해 쉽사리 예상되는 바와 같은 포괄적인 목록은 아니라는 것이 이해된다.

그 명령들은 프로세서 판독가능 매체 상에 유형적으로(tangibly) 수록된 애플리케이션 프로그램을 형성할 수 있다.

명령들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수 있다. 명령들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 두 개의 조합에서 발견될 수 있다. 프로세서가, 그러므로, 예를 들어, 프로세스를 수행하도록 구성되는 디바이스와 프로세스를 수행하기 위한 명령들을 갖는 프로세서 판독가능 매체(이를테면 저장 디바이스)를 포함하는 디바이스 둘 다로서 특징화될 수 있다. 게다가, 프로세서 판독가능 매체가, 구현예에 의해 생성된 데이터 값들을, 명령들에 추가로 또는 그 명령들 대신 저장할 수 있다.

본 기술분야의 통상의 기술자에게 분명할 바와 같이, 구현예들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 그 정보는, 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호가 설명된 실시예의 신택스를 기입 또는 판독하기 위한 데이터 규칙들로서 운반하도록, 또는 설명된 실시예에 의해 기입된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어, 전자기 파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 그 신호는, 알려진 바대로, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 그 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현예들이 설명되어 있다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현예들의 엘리먼트들이 다른 구현예들을 생성하기 위해 조합되거나, 보충되거나, 수정되거나, 또는 제거될 수 있다. 덧붙여, 다른 구조들 및 프로세스들이 개시된 것들을 치환할 수 있고 결과적인 구현예들은 개시된 구현예들과는 적어도 실질적으로 동일한 결과(들)을 성취하기 위해 적어도 실질적으로 동일한 기능(들)을, 적어도 실질적으로 동일한 방도(들)로 수행할 것이라는 것을 통상의 기술자가 이해할 것이다. 따라서, 이들 및 다른 구현예들은 본 출원에 의해 예상된다.

Claims (15)

1. 픽처 시퀀스를 프로세싱하는 방법으로서, 상기 방법은 값들이 제1 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제1 컬러 그레이딩된 버전과 값들이 제2 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간에 컬러 매핑을 추정하는 것을 포함하며, 상기 방법은
   - 상기 픽처 시퀀스의 상기 제1 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제1 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제1 복합 픽처를 획득하고, 상기 픽처 시퀀스의 상기 제2 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 상기 제2 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 제2 복합 픽처가 획득되는 단계(10); 및
   - 상기 제1 복합 픽처의 컬러 값들을 상기 제2 복합 픽처의 컬러 값들 상에 매핑하는 컬러 매핑 함수를 추정함으로써 픽처 시퀀스의 상기 제1 및 제2 컬러 그레이딩된 버전들 간의 상기 컬러 매핑을 추정하는 단계(20)를 포함하는 것을 특징으로 하는, 방법.
2. 제1항에 있어서, 상기 픽처들이 동일한 장면 샷에 속하도록 시간 순간들이 결정되는, 방법.
3. 제2항에 있어서, 상기 시간 순간들의 일부는 동일한, 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 컬러 그레이딩된 픽처들은 결합되기 전에 클리핑되는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 및 제2 복합 픽처들을 획득하기 전에 상기 픽처 시퀀스의 상기 제1 및 제2 컬러 그레이딩된 버전 둘 다에서의 결정된 시간 순간들에 위치된 픽처들을 다운 샘플링하는 단계를 더 포함하는, 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 컬러 매핑 함수(20)의 추정값은 기준에 도달될 때까지 반복적으로 획득되는, 방법.
7. 제6항에 있어서, 상기 컬러 매핑 함수는 두 개의 컬러 변환들을 포함하며, 상기 컬러 매핑 함수의 추정값은 반복 k에서,
   a) 반복 k-1에서 추정된 제1 컬러 변환(F1^k-1)을 제1 컬러 값 세트(S1)에 적용함으로써 제3 컬러 값 세트(S3)를 획득하는 단계;
   b) 제2 컬러 값 세트(S2)를 제3 컬러 값 세트(S3) 상에 매핑함으로써 제3 컬러 변환(F3^k)을 추정하는 단계;
   c) 상기 제3 컬러 변환(F3^k)을 제2 컬러 값 세트(S2)에 적용함으로써 제4 컬러 값 세트(S4)를 획득하는 단계;
   d) 제1 컬러 값 세트(S1)를 상기 제4 컬러 값 세트(S4) 상에 매핑함으로써 제1 컬러 변환(F1^k)을 추정하는 단계; 상기 제1 컬러 변환(F1^k)은 제1 컬러 변환(F1^k-1)을 업데이트하는 데 사용됨;
   e) 상기 제1 컬러 변환(F1^k)을 제1 컬러 값 세트(S1)에 적용함으로써 제5 컬러 값 세트(S5)를 획득하는 단계; 및
   f) 제5 컬러 값 세트(S5)를 제2 컬러 값 세트 상에 매핑함으로써 제2 컬러 변환(F2^k)을 추정하는 단계
   에 의해 획득되는, 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 컬러 매핑 함수는 3차원 룩업 테이블에 의해 근사화되는, 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 구분적 선형 함수에 의해 근사화되는, 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 1차원 룩업 테이블에 의해 근사화되는, 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 컬러 매핑 함수는 적어도 하나의 컬러 변환을 포함하며, 상기 적어도 하나의 컬러 변환은 선형 행렬에 의해 근사화되는, 방법.
12. 픽처 시퀀스를 프로세싱하는 디바이스로서, 상기 디바이스는 값들이 제1 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제1 컬러 그레이딩된 버전과 값들이 제2 컬러 볼륨으로 표현되는 상기 픽처 시퀀스의 제2 컬러 그레이딩된 버전 간에 컬러 매핑을 추정하도록 구성되는 프로세서를 포함하며,
    상기 프로세서는 추가로,
    - 상기 픽처 시퀀스의 상기 제1 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 제1 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 상기 제1 복합 픽처를 획득하고, 상기 픽처 시퀀스의 상기 제2 컬러 그레이딩된 버전의 적어도 두 개의 픽처들을, 상기 제2 복합 픽처의 콘텐츠가 상기 적어도 두 개의 픽처들 중 각각의 픽처의 콘텐츠의 적어도 일부를 포함하도록 어셈블리함으로써 제2 복합 픽처가 획득되도록 하고(10);
    - 상기 제1 복합 픽처의 컬러 값들을 상기 제2 복합 픽처의 컬러 값들 상에 매핑하는 컬러 매핑 함수를 추정함으로써 픽처 시퀀스의 상기 제1 및 제2 컬러 그레이딩된 버전들 간의 상기 컬러 매핑을 추정하도록(20)
    구성되는 것을 특징으로 하는, 디바이스.
13. 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 프로그램 코드 명령들은 이 프로그램이 컴퓨터 상에서 실행될 때 제1항 내지 제11항 중 어느 한 항의 방법의 단계들을 실행하는, 컴퓨터 프로그램 제품.
14. 명령들을 저장하고 있는 프로세서 판독가능 매체로서, 상기 명령들은 프로세서로 하여금 적어도 제1항 내지 제11항 중 어느 한 항의 방법의 단계들을 수행하게 하는, 프로세서 판독가능 매체.
15. 프로그램 코드의 명령들을 운반하는 비일시적 저장 매체로서, 상기 프로그램 코드의 명령들은 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제1항 내지 제11항 중 어느 한 항의 방법의 단계들을 실행하는, 비일시적 저장 매체.

Images