KR20170106333A

KR20170106333A - 모션-기반 비디오 색조 안정화를 위한 방법들 및 장치

Info

Publication number: KR20170106333A
Application number: KR1020177019743A
Authority: KR
Inventors: 오리엘 프리고; 네우스 사바테르; 피에르 엘리에; 줄리 드롱
Original assignee: 톰슨 라이센싱
Priority date: 2015-01-15
Filing date: 2016-01-15
Publication date: 2017-09-20
Also published as: US20170374334A1; JP2018509027A; EP3046318A1; EP3245785A1; WO2016113410A1; CN107113413A

Abstract

모션 기반 비디오 색조 안정화를 위한 하나의 일반 양태는 키프레임과 모션 추정 기법을 이용하여, 입력 이미지들과 키프레임 사이의 공간 대응의 레벨을 결정한다. 공간 대응의 레벨이 높을 때, 카메라 모델의 선험적 지식 없이, 자동 카메라 파라미터들에 의해 야기되는 이미지들 사이의 컬러 차이들을 최소화하도록 회귀 및 멱법칙 색조 변환을 통하여 색조 안정화가 수행된다. 장기간 색조 전파를 이용하는 것에 의해 색조 오차 누적이 감소된다.

Description

모션-기반 비디오 색조 안정화를 위한 방법들 및 장치{METHODS AND APPARATUS FOR MOTION-BASED VIDEO TONAL STABILIZATION}

본 원리들은 일반적으로 비디오 시퀀스의 또는 이미지들의 색조 안정화를 위한 방법들 및 장치에 관한 것이다.

저비용 비디오 카메라의 확산에 의해 촉진되는 증가하는 수의 아마추어 비디오 영상들 (video footage) 은 많은 수의 가시적인 비디오 아티팩트들을 상당히 증가시켰는데, 그들 중 일부는 모션 및 색조 불안정성이다. 모션 안정화는 여러 연구자들에 의해 연구되어 왔지만 색조 불안정성에 대해서는 아직 많이 논의된 바가 없다.

비디오 색조 불안정성은 시퀀스의 인접한 프레임 컬러들의 변동들에 의해 특징화되는 특정의 시간적 아티팩트이다. 일 종래의 방법에 따르면, 최신 비디오에서 이들 불안정성들은 주로 카메라의 자동 설정들에 의해, 특히 자동 화이트 밸런스 및 자동 노출로 인해 발생한다.

자동 화이트 밸런스 및 자동 노출은 소비자의 편의를 도모하는 한편 컬러 밸런스되고 잘 노출된 이미지들을 개별적으로 제공하기 위한 컨슈머 디지털 카메라들의 일반적인 피쳐들이다. 그러나, 이들 피쳐들은 주로 정지 이미지들에 적합하며, 시간적으로 안정적이지 않아 비디오들에서 인식될 수 있는 불쾌한 색조 불안정성들을 야기한다. 자동 화이트 밸런스 알고리즘의 주목할 만한 문제는 조명 추정에 대한 이들의 의존성이며, 이는 잘못된 것으로 간주된다. 그레이 세계 및 최대 rgb 와 같은 가정들은 실제로 그리고 시간적 장면 변화들의 맥락에서 쉽게 깨지기 쉬우며, 따라서, 이는 색채의 불안정성을 초래하기 쉽다.

한편, 자동 노출은 다이내믹 레인지의 내재된 한계를 보완하는 카메라의 중요한 피쳐이다. 그러나, 비디오 푸티지들의 고속 노출 변화들은 뷰어에게 불쾌할 수 있으며, 따라서 고속으로 변화하는 노출들의 시간적 평활화가 잠재적으로, 비디오의 인지된 품질을 향상시킬 수 있다. 노출을 안정화하는 것은 또한 휘도 일정성 가정 (예를 들어, 트래킹, 옵티컬 플로우) 에 의존하는 컴퓨터 비전 애플리케이션들에 유용할 수 있다.

일부 경우들에서, 자동 화이트 밸런스를 간단하게 턴 오프할 수 있지만, 로우 엔드 카메라는 세트업 파라미터들에 대한 제어를 제공하지 않는다. 이 경우, 불쾌한 색조 변동을 피할 수 있는 유일한 대안은 비디오를 추가로 프로세싱하는 것이다. 문헌의 몇몇 작업들은 비디오의 색조 불안정성의 문제를 접근하였고, 기존의 솔루션들은 특정 유형들의 휘도 플리커를 처리하는 것으로 제한되거나 또는 실시간 응용 프로그램에 적합하지 않다.

본원에 설명된 실시형태들은 비디오들에서 색조 안정화를 해결하기 위한 고속의 그리고 파라미터적 방법 및 장치를 제공한다. 하나의 특징은 폐형태 (closed form) 솔루션으로 쉽게 계산될 수 있는 최적화로서 색조 안정화 문제의 모델링이다. 또한, 이 방법은 프레임들 사이의 도미넌트 모션을 고려하여, 시간적으로 먼 프레임들 사이의 정확한 컬러 대응들을 이 방법이 계산하는 것을 허용한다. 제안된 장치 및 방법은 보다 견고하고 신뢰성있는 색조 안정화를 가져온다.

종래 기술의 이들 및 다른 결함들 및 단점들은 이미지들의 데이터베이스의 콘트라스트 향상을 위한 방법들 및 장치를 지시하는 다양한 설명된 실시형태들에 의해 해결된다.

하나의 일반적인 양태에 따르면, 비디오 색조 안정화 방법이 제공된다. 이 방법은 공간 대응 함수를 생성하기 위해 이미지와 키프레임 사이의 모션 기반 대응들을 결정하는 단계를 포함한다. 이는 입력 이미지와 키프레임 사이의 모션 추정을 수행하는 단계, 이미지를 키프레임과 정렬되도록 와핑하는 단계, 정렬된 이미지들의 차이 맵에서 임계값보다 높은 값들을 폐기하는 단계를 포함할 수 있다. 본 방법은 업데이트된 키프레임을 사용하여 결정하는 단계를 반복하기 전에, 이미지들 사이의 모션 기반 대응들의 수가 임계값보다 크다면, 키프레임을 업데이트하는 단계, 및 모션 기반 대응들의 수가 임계값 미만이면 이미지에 대해 컬러 수정을 수행하는 단계를 더 포함한다. 컬러 수정은 공간적 대응 함수에서 점들의 세트에 대해 회귀를 수행하는 단계, 및 이미지와 키프레임 사이의 컬러 차이들를 최소화하기 위해 상기 이미지에 대한 변환을 수행하는 단계를 포함할 수 있다.

다른 일반적인 양태에 따르면, 비디오 색조 안정화를 위한 장치가 제공된다. 본 장치는 이미지 및 키프레임 상에서 동작하는 모션 추정기를 포함한다. 본 장치는 이미지와 키프레임을 정렬하는 이미지 프로세서, 공간적 대응 함수를 발생시키는 임계값보다 높은 값들을 폐기하기 위해 정렬된 이미지들의 차이 맵 상에서 동작하는 비교기, 및 이미지들 사이의 모션 기반 대응들의 수가 임계값 미만이면, 키프레임들을 업데이트하고, 모션 추정기, 이미지 프로세서 및 비교기의 동작을 제어가 반복하게 하는 회로부를 더 포함한다. 본 장치는 이미지들 사이의 모션 기반 대응들의 수가 임계값보다 큰 경우, 공간적 대응 함수에서의 점들의 세트에 대해 회귀를 수행하는 제 1 프로세서; 및 이미지와 키프레임 사이의 컬러 차이를 최소화하기 위해 이미지에 대한 변환을 수행하는 제 2 프로세서를 더 포함한다.

하나 이상의 구현형태들의 상세들은 첨부된 도면과 하기의 설명으로부터 설명된다. 일 특정 방식으로 설명되어 있지만, 구현형태들은 여러 방식으로 구현되거나 구성될 수 있음이 명백해야 한다. 예를 들어, 구현은 방법으로서 수행될 수 있거나, 또는 장치로서, 이를 테면, 예를 들어, 동작들의 세트를 수행하도록 구성되는 장치, 또는 동작들의 세트를 수행하는 명령들을 저장하거나 또는 신호에서 구체화되는 장치로서 구현될 수 있다. 다른 양태들 및 특징들은 첨부된 도면 및 청구항과 연계하여 고려되는 다음의 상세한 설명으로부터 명백하게 될 것이다.

본 원리들은 다음의 예시적인 도면들에 따라 보다 잘 이해될 수 있다.
도 1 은 비디오 색조 안정성을 통한 수정된 예들 및 오리지널 이미지들을 도시한다.
도 2 는 비디오 색조 안정화를 위한 플로우차트의 일 실시형태를 도시한다.
도 3 은 비디오 색조 안정화를 위한 일부 단계들을 도시한다.
도 4 는 본 원리에 따라 채널별 히스토그램 사양을 도시한다.
도 5 는 상이한 노출 및 화이트 밸런스를 갖는 이미지들의 예들을 도시한다.
도 6 은 멱법칙 모델로 수정된 이미지들의 일 예를 도시한다.
도 7 은 비디오 색조 안정화를 위한 방법의 일 실시형태를 도시한다.
도 8 은 컬러 차트로부터 추출되고 멱법칙 변환들로부터 추정된 데이터 포인트들을 도시한다.
도 9 는 시간 경과 시퀀스에 대한 노출 수정의 일 예를 도시한다.
도 10 은 도 9 의 시퀀스를 수정하기 위한 추정된 곡선들 및 데이터 포인트들을 도시한다.
도 11 은 비디오 색조 안정화를 위한 장치의 일 실시형태를 도시한다.
도 12 는 테스트 시퀀스에서 색조 안정화의 일 예를 도시한다.
도 13 은 비디오 색조 안정화를 위한 플로우차트의 일 실시형태를 도시한다.

설명된 실시형태들은 모션 기반 비디오 색조 안정화를 위한 방법들 및 장치들에 대하여 지시된다.

일반적으로 말하면, 색조 안정화는 시퀀스의 다수의 이미지들에서 원하지 않는 컬러 변동들을 최소화하는 변환들에 대하여 연구하는 것으로 설명될 수 있다.

이 섹션은 비디오 색조 안정화를 위한 제안된 방법의 주요 기여도들 및 이유를 제시한다. 먼저, 목적은 다음의 원하는 특성들을 갖는 방법을 상정하는 것이다: 1) 비디오에서 프레임들 사이에서 관측되는 컬러 불안정성을 모델링하는데 있어서 정확도; 2) 모션, 폐색 및 노이즈에 대한 견고함; 3) 근실시간 애플리케이션에서 구현될 계산적 단순성.

실제로 제 1 특성 (모델 정확도) 은 종종 견고성 및 계산적 단순성의 다른 특성들과 모순됨이 관측된다. 특히, 색조 변환의 관점에서, 가장 정확한 모델로서 간주될 수 있는 방사선 계측 캘리브레이션 접근 방식은 실제로 모션 및 폐색에 대하여 견고하지 않고 전반적으로 복잡하다. 이를 유념하여 보면, 제안된 방법은 이들 3 개의 특성들 사이의 양호한 절충안의 목적을 갖는다.

또한, 종래의 방법으로부터의 당해 기술 분야의 색조 안정화 방법은 위에 언급되었던 색조 안정화를 위한 원하는 특성들을 충족하지 못한다. 이 방법의 주요 제약들은 공간적 대응들에 의존한 것이지만, 그러나, 인접하는 프레임들의 공간적 좌표들 사이에서 모션 보상을 적용하는 것이 없다. 따라서, 공간적 대응들의 정확도는 2 개의 프레임들 사이에서 고속의 모션의 경우에 심각하게 손상될 수 있다.

도 2 는 색조 안정화를 위한 제안된 방법의 흐름도를 도시하고, 도 3 은 제안된 방법의 일반적 개요를 제시한다. 모션 및 폐색에 대한 견고성 (이전의 방법들의 중요한 제약) 을 실현하기 위해, 참조 키프레임 (u_k) 과 수정될 프레임 (u_t) 사이의 도미넌트 모션이 추정된다. 그 후, 컬러 대응들을 연산하기 위하여, 이들 2 개의 프레임들이 레지스터된다. 누적적 모션에 의해, 심지어 u_k 와 u_t 가 시간적으로 수개의 프레임들에서 상이한 경우에도, 우리는 u_k 와 u_t 를 레지스터가능하다. 마지막으로, 컬러 대응들을 이용하여 색조 불안정성을 수정하도록 적용된 컬러 변환을 추정한다.

당해 기술과 비교하여 제안된 방법의 기여도들은 다음과 같이 요약될 수 있다:

1. 모션 드라이브된 방법: 도미넌트 모션 추정 및 보상에 의해 얻어지는 프레임들 사이의 정확한 컬러 대응들의 이용.

2. 모션 누적에 의해 획득되는 장기간의 모션 추정을 이용하는 것에 의한 시간적으로 더 긴 색조 코히어런스.

3. 컬러 수정을 위하여 계산적으로 간략하지만 효율적인 파라미터 모델의 제안.

제안된 알고리즘의 적용을 위하여, 모델링되는 컬러 변동들 및 수정될 시퀀스에 관한 일부 가정을 행하는 것이 필요하다. 특히 하기와 같이 가정한다:

1. 시퀀스 (장면 컷들이 없음) 에서 이웃하는 프레임들 사이에 공간적 대응들 (또는 컨텐츠에서의 리던던시) 가 존재한다.

2. 프레임들 사이에서 색수차 (colorimetric aberration) 를 보상할 수 있는 전역적 변환 (global transformation) 이 존재한다.

장면 지오메트리의 극도의 변동들 (즉, 거의 전체 폐색) 또는 방사선 계측에서의 극도의 변동들 (즉, 조명 또는 채도에서의 거대한 변화들) 을 통과하지 않는 한, 제 1 가정이 단일 샷으로 이루어진 시퀀스마다 컨펌된다. 제 2 가정은 관측된 컬러 불안정성 및 결과적인 카메라 응답 함수가 전역적임 (공간적으로 불변성임) 을 내포한다. 즉, 제안된 방법은 오래된 아카이브된 필름들에서 관측되는 국부적 플리커와 같은 국부적 색조 불안정성들의 수정에 적합하지 못하다.

다음 서브섹션은 제안된 방법의 각각의 주요 단계를 (도 3 에서) 자세하게 논의한다. 간략화를 위하여, 색조 변환 모델은 모션 없는 이미지들 사이에서 컬러 수정의 가장 간단한 케이스를 먼저 가정하여 이하 설명된다. 시퀀스에서, 제안된 모델은 모션을 포함하는 시퀀스들의 색조 안정화의 일반적 케이스를 처리하도록 제시된다. 마지막으로, 방법의 효율성은 당해 기술 분야와의 비교 및 실제 시퀀스들에서의 실험들로부터 설명된다.

색조 변환 모델

이 섹션에서, 색조 불안정화의 수정을 위한 색조 변환 모델이 설명된다. 특히, 색조 변동들이 카메라 자동 파라미터들에 의해 특히 야기되게 하도록, 동일한 카메라로 촬영된 이미지들에서 관측된 색조 불안정성의 경우를 고려하여 본다.

하나의 종래의 방법에 따르면 완전한 컬러 획득 모델이 하기에 의해 주어진다:

(1)

식에서,

는 컬러 카메라 응답을 표기하고,

는 카메라 컬러 공간 변환 (시간에 따라 일정함) 에 대해 고려되는

행렬이며, u 는 관측된 강도이며, E 는 방사조도 (irradiance) 이고,

는 화이트 밸런스 및 노출 (시간에 따라 변함) 에서의 변화들을 고려한 대각화 행렬이고, 하기와 같이 주어진다:

(2)

u₀ 및 u₁ 은 동일한 카메라에 의해 촬영된 2 개의 완벽하게 레지스터된 이미지들이고 (이들 이미지들이 동일한 방사조도 (E) 를 갖도록) 화이트 밸런스 및 노출에 대해서만 상이하다. 일정한 카메라 응답의 성분으로서

를 표기하면, 하기와 같다:

(3)

그리고

(4)

이때, u₀ 와 u₁ 사이의 색조 차이를 수정하기 위한 간단한 접근 방식은 u₁ 의 동일한 색조 특성들을 갖도록 u₀ 의 컬러들을 변환하여 하기와 같도록 하는 것이다:

(5)

(6)

따라서, 이미지들 (u₀ 및 u₁) 사이의 이론상 색조 안정화가, (비선형 변환들 H 및 H^-1) 에 의해 주어지는) 카메라 센서 공간에서 수행되는 단순 대각화 변환으로 실현될 수 있다. 이 색조 안정화 모델은 방사 조도

가 RAW 이미지들의 형태로 알려질 때 카메라 컬러 트랜스퍼를 수행하기 위한 정확한 절차로서 방사선 계측 캘리브레이션들에 의해 발생되어, H 의 추정을 허용한다. 그러나, 색조 안정화의 문제에 대해, 저가의 카메라들에 의해 촬영된 비디오와 직면하게 되고, 이들 비디오로부터 방사선 계측 캘리브레이션을 연산하는데 필요한 일반적인 가정들을 행할 수 없다. 카메라 응답 함수를 추정하는데 필요한 동일한 장면에서의 다중 노출들의 가정은 일부 시퀀스들에서는 유효하지 않을 수도 있으며 RAW-sRGB 대응들은 실제적으로 이용가능하지 않다.

비디오 색조 안정화를 위하여 단지 리스트된 원하는 특성들에 따르면, 방사선 계측 캘리브레이션 모델은 정확한 반면, 방사 조도가 알려져 있지 않은 시퀀스들의 색조 안정화에 적용되기에 충분히 일반적이지 않고 지나치게 복잡하다. 이때의 질문은, u₀ 및 u₁ 에서 관측된 강도들만이 알려진 정보일 때 이 모델을 어떻게 근사시키는가? 이다.

관측된 이미지가 그들의 색조 특징들을 정규화하는 정확한 컬러 변환을 도출하기에 충분한 정보를 제공하지는 않지만, 이 문제에 대한 효과적인 솔루션이, 파라메트릭 또는 비파라메트릭 추정 방법들에 의해 연산될 수 있는 (휘도 또는 컬러 전달 함수와 같은) 색조 강도 맵핑으로부터 유래하는 것이 본원에서 제안된다. 다음으로, 각각의 추정 접근 방식의 장단점이 기술되며 이 제안된 선택에 대한 동기를 제공한다.

비- 파라메트릭 또는 파라메트릭 컬러 변환

비-파라메트릭 컬러 변환 모델들은 변환의 유형에 대한 명시적 가정을 행하지 않아, 포스트 프로세싱 정규화를 요구하는 정규성의 결여라는 위험이 있지만, 비선형 변환들을 모델링하는 것을 허용한다.

비-파라메트릭 컬러 변환의 일부 주목할만한 예들은 가중된 보간 및 히스토그램 사양이다. 전술한 바와 같이, (종래 기술의 색조 안정화 방법에서 제안된 바와 같은) 가중된 보간은 메모리 요건들 및 프로세싱 시간의 관점에서 계산적으로 복잡하다는 결함을 갖는다. 다른 종래의 방법에 의해 제안된 바와 같은 컬러 보간은 실제로 히스토그램 사양과 유사한 전역적 변환이며, 가장 큰 차이는 보간이 공간적 대응들로부터 계산되는 반면 히스토그램 사양은 강도 누적 히스토그램으로부터 계산되는 점을 주지해야 한다.

고전적인 히스토그램 사양은 색조 안정화 문제를 해결하는 효율적인 대안일 수 있다 (채널별 사양은 O(nlog n) 계산만을 요구하며 여기에서 n 은 이미지에서의 픽셀들의 수이다). 그러나, 히스토그램 사양의 잘 알려진 제약들이 존재한다. 실제로, 이는 포스트-프로세싱을 필요로 하는 콘트라스트 스트레칭 및 양자화 아티팩트로 이어질 수 있고, 특히 컬러를 처리할 때 변환의 범위 외삽이 항상 가능한 것은 아니다. 예를 들어, 채널별 히스토그램 사양을 도시한 도 4 에 예시된 변환들을 예로 든다. 도 4 의 레드 및 블루 변환 곡선들은 급격한 점프에 의해 영향을 받고, 변환 후 결과 이미지에 강한 아티팩트들을 생성하도록 되어짐을 주지해야 한다.

한편, 파라메트릭 모델들은 변환이 소정의 함수 (예를 들어, 선형, 아핀 및 다항식) 에 의해 모델링될 수 있다고 가정하므로, 변환의 계수들을 추정하는 것에 의해 문제가 해결된다. 임의의 형태의 변환을 모델링하는 데 매우 유연하지는 않지만 파라메트릭 모델들은 전체 컬러 범위에 대해 잘 정의된 평활하고 정규적인 함수들로 표현된다는 중요한 이점을 가지므로 외삽 법은 문제가 되지 않는다. 또한, 변환이 몇몇 파라미터들에 의해 기술되므로 이는 시간적으로 오실레이션의 위험을 감소시킨다.

디지털 카메라에 구현된 대부분의 화이트 밸런스 알고리즘들은 RAW 이미지들에서 수행되는 Von Kries 대각선 변환인 단순한 파라메트릭 모델로 채널 스케일링을 조정한다 (실제로 일부 카메라 화이트 밸런스 알고리즘은 레드 및 블루 채널들만을 보상하고 그린 채널은 그대로 둔다). 그러나, 색조 변환 모델의 논의에서 설명된 바와 같이, sRGB 이미지에 적용된 대각선 모델은 카메라 응답에 고유한 비선형성들을 모델링할 수 없다.

컬러 안정화를 위한 정확한 색조 변환 모델을 도출하는 정보는 이것이 파라메트릭 변환이든 또는 비파라메트릭 변환이든 여부에 관계없이 충분하지 않다. 따라서, 신속하게 계산하기에 충분하게 간단하고 시각적으로 양호한 (pleasant) 색조 안정화된 시퀀스를 생성하기에 충분하게 정확한 색조 변환 모델에 대한 필요성이 존재한다. 상이한 파라메트릭 및 비파라메트릭 모델들 (히스토그램 사양, 스플라인 보간, 피스별 선형 함수, 대각화 모델) 에 의한 실험들을 수행한 후, 멱법칙 변환이 위에서 언급한 기준에 가장 잘 부합하는 것으로 나타났다.

멱법칙 컬러 변환

간략한 설명을 위하여, 이 서브섹션은 모션을 포함하지 않는 시퀀스들에서 색조 불안정성을 수정하는 데 이용되는 것으로 가정한 제안된 색조 변환 모델을 설명한다. 모션을 포함하는 시퀀스의 일반적인 경우는 나중에 접근한다.

비선형 색조 불안정성들을 수정하기 위한 가정은 프레임들 사이의 노출 차이들은 지수적 팩터에 의해 근사될 수 있지만, 화이트 밸런스 수정은 대각화 컬러 재스케일링에 의해 근사될 수 있다. 파라메트릭 멱법칙 모델은 이들 가정들을 공동으로 성공적으로 충족시킨다. 형식적으로, u_k 를 참조 이미지인 것으로 두고 u_t 를 수정될 이미지인 것으로 두면, 이미지들이 완벽하게 레지스터되었다고 가정하면, u_k 와 u_t 사이의 멱법칙 관계는 다음 형태의 함수로서 쓰여진다:

(7)

여기에서,

는 이미지 컬러 채널들인 것으로 표기하고,

는 도메인

상에서 공간 좌표들인 것으로 표기한다. 이때의 문제는 최적의 계수들 (

) 을 추정하는 것에 의해 최소 자승 오차를 최소화하는 것이다:

(8)

및

상에서 비선형 식 8 의 최소화는 분석 솔루션 (b) 을 갖기 못하지만, 도 7 에서의 n 법칙은 다음과 같이 다시 쓰여질 수 있고:

(9)

그리고 대수적 도메인에서 정의된 아핀 함수로서 선형 최소 자승 피팅에 의해 풀 수 있다:

(10)

여기에서,

이다. 이때, 하기와 같이 설정하는 것에 의해 식 10 을 풀어:

(11)

단변량 선형 회귀에 대한 잘 알려진 분석 솔루션을 도출한다:

(12)

(13)

` (14)

계수들 (

및

) 을 획득하기 위한 이 솔루션은 일부 원하는 특성들을 갖는다: 이는 계산적으로 단순하고 정확하고, n 개의 대응 점들의 수에서 선형인 O(n) 반복시 수렴하도록 보장된다 (

). 리마크로서, 식 8 을 최소화하는 것은 식 10 을 최소화하는 것과 분명히 같지 않다는 것에 주목해야 된다. 대수적 도메인에서 아핀 함수를 피팅할 때, 손실 함수 (E) 는 또한 대수적으로 되고, 낮은 값으로부터 연산된 잔차값들이 높은 값으로부터 연산된 잔차값들보다 더 많은 가중치를 갖는 경향이 있음이 알려져 있다. 컬러 수정의 우리의 적용을 위하여, 이는 추정이 어두운 컬러들에서의 아웃라이어의 존재에 특히 민감할 수 있음을 내포한다. 분석 솔루션이 고속이고 (비선형 오차에 대해) 정확하더라도, 선형 평균 제곱 오차의 관점에서 더 높은 회귀 정확성을 위해, 이 솔루션은 구배 하강과 같은 수치적 방법으로 대안적으로 연산될 수 있다.

R² (결정 계수) 를 이용한 멱법칙 모델의 정확도는 평가될 수 있고, 이는 모델의 피트의 정확도에 대한 일부 정보를 제공한다. 이 계수는 회귀 라인이 실제 데이터 점들에 얼마나 잘 근사시키는지의 통계적 척도이다. 예를 들어, 1 의 R² 는 회귀 라인이 데이터를 완벽하게 피트하는 것을 나타낸다. 이 경우에, 회귀 라인이 대수적 도메인에 얼마나 양호하게 피트되는지를 평가하는 것에 의해 피트의 정확도가 하기에 의해 주어지는 것이 바람직하다:

(15)

여기에서,

이다.

멱법칙 관계는 카메라 노출 및 화이트 밸런스에서 변동이 존재하는 경우 동일한 장면으로부터 촬영된 이미지들로 예시될 수 있다. 도 5 는 스마트폰에 의해 촬영된 동일한 장면의 사진들의 시퀀스를 도시한다. 각각의 픽처는 (카메라 설정들을 이용하여) 상이한 노출 또는 화이트 밸런스를 갖도록 조정되어, 제 1 픽처와 다음에 오는 픽처들 사이의 컬러 트랜스퍼 함수를 연구하는 것에 의해 색조 변화들이 분석될 수 있다. 보다 구체적으로, Macbeth 컬러 차트를 참조로서 활용하기 위해, 차트의 각각의 컬러의 중간 컬러 값을 이용하여 멱법칙 변환을 추정한다. 도 8 은 다음의 픽처들에서 제 1 픽처로부터의 컬러들과 다음 픽처들에서의 컬러들 사이의 함수 관계의 그래픽을 플롯한다. 도 8 의 좌측 컬럼은 통상의 선형 그래픽을 플롯하며, 여기에서 비선형 관계가 관측됨을 주지한다. 우측 컬럼에서 로그-로그 그래픽이 플롯되며, 여기에서 함수적 관계는 이때 대략적으로 선형이다. 마지막으로, 도 6 은 추정된 멱법칙 컬러 변환들로 수정된 후에 동일한 시퀀스의 픽처들을 도시한다. 컬러들은 컬러 수정 후에 효과적으로 안정화됨을 주지해야 한다. 그러나, 주의깊은 관측에서, 제 1 픽처와 다음 픽처들 사이에 일부 컬러 차이들이 존재함을 또한 주지할 수 있다. 이는 모델이 근사값이라는 사실에 기인하며, 추가적인 카메라 정보의 도움 없이 맵핑될 수 없는 포화된 컬러들에서는 실패하기 쉽게 된다. 또한, 화이트 밸런스 및 노출에서의 변동들이 극단적인 이 실험에서, 비디오 샷에서의 화이트 밸런스에서의 이러한 극단적 변동들이 관측되기 쉽지 않음을 주지해야 한다. 또한, 대수적 도메인 상에서의 R² 피트의 적합성은 이 예에서 도시된 모든 연산된 회귀들에 대해 0.9 보다 더 크며, 이는 컬러 강도들 사이의 관계가 실제로 대수적 스케일로 대략적으로 선형임을 보여준다.

제안된 색조 변환 모델은 또한 노출 불안정성만을 보상하도록 효과적으로 적용될 수 있다. 도 9 는 시간 경과 시퀀스의 오리지널 및 수정된 버전으로부터의 5 개의 프레임들을 나타낸다. 모션의 영향이 추정된 색조 변환의 정확도에 간섭하지 않기 때문에, 시간 경과 비디오와 같은 모션을 포함하지 않는 시퀀스들은 색조 수정 모델을 검증하는 것에 관심있다. 도 10 에서, 제 1 프레임과의 대응들에 따라 각각의 프레임을 변환하도록 RGB 포인트들 및 RGB 추정된 곡선들의 플롯을 도시한다. 멱 법칙 변환은 강도 분포에 잘 피트됨을 주지한다.

마지막으로, 컬러 변환에 대한 멱 법칙 모델이 일반적으로 필름 포스트-제조에서 컬러 등급화에 이용됨을 주지해야 한다. ASC CDL (American Society of Cinematographers Color Decision List) 은 다른 제조자들의 장비와 소프트웨어 사이의 컬러 등급화 파라미터들의 교환을 위한 포맷이다. 포맷은 각각의 컬러 채널에 독립적으로 적용되는 3 개의 파라미터들, 기울기 (α), 오프셋 (β) 및 거듭제곱 (γ) 으로 정의된다:

(16)

이 변환은 일반적으로 컬러 그레이딩 소프트웨어에 특정된 컬러 스페이스 (예를 들어, DaVinci Resolve 의 YRGB 컬러 스페이스) 에 적용된다. ASC CDL 에 비해, 본 발명의 파라미터 모델은 유사하게, 오프셋 없이 멱 및 기울기 계수들에 기초하며 이는 본 발명이 바람직하게 분석적 표현으로 최적의 파라미터들을 연산하게 허용한다.

모션 및 시간적 코히어런스 모델

완벽하게 레지스터된 이미지들의 가정이 편리한 출발점이기는 하지만, 대부분의 시퀀스들에서 실제로 모션이 관측되는 것이 명백하다. 모션 추정은 프레임들의 쌍 사이 뿐만 아니라 시퀀스에서의 여러 프레임들 사이의 모션을 고려하는 것에 의해 색조 안정화를 보장하도록 본 방법에 의해 제안된다.

다수의 모션 추정 방법들이 존재하며, 일부 예들은 도미넌트 전역 모션 추정, 조밀한 광학적 플로우 및 희소한 피처 트랙킹이다. 모션 기반 대응들에 의해 드라이브되는 색조 변환을 추정하는 현재의 작업에 대해, 정확한 컬러 변환들을 추정하기 위해 균일한 강도 영역들 사이에 대응들을 활용할 수 있도록 조밀한 대응 세트를 갖는 것이 바람직하다고 가정한다.

특히, 본 기술은 대부분 절충안에 의해 모티베이션되는 프레임들 사이의 도미넌트 모션 추정에 의존한다. 도미넌트 모션은 조밀한 옵티컬 플로우와 비교할 때 계산상 더 간단하지만 (실시간으로 가능하게 연산됨) 도미넌트 모션은 픽셀별 정확도를 제공하지 않는다. 그러나 일반적으로 도미넌트 모션은 카메라 모션에 대해 고려하고, 비디오에서 보여지는 색조 불안정성은 일반적으로 카메라의 모션과 상관된다. 정확한 모션 (즉, 비디오 모션 안정화) 에 크게 의존하는 작업들과 대조적으로, 프레임들 사이의 색조 차이들을 보상하는 컬러 변환을 추정하기 위하여 매우 정확한 모션 디스크립션이 필요하지 않다.

t = k+1 이도록 시퀀스에서 두 개의 이웃하는 프레임들로서

및

를 표기하면, u_t 및 u_k 는 동일한 장면이고 미소한 공간적 변위에 의해서만 상이하게 됨을 추정한다. 그 후, 이들 프레임들 사이의 2D 모션은 전역 변환 (A) 에 의해 기술될 수 있어,

와

가 u_t 및 u_k 의 레지스트레이션 (모션 보상 정렬) 을 표기하게 되고 여기에서

는 u_k 에서의 공간 좌표들의 서브세트이다. 보다 구체적으로, 우리는 프레임들 사이의 스케일, 변환 및 회전 변환을 고려하여 복잡성과 대표성 사이의 양호한 절충으로 간주될 수 있는 어핀 와핑을 고려하는 행렬로서 A 를 표현한다. 그러면,

(17)

(18)

이 되고, 여기에서, x = (x₁, x₂) 는 오리지널 픽셀 좌표들을 표기하고,

는 점 x 에서 모델링된 아핀 플로우 벡터이고,

는 추정된 모션 계수들이다. 종래의 접근 방식에서 견고한 파라미터 모션 추정 방법에 기초하여 계수들을 추정한다. 이 방법은 M-추정기 손실 함수 (Tukey의 이중 가중) 를 갖는 IRLS (Iteratively Reweighted Least Squares) 에 의해 시공간 구배들의 관점에서 최적의 아핀 모션 계수들을 연산한다. 이러한 손실 함수는 통상의 2 차 오차보다 모션 아웃라이어들에 대해 더 견고한 것으로 알려져 있다. 이 방법은 또한 휘도 일정 가정 (동일한 물체로부터의 픽셀 강도들이 시간에 따라 변하지 않는다는 것을 나타냄) 을 완화시키는 간단한 방법으로서 휘도 오프셋을 고려하여, 장면 조명의 사소한 변화들을 처리한다.

t = k+1 에 대해, 이웃하는 프레임들 (u_t 및 u_k) 사이의 모션 추정의 경우를 고려한 후, 우리는 임의적 k 가 t 에 대해 몇몇 프레임만큼 상이한 경우에 대한 접근 방식을 일반화한다. 특히, 비디오 색조 안정화를 위하여, 더 긴 색조 코히어런스를 보장하기 위하여 몇몇 프레임들 사이에서 모션 추정을 활용하는 것이 바람직하다. 그러나, 장기간 모션 추정은 도전 중인 문제이며, 시공간적 구배들에 기초한 방법들은 프레임들 사이에서 더 큰 직접 모션 추정을 처리할 수 없다. 더 큰 변위를 처리하기 위한 일반적인 해결 방법은 몇몇 프레임들 사이에서 큰 모션을 추정하는데 있어 다중 해상도 추정이 부정확한 경우에도 다수의 이미지 해상도들로부터 모션을 추정하는 것이다. 즉, 이 종래 기술에 기초한 신뢰성있는 파라메트릭 도미넌트 모션 추정이 프레임간 모션에 대해서만 제한된다.

실제로, 프레임간 모션의 단순한 누적은 색조 변환들의 추정에 이용될 수 있는 장기간 모션의 근사값으로서 이용된다. 형식적으로,

(키프레임은 "과거"에 있음) 이고,

는 u_t 및 u_k 에서의 장면들이 오버랩되는 시간 스케일인 것으로 가정하고, u_t 로부터 u_k 까지의 누적된 아핀 모션은 다음에 의해 주어진다:

(19)

여기에서

는 u_t 로부터 u_k 까지 추정된 모션 계수들을 표기한다.

의 추정을 행하기 때문에, 우리는 알려진 모션 보상된 대응 점들을 갖는 이미지들의 레지스터된 쌍을 얻기 위하여, u_t 를 u_k 에 와핑할 수 있고, 이는 다음에 의해 정의된다:

(20)

여기에서,

이다. 그럼에도 불구하고, 모션 추정은 대략적인 전역 근사이며 폐색들로 인한 오차들, 비-도미넌트 (오브젝트) 모션, 또는

에서의 단순 비정확 계수들을 포함하기 쉽다. 따라서, 모션 아웃라이어들은 정확한 컬러 변환을 보장하기 위해 무시될 수 있다. 일 접근 방식은 정렬된 이미지들 사이의 차이 맵을 연산하기 위한 것이며, 이 차이 맵 상의 임계값보다 더 높은 값들은 아웃라이어들에 대응하는 것으로 고려한다. 그러나, 차이 맵이 강도 값들의 잔차값에 기초하고, 강도 차이들은 프레임들 사이의 휘도 및 컬러 변화들 하에서 신뢰가능하지 않음을 주지해야 한다.

따라서, 색조 차이들과 모션 아웃라이어들을 혼동하는 위험을 감소시키기 위한 대책으로서, 정렬된 이미지들 사이에서 색조 차이들의 대략적 방사선 계측 보상을 먼저 연산한다. 시퀀스에서, 수정되어진 와핑된 프레임으로부터 차이 맵을 연산하며, 이는 컬러 변환을 추정하는데 본질적인 비색 차이들을 유지하고 모션 아웃라이어들을 무시한다.

형식적으로, 아웃라이어 제거 접근 방법은 다음과 같이 요약될 수 있다. 2 개의 프레임들 (u_t 및 u_k) 사이에 공유되는

를 대응하는 공간 좌표들 (모션 오버랩) 의 세트로 둔다.

는 프레임 투 프레임 모션을 누적하는 것에 의해 연산되며,

에 레지스터된

를 갖기 위해 키도록 u_t 를 와핑하여, 키프레임 (u_k) 에 이를 정렬시킨다.

가 모션 아웃라이어들을 포함하기 때문에, 아웃라이어 데이터를 리젝트하지만, 정렬된 프레임들 사이에 가능한 색조 차이들을 먼저 고려하여, 이들 차이들이 아웃라이어들로서 취급되지 않게 한다.

이 주어지면, 정렬된 현재 프레임과 키프레임 사이의 색조 차이들은 단순 평균 값 시프트에 의해 보상된다:

(21)

마지막으로, 모션 아웃라이어들에 의해 필터링되는 대응하는 공간 좌표들의 세트가 다음에 의해 정의된다:

(22)

여기에서 σ 는 경험적 잡음이고, 이는 (종래 방법으로부터의 잡음 추정 방법에 의한) 추정값 또는 u_t 및 u_k 에서의 잡음 변동량의 근사값일 수 있다.

시간적으로 떨어진 프레임들 사이의 공간 대응들의 세트

에 기초하여, 본 원리들은 시간적 코히어런트 색조 변환들을 추정할 수 있어 색조 불안정성들이 보상되게 된다. 장기간 모션을 고려하는 것에 의해, 이는 색조 코히어런스성이 프레임으로부터 프레임으로 손실되지 않게 강제한다.

모션 드라이브된 색조 안정화

모션 드라이브된 색조 안정화를 기술함에 있어, 먼저 이상적 대칭 연산자를 고려한다. 이 변환은 시간 방향에 대하여 변하지 않아, 키프레임의 컬러들에 대한 바이어스를 방지하는 원하는 특성을 갖는다. 이 정의는 적어도 하나의 다른 방법에서 제안된 연산자와 유사한 대칭적 스케일-시간 수정을 가져온다:

(23)

여기에서 s 는 수정의 시간 스케일이며, λ_i 이 u_t 에 시간적으로 가까운 프레임들로부터 추정되는 변환들에 더 높은 중요도를 부여하도록 의도되는 가우시안 가중치인 것으로 가정하면, T_i 는 λ_i 에 의해 가중된 색조 변환이다. 이 연산자는 수개의 가중된 변환들의 조합으로서 u_t 의 색조 안정화를 연산하는 시간적 평활성으로서 보여질 수 있다. 실제적으로, S_t 연산자는 모든 프레임이 수정되는 2s 의 변환들의 추정을 요구하며, 이는 계산적으로 고가이고 s 가 작게 설정된 경우에도, 이후 수정은 충분히 효과적이지 못한 위험을 갖는다. 플리커는 제한된 시간적 스케일에 대해 정의된 연산자로 필터링될 수 있기 때문에, 이 접근 방식은 고주파수 플리커링 안정화에 잘 맞는다. 한편, 카메라 파라미터들에 의해 야기되는 색조 변동들은 적절하게 수정되도록 더 큰 시간적 스케일들을 필요로 할 수 있다.

연산자 (S_t) 에 대한 더 고속이고 더 효율적인 대안은 각각의 프레임을 수정하기 위해 더 적은 연산들이 요구되는 경우에 소망된다. 특히, 원하지 않는 추정 바이어스 및 드리프트의 제어가 가중된 변환들을 통하여 요구된다. 간략화를 위하여, 순차적 색조 안정화를 위한 출발점이 시퀀스의 제 1 프레임인 것으로 가정하면, 그 후, 색조 안정화를 위한 솔루션은 시간적 예측으로서 보여질 수 있고, 여기에서 u_t 의 정확한 색조 표현 (tonal appearance) 이 이전에 알려진 색조 상태에 기초하여 예측된다. 이는 통상적으로 순차적 온-더-플라이 수정이 예를 들어, 화상 회의에서 생중계 카메라의 색조 변동들을 보상하기 위한 애플리케이션의 경우이다. 순차적 색조 안정화를 위한 경우에도, 대칭적 특성은 포워드 및 백워드 수정들을 결합하는 것에 의해 근사될 수 있다.

알고리즘 1 은 제안된 순차적 모션 드라이브된 색조 안정화를 나타낸다. 프레임 (u_k) 마다, u_t 와 u_k 사이의 색조 차이들을 최소화하는 T_t(u_t) 로서 정의된 RGB 변환들의 3중항을 찾고자 한다. M(u_t, u_k) 는, 2 개의 프레임들을 파라미터들로서 취하는 함수로 표기하여 두고, 이들의 모션 추정을 연산하고, 와핑 및 아웃라이어 리젝션을 행하여 출력으로서 신뢰가능한 공간적 대응들을 생성한다. 따라서, 색조 변환은 좌표들

에 의해 주어지는 데이터 포인트들의 세트에 걸친 회귀에 기초한다.

색조 안정화 문제는 u_t 의 컬러들을 키프레임 (u_k) 의 컬러들로 변환하는 최적의 계수들 (

,

) 을 추정하는 것에 의해 해결되어, 자승 오차의 합을 최소화한다:

u_t 로부터 출발하여,

동안 (여기에서

는 통상 0.25 로 설정되는 모션 오버랩 임계값이고, n 은 프레임 (u_t) 에서 픽셀들의 수임), 다음에 오는 모든 프레임들에 대해, 도 2 에 예시된 주요 절차들 (모션 추정, 와핑, 컬러 변환 추정, 컬러 수정) 을 반복한다. u_t 와 u_k 사이의 오버랩된 영역의 카디널리티 (

) 가 더 이상 정확한 컬러 추정을 허용할 정도로 충분히 크지 않을 때, 키프레임 (u_k) 은 이전에 수정된 프레임 (

) 으로 업데이트된다.

정규화 문제로서, 변환 프레임 (

) 이 시간 가중치 λ 를 적용하는 것에 의해 u_t 의 오리지널 컨텐츠로부터 크게 벗어나지 않는 것을 보장할 수 있다:

파라미터 λ 는 현재 프레임과 키프레임 사이의 모션에 따라 지수적으로 감소하는 가중치 (지수적 망각 팩터) 로 설정된다.

또한, 노출 변동들을 보상하기 위해 이 방법을 적용할 때, 16 비트 이미지들로 작업할 수 있어, 255 보다 큰 강도들이 색상 변환 후에 클립핑될 필요가 없다. 그 후, 시간이 지남에 따라 증가된 동적 범위를 갖는 시퀀스를 결과로서 가지며, 적절한 동적 범위 디스플레이에서 강도 정보를 손실하지 않고 시퀀스를 실제로 시각화할 수 있다.

도 13 에 예시된 단계들 (모션 추정, 워핑, 컬러 변환 추정, 컬러 수정) 이,

일 때까지, 다음의 모든 u_t+m 의 프레임들에 대해 반복되며, 여기에서,

는 대응 세트의 카디널리티를 표기한다. 이 조건이 충족될 때, u_t 와 u_k 사이의 오버랩된 영역의 카디널리티가 정확한 컬러 추정을 허용하기에 더 이상 충분히 크지 않음을 의미한다. 이 경우, 키프레임 (u_k) 은 u_t-1 로 업데이트된다.

프레임마다 변환들을 전파하는 이전 방법과는 대조적으로, 제안된 방법은 키프레임의 시간적 인접 사이의 더 색조 코히어런스성을 보장한다. 즉, 이 방법은 키프레임마다 색조 변환들을 전파하여, 색조 오차 누적은 더 큰 시간 스케일을 사용하여 제어된다.

비디오 색조 안정화 문제의 중요한 양태는 고유한 카메라 동적 범위 제약들로 인해 색조 표현의 완전한 시간 보존이 항상 바람직한 것은 아니라는 점이다. 실제로, 카메라 자동 노출로 야기되는 색조 불안정성들은 지각적으로 혼란을 줄 수 있지만, 카메라 노출에 큰 변화가 생길 경우 과도 노출을 피하기 위해 색조 표현의 변동이 어느 정도 유지되어야 한다. 이러한 양태를 처리하기 위해, 시간적으로 가중된 컬러 변환들이 수행될 수 있거나, 또는 부가적으로 시간에 따른 시퀀스의 동적 범위가 증가될 수 있다.

시간적 가중치

정규화 문제로서, 변환 (T_t(u_t)) 이 u_t 의 오리지널 컨텐츠에서 크게 벗어나지 않는 것을 보장하기 위해, 가중치 (λ) 가 적용된다:

(24)

유사한 가중된 수정이 이전 방법에서 사용되며, 여기서

를 재귀적 디플리커링 (reursive de-flickering) 에 대한 망각 팩터로서 픽스하는 것이 제안된다. 키프레임에 대한 컨텐츠에 있어서 더 가까운 프레임들이 색조 수정에서 더 높은 가중치를 받아야 한다고 가정하면, 가중치 (λ) 가 u_t 와 u_k 사이에서 시간에 따라 또는 모션에 따라 시간에 걸쳐 변할 수 있는 것이 제안된다. u_t 를 u_k 로 와핑하는 아핀 모션 파라미터들 (A_t,k) 을 알고 있기 때문에 이들 2 개의 프레임들로부터의 대략적인 공간 거리가 다음과 같이 계산되어 쓰여질 수 있다:

(25)

여기에서

는 도미넌트 모션 벡터 (V_uk) 의 기준 (norm) 을 표기하고, p 는 최대 공간 변위 (이미지에서 로우들의 수 + 컬럼들의 수) 이고, (λ₀) 는 지수 감소 비율이다 (여기에서는 실제로 λ₀:= 0.5 로 설정된다). 다른 가능성은 u_t 와 u_k 사이의 시간 거리의 함수에서의 수정을 가중시키는 것이며:

(26)

여기에서, D 는 시퀀스에서의 프레임들의 수이다. 이러한 의미에서, 현재 프레임에서부터 큰 모션 변위를 갖는 프레임들의 영향을 감소시키는 것을 일 방안으로 한다. 관심의 리마크는, 컬러 인식 필드에서 수행된 작업이, 자극의 속도가 증가할 때 색채 및 콘트라스트 감도 기능들이 지수적으로 감소한다는 것을 보여주고 있음을 주지한다. 따라서, 모션 의존성 λ 가 어느 정도 지각적 동기를 갖는 것이 제안된다.

증가하는 시간 동적 범위

실제로, 제안된 방법은 강한 휘도 변화들이 발생하더라도, 전체 시퀀스 전반에 걸쳐 엄격한 색조 안정화를 보장한다. 결과는 휘도 변화가 평활한 시퀀스에서 시각적으로 양호하지만, 그러나, (예를 들어, 매우 어두운 환경에서 매우 밝은 환경으로) 엑스포지션에서의 상당한 변화들을 갖는 시퀀스들을 수정할 때, 최종 결과에는 포화 및 클리핑이 있음이 관측되었다. 이 문제를 처리하기 위해 더 높은 동적 범위를 사용할 수 있으므로 2⁸-1 = 255 (8 비트 이미지에서 각각의 컬러 채널마다 최대 강도 값) 보다 더 큰 컬러 강도들을 클립핑할 필요가 없다.

16 비트 이미지로 작업하는 것에 의해 더 큰 강도가 가능하므로 255보다 더 큰 강도들은 컬러 변환 후에 클립핑될 필요가 없다. 이는 시간이 지남에 따라 증가된 동적 범위를 갖는 시퀀스를 가져오며, 적절한 동적 범위 디스플레이에서 강도 정보를 손실하지 않고 시퀀스를 실제로 시각화할 수 있다.

그러나, 실제로 시퀀스를 표준의 낮은 범위 디스플레이에 디스플레이하기 위해 다시 8 비트로 변환할 필요가 있다. 한계를 외삽하는 모든 강도를 클립핑하는 대신에, 대안으로서, 선택의 색조 맵핑 연산자가 적용되어 낮은 동적 범위 이미지를 렌더링할 수 있다. 실제로, 대수적 색조 맵 연산자가 이용될 수 있다. 강도 값 (i) 과 전체 시퀀스의 최대 강도 값 (z) 이 주어지면, 대수적 색조 맵핑 연산자 (m) 가 다음으로 주어진다:

(27)

도 12 는 색조 안정화를 적용할 때의 강도 클립핑의 잠재적인 문제점 및 시간적 색조 맵 연산자로 또는 시간적 가중치로 이를 감쇠시키는 효과들을 예시한다.

추가적인 구현 세부 설명들

실제로, 선택적인 평활화 (양방 필터링 (bilateral filtering)) 가 u_t 및 u_k 에 적용되어, 색조 변환의 추정에서 노이즈 아웃라이어 (outlier) 의 영향을 감소시킨다. 이 단계는 색조 불안정성이 주로 화이트 밸런스 변동들에 기인하는 경우의 잘 노출된 된 시퀀스에 필수적인 것이 아니다. 그럼에도 불구하고, 잡음에 강하게 영향을 받는 시퀀스들로 작업할 때는 평활화가 권장된다.

프로세싱 시간을 줄이기 위해 모션 추정 및 컬러 변환 추정 양쪽을 위한 오리지널 프레임을 재스케일링 (120 픽셀 폭) 하여, 결과적으로 색조 안정화 정확도에서 현저한 손실을 생성하지 않는다. 또한, N 개의 픽셀로 구성된 전체 오리지널 프레임을 수정하기 위해 멱법칙 컬러 변환을 적용하는 대신, 컬러 채널 당 하나의 룩업 테이블 (LUT) 을 구축한 다음, 각각의 LUT 마다 독립적으로 멱법칙을 계산한다. 이것은 멱법칙 계산의 수를 3×N (4k 비디오 해상도의 경우 1,600만 초과) 개로부터 단지 3×256 = 768 개로 감소시킨다.

실제로, ω 에 대한 최적 값은 u_t 와 u_k 사이의 기하학적 유사도 임계값으로서 보여질 수 있는 경우, 모션 추정의 정확도에 의존한다는 것이 관측되었다. 모션이 정확하지 않은 경우, ω 에 대한 더 큰 값이 바람직할 수 있고, 모션 추정 오차는 시간에 따라 덜 누적된다. 일반적으로, 이는 대부분의 경우에

가 안정적인 컬러 변환을 가져오는 것으로 관측되었다.

본원에 설명된 일반적인 양태들은 합성된 모션 추정 및 멱법칙 색조 변환에 의해 보조되는 효율적인 색조 안정화 방법을 제안하였다. 단순 6 파라미터들 컬러 변환 모델은 카메라 모델에 대한 선험적 지식에 의존할 필요없이 자동 카메라 파라미터들에 의해 야기되는 색조 안정화를 제공하기 충분하다.

당해 기술과 대조적으로, 제안된 알고리즘은 모션을 포함하는 시퀀스에 대해 견고하며, 이는 장기간 색조 전파에 의한 색조 오차 누적을 감소시키고, 이는 실행될 높은 공간 및 시간적 계산 복잡도를 필요로 하지 않는다.

또한, 제안된 방법의 주요 이점 중 하나는 온라인으로 실제 적용할 수 있기 때문에, 화상 회의 또는 라이브 브로드캐스트의 색조 보상과 같은 실시간 비디오 프로세싱 애플리케이션들에 대한 가능성을 부여한다.

이미지의 색조 안정화 방법 (700) 의 일 실시형태가 도 7 에 도시된다. 이 방법은 시작 블록 (701) 에서 시작하여 모션 기반 대응들을 결정하기 위해 블록 (710) 으로 진행한다. 이 블록은 이미지와 키프레임 사이의 모션 추정을 수행하는 것, 이미지를 키프레임과 정렬되하록 와핑하는 것, 상기 정렬된 이미지들의 차이 맵에서 임계값보다 더 높은 값들을 폐기하는 것으로 구성될 수 있다. 블록 (710) 은 공간 대응 함수를 생성한다. 그 다음, 제어는 이미지들 사이의 모션 기반 대응들의 수가 일정의 미리 정해진 임계값보다 더 큰지의 여부를 결정하기 위해 블록 (710) 에서 블록 (720) 으로 진행한다. 그렇지 않으면, 제어는 키프레임을 업데이트하기 위해 블록 (720) 에서 블록 (730) 으로 진행한다. 그 다음, 제어는 블록 (730) 에서 블록 (710) 으로 진행하여 모션 기반 대응들의 결정을 반복한다. 블록 (720) 에서 모션 기반 대응들의 수가 미리 정해진 임계값보다 더 큰 경우, 제어는 컬러 수정을 수행하기 위해 블록 (740) 으로 진행한다. 블록 (740) 은 공간적 대응 함수에서 점들의 세트에 대해 회귀를 수행하는 것, 및 이미지와 키프레임 사이의 컬러 차이들를 최소화하기 위해 이미지에 대한 변환을 수행하는 것으로 구성될 수 있다. 블록 (740) 후에, 색조 안정화된 이미지들 각각은 이미지 시퀀스에 추가될 수 있다.

이미지의 색조 안정화 장치 (1100) 의 일 실시형태가 도 11 에 도시된다. 이 장치는 모션 추정기 (1110) 의 제 1 입력과 신호 연결하여 이미지 상에서 동작하고 그리고 모션 추정기의 제 2 입력과 신호 연결하여 키프레임 상에서 동작하는 동작시키는 모션 추정기 (1110) 로 구성된다. 모션 추정기의 제 1 및 제 2 출력들은 이미지 프로세서 (1120) 의 2 개의 입력들과 신호 연결하고 있다. 모션 추정기의 제 3 출력은 모션 추정 세부 사항들을 이미지 프로세서 (1120) 에 제공할 수 있다. 이미지 프로세서 (1120) 는 이미지와 키프레임을 정렬시킨다. 이미지 프로세서 (1120) 의 출력은 정렬된 이미지 및 키프레임의 차이 맵 상에서 동작하고 임계값보다 더 높은 값들을 폐기하는 비교기/폐기 기능 회로부 (1130) 와 신호 연결하여, 공간 대응 함수를 가져온다. 비교기/폐기 기능 회로부 (1130) 는 또한 입력 이미지와 키프레임 사이의 모션 기반 대응들의 수가 미리 정해진 임계값보다 더 높거나 더 낮은지를 결정한다. 입력 이미지와 키프레임 사이의 모션 기반 대응들의 수가 미리정해진 임계값보다 작은 경우, 비교기/폐기 기능 회로부 (1130) 로부터의 하나의 출력은 키프레임을 업데이트하는 키프레임 업데이트 회로 (1140) 의 입력과 신호 연결되고, 키프레임 업데이트 회로 (1140) 로부터 출력되는 업데이트된 키프레임을 이용하여 모션 추정기로 되돌아가 진행하게 하는 제어를 야기한다.

그러나, 비교기/폐기 기능부 (1130) 가, 입력 이미지와 키프레임 사이의 모션 기반 대응들의 수가 미리 결정된 임계값보다 크다고 결정하면, 제 1 프로세서 (1150) 는 그 입력과 신호 연결되어 비교기/폐기 기능부 (1130) 의 출력을 수신한다. 제 1 프로세서 (1150) 는 공간 대응 함수에서 포인트들의 세트에 대해 회귀를 수행하고 그 출력을 제 2 프로세서 (1160) 의 입력에 전송한다. 제 2 프로세서 (1160) 는 이미지와 키프레임 사이의 컬러 차이를 최소화하기 위해 이미지의 변환을 수행한다. 색조 안정화된 이미지는 안정화되고 있는 이미지들의 시퀀스에 다시 추가될 수 있다. 제 1 프로세서 (1150) 및 제 2 프로세서 (1160) 는 또한 이미지 및 키프레임을 입력들로서 수신한다.

본 발명의 설명은 본 원리들을 예시한다. 따라서, 당해 기술 분야의 당업자는 본원에 명시적으로 설명되거나 도시되지 않았지만 본 원리들을 구현하고 본 발명의 범위 내에 포함되는 여러 장치들을 디바이스화할 수 있음을 인식할 것이다.

여기에 이용된 모든 예들 및 조건적인 언어는 당해 기술을 발전시키도록 발명자에 의해 기여된 본 원리들 및 컨셉들을 독자들이 이해하는데 있어 도움을 주는 교육적 목적으로 의도되며, 이러한 인용된 예들 및 조건들로 제한되지 않는 것으로 간주되어야 한다.

또한, 본 원리들의 원리들, 양태들, 및 실시형태들 뿐만 아니라 이들의 특정 예들을 인용하는 여기에서의 모든 설명들은 이들의 기능적 그리고 구조적 등가물 양쪽 모두를 포함하도록 의도된다. 추가로, 이러한 등가물들은 현재 알려진 등가물들 뿐만 아니라 미래 개발될 등가물들, 즉, 구조와 관련없이 동일한 기능을 수행하도록 개발된 임의의 엘리먼트들, 양쪽 모두를 포함하도록 의도된다.

따라서, 예를 들어, 여기에 제시된 블록도들이 본 개시물의 원리들을 구현하는 예시적 회로의 개념적 뷰들을 표현하고 있음을 당해 기술 분야의 당업자는 인식할 것이다. 이와 유사하게, 임의의 플로우차트, 흐름도들, 상전이도들, 의사 코드 등은 컴퓨터 판독가능 매체에서 순차적으로 표현될 수도 있고 이에 의해 컴퓨터 또는 프로세서가 명시적으로 도시되든 도시되지 않든 간에 이 컴퓨터 또는 프로세서에 의해 실행되는 여러 프로세스들을 표현함을 인식할 것이다.

도면들에 도시된 여러 엘리먼트들의 기능들은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행가능한 하드웨어의 이용을 통하여 제공될 수도 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해 또는 그 일부가 공유될 수도 있는 복수의 개별적인 프로세서들에 의해 제공될 수도 있다. 또한, 용어 "프로세서" 또는 "제어기"의 명시적 사용은 소프트웨어를 실행가능한 하드웨어를 배타적으로 지칭하는 것으로 간주되지 않아야 하며, 제한 없이, 디지털 신호 프로세서 ("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독전용 메모리 ("ROM"), 랜덤 액세스 메모리 ("RAM"), 및 비휘발성 저장부를 내포적으로 포함할 수도 있다.

통상적 및/또는 관용적 다른 하드웨어도 또한 포함될 수도 있다. 이와 유사하게, 도면들에 도시된 임의의 스위치들은 컨셉 전용이다. 이들 기능은 프로그램 로직의 동작을 통하여, 전용 로직을 통하여, 프로그램 제어 및 전용 로직의 상호작용을 통하여 또는 심지어 수동으로 수행될 수도 있고, 특정 기술은 문맥으로부터 보다 구체적으로 이해되는 바와 같이 구현자에 의해 선택가능하다.

이 청구항들에서, 특정 기능을 수행하는 수단으로서 표현되는 임의의 엘리먼트는 예를 들어, a) 기능을 수행하는 회로 엘리먼트들의 조합 또는 b) 임의의 형태의 소프트웨어로서, 이에 따라, 기능을 수행하는 소프트웨어를 실행하기 위한 적절한 회로와 조합하는 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는, 기능을 수행하는 임의의 방식을 수반하도록 의도된다. 여러 언급된 수단에 의해 제공되는 기능들이 청구항이 청구하는 방식으로 함께 결합 및 유도되는 점에서 이러한 청구항들에 의해 정의되는 본 원리들이 존재한다. 따라서, 이들 기능들을 제공할 수 있는 임의의 수단이 여기에 나타낸 것들과 동등한 것으로 간주된다.

본 원리들의 "하나의 실시형태" 또는 "일 실시형태" 에 대한 명세서에서의 참조 뿐만 아니라 이들의 다른 변경들은 실시형태와 함께 설명된 특정 특성, 구조, 특징 등이 본 원리들의 적어도 하나의 실시형태에 포함됨을 의미한다. 따라서, 명세서 전반에 걸쳐 위치하는 어구 "하나의 실시형태에서" 또는 "일 실시형태에서" 의 출현 뿐만 아니라 임의의 다른 변형들은 반드시 모두 동일한 실시형태를 지칭하는 것은 아니다.

예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에 다음 "/", "및/또는", 및 "중 적어도 하나" 중 어느 것의 이용은 첫번째 나열된 옵션 (A) 만의 선택, 또는 두번째 나열된 옵션 (B) 만의 선택, 또는 옵션들 (A 및 B) 양쪽 모두의 선택을 포함하도록 의도됨을 알아야 한다. 추가의 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중 적어도 하나" 의 경우에, 이러한 어구는 첫번째 나열된 옵션 (A) 만의 선택, 또는 두번째 나열된 옵션 (B) 만의 선택, 또는 세번째 나열된 옵션 (C) 만의 선택, 또는 첫번째와 두번째 나열된 옵션들 (A 및 B) 만의 선택, 또는 첫번째와 세번째 나열된 옵션들 (A 및 C) 만의 선택, 또는 두번째와 세번째 나열된 옵션들 (B 및 C) 만의 선택, 또는 이들 모든 세 개의 옵션들 (A 및 B 및 C) 의 선택을 포함하도록 의도된다. 이는 이 기술 및 관련 기술에서의 당해 기술 분야의 당업자에 의해 쉽게 확인되는 바와 같이 나열된 아이템들에 관하여 확장될 수도 있다.

본 원리들의 이들 및 다른 특징들 및 이점들은 여기에서의 교시들에 기초하여 해당 기술에서의 당업자에 의해 쉽게 확인될 수도 있다. 본 원리들의 교시들은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들 또는 이들의 조합의 여러 형태로 구현될 수도 있다.

보다 바람직하게, 본 원리들의 교시들은 하드웨어 및 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛 상에서 구현되는 유형으로 구현되는 애플리케이션 프로그램으로서 구현될 수도 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍쳐를 포함하는 머신에 업데이트되어 머신에 의해 실행될 수도 있다. 바람직하게, 머신은 하드웨어를 갖는 컴퓨터 플랫폼, 이를 테면, 하나 이상의 중앙 처리 유닛들 ("CPU"), 랜덤 액세스 메모리 ("RAM"), 및 입력/출력 ("I/O") 인터페이스들 상에서 구현된다. 컴퓨터 플랫폼은 또한 오퍼레이팅 시스템 및 마이크로명령 코드를 포함할 수도 있다. 여기에 설명된 여러 프로세스들 및 기능들은 마이크로명령 코드의 일부, 또는 애플리케이션 프로그램의 일부 또는 이들의 임의의 조합일 수도 있으며, 이는 CPU 에 의해 실행될 수도 있다. 추가로, 여러 다른 주변 유닛들이 컴퓨터 플랫폼, 이를 테면, 추가적인 데이터 저장 유닛 및 프린팅 유닛에 접속될 수도 있다.

첨부된 도면에 묘사된 구성 시스템 컴포넌트들 및 방법들의 일부가 소프트웨어에서 바람직하게 구현되기 때문에, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들은 본 원리들이 프로그래밍된 방식에 의존하여 상이할 수도 있음을 또한 이해할 것이다. 여기에서의 교시들이 주어지면, 당해 기술 분야의 당업자는 본 원리들의 이들 및 유사한 구현들 또는 구성들을 고려할 수 있다.

예시된 실시형태들이 첨부된 도면을 참조로 여기에 설명되어 있지만, 본 원리들은 이들 정밀 실시형태들로 제한되지 않으며 여러 변경들 및 수정들이 본 원리들의 범위 또는 사상에 벗어남이 없이 해당 기술의 당업자에 의해 실시될 수도 있음을 이해할 것이다. 이러한 모든 변경들 및 수정들은 첨부된 청구항들에서 기술된 본 원리들의 범위 내에 포함되도록 의도된다.

Claims

이미지들의 데이터베이스의 색조 안정화를 위한 방법으로서,
공간 대응 함수를 생성하기 위해 이미지와 키프레임 사이의 모션 기반 대응들을 결정하는 단계 (710);
업데이트된 상기 키프레임을 사용하여 상기 결정하는 단계를 반복하기 전에, 이미지들 사이의 모션 기반 대응들의 수가 임계값보다 작으면 상기 키프레임을 업데이트하는 단계 (730); 및
모션 기반 대응들의 수가 임계값보다 크면, 상기 이미지에 대해 컬러 수정을 수행하는 단계 (740) 를 포함하는, 이미지들의 데이터베이스의 색조 안정화를 위한 방법.
제 1 항에 있어서,
상기 결정하는 단계는:
상기 이미지와 상기 키프레임 사이의 모션 추정을 수행하는 단계;
상기 키프레임과 정렬하도록 상기 이미지를 와핑 (warping) 하는 단계; 및
정렬된 상기 이미지의 차이 맵에서 제 2 임계값보다 더 높은 값들을 폐기하는 단계를 포함하는, 이미지들의 데이터베이스의 색조 안정화를 위한 방법.
제 2 항에 있어서,
상기 수행하는 단계는:
상기 공간 대응 함수에서의 점들의 세트에 대한 회귀를 수행하는 단계; 및
상기 이미지와 상기 키프레임 사이의 컬러 차이들을 최소화하기 위해 상기 이미지에 대한 변환을 수행하는 단계를 포함하는, 이미지들의 데이터베이스의 색조 안정화를 위한 방법.
제 3 항에 있어서,
멱법칙 색조 변환 (power law tonal transformation) 이 이용되는, 이미지들의 데이터베이스의 색조 안정화를 위한 방법.
제 3 항에 있어서,
6-파라미터들 컬러 변환 모델이 이용되는, 이미지들의 데이터베이스의 색조 안정화를 위한 방법.
이미지들의 데이터베이스의 색조 안정화를 위한 장치로서,
이미지 및 키프레임 상에서 동작하는 모션 추정기 (1110);
상기 이미지와 키프레임을 정렬하는 이미지 프로세서 (1120);
임계값보다 더 높은 값들을 폐기하도록, 정렬된 상기 이미지들의 차이 맵 상에서 동작하여 공간 대응 함수를 가져오는 비교기 (1130);
이미지들 사이의 모션 기반 대응들의 수가 임계값보다 작으면 상기 키프레임을 업데이트하고, 상기 모션 추정기, 이미지 프로세서 및 비교기의 동작을 반복하도록 제어를 하게 하는 회로부 (1140);
이미지들 사이의 모션 기반 대응들의 수가 임계값보다 더 크면 상기 공간 대응 함수에서의 점들의 세트에 대한 회귀를 수행하는 제 1 프로세서 (1150); 및
상기 이미지와 상기 키프레임 사이의 컬러 차이들을 최소화하기 위해 상기 이미지에 대한 변환을 수행하는 제 2 프로세서 (1160) 를 포함하는, 이미지들의 데이터베이스의 색조 안정화를 위한 장치.
제 6 항에 있어서,
멱법칙 색조 변환이 이용되는, 이미지들의 데이터베이스의 색조 안정화를 위한 장치.
제 6 항에 있어서,
6-파라미터들 컬러 변환 모델이 이용되는, 이미지들의 데이터베이스의 색조 안정화를 위한 장치.