KR20130051955A - 출력 이미지 데이터를 생성하기 위한 방법 및 시스템 - Google Patents

Abstract

출력 이미지 데이터를 생성하는 방법은, 기준 이미지에 관련된 미분 데이터를 획득하는 단계; 출력 이미지 데이터를 위한 제약을 획득하는 단계; 및 제약에 따라, 기준 이미지에 관련된 미분 데이터로부터 출력 이미지 데이터를 생성하는 단계를 포함한다. 이 방법은 입력 이미지의 미분으로부터 강건한 출력 이미지를 복구하기 위해 이용될 수 있다.

Description

출력 이미지 데이터를 생성하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING OUTPUT IMAGE DATA}

본 발명은 출력 이미지 데이터를 생성하기 위한 방법 및 시스템에 관한 것이다.

Ax

b의 형태로 된 연립 방정식(system of equations)을 만나는 경우가 많다. 여기에서, 숫자들의 n×m 행렬 A는 n×1 벡터 b로서 알려지며, 우리는 근사값을 (소정의 의미에서) 가능한 한 가깝게 유지하는 벡터 x에 대한 해를 구하고자 한다. 구체적인 예로서, 2006년의 월별 기온을 이전 5년 간의 월별 기온의 선형 조합으로서 예측하려고 시도할 수 있다. 여기에서, A는 12×5이고 b는 12×1이며, 우리는 5×1 벡터 x에 대한 해를 구한다. x에 대한 해를 구할 수 있는 많은 방법이 존재하지만, 본 맥락에서는 강건한 해(robust solution)에 관심이 있다. 예를 들어, 2개의 연립 방정식, 즉 Ax

b 및 Ay

b+ε을 가지고 있다고 가정해보자. 여기에서, ε은 매우 작은 숫자들의 벡터를 나타내는데, 즉 2개의 방정식 집합은 실질적으로 동일하다. x와 y에 대한 해를 구할 때, 그들의 해가 서로 다르다면 놀라울 것이다. 그러나, 만일 우리가 방정식들을 단순하게(naively) 푼다면, 실제로 그렇게 될 것이다. 강건한 해 전략은 x

y를 리턴할 것이다.

본 발명의 양태에 따르면, 출력 이미지 데이터를 생성하는 방법이 제공되는데, 이 방법은 기준 이미지에 관련된 미분 데이터(derivative data)를 획득하는 단계; 출력 이미지 데이터를 위한 제약(constraint)을 획득하는 단계; 및 제약에 따라, 기준 이미지에 관련된 미분 데이터로부터 출력 이미지 데이터를 생성하는 단계를 포함한다.

본 발명의 양태에 따르면, 기준 이미지에 관련된 미분 데이터를 획득하도록 구성된 제1 컴포넌트; 출력 이미지 데이터를 위한 제약을 획득하도록 구성된 제2 컴포넌트; 및 제1 컴포넌트로부터의 기준 이미지에 관련된 미분 데이터 및 제2 컴포넌트로부터의 제약을 수신하고, 제약에 따라, 기준 이미지에 관련된 미분 데이터로부터 출력 이미지 데이터를 생성하도록 동작할 수 있는 제3 컴포넌트를 포함하는 이미지 프로세싱 시스템이 제공된다.

본 발명의 양태에 따르면, 프로세서에 의해 실행될 때, 프로세서로 하여금 출력 이미지 데이터를 생성하는 방법을 구현하게 하는 머신 실행가능한 명령어들을 저장하기 위한 컴퓨터 판독가능한 저장 매체가 제공되는데, 그 방법은 기준 이미지에 관련된 미분 데이터를 획득하는 단계; 출력 이미지 데이터를 위한 제약을 획득하는 단계; 및 제약에 따라, 기준 이미지에 관련된 미분 데이터로부터 출력 이미지 데이터를 생성하는 단계를 포함한다.

본 발명의 양태에 따르면, 입력 이미지의 미분들(derivatives)로부터 강건한 출력 이미지를 복구하는 방법이 제공된다.

본 명세서에서, '이미지' 및 '이미지 데이터'라는 용어가 이용된다. 일반적으로, '이미지'는 이미지 자체, 또는 그로부터 시각적 이미지가 렌더링되게 되는 데이터를 지칭하기 위해 이용되며, 예를 들어 이미지의 함수 또는 미분을 기술하는 것이 아니라, 이미지를 직접적인 방식으로 기술한다. 그러나, '이미지 데이터'는 이미지를 직접적으로 또는 간접적으로 지칭할 수 있으며, 예를 들어 이미지의 함수 또는 미분을 지칭할 수 있다.

본 발명의 양태에 따르면, 이미지의 미분들을 획득한 다음, 그로부터 프로세싱된 이미지를 복구하는 단계를 포함하는 이미지 처리(treating) 방법이 제공된다. 이 방법은 강건한 이미지를 생성할 수 있다는 이점을 갖는다.

바람직한 방법에서, 프로세싱 또는 복구된 이미지의 평균(mean)은 원본 이미지의 평균과 동일하게 설정되며, 이것은 알려지지 않은 적분 상수에 의해 유발되는 문제를 회피한다는 이점을 갖는다.

본 발명의 양태에 따르면, 이미지의 미분들을 구하기 위한 수단, 및 미분들로부터 프로세싱된 이미지를 복구하기 위한 수단을 포함하는 이미지 처리 장치가 제공된다.

바람직하게는, 기준 이미지의 강건한 버전이 기준 이미지의 미분으로부터 복구되어 출력 이미지를 형성한다.

본 명세서는 일반적으로 이미지의 생성 또는 프로세싱에 관한 것이지만, 본 발명의 양태들은 예를 들어 오디오 신호와 같은 임의의 형태의 입력 신호에도 적용될 수 있다.

본 발명의 실시예들에서 임의의 차수의 미분이 이용될 수 있다.

출력 이미지 데이터의 함수의 크기(magnitude)는 rms(root-mean-square) 척도에 의해, 또는 최대 및 최소 출력 이미지 값 간의 차이로부터 계산될 수 있다.

이하에서는 바람직한 실시예들이 오직 예시로서만 첨부 도면들을 참조하여 설명될 것이다.
도 1은 본 발명의 실시예에 따른 시스템의 개략도이다.
도 2a는 원본 이미지이고, 도 2b는 본 발명의 실시예에 따른 강건한 방법을 1회 적용한 후의 이미지이고, 도 2d는 2회 적용한 후의 이미지이고, 도 2c는 본래의 강도들을 도 2b와 비교한 것이고(이미지의 단면), 도 2e는 1회 및 2회 적용에 대한 휘도를 보여준다.
도 3은 본 발명의 실시예들에 대한 이미지 크기에 대한 피팅 에러들의 2개의 그래프이다.
도 4a는 원본 이미지이고, 도 4b는 강건한 대응물이고, 도 4c는 효과가 약화된 강건한 대응물이고, 도 4d는 큰 λ에 대한 강건한 이미지이고, 도 4e는 도 4c와 4d의 평균이다.

도 1은 원하는 강건함을 갖는 이미지에 관련된 출력 이미지 데이터를 생성하기 위한 시스템(100)의 개략도이다.

도시된 실시예에서, 시스템(100)은 이미지 압축 시스템이지만, 시스템은 이하에 설명되는 것들과 같은 다른 응용들을 위해 원하는 강건함을 갖는 이미지를 생성하기 위해 이용될 수 있다.

본 실시예에서, 이미지 캡쳐 디바이스(110)는 장면의 이미지를 캡쳐하도록 동작할 수 있는 디지털 카메라이다. 제1 컴포넌트(120)는 이미지 캡쳐 디바이스(110)에 의해 캡쳐되는 기준 이미지에 관련된 데이터를 획득하도록 동작할 수 있다. 그러나, 제1 컴포넌트(120)는 대안적으로 데이터 저장소로부터와 같이, 다른 수단에 의해 기준 이미지에 관련된 이미지 데이터를 획득할 수 있다

본 실시예에서, 제1 컴포넌트(120)는 기준 이미지에 관련된 미분 데이터를 생성하도록 동작할 수 있다. 그러나, 다른 실시예들에서, 제1 컴포넌트(120)에 의해 수신되는 기준 이미지에 관련된 데이터가 기준 이미지에 관련된 미분 데이터이다.

제1 컴포넌트(120)는 기준 이미지에 관련된 미분 데이터에, 임계(threshold) 또는 클립-투-제로(clip to zero) 함수와 같은 함수를 적용하도록 동작할 수 있다.

제2 컴포넌트(130)는 어느 출력 이미지 데이터가 생성될 것인지에 따라 정규화 제약(regularisation constraint)을 획득하도록 동작할 수 있다.

도시된 실시예에서, 제약은 출력 이미지 데이터의 미분과 기준 이미지에 대한 미분 데이터 간의 차이와 포지티브 패널티 항(positive penalty term)의 합을 최소화하라는 요건을 포함한다. 가능한 제약들은 이하에 더 상세하게 설명된다.

제3 컴포넌트(140)는 제1 컴포넌트(120)로부터 기준 이미지에 대한 미분 데이터를 획득하고 제2 컴포넌트(130)로부터 정규화 제약을 획득하며, 제약에 따라, 기준 이미지에 관련된 미분 데이터로부터 출력 이미지 데이터를 생성한다.

도시된 실시예에서, 출력 이미지 데이터에 의해 표현되는 출력 이미지는 정규화 제약 내의 포지티브 패널티 항으로 인해 동적 범위가 압축되는 강건한 이미지이다. 위에서 설명된 바와 같이, 출력 이미지의 미분들이 취해진 다음, 약간 변경된다면, 그들은 여전히 출력 이미지에 가까운 이미지로 적분된다. 그러므로, 출력 이미지는 강건한 것으로 지칭된다. 그러나, 기준 이미지의 상세는 상실되지 않고, 출력 이미지를 시스템(100)을 위한 기준 이미지로서 이용하되 정규화 제약 내의 적절한 네거티브 패널티 항을 이용함으로써 복구될 수 있다. 이것은 이미지를 덜 강건하게 할 수 있고, 압축된 동적 범위를 확장시킬 수 있다.

제3 컴포넌트(140)는 또한 제1 컴포넌트(120)에 의해 기준 이미지에 관련된 미분 데이터에 적용된 함수의 역을 출력 이미지 데이터에 적용하도록 동작할 수 있다.

물론, 제1, 제2 및 제3 컴포넌트(120, 130 및 140)가 별개의 물리적 컴포넌트들일 필요는 없으며, 적절하게 프로그래밍된 프로세서와 같은 단일 컴포넌트일 수 있다.

추가로, 위에서 설명된 바와 같이, 시스템은 설명된 이미지 압축 응용으로 한정되지 않고, 미리 정해진 강건함을 갖는 이미지들이 요구되는 다수의 다른 응용들을 위해 이용될 수 있다. 이들 중 다수에 대하여, 상이한 정규화 제약들이 이용되고, 이들은 이하에 상세하게 논의된다.

우리의 접근법을 이해하기 위해서는, 우리가 연립 방정식의 해를 어떻게 구하는지에 대해 약간 더 살펴보는 것이 유용하다. 우리가 n×2 행렬 A={b ε₁}을 가지고 있으며, Ax

b+ε₂의 해를 구하려 하고 있다고 가정하자. ε은 매우 작은 숫자들의 벡터를 나타낸다는 점을 상기하면, 양호한 해는 x = [1 0]^t라는 것이 명백하다. 그러나, 10000ε₁

0이라고 가정하면, x = [1 10000]^t도 동등하게 가능하다. 2개의 해를 어떻게 구별해낼 수 있을까? 제2 계수가 더 작기 때문에(0을 10000에 대조해볼 때), 아마도 거의 틀림없이 x = [1 0]^t이 x = [1 10000]^t보다 간단하다. 실제로, 우리는 연립 방정식의 양호한 해는 ∥Ax

b∥ 및 ∥x∥가 작다는 속성을 갖는다고 할 수 있다(∥.∥는 소정의 크기 척도, 예를 들어 제곱합의 제곱근임). 수학적으로, 이하를 최소화함으로써 그러한 해를 찾을 수 있다.

[수학식 1]

여기에서, λ는 사용자가 정의한 패널티 스칼라이다. 여기에서의 예에 관하여, 명백하게도 해 x = [1 0]^t가 바람직할 것이다.

그러면, 이 서론부가 강건한 이미지들에 관해 고찰하는 데에 있어서 어떻게 도움이 되는 것일까? 벡터 Q로서 표현되는 이미지 J(x, y)를 가지고 있다고 가정해보자(즉, 이미지 J가 숫자들의 긴 벡터로서 전개됨(stretched out)). q는 Q에 연관된 x 및 y 미분을 나타낸다고 하자. 이미지의 미분들이 이미지 자체의 이중 표현(dual representation)이라는 것은 잘 알려져 있고([7]), 이미지 미분들이 주어지면, 우리는 적분에 의해 (단 하나의 미지의 적분 상수까지) 이미지를 복구할 수 있다. 이러한 개념에 대해 고찰하기 위해, 미분식을 행렬 방정식으로 더 기술하기로 한다:

[수학식 2]

위치 (i, j)에서의 이미지 J를 위한 x 미분은 J(i+1, J) - J(i,j)라고 쓸 수 있다. 마찬가지로, y 미분은 J(i,j + 1) - J(i,j)와 동일하다. J가 n×m이라면, Q는 숫자들의 nm 벡터이다. 미분 연산자 행렬 D는 2nm×nm 행렬이다(픽셀마다 x 및 y 미분이 있으므로 2nm 행임). D의 주어진 행은 1과 -1인 2개의 엔트리를 제외하고는 모두 0이다(J(i+1, j)와 J(i, j+1)이 Q의 제u 행 및 제v 행에 맵핑되는 경우, 1을 u 열에 놓고 -1을 v 열에 놓을 수 있음). 수학식 2의 해를 구하기 위해 아래와 같이 쓸 수 있고, 이것은 단순하고 틀린 것으로 밝혀질 것이다.

[수학식 3]

그릇되게도, 미분 연산자 행렬이 정방 행렬이 아닌 동시에(정의에 의해 역으로 할 수 없음) 계수 부족(rank deficient)이기 때문이다. 미분 이미지를 계산할 때 이미지의 경계에서 무슨 일이 일어날지를 세심하게 지정함으로써 이것을 완전 계수(full rank)(nm 차원)로 할 수 있다. 예를 들어, 이미지의 경계 외부에서 이미지 신호가 0이라고 가정할 수 있다(실질적으로, 원본 이미지를 0들로 패딩함). 이것은 디리클레 경계 조건의 일례이다(우리가 이미지의 외부에 무엇이 있는지를 알고 있다고 가정함). 대안적으로, 이미지의 에지에서의 미분이 0으로 되는 등차 노이만 경계 조건(homogeneous Neumann boundary conditions)을 가정할 수 있다. 그러나, 여전히 D를 직접 역행렬로 할 수는 없다(여전히 정방이 아님). 대신에, 최소 제곱법 관점에서 Q에 대해 푼다:

[수학식 4]

여기에서 D⁺는 의사-역이다([3])(때로는 무어-펜로즈 역이라고 지칭됨). 명백히, 수학식 4에서 q를 DQ로 치환하면, Q=Q라는 결론이 나온다(즉, 우리가 처음에 출발한 이미지를 복구하기 위해 미분들을 올바르게 재적분할 수 있으며, 우리는 이미지들 및 그들의 미분들의 이중성을 보였다).

이제, 방정식

및

이 주어진 것을 고찰해보기로 하자. 명백히, 유사한 미분들이 주어진다면, 우리는

을 선호할 것이다. 이를 달성하기 위한 한 방법은 아래의 식에서의 에러를 최소화하는 것이다:

[수학식 5]

즉, 미분들 q가 주어지면, 우리는 소정 의미에서 크기의 경계가 정해지는 이미지 R을 복구한다(패널티 항 λ가 클수록 수학식 1에서와 같이 복구 이미지의 크기가 작아짐). 이러한 방식으로 (그 자신의 미분으로부터) 복구된 이미지를 강건하다고 한다. 이것은 본 발명의 실시예들에 의해 제공되는 유용한 이점이다. 여기에서, 바람직한 속성을 갖는 이미지를 복구하기 위한 정규화의 개념이 완전히 신규한 것은 아님을 언급하고자 한다. 헐버트([6])는 정규화 문제로서 명도 복구(lightness recovery)(반사율과 조도의 분리)를 만들어냈다. 여기에서는 입력 이미지를 원하는 속성의 관련 이미지에 관련시키기 위해 최소화의 해가 구해진다(헐버트의 이론에서는, 예를 들어 강도 기울기를 갖는 이미지가 기울기가 제거된 대응물에 관련지어짐). 본 발명의 실시예들에서, 우리에게는 이러한 해의 '우변(right-hand)' 부분이 주어지지 않는다(그것은 고전적 회귀가 아님). 또한, 헐버트의 방법에서는, 중심 에러 함수가 원시(primal)(비-미분) 영역의 에러를 최소화하고 있다.

수학식 5에 대한 풀이는 다음과 동일하다:

[수학식 6]

R = [D^tD +λI]^-1D^tq

여기에서, I는 nm × nm 단위 행렬을 나타낸다. q = DQ임에 유의해야 한다. 수학식 6을 아래와 같이 다시 쓴다:

[수학식 7]

R = [D^tD +λI]^-1D^tDQ

수학식 7에 대해 몇가지 언급을 할 가치가 있다. 첫번째로, 수학식 4와는 달리, 복구된 이미지의 미분은 일반적으로는 시작 미분과 동일하지 않다(

). 그러나, 이것이 우리가 원하는 것이고, 종종 강건하지 않은 입력 이미지들이 수학식 6에 의해 강건하게 변환된다. 두번째로, 단위 행렬 I가 행렬 역산(matrix inverse)에 수반되므로,

은 항상 역산 가능한 것이 명백하다. 이것은 경계 조건에 관하여 엄격하지 않을 때에도 참으로 남아있다. 이것은 상당히 중요한 점이다. 그것은 예를 들어 우리가 D 내의 미분 연산들을 2차, 3차 미분(또는 실제로는 임의의 차수 또는 차수들의 조합)으로 대체할 수 있으며, 여전히 잘 형성된 최소화를 갖는다는 것을 의미한다. 강력한 경계 가정을 하지 않고서도 미분들로부터 이미지를 복구할 수 있다는 것, 및 임의의 차수의 미분들을 가지고서 작업할 수 있다는 것이 본 발명의 실시예들의 두가지 이점이다. 수학식 7은 자코비 반복(Jacobi iteration) 및 가우스-자이델 방법을 포함하는 표준 행렬 역산 기법을 이용하여 해가 구해질 수 있다([8]).

소정 조건들 하에서는(예를 들어, 등차 노이만 경계 조건을 가정), 수학식 7의 행렬 계산은 콘볼루션 연산자로서 쓰여질 수 있다. 등차 노이만 경계 조건들에 대하여, 주어진 λ에 대하여 수학식 7의 결과가 아래와 같이 근사될 수 있음을 보일 수 있다:

[수학식 8]

여기에서 k는 1보다 작지만 그에 가까운 상수이고, m은 역 지수 합(inverse exponential sum) 아래의 면적을 1보다 작지만 그에 가깝게 하고, r은 역 지수의 형상(피크 모양(peakedness))을 제어한다. λ가 증가하면 k도 증가하고, m 및 r은 감소한다. 콘볼루션 계산으로서 만들어지면, 강건한 이미지는 (예를 들어, 퓨리에 영역에서 콘볼루션을 수행함으로써([4])) 신속하게 계산될 수 있다. 분리가능한 것에 의해 필터를 근사함으로써 더 가속화될 수 있다([4])(따라서, 행들 및 열들은 연속적으로 1차원 콘볼루션 필터로 콘볼루션됨).

입력 이미지가 호모몰픽 함수 f()에 의해 변환되고, Q의 미분들이 함수 T()에 의해 변환되는 것을 허용함으로써 더 일반화할 수 있다.

[수학식 9]

여기에서, f()는 예를 들어 로그 함수일 수 있다. 이 경우에서는 미분하기 전에 로그를 취한 다음, 강건한 이미지를 만드는 데 있어서의 마지막 단계로서 f^-1()를 지수화(exponentiate)한다. 픽셀들 간의 상대적인 차이는 지각상(perceptually) 점점 더 현저해지는 경향이 있으므로([9]), 미분 조작은 종종 로그 공간에서 수행된다. 함수 T는 임계 함수일 수 있는데, 예를 들어 미분의 절대값이 매우 크다면, T()는 그것의 값을 약화시킬 수 있다. 동등하게, 미분이 0에 가깝다면, T()는 미분을 0으로 설정할 수 있다. 약화(attenuating)와 클립-투-제로(clip to zero) 두가지 사례 모두 이미지 개선 문헌([1])에서 발견된다. 수학식 9의 일반적인 형태는 본 발명의 실시예들에 의해 커버된다.

도 2에 본 발명의 실시예가 예시되어 있는데, 도 2a는 스텝 에지 이미지를 보여주고, 도 2b는 수학식 6을 이용하여 복구된 이미지를 보여준다. 가장 양호한 지각상의 감동을 얻기 위해서는 도 2b를 작은 개구를 통해 보려고 시도하기 바란다. 올바른 상황에서 볼 때, 도 2b의 크기는 도 2a와 유사하게 보여야 한다. 이것은 놀라운 일인데, 왜냐하면 좌측 에지와 우측 에지 각각에서의 계조값은 거의 동일하기 때문이다. 도 2c에서는, 2개의 에지의 에지 프로파일을 대조시킨다. 이들 도면들에 도달하기 위해, 우리는 공통 이미지 프로세싱 워크플로우를 수행하였다. 첫번째로, 강도값들은 범위 0 내지 1에 있다. 우리는 미지의 적분 상수를 가지고 있으므로, Q를 복구할 때, 복구된 이미지의 평균을 원본의 평균과 동일하게 설정한다. 도 2c의 플롯은 0 근처에 중심을 가지며(이것은 적분 상수를 다시 더하기 전임), 강건한 이미지의 크기가 원본보다 작을 것이 분명하고, 이것이 우리가 기대한 것이다. 도 2c의 만곡된 강도 프로파일이 원본 스텝 에지와 유사한 것으로서 인지된다는 것은 심리물리학자들에게 잘 알려져 있다. 실제로, 이 효과는 크레이크-콘스윗 환영(Craik-Cornsweet illusion)으로 지칭된다([9]). 여기에서 주목할만한 것은, 이러한 환영을 단순하고 근거가 충분한(well-founded) 강건한 수학적 인수를 이용하여 생성하였다는 것이다.

도 2d는 수학식 6을 도 2c에 적용한 결과인 이미지를 보여준다. 실제로, 우리는 Q₁에 대하여 해를 구하며, 여기에서 Q₀는 본래의 강건한 이미지이다:

[수학식 10]

물론, 도 2c가 강건한 이미지라면, 우리는 그것의 강건한 대응물(robust counterpart)이 많이 다를 것이라고 기대하지 않는다. 실제로, 이것은 그러하며, 도 2d는 강건 프로시져의 두번째 적용을 나타낸다. 도 2e는 강건 알고리즘의 단일 적용 및 2회 적용의 강도 프로파일을 비교한 것이다. 이미지가 일단 강건해지고 나면, 그것은 강건하게 유지된다는 것이 명백하다.

중요하게도, 패널티 항 λ를 자동적으로 선택하기 위한 방법들이 존재한다. 예를 들어,

임에 따라 가장 작은 최소 제곱 해답

이 리턴되고,

임에 따라, 복구된 이미지의 크기가 더 커진다는 것이 명백하다. 복구 에러를 복구된 이미지의 크기에 대하여 플로팅하면 L 형상 곡선으로 된다. 도 3a는 λ의 다수의 상이한 선택안들에 대한 예시적인 L 곡선을 보여준다. 정규화 이론에서, 종종 작은 피팅 에러가 존재할 정도로 복구된 벡터(우리의 경우에서는 이미지)의 크기가 작도록 λ가 선택된다(예를 들어 λ=k)([5]).

도 3a에 나타나 있는 바와 같이, λ=k를 선택하면 작은 크기 및 작은 피팅 에러를 갖는 이미지를 리턴한다. 동적 범위 압축의 적용에 대하여(도 3b), 이미지 크기가 목표 동적 범위 내에 있도록 λ = c를 설정할 수 있다.

수학식 1에 나타난 방정식은 정규화 이론의 예이다([5]). 양

는 패널티 항 또는 정규화 항이다. 사실, 연립 방정식을 정규화할 수 있는 다수의 다른 방법이 존재한다. 예를 들어, 우리는 복구된 이미지가 소정 의미에서 평활할 것을 요구할 수 있고, 복구된 강건한 이미지가 소정 의미에서 원본에 가까울 것을 요구할 수 있다. 사실, 패널티 항을 일반화하기 위해 다수의 정규화가 고려될 수 있다. 일반 패널티 항을 아래와 같이 쓰기로 한다:

[수학식 11]

여기에서 p는 민코프스키 p 놈(Minkowski p norm)이다. p=2라면, 제곱들의 합이 (패널티로서) 계산된다. 함수 g()는 상당히 임의적인 함수일 수 있다. 예를 들어 이미지를 복구하는 데에 있어서, (예를 들어, 지각상의 양(perceptual quantities)을 근사하기 위해) 이미지 놈의 소정의 비선형 함수를 최소화하는 것이 중요할 수 있다. 수학식 11에 의해 커버되는 형태의 임의의 정규화기가 본 발명의 실시예들에서 사용될 수 있다. 복구된 이미지의 놈의 경계를 구하는 다른 방법들이 존재한다. 예를 들어, 복구된 이미지가 평활화 함수들의 작은 집합(예를 들어, 이산 코사인 기저(discrete cosine basis)의 처음 M개의 항)의 선형 조합일 것을 요구할 수 있다. 그러나, 이 경우에서 강건한 이미지는 평활할 것이다. 다수의 다양한 정규화기가 존재하며, 열거하기에는 그 목록이 지나치게 많다. 각각이 강건한 해를 장려하기 위한 수단을 제공한다고만 해도 충분할 것이다. 본 발명의 실시예들은 이하의 정규화 워크플로우를 포함한다:

1. K = f(J)(f()는 호모몰픽 변환이고, J는 시작 이미지임).

2. q = T(DK)(q는 소정의 미분, D 또는 소정 차수까지의 미분들의 조합이다. D는 주어진 선형 연산자 또는 컴퓨터 프로그램을 기술할 수 있다. T는 미분들에 대한 연산자이다(예를 들어, 임계)).

3. 소정의 정규화 제약에 종속하여 q로부터 R을 복구한다.

4. O=f^-1(R)은 호모몰픽 변환을 해제(undo)한다.

본 발명에 대하여, 유용한 이점은 이미지가 그 자체에 관하여 정규화될 수 있다는 것(강건하게 될 수 있다는 것)이다. 정상적으로, 방정식 A와 회귀 벡터 b가 주어지면, x에 대해 풀 수 있다. 여기에서, 우리는 우리가 미분 연산자 D에 관심이 있다는 것을 알고 있지만, 원본 이미지로부터

를 계산한다. 복구된 이미지 R은 패널티 항으로 인해 원본 이미지와 동일하지 않다. 일단 이미지 및 그것의 미분이 해를 구할 연립 방정식으로서 쓰여질 수 있다는 개념을 인식(창안)하고 나면, 표준 정규화 이론 전체가 이미지를 강건하게 하기 위해 적용될 수 있다.

이 개념은 명백히 이미지가 상이한 스케일들로 분해되는 시나리오들로 확장된다. 예를 들어, 이미지를 주어진 가우스 필터로 평활화하는 것은 작은 상세들을 억제하지만, 큰 에지들의 존재는 남아있는다. 또한, 이러한 평활화된 이미지를 본 발명의 실시예들에 따라 강건하게 할 수 있다. 상이한 이미지 스케일들은 종종 피라미드 내에 순서화되며, 예를 들어 가우시안 피라미드 내에서, 각 레벨은 이전에 사용되었던 것의 표준 편차의 두 배를 갖는 가우시안에 의해 블러링된 이미지를 포함한다. 따라서, 최상위 레벨에서, 우리는 원본 이미지를 갖고, 다음으로 1 픽셀 표준 편차 가우시안으로, 그리고 다음으로 표준 편차 2, 4, 8, 16, 32 등으로 콘볼루션한다. 최하위 레벨에서, 우리는 이미지의 전역적 평균을 저장한다. 연속적인 층들 간의 차이를 저장하여, 소위 라플라시안 피라미드를 계산한다([2]). 레벨 k에서의 가우시안은 k-1에서의 가우시안 및 레벨 k에서의 차이로부터 예측될 수 있다. 상이한 블러 레벨들 간의 차이만을 저장하는 것은 원본 이미지를 코딩하기 위한 효율적인 수단을 제공한다. 본 발명의 실시예들에서, 우리는 상이한 스케일들에서의 강건한 이미지들의 차이를 저장할 수 있다. 상이한 스케일들에서의 강건한 이미지들을 계산하는 대안적인 방법은 상이한 패널티 항들 λ를 가지고서 일련의 연산자들을 계산하는 것일 것이다. λ가 작다면, 이미지 내의 가장 큰 에지들만이 약화될 것이다. λ가 커짐에 따라, 더 작은 에지들의 크기도 중요해지고, 따라서 이들은 더 작게 될 것이다.

강건한 이미지들은 컴퓨터 비전 및 이미지 프로세싱에서 많은 응용을 갖는다. 이미지 상세를 드러내는 응용의 예가 도 4에 도시되어 있다. 여기에서 우리는 음영 또는 하이라이트에서 상세들이 분명하지 않은 원본 이미지를 갖는다. 밝은 이미지와 어두운 이미지 간의 이러한 큰 차이는 비-강건함의 예이다. 본 발명의 실시예에 따른 방법을 적용하면 도 4b의 이미지로 된다. 분명히, 상세 전부를 더 잘 볼 수 있다. 그러나, 이미지는 약간 부자연스럽게 보인다(하늘이 지나치게 어두워진다). 도 4c에서, 이미지를 강건하게 하는 프로세스를 약화시키고(그리고, 1 및 0 부근의 값들이 출력에서 지나치게 많이 변하게 하지 않을 것을 확실하게 함), 이에 의해 음영 및 하이라이트 상세를 동시에 드러낸 이미지가 나온다. 도 4d는 더 큰 λ 패널티 항을 가지고서 강건한 이미지가 만들어지는 제2 출력 이미지를 보여준다. 휘도의 범위가 (우리가 기대하는 대로) 어떻게 감소되는지에 주목하기 바란다. 마지막으로, 도 4e는 도 4d와 도 4c의 평균을 보여준다. 도 4e는 단순히 패널티 항을 변경하고 결과들의 평균을 구함으로써 일종의 멀티-스케일 프로세싱을 수행한 것의 예이다. 또한, 목표 동적 범위를 선택하고, 그에 따라 패널티 항 λ를 설정하는 것도 가능하다. 도 3b에서는 λ = c로 설정되어, 목표 이미지 크기(동적 범위 압축에 대해, 가장 밝은 픽셀과 가장 어두운 픽셀 사이의 차이로서 정의될 수 있음)가 만족된다.

정규화 이론의 맥락에서, 이 방법이 이러한 이미지 향상 문제에 대해 효과가 있는지를 고찰해볼 가치가 있다. 이미지를 그것의 미분으로서 생각한다고 가정하자. 우리는 이미지를 적분하여 원본(이것을 I₁이라고 함)을 리턴할 수 있음을 알고 있다. 그러나, 이미지의 중심 아래의 모든 x 미분에 (예를 들어) k를 더하는 경우 어떻게 되는지를 고찰해보자. 이 경우, 재적분된 이미지 I₂는 사진의 중심에서 스텝 에지를 가질 것이다. 그리고,

이다(픽셀별로 비교되는 2개의 이미지는 매우 다르다). 이 예에서, nm 픽셀 이미지 내의 m개의 픽셀에 k를 더했다고 가정해보자. 즉, 픽셀의 1/n이 변경되었다(1000×1000 이미지에 대하여, 0.1％의 픽셀을 변경함). 그러나, 재적분 시에는 매우 큰 변화가 있는데, 이미지의 우반부에 있는 픽셀들 전부가 +k만큼 더 밝아진다. 이것은 재적분 방정식(본 명세서의 제일 앞에서의 예에서와 동일함)이 불안정함을 나타내며, 미분에서의 작은 변화가 복구된 이미지 내에 큰 변화를 유발한다. 본 발명의 실시예들에 따른 강건 이미지 방법을 적용함으로써 2개의 미분 이미지는 거의 동일한 강건한 이미지로 재적분된다.

다른 응용들은 개체 인식, 동적 범위 압축, 네비게이션, 추적(tracking) 및 이미지 압축을 포함한다. 개체 인식에서는, 때때로 개체의 컬러 또는 휘도가 인식을 위한 단서로서 취해진다. 음영 내의 개체는 인식 작업에서 보이지 않을 수 있다. 강건한 이미지를 만들면, 음영 내의(그리고 하이라이트 내의) 상세가 드러날 것이다. 동적 범위 압축은 입력 신호(최대 신호 값에서 최소 신호 값을 뺀 것과 동일한 동적 범위를 가짐)를 목표(통상적으로 더 작음) 출력 동적 범위에 맵핑하는 프로세스이다. 예시적인 신호들은 이미지들은 물론 오디오도 포함할 수 있다. 네비게이션 문제는 개체 인식과 유사하다. 자동화된 로봇 시스템은 그것이 볼 수 있는 개체들만을 피할 수 있다. 추적에서는, 개체가 장면의 밝게 조명된 부분으로부터 어둡게 조명된 부분으로 이동할 때 추적을 못하게 되는 것을 피하기를 원한다. 이미지를 강건하게 하는 프로세스는 가역적이기 때문에, 이미지 압축에 대한 역할이 있다. 강건한 이미지(음영이 없고, 따라서 낮은 동적 범위를 가짐)가 주어지고, λ에 관해 알고 있다면, 이미지를 강건하게 하는 프로세스를 역으로 할 수 있다. 잠재적으로, 작은 동적 범위 내에서 이미지를 코딩하는 것은 HDR 이미지를 코딩하는 것보다 더 쉽다(더 효율적인 프로세스임)(문헌에 의해 지지되는 요점).

본 발명의 실시예들은 이미지를 강건하게 하는 개념을 역으로 적용하는 것을 포함한다. 여기에서는, λ를 음의 수로 선택할 수 있다. 즉, 복구된 해가 큰 놈을 가질 것을 장려할 것이다. 이러한 연산을 수행하는 데에 있어서, 네거티브 패널티 항이 계수 부족 행렬(역으로 될 수 없음)을 유발하지 않도록 주의해야 한다. 방법을 역으로 적용하는 것에 대한 대안적인 방법은 (수학식 7로부터)

가

을 암시한다는 것을 관찰하는 것이다. 여기에서, 연산자

는 이미지를 덜 강건하게 하며, λ가 크다는 것은 덜 강건한 출력을 암시한다. 연산자

가 완전 계수가 아니고, 따라서 적절한 경계 조건(예를 들어, 디리클레 또는 등차 노이만)이 만들어진 경우에만 역으로 될 수 있음에 유의해야 한다.

이미지를 비-강건하게 하는 것은 예를 들어 저-콘트라스트 이미지를 위한 유용한 응용들을 가질 수 있는데, 왜냐하면 그것이 상세를 드러낼 수 있기 때문이다. 또한, 본 발명의 실시예들에 따른 방법은 반전가능하므로, 상세들을 압축하기 위해 이미지가 강건하게 될 수 있으며, 상세들을 확장하기 위해 강건한 이미지가 비-강건하게 될 수 있다. 프로세스가 비파괴적(non-destructive)이기 때문에 상세가 상실되지 않는다. 따라서, 본 발명의 실시예들은 유리한 비파괴적 이미지 압축 기능을 제공한다.

위에서 논의된 것과 같은 본 발명의 소정 실시예들은 컴퓨터 프로세서를 갖는 컴퓨터 시스템 상에서의 실행을 가능하게 하기 위한 제어 로직을 갖는 컴퓨터 사용가능한 매체 상에 및/또는 펌웨어 내에 상주하는 코드(예를 들어, 소프트웨어 알고리즘 또는 프로그램)로서 통합될 수 있다. 그러한 컴퓨터 시스템은 전형적으로 실행에 따라 프로세서를 구성하는 코드의 실행으로부터의 출력을 제공하도록 구성된 메모리 저장소를 포함한다. 코드는 펌웨어 또는 소프트웨어로서 배열될 수 있으며, 이산 코드 모듈들, 함수 호출들, 프로시져 호출들 또는 개체 지향 프로그래밍 환경에서의 개체들과 같은 모듈들의 집합으로서 편성될 수 있다. 모듈들을 이용하여 구현되는 경우, 코드는 서로 협동하여 동작하는 복수의 모듈 또는 단일 모듈을 포함할 수 있다.

본 발명의 선택적인 실시예들은 여기에 참조되거나 나타내어진 부분들, 요소들 및 특징들을, 그 부분들, 요소들 또는 특징들 중의 둘 이상의 임의의 또는 모든 조합으로 총괄적으로 또는 개별적으로 포함하는 것으로서 이해될 수 있고, 본 발명이 관련되어 있는 기술분야에서 균등한 것으로 알려져 있는 구체적인 정수들이 여기에 언급되며, 그러한 알려진 균등물들은 마치 개별적으로 제시된 것처럼 여기에 통합된 것으로 여겨진다.

본 발명의 예시적인 실시예들이 설명되었지만, 본 기술분야의 통상의 지식을 가진 자들은 이하의 청구항들의 기재 및 그것의 균등물들에 의해 정의되는 본 발명으로부터 벗어나지 않고서 다양한 변경, 치환 및 대체를 이루어낼 수 있다.

본 출원이 우선권을 주장하는 영국 특허 출원 제GB1007580.2호 및 본 출원에 수반되는 요약서 내의 개시내용은 참조에 의해 여기에 포함된다.

<참조>

[1] Retinex at 40(연속 논문). B.E. Rogowitz 및 T.N. Pappas, editors, Human Vision and ELectronic Imaging Ⅶ. SPIE: the International Society for Optical Engineering, 2002.

[2] Peter J. Burt 및 Edward H. Adelson. The laplacian pyramid as a compact image code. 671-679 페이지, 1987.

[3] G.H. Golub 및 C.F. van Loan. Matrix Computations. John Hopkins U. Press, 1983.

[4] R. C. Gonzalez 및 P. Wintz. Digital Image Processing. Addison/Wesley, 제2판, 1987.

[5] Per Christian Hansen. Rank - deficient and discrete ill - posed problems: numerical aspects of linear inversion. Society for Industrial and Applied Mathematics, 미국 펜실베니아 필라델피아, 1998.

[6] A.C. Hurlbert. The Computation of Color. PhD thesis, MIT Artificial Intelligence Laboratory, 1989.

[7] D. Marr. Vision. Freeman, 1982.

[8] William Press, Saul Teukolsky, William Vetterling 및 Brian Flannery. Numerical Recipes in C. Cambridge University Press, Cambridge, UK, 제2판, 1992.

[9] B.A. Wandell. Foundations of Vision. Sinauer Associates, 제1판, 1995.

Claims (32)

1. 출력 이미지 데이터를 생성하는 방법으로서,
   기준 이미지에 관련된 미분 데이터(derivative data)를 획득하는 단계;
   출력 이미지 데이터에 대한 제약(constraint)을 획득하는 단계; 및
   상기 제약에 따라, 상기 기준 이미지에 관련된 미분 데이터로부터 상기 출력 이미지 데이터를 생성하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 제약은, 출력 이미지가 평활화 함수들(smooth functions)의 집합, 바람직하게는 이산 코사인 기저(discrete cosine basis)의 처음 M개의 항의 선형 조합일 것을 요구하는 것을 포함하는 방법.
3. 제1항에 있어서,
   상기 제약은,
   상기 출력 이미지 데이터의 미분과 상기 기준 이미지에 대한 미분 데이터 사이의 차이; 및
   패널티 항(penalty term)
   의 합을 최소화하는 것을 포함하는 방법.
4. 제3항에 있어서,
   상기 합의 최소값은 가우스-자이델 방법(Gauss-Seidel method) 및 자코비 방법(Jacobi method)을 포함하는 그룹으로부터 선택된 방법을 이용하여 계산되는 방법.
5. 제3항 또는 제4항에 있어서,
   상기 패널티 항은 상기 출력 이미지 데이터의 함수의 크기와 상수의 곱인 방법.
6. 제5항에 있어서,
   상기 출력 이미지 데이터의 함수는 상기 출력 이미지 데이터인 방법.
7. 제5항 또는 제6항에 있어서,
   상기 상수는 상기 출력 이미지 데이터의 함수의 목표 크기를 최소화하도록 선택되는 방법.
8. 제2항 내지 제6항 중 어느 한 항에 있어서,
   상기 상수는 주어진 스케일의 출력 이미지를 제공하도록 선택되는 방법.
9. 제5항 또는 제6항에 있어서,
   상기 패널티 항은 상기 출력 이미지 데이터의 함수의 크기와 상수를 최적화하도록 선택되는 방법.
10. 제5항 내지 제9항 중 어느 한 항에 있어서,
    상기 상수는 상기 출력 이미지 데이터에 대응하는 출력 이미지를 강건하게(robust) 하도록 포지티브(positive)인 방법.
11. 제10항에 있어서,
    상기 기준 이미지에 대한 미분 데이터 및 상기 패널티 항은 상기 합을 최소화하는 것이 특정 콘볼루션에 의해 해결될 수 있도록 선택되는 방법.
12. 제11항에 있어서,
    상기 콘볼루션은 2개의 분리가능한 1차원 콘볼루션에 의해 근사되는 방법.
13. 제5항 내지 제9항 중 어느 한 항에 있어서,
    상기 상수는 상기 출력 이미지 데이터에 대응하는 출력 이미지를 비-강건(non-robust)하게 하도록 네거티브(negative)인 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 기준 이미지를 수신하고, 상기 기준 이미지로부터 상기 기준 이미지에 관련된 미분 데이터를 계산하는 단계를 더 포함하는 방법.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 기준 이미지에 관련된 미분 데이터는 기준 이미지 데이터의 미분(derivative)의 제1 함수를 포함하고, 상기 기준 이미지 데이터는 상기 기준 이미지의 제2 함수를 포함하는 방법.
16. 제15항에 있어서,
    상기 제1 함수는 임계 함수(threshold function), 약화 함수(attenuating function) 및 클립 함수(clip function)를 포함하는 그룹으로부터 선택되는 방법.
17. 제15항 또는 제16항에 있어서,
    상기 기준 이미지 데이터의 미분의 제1 함수는 상기 기준 이미지 데이터의 미분인 방법.
18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 출력 이미지 데이터의 평균(mean)을 상기 기준 이미지 데이터의 평균과 동일하게 설정하는 단계를 더 포함하는 방법.
19. 제15항 내지 제18항 중 어느 한 항에 있어서,
    상기 제2 함수는 호모몰픽 함수(homomorphic function), 바람직하게는 로그 함수(logarithm function)인 방법.
20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 제2 함수의 역을 상기 출력 이미지 데이터에 적용하여 출력 이미지를 생성하는 단계를 더 포함하는 방법.
21. 제15항 내지 제18항 중 어느 한 항에 있어서,
    상기 기준 이미지의 제2 함수는 상기 기준 이미지이고, 상기 출력 이미지 데이터는 출력 이미지인 방법.
22. 제20항 또는 제21항에 있어서,
    컴퓨터 비전 문제(computer vision problem)를 해결하기 위한 이미지 프로세싱 방법에서 상기 출력 이미지를 이용하는 단계를 더 포함하는 방법.
23. 제22항에 있어서,
    상기 이미지 프로세싱 방법은 동적 범위 압축, 추적, 네비게이션 및 개체 인식을 포함하는 그룹으로부터 선택되는 방법.
24. 이미지 프로세싱 시스템으로서,
    기준 이미지에 관련된 미분 데이터를 획득하도록 구성된 제1 컴포넌트;
    출력 이미지 데이터를 위한 제약을 획득하도록 구성된 제2 컴포넌트; 및
    상기 제1 컴포넌트로부터의 기준 이미지에 관련된 미분 데이터 및 상기 제2 컴포넌트로부터의 제약을 수신하고, 상기 제약에 따라, 상기 기준 이미지에 관련된 미분 데이터로부터 상기 출력 이미지 데이터를 생성하도록 동작할 수 있는 제3 컴포넌트
    를 포함하는 이미지 프로세싱 시스템.
25. 제24항에 있어서,
    상기 기준 이미지를 캡쳐하도록 동작할 수 있는 이미지 캡쳐 디바이스를 더 포함하고, 상기 제1 컴포넌트는 상기 이미지 캡쳐 디바이스로부터 상기 기준 이미지를 수신하고, 상기 기준 이미지로부터 상기 기준 이미지에 관련된 미분 데이터를 계산하도록 동작가능한 이미지 프로세싱 시스템.
26. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 출력 이미지 데이터를 생성하는 방법을 구현하게 하는 머신 실행가능한 명령어들을 저장하기 위한 컴퓨터 판독가능한 저장 매체로서,
    상기 방법은,
    기준 이미지에 관련된 미분 데이터를 획득하는 단계;
    출력 이미지 데이터에 대한 제약을 획득하는 단계; 및
    상기 제약에 따라, 상기 기준 이미지에 관련된 미분 데이터로부터 상기 출력 이미지 데이터를 생성하는 단계
    를 포함하는 컴퓨터 판독가능한 저장 매체.
27. 입력 이미지의 미분들로부터 강건한 출력 이미지를 복구하는 방법.
28. 제27항에 있어서,
    상기 출력 이미지를 강건하게 하기 위해 상기 출력 이미지에 제약이 가해지는 방법.
29. 제28항에 있어서,
    상기 출력 이미지는 평활화 함수들의 집합, 바람직하게는 이산 코사인 기저의 처음 M개의 항의 선형 조합인 방법.
30. 제28항에 있어서,
    상기 제약은 패널티 항인 방법.
31. 제30항에 있어서,
    상기 미분들 및 상기 패널티 항은, 상기 출력 이미지를 생성하는 계산이 상기 입력 이미지의 특정 콘볼루션이도록 선택되는 방법.
32. 제31항에 있어서,
    상기 콘볼루션은 2개의 분리가능한 1차원 콘볼루션들에 의해 근사될 수 있는 방법.

Images