KR101227530B1

KR101227530B1 - 화상처리장치 및 화상처리방법

Info

Publication number: KR101227530B1
Application number: KR1020100037144A
Authority: KR
Inventors: 노부히코 타무라
Original assignee: 캐논 가부시끼가이샤
Priority date: 2009-04-22
Filing date: 2010-04-22
Publication date: 2013-01-31
Also published as: EP2244459A1; CN101873428B; JP5374217B2; US8319843B2; US20130044242A1; US8941761B2; CN101873428A; CN102970464A; US20100271495A1; JP2010258628A; CN102970464B; KR20100116552A

Abstract

촬영 파라미터와 촬영 화상은, 상기 촬영 파라미터를 사용하는 촬상 디바이스에 의해 얻어진다. 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, 상기 촬영 파라미터에 의존한 상기 촬영 화상의 노이즈량에 대응하는 보정 데이터는, 상기 촬영 화상의 블러를 보정하도록 취득된다. 노이즈량이 큰 상기 보정 데이터에 의한 제 1 보정의 정도는, 노이즈량이 작은 상기 보정 데이터에 의한 제 2 보정의 정도미만이다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 촬상 광학계에 의해 생긴 촬영 화상의 블러(blur)를 보정하는 화상처리장치 및 그 화상처리방법에 관한 것이다.

디지털 스틸 카메라 또는 디지털 비디오카메라 등의 촬상장치에 있어서, 피사체로부터의 광을, 렌즈 등으로 구성된 촬상 광학계에 의해, 촬상 디바이스인 CCD나 CMOS센서 상에 안내하여, 결상시킨다. 촬상 디바이스는, 수광한 광을 전기신호로 변환한다. 이 전기신호에, 전기신호를 화상 데이터로 변환하는데 필요한 아날로그-투-디지털(A/D) 변환과 디모자이킹(demosicing) 등의 처리를 실시하여서, 촬영 화상을 얻는다.

촬상 디바이스에 도달하는 광은 촬상 광학계를 통과하므로, 촬상 디바이스는 촬영 화상의 화질에 영향을 미친다. 예를 들면, 고성능 렌즈를 사용하면, 화상의 주변영역에 이르기까지 해상도가 높은 촬영 화상을 얻을 수 있다. 한편, 저렴한 저성능의 렌즈를 사용하면, 촬영 화상의, 특히 주변영역의 해상도의 저하가 현저하다.

예를 들면, 밤하늘을 촬영할 경우, 고성능 렌즈로 촬영한 화상은 각 별이 거의 점 화상으로서 보인다. 그렇지만, 저성능 렌즈로 촬영한 화상에 있어서, 각 별은 점 화상으로 나타나지 않고 흐리게 나타난다. 인물을 촬영할 경우, 고성능 렌즈를 사용하면 각 머리털이 뚜렷한 화상을 얻을 수 있다. 그렇지만, 저성능 렌즈는, 많은 머리털이 흐릿한 화상을 얻을뿐이다. 즉, 저성능 렌즈를 사용하여 선명도가 부족한 화상이 된다.

이러한 블러는, 촬상 광학계의 특성에 의존하고, 초점이 맞은 상태에서도 발생한다. 바꿔 말하면, 초점이 맞은 상태에서도 상기 렌즈의 성능에 따라 촬영 화상의 해상도가 변화된다.

촬영 화상에 화상처리를 실행하여 그 촬상 광학계에 의해 생긴 화상의 블러를 보정하는 방법이 있다. 이 방법은, 미리 데이터로서 취득된 촬상 광학계의 블러의 특성에 근거해 화상처리를 실행하여서, 촬상 광학계에 기인하는 화상의 블러를 보정한다.

촬상 광학계의 블러의 특성을 데이터화하기 위해서, 예를 들면PSF(Point Spread Function)를 사용한다. PSF는, 피사체의 한 점이 어떻게 흐린지를 나타낸다. 예를 들면, 암흑에서, 체적이 대단히 작은 발광체(점광원)를 촬상 광학계를 거쳐서 촬영한다. 이상적인 촬상 광학계를 사용하면, 촬상 디바이스의 면(수광면) 위에 결상하는 광은 점이 된다. 그러나, 블러가 큰 촬상 광학계를 사용하면, 수광면 위에 결상하는 광은 점상이 아니고 어느 정도의 확대하는 상이다. 즉, 수광면상에 있어서의 광의 이차원 분포가 해당 촬상 광학계의 PSF에 해당한다. 실제로, 촬상 광학계의 PSF를 취득하는 경우, 반드시, 점광원과 같은 피사체를 촬영할 필요는 없다. 예를 들면, 화이트와 블랙의 엣지를 갖는 차트를 촬영한 화상에 의거하여, 그 차트에 대응한 계산 방법에 의해 PSF를 계산할 수 있다.

PSF에 의해 화상의 블러를 보정하는 방법으로서, 역필터를 사용하는 방법이 알려져 있다. 설명의 편의상 암흑에서 점광원을 촬영하는 경우를 가정한다. 블러가 있는 촬상 광학계를 사용하면, 점광원으로부터 나온 광은, 상기 수광면 위에, 어느 정도로 확대하는 광 분포를 형성한다. 광은 촬상 디바이스에 의해 전기신호로 변환된다. 이 전기신호를 화상 데이터로 변환함으로써, 점광원의 디지털 화상을 얻는다. 블러가 있는 촬상 광학계를 사용해서 얻은 화상에서, 점광원에 대응한 하나의 화소만은, 유의의 논제로(Non-zero) 화소값을 갖지 않는다. 그 주변의 화소도 0에 가까운 유의의 화소값을 갖는다. 이 화상을, 거의 한 점에서 유의한 화소값을 갖는 화상으로 변환하는 화상처리가 역 필터 처리다. 이 역 필터에 의해, 마치 블러가 적은 촬상 광학계를 사용하여 촬영한 것 같은 화상을 얻을 수 있다.

상기에서는, 설명을 위해 점광원을 예로 했다. 피사체로부터의 광도 다수의 점광원의 모임이라고 생각하면, 피사체의 각 점으로부터 방출 또는 각 점이 반사하는 광의 블러를 없애고, 점광원이외의 피사체에 관해서도 블러가 적은 화상을 얻는다.

다음에, 역 필터의 구체적인 구성 방법을 설명한다. 여기에서, 블러가 없는 이상적인 촬상 광학계를 사용해서 얻어진 촬영 화상을, f(x, y)로서 정의하고, 이때, x, y는, 화상의 이차원 화소위치이고, f(x, y)은 화소(x, y)의 화소값이다. 한편, 블러가 있는 촬상 광학계로 얻어진 촬영화상을 g(x, y)로서 정의한다. 또한, 블러가 있는 촬상 광학계의 PSF를 h(x, y)로 나타낸다. 그 후, f, g 및 h는 다음의 관계가 있다.

g(x, y)=h(x, y)*f(x, y) …(1)

여기에서, *는 콘볼루션 연산을 나타낸다.

화상의 블러의 보정(이하, 블러 보정)은, 블러가 있는 촬상 광학계를 사용해서 얻어진 화상g와, 해당 촬상 광학계의 PSF인 h에 의거하여, 블러가 없는 촬상 광학계로 얻어진 f를 추정하는 것이 된다. 또한, 상기 식(1)에 푸리에(Fourier) 변환을 적용하여 공간주파수 영역에 있어서의 수식을 얻으면, 그것은 하기식과 같이 주파수마다의 적(product)으로서 기록될 수 있다.

G(u,v)=H(u,v)·F(u,v) …(2)

여기에서,

H는 PSF의 푸리에 변환인 OTF(Optical Transfer Function),

u는 x방향의 공간주파수,

v는 y방향의 공간주파수,

G는 g의 푸리에 변환,

F는 f의 푸리에 변환이다.

흐릿해진 촬영 화상g로부터 블러가 없는 촬영 화상을 얻기 위해서는, 하기식으로 나타나 있는 바와 같이 식(2)의 양변을 H로 나눈다.

G(u,v)/H(u,v)=F(u,v) …(3)

식(3)에 의해 얻어진 F(u, v)를 역 푸리에 변환하고, 실공간으로 돌려주면, 블러가 없는 화상f(x, y)를 얻는다. 1/H의 역 푸리에 변환을 R이라고 한다. 하기식에 나타나 있는 바와 같이 실공간에서 콘볼루션을 함으로써, 블러가 없는 화상을 얻는다.

g(x, y)*R(x, y)=f(x, y) …(4)

식(4)의 R(x, y)을 역 필터라고 부른다. 실제로는, H(u, v)가 0이 되는 주파수(u,v)에 있어서 제수 0에 의한 제산이 발생하므로, 역 필터R(x, y)는 다소의 변형을 필요로 한다.

보통, OTF의 값은 주파수가 높을수록 작아진다. OTF의 역수인 역 필터의 값은 주파수가 높을수록 커진다. 따라서, 역 필터를 사용해서 촬영 화상의 콘볼루션은, 촬영 화상의 고주파성분, 즉 촬영 화상에 포함되는 노이즈(노이즈는, 일반적으로 고주파성분)를 강조하게 된다. R(x, y)을 변형하고, 역 필터정도는 고주파성분을 강조하지 않는 특성을 주는 방법이 알려져 있다. 노이즈 저감을 고려하여, 고주파성분을 그다지 강조하지 않는 필터로서 Wiener필터가 유명하다.

이렇게, 촬영 화상에 포함되는 노이즈나, OTF가 0이 되는 주파수의 존재 등의 이상적인 조건으로부터의 이탈 때문에, 블러를 완전하게 제거할 수는 없다. 그러나, 상기 처리에 의해 블러를 저감할 수 있다. 또한, 이후에서는, 역 필터와 Wiener필터등의 블러 보정에 사용되는 필터를 모두 "회복 필터"라고 부른다. 전술한 바와 같이, 회복 필터는, 촬상 광학계의 PSF를 사용해서 화상처리를 수행하는 것이 특징이다.

Wiener 필터를 구성하는데, 촬상 광학계의 OTF와 노이즈량을 사용한다. 즉, Wiener필터는, 촬상 광학계의 PSF 또는 OTF와, 노이즈량을 사용해서 구성하는 것에 특징이 있다.

또한, 촬상 광학계의 블러를 보정하는 방법으로서, 역 필터와 Wiener필터를 언급했다. 그 필터들이외에도 최대 엔트로피법이나 Richardson-Lucy법 등의 블러 보정방법이 제안되어 있다. 이것들은, 상세한 설명은 생략하지만, OTF 또는 PSF와 노이즈량에 근거해 처리를 행하여, 촬영 화상의 블러를 보정하고 그 보정 화상을 얻는다고 하는 의미에서, Wiener필터와 동일하다.

일반적으로, 블러 보정에 있어서는, 촬영 화상에 포함되는 주파수성분을 강조한다. 촬영화상이 노이즈를 포함하므로, 블러 보정에 의해, 노이즈의 주파수성분도 강조되어버린다. 이 때문에, 블러 보정의 정도가 강할 경우, 노이즈도 증대한다. 노이즈의 증대를 피하기 위해서는, 블러 보정의 정도를 약화시킬 필요가 있다. 즉, 블러 보정의 정도와, 노이즈의 증대는, 트레이드오프의 관계에 있다.

Wiener 필터는, 블러 보정의 정도와, 노이즈의 증대간의 최적의 밸런스를 실현하는 필터 중 하나다. 구체적으로는, 노이즈도 없고, 촬상 광학계에 의한 블러도 없는 촬영 화상에, 자승 오차의 의미에서 가장 가까운 보정화상을 주는 것이 Wiener 필터에 의한 보정이다. 즉, Wiener필터는, 노이즈의 증대와 블러 보정의 정도의 양쪽을 고려해서 보정을 행하기 때문에, 노이즈의 증대와 블러 보정의 정도간의 밸런스를 적합하게 유지할 수 있다.

상기한 바와 같이, 상기 Wiener필터는, OTF와 노이즈량으로부터 계산될 수 있다. 종래는, 소정의 촬영 조건으로 측정한 노이즈량, 또는, 경험적으로 정한 노이즈량에 의거하여 Wiener필터를 구성하였다. 그러나, 촬영 조건에 따라 노이즈량은 변동하고, 그러므로 소정의 촬영 조건으로 측정한 노이즈량이나 경험적으로 정한 노이즈량은 정확하지 않다. 그 결과, 종래의 Wiener필터는, 반드시 최적의 구성을 갖지는 않는다.

촬영 조건에 따른 노이즈량의 변동의 예로서, 연속 촬영을 행하면 촬상 디바이스의 온도가 상승하고, 노이즈량이 증대하는 예가 있다. 실제의 노이즈량보다도 적은 노이즈량에 의거하여 구성한 Wiener필터는, 촬영 화상의 노이즈를 필요이상으로 증대시킨다. 반대로, 실제의 노이즈량보다도 많은 노이즈량에 의거하여 구성한 Wiener필터는, 블러 보정의 정도를 필요이상으로 약화시킨다. 바꿔 말하면, 부정확한 노이즈량에 근거해 블러 보정을 행하면, 보정이 불충분하게 되거나 노이즈 과잉으로 된다.

전술한 최대 엔트로피법이나 Richardson-Lucy법등의 블러 보정방법에 있어서도, 역시, 블러 보정의 정도와 노이즈의 증대는 트레이드오프의 관계에 있다. 따라서, 정확한 노이즈량을 얻지 못하는 경우, 최적의 블러보정을 행할 수 없다.

본 발명의 제 1 국면은, 촬영 파라미터와, 상기 촬영 파라미터를 사용하는 촬상 디바이스에 의해 얻어진 촬영 화상을 취득하는 제 1 취득수단; 및 (a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 노이즈량에 대응한, 상기 촬영 화상의 블러를 보정하는 보정 데이터를 취득하는 제 2 취득수단을 구비하고, 노이즈량이 큰 상기 보정 데이터에 의한 제 1 보정의 정도는, 노이즈량이 작은 상기 보정 데이터에 의한 제 2 보정의 정도미만인, 화상처리장치를 제공한다.

본 발명의 제 2 국면은, 촬영 파라미터와, 상기 촬영 파라미터를 사용하는 촬상 디바이스에 의해 얻어진 촬영 화상을 취득하는 단계; 및 (a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 노이즈량에 대응한, 상기 촬영 화상의 블러를 보정하는 보정 데이터를 취득하는 단계를 포함하고, 노이즈량이 큰 상기 보정 데이터에 의한 제 1 보정의 정도는, 노이즈량이 작은 상기 보정 데이터에 의한 제 2 보정의 정도미만인, 화상처리방법을 제공한다.

상기 국면들에 의하면, 촬영 화상의 노이즈량에 대응한 블러 보정용의 보정 데이터를 취득할 수 있다. 또한, 노이즈의 증대와 블러 보정의 정도를 잘 균형을 잡으면서 블러 보정을 행할 수 있다.

본 발명의 또 다른 특징들은, 첨부된 도면들을 참조하여 아래의 예시적 실시예들로부터 명백해질 것이다.

도 1은 제1 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.
도 2는 화상처리부의 화상처리를 설명하기 위한 흐름도다.
도 3은 다크 화상의 특성 예를 설명하는 도면이다.
도 4는 보정계수 기억부의 개념을 도시한 테이블이다.
도 5a 내지 도 5c는 노이즈량과 블러 보정간의 관계를 개념적으로 도시한 그래프다.
도 6은 블러 보정부의 처리를 설명하는 흐름도다.
도 7은 제2 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.
도 8은 제2 실시예에 따른 블러 보정부의 처리를 설명하는 흐름도다.
도 9는 OB부의 개념도다.
도 10은 제3 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.
도 11은 제4 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.
도 12는 제4 실시예에 따른 화상처리부의 화상처리를 설명하는 흐름도다.
도 13은 노이즈 특성 기억부의 개념을 도시한 테이블이다.
도 14는 제5 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.

이하, 본 발명의 실시예들에 따른 화상처리장치 및 화상처리방법을 도면들을 참조해서 상세하게 설명한다.

[장치의 구성]

도 1은 본 실시예에 따른 촬상장치의 구성을 나타내는 블록도다.

(도면에 나타나 있지 않은) 피사체로부터의 광은, 촬상 광학계(101)를 거쳐서, 촬상 디바이스(102)의 수광면에 결상한다. 촬상 디바이스(102)는, 수광면에 결상하는 광을 전기신호로 변환한다. 이 전기신호는, (도면에 나타나 있지 않은) A/D변환기에 의해 디지털 신호로 변환되어서, 촬영(촬영된) 화상(104)을 얻는다.

촬상 디바이스(102)는, 수광면 위에 결상된 상의 광신호를, 수광면에 배치된 광전변환소자마다 전기신호로 변환하는, CCD 또는 CMOS센서로 형성된다. 차광부(103)는, 피사체로부터의 광을 차단해서, 촬상 디바이스(102)의 수광면에 광이 도달하는 것을 차단하는 기능을 갖는다. 차광부(103)는, 예를 들면 셔터이어도 되고, 최대한으로 좁힌 개구상태로 광을 차단하는 것이 가능하면, 조리개이어도 된다. 또한, 피사체의 화상을 촬영하는 경우에는, 차광부(103)를 소정시간 연다. 즉, 촬영 시간동안에, 피사체로부터의 광을 결코 모두 차단하지 못한다.

상태 검지부(131)는, 촬영 파라미터, 즉 촬상장치의 촬상상태를 나타내는 일련의 파라미터를 취득한다. 촬영 파라미터의 예들은, 렌즈 식별자, 보디(body) 식별자, 조리개 값, 피사체 거리, 줌 위치 및 ISO감도가 있다. 촬영 파라미터는, 촬상상태에 있어서의 촬상특성(촬상 광학계(101)의 특성, 촬상 디바이스(102)의 특성)을 규정한다. 즉, 상기 촬영 파라미터는, 상기 촬상 광학계의 용도에 따라 변화한다. 상기 촬영 파라미터는, 상기 촬상장치의 실시간(현재) 특성을 나타낸다. 이렇게 촬영 파라미터를 취득하는 것은, 촬영 화상에 있는 노이즈의 정확한 계산을 용이하게 함에 따라서, 그 촬영 화상은, 블러와 노이즈 등의 화상 아티팩(artifact)을 제거하기 위해서 정확한 방법으로 보정될 수 있다. 이것은, 소정의 촬영 파라미터를 사용하여 촬영 화상의 노이즈를 계산하는 배경 설명에서 언급된 종래의 공지 기술과 대조된다. 그렇지만, 노이즈는 상기 촬영 파라미터에 따라 변화하므로, 소정의 촬영 파라미터를 사용하여 계산된 노이즈(또는 경험적으로 규정된 노이즈)가 부정확하다.

화상처리부(121)에 있어서, 노이즈량 추정부(111)(나중에 상세히 설명함)는, 다크 화상(105)을 사용해서 노이즈량(112)을 추정한다. 전처리(preprocessing)부(106)(나중에 상세히 설명함)는, 다크 화상(105)을 사용하여, 블러 보정에 사전 처리를 촬영 화상(104)에 대해 실행한다. 블러 보정부(108)는, 보정계수 보간부(113)에 보정대상의 화소위치(114)를 통지하고, 보정계수 보간부(113)로부터 되돌려진 보정계수(115)를 사용하여, 전처리부(106)로부터 입력한 촬영 화상(104)의 블러를 보정한다.

보정계수 보간부(113)는, 노이즈량(112) 및 촬영 파라미터(107)에 근거하여, 블러 보정부(108)로부터 보내진 화소위치(114)에 대응하는 보정계수(115)를 보정계수 기억부(116)로부터 취득하고, 그 보정계수(115)를 블러 보정부(108)에 되돌려준다. 후처리부(119)는, 블러 보정부(108)로부터 입력한 블러 보정후의 촬영 화상에 대해 색 변환 및 게인(gain) 조정등의 후처리를 실시하여, 보정화상(110)을 출력한다. 화상기록부(141)는, 그 보정화상(110)을 메모리 카드등의 기록 매체에 기록한다.

[화상처리부의 처리]

도 2는 화상처리부(121)의 화상처리를 설명하는 흐름도다.

화상처리부(121)는, 촬영 화상(104)을 취득하고(S201), 다크 화상(105)을 취득한다(S202).

다크 화상(105)은, 피사체로부터의 광을 차단하도록 차광부(103)를 동작시켜, 촬상 디바이스(102)가 출력하는 전기신호를 A/D변환한 데이터다. 촬상 디바이스(102)가 출력한 전기신호는, 통상, 노이즈를 포함한다. 차광 상태에서도, 촬상 디바이스(102)가 출력하는 전기신호의 값은 0은 아니다. 즉, 다크 화상(105)의 화소값은 모두 0이 아니고, 그 화소들은 특정 값을 갖는다. 바꿔 말하면, 노이즈는, 다크 화상(105)의 화소값을 결정한다. 다크 화상(105)은, 촬상 디바이스(102)의 노이즈 특성을 나타내는 정보를 갖는다.

도 3은 다크 화상의 특성 예를 설명하는 도면이다.

참조번호 306은, 촬상 디바이스(102)의 수광면에 해당하고, 다크 화상(105)에 대응한다. 전원(304) 근처의 영역(301)의 광전변환소자의 노이즈는, 전원(304)의 열로 인해 커지는 경향이 있다. 이 때문에, 다크 화상(105)의 영역(301)의 화소값은, 다크 화상(105) 전체의 평균 화소값보다도 큰 값을 취하는 경향이 있다.

또한 플래시 라이트(305)가 발광시에, 플래시 라이트(305)에 가까운 영역(302)의 광전변환소자의 노이즈도 열에 의해 커진다. 따라서, 다크 화상(105)의 영역(302)의 화소값은, 다크 화상(105) 전체의 평균 화소값보다도 큰 값을 취하는 경향이 있다.

촬상 디바이스(102)의 영역(303)은, 화소결함등 때문에 다른 영역과 다른 노이즈 특성을 갖는 경우가 있다. 즉, 특징적 특징으로서, 다크 화상(105)의 화소값들은, 영역간에 변화한다.

촬영 화상(104)도 같은 노이즈를 포함한다. 그렇지만, 촬영 화상(104)에는 피사체의 정보와 노이즈의 정보 모두가 포함되기 때문에, 촬영 화상(104)으로부터 노이즈 특성을 추정하는 것은 곤란하다. 즉, 피사체의 촬영 화상(104)과 아울러, 다크 화상(105)을 취득함으로써 촬영 화상(104)이 포함하는 노이즈량을 추정한다.

다음에, 화상처리부(121)는, 상태 검지부(131)로부터 촬영 파라미터(107)를 취득한다(S203). 촬영 파라미터(107)가 결정되면, 촬상 광학계(101)의 OTF를 측정 또는 시뮬레이션에 의해 구하는 것이 가능하다. 촬영 파라미터(107)에 따라 촬상 광학계(101)의 OTF가 변하기 때문에, 촬상 광학계(101)의 블러를 보정하기 위해서는, 촬영 파라미터(107)의 취득은 필수적이다.

다음에, 화상처리부(121)는, (상세한 것은 후술함), 노이즈량 추정부(111)에 의해 다크 화상(105)으로부터 노이즈량(112)을 추정해(S204), 전처리부(106)에 의해 전처리를 실행한다(S205). 그리고, 블러 보정부(108)에 의해, 보정계수 보간부(113)를 거쳐서 취득한 보정계수(115)를 사용하여, 전처리 후의 촬영 화상(104)의 블러를 저감하는 처리(블러 보정)를 행한다(S206).

화상처리부(121)는, 후처리부(119)에 의해 블러 보정후의 촬영 화상에 대해 후처리를 실행하고(S207), 후처리후의 보정화상(110)을 화상기록부(141)에 출력해서(S208), 보정화상(110)을 기록 매체에 기록시킨다.

[노이즈량 추정부]

노이즈량 추정부(111)는, 다크 화상(105)을 복수개 영역으로 분할하고, 각 영역의 화소값의 표준편차를 계산한다. 노이즈량이 큰 영역에서는, 표준편차가 크다. 또 노이즈량이 작은 영역에서는 표준편차가 작다. 즉, 영역마다 표준편차를 계산함으로써, 도 3을 참조하여 설명한 영역간에 변화하는 노이즈량을 정확하게 파악할 수 있다.

ISO감도가 높은 경우, 통상, 촬영 화상(104)의 화소값을 증폭하는 처리를 행한다. 이 때문에, ISO감도의 설정이 높은 상태에서 얻어진 촬영 화상(104)은, 전처리부(106) 또는 후처리부(119)에 있어서 화소값이 증폭된다. 촬영 화상(104)에 포함된 노이즈도 그 설정된 ISO감도에 따라 증폭되게 된다. 그러므로, 다크 화상(105)으로부터 얻은 표준편차를, 단순하게, 촬영 화상(104)의 노이즈량으로 사용할 수는 없다. 대신에, 다크 화상(105)으로부터 얻은 표준편차를, 설정된 ISO감도에 대응한 소정의 비율로 증폭하고, 그 증폭 결과를 실질적인 노이즈량(112)으로서 사용한다.

또한, 상기에서는 노이즈량(112)으로서 표준편차를 사용하는 예를 나타냈다. 화소값의 분산이나 최대값과 최소값의 차이는, 노이즈가 클 경우에 커지고, 노이즈가 작을 경우에 작아지기 때문에, 노이즈의 크기를 나타내는 지표로서의 역할을 할 수 있다. 따라서, 노이즈량(112)으로서, 표준편차에 한하지 않고, 상기 분산 또는, 상기 최대값과 최소값의 차이를 사용해도 된다.

[보정계수 보간부]

보정계수 보간부(113)는, 노이즈량(112), 촬영 파라미터(107) 및 화소위치(114)에 대응한 블러 보정을 위한 보정계수(115)를 취득한다. 상기 노이즈량(112), 촬영 파라미터(107) 및 화소위치(114)는, 보정계수(115)를 취득하는데 필요한 정보다. 이하에서는, Wiener필터에 의해 블러 보정을 행하는 예를 설명한다. 또한, Wiener필터에 의해 블러 보정을 행할 경우, 보정계수(115)는 Wiener필터의 계수다.

도 4는 보정계수 기억부(116)의 개념을 도시한 테이블이다.

보정계수 기억부(116)는, 촬영 파라미터(107), 화소위치(114) 및 노이즈량(112)의 각 조합에 대응한 보정계수(115)(Wiener필터)를 미리 기억한다. 도 4에는, 촬영 파라미터(107)의 예들로서 조리개 값과 줌 위치가 기재되어 있다. OTF는, 화소위치(114)에 따라 변화된다. 그 OTF가 변화되는 경우, 보정계수(115)도 변화된다. 보정계수(115)는 노이즈량(112)에도 의존한다.

Wiener 필터는, 도 4에 보정계수로서 나타나 있는 바와 같이, 3×3의 이차원 디지털 필터다. Wiener 필터의 구성 방법의 상세한 것은 후술한다.

촬영 파라미터(107), 화소위치(114) 및 노이즈량(112)의 조합은 방대하다. 모든 조합에 대응한 보정계수(115)를 기억하면, 보정계수 기억부(116)에 기억된 데이터량은 방대해진다. 이를 막기 위해서, 보정계수 기억부(116)는, 촬영 파라미터(107), 화소위치(114) 및 노이즈량(112)의 대표값에 대응하는 보정계수를 기억한다. 따라서, 보정계수 보간부(113)는, 상기 입력된 촬영 파라미터(107), 화소위치(114) 및 노이즈량(112)의 조합에 인접하는 대표값에 대응한 보정계수를 상기 보정계수 기억부(116)로부터 취득한다. 그 보정계수에 의거하여, 보정계수 보간부(113)는, 촬영 파라미터(107), 화소위치(114) 및 노이즈량(112)의 조합에 대응하는 보정계수(115)를 보간한다.

예를 들면, 화소위치(114)에 대해서, 대표값을 화상끝과 화상중앙의 2점으로 한다. 임의의 화소위치(114)에 대응한 보정계수(115)는, 화상끝의 보정계수와 화상중앙의 보정계수의 가중평균을 계산하여 근사적으로 구해진다.

이상에서는, Wiener필터를 예로 들어 설명하였다. 최대 엔트로피법이나 Richardson-Lucy법등의 블러 보정을 사용하는 경우, 보정계수(115)는 OTF 및 노이즈량에 대응한다.

[Wiener필터의 구성 방법］

Wiener필터는, 다음식으로 나타내는 W를 푸리에 역변환 하는 것에 의해 구해질 수 있다.

W(u, v)=H^*(u, v)/{｜H(u, v)｜²+Sn(u, v)/Sf(u, v)} …(5)

여기에서, H^*(u, v)는 OTF인 H(u, v)의 복소공역이다.

Sn(u, v)는 노이즈의 파워 스펙트럼이고,

Sf(u, v)는 촬영 화상의 파워 스펙트럼이다.

또한, Wiener필터는, 식(5)에 있어서의 Sn(u, v)와 Sf(u, v)를 공간주파수(u, v)에 의존하지 않는 간략화된 형식으로 다시 써서 나타내어지고,

W(u, v)=H^*(u, v)/{｜H(u, v)｜²+SNR²} …(6)

여기에서, SNR은 노이즈의 표준편차를 촬영 화상의 화소값으로 나누어 얻은 SN비다.

다크 화상(105)의 영역마다 노이즈의 표준편차를 계산하는 경우, 제산에 사용하는 화소값은 촬영 화상(104)의 대응영역의 평균 화소값이다. 엄밀하게 말하면, 상기 SNR은, 보정대상 화소의 화소값에 의존하는 양이다. 그렇지만, 간이적으로 촬영 화상(104)의 평균 화소값을 사용하여도 된다.

[노이즈량과 블러 보정의 관계]

도 5a 내지 도 5c는 노이즈량과 블러 보정의 관계를 개념적으로 도시한 그래프다. 각 그래프의 세로축은, OTF의 절대값인 MTF(변조 전달 함수)를 나타내고, 가로축은 공간주파수를 나타낸다. 또한, 도 5a 내지 도 5c에 있어서, 설명을 간단하게 하기 위해서, 0이외의 유의의 값을 갖는 점을 피사체(점광원)이라고 생각한다.

도 5a는 노이즈가 없는 경우의 MTF를 설명하는 그래프다. 도 5a의 왼쪽 그래프는 피사체의 MTF를 나타낸다. 촬상 광학계(101)가 블러가 없는 경우에는, 피사체의 촬영 화상도 동등한 MTF를 나타낸다. 도 5a의 중간 그래프는, 촬상 광학계(101)의 블러를 포함하는 촬영 화상의 MTF를 나타낸다. 고주파수일수록 MTF의 값이 작아진다. 또한, 피사체로서 점광원을 상정하기 위해서, 도 5a의 중간 그래프는 촬상 광학계(101)의 MTF를 나타내기도 한다.

도 5a의 오른쪽 그래프는, 도 5a의 중간 그래프에 대응하는 촬영 화상에 역 필터를 사용한 블러 보정을 실행하여 얻어진 촬영 화상의 MTF를 나타낸다. 도 5a의 중간 그래프의 MTF>0의 범위내에서, 역 필터에 의한 블러 보정에 의해, 도 5a의 오른쪽 그래프와 같은 상태로 촬영 화상을 회복할 수 있다. 그러나, 실제로는, 노이즈가 존재하고, 촬영 화상의 MTF에는 노이즈의 주파수 특성이 더해진다.

도 5b는 노이즈가 있어, 노이즈량을 정확하게 추정할 수 있는 경우의 MTF를 설명하는 그래프다. 도 5b의 왼쪽 그래프에서의 영역(51a)은, 촬영 화상의 MTF에 더해진 노이즈 성분을 나타낸다. 도 5b의 중간 그래프는, 도 5b의 왼쪽 그래프에 대응하는 촬영 화상에 대해 역 필터를 사용하여 블러 보정을 실행하여 얻어진 촬영 화상의 MTF를 나타낸다. 영역 51b로 도시한 바와 같이, 고주파영역에서 노이즈가 극단적으로 증대한다.

도 5b의 오른쪽 그래프는, 도 5b의 왼쪽 그래프에 대응하는 촬영 화상에 대한 Wiener필터를 사용하여 블러 보정을 실행하여 얻어진 촬영 화상의 MTF를 나타낸다. Wiener 필터는, 촬상 광학계(101)의 MTF에 대한 노이즈 성분의 비율이 커지는 주파수영역에 있어서 보정의 정도를 저하시킨다. 그 결과, 노이즈 성분의 비율이 큰 고주파영역에 있어서 보정의 정도를 낮게 한다. 도 5b의 오른쪽 그래프에 영역(51c)으로 나타낸 것처럼, 노이즈의 증대가 억제된다.

저주파수영역과 중간주파수영역에 있어서, 도 5b의 오른쪽 그래프에 나타낸 MTF는 1에 접근하고, 이들 주파수영역에 있어서 블러가 보정된다. 즉, 도 5b의 오른쪽 그래프에 도시된 MTF에 대응하는 촬영 화상을 얻는 블러 보정은, 블러 보정의 효과와 노이즈 증대의 폐해가 적절한 밸런스를 이루기 때문에 바람직하다. 이러한 밸런스를 얻기 위해서는, 노이즈량을 정확하게 추정할 필요가 있다.

도 5c는 노이즈가 있어, 노이즈량을 정확하게 추정할 수 없는 경우의 MTF를 설명하는 그래프다. 도 5c의 왼쪽 그래프는, 도 5b의 왼쪽 그래프에 대응하는 촬영 화상에 대해 Wiener필터를 사용하여 블러 보정을 실행하여 얻어진 촬영 화상의 MTF를 나타낸다. 이 그래프에서, 노이즈량은 실제양보다도 작다고 추정된다. 그 노이즈량이 실제양보다도 작다고 추정되므로, 영역 52a로 나타낸 것처럼, 고주파영역에 있어서 노이즈는 증대한다.

도 5c의 오른쪽 그래프는, 도 5b의 왼쪽 그래프에 대응하는 촬영 화상에 대한 Wiener필터를 사용하여 블러 보정을 실행하여 얻어진 촬영 화상의 MTF를 나타낸다. 이 그래프에서, 노이즈량은 실제양보다도 크다고 추정된다. 그 노이즈량이 실제양보다도 크다고 추정되기 때문에, 영역 52b로 나타나 있는 바와 같이, 고주파수영역에 있어서의 노이즈의 증가는 억제되지만, 중간주파수영역에서의 MTF가 저하하고, 블러 보정은 불충분하다.

[전처리부]

전처리부(106)는, 필요에 따라, 예를 들면 감마 보정, 디모자이킹(현상 처리), 및 촬상 디바이스(102)의 결함(화소의 결핍)을 보상하는 처리를 촬영 화상(104)에 실행한다. 또한, 전처리부(106)는, 다크 화상(105)에 근거하는 전처리를 촬영 화상(104)에 실행한다. 다크 화상(105)에 근거한 전처리는 블러 보정과 직접적으로는 관계되지 않지만, 다크 화상(105)을 노이즈량(112)의 추정이외에 사용하는 예로서 설명한다.

노이즈가 존재할 경우, 피사체의 가장 어두운 영역에 대응하는 촬영 화상(104)의 영역도 0이외의 유의의 값을 갖는다. 그에 따라서, 촬영 화상(104)에 있어서 콘트라스트가 저하한다. 콘트라스트의 저하는, 다크 화상(105)의 평균 화소값을 촬영 화상(104)의 각 화소값으로부터 감산함으로써 개선된다. 도 3에 나타나 있는 바와 같이, 영역들간에 노이즈 특성이 크게 변화하는 경우에, 다크 화상(105)의 영역마다 평균 화소값을 계산하고, 촬영 화상(104)의 대응하는 영역의 화소값으로부터 해당 평균 화소값을 감산한다. 화소 레벨에 따라 노이즈 특성이 변화하는 경우에, 다크 화상(105) 자체를 촬영 화상(104)으로부터 감산한다. 특히, 항상, 값0이 안 되는 결함화소가 있는 경우, 촬영 화상(104)으로부터 다크 화상(105)을 감산하는 것이 바람직하다.

기타의 전처리로서, 다크 화상(105)에 근거하여 노이즈 감소를 행하여도 된다. 예를 들면, 다크 화상(105)에서 노이즈가 큰 영역을 판정하고, 촬영 화상(104)의 대응영역에 보다 강한 노이즈 감소를 적용한다. 이에 따라, 실제의 노이즈 특성에 적응한 노이즈 감소를 행할 수 있고, 촬영 화상(104)의 노이즈 감소의 효과를 개선한다. 노이즈 감소 후의 촬영 화상(104)이 보다 적은 노이즈를 포함하므로, 전처리부(106)는, 감소한 노이즈량에 관한 정보를 노이즈량 추정부(111)에게 통지할 필요가 있다. 노이즈량 추정부(111)는, 상기 통지에 근거해 노이즈량(112)을 보정할 필요가 있다.

[블러 보정부]

블러 보정부(108)는, Wiener필터를 사용해서 블러 보정을 행하는 경우에는, Wiener필터(보정계수(115))와 촬영 화상(104)의 콘볼루션 연산을 행한다. 또한, 최대 엔트로피법이나 Richardson-Lucy법등의 블러 보정방법을 사용해서 블러 보정을 행하는 경우에는, 보정계수(115)에 해당하는 OTF와 노이즈량을 사용해서 반복 연산에 의해 촬영 화상(104)의 블러를 보정한다.

도 6은 블러 보정부(108)의 처리를 설명하는 흐름도다.

블러 보정부(108)는, 촬영 화상(104)의 주목 화소의 위치를 화소위치(114)로서 출력해(SlOl), 보정계수 보간부(113)로부터 Wiener필터(보정계수(115))를 취득한다(SlO2). 그리고, 블러 보정부(108)는, 주목 화소를 중심으로 하는 3×3화소와 Wiener필터의 콘볼루션 연산을 행해(SlO3), 주목 화소에 대응하는 보정화소를 출력한다(SlO4).

다음에, 블러 보정부(108)는, 촬영 화상(104)의 전체 화소를 처리한 것인가 아닌가를 판정한다(SlO5). 그 처리가 아직 끝나지 않았으면, 주목 화소를 이동하고(SlO6), 그 처리를 단계SlOl로 되돌아간다. 전체 화소가 처리된 경우에, 블러 보정을 종료한다.

이렇게, 다크 화상(105)을 사용함으로써 촬영 조건에 따라 변동하는 노이즈량(112)을 정확하게 추정한다. 정확하게 추정한 노이즈량(112)과 촬상 광학계(101)의 블러특성에 관계되는 보정계수(115)를 사용해서 블러 보정을 행하는 경우, 노이즈 증대와 블러 보정의 정도의 밸런스를 잘 유지할 수 있다. 그 결과, 촬상 광학계(101)에 의해 생긴 블러가 저감되고, 또한, 노이즈의 증가가 적절하게 억제된 보정화상(110)을 얻을 수 있다.

촬영 화상(104)에 포함된 각 주파수성분의 보정 정도는, 화소위치와 촬영 조건에 따라 변화된다. 예를 들면, 노이즈량이 큰 화소위치나, ISO감도가 높은 촬영 조건에 있어서는, 노이즈량이 크다. 그 결과, 촬영 화상(104)의 각 주파수성분의 보정 정도는 낮게 된다. 본 실시예에서는, 화소위치와 촬영 조건에 의해, 다른 노이즈 특성에 대하여, 적절하게 각 주파수성분의 보정의 정도를 변화시킴으로써, 노이즈와 블러 보정의 정도의 밸런스를 유지한다.

이하, 본 발명의 제2 실시예에 따른 화상처리를 설명한다. 또한, 제2 실시예에 있어서, 상기 제1 실시예와 동일한 부분에 대해서는, 동일한 참조번호를 부착하고, 그 상세한 설명을 생략한다.

촬상 디바이스(102)의 수광면에 광이 충돌할 때에 발생된 노이즈로서, 숏 노이즈가 알려져 있다. 그 숏 노이즈는, 광전변환소자에 입력되는 광 에너지의 평방근에 비례하는 것으로 알려져 있다.

제1 실시예의 노이즈량 추정부(111)는, 다크 화상(105)과 촬영 파라미터(107)에 근거해 노이즈량(112)을 계산했다. 즉, 상기 제1 실시예의 노이즈량(112)은, 촬상 디바이스(102)의 수광면에 광이 충돌하지 않을 때의 노이즈량을 나타낸다. 바꿔 말하면, 광을 차단한 상태에서 촬영된 다크 화상(105)은, 숏 노이즈에 관한 정보를 포함하지 않는다.

제2 실시예에 있어서는, 숏 노이즈를 고려하여, 노이즈 추정을 고정밀도화한다.

도 7은 제2 실시예에 따른 촬상장치의 구성을 나타내는 블록도다. 도 1에 나타내는 제1 실시예의 구성과 달리, 노이즈량 추정부(111)는, 다크 화상(105)과 촬영 파라미터(107)와 아울러, 촬영 화상(104)의 화소값(118)과 숏 노이즈 특성 기억부(117)의 정보에 근거하여, 노이즈량(112)을 계산한다. 제2 실시예의 노이즈량 추정부(111)는, 다음식에 의해 노이즈량(112)을 추정한다.

STDt ＝√(STDd² +STDs²) …(7)

여기에서, STDt는 추정한 노이즈량,

STDd는 다크 화상(105)으로부터 계산한 노이즈량,

STDs는 숏 노이즈량이다.

STDd는, 제1 실시예와 마찬가지로, 다크 화상(105)의 표준편차이다. STDs는, 광 에너지에 의해 결정된다. STDs는, 광 에너지에 의해 화소값이 결정되기 때문에, 화소값을 계산하여 구해질 수 있다. 구체적으로는, 화소값과 STDs간의 관계를 나타내는 룩업테이블(LUT)을 숏 노이즈 특성 기억부(117)에 기억하고, 블러 보정부(108)로부터 얻어진 주목 화소의 화소값(118)에 의거하여 STDs를 구한다. 또한, 제1 실시예와 마찬가지로, ISO감도의 설정에 따라, STDt(노이즈량(112))를 조정할 필요가 있다.

숏 노이즈 특성 기억부(117)의 LUT는 다음과 같이 작성한다. 똑같은 밝기의 피사체를 촬영한다. 촬영 화상의 화소값과 그 화소값의 표준편차에 의거하여, 숏 노이즈량과 화소값간의 대응관계를 계산해서, LUT를 생성한다.

도 8은 제2 실시예에 따른 블러 보정부(108)의 처리를 설명하는 흐름도다. 블러 보정부(108)는, 촬영 화상(104)의 주목 화소의 값을 화소값(118)으로서 출력해(SlOO), 이후, 제1 실시예와 같은 처리(SlOl 내지 SlO6)를 행한다.

예를 들면, 밝은 화소의 화소값은 노이즈보다도 크고, SNR은 크다. SNR이 큰 경우, Wiener필터에 의한 블러 보정의 정도는 강해진다. 따라서, 밝은 화소에 대해, 보다 강한 블러 보정을 행하는 바람직한 결과를 얻는다. 노이즈가 눈에 뜨기 쉬운 화상의 암부의 화소값은, 노이즈보다도 충분히 크지 않고, SNR은 작다. SNR이 작은 경우, Wiener필터에 의한 블러 보정의 정도는 약해진다. 따라서, 화상의 암부에서 노이즈의 증대를 억제하는 바람직한 결과를 얻는다.

제2 실시예에 의하면, 화소값(118)에 따라 노이즈량(112)이 변화되므로, Wiener 필터가 빈번히 변경되기도 한다. Wiener 필터의 변경이 번잡한 경우에는, 예를 들면 임계값을 설정하여도 된다. 화소값이 그 임계값을 넘는 경우, 소정의 화소값(118)을 출력하여서, SNR이 큰 화상의 명부에 있어서의 Wiener필터의 빈번한 변경을 억제한다.

또한, 제2 실시예에서는, 숏 노이즈 특성 기억부(117)를 고려하여, 상기 제1 실시예와 비교해서 기억용량이 보다 큰 메모리를 필요로 한다. 그 때문에, 제2 실시예에 따른 구성은, 숏 노이즈량이 다크 화상(105)으로부터 얻어진 노이즈량보다 작은 촬상장치에는 적합하지 않다. 한편, 그 구성은, 숏 노이즈량이 다크 화상(105)으로부터 얻어진 노이즈량보다 큰 촬상장치에 적합하다.

이하, 본 발명의 제3 실시예에 따른 화상처리를 설명한다. 또한, 제3 실시예에 있어서, 상기 제1 실시예 및 제2 실시예와 동일한 참조번호는 동일한 부호를 부착하고, 그 상세설명을 생략한다.

고체 메모리 소자를 갖는 메모리 카드를 기록 매체로서 사용하면서, CCD나 CMOS 센서 등의 고체상태 촬상 디바이스로 촬상한 정지화상이나 동화상을 기록 및 재생하는 전자카메라 등의 촬상장치가 시판되고 있다. 이것들 전자카메라의 촬상 디바이스의 대부분은, OB(Optical Black)화소라고 불리는 알루미늄막등에 의해 차광된 복수의 화소를 구비한다. OB 화소범위(이하, OB부)로부터 출력된 화상 데이터를 OB데이터라고 부른다.

도 9는 OB부의 개념도다. OB부(801)는, 촬영영역(802)에 인접하게 배치되어, 촬영 화상의 블랙을 규정하는데 이용된다. OB 데이터는, 노이즈에 의해 값0이상의 유의의 값을 갖는다. OB 데이터의 평균치도 값0 이상으로 된다. 촬영 화상에도, OB데이터와 같은 노이즈가 혼입하고 있다고 생각하면, 촬영 화상에 있어서 최소값을 갖는 화소는 값0이 아니고, OB데이터의 평균치이상이 된다. 촬영 화상으로부터 OB데이터의 평균치를 감산하여 광에 노출되지 않는 각 화소의 값을 대략 0으로 보정하는 처리가 알려져 있다. 이러한 처리를, 이후 블랙 감산처리라고 부른다. OB부(801)에의 광은, 이미 차단되어 있다. 이 때문에, OB부(801)를 이용하여, 전술한 차광부(103)는 반드시 필요하지는 않다.

도 10은 제3 실시예에 따른 촬상장치의 구성을 나타내는 블록도다. 도 1에 나타낸 상기 제1 실시예와 달리, 그 촬상장치는, 차광부(103)가 없고, 전처리부(106)가 촬영 화상(104)으로부터 OB데이터(120)의 평균치를 감산하는 블랙 감산 처리를 전처리의 하나로서 행하고, 노이즈량 추정부(111)가 OB데이터(120)에 근거해 노이즈량(112)을 추정한다.

즉, 제3 실시예의 화상처리부(121)는, OB데이터(120)를 블랙 감산 처리뿐만아니라, 노이즈량(112)의 추정에도 사용한다. 구체적으로는, 노이즈량 추정부(111)는, OB데이터(120)의 표준편차를 노이즈량(112)으로서 사용한다.

물론, 상기 제2 실시예와 같이, 노이즈량 추정부(111)는, 숏 노이즈도 고려해서 노이즈량을 추정해도 된다. 이 경우에, OB부(801)의 전체 화소를 사용할 필요가 없다. 일부의 화소의 OB데이터(120)로부터 노이즈량STDd를 계산해도 된다.

상기 제1 및 제2 실시예에 있어서는, 노이즈량(112)을 추정하기 위해서, 촬영 화상(104)을 얻기 위한 촬영과, 다크 화상(105)을 얻기 위한 차광 상태의 촬영을 행할 필요가 있다. 제3 실시예에 있어서는, 촬영 화상(104)의 촬영과는 별도로 OB부(801)로부터 OB데이터(120)를 취득할 수 있다. 이것은, 처리 순서를 단순화한다. 그렇지만, OB부(801)가 촬영 영역(802)과는 다른 영역에 있으므로, 촬영 화상(104)의 영역간에 변화하는 노이즈량을 정확하게 추정할 수 없다. 바꿔 말하면, 제3 실시예의 구성은, 촬영 화상(104)의 영역간의 노이즈량의 정도 변화가 작은 촬상장치에 적합하다. 그렇지만, 제 3 실시예와 제 4 실시예를 조합할 수 있다.

이하, 본 발명의 제4 실시예에 따른 화상처리를 설명한다. 또한, 제4 실시예에 있어서, 제1 실시예 내지 제3 실시예와 동일한 참조번호는, 동일한 참조번호를 부착하고, 그 상세 설명을 생략한다.

도 11은 제4 실시예에 따른 촬상장치의 구성을 나타내는 블록도다. 도 1에 나타낸 상기 제1 실시예와 달리, 상기 촬상장치는, 차광부(103)가 없고, 전처리부(106)가 노이즈량(112)에 근거해 촬영 화상(104)의 블랙 감산 처리를 전처리의 하나로서 행하고, 노이즈량(112)의 추정용에 노이즈 특성 기억부(122)를 구비한다. 노이즈 특성 기억부(122)는, 촬영 파라미터(107)와 노이즈량(112)간의 대응관계를 기억한다. 따라서, 노이즈량 추정부(111)는, 촬영 파라미터(107)에 대응하는 노이즈량(112)을 노이즈 특성 기억부(122)로부터 취득한다.

노이즈량(112)에 관련된 촬영 파라미터(107)의 예들로는, 촬상 디바이스(102)의 온도, 노광 시간 및 ISO감도의 설정이 있다. 상기 제2 실시예와 마찬가지로, 숏 노이즈를 고려해서 노이즈량(112)을 추정하는 경우에는, 촬영 파라미터(107)는 노광량 또는 화소값을 포함할 필요가 있다.

도 12는 제4 실시예에 따른 화상처리부(121)의 화상처리를 설명하는 흐름도다. 도 2에 나타낸 제1 실시예의 처리와 다른 것은, 다크 화상(105)을 취득하는 단계 S202가 없는 점이다. 도 13은 노이즈 특성 기억부(122)의 개념을 도시한 테이블이다.

노이즈 특성 기억부(122)는, 촬영 파라미터(107)의 조합, 예를 들면 촬상 디바이스(102)의 온도, 노광량, 노광 시간 및 ISO감도의 설정 값의 조합에 대응한 노이즈량을, LUT로서 미리 기억한다. 노이즈 특성 기억부(122)에 기억되는 LUT를 작성하기 위해서는, 촬영 파라미터(107)의 조합마다, 암흑에서 노이즈량을 측정한다.

그 노이즈량을 측정할 때, 촬영 파라미터(107)의 각 항목의 값을 작은 스텝으로 설정하면, 측정 회수가 방대해져, LUT를 기억하는데 필요한 용량도 방대하게 증가한다. 이를 막기 위해서, 촬상장치에 탑재 가능한 메모리의 기억 용량에 따라 각 항목의 값의 스텝을 조정하는 것이 바람직하다. 예를 들면, ISO감도의 설정만을 변경하여도 되고, 나머지 항목은 소정값으로 고정하거나, 또는, 노이즈량 측정점을 2점으로 제한해도 된다. 노이즈량 추정부(111)는, 촬영 파라미터(107)의 조합에 대응한 노이즈량이 노이즈 특성 기억부(122)의 LUT에 기록되지 않고 있는 경우, 촬영 파라미터(107)의 조합에 인접한 조합에 대응한 노이즈량을 취득한다. 그 노이즈량으로부터 촬영 파라미터(107)의 조합에 대응하는 노이즈량(112)을 보간한다.

상기 제4 실시예에 의하면, 노이즈 특성값에 대한 기억 용량이 필요하다. 그렇지만, 다크 화상(105) 또는 OB데이터(120)에 의거하여 노이즈량(112)을 계산할 필요가 없기 때문에, 계산 비용을 저감할 수 있다.

이하, 본 발명의 제5 실시예에 따른 화상처리를 설명한다. 또한, 제5 실시예에 있어서, 제1 실시예 내지 제4 실시예와 동일한 참조번호는, 동일한 참조번호를 부착하고, 그 상세설명을 생략한다.

도 14는 제5 실시예에 따른 촬상장치의 구성을 나타내는 블록도다. 도 12에 나타낸 제4 실시예와 달리, 그 촬상장치는, 노이즈 특성 기억부(122)를 구비하지 않는다. 제5 실시예의 노이즈량 추정부(111)는, 촬영 파라미터(107)로부터 노이즈량(112)을 계산하기 위한 공식을 보유한다.

노이즈량 추정부(111)가 보유하는 공식은, 도 13에 나타낸 노이즈량과 촬영 파라미터(107)의 조합과의 관계를 회귀분석등에 의해 모델화한 것이다. 또한, 가장 간단한 공식 생성 방법은, 회귀분석을 사용한 방법이다. 그렇지만, 예를 들면, 노이즈의 물리적인 모델식을 사용해도 된다.

제5 실시예에 의하면, 상기 제4 실시예와 비교하여, 노이즈 특성값에 대한 기억 용량을 저감할 수 있다. 그러나, 상기 공식에 의해 노이즈 특성을 근사하기 때문에, 근사 오차에 의해 상기 제4 실시예와 비교하여, 노이즈량(112)의 추정 정밀도가 저하되기도 한다.

(기타 실시예)

본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims

촬영 파라미터와, 상기 촬영 파라미터를 사용하는 촬상 디바이스에 의해 얻어진 촬영 화상을 취득하는 제 1 취득수단; 및
(a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 노이즈량에 대응한, 상기 촬영 화상의 블러(blur)를 보정하는 보정 데이터를 취득하는 제 2 취득수단을 구비하고,
높은 노이즈량을 위한 상기 보정 데이터에 의한 제 1 보정의 정도는, 낮은 노이즈량을 위한 상기 보정 데이터에 의한 제 2 보정의 정도보다 낮은, 화상처리장치.
제 1 항에 있어서,
상기 보정 데이터에 근거하는 블러 보정을 상기 촬영 화상에 대해 실행하는 보정수단을 더 구비한, 화상처리장치.
제 1 항에 있어서,
상기 제 2 취득수단은, (a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 상기 노이즈량에 대응한, 상기 촬영 화상의 상기 블러를 보정하는 상기 촬영 화상의 화소마다 상기 보정 데이터를 취득하는, 화상처리장치.
제 1 항에 있어서,
상기 제 2 취득수단은, (a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 상기 노이즈량에 대응한, 상기 촬영 화상의 상기 블러를 계산에 의해 보정하는 상기 보정 데이터를 취득하는, 화상처리장치.
제 4 항에 있어서,
상기 촬상 디바이스에 광이 입력되지 않는 상태에서 상기 촬상 디바이스가 출력하는 다크 화상 데이터를 입력하기 위한 입력수단을 더 구비하고,
상기 제 2 취득수단은, 상기 다크 화상 데이터로부터 취득한 노이즈량을, 상기 촬영 파라미터에 근거하여 보정하여서 상기 촬영 화상에 포함되는 상기 노이즈량을 계산하는, 화상처리장치.
제 4 항에 있어서,
상기 촬상 디바이스에 광이 입력되지 않는 상태에서 상기 촬상 디바이스가 출력하는 다크 화상 데이터를 입력하기 위한 입력수단; 및
상기 촬상 디바이스의 수광면에 광이 충돌할 때 발생된 노이즈량을 기억하는 기억수단을 더 구비하고,
상기 제 2 취득수단은, 상기 다크 화상 데이터로부터 취득한 노이즈량으로부터 상기 촬영 화상에 포함된 상기 노이즈량과, 주목 화소의 화소값을 포함하는 상기 촬영 파라미터에 의거하여 상기 기억 수단으로부터 취득한 상기 노이즈량을 계산하는, 화상처리장치.
제 3 항에 있어서,
상기 촬상 디바이스에 배치된 차광된 화소로부터 출력된 화상 데이터를 입력하는 입력수단을 더 구비하고,
상기 제 2 취득수단은, 상기 화상 데이터로부터 취득한 노이즈량을, 상기 촬영 파라미터에 근거하여 보정하여서 상기 촬영 화상에 포함되는 상기 노이즈량을 계산하는, 화상처리장치.
제 1 항에 있어서,
상기 촬영 파라미터와 노이즈량간의 대응관계를 기억하는 기억수단을 더 구비하고,
상기 제 2 취득수단은, 상기 촬영 파라미터에 근거해 상기 기억 수단으로부터 상기 촬영 화상에 포함되는 상기 노이즈량을 취득하고, 상기 촬영 화상의 화소마다 상기 보정 데이터를 취득하는, 화상처리장치.
제 1 항에 있어서,
상기 제 2 취득수단은, 상기 촬영 파라미터에 의거한 계산에 의해 상기 촬영 화상의 각 주목 화소에 포함된 상기 노이즈량을 취득하고, 상기 촬영 화상의 화소마다 상기 보정 데이터를 취득하는, 화상처리장치.
촬영 파라미터와, 상기 촬영 파라미터를 사용하는 촬상 디바이스에 의해 얻어진 촬영 화상을 취득하는 단계; 및
(a) 상기 촬영 파라미터로부터 얻어진 상기 촬상 디바이스의 광 전달함수와, (b) 상기 촬영 파라미터에 의존한 상기 촬영 화상의 노이즈량에 대응한, 상기 촬영 화상의 블러를 보정하는 보정 데이터를 취득하는 단계를 포함하고,
높은 노이즈량을 위한 상기 보정 데이터에 의한 제 1 보정의 정도는, 낮은 노이즈량을 위한 상기 보정 데이터에 의한 제 2 보정의 정도보다 낮은, 화상처리방법.
청구항 10에 따른 방법을 실행하기 위해 처리수단을 프로그래밍하기 위한 프로그램 코드가 기록된 기록매체.