KR101442462B1

KR101442462B1 - 전체 초점 화상 생성 방법, 그 장치 및 그 프로그램, 및, 피사체 높이 정보 취득 방법, 그 장치 및 그 프로그램

Info

Publication number: KR101442462B1
Application number: KR1020147012528A
Authority: KR
Inventors: 후이 카오
Original assignee: 어큐트로직 가부시키가이샤
Priority date: 2011-10-11
Filing date: 2012-10-11
Publication date: 2014-09-22
Also published as: CN103875019B; US9262836B2; JP2013084152A; WO2013054825A1; KR20140060592A; CN103875019A; US20150332473A1; JP4988057B1

Abstract

초점 위치가 상이한 복수의 촬상 화상으로부터 화소 위치마다 초점이 맞은 화상 및 높이 정보를, 광역적인 영역에 걸쳐 적절히 초점이 맞도록 생성한다.
초점 위치가 상이한 복수의 화상을 취득한다(단계 S1). 각 화상으로부터 그레이 스케일 화상을 취득한다(단계 S5). 그레이 스케일 화상에 웨이브렛 변환을 실시하여, 다중 해상도 화상을 생성한다(단계 S6~S13). 다중 해상도 화상에 의거하여 초점 위치에 관한 확률 분포를 생성한다(단계 S14). 확률 분포에 의거하는 코스트 함수와 패널티 함수를 합한 평가 함수가 최소가 되는 최적의 초점 위치를, 확률 전파법을 이용하여, 화소 위치마다 근사적으로 산출한다(단계 S17~S20). 최적의 초점 위치로부터, 화소 위치마다 초점이 맞은 화상 및 높이 정보를 생성한다(단계 S22).

Description

전체 초점 화상 생성 방법, 그 장치 및 그 프로그램, 및, 피사체 높이 정보 취득 방법, 그 장치 및 그 프로그램{ALL-FOCUSED IMAGE GENERATION METHOD, DEVICE USING SAME, AND PROGRAM USING SAME, AND OBJECT HEIGHT DATA ACQUISITION METHOD, DEVICE USING SAME, AND PROGRAM USING SAME}

본 발명은, 전체 초점 화상 생성 방법, 특히, 복수의 초점 위치에 있어서 촬상된 화상에 의거하는 전체 초점 화상 생성 방법, 그 장치 및 그 프로그램, 및, 피사체 높이 정보 취득 방법, 그 장치 및 그 프로그램에 관한 것이다.

렌즈를 통하여 피사체를 촬상할 때, 초점이 맞는 부분과 맞지 않는 부분이 동일한 시야 내에 포함됨으로써, 촬상된 화상에 있어서 특정의 영역 이외가 흐릿한 화상이 되는 것이 알려져 있다. 특히, 고배율의 렌즈일수록 초점 심도가 얕아져, 이러한 현상이 발생하기 쉽다. 예를 들면, 고배율의 대물 렌즈를 사용한 현미경으로 표본 등의 피사체를 촬상하면, 표본의 요철 등에 의해, 화상 중의 어느 영역에서는 초점이 맞는 한편, 다른 영역에서는 초점이 맞지 않아, 화상으로부터 피사체의 전체상을 정확하게 파악할 수 없다는 사태가 발생할 수 있다. 이 문제를 해결하기 위해, 렌즈 또는 피사체를 광축 방향으로 이동시켜 상이한 초점 위치에서 피사체를 촬상하고, 이것에 의해 얻어진 복수의 화상에 의거하여, 화상 내의 모든 영역에서 초점이 맞은 전체 초점 화상을 생성한다는 처리가 이루어지고 있다.

상기 처리를 위해, 종래, 다양한 화상 처리 기술이 제안되어 있다. 특허 문헌 1에서는, 상이한 초점 위치에 있어서 촬상된 복수의 화상을 각각 웨이브렛 변환하고, 변환한 다중 해상 표현의 각 화소에 있어서, 초점 위치가 상이한 화상 간에서 최대의 진폭값을 취하는 웨이브렛값을 추출한다. 그리고, 추출한 웨이브렛값을 각 화소에 배치한 1개의 합성 화상을 생성하고, 그 합성 화상에 역웨이브렛 변환을 실시함으로써, 전체 초점 화상을 형성하고 있다.

특허 문헌 2에서는, 특허 문헌 1과 마찬가지로, 상이한 초점 위치에 있어서 촬상된 복수의 화상을 웨이브렛 변환한다. 그 후, 주목 화소의 근방 화소들에서 웨이브렛 계수를 합한 값을, 초점 위치가 상이한 화상들에서 비교하여, 그 값이 최대가 되는 화상으로부터 화소를 추출하여 전체 초점 화상을 합성하고 있다. 또한, 특허 문헌 2에서는, 웨이브렛 변환 후의 각 서브 밴드에 대해, 처리 대상이 되는 각 화소를 중심으로 한 세로 5화소, 가로 5화소의 화소 범위에 모폴로지 처리를 실시한다. 이것에 의해, 노이즈의 저감 등을 실현하여, 고주파 영역 및 저주파 영역의 경계가 강조된 전체 초점 화상을 생성하고 있다.

특허 문헌 3에서는, 상이한 초점 위치에 있어서 촬상된 복수의 화상의 각각에 관해서, 엣지 부분, 엣지 부분의 근방, 및, 엣지 부분도 그 근방도 아닌 부분 3개의 영역으로 나누어, 영역마다 상이한 방법으로 합초 위치를 취득하고 있다. 우선, 주목 화소와 그 주위의 화소의 휘도값의 변화량을, 초점 위치가 상이한 화상들에서 비교하여, 최대값을 취득한다. 그리고, 취득한 최대값이 기준이 되는 변화량보다 큰 경우에, 그 주목 화소를 엣지 부분으로 함과 함께, 그 최대값을 취하는 화상의 위치를 합초 위치로 한다. 한편, 엣지 부분의 근방에 위치하는 화소에 관해서는, 심도 방향에 관한 휘도값의 변곡점을 합초 위치로 한다. 또한, 엣지 부분도 엣지 부분의 근방도 아닌 화소에 관해서는, 엣지 부분과 엣지 부분의 근방에 있어서의 합초 위치의 화소로서 취득한 화소로부터의 보간에 의해, 초점이 맞은 화소를 도출하고 있다.

일본국 특허공개 평6-243250호 공보 일본국 특허공개 2010-129077호 공보 일본국 특허공개 2010-166247호 공보

특허 문헌 1~3 모두, 상기한 대로, 웨이브렛값을 이용하거나, 휘도값의 변화량이 큰 것을 취출하여 합초 위치의 화소를 추출하고 있다. 그렇지만, 예를 들면, 촬상 시에 화상 노이즈, 포화, 흐릿함 등의 문제가 발생한 경우, 촬상 화상에 있어서, 초점이 맞는 영역에서는 콘트라스트값이 작아지고, 초점이 맞지 않는 영역에서는 콘트라스트값이 커지는 경우가 있다. 이러한 문제가 생기면, 특허 문헌 1이나 특허 문헌 2를 적용하여, 웨이브렛값이나 휘도값의 변화량의 대소 관계를 비교하여 합초 위치를 취득하는 경우, 초점이 맞지 않는 위치를 합초 위치로 잘못해서 판정해 버릴 우려가 있다.

또, 특허 문헌 3은, 화상을 3개의 영역으로 나누어, 영역마다 상이한 방법으로 초점 위치를 취득함으로써, 상기의 문제의 해결을 도모하고 있다. 그렇지만, 특허 문헌 3에 의하면, 엣지 부분이나 그 근방으로부터 이격한 부분에서는, 엣지 부분의 화소와 엣지 부분의 근방의 화소에 의거하는 보간에 의해 합초 화소를 취득한다. 따라서, 보간 대상이 되는 화소가 엣지 부분이나 그 근방에서 멀리 떨어져 있거나, 이들 부분과 심도 방향으로 상이한 위치에 있으면, 보간 시에 발생하는 오차가 커진다. 이 때문에, 만일 엣지 부분과 그 근방으로 이루어지는 국소적인 영역에 있어서는 적절히 초점이 맞은 화상을 생성할 수 있었다고 해도, 화상 중의 광역적인 영역에 걸쳐 적절히 초점이 맞은 화상을 생성할 수 없을 우려가 있다.

본 발명의 제1 목적은, 초점 위치가 상이한 복수의 촬상 화상으로부터 화소 위치마다 초점이 맞은 화상을 생성하는 방법으로서, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 적절히 초점이 맞은 화상을 생성할 수 있는 전체 초점 화상 생성 방법, 및, 상기 방법에 대응한 전체 초점 화상 생성 장치 및 전체 초점 화상 생성 프로그램을 제공하는 것에 있다.

또, 초점 위치가 상이한 복수의 촬상 화상으로부터 화소 위치마다 초점이 맞는 것을 추출하는 것은, 초점 위치로부터 환산되는 높이 정보를 화소 위치마다 취득하는 것과 동등하다. 그리고, 상기와 같은 화상 노이즈 등에 의한 문제는, 피사체의 높이 정보를 화소 위치마다 취득하는 경우에도 완전히 동일한 문제로서 나타난다.

본 발명의 제2 목적은, 초점 위치가 상이한 복수의 촬상 화상에 의거하여 피사체의 높이 정보를 화소 위치마다 취득하는 방법으로서, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 적절히 피사체의 높이 정보를 취득할 수 있는 피사체 높이 정보 취득 방법, 및, 상기 방법에 대응한 피사체 높이 정보 취득 장치 및 피사체 높이 정보 취득 프로그램을 제공하는 것에 있다.

제1 목적을 달성하기 위해 이루어진 제1 관점에 의하면, 본 발명에 관련된 전체 초점 화상 생성 방법은, 초점 위치가 상이한, L개(L：2 이상의 자연수)의 피사체 화상을 촬상하는 촬상 단계와, 상기 촬상 단계에서 촬상된 상(像)에 의거하여, 상기 초점 위치마다 상기 피사체의 그레이 스케일 화상을 취득하는 그레이 스케일 화상 취득 단계와, 상기 그레이 스케일 화상 취득 단계에서 취득된 상기 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 화상 생성 단계와, 상기 다중 해상도 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와, 상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 상기 촬상 단계에서 촬상된 상기 초점 위치마다의 상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 단계를 구비하고, 상기 최적 초점 위치 취득 단계에서, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출한다.

또, 제1 관점에 관련된 전체 초점 화상 생성 장치는, 초점 위치가 상이한, L개(L：2 이상의 자연수)의 피사체 화상으로부터, 피사체의 합초점 화상을 생성하는 전체 초점 화상 생성 장치로서, 피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 수단과, 상기 다중 해상도 변환 화상 생성 수단이 생성한 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 수단과, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 수단과, 상기 최적 초점 위치 취득 수단이 취득한 상기 최적의 초점 위치에 의거하여, 상기 초점 위치마다의 피사체의 상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 수단을 구비하고, 상기 최적 초점 위치 취득 수단이, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출한다.

또, 제1 관점에 관련된 전체 초점 화상 생성 프로그램은, 초점 위치가 상이한, L개(L：2 이상의 자연수)의 피사체 화상으로부터, 피사체의 합초점 화상을 생성하도록 컴퓨터를 기능시키는 프로그램으로서, 피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와, 상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와, 상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 상기 촬상 단계에서 촬상된 상기 초점 위치마다의 상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 단계를 컴퓨터에 실행시킴과 함께, 상기 최적 초점 위치 취득 단계에서, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하도록 컴퓨터를 기능시킨다.

제2 목적을 달성하기 위해 이루어진 제2 관점에 의하면, 본 발명에 관련된 피사체 높이 정보 취득 방법에 관련된 발명은, 초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L：2 이상의 자연수)의 피사체 화상을 촬상하는 촬상 단계와, 상기 촬상 단계에서 촬상된 상에 의거하여, 상기 초점 위치마다 상기 피사체의 그레이 스케일 화상을 취득하는 그레이 스케일 화상 취득 단계와, 상기 그레이 스케일 화상 취득 단계에서 취득된 상기 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와, 상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와, 상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 단계를 구비하고, 상기 최적 초점 위치 취득 단계에서, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출한다.

또, 제2 관점에 관련된 피사체 높이 정보 취득 장치는, 초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L：2 이상의 자연수)의 피사체 화상에 의거하여, 상기 피사체의 위치를 취득하는 피사체 높이 정보 취득 장치로서, 피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 수단과, 상기 다중 해상도 변환 화상 생성 수단이 생성한 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 수단과, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 수단과, 상기 최적 초점 위치 취득 수단이 취득한 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 수단을 구비하고, 상기 최적 초점 위치 취득 수단이, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출한다.

또, 제2 관점에 관련된 피사체 높이 정보 취득 프로그램은, 초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L：2 이상의 자연수)의 피사체 화상에 의거하여, 상기 피사체의 높이 정보를 취득하도록 컴퓨터를 기능시키는 프로그램으로서, 피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와, 상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와, 상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 단계를 컴퓨터에 실행시킴과 함께, 상기 최적 초점 위치 취득 단계에서, i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하도록 컴퓨터를 기능시킨다.

본 발명의 제1 관점에 의하면, 최적의 초점 위치를, 확률 전파법을 이용하여 근사적으로 도출한다. 그리고, 도출한 최적의 초점 위치를 초점이 맞은 위치로 하고, 상기 초점 위치에 대응하는 촬상 화상으로부터 화소를 취득하여 전체 초점 화상을 생성한다. 최적의 초점 위치를 취득하는 것은, 화상 중의 광역적인 영역에 관련된 문제이다. 확률 전파법은, 이러한 광역적인 문제를 최적으로 해결하기 위한 확률론적 수법이다. 따라서, 본 발명에 의하면, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 적절히 초점이 맞은 화상을 취득할 수 있다.

본 발명의 제2 관점에 의하면, 피사체의 촬상 시에, 광축 방향의 거리 정보를, 각 초점 위치로부터 환산하여, 높이 정보로서, 각 초점 위치와 관련지어 둔다. 한편, 제1 관점과 마찬가지로, 최적의 초점 위치를, 확률 전파법을 이용하여 근사적으로 도출한다. 그리고, 도출한 최적의 초점 위치를 초점이 맞은 위치로 하고, 상기 초점 위치에 대응하는 높이 정보로부터, 피사체의 높이 정보를 화소 위치마다 취득한다. 최적의 초점 위치를 취득하는 것은, 화상 중의 광역적인 영역에 관련된 문제이다. 확률 전파법은, 이러한 광역적인 문제를 최적으로 해결하기 위한 확률론적 수법이다. 따라서, 본 발명에 의하면, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 최적으로 취득된 초점 위치에 의거하여, 피사체의 높이 정보를 적절히 취득할 수 있다.

도 1은 본 발명의 일실시의 형태에 관련된 제1 실시 형태의 전체 초점 화상 생성 장치의 구성을 나타내는 블럭도이다.
도 2는 샘플, 포커스 렌즈, 대물 렌즈 및 촬상 소자의 위치 관계를 광의 경로를 따른 방향에 관해서 나타내는 모식도이다.
도 3은 화상 처리부가 실시하는 변환 처리에 의한 변환 전후의 화상을 나타내는 모식도이다.
도 4(a)는, 1회의 웨이브렛 변환에 의해 생성되는 해상도 분해 화상에 관련된 다해상도 표현을 나타낸다. 도 4(b)는, 3회의 웨이브렛 변환에 의해 생성되는 해상도 분해 화상에 관련된 다해상도 표현을 나타낸다.
도 5는 웨이브렛 변환의 변환 전후의 화상에 있어서의 화소의 대응을 나타낸다.
도 6(a)는, L개의 다중 해상도 표현을 초점 위치마다 늘어놓은 것이다. 도 6(b)는, 후보값으로서 추출된 웨이브렛 계수와, 그 후보값에 대응하는 다중 해상도 표현의 일례를 나타내고 있다.
도 7은 후보값에 의거하여 확률값에 투표하는 방법을 나타내는 모식도이다.
도 8(a)는, 확률 분포의 일례를 나타내는 그래프이다. 도 8(b)는, 확률 분포의 다른 일례를 나타내는 그래프이다.
도 9는 세로 3×가로 3의 9개의 화소 배열을 나타내는 모식도이다. 흰 동그라미가 각 화소를 나타내고 있다.
도 10은 고해상도로의 화소 배치와 저해상도의 1화소의 관계를 나타내는 모식도이다.
도 11은 현미경 및 화상 처리부가 실행하는 처리의 전체의 흐름을 나타내는 플로차트이다.
도 12는 본 발명의 다른 일실시의 형태에 관련된 제2 실시 형태에 있어서 제1 실시 형태와 상이한 부분을 나타내는 블럭도이다.

(제1 실시 형태)

본 발명의 전체 초점 화상 생성 방법, 전체 초점 화상 생성 장치 및 전체 초점 화상 생성 프로그램에 관련된 일실시의 형태인 제1 실시 형태에 대해서, 도면에 의거하여 설명한다. 본 실시 형태의 전체 초점 화상 생성 장치는, 도 1에 나타내는 바와 같이, 샘플 S의 확대 화상을 촬상하는 현미경(1)과 현미경(1)에 의해 촬상된 화상을 처리하는 화상 처리부(100)를 가지고 있다. 현미경(1)은, 복수의 대물 렌즈(2)가 고정된 리볼버(3)와, 샘플 S가 설치되는 스테이지(4)와, 스테이지(4)가 상단에 고정된 슬라이더(5)와, 슬라이더(5)를 연직 방향으로 이동 가능하게 지지하는 슬라이더 지지체(7)와, 슬라이더(5)를 슬라이더 지지체(7)에 대해 연직 방향으로 이동시키는 슬라이더 이동 기구(6)를 가지고 있다.

리볼버(3)에는, 서로 상이한 배율의 대물 렌즈(2)가 고정되어 있다. 리볼버(3)를 회전시킴으로써, 하방의 스테이지(4)측으로 향한 대물 렌즈(2)를 전환할 수 있다. 스테이지(4)의 상면은 수평이며, 대물 렌즈(2)의 바로 아래에 수평으로 위치하도록 샘플 S를 스테이지(4) 상에 둘 수 있다. 슬라이더 이동 기구(6)는, 슬라이더(5)를 연직 방향으로 미소하게 이동시키는 압전 액추에이터와, 연직 방향에 관한 슬라이더(5)의 위치를 고정밀도로 검출하는 위치 검출 센서를 가지고 있다. 위치 검출 센서는, 슬라이더(5)의 위치를 검출한 결과를 후술하는 제어부(11)로 출력한다.

또, 현미경(1)은, 샘플 S에 대한 조명광을 사출하는 조명 광학계(8)와, 샘플 S로부터의 광을 촬상 소자(10)에 결상시키는 촬상 광학계(9)와, 결상된 피사체상을 광전 변환하여 출력하는 촬상 소자(10)를 가지고 있다. 조명 광학계(8)는, 조명용의 광원이나 광원으로부터의 조명광을 샘플 S로 유도하는 반사경 등을 가지고 있다. 촬상 광학계(9)는, 대물 렌즈(2)로부터의 피사체상을 촬상 소자(10)로 유도하여, 결상시키는 포커스 렌즈(9a)(도 2 참조) 등의 렌즈나 반사경 등을 가지고 있다. 피사체상은, 대물 렌즈(2)와 촬상 광학계(9)에 설치된 렌즈의 협동에 의해, 고배율로 확대되어 촬상 소자(10)에 결상된다. 촬상 소자(10)는, 촬상한 피사체 화상에 대응하는 화상 데이터를 생성하여, 화상 처리부(100)로 출력한다. 이 화상 데이터는, x방향, 및, x방향에 직교하는 y방향으로 늘어선 복수의 컬러 화소를 나타내는 데이터로 이루어진다. 수평 방향으로 평행한 소정의 방향이 x방향에 대응하고, 수평 방향으로 평행하게 상기 소정의 방향에 직교하는 방향이 y방향에 대응한다. 이 화상 데이터에 있어서는, 각 화소의 색이, 광의 삼원색인 R(빨강), G(초록) 및 B(파랑) 중, 일부의 성분에 의해서만 나타나 있다. 혹은, 각 화소의 색이, 보색인 Cy(시안), Mg(마젠타), Ye(옐로우) 및 G 중, 일부의 성분에 의해서만 나타나 있어도 된다.

현미경(1)에는, 각 부의 구성을 제어하는 제어부(11)가 설치되어 있다. 제어부(11)는, 슬라이더 이동 기구(6)의 구동을 제어하여, 스테이지(4)를 연직 방향에 관해서 다양한 위치로 이동시킨다. 스테이지(4)가 이동하면, 스테이지(4) 상의 샘플 S와 대물 렌즈(2)의 거리가 변동하기 때문에, 스테이지(4) 상에 배치된 샘플 S로부터 포커스 렌즈(9a)까지의 광의 경로를 따른 거리가 변동한다. 한편, 포커스 렌즈(9a)의 초점 거리가 일정하고, 포커스 렌즈(9a)와 촬상 소자(10) 사이의 거리도 일정하다고 하면, 피사체상이 촬상 소자(10) 상에 정확히 초점이 맞도록 결상시키기 위해서는, 피사체로부터 포커스 렌즈(9a)까지의 광의 경로를 따른 거리가 소정의 크기가 될 필요가 있다. 이하, 피사체에 있어서, 포커스 렌즈(9a)에 대해 정확히 초점이 맞은 위치를 「초점 위치」라고 호칭한다.

샘플 S가 포커스 렌즈(9a)에 대해 초점 위치에 있을 때, 샘플 S의 상은 초점이 맞은 상태로 촬상 소자(10)에 결상된다. 그렇지만, 현미경(1)에서 이용되는 고배율의 렌즈는, 초점 심도가 얕다. 이 때문에, 샘플 S의 표면에 요철이 있는 경우에는, 포커스 렌즈(9a)까지의 거리가 샘플 S의 표면의 위치마다 상이해진다. 이 거리의 차이가 초점 심도에 대해 무시할 수 없는 크기가 되면, 샘플 S의 표면 상의 특정의 영역이 초점 위치에 배치되었다고 해도, 특정의 영역 이외의 영역은 초점 위치로부터 어긋나 버려, 화상이 흐릿해져 버리는 경우가 발생할 수 있다. 예를 들면, 도 2에 나타내는 바와 같이, 샘플 S의 표면에 있어서의 영역 s1과 영역 s2에서는, 광의 경로를 따른 방향에 관해서 포커스 렌즈(9a)까지의 거리 D1 및 D2가 서로 상이하다. 따라서, 이 상태에서 영역 s1은 초점이 맞았다고 해도, 영역 s2에서는 초점이 맞지 않는 경우가 있을 수 있다. 피사체의 모든 영역에서 초점이 맞은 화상을 취득하기 위해서는, 초점 위치가 조금씩 상이한 복수의 화상으로부터, 초점이 맞은 영역의 화소를 모아, 합성하는 것을 생각할 수 있다.

그래서, 제어부(11)는, 슬라이더 이동 기구(6)를 제어하여, 초점 위치가 조금씩 상이하도록 샘플 S를 배치시킴과 함께, 촬상 소자(10)를 제어하여, 각 초점 위치에서의 샘플 S의 피사체상을 촬상시킨다. 촬상된 화상들은, 초점 위치가 조금씩 상이하기 때문에, 피사체에 있어서 초점이 맞는 영역이 조금씩 상이한 것이 된다. 제어부(11)는, 촬상 소자(10)가, 초점 위치가 상이한 화상 데이터를 1개, 화상 처리부(100)에 출력할 때마다, 그 초점 위치에 대응하는 스테이지(4)의 위치를, 슬라이더 이동 기구(6)에 설치된 위치 검출 센서의 검출 결과로부터 취득하여, 화상 처리부(100)로 출력한다. 이러한 처리가 반복됨으로써, 촬상 소자(10)로부터는, 초점 위치가 상이한 L개(L：2 이상의 자연수)의 화상이 출력됨과 함께, 제어부(11)로부터는, L개의 화상에 관련지어진 L개의 스테이지 위치 정보가 출력된다.

화상 처리부(100)는, 촬상 소자(10)로부터 입력된 L개의 피사체 화상에 대응하는 화상 데이터에 의거하여, 각 화소에 관해서 초점이 맞은 전체 초점 화상에 대응하는 화상 데이터를 생성한다. 이 처리를 위해, 화상 처리부(100)는, 전단 처리부(110), 그레이 스케일 변환부(101), 다중 해상도 변환부(102), 초점 위치 확률 산출부(120), 신뢰도 설정부(103), 최적 초점 위치 취득부(130) 및 후단 처리부(140)의 각 기능부를 가지고 있다.

화상 처리부(100)는, CPU(Central Processing Unit), ROM(Read Only Memory) 그 외의 각종의 하드웨어와, ROM에 저장된 프로그램 그 외의 소프트웨어로 구성되어 있다. 이 소프트웨어가 하드웨어를, 전단 처리부(110) 등의 각 기능부를 실현하도록 기능시킴으로써, 화상 처리부(100)가 실현되어 있다. 혹은, 각 기능부에 있어서의 연산 처리에 특화된 전자 회로 등에 의해 전단 처리부(110) 등이 구성되어 있어도 되고, 각 기능부에 있어서의 연산 처리에 특화된 전자 회로 등과, 하드웨어와 소프트웨어의 조합에 의해 각 기능부를 실현하는 구성이 서로 협동하도록 구성되어 있어도 된다. 화상 처리부(100)에 이용되는 소프트웨어는, 자기적 기록 매체나 광학적 기록 매체, USB 메모리 등의 각종 기록 매체에 저장되어도 된다. 그리고, 이러한 기록 매체로부터 독출된 소프트웨어에 따라서 컴퓨터가 기능함으로써, 화상 처리부(100)가 실현되어도 된다.

화상 처리부(100)가 가지는 각 기능부는, 화상 데이터를 처리함으로써, 그 화상 데이터에 대응하는 화상에 대해 각종의 화상 처리를 실시한다. 이와 같이, 각 기능부가 직접 처리하는 것은 화상 데이터이지만, 이하에 있어서는, 장황한 표현을 피하기 위해, 각 기능부가 화상 자신에 대해 직접, 각종의 화상 처리를 실시하도록 표현하는 경우가 있다. 이러한 표현은, 그 화상 처리에 대응하는 처리를 그 화상에 대응하는 화상 데이터에 대해 실시하는 것을 나타내는 것으로 한다.

전단 처리부(110)는, 위치 어긋남 보정부(111), 촬상 배율 보정부(112) 및 RGB 화상 취득부(113)를 가지고 있다. 위치 어긋남 보정부(111)는, 촬상 소자(10)로부터의 L개의 피사체 화상들을 비교하여, 수평 방향에 관한 피사체의 위치 어긋남을 검출한다. 이 위치 어긋남은, 화상 중의 x방향 및 y방향에 관한 위치 어긋남이 되어 나타난다(도 3의 화상 IM1 참조). 위치 어긋남 보정부(111)는, 피사체 화상 중의 피사체의 위치를 이동시킴으로써, 초점 위치가 상이한 피사체 화상들에서 피사체의 위치가 일치하도록 피사체 화상을 보정한다.

촬상 배율 보정부(112)는, 제어부(11)로부터 입력되는 스테이지(4)의 위치 정보에 의거하여, 피사체 화상의 배율을 보정한다. 촬상 광학계(9)의 구성에 따라서는, 피사체의 초점 위치가 변동하면, 촬상 배율이 변동하는 경우가 있다. 촬상 배율 보정부(112)는, 스테이지(4)의 위치에 관련지어, 초점 위치의 변동에 수반하는 촬상 배율의 변동분에 대응하는 확대 축소율을 유지하고 있다. 이것에 의해, 촬상 배율 보정부(112)는, 제어부(11)로부터 입력되는 스테이지(4)의 위치에 대응하는 확대 축소율을 도출한다. 그리고, 촬상 배율 보정부(112)는, 도출한 확대 축소율에 따라서, 피사체 화상을 확대 또는 축소한다. 촬상 배율 보정부(112)는, 이것에 의해, 초점 위치가 상이한 L개의 피사체 화상들에서 배율이 일치하도록 각 피사체 화상의 배율을 보정한다.

RGB 화상 취득부(113)는, 도 3에 나타내는 바와 같이, 위치 어긋남 보정부(111) 및 촬상 배율 보정부(112)에 의한 보정이 실시된 L개의 피사체 화상 IM1에 대응하는 화상 데이터로부터, 각 화소에 있어서 R, G 및 B의 각 색 성분값이 모두 결정된 L개의 화상 IM2에 대응하는 RGB 화상 데이터 IM2를 생성한다. 화상 IM1에 대응하는 화상 데이터에는, 상기 서술한 대로, 화소마다 R, G 및 B 중 어느 일부의 값 만이 포함되어 있다. 따라서, RGB 화상 취득부(113)는, 각 화소에 있어서, 부족한 성분의 값을, 그 화소의 주위에 위치하는 화소의 값에 의거하여 보간한다. 예를 들면, RGB 화상 취득부(113)는, 보간의 대상이 되는 화소의 주위의 화소값에 가중치를 곱한 것을 합함으로써, 보간한 화소값을 산출한다. 이것에 의해, RGB 화상 취득부(113)는, 초점 위치가 상이한 L개의 피사체 화상의 각각에 관해서, 화상 IM2에 대응하는 RGB 화상 데이터를 생성한다.

그레이 스케일 변환부(101)는, 도 3에 나타내는 바와 같이, RGB 화상 취득부(113)가 생성한 L개의 화상 IM2에 대응하는 RGB 화상 데이터를, L개의 그레이 스케일 화상 IM3에 대응하는 그레이 스케일 화상 데이터로 변환한다. 변환 방법은 다양한 것을 채용할 수 있다. 일례로서, NTSC(National Television System Committee) 방식에 의한 RGB 신호로부터 휘도 신호로의 변환 방법을 채용하는 경우, 그레이 스케일 변환부(101)는, 이하의 식을 사용하여, 그레이 스케일 화상의 각 화소값을 산출한다：Y=0.298912*R+0.586611*G+0.114478*B. 또한, Y는, 그레이 스케일 화상의 각 화소값이며, R, G 및 B는, RGB 화상의 각 화소에 있어서의 R의 성분값, G의 성분값 및 B의 성분값이다.

다중 해상도 변환부(102)는, 그레이 스케일 변환부(101)가 생성한 그레이 스케일 화상 데이터에 대응하는 화상에 다중 해상도 변환을 실시한다. 이 다중 해상도 변환에는, 가우시안 피라미드 변환, 라플라시안 피라미드 변환 등의 다양한 방법을 채용할 수 있다. 본 실시 형태에서는, 이산 웨이브렛 변환을 채용한다. 이산 웨이브렛 변환으로서는, Haar Wabelet, Daubechies Wavelet, Cohen-Daubechies-Feauveau Wavelet 등 중, 어느 하나를 이용한 변환 방법을 사용한다.

이산 웨이브렛 변환은, 화상을 고주파 성분과 저주파 성분으로 분해함과 함께, 분해한 저주파 성분을 다시 고주파 성분과 저주파 성분으로 분해한다는 처리를 반복함으로써 행해진다. 이것에 의해, 고주파 성분 및 저주파 성분으로 분해된 화상인 복수의 해상도 분해 화상이 취득된다. 고주파 성분 및 저주파 성분으로의 분해에는, 각종의 필터 처리가 이용된다. 이 필터 처리에 이용하는 필터는, 화상의 x방향에 관한 하이패스 필터 및 로우패스 필터와, 화상의 y방향에 관한 하이패스 필터 및 로우패스 필터를 포함하고 있다. 이하, 이러한 각 방향에 관한 필터를, x 하이패스 필터, x 로우패스 필터, y 하이패스 필터 및 y 로우패스 필터라고 호칭한다.

필터 처리를 화상에 실시하는 구체적인 방법은 이하 대로이다. 다중 해상도 변환부(102)는, 복수의 필터 행렬을 나타내는 데이터를 필터마다 가지고 있다. 예를 들면, 다중 해상도 변환부(102)는, x 하이패스 필터에 대응하는 필터 행렬을 나타내는 데이터나, y 로우패스 필터에 대응하는 필터 행렬을 나타내는 데이터를 가지고 있다. 필터 행렬은 복수의 필터 계수로 구성되어 있으며, 각 필터 계수는, 필터가 실시되는 영역에 포함되는 화소마다 설정되어 있다. 다중 해상도 변환부(102)는, 필터 행렬에 포함되는 각 필터 계수를, 그 계수에 대응하는 위치의 화소값에 곱한다. 그리고, 다중 해상도 변환부(102)는, 곱한 값을 합하고, 그 합한 합을, 상기 필터 처리 후의 화소값으로 한다. 또, 다중 해상도 변환부(102)는, 필터 처리 후의 화상 전체에 있어서의 화소수가, x방향 및 y방향의 각각에 관해서, 필터 처리 전의 화상 전체에 있어서의 화소수의 절반이 되도록 각 필터 처리를 실시한다.

다중 해상도 변환부(102)는, 그레이 스케일 화상 변환부가 생성한 화상 데이터에 대해 각종의 필터 처리를 실시함으로써, 이하와 같이 1번째의 웨이브렛 변환을 실시한다. 우선, 다중 해상도 변환부(102)는, x 하이패스 필터를 이용하여 필터 처리를 실시한 후에, y 로우패스 필터를 이용하여 필터 처리를 실시한다. 이것에 의해, 그레이 스케일 화상에 있어서, x방향에 관해서는 고주파이며, y방향에 관해서는 저주파인 성분이 취득된다. 이하, 이 성분을 HL 성분이라고 호칭한다.

마찬가지로, 다중 해상도 변환부(102)는, x 하이패스 필터를 이용하여 필터 처리를 실시한 후에, y 하이패스 필터를 이용하여 필터 처리를 실시한다. 이것에 의해, x방향 및 y방향 중 어느 것에 관해서도 고주파인 성분이 취득된다. 이하, 이 성분을 HH 성분이라고 호칭한다. 또, 다중 해상도 변환부(102)는, x 로우패스 필터를 이용하여 필터 처리를 실시한 후에, y 하이패스 필터를 이용하여 필터 처리를 실시한다. 이것에 의해, x방향에 관해서는 저주파이며, y방향에 관해서는 고주파인 성분이 취득된다. 이하, 이 성분을 LH 성분이라고 호칭한다. 또한, 다중 해상도 변환부(102)는, x 로우패스 필터를 이용하여 필터 처리를 실시한 후에, y 로우패스 필터를 이용하여 필터 처리를 실시한다. 이것에 의해, x방향 및 y방향 중 어느 것에 관해서도 저주파인 성분이 취득된다. 이하, 이 성분을 LL 성분이라고 호칭한다. 이와 같이, 웨이브렛 변환에 의해, 그레이 스케일 화상으로부터, HH 성분, HL 성분, LH 성분 및 LL 성분으로 이루어지는, 복수의 주파수대역의 성분을 가지는 해상도 분해 화상이 생성된다. 해상도 분해 화상의 각 성분에 포함되는, 웨이브렛 변환에 의해 도출된 1개 1개의 값을, 웨이브렛 계수(웨이브렛 변환에 의해 생성된 변환 계수)라고 한다.

도 4(a)는, 1번째의 웨이브렛 변환에 의해 생성된 HH 성분, HL 성분, LH 성분 및 LL 성분을, x방향 및 y방향에 대응하는 v방향 및 w방향으로, 2행 2열로 늘어놓은 것이다. 이들 성분은, HH 성분이 우측 하부 코너에, HL 성분이 우측 상부 코너에, LH 성분이 좌측 하부 코너에, LL 성분이 좌측 상부 코너가 되도록 배열되어 있다.

다중 해상도 변환부(102)는, 1번째의 웨이브렛 변환에 의해 생성된 LL 성분에 대해, 2번째의 웨이브렛 변환을 동일하게 실시한다. 이것에 의해, 다시 HH 성분, HL 성분, LH 성분 및 LL 성분이 얻어진다. 이와 같이, 전회의 웨이브렛 변환에 의해 얻어진 LL 성분에 대해 다시 웨이브렛 변환을 실시하는 것의 반복에 의해, HH 성분, HL 성분, LH 성분 및 LL 성분의 각 성분이 웨이브렛 변환을 실시할 때마다 얻어진다. 이하, 웨이브렛 변환(n：자연수)를 n회 실시하는 것을 n레벨이라고 호칭한다. 이들 각 화상을, 웨이브렛 변환마다, 전회의 웨이브렛 변환에 있어서의 LL 성분의 위치에 도 4(a)에 나타내는 배열로 배치한 것이, 도 4(b)의 화상 IM4이다. 해상도 분해 화상에 있어서의 각 성분을 이와 같이 배치한 것을 다중 해상도 표현이라고 한다. 화상 IM4는, 일례로서, 3레벨의 다중 해상도 표현을 나타내고 있다.

이 다중 해상도 표현은, 도 4(b)에 나타내는 바와 같이, 각 웨이브렛 변환에 의해 얻어지는 HH 성분, HL 성분 및 LH 성분과, 마지막 웨이브렛 변환에 의해 얻어지는 LL 성분으로 이루어진다. 각 레벨의 HH 성분, HL 성분 및 LH 성분을 고주파 성분이라고 하고, 최종적으로 생성된 LL 성분을 저주파 성분이라고 한다. 도 4(b)의 L1은 1레벨의, L2는 2레벨의, L3는 3레벨의 고주파 성분을 나타내고 있다. 다중 해상도 표현은, v방향에 관한 폭이 그레이 스케일 화상의 x방향에 관한 폭과 동등하고, w방향에 관한 폭이 그레이 스케일 화상의 y방향에 관한 폭과 동등하다. 그레이 스케일 화상의 각 화소값은, 다중 해상도 표현에 있어서 주파수대역이 상이한 복수의 웨이브렛 계수로 분해된다. 이 때문에, 그레이 스케일 화상에 있어서의 화소 위치(x, y)와, 다중 해상도 표현에 있어서의 위치(v, w)는, 일대일로는 대응하지 않고, 일대 다수의 대응 관계가 된다. 예를 들면, 도 5에 나타내는 바와 같이, 그레이 스케일 화상 IM3에 있어서의 화소 P1은, 다중 해상도 표현 IM4에 있어서의 상이한 주파수대역의 각각에 있어서 P1에 대응하는 위치인 Q11~Q34의 웨이브렛 계수와 대응하게 된다.

이와 같이 하여, 다중 해상도 변환부(102)는, 초점 위치가 상이한 L개의 그레이 스케일 화상 데이터의 각각으로부터 다중 해상도 표현에 대응하는 데이터를 생성한다. 이렇게 하여 얻어진 L개의 다중 해상도 표현을 초점 위치마다 늘어놓은 것이, 도 6(a)의 다중 해상도 표현 IM4＿1~IM4＿L이다. 다중 해상도 변환부(102)는, v방향 및 w방향에 관한 위치마다, 다중 해상도 표현 IM4＿1~IM4＿L의 모든 웨이브렛 계수를 순서대로 산출한다. 즉, v방향 및 w방향에 관한 어느 위치에 대해서, 다중 해상도 표현 IM4＿1~IM4＿L의 모든 웨이브렛 계수를 순서대로 산출한 후에, v방향 및 w방향에 관한 다음의 위치에 대해서, 다중 해상도 표현 IM4＿1~IM4＿L의 모든 웨이브렛 계수를 순서대로 산출한다.

예를 들면, 도 6(a)의 2점 쇄선 R2로 둘러싸인 각 점은, v방향 및 w방향에 관한 위치가 동일하다. 또, 2점 쇄선 R3으로 둘러싸인 각 점은, v방향 및 w방향에 관한 위치가 동일하고, R2로 둘러싸인 점과는 위치가 상이하다. 이 때, 다중 해상도 변환부(102)는, 예를 들면, R2로 둘러싸인 점의 위치에 관해서 다중 해상도 표현 IM4＿1~IM4＿L의 모든 웨이브렛 계수를 산출하고 나서, R3으로 둘러싸인 점의 위치에 관해서 다중 해상도 표현 IM4＿1~IM4＿L의 모든 웨이브렛 계수를 산출한다. 다중 해상도 변환부(102)가 이러한 순서로 웨이브렛 계수를 산출하는 이유에 대해서는 후술한다.

초점 위치 확률 산출부(120)는, 다중 해상도 변환부(102)가 생성한 해상도 분해 화상으로부터, 그레이 스케일 화상에 있어서의 화소 위치마다, 초점 위치에 관한 확률 분포(초점 위치 확률 분포)를 산출한다. 여기서, 초점 위치에 관한 확률값이란, 다음과 같은 것으로 한다. 이하, i(i：그레이 스케일 화상의 총화소수 이하의 자연수)를 그레이 스케일 화상의 화소 위치를 구별하는 첨자로 하고, x_i를 L 이하의 자연수를 취하는 변수로 한다. 이 때, 초점 위치 확률 산출부(120)가 산출하는 확률 분포를 P_i(x_i)로 나타낸다. P_i(x_i)는, 화소 위치 i에 있어서, 초점이 맞는 것이, L개의 화상 중, x_i번째의 화상일 확률을 나타낸다. 바꾸어 말하면, P_i(x_i)는, 화소 위치 i에 있어서 피사체의 표면이 초점 위치에 배치되어 있는 것이, L개의 화상 중, x_i번째의 화상인 것일 확률에 상당한다.

이러한 확률 분포를 도출하기 위해, 초점 위치 확률 산출부(120)는, 화상 후보 결정부(121) 및 확률 분포 산출부(122)를 가지고 있다. 화상 후보 결정부(121)는, 다중 해상도 표현에 있어서의 v방향 및 w방향에 관한 위치마다, L개의 다중 해상도 표현으로부터, 확률 분포를 산출하기 위한 후보가 되는 M개(M：L 미만의 자연수)의 다중 해상도 표현을 추출한다. 후보의 수는, 파라미터 튜닝에 의해 적절히 설정된다. 이 M개의 다중 해상도 표현은, v방향 및 w방향에 관한 상기 위치에 관해서, L개의 화상으로부터, 웨이브렛 계수의 절대값이 큰 상위 M개를 추출함으로써 취득된다. 구체적으로는, 화상 후보 결정부(121)는, 상기 위치에 있어서의 웨이브렛 계수의 절대값을, 초점 위치가 상이한 화상들에서 비교한다. 그리고, 화상 후보 결정부(121)는, 웨이브렛 계수의 절대값을, 가장 큰 것부터 M번째로 큰 것까지 추출함과 함께, 추출한 값에 대응하는 M개의 다중 해상도 표현을 추출한다. 예를 들면, 도 6(a)의 다중 해상도 표현 IM4＿1~IM＿4에 있어서, 2점 쇄선 R1, R2 및 R3으로 둘러싸인 각 위치의 웨이브렛 계수를, R1~R3의 각각에 있어서 비교한다. 이것에 의해, 웨이브렛 계수의 절대값이 큰 것부터 M개를 추출한 결과와, M개의 웨이브렛 계수에 대응하는 다중 해상도 표현이, 일례로서, 도 6(b)에 나타나 있다.

본 실시 형태는, 다중 해상도 변환부(102)와 화상 후보 결정부(121)가 이하와 같이 각자의 처리를 협동하여 실행함으로써, 웨이브렛 계수를 저장하기 위한 메모리로서, 후보가 되는 값을 저장하는데 필요한 용량 만을 준비하면 되도록 구성되어 있다.

다중 해상도 변환부(102)는, 상기 서술한 대로, v방향 및 w방향에 관해서 동일한 위치의 웨이브렛 계수를, 모든 다중 해상도 표현 IM4＿1~IM4＿L에 관해서 순서대로 산출한다. 한편, 화상 후보 결정부(121)는, 다중 해상도 변환부(102)가 산출한 1개째~M개째의 웨이브렛 계수를, 후보 저장용의 메모리에 순서대로 저장해 간다. 다음에, 화상 후보 결정부(121)는, 다중 해상도 변환부(102)가 M+1개째의 웨이브렛 계수를 산출한 단계에서, 이 M+1개째의 웨이브렛 계수를 이미 메모리에 저장한 M개의 웨이브렛 계수와 비교한다. 그리고, 화상 후보 결정부(121)는, 메모리 내의 M개의 값 중, M+1개째의 값보다 작은 것이 있으면, 그 메모리의 값을 M+1개째의 값으로 변경한다. 이것을, 다중 해상도 변환부(102)가 L번째의 다중 해상도 표현에 관한 웨이브렛 계수를 산출할 때까지 반복함으로써, 화상 후보 결정부(121)는, v방향 및 w방향에 관한 상기 위치에 대해서, M개의 웨이브렛 계수의 후보를 결정한다. 이와 같이 처리함으로써, 화상 후보를 결정하기 위해 필요한 메모리 용량이, v방향 및 w방향에 관한 위치마다 M개의 값을 저장 가능한 크기로 한정되어 있다.

확률 분포 산출부(122)는, 화상 후보 결정부(121)가 추출한 웨이브렛 계수에 의거하여, 확률 분포 P_i(x_i)를 산출한다. 확률 분포 산출부(122)는, 화소 위치 i마다, 다중 해상도 표현에 있어서의 상기 화소 위치 i에 대응하는 위치인 대응 위치와, 그 대응 위치의 근방의 위치인 근방 위치에 있어서의 M개의 후보값을 사용한다. 또한, M개의 후보값은, 각 다중 해상도 표현에 포함되는 고주파 성분에 관한 것 만이 사용된다.

예를 들면, 도 5의 그레이 스케일 화상 IM3에 있어서의 점 P1이 주목 화소인 것으로 한다. 다중 해상도 표현 IM4에 있어서 점 P1에 대응하는 고주파 성분에 있어서의 대응 위치는, Q11~Q33이다. 또, 대응 위치 Q11~Q33의 근방 위치로서는, 일례로서, 각 대응 위치에 v방향 및 w방향의 각각에 관해서 인접하는 4개의 위치와, 경사 방향으로 인접하는 4개의 위치로 이루어지는 8개의 위치가 이용된다. 예를 들면, Q13에 관해서는, 도 5에 나타내는 바와 같이, 대응 위치인 Q13 자신과 그 근방 위치로 이루어지는 세로 3개 가로 3개로 이루어지는 합계 9개의 위치에 있어서의 후보값이 이용된다. 따라서, Q11~Q33의 전체적으로는, 합계 81개의 대응 위치 및 근방 위치에 있어서의 후보값이 이용된다.

확률 분포 산출부(122)는, 대응 위치 또는 근방 위치에 대응하는 그레이 스케일 화상의 화소 위치를 i로 하고, 그 후보값에 대응하는 다중 해상도 표현을 IM＿x_i로 했을 때, 대응 위치 또는 근방 위치의 후보값을, 확률값 P_i(x_i)으로 투표한다. 예를 들면, 도 7에 나타내는 바와 같이, 어느 대응 위치의 제1 후보값, 제2 후보값,…, 제M 후보값이, 다중 해상도 IM4＿2, IM＿4,…, IM＿n(n：L 이하의 자연수)에 대응하는 후보값이었던 것으로 한다. 이 때, 이 대응 위치의 제1 후보값, 제2 후보값,…, 제M 후보값은, P_i(2), P_i(4),…, P_i(n)에 대해 투표된다.

투표는, 구체적으로는, 이하와 같은 연산에 의해 행해진다. 우선, P_i(1), P_i(2),…, P_i(L)는, 모든 i에 관해서, 초기값 0이 부여된다. 그리고, 투표하는 측의 위치인 대응 위치 또는 근방 위치를 투표 위치(v, w)로 하고, 투표되는 측의 위치인 대응 위치를 투표 중심(v_c, w_c)으로 하고, 대응 위치 또는 근방 위치에 있어서의 후보값을 ν_vw로 할 때, 후보값 ν_vw에 따른 투표값은, 하기의 수학식 1과 같이 산출된다. 파라미터 λ, θ는, 상황에 따라 설정되지만, 일례로서, λ=0.1, θ=1.0 등으로 설정된다. min(α, β)는, α과 β 중, 작은 것을 나타낸다.

확률 분포 산출부(122)는, 각 후보값에 관해서 수학식 1에 의해 산출된 투표값을, 상기 화소 위치 i에 있어서의, 후보값에 대응하는 다중 해상도 표현 IM＿x_i에 관한 확률값 P_i(x_i)에 가산한다. 또한, 도 5에는, Q13이 대응 위치일 때의 투표 중심과, 투표 위치의 일례가 나타나 있다. 확률 분포 산출부(122)는, 화소 위치 i에 관한 모든 후보값에 대해서 투표가 완료되면, P_i(1), P_i(2),…, P_i(L) 전체의 놈(norm)이 1이 되도록 P_i(x_i)를 정규화한다. 확률 분포 산출부(122)는, 모든 i에 관해서 투표를 실행한다. 이와 같이, 대응 위치뿐만 아니라, 그 근방의 근방 위치로부터도 투표가 이루어짐과 함께, 투표 중심과의 거리에 따른 가중치를 주고 투표가 이루어진다. 이 때문에, 확률 분포를 산출할 때, 국소적인 정합성을 고려할 수 있다.

이상과 같이, 초점 위치 확률 산출부(120)가, 그레이 스케일 화상의 각 화소 위치 i에 있어서의 확률 분포 P_i(x_i)를 산출한다. P_i(x_i)는, 상기의 투표에 의해 구해지기 때문에, L개의 화상 중, 화소 위치 i의 주변의 투표값이 비교적 큰 화상에 있어서, 큰 값을 가지게 된다. 투표값이 큰 것은, 웨이브렛 계수의 고주파 성분에 있어서 진폭이 큰 것에 대응한다. 따라서, 통상, P_i(x_i)가 최대값을 취하는 x_i가, 도 8(a)에 나타내는 바와 같이, 초점이 맞는 가장 확실한 화상, 즉, 초점 위치에 대응하는 화상을 나타낸다고 생각할 수 있다. 그런데, 촬상 시에 화상 노이즈, 포화, 흐릿함 등의 문제가 발생한 경우, 상기 서술한 바와 같이 산출한 P_i(x_i)에 있어서 최대값을 취하는 x_i가, 도 8(b)에 나타내는 바와 같이, 실제의 초점 위치로부터 크게 멀어진 화상을 나타내는 경우가 있다. 이 경우, P_i(x_i)의 값을 그대로 사용하여 초점 위치를 추측하면, 초점이 맞지 않는 위치를 초점이 맞는 것으로 잘못해서 추측해 버릴 우려가 있다.

그래서, 신뢰도 설정부(103)는, P_i(1), P_i(2),…, P_i(L) 중 최대값과 소정의 역치의 대소를 비교한다. 그리고, 최대값이 소정의 역치 이하가 되는 경우에, 최대값이 소정의 역치보다 큰 경우와 비교해, 그 화소 위치의 신뢰도를 낮게 설정한다. 구체적으로는, 신뢰도 설정부(103)는, P_i(x_i)의 화소 위치 i에 있어서의 최대값 P_i ^MAX가 소정의 역치 ε을 초과한 경우(도 8(a)의 경우), 화소 위치 i의 신뢰도 R_i를 R_i=1+(P_i ^MAX-ε)로 설정한다. 또, 도 8(a)에 나타내는 바와 같이, P_i(x_i)의 값은 변경되지 않는다. 한편, P_i(x_i)의 화소 위치 i에 있어서의 최대값 P_i ^MAX가 소정의 역치 ε 이하인 경우(도 8(b)의 경우), 신뢰도 설정부(103)는, 화소 위치 i가 문제 영역 내이라고 판정하여, R_i=1로 설정한다. 또한, P_i(1), P_i(2),…, P_i(L)의 값은, 도 8(b)에 나타내는 바와 같이, 모두 1/L이 되는 균일 분포로 변경하여 설정한다.

최적 초점 위치 취득부(130)는, 초점 위치 확률 산출부(120)가 산출한 P_i(x_i) 및 신뢰도 설정부(103)가 설정한 R_i에 의거하여, 화소 위치 i마다, 초점 위치가 상이한 L개의 화상 중, 어느 화상이 초점이 맞는 최적의 초점 위치에 대응하는 화상인지를 취득한다. 최적의 초점 위치에 대응하는 화상을 취득할 때의 문제는, 화상에 있어서의 광역적인 영역에 걸친 정합성을 어떻게 보증하는지에 있다. 그래서, 본 실시 형태에서는, 이와 같은 문제 해결의 수단으로서, 이하와 같이, 마르코프 확률장에 의한 정식화를 채용한다. 최적의 초점 위치에 대응하는 화상을 결정하는 것은, 각 화소 위치 i에 관해서, 1번째 ~L번째 중 어느 화상이 초점 위치에 대응하는 화상인지를 결정하는 것에 상당한다. 즉, 1~L의 임의의 자연수를 취하는 x_i에 대해, 최적의 초점 위치에 대응하는 화상을 부여하는 x_i=x_i ^*를 어떻게 할당하는지와 같은 것에 상당한다.

마르코프 확률장에 의하면, 어느 할당｛x_i｝를 부여하는 전체의 확률이, 각 화소 위치 i에 인접하는 화소 위치 j에 있어서의 할당과 화소 위치 i에 있어서의 할당의 관계 만으로부터 결정된다. 본 실시 형태에 있어서는, 도 9에 나타내는 바와 같이, x방향 및 y방향의 각각에 관해서 각 화소 위치 i에 인접하는 화소 위치 j₁~j₄ 4개에 있어서의 할당과 화소 위치 i에 있어서의 할당의 관계 만으로부터 결정되는 것으로 한다.

이러한 마르코프 확률장에 있어서, 최적의 할당｛x_i ^*｝를 부여하는 문제는, 하기의 수학식 2로 표시되는 평가 함수 E(X)를 최소화하는 X를 결정하는 문제에 귀착하는 것이 알려져 있다. E(X)는, 할당 X=(x₁, x₂,…, x_N)에 관한 함수인 것을 나타내고 있다. N은, 그레이 스케일 화상의 총화소수이다.

여기서, A는, 서로 인접하는 한 쌍의 화소로 이루어지는 집합을 나타내고 있다. 즉, j는, L 이하의 자연수이며, i에 인접하는 화소 위치를 나타내는 첨자이다. 또, D_i(x_i)는 코스트 함수이며, 화소 위치 i에 관해서 x_i를 할당할 때의 비용을 나타낸다. 본 실시 형태에 있어서, D_i(x_i)는, 이하의 수학식 3에 의해 부여된다. 이와 같이, D_i(x_i)는, 신뢰도 설정부(103)가 설정한 신뢰도 R_i와, 초점 위치 확률 산출부(120)가 산출한 확률값 P_i(x_i)의 곱으로 나타내어진다.

V(x_i, x_j)는 패널티 함수이며, 서로 인접하는 한 쌍의 화소 위치 i, j에, 각각 x_i, x_j가 할당되었을 때의 벌칙을 나타낸다. 또한, V(x_i, x_j)는, 통상, 서로 인접하는 화소의 할당이 상이할 수록 큰 벌칙을 부여하는 함수이기 때문에, 평활화 항이라고도 불린다. 본 실시 형태에 있어서, V(x_i, x_j)는, 이하의 수학식 4에 의해 부여된다. 이와 같이, V(x_i, x_j)는, 할당되어진 x_i, x_j들의 차의 절대값에 비례하는 값을 가지고 있다.

E(X)를 최소화하는 문제의 해법에는, 확률 전파법(Belief Propagation)이 이용된다. 확률 전파법에 의해, 대부분의 경우에 광역적인 최적해에 가까운 해가 근사적으로 얻어지는 것이 알려져 있으며, 예를 들면, 스테레오시(視)를 위한 시차 계산이나, 이른바 화상 영역 분할의 해법으로서 이용되고 있다. 확률 전파법에 의거하여 E(X)의 최소화 문제를 풀기 위해, 최적 초점 위치 취득부(130)는, 계층화 연산부(131), 메시지 산출부(132) 및 최적 초점 위치 산출부(133)를 가지고 있다.

우선, 계층화 연산부(131)는, 상기의 수학식 3에 의거하여, 코스트 함수 D_i(x_i)를 모든 화소 위치 i에 관해서 산출한다. 다음에, 코스트 함수 D_i(x_i)를 다운 샘플링한다. 예를 들면, x방향에 관해서 1/2, y방향에 관해서 1/2의 화소수의 코스트 함수 D_i ¹(x_i ¹)를 산출한다. 다운 샘플링은, x방향 및 y방향에 관해서 1개 간격으로 코스트 함수 D_i(x_i)로부터 값을 취하는 솎아냄 처리에 의해 실행해도 된다. 혹은, 주목 화소와 그 주변 화소에 있어서의 복수의 D_i(x_i)의 값의 합이나 가중 평균을 취하는 것을, x방향 및 y방향에 관해서 1개 간격으로 실시해도 된다. 또한, D_i ¹(x_i ¹)를 동일하게 다운 샘플링함으로써, D_i ²(x_i ²)를 취득한다. 이와 같이, 계층화 연산부(131)는, 다운 샘플링을 n회(n：자연수) 실행함으로써, 복수 계층의 저해상도의 코스트 함수 D_i ¹(x_i ¹), D_i ²(x_i ²),…, D_i ⁿ(x_i ⁿ)를 취득한다. 이하, 다운 샘플링하지 않은 원래의 코스트 함수를, 저해상도의 코스트 함수의 표기와 합하여, D_i ⁰(x_i ⁰)로 나타낸다.

메시지 산출부(132)는, 계층화 연산부(131)가 산출한 코스트 함수 D_i ⁰(x_i ⁰), D_i ¹(x_i ¹), D_i ²(x_i ²),…, D_i ⁿ(x_i ⁿ)에 의거하여, 하기의 수학식 5로 표시되는 메시지 m^t _i→_j ^k를 반복해서 계산한다. m^t _i→_j ^k[x_j ^k]는, t번째의 반복에 있어서, 화소 위치 i로부터 인접하는 화소 위치 j로의 전파 메시지값을 나타낸다. x_j ^k는 1~L 중 어느 하나를 취하는 변수이기 때문에, m^t _i→_j ^k도 L개의 요소를 가진다. Ne(i)＼j는, 화소 위치 i에 인접하는 화소 위치이며 화소 위치 j 이외의 것으로 이루어지는 집합을 의미한다. k는, 계층을 나타내는 0 이상 또한 n 이하의 상수이다.

메시지 산출부(132)는, 우선, k=n일 때의 메시지를, t=0, 1, 2,…의 순서로 계산한다. t=0일 때의 초기값 m⁰ _i→ _j ⁿ는 0(제로)으로 설정된다. 여기서, min(α) 아래에 x_i ^k가 기재된 연산자는, x_i ^k에 관한 α의 최소값을 부여한다. k=n일 때의 메시지는, 이하와 같이 계산된다. 또한, t(t≥1)의 메시지를 산출할 때에는, t-1 이하의 메시지가 모두 계산되어 있는 것으로 한다. 우선, 하기의 수학식 6에 나타내는 바와 같이, 어느 x_j ⁿ에 관해서, x_i ⁿ=1, 2,…, L을 순서대로 대입함으로써, 수학식 5에 있어서의 min의 괄호안을 산출한다. 다음에, 수학식 6에 의거하여 산출한 값 중, 최소값을 취하는 것을 추출한다. 이것이, 상기 x_j ⁿ에 관한 m^t _i→_j ⁿ[x_j ⁿ]의 값이 된다. 이것을, x_j ⁿ=1, 2,…, L에 관해서 순서대로 반복함으로써, 모든 x_j ⁿ에 관해서 m^t _i→_j ⁿ[x_j ⁿ]가 산출되게 된다. 이러한 작업을, 모든 인접하는 i, j에 대해서 반복함으로써, 어느 t에 있어서의 모든 메시지 m^t _i→_j ⁿ[x_j ⁿ]를 산출할 수 있다. 메시지 산출부(132)는, 이러한 메시지 m^t _i→_j ⁿ의 산출을, t=0, 1, 2,…의 순서로, m^t _i→_j ⁿ이 수렴되는 t=T까지 반복한다.

메시지 산출부(132)는, 다음에, k=n보다 1계층 고해상도의 k=n-1일 때의 메시지 m^t _i→_j ⁿ ^-1을 상기와 마찬가지로 산출한다. 여기서, 메시지의 초기값에는, 저해상도(k=n)에 있어서 산출된 메시지의 수렴값 m^T _i _→ _j ⁿ이 이용된다. 수렴값 m^T _i _→ _j ⁿ은, 저해상도일 때의 화소 위치 i→화소 위치 j의 경로에 대응하는 고해상도 k=n-1의 모든 경로에 있어서의 메시지의 초기값으로서 이용된다. 예를 들면, 도 10에 나타내는 바와 같이, 저해상도에 있어서의 1화소에 대응하는 범위가, 고해상도에 있어서의 세로 2×가로 2의 4개의 화소의 범위에 대응한 것으로 한다. 이 때, 저해상도에 있어서의 파선의 화살표로 나타내는 경로에 대응하는 메시지의 수렴값 m^T _i _→ _j ⁿ이, 이 경로에 대응하는 고해상도에 있어서의 4개의 실선의 화살표에 나타내는 경로에 대응하는 메시지의 초기값으로서 공통으로 사용된다. 그리고, 메시지 산출부(132)는, k=n-1로 했을 때의 메시지 m^t _i→_j ⁿ ^-1을, t=0, 1, 2,…의 순서로, 수렴할 때까지 반복한다. 이 수렴값은, 상기와 같이, 또한, 1계층 고해상도(k=n-2)의 메시지의 초기값으로서 이용된다. 이상과 같이, 메시지 산출부(132)는, k=n, n-1,…, 2, 1, 0의 순서로 메시지 m^t _i→_j ^k의 산출을 반복한다.

그리고, 최적 초점 위치 산출부(133)는, 최종적으로 얻어진 메시지의 수렴값 m^T _i→ _j ⁰를 이용하여, 최적의 초점 위치에 대응하는 화상을 나타내는 x_i ^*를, 하기의 수학식 7에 의거하여 산출한다.

후단 처리부(140)는, 최적 초점 위치 취득부(130)가 취득한 x_i ^*에 의거하여, 전체 화소에 있어서 초점이 맞은 전체 초점 화상을 취득한다. 후단 처리부(140)는, 노이즈 제거부(141) 및 전체 초점 화상 취득부(142)를 가지고 있다. 노이즈 제거부(141)는, 최적 초점 위치 취득부(130)가 취득한 x_i ^*에 대해, 다시, 가우시안 필터나 미디언 필터를 이용하여 노이즈 제거 처리를 실시한다. x_i ^*는 상기한 대로, 광역적인 최적화가 가능한 확률 전파법에 의거하여 취득되기 때문에, 저주파수의 추정 오차가 발생하기 어렵다. 따라서, 여기서 사용되는 필터로서는, 비교적 적은 필터 커넬인 것이면 충분하다.

전체 초점 화상 취득부(142)는, 노이즈 제거부(141)가 노이즈를 제거한 x_i ^*에 의거하여, 전체 초점 화상을 취득한다. x_i ^*는, 화소 위치 i에 있어서, L개의 화상 중, 어느 화상이 초점이 맞는 것에 상당하는지를 나타낸다. 이것에 따라, 전체 초점 화상 취득부(142)는, 도 3의 화상 IM2 중, 각 화소 위치 i에 있어서, x_i ^*번째의 화상에 대응하는 화상의 화소값을 취득한다. 그리고, 전체 초점 화상 취득부(142)는, 화소 위치 i마다 취득한 화소를 대응하는 위치에 다시 배치함으로써, 전체 초점 화상을 취득한다.

이하, 현미경(1) 및 화상 처리부(100)가 실행하는 처리의 전체의 흐름에 대해서, 도 11을 참조하면서 설명한다. 도 11의 각 단계에 따라서 실행되는 처리가, 본 발명의 전체 초점 화상 생성 방법에 대응한다. 또, 이러한 처리는, 상기한 대로, 화상 처리부(100)를 구성하는 하드웨어와 소프트웨어가 협동하여 실행해도 된다. 이 경우의 소프트웨어가, 본 발명의 전체 초점 화상 생성 프로그램에 대응한다.

우선, 현미경(1)에 있어서, 스테이지(4)의 위치를 이동시킴으로써, 초점 위치가 상이한 L개의 피사체 화상의 촬영이 행해진다(단계 S1). 이들 피사체 화상은, 각 초점 위치에 대응한 스테이지(4)의 위치 정보와 함께, 화상 처리부(100)로 보내진다. 다음에, 화상 처리부(100)에 있어서, 위치 어긋남 보정부(111)가, 피사체의 수평 방향의 위치 어긋남에 대응하는 화상 중의 x방향 및 y방향에 관한 위치 어긋남을 보정한다(단계 S2). 다음에, 촬상 배율 보정부(112)가, 피사체 화상마다 현미경(1)으로부터 입력되는 스테이지(4)의 위치에 의거하여 피사체 화상의 배율을 보정한다(단계 S3). 다음에, RGB 화상 취득부(113)가, 위치 어긋남 보정 및 배율 보정이 실시된 L개의 화상 IM1에 의거하여, 각 화소에 있어서 R, G 및 B의 각 색 성분값이 모두 결정된 L개의 화상 IM2를 생성한다(단계 S4).

다음에, 그레이 스케일 변환부(101)가, L개의 화상 IM2로부터, L개의 그레이 스케일 화상 IM3을 생성한다(단계 S5; 도 3 참조). 다음에, 다중 해상도 변환부(102)가, 그레이 스케일 화상 IM3에 웨이브렛 변환을 실시한다(단계 S6). 이 때, 다중 해상도 변환부(102)는, v방향 및 w방향에 관한 위치마다, 다중 해상도 표현 IM4＿1~IM4＿L의 L개의 웨이브렛 계수를 순서대로 산출한다(도 6 참조). 한편, 화상 후보 결정부(121)는, 다중 해상도 변환부(102)가, 최초의 M개를 산출할 때까지, 산출된 웨이브렛 계수를 순서대로 메모리에 저장한다(단계 S7).

다음에, 다중 해상도 변환부(102)가, M+1개째 이후의 웨이브렛 계수를 산출할 때(단계 S8)마다, 화상 후보 결정부(121)가, 이미 메모리에 저장한 M개의 값 중, 새롭게 산출된 웨이브렛 계수보다 작은 것이 없는지 판정한다(단계 S9). 그리고, 작은 것이 있으면(단계 S9, Yes), 화상 후보 결정부(121)는, 그 메모리의 값을 새롭게 산출된 웨이브렛 계수로 갱신한다(단계 S10). 한편, 작은 것이 없으면(단계 S9, No), 화상 후보 결정부(121)는, 상기 위치에 관해서 이미 L개의 웨이브렛 계수가 산출되었는지 여부를 판정한다(단계 S11). 아직 L개에 이르고 있지 않으면(단계 S11, No), 단계 S8의 처리로 되돌아온다. 한편, L개에 이르고 있으면(단계 S11, Yes), 화상 후보 결정부(121)는, 상기 위치에서의 웨이브렛 계수의 후보를, 이 시점에서 메모리에 저장되어 있는 M개의 값으로 결정한다(단계 S12). 또한, 단계 S6 및 S8이, 본 발명에 있어서의 다중 해상도 화상 생성 단계에 대응한다. 또, 단계 S7 및 S9~S12가 추출 단계에 대응한다.

다음에, 화상 후보 결정부(121)는, 웨이브렛 계수를 산출해야 할 위치가 남아 있는지 여부를 판정한다(단계 S13). 아직 웨이브렛 계수를 산출해야 할 위치가 남아 있다고 판정된 경우에는(단계 S13, Yes), 단계 S6의 처리로 되돌아온다. v방향 및 w방향에 관한 모든 위치에 대해서 웨이브렛 계수가 산출되었다고 판정된 경우에는(단계 S13, No), 단계 S14의 처리로 이행한다.

다음에, 확률 분포 산출부(122)가, 화상 후보 결정부(121)가 결정한 후보값에 의거하여, 각 화소 위치 i에 있어서의 확률 분포 P_i(x_i)를 산출한다(단계 S14). 또한, 단계 S7, S9~S12 및 S14가, 본 발명에 있어서의 초점 위치 확률 산출 단계에 대응한다. 다음에, 신뢰도 설정부(103)가, P_i(x_i)에 의거하여 화소 위치 i마다 신뢰도 R_i를 설정한다(단계 S15). 다음에, 계층화 연산부(131)가, 확률 분포 산출부(122)가 산출한 확률 분포 P_i(x_i)와 신뢰도 설정부(103)가 설정한 신뢰도 R_i에 의거하여, 코스트 함수 D_i(x_i)를 산출함과 함께, 저해상도의 코스트 함수 D_i ^k(x_i ^k)(k=1, 2,…, n)를 취득한다(단계 S16).

다음에, 메시지 산출부(132)가, k=n, n-1,…, 1, 0의 순서로 메시지 m^t _i→_j ^k[x_j]를 산출한다(단계 S17). 메시지 산출부(132)는, 메시지가 수렴되는 t=T까지 반복해서 메시지를 산출해 간다(단계 S18, No→단계 S17). 메시지가 수렴되면(단계 S18, Yes), 메시지 산출부(132)는, 다음의 계층이 있으면(단계 S19, Yes), 다음의 계층에 관해서 메시지를 산출한다(단계 S17). 다음의 계층이 없으면(단계 S19, No), 최적 초점 위치 산출부(133)가, 최종적으로 수렴된 메시지 m^T _i _→ _j ⁰를 이용하여, 최적의 초점 위치에 대응하는 화상을 나타내는 x_i ^*를 산출한다(단계 S20). 또한, 단계 S16~S20이, 본 발명에 있어서의 최적 초점 위치 취득 단계에 대응한다. 또, 단계 S17 및 S18이, 본 발명에 있어서의 메시지 산출 단계에 대응한다.

다음에, 노이즈 제거부(141)가, x_i ^*로부터 노이즈를 제거하고(단계 S21), 그 후, 전체 초점 화상 취득부(142)가, 노이즈 제거부(141)가 노이즈를 제거한 x_i ^*에 의거하여, 화소 위치 i마다 초점이 맞은 전체 초점 화상을 취득한다(단계 S22).

이상 설명한 본 실시 형태에 의하면, 평가 함수 E(X)를 최소화하는 문제를 확률 전파법에 의거하여 풂으로써, 최적의 초점 위치에 대응하는 화상을 나타내는 x_i ^*를 화소 위치 i마다 취득한다. 평가 함수 E(X)를 최소화하는 것은 화상 중의 광역적인 영역에 관련된 문제이다. 또, 확률 전파법은, 이러한 광역적인 문제를 최적으로 해결하기 위한 확률론적 수법이다. 따라서, 본 실시 형태에 의하면, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 적절히 초점이 맞은 화상을 취득할 수 있다.

또, 본 실시 형태에 있어서는, 확률 전파법에 있어서 메시지를 산출할 때, 저해상도로 메시지를 산출한 결과를 초기값으로 하여, 보다 고해상도로 메시지를 산출한다. 이 때문에, 고해상도로 산출할 때, 보다 최적해에 가까운 값을 초기값으로 하여 메시지가 갱신되므로, 또한, 국소적인 해에 빠지기 어려워진다.

(제2 실시 형태)

이하, 본 발명의 피사체 높이 정보 취득 방법, 피사체 높이 정보 취득 장치 및 피사체 높이 정보 취득 프로그램에 관련된 제2 실시 형태에 대해서 설명한다. 제2 실시 형태의 피사체 높이 정보 취득 장치에 있어서, 제1 실시 형태의 전체 초점 화상 생성 장치와 상이한 것은, 후단 처리부(100) 대신에 도 12의 후단 처리부(240)가 설치되는 것뿐이다. 또, 후단 처리부(240)에 있어서, 후단 처리부(100)와 상이한 것은, 초점 화상 취득부(142) 대신에 피사체 높이 정보 취득부(242)가 설치되는 것뿐이다. 제2 실시 형태의 피사체 높이 정보 취득 장치는, 도 11의 단계 S1~S21까지의 처리를 실행한 후, 피사체 높이 정보 취득부(242)가, 이하 대로, x_i ^*에 의거하여, 피사체의 위치를 취득한다.

x_i ^*가 나타내는 피사체 화상은, 포커스 렌즈(9a)에 대해, 피사체의 표면에 있어서 화소 위치 i에 대응하는 영역이 정확히 초점이 맞을 때에 촬상된 화상에 대응한다. 그래서, 피사체 높이 정보 취득부(242)는, 현미경(1)의 제어부(11)로부터 보내어진 스테이지(4)의 위치 정보에 의거하여, x_i ^*가 나타내는 화상이 촬영되었을 때의 스테이지(4)의 위치를 취득한다. 이 스테이지(4)의 위치로부터, 피사체의 각 영역에 있어서의 연직 방향에 관한 상대적인 위치를 취득할 수 있다.

예를 들면, 도 2에 있어서, 포커스 렌즈(9a)에 대해, 광의 경로를 따른 방향에 관해서 정확히 거리 D1일 때에 초점이 맞는 것으로 한다. 즉, 도 2의 상태일 때, 샘플 S의 표면에 있어서, 영역 s1에 초점이 맞아 있다. 한편, 영역 s2에 초점이 맞기 위해서는, 영역 s2가 포커스 렌즈(9a)에 대해 거리 D1이 되는 곳까지 샘플 S가 이동해야 한다. 그래서, 영역 s1에 초점이 맞는 상태에 있어서의 스테이지(4)의 위치와, 영역 s2에 초점이 맞는 상태에 있어서의 스테이지(4)의 위치의 차로부터, 영역 s1의 위치와 영역 s2의 위치의 차 D1-D2를 취득할 수 있다. 피사체 높이 정보 취득부(242)는, 이와 같이 하여, 각 화소 위치 i에 대응하는 피사체의 표면 상의 각 영역의 상대적인 높이 정보를 취득함으로써, 피사체에 있어서의 표면 전체의 상대적인 높이 정보를 취득한다.

제2 실시 형태에 있어서도, 제1 실시 형태와 마찬가지로 x_i*를 취득하기 때문에, 화상 노이즈, 포화, 흐릿함 등의 다양한 촬상 시의 문제가 있는 경우에도, 화상 중의 광역적인 영역에 걸쳐 적절히 피사체의 위치를 취득할 수 있다. 또한, 제2 실시 형태에 관련된 피사체 높이 정보 취득 장치가 도 11의 단계 S1~S21을 실행함과 함께, 피사체 높이 정보 취득부(242)가 x_i ^*에 의거하여 피사체의 위치를 취득하는 처리가, 본 발명의 피사체 높이 정보 취득 방법에 대응한다. 또, 이러한 처리를 실행하기 위한 프로그램이, 본 발명의 피사체 높이 정보 취득 프로그램에 대응한다. 또한, 제2 실시 형태에 사용되는 각 파라미터는, 제1 실시 형태에 사용되는 파라미터와 상이해도 된다.

(변형예)

이상은, 본 발명의 일실시의 형태에 대한 설명이지만, 본 발명은 상기 서술한 실시의 형태에 한정되는 것이 아니며, 본 발명의 범위의 한정에 있어서, 이하에 예를 드는 대로, 다양한 변경이 가능한 것이다.

[1] 상기 서술한 실시의 형태에서는, 그레이 스케일 변환부(101)가, RGB 화상 데이터로부터 그레이 스케일 화상 데이터를 생성한다. 그러나, 촬상 소자(10)가 직접 그레이 스케일 화상을 생성해도 된다. 또, 촬상 소자(10)가 생성한 G화소 만으로 이루어지는 화상을 그레이 스케일 화상으로서 사용해도 된다.

[2] 상기 서술한 실시의 형태에서는, 화상 후보 결정부(121)가, 확률 분포를 산출하기 위한 후보가 되는 M개(M＜L)의 다중 해상도 표현을 추출한다. 그러나, L개 모든 다중 해상도 표현으로부터 확률 분포를 산출해도 된다. 단, 본 발명자의 지견에 의하면, 모든 다중 해상도 표현을 사용하는 경우, 화질이 악화될 우려가 있기 때문에, M개의 후보를 추출한 것이 바람직하다.

[3] 상기 서술한 실시의 형태에 있어서는, 확률 분포를 산출하기 위해, 대응 위치 및 근방 위치의 각각에 있어서의 M개의 후보값으로부터 소정의 가중치를 이용하여 산출한 투표값을 투표하고 있다. 그러나, 근방 위치로부터 투표하지 않고, 대응 위치 만으로부터 투표해도 된다.

[4] 상기 서술한 실시의 형태에 있어서는, 코스트 함수 D_i(x_i)를 다운 샘플링한 저해상도의 코스트 함수에 의거하여 메시지를 산출한다. 그러나, 코스트 함수를 다운 샘플링하지 않고, 그대로 이용하여 메시지 함수를 산출해도 된다. 또, 코스트 함수로서, P_i(x_i)에 신뢰도 R_i를 곱한 것이 아니라, P_i(x_i) 그 자체를 사용해도 된다.

[5] 상기 서술한 실시의 형태에 있어서는, 현미경(1)에 있어서 촬영된 피사체 화상을 이용하는 경우에 본 발명이 적용되어 있다. 그러나, 디지털 카메라나, 디지털 비디오 카메라, 마이크로 스코프 등, 현미경 이외의 광학계에도 적용 가능하다.

[6] 상기 서술한 실시의 형태에 있어서는, 전체 초점 화상 생성 장치나 피사체 높이 정보 취득 장치가, 현미경(1)(광학계)과 화상 처리부(100)를 가지고 있다. 그러나, 본 발명이, 광학계와는 독립적으로 구성된 화상 처리 장치로서 실현되어도 된다. 이 경우, 예를 들면, 화상 처리 장치와는 독립적으로 구성된 촬상 장치에 있어서, 초점 위치가 상이한 복수의 화상이 촬상된 후, 이들 화상에 대응하는 데이터가 광학적 기록 매체 등의 기록 매체에 기록된다. 화상 처리 장치는, 이 기록 매체로부터 데이터를 독출하는 독출부를 가지고 있으며, 기록 매체로부터 화상 데이터를 독출함과 함께, 독출한 화상 데이터에 대해 상기 서술한 화상 처리부와 마찬가지로 화상 처리를 실시한다.

[7] 상기 서술한 실시 형태에 있어서는, 광역 최적화의 방법으로서 확률 전파법이 채용되고 있지만, 평균장 근사, 그래프 컷 등, 그 외의 광역 최적화가 이용되어도 된다.

<산업상의 이용 가능성>

초점 위치가 상이한 복수의 피사체 화상으로부터 초점 위치가 맞은 적절한 화상을 화소마다 추출하는 용도에 적용할 수 있다.

1…현미경 100…화상 처리부
110…전단 처리부 101…그레이 스케일 변환부
102…다중 해상도 변환부 120…초점 위치 확률 산출부
103…신뢰도 설정부 130…최적 초점 위치 취득부
140…후단 처리부

Claims

초점 위치가 상이한, L개(L： 2 이상의 자연수)의 피사체 화상을 촬상하는 촬상 단계와,
상기 촬상 단계에서 촬상된 상(像)에 의거하여, 상기 초점 위치마다 상기 피사체의 그레이 스케일 화상을 취득하는 그레이 스케일 화상 취득 단계와,
상기 그레이 스케일 화상 취득 단계에서 취득된 상기 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 화상 생성 단계와,
상기 다중 해상도 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와,
상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와,
상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 상기 촬상 단계에서 촬상된 상기 초점 위치마다의 상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 단계를 구비하고,
상기 최적 초점 위치 취득 단계에서,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트(cost) 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티(penalty) 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하는 것을 특징으로 하는 전체 초점 화상 생성 방법.
청구항 1에 있어서,
상기 초점 위치 확률 산출 단계가,
상기 다중 해상도 화상 생성 단계에서 생성된, 상기 초점 위치가 상이한 복수의 상기 해상도 분해 화상의 변환 계수들을 상기 해상도 분해 화상 중의 화소마다 비교하고, 비교한 변환 계수를 그 절대값이 가장 큰 것부터 큰 순서로 소정의 수만큼 추출함과 함께, 추출한 각 변환 계수에 대응하는 상기 해상도 분해 화상에 있어서의 상기 초점 위치를 추출하는 추출 단계와,
상기 복수의 주파수 성분 중, 저주파 성분을 제외한, 복수의 고주파 성분의 각각에 있어서의, 화소 위치 i에 대응하는 상기 해상도 분해 화상 중의 위치인 대응 위치와, 상기 대응 위치의 근방의 위치인 근방 위치에 관해서, 상기 추출 단계에서 추출된 각 변환 계수에 따른 가중치를, 그 변환 계수에 대응하는 상기 초점 위치에 있어서의 화소 위치 i에 관한 확률값으로서 가산하는 확률 산출 단계를 포함하고 있는 것을 특징으로 하는 전체 초점 화상 생성 방법.
청구항 2에 있어서,
상기 근방 위치를 (v, w)로 하고, 상기 대응 위치를 (v_c, w_c)로 하며, ν_vw를 상기 근방 위치(v, w)에 관해서 상기 추출 단계에서 추출된 변환 계수로 하고, λ 및 θ을 소정의 상수로 할 때, 상기 변환 계수에 따른 가중치가, 하기의 수학식 1로 표시되는 값에 비례하는 것을 특징으로 하는 전체 초점 화상 생성 방법.
[수학식 1]
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 최적 초점 위치 취득 단계가,
하기의 수학식 2로 표시되는 메시지 m^t _i→_j를, 모든 서로 이웃하는 i, j 및 x_j에 관해서 t=0, 1, 2,…, T의 순서로, 메시지가 수렴되는 t=T까지 산출하는 메시지 산출 단계와,
하기의 수학식 3에 의해 상기 최적의 초점 위치 x_i ^*를 산출하는 초점 위치 산출 단계를 포함하고 있는 것을 특징으로 하는 전체 초점 화상 생성 방법.
[수학식 2]

[수학식 3]

여기서, Ne(i)는 화소 위치 i에 인접하는 화소 위치의 집합이고, Ne(i)＼j는, 화소 위치 i에 인접하는 화소 위치이며 화소 위치 j 이외의 것으로 이루어지는 집합이다.
청구항 4에 있어서,
상기 최적 초점 위치 취득 단계가,
원래의 해상도로 D_i(x_i)에 의해 산출된 코스트값으로부터 1회 또는 복수회의 다운 샘플링에 의해 저해상도의 코스트값을 도출하는 저해상도화 단계와,
상기 저해상도화 단계에서 도출된 저해상도의 코스트값과 패널티 함수에 의거하여 상기 메시지 산출 단계를 실행하는 저해상도 메시지 산출 단계와,
상기 저해상도 메시지 산출 단계에서 수렴할 때까지 산출된 메시지를 초기값으로 하여, 상기 저해상도 메시지 산출 단계에서 사용된 코스트값의 해상도보다 고해상도의 코스트값에 의거하여 상기 메시지 산출 단계를 실행하는 고해상도 메시지 산출 단계를 포함하고 있는 것을 특징으로 하는 전체 초점 화상 생성 방법.
청구항 4에 있어서,
상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 상기 화소 위치마다의 신뢰도를, 상기 화소 위치에 있어서의 상기 초점 위치 확률 분포의 최대값이 소정의 역치 이하인 경우에, 상기 최대값이 소정의 역치를 넘는 경우보다 낮아지도록 설정하는 신뢰도 설정 단계를 더 구비하고,
D_i(x_i)가, 상기 신뢰도 설정 단계에서 설정된 화소 위치 i에 있어서의 상기 신뢰도가 낮을수록 커지는 함수인 것을 특징으로 하는 전체 초점 화상 생성 방법.
청구항 6에 있어서,
P_i(x_i)를 상기 초점 위치 확률 분포의 화소 위치 i, 상기 초점 위치 x_i에 있어서의 확률값으로 하고, R_i를 상기 신뢰도 설정 단계에서 설정된 화소 위치 i에 있어서의 상기 신뢰도로 할 때, D_i(x_i) 및 V(x_i, x_j)가, 하기의 수학식 4 및 5에 의해 표시되는 것을 특징으로 하는 전체 초점 화상 생성 방법.
[수학식 4]

[수학식 5]
초점 위치가 상이한, L개(L： 2 이상의 자연수)의 피사체 화상으로부터, 피사체의 합초점 화상을 생성하는 전체 초점 화상 생성 장치로서,
피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 수단과,
상기 다중 해상도 변환 화상 생성 수단이 생성한 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 수단과,
상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 수단과,
상기 최적 초점 위치 취득 수단이 취득한 상기 최적의 초점 위치에 의거하여, 상기 초점 위치마다의 피사체의 상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 수단을 구비하고,
상기 최적 초점 위치 취득 수단이,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하는 것을 특징으로 하는 전체 초점 화상 생성 장치.
청구항 8에 있어서,
상기 초점 위치 확률 산출 수단이,
상기 다중 해상도 변환 화상 생성 수단이 생성한, 상기 초점 위치가 상이한 복수의 상기 해상도 분해 화상의 변환 계수들을 상기 해상도 분해 화상 중의 화소마다 비교하고, 비교한 변환 계수를 그 절대값이 가장 큰 것부터 큰 순서로 소정의 수만큼 추출함과 함께, 추출한 각 변환 계수에 대응하는 상기 해상도 분해 화상에 있어서의 상기 초점 위치를 추출하는 추출 수단과,
상기 복수의 주파수 성분 중, 저주파 성분을 제외한, 복수의 고주파 성분의 각각에 있어서의, 화소 위치 i에 대응하는 상기 해상도 분해 화상 중의 위치인 대응 위치와, 상기 대응 위치의 근방의 위치인 근방 위치에 관해서, 상기 추출 수단에서 추출된 각 변환 계수에 따른 가중치를, 그 변환 계수에 대응하는 상기 초점 위치에 있어서의 화소 위치 i에 관한 확률값으로서 가산하는 확률 산출 수단을 포함하고 있는 것을 특징으로 하는 전체 초점 화상 생성 장치.
청구항 8 또는 청구항 9에 있어서,
상기 최적 초점 위치 취득 수단이,
하기의 수학식 6으로 표시되는 메시지 m^t _i→_j를, 모든 서로 이웃하는 i, j 및 x_j에 관해서 t=0, 1, 2,…, T의 순서로, 메시지가 수렴되는 t=T까지 산출하는 메시지 산출 수단과,
하기의 수학식 7에 의해 상기 최적의 초점 위치 x_i ^*를 산출하는 초점 위치 산출 수단을 포함하고 있는 것을 특징으로 하는 전체 초점 화상 생성 장치.
[수학식 6]

[수학식 7]

여기서, Ne(i)는 화소 위치 i에 인접하는 화소 위치의 집합이고, Ne(i)＼j는, 화소 위치 i에 인접하는 화소 위치이며 화소 위치 j 이외의 것으로 이루어지는 집합이다.
초점 위치가 상이한, L개(L： 2 이상의 자연수)의 피사체 화상으로부터, 피사체의 합초점 화상을 생성하도록 컴퓨터를 기능시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서,
피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와,
상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와,
상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와,
상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 상기 초점 위치마다의 피사체 화상으로부터 상기 최적의 초점 위치에 대응하는 화소값을 상기 화소 위치마다 취득함과 함께, 취득한 화소값에 대응하는 화소를 상기 화소 위치에 배치하여 합초점 화상을 생성하는 합초 화상 합성 단계를 컴퓨터에 실행시킴과 함께,
상기 최적 초점 위치 취득 단계에서,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하도록 컴퓨터를 기능시키는 것을 특징으로 하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
청구항 11에 있어서,
상기 초점 위치 확률 산출 단계가,
상기 다중 해상도 변환 화상 생성 단계에서 생성된, 상기 초점 위치가 상이한 복수의 상기 해상도 분해 화상의 변환 계수들을 상기 해상도 분해 화상 중의 화소마다 비교하고, 비교한 변환 계수를 그 절대값이 가장 큰 것부터 큰 순서로 소정의 수만큼 추출함과 함께, 추출한 각 변환 계수에 대응하는 상기 해상도 분해 화상에 있어서의 상기 초점 위치를 추출하는 추출 단계와,
상기 복수의 주파수 성분 중, 저주파 성분을 제외한, 복수의 고주파 성분의 각각에 있어서의, 화소 위치 i에 대응하는 상기 해상도 분해 화상 중의 위치인 대응 위치와, 상기 대응 위치의 근방의 위치인 근방 위치에 관해서, 상기 추출 단계에서 추출된 각 변환 계수에 따른 가중치를, 그 변환 계수에 대응하는 상기 초점 위치에 있어서의 화소 위치 i에 관한 확률값으로서 가산하는 확률 산출 단계를 포함하고 있는 것을 특징으로 하는 기록 매체.
청구항 11 또는 청구항 12에 있어서,
상기 최적 초점 위치 취득 단계가,
하기의 수학식 8로 표시되는 메시지 m^t _i→_j를, 모든 서로 이웃하는 i, j 및 x_j에 관해서 t=0, 1, 2,…, T의 순서로, 메시지가 수렴되는 t=T까지 산출하는 메시지 산출 단계와,
하기의 수학식 9에 의해 상기 최적의 초점 위치 x_i ^*를 산출하는 초점 위치 산출 단계를 포함하고 있는 것을 특징으로 하는 기록 매체.
[수학식 8]

[수학식 9]

여기서, Ne(i)는 화소 위치 i에 인접하는 화소 위치의 집합이고, Ne(i)＼j는, 화소 위치 i에 인접하는 화소 위치이며 화소 위치 j 이외의 것으로 이루어지는 집합이다.
초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L： 2 이상의 자연수)의 피사체 화상을 촬상하는 촬상 단계와,
상기 촬상 단계에서 촬상된 상에 의거하여, 상기 초점 위치마다 상기 피사체의 그레이 스케일 화상을 취득하는 그레이 스케일 화상 취득 단계와,
상기 그레이 스케일 화상 취득 단계에서 취득된 상기 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와,
상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와,
상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와,
상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 단계를 구비하고,
상기 최적 초점 위치 취득 단계에서,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하는 것을 특징으로 하는 피사체 높이 정보 취득 방법.
초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L： 2 이상의 자연수)의 피사체 화상에 의거하여, 상기 피사체의 위치를 취득하는 피사체 높이 정보 취득 장치로서,
피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 수단과,
상기 다중 해상도 변환 화상 생성 수단이 생성한 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 수단과,
상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 수단과,
상기 최적 초점 위치 취득 수단이 취득한 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 수단을 구비하고,
상기 최적 초점 위치 취득 수단이,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 수단이 산출한 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하는 것을 특징으로 하는 피사체 높이 정보 취득 장치.
초점 위치로부터 환산된 높이 정보와 관련지어진, 초점 위치가 상이한 L개(L： 2 이상의 자연수)의 피사체 화상에 의거하여, 상기 피사체의 높이 정보를 취득하도록 컴퓨터를 기능시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서,
피사체의 상기 초점 위치마다의 그레이 스케일 화상에 다중 해상도 변환을 실시함으로써, 상기 그레이 스케일 화상이 복수의 주파수대역의 성분으로 분해된 화상인 해상도 분해 화상을, 상기 초점 위치마다 생성하는 다중 해상도 변환 화상 생성 단계와,
상기 다중 해상도 변환 화상 생성 단계에서 생성된 상기 해상도 분해 화상에 의거하여, 상기 초점 위치에 관한 확률 분포인 초점 위치 확률 분포를, 상기 그레이 스케일 화상의 화소 위치마다 산출하는 초점 위치 확률 산출 단계와,
상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하여, 최적의 상기 초점 위치를 상기 화소 위치마다 취득하는 최적 초점 위치 취득 단계와,
상기 최적 초점 위치 취득 단계에서 취득된 상기 최적의 초점 위치에 의거하여, 초점 위치로부터 환산된 높이 정보를, 상기 화소 위치마다 취득하는 높이 정보 취득 단계를 컴퓨터에 실행시킴과 함께,
상기 최적 초점 위치 취득 단계에서,
i, j를 상기 화소 위치를 나타내는 첨자로 하고, x_i, x_j를 L 이하의 자연수를 취하는 변수로 하여, 복수의 화소 위치 i에 관해서 상기 초점 위치로서 x_i를 할당한 경우에, 상기 초점 위치 확률 산출 단계에서 산출된 상기 초점 위치 확률 분포에 의거하는 화소 위치 i마다의 코스트 함수 D_i(x_i)와, x_i와 x_j의 차의 절대값이 클수록 큰 값을 취하는 패널티 함수 V(x_i, x_j)를, 상기 복수의 화소 위치 i 및 서로 이웃하는 i, j에 관해서 합한 함수를 평가 함수 E로 할 때, E가 최소가 되는 상기 복수의 화소 위치 i에 관한 x_i의 조합을, 확률 전파법을 이용하여, 상기 최적의 초점 위치로서 근사적으로 도출하도록 컴퓨터를 기능시키는 것을 특징으로 하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.