KR101627950B1

KR101627950B1 - 화상 처리 장치, 왜곡 보정 맵 작성 장치, 및 반도체 계측 장치

Info

Publication number: KR101627950B1
Application number: KR1020147018293A
Authority: KR
Inventors: 준이찌 다구찌; 미쯔지 이께다; 유이찌 아베; 오사무 이노우에; 다까히로 가와사끼
Original assignee: 가부시키가이샤 히다치 하이테크놀로지즈
Priority date: 2012-01-31
Filing date: 2012-10-03
Publication date: 2016-06-07
Also published as: KR20140099313A; US20140341461A1; JP5809575B2; US9514528B2; WO2013114675A1; JP2013156959A

Abstract

화상 처리 장치는, 입력 화상의 보간점을 포함하는 소정의 크기의 보간 처리용 화상을 취득하는 보간 처리용 화상 취득 수단과, 해당 보간 처리용 화상 취득 수단에 의해 취득한 상기 보간 처리용 화상을 푸리에 변환하는 푸리에 변환 수단과, 상기 보간점이 원하는 근방의 정수 좌표 위치로 이동하도록, 시프트 정리에 기초하여, 상기 푸리에 변환 수단으로 푸리에 변환한 변환 후의 보간 처리용 화상의 각 값의 위상을 변경하는 위상 변경 수단과, 해당 위상 변경 수단에 의해 위상을 변경한 보간 처리용 화상을 역 푸리에 변환하는 역 푸리에 변환 수단과, 해당 역 푸리에 변환 수단으로 역 푸리에 변환한 변환 후의 보간 처리용 화상 중에서, 상기 정수 좌표 위치에 있는 화소의 값을 상기 보간점의 보간값으로 하는 보간값 결정 수단을 갖고 있다.

Description

화상 처리 장치, 왜곡 보정 맵 작성 장치, 및 반도체 계측 장치{IMAGE PROCESSING DEVICE, DISTORTION CORRECTION MAP CREATION DEVICE, AND SEMICONDUCTOR MEASUREMENT DEVICE}

본 발명은 화상 처리 기술에 관한 것이며, 특히, 화상을 보정할 때에 화소값을 보간하는 처리에 관한 것이다.

화상에 대하여 원하는 변형을 행하는 기술이 종래부터 알려져 있다. 예를 들어, 촬영에서 발생한 화상의 왜곡을 보정할 때 화상을 변형하는 처리가 행하여진다. 예를 들어, 비특허문헌 1에는, 어안 렌즈(fish-eye lens)로 촬영된 화상의 왜곡을 보정하는 기술이 기재되어 있다. 또한, 비특허문헌 2에는, 어안 렌즈로 발생하는 왜곡을 보정하는 방법의 일례가 나타나 있다. 기타에도, 카메라의 렌즈에 의해 발생하는 화상의 왜곡을 보정하는 화상 변형 처리나, 촬영한 화상과 지도를 중첩하기 위하여 화상에 기하학적인 보정을 행하는 처리 등, 여러가지 화상 변형 처리가 있다.

이들과 같은 화상 변형 처리는, 보정 후의 화상의 각 화소가 보정 전의 화상 어느 위치에 대응할지를 기하적으로 대응짓는다. 촬영계나 왜곡된 성질 등에 대하여 화상 변형 처리에 이용되는 여러가지 대응 모델이나 왜곡 계측 방법이 있다.

보정 전의 화상에 있어서의 보정 후의 화소가 대응지어지는 위치가, 이산적으로 존재하는 화소의 위치에 정확히 겹치면, 보정 전의 화상 화소값을 그대로 보정 후의 화상의 화소값에 꼭 들어맞게 될 수 있다. 그러나, 일반적으로는, 보정 후의 화소가 기하학적 대응짓기로 대응지어지는 위치는, 보정 전의 화상 화소 위치에 겹치지 않고, 화소와 화소의 중간 위치가 된다. 그로 인해, 그 중간 위치의 근방에 있는 화소의 화소값으로부터, 보간 처리에 의해, 보정 후의 화소의 화소값을 구한다.

보간 처리 방법으로서 여러가지 방법이 제안되어 있다. 예를 들어, 비특허문헌 3에 몇 가지의 보간 방법이 기재되어 있다.

보간 방법의 대표적인 것으로서, 「최근방 보간」, 「선형 보간」, 「큐빅 보간」의 3종이 있다. 이 3종 중에서는 「큐빅 보간」이 가장 정밀도가 높다. 또한 정밀도가 높은 보간 방법으로서, Lanczos-n 보간이라고 하는 보간 방법이 있다.

또한, 보간 처리를 수반하는 왜곡 보정 등의 화상 변형 처리의 정밀도를 검증하는 방법으로서, 비특허문헌 4에 기재된 위상 한정 상관법이 있다. 위상 한정 상관법에서는, 변형 후의 화상이 원(元) 화상으로부터 어느 정도 어긋나 있을지를, 픽셀 간을 미세하게 분할한 서브 픽셀의 레벨까지 고정밀도로 측정할 수 있다.

"어안 렌즈의 왜곡 보정 기술", 히타치 정보통신 엔지니어링 가부시끼가이샤, 2011년 11월 8일 검색, URL http://www.hitachi-jten.co.jp/products/fisheye/index.html 마키타 고시(蒔田豪志), "어안 화상의 단방위 전개와 그 응용에 관한 연구", 도쿄도시대학 포 연구실, 2011년 11월 8일 검색, URL http://athena.vm.cs.tcu.ac.jp/3학년용 06년도 졸업 논문(Makita) .ppt "내부 삽입", 위키피디아 프리 백과사전, URL http://ja.wikipedia.org/wiki/％E5％86％85％ E6％8C％BF Kenji TAKITA, etc., " A Sub-Pixel Correspondence SearchiTechnique for Computer Vision Applictions", IEICE TRANS. FUNDAMENTALS, VOL.E87-A, N0.8, pp.1913-1922, AUGUST 2004.

그러나, 상기 3종으로 대표되는 보간 방법으로 화소값의 보간을 행하면서 화상을 변형되지 않고 단순하게 평행 이동하고, 원 화상과 평행 이동에 의해 얻은 화상을 위상 한정 상관법으로 비교하여 이동량을 측정하면, 비교적 정밀도가 높은cubic 보간의 경우에도, 0.04 픽셀 정도의 오차가 검출된다. 또한, 1개의 화소의 보간에, 그 주변에 16*16개의 화소를 참조하는 Lanczos-8 보간에서도, 0.015 픽셀 정도의 오차가 발생한다.

허용할 수 있는 정밀도로서는, 위상 한정 상관법에 의한 측정으로 0.01 픽셀 이하라고 하는 오차가 하나의 목표로 된다. 그러나, 상술한 바와 같이 종래의 방법으로는, 위상 한정 상관법에 의해 측정되는 오차를 0.01 픽셀 이하로 할 수 없다.

본 발명의 목적은, 화소의 보간에 사용하는 주변의 화소 개수를 증가시키지 않고 원 화상과 보정 후의 화상과의 오차를 작게 하는 기술을 제공하는 것이다.

본 발명의 다른 목적은, 왜곡된 화상의 보정에 있어서의 보간점의 위치를 높은 정밀도로 구하기 위한 왜곡 보정 맵을 작성하는 기술을 제공하는 것이다.

본 발명의 하나의 실시 형태에 의한 화상 처리 장치는, 입력 화상의 보간점을 포함하는 소정의 크기의 보간 처리용 화상을 취득하는 보간 처리용 화상 취득 수단과, 상기 보간 처리용 화상 취득 수단에 의해 취득한 상기 보간 처리용 화상을 푸리에 변환하는 푸리에 변환 수단과, 상기 보간점이 원하는 근방의 정수 좌표 위치로 이동하도록, 시프트 정리에 기초하여, 상기 푸리에 변환 수단으로 푸리에 변환한 변환 후의 보간 처리용 화상의 각 값의 위상을 변경하는 위상 변경 수단과, 상기 위상 변경 수단에 의해 위상을 변경한 보간 처리용 화상을 역 푸리에 변환하는 역 푸리에 변환 수단과, 상기 역 푸리에 변환 수단으로 역 푸리에 변환한 변환 후의 보간 처리용 화상 중에서, 상기 정수 좌표 위치에 있는 화소의 값을 상기 보간점의 보간값으로 하는 보간값 결정 수단을 갖고 있다.

본 발명의 다른 형태에 의한 화상 처리 장치는, 소정의 길이의 1차원 데이터를 푸리에 변환해서 작성한 데이터를 참조 데이터로 하여 유지하는 참조 데이터 유지 수단과, 입력 화상의 보간점을 포함하는 소정의 크기의 보간 처리용 화상을 취득하는 보간 처리용 화상 취득 수단과, 상기 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리에 기초하여 참조 위치를 정하여 상기 참조 데이터의 상기 참조 위치로부터 데이터를 취득함으로써, 상기 보간 처리용 화상과 동일한 크기의 가중치 화상을 작성하는 가중치 화상 작성 수단과, 상기 보간 처리용 화상과 상기 가중치 화상의 적화(積和)를 상기 보간점의 보간값으로 하는 적화 계산 수단을 갖고 있다.

본 발명의 또한 다른 형태에 의한 화상 처리 장치는, 입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 파라미터값으로 하는 소정의 보간 방법에 기초하여 상기 보간점의 보간값을 산출하는 보간값 산출 수단과, 원하는 가정 이동량을 상기 보간값 산출 수단의 파라미터값으로 설정함으로써 보간점을 정하고, 상기 보간값 산출 수단에 상기 입력 화상을 보간 처리시킴으로써, 평행 이동 화상을 작성하는 평행 이동 화상 작성 수단과, 상기 평행 이동 화상 작성 수단이 작성한 상기 평행 이동 화상에 대해서, 상기 입력 화상으로부터의 실측 이동량을 측정하는 이동량 측정 수단과, 상기 평행 이동 화상에 관한 상기 가정 이동량과 상기 이동량 측정 수단으로 측정된 상기 실측 이동량과의 관계에 기초하여, 실제의 이동량으로부터, 상기 실제의 이동량의 보간점의 보간값을 얻기 위하여 상기 파라미터값으로서 설정해야 할 보정 이동량이 얻어지는 대응 관계 정보를 구하는 대응 관계 작성 수단과, 상기 대응 관계 정보에 기초하여, 상기 입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 실제의 이동량으로 했을 때의 보정 이동량을 구하고, 그 보정 이동량을 파라미터값으로 설정하여 상기 보간 방법에 의해 상기 입력 화상을 보간 처리하는 보정 보간값 산출 수단을 갖고 있다.

본 발명의 일 형태에 의한 왜곡 보정 맵 작성 장치는, 왜곡 맵으로부터 왜곡 보정 맵을 작성하는 처리를 갖는 왜곡 보정 맵 작성 장치로서, 상기 왜곡 맵은, 왜곡이 발생한 화상 상의 각 점이 상기 왜곡에 의해 원래 어느 점으로부터 이동해 왔는지를 나타내는 맵이며, 상기 왜곡 보정 맵은, 상기 왜곡이 없을 경우의 화상 상의 각 점이 상기 왜곡에 의해 어디로 이동할지를 나타내는 맵이며, 상기 왜곡 맵 중에서 주목한 인접하는 4점에 대해서, 각각 상기 왜곡 맵의 값을 참조하여, 상기 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표를 계산하는 원 좌표 계산 수단과, 상기 이동원의 4점의 좌표 중, x방향의 최대값 및 최소값과 y방향의 최대값 및 최소값으로 둘러싸이는 제1 사각형 내에 있는 정수 좌표값을 내점 후보로 하는 내점 후보 계산 수단과, 상기 내점 후보가, 상기 이동원의 4점이 만드는 제2 사각형의 내측 또는 변 상이라면, 상기 내점 후보를 내점이라고 판단하는 내점 판단 수단과, 상기 내점에 대해서, 상기 제2 사각형 내에 있어서의 상기 내점의 비율 위치를, 소정의 정밀도까지 계산하여 구하는 비율 위치 계산 수단과, 상기 비율 위치로부터, 상기 내점 위치에 있어서의 상기 왜곡 보정 맵의 값을 계산하는 왜곡 보정 맵 값 계산 수단을 갖고 있다.

도 1은 제1 실시 형태에 의한 화상 처리 장치의 기능적인 구성을 도시하는 블록도이다.
도 2는 제1 실시 형태에 의한 보간값 산출부(11)의 기능적인 구성의 일례를 나타내는 블록도이다.
도 3은 제1 실시 형태에 의한 보간값 산출부(11)의 기능적인 구성의 다른 예를 나타내는 블록도이다.
도 4는 제1 실시 형태에 의한 왜곡 보정 맵 작성 장치의 구성을 도시하는 블록도이다.
도 5는 제2 실시 형태에 의한 화상 처리 장치의 일례를 나타내는 블록도이다.
도 6은 제2 실시 형태에 의한 화상 처리 장치의 다른 예를 나타내는 블록도이다.
도 7은 제2 실시 형태에 의한 화상 처리 장치의 또 다른 예를 나타내는 블록도이다.
도 8은 제2 실시 형태에 의한 왜곡 보정 맵 작성 장치의 구성을 도시하는 블록도이다.
도 9는 실시예 1의 시스템 구성도이다.
도 10은 왜곡과 보정에 대하여 설명하기 위한 도면이다.
도 11은 실시예 1의 전체 수순을 나타내는 개요 흐름도이다.
도 12는 왜곡 보정 맵(204)과 보간점(421) 등을 도시한 도면이다.
도 13은 제1 처리에 기재한 보간 방법의 수순을 도시한 도면이다.
도 14는 참조 테이블T를 참조하여 가중치를 작성하고, 보간점의 보간값을 구하는 수순을 나타낸 흐름도이다.
도 15는 보간 시에 참조하는 참조 테이블의 작성 수순을 나타낸 흐름도이다.
도 16은 왜곡 맵(203)에 있어서의, 주목한 인접하는 4점을 정점으로 하는 사각형(801) 및 그 주변의 확대도(803)와, 왜곡 보정 맵(204)에 있어서의, 주목한 4점이 왜곡된 4점을 정점으로 하는 사각형(802), 정수 좌표값을 갖는 내점, 및 그 주변의 확대도를 도시하는 도면이다.
도 17은 왜곡 맵(203)으로부터 왜곡 보정 맵(204)을 작성하는 수순을 나타낸 흐름도이다.
도 18은 왜곡 보정 맵(204) 상의 사각형(802)의 내점의 위치를, 왜곡 보정 맵(204)에 있어서의 양측의 점으로부터의 거리의 비율α, β로 표현한 모습을 도시하는 도면이다.
도 19는 실시예 4에 의한 반도체 계측 장치의 블록도이다.

본 발명의 실시 형태 구성이나 동작의 설명에 앞서 본 실시 형태에서 사용되는 여러가지 처리에 대하여 설명한다.

(제1 처리)

제1 처리는, 보간점과 그 주변의 n*n 화소를 FFT(고속 푸리에 변환)하고, 시프트 정리에 기초하는 위상 변경을 행하고, 역FFT하여 중심점의 값을 보간점의 값으로 하는 보간을 행하는 처리이다. 보간점은 주위의 화소의 화소값을 사용하여 보간해야 할 점이다. 보간의 수순을 식으로 기재하면, 이하로 된다.

주목하는 보간점의 위치를 (x, y)로 한다. x, y는, 일반적으로 정수가 아니고, (x, y)=(x0+dx, y0+dy)에 있어서, x0, y0은 정수 값이며, dx, dy는 -0.5<=dx<0.5, -0.5<=dy<0.5의 실제 수치로 한다. x, y는 정수 좌표값(x0, y0)과 소수 좌표값(dx, dy)으로 분리할 수 있다. 제1 보간 방법은, 이하의 식(1)에 기초하여 행한다.

단, G는, 보간점 주변의 n*n 화소의 화상이다. F는 화상을 2차원 푸리에 변환하는 연산자이다. S(-dx, -dy)는 공간 영역에서의 평행 이동은 푸리에 영역에서의 선형 위상 시프트와 동등하다는 푸리에 변환의 시프트 정리에 기초하여, (-dx, -dy) 이동하는 위상 변경을 행하는 연산자이다. F^-1은, 2차원 역 푸리에 변환하는 연산자이다. G2는 변환 후의 화상이다. 구하는 보간점의 값은, G2의 중심 위치의 값이다.

주목하는 보간점의 정수 좌표(x0, y0)를 n*n 화상의 중심(n/2, n/2)으로 하고, 그 주변의 화소를 배치함으로써, n*n 화상을 작성한 것이, G이다. 예를 들어, n=16의 경우, 화상은, (0, 0) 내지 (15, 15)까지의 정수 좌표의 화소에 휘도값을 가진 것으로 표현되나, 중심 좌표는, (8, 8)로 한다.

F는 2차원 푸리에 변환이다. n이 2의 지수승이나 3의 지수승 등, 정수의 지수승의 경우, FFT(고속 푸리에 변환)를 사용할 수 있다. F^-1도 마찬가지이다.

S(-dx, -dy)의 구체적인 연산은, 화상의 각 점(a, b)에 대해서, 이하의 식(2) 내지 식(4)의 계산을 행하는 것이다.

단, H는, 식(5)와 같이, G를 2차원 푸리에 변환한 화상이다. H(a, b)는 화상 H의 좌표(a, b)에서의 값이다. C(a, b)는 좌표(a, b)에서의 시프트 정리에 기초하는 위상 변경을 복소수로 나타낸 것이다. θ(a, b)는 좌표(a, b)에서의 시프트 정리에 기초하는 위상 변경량이다. 이에 의해, 실공간에서는, (-dx, -dy) 이동이 행하여진다. 또한, 식(2)의 θ(a, b)에 대해서는, 이 밖에도, ((a+(n/2))％n)-(n/2) 대신 간단히 a로 하고, ((b+(n/2))％n)-(n/2) 대신 간단히 b로 해도 된다.

또한, 구하는 보간점의 값은, G2의 중심 위치에서의 값, 즉 G2(n/2, n/2)의 값이다.

이상 설명한 제1 처리를 사용하여, 16*16 화소의 부분 화상을 잘라내는 보간법으로 평행 이동 화상을 작성하면, 위상 한정 상관법으로 측정되는 오차를 작게 할 수 있다. 구체적으로는, 위상 한정 상관법으로 측정되는 오차는 0.008 픽셀 정도라고 하는 고정밀도가 실현된다. 동일한 부분 화상의 화소 16*16을 사용하여 Lanczos-8 보간을 행한 경우의 오차는 0.015 픽셀 정도이다. 따라서, 제1 처리에서는, Lanczos-8 보간의 2배 정도, 이동 정밀도가 좋은 평행 이동 화상을 작성할 수 있다.

(제2 처리)

제2 처리는, 제1 처리와 수학적으로 등가인 컨벌루션에 기초하는, 가중 적화 계산을 행함으로써, 보간점의 보간을 행하는 처리이다. 단, 적화 계산의 가중치는 정확하게 등가 계산하면 연산에 시간이 걸리므로, 1차원의 이산적인 소정의 이동량에 대하여 가중치를 계산한 테이블을 미리 작성해 두고, 그 테이블을 사용하여 가중치를 근사 계산한다. 가중치를 계산할 수 있으면, 이하의 식(6)에 의해 보간 계산을 행한다.

단, Σab는, 0<=a<n, 0<=b<n으로 합을 취하는 것을 의미하고, W(a, b)는 가중치이다. G는, 제1 처리에 기재한 것과 같다. g3은, 구하는 보간점의 값이고, 테이블화 등의 계산 오차를 무시하면, 제1 처리에 기재한 G2(n/2, n/2)와 같아진다.

가중치 W(a, b)는 (n+2)*m개의 테이블T로부터 계산한다. m은 정수이다.

테이블T는, 이하의 식(7)과 같이, n*m개의 직사각형 데이터(data)를 작성하고, 그것을 1차원 푸리에 변환하여 나온 데이터(Fdata)를 식(8)과 같이 참조함으로써, 작성한다. 또한, n*m이 2의 지수승 등, 정수의 지수승이라면, 푸리에 변환은, FFT로 행할 수 있다. 또한, 여기에서는 식(7)과 같은 직사각형 데이터(data)를 사용했지만, 본 발명이 이것에 한정되는 것은 아니다. 다른 예로서, 완전한 직사각형이 아니어도 직사각형에 가까운 형상의 데이터이어도 된다.

또한, ％는, 제산한 나머지를 구하는 연산이다. 식(8)에 의해 작성한 테이블T의 중심점은, T((n/2+1)*m)=Fdata(0)이 되고, data를 푸리에 변환한 0주파수의 점에 해당한다. 식(7)과 같이 데이터를 작성했으므로, T는, 1/m의 구분 정밀도로 테이블을 작성한 것이라고 말할 수 있다. 예를 들어, m=256이라면, 1/256의 구분 정밀도로 보간용의 데이터를 작성하게 된다.

보간점(x, y)=(x0+dx, y0+dy)(x0, y0은 정수, dx, dy는 -0.5<=dx<0.5, -0.5<=dy<0.5의 실수)의 경우의 가중치 W(a, b)는 이하의 식(9) 내지 (15)로 작성된다.

이상 설명한 제2 처리를 사용하여, 16*16 화소의 부분 화상을 잘라내는 보문법에 의해 평행 이동 화상을 작성하면, 위상 한정 상관법으로 측정되는 오차로서 제1 처리와 동등한 0.008 픽셀 정도라는 고정밀도가 실현된다.

(제3 처리)

제3 처리는, 제1 및 제2 처리에 기초하는 보간 방법 등으로 보간하여 평행 이동할 경우에, 또한 평행 이동의 이동 정밀도를 향상하는 보정 처리이다.

상기 제1 처리에서 기재한 것 같이, 보간점의 좌표(x, y)를 정수 좌표값(x0, y0)과, 소수 좌표값(dx, dy)으로 분리한다. 여기서, (x, y)=(x0+dx, y0+dy), -0.5<=dx<0.5, -0.5<=dy<0.5로 한다. 이때, 화상의 모든 점에 있어서, 보간점(x, y)의 보간값을 (x0, y0)의 값으로 한 화상을 작성하면, 평행 이동에 대하여 고정밀도로 보간된 화상은, 원래의 화상을 (-dx, -dy)만큼 평행 이동한 화상이 된다. 그러나, 실제로, 위상 한정 상관법으로 평행 이동량을 측정하면, 이동량의 측정값은, (-dx, -dy)로는 안되고, 오차를 수반한다. 예를 들어, 위상 한정 상관법에서의 평행 이동량의 측정값이, (-dx_me, -dy_me)이었다고 하자. 이때, 소정의 보간으로 (dx, dy) 어긋난 점을 보간하면, 실제의 평행 이동량이 (-dx_me, -dy_me)이라고 간주할 수 있다.

마찬가지로, 실제의 이동량이 (-dx, -dy)이 되는 보정 보간점(x0+dx_h, y0+dy_h)이 있을 것이다. 즉, (x0+dx, y0+dy)의 보정한 보간값을 구할 경우, 소정의 보간 방법으로 보정 보간점(x0+dx_h, y0+dy_h)의 보간값을 구하고, 그 값을 새롭게 보간점(x0+dx, y0+dy)의 이동 보정을 한 보간값이라고 하는 보간 방법이 제3 처리이다.

보간점(x0+dx, y0+dy)과 이동량을 보정한 보간점(x0+dx_h, y0+dy_h)과의 대응짓기는, 소정의 보간 방법으로 보간해서 작성한 평행 이동 화상의 이동량을 측정한 측정값에 기초하여 행하여진다. 이동량의 측정은, 위상 한정 상관법 등으로 행할 수 있다. 그 측정에 의해, 기초가 되는 보간 방법에 고유한 대응짓기가 측정값으로부터 정해진다. 예를 들어, 기초가 되는 보간 방법이 제1 처리의 보간 방법일 경우, 제1 보간 방법을 사용하여 평행 이동한 화상의 이동량을 측정하고, 측정값에 기초하여 보간점의 위치를 보정할 수 있도록, 대응짓기를 한다. 또한, 기초가 되는 보간 방법이 큐빅 보간의 보간 방법일 경우, 큐빅 보간을 사용하여 평행 이동한 화상의 이동량을 측정하고, 측정값에 기초하여 보간점의 위치를 보정할 수 있도록, 대응짓기를 한다.

또한, 화상을 평행 이동시켜서 위상 한정 상관법으로 측정한 평행 이동량의 측정값에는, 화상에 의해 다른 오차가 있다. 따라서, 대표적인 화상을 복수 선정, 평행 이동량의 측정값 평균값을 취하는 것으로 해도 된다.

미소한 단위로 평행 이동을 시켜서 모든 실수의 평행 이동량을 측정할 수는 없으므로, 이산적인 평행 이동량을 부여하여 측정을 행하고, 측정값의 테이블을 작성하여, 이용한다.

예를 들어, 미소 이동량ds를 ds=1/ms(ms는 정수)로 하고, 이하의 식(16)과 같이, 0으로부터 1까지의 이산적인 값을 갖는 이동량s를 정의한다.

보간점(x0-s, y0)을 소정의 보간 방법으로 보간한 값을 (x0, y0)의 값으로 하는 평행 이동을 행한 화상에 대하여 위상 한정 상관법으로 이동량을 측정하고, x방향의 이동량이 s_me이었다고 하자. 즉, 소정의 보간 방법으로 이동량s라고 생각한 평행 이동의 측정 이동량이 s_me이다. 여기에서는 이것을, 소정의 보간 방법으로 가정 이동량s에 대응한 측정 이동량이 s_me이라고 말하기로 한다. 또한, 실질 이동량이 s_me의 이동을 부여하는 보간 경우의 보정 이동량이 s라고 말할 수 있다.

측정에는 측정 오차가 있어서, 측정점을 증가시키고, 평균화하여 측정 오차를 저감시킬 수도 있다. 예를 들어, 보간점(x0-ds, y0-ds)을 소정의 보간 방법으로 보간한 값을 (x0, y0)의 값으로 하는 평행 이동을 행한 화상을 위상 한정 상관으로 이동량을 측정하고, x방향의 이동량이 s_mex, y방향의 이동량이 s_mey이었다고 하자. 이때, 가정 이동량s에 대한 측정 이동량을 평균의 (s_mex+s_mey)/2로 할 수도 있다.

이상과 같이 하여, 식(16)의 각 ks의 가정 이동량으로 평행 이동한 화상을 작성하고, 이동량을 측정하여 측정 이동량을 구한다. 구한 측정 이동량은, 이동량 측정 테이블 ST1의 ks에서의 값 ST1(ks)로 한다.

이동량 측정 테이블 ST1(0)은 0이고, ST1(ms)는 1인 단조 증가 함수인 것이 기대된다. 측정값에는 오차가 있기 마련이고, 단조롭게 증가하지 않는 경우에는, 적당한 필터를 걸어서 단조 증가하는 형으로 하는 것이 바람직하다. 또한, ST1(ms)이 1이 아닌 경우에는, ST1(ms)을 1로 하고, ST1(ks) 중 1을 초과하는 것을 1로 함으로써, 이동량 측정 테이블 ST1을 단조 증가로 유지하는 것이 바람직하다.

이상과 같이 하여 이동량 측정 테이블 ST1이 생기면, 테이블 간을 보간함으로써, 식(17)과 같은 일반의 가정 이동량u에 대하여 식(18)과 같이 측정 이동량의 기대값u_ex를 구할 수 있다.

이동량 측정 테이블 ST1이 단조 증가로, ST1(0)=0, ST1(ms)=1이라면, 0으로부터 1까지의 측정 이동량의 기대값u_ex에 대하여 식(19)와 같이, ku, au의 값은 유일하게 정할 수 있다. 단, ST1(ku)=ST1(ku+1)의 경우는, u_ex에 대한 ku는 낮은 쪽이 대응하고, au=0이라고 하는데, 특례로서, ST1(ms-1)=ST1(ms)=1의 경우는, ku=ms, au=0으로 한다.

이상의 식(17) 내지 식(19)에 의해, 임의의 측정 이동량의 기대값u_ex에 대응한 가정 이동량u를 구할 수 있다. 여기에서는, 이것을, 실질 이동량u_ex를 부여하는 보정 이동량이 u라고 하기로 한다.

여기서, 식(20)과 같이, 실질 이동량u2_ex를 이산적으로 정의한다.

식(17) 내지 식(19)에 의해, 실질 이동량u2_ex를 부여하는 보정 이동량을 구할 수 있다. 실질 이동량은 식(20)에 의해 정수ku2의 값으로 결정되므로, ST2(ku2)의 값을 실질 이동량u2_ex를 부여하는 보정 이동량으로 하고, 보정 이동량 테이블ST2를 작성할 수 있다.

이상에서는, 실질 이동량이 양의 값인 경우의 보정 이동량을 구했지만, 마찬가지로 실질 이동량이 음의 값인 경우의 보정 이동량을 측정에 의해 구할 수도 있다. 그러나, 제1 처리나 제2 처리에 의한 보간에서는, 이동이 대칭인 형태가 되고 있으므로, 실질 이동량이 음인 경우의 보정 이동량을 구할 때, 실질 이동량의 부호를 양으로 바꾸어서 보정 이동량 테이블을 참조하고, 참조에서 얻은 값의 부호를 음으로 함으로써, 보정 이동량을 구할 수 있다. 즉, ST2(-ku2)=-ST2(ku)로 할 수 있다. 또한, 큐빅 보간이나 Lanczos 보간에서도, 마찬가지로 ST2(-ku2)=-ST2(ku)로 할 수 있다.

상기 제1 처리나 제2 처리의 보간의 경우, 주목하는 보간점의 위치(x, y)를 마찬가지로, (x, y)=(x0+dx, y0+dy)(x0, y0은 정수 값이며, ds, dy는, -0.5<=dx<0.5, -0.5<=dy<0.5의 실수값임)로 한다. 이때, 주목하는 보간점(x, y)이 실제적인 보간점이 되도록, 제3 처리에서는, 이하의 식(21), (22)와 같이 dx, dy를 분리하고, 식(23), 식(24)와 같이, 보정 이동량dx_h, dy_h를 구한다.

보정 보간점(x_h, y_h)은 (x_h, y_h)=(x0+dx_h, y0+dy_h)인데, 소정의 보간 방법으로 그 보정 보간점(x_h, y_h)의 보간을 행하여 얻어지는 보간값이, 제3 처리에 있어서의 보간점(x, y)의 보정된 보간값(보정 보간값)이 된다.

또한, 소정의 보간 방법이, 제2 처리와 같이, 테이블을 참조하여 가중 계산을 행하는 방법일 경우, 실질 이동량을 ds 스텝마다 이산화하고, 그 개개의 보정 이동량의 가중치(보정 가중치)를 계산하여 테이블화(보정 가중치 테이블의 작성) 해 두고, 실질 이동량s를 부여하는 보정 가중치를 보정 가중치 테이블로부터 보간 계산에 의해 구하고, 그 보정 가중치로 적화 계산하여 보간을 행하도록 할 수도 있다.

기타, 큐빅 컨벌루션의 경우 등은, 실질 이동량s가 0으로부터 ds 스텝마다 1까지의 대응하는 보정 이동량의 테이블을 구하고, 실질 이동량을 부여하는 보정 이동량에 기초하여 큐빅 보간의 가중치를 작성하고, 적화 계산으로 보간을 행할 수도 있다. 또한, 보정 이동량의 테이블이 아니고, 보정 이동량의 큐빅 컨벌루션의 가중치를 테이블로 하고, 실질 이동량에 대한 보정 이동량의 가중치를 계산하여 구하고, 보정 이동량의 가중치 계산에 의한 보간을 행할 수도 있다.

이상 설명한 제3 처리에서는, 제1 또는 제2 처리에 의한 이동 정밀도를 향상시킬 수 있다. 구체적으로는, 오차가 0.004 픽셀 정도와, 제1 또는 제2 처리에 의한 평행 이동 화상의 이동 정밀도보다 2배 정도, 정밀도를 더 향상시킬 수 있다. 특히, 소정의 보간 방법으로서 큐빅 보간을 사용한 경우, 보간을 위하여 잘라내는 부분 화상이 4*4 화소와 적어도, 0.004 픽셀 정도라고 하는 작은 오차를 실현할 수 있기 때문에, 이동 정밀도가 좋은 보간을 고속으로 실행하는 것이 가능하게 된다.

또한, 이상에서는, 소정의 보간 방법으로 보간해서 작성한 평행 이동 화상의 실제 이동량을 위상 한정 상관으로 측정했지만, 기타에도 원 화상과 평행 이동 화상을 매칭한 평가값으로부터 이동량을 서브 픽셀 추정하는 방법 등, 이동량을 측정하는 방법이 여러가지 있고, 그들 측정법으로 이동량을 측정한 데이터를 바탕으로, 마찬가지로 보정 이동량을 구하고, 보정 보간값을 구하도록 할 수도 있다.

(제4 처리)

제4 처리는, 화상의 왜곡 맵으로부터, 왜곡 보정 맵을 작성하는 방법에 관한 것이다.

촬영 화상의 왜곡을 적절한 이동량으로 보정하고, 보간점을 보간하면, 보정 화상을 작성할 수 있다. 그러나, 화상의 왜곡 맵으로부터는 직접 보간점을 구할 수 없으므로, 왜곡 맵으로부터 왜곡 보정 맵을 작성한다. 왜곡 보정 맵을 참조하면, 직접 보간점의 위치를 구할 수 있다.

렌즈 왜곡 등이 있고, 촬영 화상이 왜곡될 경우, 촬영 화상 상의 점이, 어디로부터 왜곡되어 온 것인가, 왜곡되어 온 이동량을 촬영 화상 상의 각 점에서 계측하고, 그 이동량을 각 점의 값으로 하는 왜곡 맵을 작성할 수 있다. 그 왜곡 맵을 반대로 더듬어 가면, 왜곡이 없었을 경우의 점이, 왜곡되어서 어디로 비추게 되었는지를 알 수 있다. 그러나, 일반적으로, 정수 좌표에 있는 점으로부터 실수로 표현한 왜곡 맵의 값을 참조하여, 왜곡이 없을 경우의 원래의 점의 위치를 구해도, 그 점의 좌표는 정수 값이 아니다. 즉, 원래의 점의 위치는 화상에 있어서의 화소의 위치가 아니다. 따라서, 왜곡이 없을 경우의 정수 좌표 점이, 왜곡에 의해 어디로 비추는 것일지를 나타내는 왜곡 보정 맵을 왜곡 맵으로부터 작성하기로 한다.

제4 처리는, 왜곡 맵으로부터 왜곡 보정 맵을 작성하는 계산 중에서, 점근적인 근사 계산의 계산 오차를 구하고, 계산 오차가 소정 내에 들어갈 때까지 점근적인 근사 계산을 반복하는 것을 특징으로 한다. 이에 의해, 계산 오차가 0.00001 화소 등, 소정의 범위에 있는 것을 보증하여 왜곡 보정 맵을 작성할 수 있다.

구체적으로는, 왜곡 맵이 주목한 서로 인접하는 4점에 대해서, 왜곡 맵을 참조함으로써, 왜곡이 없을 때의 화상 상의 어느 점으로부터 왜곡되어 온 것일지를 구하고, 그 왜곡이 원 4점을 정점으로 하는 사각형의 내측에 있는 정수 좌표 점(내점)에 대해서, 각각, 왜곡된 원래의 4점이 둘러싸는 사각형과의 위치 관계를 다음의 점근적인 근사 계산으로 구한다.

왜곡 맵의 주목한 인접하는 4점에 대하여 왜곡 맵을 참조함으로써 구한 왜곡된 원래의 4점 P1 내지 P4의 좌표를, P1(p1x, p1y), P2(p2x, p2y), P3(p3x, p3y), P4(p4x, p4y)라고 한다. 단, P1과 P4, P2와 P3가 대각 방향에 있는 것으로 한다. ax=p2x-p1x, ay=p2y-p1y, bx=p3x-p1x, by=p3y-p1y, cx=p3x-p4x, cy=p3y-p4y, dx=p2x-p4x, dy=p2y-p4y로 한다.

사각형 P1P2P4P4의 내점인지 아닌지를 조사하는 대상인 R점의 좌표를 R(rx, ry)로 하고, fx=rx-p1x, fy=ry-p1y로 하면, R점이, 사각형 P1P2P4P4의 내점(변 상을 포함함)에 있는지의 여부는, 이하의 식(25) 내지 식(28)의 계산으로 알 수 있다.

식(25) 내지 식(28)의 계산을 행하고, 0<=α1, 0<=β1, 0<=α2, 0<=β2라면, R점은, 사각형 P1P2P4P3의 내점이다.

R점이 사각형 P1P2P4P3의 내점일 경우, 내점에서의 비율α, β에 대해서, 이하의 식(29), 식(30)으로 초기값을 정하고, k를 점근 계산으로의 루프 값으로 하고, k=0으로부터 시작하여 오차가 소정의 값보다 적어질 때까지, 이하의 점근 계산을 반복한다.

상기 식(31), 식(32)는 x방향, y방향의 오차이며, 식(33)이 전체의 오차가 된다. 식(33)의 오차가, 소정의 값, 예를 들어 0.00001 이내라면, 그때의 α(k), β(k)를 내점의 양측 점으로부터의 거리의 비율α, β로 하고, 그렇지 않으면, 식(34) 내지 식(41)까지의 계산을 행함으로써 α(k+1), β(k+1)을 산출한다. k+1을 k로 보고, 식(31) 내지 식(33)의 계산을 행하고, k+1의 경우의 오차를 계산하고, 오차가 상기 소정의 값 이내인지 여부 판단하여, 오차가 소정의 값 이내가 될 때까지, 이 조작을 반복한다.

이상과 같이, R점을 사각형 P1P2P4P3의 양측 점으로부터의 거리의 비율로 표현했을 때의 오차를 평가하고, 오차가 소정의 값 이내가 될 때까지, 점근 계산으로 비율α, β를 구해 간다.

이상과 같이 하여, α, β가 구해지면, 왜곡 맵 중에서, 지금, 주목한 인접하는 4점의 좌측 상단의 좌표를 (q1x, q1y)로 하고, 내점의 좌표를 (rx, ry)로 하면, 내점(rx, ry)는 왜곡에 의해 좌표(q1x+α, q1y+β)로 이동하는 것을 알 수 있다. 왜곡 보정 맵의 좌표(rx, ry)에서의 값은, 이동량(q1x+α-rx, q1y+β-ry)이다.

이상과 같이, 왜곡 맵의 모든 인접하는 4점에 대해서, 왜곡된 원래의 대응하는 4점이 만드는 사각형의 내점의 왜곡 맵의 값을 구함으로써, 모든 내점에 대하여 왜곡 보정 맵의 값을 구한다.

또한, 이상과 같이 하여 왜곡 보정 맵의 값이 구해진 점은, 왜곡 보정 범위 맵의 값을 1로 하고, 왜곡 보정 맵의 값이 구해지지 않은 점은, 왜곡 보정 범위 맵의 값을 0으로 함으로써, 왜곡 보정 범위 맵을 만들 수 있다.

이상 설명한 제4 처리에 의하면, 보간점의 좌표를 계산할 때의 좌표 점의 위치 계산 오차를 소정 값보다 작게 하는 것을 보증할 수 있다.

또한, 이상의 식(29), 식(30)의 초기값은, 내점인지 여부를 판단하는 계산을 이용하여 점근 계산을 할 때에 효율이 좋은 초기값으로 되지만, 효율을 문제삼지 않으면, 예를 들어, α(0)=0, β(0)=0 등의 다른 값을 초기값으로 할 수도 있다.

또한, 이상에서는, 왜곡 맵이, 렌즈 왜곡 등이 있어서 왜곡된 촬영 화상에 있어서, 촬영 화상 상의 점이 어디로부터 왜곡되어 온 것인가라고 하는, 왜곡의 이동량을 나타내는 것으로 했지만, 본 발명이 이것에 한정되는 일은 없다. 다른 예로서, 왜곡 맵이, 렌즈 왜곡이 아니고, 인공적으로 원하는 화상 변형을 행하는 경우의 이동량을 나타내는 것일 수도 있다.

이하에서는, 상술한 제1 내지 제4 처리를 사용하는 본 발명의 실시 형태에 대하여 도면을 참조하여 설명한다.

(제1 실시 형태)

도 1은, 제1 실시 형태에 의한 화상 처리 장치가 기능적인 구성을 도시하는 블록도이다. 본 실시 형태의 화상 처리 장치는 상술한 제3 처리를 사용한다. 도 1을 참조하면, 화상 처리 장치(10)는 보간값 산출부(11), 평행 이동 화상 작성부(12), 이동량 측정부(13), 대응 관계 작성부(14), 및 보정 보간값 산출부(15)를 갖고 있다.

보간값 산출부(11)는 입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 파라미터값으로 하는 소정의 보간 방법에 기초하여, 보간점의 보간값을 산출한다. 보간값 산출부(11)가 사용하는 보간 방법은 특별히 한정되지 않지만, 보간값 산출부(11)가 사용하는 보간 방법 및 보간값 산출부(11)의 기능적인 구성의 예에 대하여 후술한다.

평행 이동 화상 작성부(12)는 원하는 가정 이동량을 보간값 산출부(11)의 파라미터값으로 설정함으로써 보간점을 정하고, 보간값 산출부(11)에 입력 화상을 보간 처리시킴으로써, 평행 이동 화상을 작성한다.

이동량 측정부(13)는 평행 이동 화상 작성부(12)가 작성한 평행 이동 화상에 대해서, 입력 화상으로부터의 실측 이동량을 측정한다.

대응 관계 작성부(14)는 그 평행 이동 화상에 관한 가정 이동량과 이동량 측정부(13)에서 측정된 실측 이동량과의 관계에 기초하여, 실제의 이동량으로부터, 실제의 이동량의 보간점의 보간값을 얻기 위하여 파라미터값으로서 설정해야 할 보정 이동량이 얻어지는 대응 관계 정보를 구한다.

보정 보간값 산출부(15)는 그 대응 관계 정보에 기초하여, 입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 실제의 이동량으로 했을 때의 보정 이동량을 구하고, 그 보정 이동량을 파라미터값으로 설정하고, 보간값 산출부(11)와 같은 보간 방법에 의해 입력 화상을 보간 처리한다.

이상과 같이, 본 실시 형태에 따르면, 보간값 산출에 사용하는 보간 방법에 의해 실제로 얻고 싶은 이동량의 보간 처리를 실시할 수 있도록, 보간 처리의 파라미터값으로서 설정하는 이동량을 실측에 기초하여 조정하므로, 정밀도가 높은 보간 처리가 가능하게 된다.

또한, 본 실시 형태에서는, 대응 관계 작성부(14)가 제1 대응 관계 작성부와 제2 대응 관계 작성부를 갖는 구성이어도 된다.

제1 대응 관계 작성부는, 평행 이동 화상 작성(12)에 부여하는 가정 이동량으로서 소정의 복수의 값을 설정하고, 각각의 평행 이동 화상을 작성하고, 이동량 측정부(13)를 사용하여 각각의 평행 이동 화상에 대하여 실제의 이동량을 측정한다. 또한, 제1 대응 관계 작성부(14)는 참조함으로써 가정 이동량으로부터 실측 이동량으로 변환이 가능하도록, 가정 이동량으로부터 실측 이동량에의 대응 관계(제1 대응 관계)를 구한다. 제2 대응 관계 작성부는, 제1 대응 관계를 기초로, 실측 이동량으로부터 가정 이동량에의 대응 관계(제2 대응 관계)를 산출한다. 즉, 먼저 제1 대응 관계를 구하고, 그 제1 대응 관계에 기초하여 제2 대응 관계(대응 관계 정보)를 산출하게 된다.

그 경우, 보정 보간값 산출부(15)는 입력 화상의 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리를 실측 이동량으로 하고, 제2 대응 관계에 기초하여, 그 실측 이동량에 대응한 가정 이동량을 구하고, 그 가정 이동량을 파라미터값으로 설정하는 보정 이동량으로 하면 된다.

도 2는, 제1 실시 형태에 의한 보간값 산출부(11)가 기능적인 구성의 일례를 나타내는 블록도이다. 이 예에서는, 상술한 제1 처리가 사용된다. 도 2를 참조하면, 보간값 산출부(11)는 보간 처리용 화상 취득부(21), 푸리에 변환부(22), 위상 변환부(23), 역 푸리에 변환부(24), 및 보간값 결정부(25)를 갖고 있다.

보간 처리용 화상 취득부(21)는 입력 화상의 보간점을 포함하는 소정의 크기의 보간 처리용 화상을 취득한다.

푸리에 변환부(22)는 보간 처리용 화상 취득부(21)에 의해 취득한 보간 처리용 화상을 푸리에 변환한다.

위상 변환부(23)는 보간점이 원하는 근방의 정수 좌표 위치로 이동하도록, 시프트 정리에 기초하여, 푸리에 변환부(22)에서 푸리에 변환한 변환 후의 보간 처리용 화상의 각 값의 위상을 변경한다.

역 푸리에 변환부(24)는 위상 변환부(23)에 의해 위상을 변경한 보간 처리용 화상을 역 푸리에 변환한다.

보간값 결정부(25)는 역 푸리에 변환부(24)에서 역 푸리에 변환한 변환 후의 보간 처리용 화상 중에서, 당해 정수 좌표 위치에 있는 화소의 값을 보간점의 보간값으로 한다.

도 2의 예에 의하면, 보간 처리용 화상을 푸리에 변환한 후에 소정량만큼 위상을 변경하여 역 푸리에 변환하므로, 하나의 화소값 보간에 사용하는 화소수를 증가시키지 않아도, 위상 한정 상관법에 의해 측정되는 화상 보정 정밀도를 향상할 수 있다.

도 3은, 제1 실시 형태에 의한 보간값 산출부(11)가 기능적인 구성의 다른 예를 나타내는 블록도이다. 이 예에서는, 상술한 제2 처리가 사용된다. 도 3을 참조하면, 보간값 산출부(11)는 보간 처리용 화상 취득부(31), 가중치 화상 작성부(32), 적화 계산부(33), 및 참조 데이터 유지부(34)를 갖고 있다.

참조 데이터 유지부(34)는 소정의 길이의 1차원 데이터를 푸리에 변환해서 작성한 데이터를 참조 데이터로서 유지한다. 1차원 데이터는, 예를 들어 직사각 형상으로 값이 변화하는 직사각형 데이터이다.

보간 처리용 화상 취득부(31)는 입력 화상의 보간점을 포함하는 소정의 크기의 보간 처리용 화상을 취득한다.

가중치 화상 작성부(32)는 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리에 기초하여 참조 위치를 정하여 참조 데이터의 참조 위치로부터 데이터를 취득함으로써, 보간 처리용 화상과 동일한 크기의 가중치 화상을 작성한다.

적화 계산부(33)는 보간 처리용 화상과 가중치 화상의 적화를, 당해 보간점의 보간값으로서 산출한다.

도 3의 예에 의하면, 1차원 데이터를 푸리에 변환하여 얻은 참조 데이터의 참조 위치로부터 취득한 가중치 화상과 보간 처리용 화상과의 적화를 구하여 보간점의 보간값으로 하므로, 도 2의 예와 등가인 보간 처리를 행할 수 있고, 하나의 화소값 보간에 사용하는 화소수를 증가시키지 않아도, 위상 한정 상관법에 의해 측정되는 화상 보정 정밀도를 향상할 수 있다.

또한, 여기에서는, 도 2, 도 3을 참조하여, 제1 또는 제2 처리를 사용하는 경우의 보간값 산출부(11)의 기능적인 구성에 대하여 설명했지만, 다른 처리를 사용할 수도 있다. 예를 들어, 보간값 산출부(11)가 큐빅 보간에 의해 보간 처리를 행하는 것이어도 된다.

도 4는, 제1 실시 형태에 의한 왜곡 보정 맵 작성 장치의 구성을 도시하는 블록도이다.

왜곡 보정 맵 작성 장치는 왜곡 맵으로부터 왜곡 보정 맵을 작성한다. 왜곡 맵은, 왜곡이 발생한 화상 상의 각 점이 그 왜곡에 의해 원래 어느 점으로부터 이동해 왔는지를 나타내는 맵이다. 왜곡 보정 맵은, 그 왜곡이 없을 경우의 화상 상의 각 점이 왜곡에 의해 어디로 이동할지를 나타내는 맵이다. 왜곡 보정 맵은, 왜곡 화상을 보정할 때에 화상 처리 장치(10)에 입력하는 보간점의 위치를 구하는 데도 사용된다. 본 실시 형태의 왜곡 보정 맵 작성 장치에 의하면, 보간점의 위치를 높은 정밀도로 구하는 것을 가능하게 하는 왜곡 보정 맵을 작성할 수 있다.

도 4를 참조하면, 왜곡 보정 맵 작성 장치(40)는 원 좌표 계산부(41), 내점 후보 계산부(42), 내점 판단부(43), 및 왜곡 보정값 계산부(44)를 갖고 있다.

원 좌표 계산부(41)는 왜곡 맵 중에서 주목한 인접하는 4점에 대해서, 각각 왜곡 맵의 값을 참조하고, 그 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표를 계산한다.

내점 후보 계산부(42)는 그 이동원의 4점의 좌표 중, x방향의 최대값 및 최소값과 y방향의 최대값 및 최소값으로 둘러싸이는 제1 사각형 내에 있는 정수 좌표값을 내점 후보로서 추출한다.

내점 판단부(43)는 추출한 내점 후보가, 이동원의 4점이 만드는 제2 사각형의 내측 또는 변 상이라면, 그 내점 후보를 내점이라고 판단한다.

왜곡 보정값 계산부(44)는 내점의 제2 사각형 내의 위치에 기초하여, 그 내점의 왜곡에 의한 이동량을 계산하고, 왜곡 보정 맵의 값으로서 설정한다.

상술한 원 좌표 계산부(41), 내점 후보 계산부(42), 내점 판단부(43), 및 왜곡 보정값 계산부(44)의 동작을, 주목하는 4점을 순차 전환하면서 진행시켜 가는 것에 의해, 왜곡 보정 맵이 완성된다.

또한, 제1 실시 형태에서는, 도 2, 도 3에 나타낸 구성을 도 1의 보간값 산출부(11)에 내장하는 예를 나타냈지만, 본 발명이 그것에 한정되는 것은 아니다. 다른 예로서, 도 2 또는 도 3에 보간값 산출부(11)로서 나타낸 구성을 독립한 화상 처리 장치로 하여 보간 처리를 행할 수도 있다. 후술하는 제2 실시 형태에서는, 그것을 주요한 구성으로서 채용한 예를 나타낸다. 그 경우에서도 화상 보간 정밀도의 향상은 마찬가지로 얻을 수 있다.

(제2 실시 형태)

도 5는, 제2 실시 형태에 의한 화상 처리 장치의 일례를 나타내는 블록도이다. 도 5에는 상술한 제1 처리를 실시하는 예를 나타내고 있다. 제1 처리를 행하는 화상 처리 장치(A10)는, 보간 처리용 화상 취득부(A11)와, 푸리에 변환부(12)와, 위상 변경부(13)와, 역 푸리에 변환부(14)와, 보간값 결정부(15)를 갖고 있다.

보간 처리용 화상 취득부(A11)는, 입력 화상으로부터, 주목한 보간점의 정수 좌표가 중심 위치로 되도록, 주변 n*n 화상을 잘라낸 부분 화상을 취득하는 처리를 행한다. 잘라낸 부분 화상은, 푸리에 변환부(A12)에서 푸리에 변환되고, 위상 변경부(A13)에서 상기 식(2) 내지 식(4)에 기재한 위상 변경이 행하여지고, 역 푸리에 변환부(A14)에서 역 푸리에 변환된다. 이 처리의 결과로서 얻어진 화상의 중심 위치의 값이, 구하는 보간점의 값이 된다.

또한, 위상 변경부(A13)는, 상기 식(2) 내지 식(4)에 기초하는데, 이 중에서, 주목한 보간점의 소수 좌표를 참조하고 있다. 이에 의해, 결과로서, 주목한 보간점이 푸리에 변환 후에 중심 위치로 이동하도록, 시프트 정리에 기초하여 위상을 변경하고 있다.

도 6은, 제2 실시 형태에 의한 화상 처리 장치의 다른 예를 나타내는 블록도이다. 도 6에는, 상술한 제2 처리를 실시하는 예를 나타내고 있다. 제2 처리를 행하는 화상 처리 장치(A20)는, 보간 처리용 화상 취득부(A11)와, 푸리에 변환부(A22)와, 참조 데이터 유지부(A23)와, 가중치 화상 작성부(A24)와, 적화 계산부(A25)를 갖고 있다.

푸리에 변환부(A22)는, 1차원 데이터를 푸리에 변환하여 참조 데이터를 만든다. 참조 데이터 유지부(A23)는, 참조 데이터를 유지하여 필요한 경우에 참조할 수 있도록 한다. 가중치 화상 작성부(A24)는, 보간점의 소수 좌표값과 참조 데이터로부터 가중치 화상을 작성한다. 적화 계산부(A25)는, 보간 처리용 화상과 가중치 화상의 각 점 값을 승산하고, 그 결과를 가산한 값을 구하여, 보간값으로 한다.

또한, 1차원 데이터는, 상기 식(7)의 직사각형 데이터로서, 푸리에 변환하면, 상기 식(8)과 같이, 가중치를 계산하기 위한 참조 데이터가 될 수 있다. 가중치 화상 작성부(A24)에서는, 식(9) 내지 식(15)에 기초하여 가중치를 계산함으로써, 상기 제1 처리와 같은 보간값을 얻을 수 있는 가중치가 작성된다.

또한, 참조 데이터 유지부(A23)는, 화상 처리 프로그램으로, 참조 데이터를 나타내는 변수에 참조 데이터 값을 대입하는 처리를 행한다. 참조 데이터를 나타내는 변수는, 가중치 화상을 작성하는 프로그램에서 값을 참조할 수 있다.

도 7은, 제2 실시 형태에 의한 화상 처리 장치의 또 다른 예를 나타내는 블록도이다. 도 7에서는, 상술한 제3 처리를 실시하는 예를 나타내고 있다. 제3 처리를 실시하는 화상 처리 장치(A30)는, 보간값 산출부(A31), 평행 이동 화상 작성부(A32), 이동량 측정부(A33), 가정 이동량으로부터 실측 이동량에의 대응 관계를 작성하는 대응 관계 작성부(A34), 실측 이동량으로부터 가정 이동량에의 대응 관계 작성을 작성하는 대응 관계 작성부(A35), 보정 보간값 산출부(A36)를 갖고 있다.

보간값 산출부(A31)는, 예를 들어 상기 제1 처리나 제2 처리에 의해 보간값을 산출한다. 상기 제1 처리(1)나 제2 처리에서는, 소수 좌표값으로 한 보간점과 그 보간점의 근방의 정수 좌표 위치와의 거리를 파라미터값으로 한 보간 처리가 행하여진다. 평행 이동 화상 작성부(A32)는, 가정 이동량을 부여하고, 이것을 보간값 산출부(A31)의 파라미터값으로 치환하여 보간점을 정하고, 보간값 산출부(A31)를 사용하여 입력 화상을 보간 처리함으로써 평행 이동 화상을 작성한다. 이동량 측정부(A33)는, 위상 한정 상관법으로, 평행 이동 화상의 입력 화상으로부터의 실측 이동량을 측정한다. 대응 관계 작성부(A34)는, 상기 제3 처리에 있어서, 이동량 측정 테이블ST1에서 나타낸 등간격 스텝마다의 가정 이동량과 실측 이동량과의 대응 관계의 테이블을 작성한다. 대응 관계 작성부(A35)는, 상기 제3 처리(3)에 있어서, 이동량 측정 테이블ST1으로부터 이동량 측정 테이블ST2를 작성한다. 보정 보간값 산출부(A36)는, 입력 화상(1)과 보간점을 입력으로 하고, 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 실측 이동량으로 하고, 대응 관계 작성부(A35)가 작성한 대응 관계의 테이블에 기초하여, 실측 이동량에 대응한 가정 이동량을 구하고, 이 가정 이동량을 보간값 산출부(A31)에 사용되는 보간 방법의 파라미터값으로 치환하여 보간 계산을 행하여, 보간값을 얻는다.

또한, 평행 이동 화상 작성부(A32)는, 평행 이동 화상을 작성하는 데 필요한 보간점 모두에 대하여 보간 처리를 행한다. 또한, 대응 관계 작성부(A34)는, 평행 이동량 작성부(A32)에 부여하는 가정 이동량을 소정의 복수의 값(상기의 경우에는 등간격 스텝마다)으로 설정하고, 각각의 평행 이동 화상을 작성하고, 상기 이동량 측정부(A33)를 사용하여 각각의 평행 이동 화상에 대하여 실제의 이동량을 측정함으로써, 가정 이동량으로부터 실측 이동량에의 대응 관계를 구한다.

도 7에서는, 보정 보간값 산출부(A31)는, 입력 화상(1)과 보간점을 입력으로 하고, 실선을 따라 처리를 실행하여, 보간값을 출력한다. 또한, 입력 화상(2)이나 복수의 가정 이동량으로부터 연결되는 점선의 흐름에서 나타난 처리는, 일회 행하고, 실측 이동량으로부터 가정 이동량에의 대응 관계를 구하면, 그 이후에는 몇번이나 행할 필요가 없는 처리이다. 따라서, 실측 이동량으로부터 가정 이동량에의 대응 관계를 구하면, 그것을 보존하고, 필요에 따라 끌어내서 참조할 수 있도록 실장한다.

도 8은, 제2 실시 형태에 의한 왜곡 보정 맵 작성 장치의 구성을 도시하는 블록도이다. 도 8에는, 상술한 제4 처리를 실시하는 예를 나타내고 있다. 제4 처리를 실시하는 왜곡 보정 맵 작성 장치(A40)는, 원 좌표 계산부(A41), 내점 후보 계산부(A42), 내점 판단부(A43), 비율 위치 계산부(A44), 및 왜곡 보정 맵 값 계산부(A45)를 갖고 있다.

왜곡 보정 맵 작성 장치(A40)는, 입력으로서, 왜곡 맵과 주목하는 인접하는 4점이 입력되고, 출력으로서, 주목하는 4점이 왜곡되기 전의 원래의 좌표로 둘러싸는 사각형의 내점의 왜곡 보정 맵 값을 출력한다. 내점의 좌표는, 정수 좌표를 취하므로, 내점이 복수인 경우도 있고, 내점이 1개도 없고, 출력하는 왜곡 보정 맵 값이 없을 경우도 있다. 왜곡 보정 맵은, 왜곡이 없을 경우의 화상 상의 각 점이 왜곡에 의해 어디로 이동할지를 나타내는 맵으로, 여기에서는, 내점에 맞는 좌표밖에 왜곡 보정 맵 값을 얻을 수 없지만, 주목하는 인접하는 4점의 위치를 바꿈으로써, 별도의 위치의 왜곡 보정 맵 값을 얻을 수 있다.

원 좌표 계산부(A41)는, 왜곡 맵과 주목하는 인접하는 4점의 위치를 입력으로 하여, 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표값을 구한다. 내점 후보 계산부(A42)는, 이동원의 4점의 좌표 중, x방향의 최대값 및 최소값과 y방향의 최대값 및 최소값으로 둘러싸이는 제1 사각형 내에 있는 정수 좌표값을 내점 후보로 한다. 내점 판단부(A43)는, 상기 식(25) 내지 식(28)로 나타낸 바와 같이, 내점 후보가, 이동원의 4점이 만드는 제2 사각형의 내측 또는 변 상이라면, 그 내점 후보를 내점이라고 판단한다. 비율 위치 계산부(A44)는, 상기 식(29) 내지 식(41)로 나타낸 바와 같이, 내점에 대해서, 제2 사각형 내에 있어서의 내점의 비율 위치를 소정의 정밀도까지 계산한다. 이렇게 비율 위치가 소정의 정밀도가 될 때까지 계산하므로, 그 비율 위치로부터 산출하는 왜곡 보정 맵의 높은 정밀도로 구할 수 있다. 또한, 사각형 내의 내점의 비율 위치는, 대향하는 2변의 단부로부터 동일 비율의 위치를 연결하는 직선과, 추가의 한조인 대향하는 2변의 단부로부터 동일 비율의 위치를 연결하는 직선과의 교점의 위치를 그들 2개의 비율에 의해 나타낸 것이다. 왜곡 보정 맵 값 계산부(A45)는, 내점의 비율 위치로부터, 그 내점 위치에 있어서의 왜곡 보정 맵의 값을 계산한다. 상기에서는, 내점을 나타내는 2개의 비율을 α, β로 하고, 인접하는 4점의 좌측 상단의 좌표를 (q1x, q1y)로 하고, 내점의 좌표를 (rx, ry)로 하면, 내점(rx, ry)은 왜곡에 의해 좌표(q1x+α, q1y+β)로 이동한다. 따라서, 왜곡 보정 맵의 좌표(rx, ry)에서의 값은, 이동량(q1x+α-rx, q1y+β-ry)이다.

상술한 바와 같은 화상 처리는 다양한 형태로 실시할 수 있다. 예를 들어, 이하의 실시예에 의한 화상 처리의 처리 수순을 나타내는 것으로, 하드웨어의 일반 지식을 갖는 것이라면, 이것을 실시하는 기능을 갖는 하드웨어를 작성할 수도 있다. 또한, 소프트웨어의 일반 지식을 갖는 것이라면, 본 발명의 화상 처리 수순을 실현하는 소프트웨어를 작성하고, 이것을 시판하고 있는 범용 계산기에 실행시킬 수 있다. 또한, 잘 알려져 있는 바와 같이, 범용 계산기를 사용하는 경우에는, 소프트웨어를 기억한 기억 매체는, 계산기를 특정하지 않고 다른 계산기에 삽입하여, 소프트웨어를 실행시키는 것이 가능하다. 그로 인해, 소프트웨어를 기억한 기억 매체는, 본 발명 전체를 실시하기 위한 중요한 보편적 요소가 되고, 내장처를 임의로 한 본 발명의 일 실시 형태가 된다. 소프트웨어를 기억한 기억 매체에는, CD, DVD, 메모리 카드, HD, 인터넷으로 접속·다운로드 가능한 외부 기억 장치 등이 있다.

(1) 실시예 1

(1-1) 구성

도 9에, 실시예 1의 시스템 구성을 나타낸다.

본 시스템은, 디지털 카메라로 촬영한 화상의 왜곡을 보정하는 시스템이다.

종횡으로 복수의 직선을 그은 왜곡 측정용 피사체(101)를 디지털 카메라(102)로 촬영한다. 또한, 그 외의 각종 피사체도 같은 디지털 카메라(102)로 촬영한다. 디지털 카메라(102)는 케이블(103)로 계산 장치(104)에 접속할 수 있고, 디지털 카메라(102)로 촬영한 화상 데이터는, 계산 장치(104)에 전송하여 보존할 수 있다. 계산 장치(104)는 화상 데이터에 소정의 화상 처리를 하여 결과를 표시 장치(105)에 표시하는 장치이며, 왜곡 측정용 피사체(101)를 촬영한 화상으로부터 왜곡 보정 맵을 작성하고, 각종 피사체를 촬영한 화상의 왜곡을 왜곡 보정 맵을 사용하여 보정한다.

(1-2) 전체의 수순 개요

도 11에, 실시예 1의 전체 수순을 나타내는 개요 플로우 챠트를 나타낸다. 도 10은, 왜곡과 보정에 대하여 설명하기 위한 도면이다. 이하, 도 11에 도시한 수순의 각 스텝의 개요를, 도 10을 참조하면서 설명한다.

스텝(301): 종횡 동일한 폭으로 등간격으로 복수의 선이 그려진 왜곡 측정용 피사체(101)를 디지털 카메라(102)로 촬영하여, 왜곡 측정 화상(201)을 취득한다.

스텝(302): 디지털 카메라(102)와 계산 장치(104)를 케이블(103)로 접속하고, 왜곡 측정 화상(201)을 계산 장치(104)에 전송하여 보존한다. 계산 장치(104)는 왜곡 측정 화상(201)의 평균적인 선 간격에 기초하여, 종횡 등간격의 선를 포함하는 왜곡 없는 기준 화상(202)을 작성한다. 계산 장치(104)는 왜곡 측정 화상(201)과 기준 화상(202)을 비교하고, 왜곡 측정 화상(201)의 각 화소가 기준 화상(202)의 어느 점으로부터 이동해 왔는지를 구하여, 왜곡 맵(203)을 작성한다. 또한, 계산 장치(104)는 왜곡 맵(203)으로부터, 왜곡 보정 맵(204)을 작성한다. 계산 장치(104)는 필요에 따라 왜곡 보정 범위 맵(205)을 작성한다.

왜곡 보정 범위 맵(205)은 촬영한 화상의 왜곡을 보정할 때에 왜곡 보정이 불능한 부분과 왜곡 보정이 가능한 부분을 나타내는 맵이다. 왜곡 보정을 하는데, 촬영 화상의 시야 외가 되는 점을 참조할 필요가 있을 만한 부분은, 왜곡 보정이 불능한 부분이 된다. 시야 내의 참조에 의해 왜곡 보정의 처리를 할 수 있는 부분이, 왜곡 보정이 가능한 부분이다. 예를 들어, 왜곡 보정이 가능한 부분을 1로 하고, 불능한 부분을 0으로 하여 표현된다.

스텝(303): 디지털 카메라(102)로 각종 피사체를 촬영한다.

스텝(304): 디지털 카메라(102)와 계산 장치(104)를 케이블(103)로 접속하고, 각종 피사체를 촬영한 화상을 계산 장치(104)에 전송하여 보존한다. 계산 장치(104)는 왜곡 보정 맵(204)을 참조하여, 각종 피사체를 촬영한 화상의 왜곡을 보정하도록 화상을 변형하여, 왜곡 보정 화상을 작성한다.

(1-3) 왜곡 보정

도 12는, 왜곡 보정 맵(204)과 보간점(421) 등을 도시한 도면이다. 왜곡 보정 맵(204)은 화상 상의 각 점에 대해서, 왜곡에 의해 비추는 점이 이동해 가는 이동량을 나타낸 맵이다. 각 점에, 가로 방향, 세로 방향의 이동 거리가 기재되어 있다.

왜곡 보정 맵(204) 상의 주목 점(410)의 위치를 (x_at, y_at)로 하고, 주목 점(410)의 왜곡 보정 맵(204)의 값을 (sx_at, sy_at)로 한다. 촬영 화상(401)의 주목 점(411)과, 보정 화상(402)의 주목 점(412)은 왜곡 보정 맵(204)의 주목 점(410)과 동일 위치(x_at, y_at)에 있다. 촬영 화상(401)의 주목 점(411)의 주변을 확대한 확대도(403)에, 주목 점(411)과 왜곡에 의해 이동한 보간해야 할 보간점(421)을 나타낸다. 보간점(421)의 좌표는, (x_at+sx_at, y_at+sy_at)이다.

주목 점(411)은 위치(x_at, y_at)라고 하는 정수 좌표 위치 위에 있지만, 보간점(421)은 일반적으로 정수 좌표 위치에 없다. 촬영 화상(401)의 보간점(421)의 보간값이, 보정 화상(402)의 주목 점(x_at, y_at)의 값이 된다.

보정 화상(402)의 모든 점에 대해서, 왜곡 보정 맵(204)이 대응하는 점의 값을 참조하여 촬영 화상(401) 상의 보간점을 구하고, 각각의 보간점의 보간값을 구하고, 보정 화상(402)의 값으로 함으로써 보정 화상(402)이 생긴다. 보정 화상(402)은 왜곡 보정 맵(204)에 기초하여, 촬영 화상(401)을 변형 처리한 화상이 되고 있다.

또한, 왜곡 보정 범위 맵(205)의 값이 1인 장소는, 보간점(421)이 촬영 화상(301)의 시야 내에 있지만, 왜곡 보정 범위 맵(205)의 값이 0인 장소는, 보간점(421)이 촬영 화상(301)의 시야 외에 있고, 잘 보간할 수 없다. 그 경우에는, 보간점(421)과 가장 가까운 촬영 화상(301)의 시야 내의 값을 보간점(421)의 값으로 하여 보정 화상(402)을 작성해도 된다. 그 경우에도 왜곡 보정 범위 맵(205)의 값이 0이므로, 그 점의 보정 화상(402)의 값은 신뢰가 없는 값으로 알고, 이후의 처리에서는 그 부분을 이용하지 않도록 할 수도 있다.

(1-4) 보간 계산 방법1

촬영 화상(401) 상의 보간점의 보간값을 계산하는 방법은 여러가지 있다. 실시예 1에 있어서의 하나의 보간 계산 방법은, 제1 처리에 기재한 보간 방법에 기초한다.

도 13은, 제1 처리에 기재한 보간 방법의 수순을 도시한 도면이다. 이하, 제1 처리에 기재한 보간 방법의 수순을 도 13과 제1 처리의 수식을 참고로 하여 설명한다.

스텝(501): 보간점의 위치를 (x, y)로 한다. x, y는, 일반적으로 정수가 아니고, (x, y)=(x0+dx, y0+dy)(단, x0, y0은 정수 값, -0.5<=dx<0.5, -0.5<=dy<0.5)와 같이, 이산 좌표(x0, y0)와 소수 좌표(dx, dy)로 분리한다.

스텝(502): 촬영 화상의 이산 좌표(x0, y0)를 중심(n/2, n/2)으로, n*n 화소의 촬영 화상의 부분 화상R을 취한다.

스텝(503): 부분 화상R을 푸리에 변환한다. 푸리에 변환을 F라고 기재하면, 푸리에 변환하여 생긴 화상 H는, 식(5)와 같이, H=F·R이다.

스텝(504): 푸리에 변환을 한 화상 H를 시프트 정리에 기초하여, 이동량(-dx, -dy)에 상당하는 위상 시프트를 행하고, 위상 시프트한 화상 H2를 작성한다. 구체의 계산 방법은, 식(2) 내지 식(4)에 기재하고 있다.

스텝(505): 위상 시프트한 화상 H2를 역 푸리에 변환하고, 변환 화상G2를 작성한다. 식(1)은 스텝(502) 내지 스텝(505)까지의 처리를 모두 표현한 식이다.

스텝(506): 변환 화상G2의 중심 위치(n/2, n/2)의 값을 보간점(x, y)의 보간값으로 한다.

또한, 이상의 일련의 처리에 있어서, 스텝(502)의 처리가, 입력 화상의 보간점을 포함하는 소정의 크기의 부분 화상을 취득하는 부분 화상 취득 처리이며, 스텝(503)의 처리가, 부분 화상을 푸리에 변환하는 푸리에 변환 처리이며, 스텝(504)의 처리가, 푸리에 변환한 변환 후의 부분 화상의 각 값의 위상을 시프트 정리에 기초하여 위상 변경하는 위상 변경 처리이며, 스텝(505)의 처리가, 위상 변경한 부분 화상을 역 푸리에 변환하는 역 푸리에 변환 처리이며, 스텝(506)의 처리가, 역 푸리에 변환한 변환 후의 부분 화상 중에서, 소정의 위치에 있는 화소의 값을 보간점의 보간값으로 하는 보간값 결정 처리라고 파악할 수 있다.

(1-5) 보간 계산 방법2

실시예 1에 있어서의 다른 보간 방법으로서, 제2 처리에 기재한 보간 방법을 사용할 수도 있다. 이하, 필요에 따라, 제2 처리에 기재한 수식을 참조하여 설명한다.

도 15는, 보간 시에 참조하는 참조 테이블의 작성 수순을 나타낸 흐름도이다. 도 15의 각 스텝에 대하여 설명한다.

스텝(701): n*m개의 소정의 데이터(data)를 식(7)에 기초하여 작성한다.

스텝(702): 스텝(701)에서 작성한 데이터(data)를 푸리에 변환함으로써, 푸리에 변환된 데이터(Fdata)를 작성한다.

스텝(703): (n+2)*m개의 참조 테이블T를 식(8)에 기초하여 계산한다.

도 14는, 상기 참조 테이블T를 참조하여 가중치를 작성하고, 보간점의 보간값을 구하는 수순을 나타낸 흐름도이다. 이하, 도 14의 각 스텝에 대하여 설명한다.

스텝(501): 상기 보간 계산 방법(1)의 스텝(501)과 같다.

스텝(502): 상기 보간 계산 방법(1)의 스텝(502)과 같다.

스텝(603): 가중치 W를 식(9) 내지 식(15)에 기초하여 작성한다.

스텝(604): 식(6)에 기초하여, 보간값을 구한다.

또한, 이상의 일련의 처리에 있어서, 스텝(502)의 처리가, 입력 화상의 보간점을 포함하는 소정의 크기의 부분 화상을 취하는 부분 화상 취득 처리이며, 스텝(701)으로부터 스텝(703)의 처리가, 소정의 길이의 1차원 데이터를 푸리에 변환해서 작성한 데이터를 참조 데이터로 하는 참조 데이터 작성 처리이며, 스텝(603)의 처리가, 보간점의 근방의 정수 좌표 위치로부터의 어긋남량으로부터 참조 데이터의 참조 위치를 정하여 부분 화상과 동일한 크기의 가중치 화상을 작성하는 가중치 화상 작성 처리이며, 스텝(604)의 처리가, 부분 화상과 가중치 화상의 적화를 보간점의 보간값으로 하는 적화 계산 처리라고 파악할 수 있다.

(1-6) 보간 계산 방법3

실시예 1에 있어서의 다른 보간 방법으로서, 제3 처리에서 기재한 방법을 사용할 수도 있다. 이하, 제3 처리에 기재한 수식에 기초하여 설명한다.

처음에, 제3 처리에 있어서 사용하는 소정의 보간 방법으로서, 상기 보간 계산 방법(1)의 보간 계산 방법을 사용하는 경우에는, 사전 준비로서, 상기 보간 계산 방법(1)의 보간 방법으로 -ds 어긋난 점을 보간하여 가정 이동량ds의 평행 이동 화상을 작성하고, 위상 한정 상관법으로 이동량을 측정한다. 소정의 스텝에서 가정 이동량을 바꾸고, 가정 이동량과 측정한 측정 이동량의 대응 관계를 정하는 이동량 측정 테이블ST1을 작성한다.

이어서, 제3 처리에 있어서의 식(17) 내지 식(20)에 기초하여, 실질 이동량과 보정 이동량의 대응 관계를 구한 보정 이동량 테이블ST2를 작성한다. 보정 이동량 테이블을 작성할 수 있으면 준비는 끝나고, 이하와 같은 보간 계산 방법(3)의 보간 계산이 가능하게 된다.

보간점의 위치를 (x, y)로 한다. (x, y)=(x0+dx, y0+dy), x0, y0는 정수이며, dx, dy는 -0.5<=dx<0.5, -0.5<=dy<0.5의 실수로 한다. 식(21) 내지 식(24)에 기초하여, 보정 보간점(x_h, y_h)=(x0+dx_h, y0+dy_h)를 구한다. 상기 보간 계산 방법(1)에 기재한 보간 방법으로, 보정 보간점(x_h, y_h)의 보간값을 계산하고, 보간점(x, y)의 보간값으로 하는 방법이 보간 계산 방법3이다.

제3 처리에서 기재한 것 같이, 상기 보간 계산 방법(2)의 보간 방법을 사용해도 되고, 그 경우, 보정 이동량 테이블을 구하고, 보정 보간점(x_h, y_h)의 보간값을 상기 보간 계산 방법(2)에 의해 계산하고, 보간점(x, y)의 보간값으로 하면 된다. 이 경우, 제3 처리에서 기재한 것 같이, 보정 이동량 테이블을 작성하는 대신, 보정 가중치 테이블을 작성하고, 보정한 가중치로 적화 계산하여 보간값을 구할 수도 있다.

또한, 이상의 일련의 처리는, 소정의 보간 방법을 사용하여, 가정한 이동량을 갖는 평행 이동 화상을 작성하는 평행 이동 작성 처리를 실행하고, 평행 이동 화상을 소정의 처리 방법으로 입력 화상으로부터의 이동량을 측정하는 이동량 측정 처리를 실행하는 것을, 복수의 가정한 이동량에 대하여 행하고, 이어서, 가정한 이동량이라고 측정한 이동량의 대응 관계를 구하는 가정 이동량과 측정 이동량의 대응 관계 작성 처리를 실행하고, 작성한 대응 관계로부터, 실제의 이동이 기대되는 실질 이동량을 부여하는 보정 이동량을 구하는 실질 이동량과 보정 이동량의 대응 관계 작성 처리를 실행하고, 실질 이동량과 보정 이동량의 대응 관계를 참조하여, 보간점의 정수 위치로부터의 어긋남량을 실질 이동량에 갖는 보정 이동량을 구하고, 보정 이동량의 어긋남을 갖는 보정 보간점을 구하는 보정 보간점 작성 처리를 실행하고, 구한 보정 보간점을 상기 보간 방법으로 보간하고, 얻어진 보간값을 실제의 보간점의 보간값으로 하는 보정 보간 처리를 실행한 것으로 파악할 수 있다.

(2) 실시예 2

실시예 2의 구성과 수순 개요는 실시예 1의 구성과 수순 개요와 같다. 왜곡을 보정하는 방법의 틀도 동일하고, 다른 것은 구체적인 보간 계산 방법이다.

실시예 1에서는, 상기, (1-4) (1-5) (1-6)에서 기재한 것 같이, 푸리에 변환의 시프트 정리에 기초하는 보간 방법을 사용하였다. 실시예 2에서는, 큐빅 보간을 소정의 보간 방법으로 하여, 상기 제3 처리에서 기재한 보간점을 보정한다는 방법으로 보간을 행한다.

보간점의 위치를 (x, y)로 한다. (x, y)=(x00+dx00, y00+dy00), x00, y00은 정수이며, dx00, dy00은 0<=dx00<1, 0<=dy00<1의 실수로 한다.

큐빅 보간은 이하의 식(42) 내지 식(48)에 기초한 보간 계산을 하여 보간값g4를 계산한다.

단, a, b는 정수이며, 0<=a<=3, 0<=b<=3이다.

Σab는, a, b를 0으로부터 3까지의 범위에서 바꾸어서 합을 취하는 것을 의미한다.

단, t는, -0.5<=t<=-2 정도의 실수이다. t=-1의 경우가 가장 많이 이용되고 있다.

여기에서는, t=-1로 하는데, t는, 다른 값으로 할 수도 있다.

단, G0은 보간해야 할 화상이다.

이상의 식(42) 내지 식(48)에 있어서 소정의 보간 방법은 큐빅 보간이다. 상기 제3 처리에서 기재한 것 같이, 사전 준비로서, 큐빅 보간에 기초하는 보간 계산 방법으로 -ds 어긋난 점을 보간함으로써 가정 이동량ds의 평행 이동 화상을 작성하고, 위상 한정 상관법으로 이동량을 측정한다. 소정의 스텝에서 가정 이동량을 바꾸고, 가정 이동량과 측정한 측정 이동량과의 대응 관계를 나타내는 이동량 측정 테이블ST1을 작성한다.

이어서, 제3 처리의 식(17) 내지 식(20)에 기초하여, 실질 이동량과 보정 이동량의 대응 관계를 구한 보정 이동량 테이블ST2를 작성한다. 보정 이동량 테이블을 작성할 수 있으면 준비는 끝나고, 보간점을 보정한 보간 계산이 가능하게 된다. 즉 식(21) 내지 식(24)의 식에 기초하여, 마찬가지로 보정 보간점(x00_h, y00_h)=(x00+dx00_h, y00+dy00_h)를 구한다. 상기 식(42) 내지 식(48)에 기초하여 계산을 행하는 큐빅 보간 방법으로, 보정 보간점(x00_h, y00_h)의 보간 계산을 함으로써, 보간점(x, y)의 보정한 보간값을 구한다.

또한, 본 실시예 2에서는, 이하의 식(49)의 보정 가중치 테이블Tz를 작성하고, 식(50)으로부터 식(56)과 식(44) 내지 식(47)에 기초하여, 보간점(x, y)의 보정한 보간값g5를 구할 수도 있다.

또한, ms는 정수이고, 미소 이동량ds는, ds=1/ms이다.

(3) 실시예 3

실시예 3의 구성과 수순 개요는, 실시예 1의 구성과 수순 개요와 같다. 실시예 1과 2에서는, 보간 계산을 하는 구체적인 보간 계산 방법에 대하여 기재하였다. 실시예 3은, 스텝(302)에서, 계산 장치(104)가 왜곡 맵(203)과 왜곡 보정 맵(204)을 작성하는 처리 방법에 대해서, 이하에 자세한 수순을 기재한다.

(3-1) 왜곡 맵(203)의 작성 방법(도 10 참고)

왜곡 측정 화상(201)은 종횡 동일한 폭으로 등간격의 선으로 그려진 왜곡 측정용 피사체(101)를 촬영한 것으로, 왜곡이 없으면, 종횡 동일한 폭으로 등간격의 직선이 비출 것이다. 왜곡이 있으면, 그만큼 왜곡된 화상이 된다. 종횡의 선이 교차하는 점은, 이후, 왜곡을 계측하는 측정점이 된다. 측정점은, 선의 농담을 보아서 중심을 추정함으로써, 실수의 좌표값을 얻을 수 있다.

왜곡 측정 화상(201)의 선 간격을 화상 전체에 걸쳐 복수의 개소에서 측정하고, 그 평균을 취함으로써, 평균적인 선 간격을 구한다. 그리고, 평균적인 선 간격과 동일한 폭이 되도록, 종횡 등간격의 선이 그려진 왜곡 없는 기준 화상(202)을 작성한다. 종횡의 선이 교차하는 점은, 왜곡 계측할 때의 기준점이 된다. 화상 상에서는 선에도 굵기가 있지만, 선의 농담을 보아서 중심을 추정함으로써, 기준점의 실수 좌표값을 얻을 수 있다.

왜곡 측정 화상(201)의 화상 중심에 가장 가까운 측정점은, 왜곡 없는 기준 화상(202)의 화상 중심에 가장 가까운 기준점과 대응한다. 이상의 중심 부근에서 대응한 측정점과 기준점으로부터 시작하여, 상하 좌우 순서대로 주변을 찾고, 다른 기준점과 측정점의 대응 관계를 구할 수 있다.

대응지어진 기준점은, 왜곡에 의해 측정점으로 이동하게 된다. 기준점부터 측정점을 향하는 이동량은, 양쪽점의 좌표 차로부터 구할 수 있고, 왜곡 맵(203)은 측정점으로부터 본 이동량에 대응한다. 단, 측정점은 일반적으로 실수의 좌표를 갖기 위해서, 왜곡 맵(203)에 직접 이동량을 실을 수는 없고, 왜곡 맵(203) 상의 각 점의 값은, 그 점을 둘러싸는 4 측정점의 이동량 값으로부터 보간하여 구한다. 4 측정점의 좌표를 (x1, y1), (x2, y2), (x3, y3), (x4, y4)로 하고, 각 점의 이동량 값을 각각 (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4), 보간점의 좌표를 (x, y)로 하면, 보간점에서의 왜곡 맵의 값(dx, dy)은 이하의 식(57), 식(58)로 계산 할 수 있다.

왜곡 맵(203) 상의 모든 화소(점)에 대해서, 상기 식(57), 식(58)의 보간을 행하고, 구한 이동량이 그 화소(점)의 왜곡 맵에 있어서의 값으로 된다. 또한, 화상의 끝쪽에서, 보간점을 둘러싸는 4 측정점이 없을 경우, 보간점에 가장 가까운 4 측정점을 사용하여, 상기 식(57), 식(58)로 보간값을 계산할 수도 있다.

또한, 보간점을 둘러싸는 4 측정점이 없는 경우에는, 왜곡 맵(203)의 값을 정의하지 않고, 왜곡 범위 맵을 정의하고, 그 장소의 값을 왜곡 맵의 값이 정의 가능하지 않은 것을 의미하는 값인 0으로 하고, 기타의 왜곡 맵(203)의 값이 정의할 수 있는 장소는, 왜곡 범위 맵의 값을 1로 할 수도 있다. 이렇게 하면, 왜곡 보정 범위 맵의 값이 0인 부분은, 왜곡 맵(203)의 값이 정의되어 있지 않은 장소로 알고, 그 후의 처리에서 그 부분을 이용하지 않도록 할 수도 있다.

또한, 상기에서는, 왜곡 측정 화상(201)의 복수 개소에서 측정한 선 간격의 평균을 취함으로써 선 간격의 평균값을 구했지만, 다른 산출 방법을 사용하여 선 간격의 평균값을 구해도 된다. 예를 들어, 화상 전체의 폭을 선의 개수로 나눔으로써, 평균적인 선 간격을 산출해도 된다. 보다 구체적으로는, 상하 방향의 선에서 좌우가 부족하지 않게 비치고 있는 선의 수nx를 세고, 좌우 방향의 선에서도 상하가 부족하지 않게 비치고 있는 수ny를 세고, 가로의 화상 화소수wx, 세로의 화상 화소수wy로 하면, (wx-1)/(nx-1)과, (wy-1)/(ny-1) 중 큰 쪽의 값을wd로 한다. 이 간격wd로 왜곡 없는 기준 화상(202)의 화상 양단으로부터 선을 그으면, 기준점은, 반드시 측정점과 대응짓기 할 수 있게 된다.

또한, 상기에서는, 기준 화상(202)을 작성하여, 선의 교점인 기준점을 구했지만, 기준 화상(202)을 실제로 작성하지 않아도, 기준점의 좌표를 구할 수는 있다. 예를 들어, 가상적으로 기준 화상(202)을 작성했다고 가정하고, 그때의 기준점 좌표를 계산으로 구해도 된다.

이상의 처리와 마찬가지로, 양자의 대응 관계를 반대로 보고, 왜곡 보정 맵(204)을 측정값으로부터 직접 구할 수도 있다.

(3-2) 왜곡 맵(203)으로부터 왜곡 보정 맵(204)을 작성하는 방법

도 17은, 왜곡 맵(203)으로부터 왜곡 보정 맵(204)을 작성하는 수순을 나타낸 흐름도이다. 또한, 도 16에, 왜곡 맵(203)에 있어서의, 주목한 인접하는 4점을 정점으로 하는 사각형(801) 및 그 주변의 확대도(803)와, 왜곡 보정 맵(204)에 있어서의, 주목한 4점이 왜곡된 4점을 정점으로 하는 사각형(802), 정수 좌표값을 갖는 내점, 및 그 주변의 확대도를 나타낸다. 도 18은, 왜곡 보정 맵(204) 상의 사각형(802)의 내점의 위치를, 왜곡 보정 맵(204)에 있어서의 양측의 점으로부터의 거리의 비율α, β로 표현한 모습을 도시하는 도면이다. 이하, 도 17에 있어서의 각 스텝에 대하여 설명한다.

스텝(901): 왜곡 맵(203) 중에서 주목한 인접하는 4점 q1, q2, q3, q4에 대해서, 각각 왜곡 맵(203)의 값을 참조하여, 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표p1, p2, p3, p4를 계산한다. 예를 들어, q1점의 좌표를 (q1x, q1y), q1점의 왜곡 맵(203)의 값을 (dq1x, dq1y)로 하면, 왜곡에 의해 이동하기 전의 이동원의 좌표는, (q1x-dq1x, q1y-dq1y)이다. 도 16에, 왜곡 맵(203) 중에서 주목한 인접하는 4점과 그 4점을 정점으로 하는 사각형(801)의 예를 그 주변의 확대도(803)로 예시하고 있다. 또한, 왜곡 보정 맵(204) 중에서, 왜곡에 의해 이동하기 전의 주목한 4점의 이동하기 전의 이동원의 4점과, 그 이동원 4점이 만드는 사각형(802)과, 사각형(802)의 내점을 포함하는 주변 위치의 확대도(804)도 예시하고 있다.

스텝(902): 이동원의 4점의 좌표의 x방향의 최대값과 최소값, y방향의 최대값과 최소값으로 둘러싸이는 사각형 내에 들어가는 정수 좌표값을 내점 후보로 한다. 사각형의 변 상에 있어도, 사각형 내의 내점 후보에 넣는다. 도 16에서는, 내점 후보가 r1, r2, r3, r4에 4점 있을 경우를 예시하고 있다.

스텝(903): 주목하는 내점 후보가, 이동원의 4 정점이 만드는 사각형(802)의 내점인지 아닌지 판단한다. 도 16의 경우에는, 내점 후보r1, r2, r3, r4 중에서 주목한 내점을 r로 한다. 주목하는 내점 후보r은, r1으로부터 시작되어, r2, r3, r4로 순서대로 변해 가는 것으로 한다.

주목하는 내점 후보r이 사각형(802)의 내점인지 여부를 판단하는 계산 방법은, 상기 제4 처리에서 나타냈다. 즉, 식(25) 내지 식(28)에 기초하여, α1, β1, α2, β2를 계산하고, 이것 등의 값이 모두 0 이상이면, 변을 포함하는 내점이다. 내점이라면, 스텝(904)로 진행하고, 내점이 아니면 스텝(907)로 진행한다.

스텝(904): 주목하는 내점 후보r이 사각형(802)의 내점이라면, 사각형(802) 중에서 어느 위치에 있을 것인가, 사각형(802)에 4정점의 좌표 위치로부터 비율 α, β로 나타냈을 때의 α, β값을 소정의 정밀도까지 구한다.

도 18에 사각형(802)과 α, β의 관계를 나타냈다. 벡터a는, 벡터(p2-p1), 벡터b는, 벡터(p3-p1), 벡터c는, 벡터(p3-p4), 벡터d는, (p2-p4)이다.

상기 제4 처리에 α, β를 소정 정밀도까지 구하는 이터레이션의 방법을 나타냈다. 즉, 식(29) 내지 식(41)에 기초하여 각 량을 계산하고, 식(33)으로 계산한 계산 오차e(k)가 소정의 값이 될 때까지, 그것을 반복한다.

스텝(905): 주목하는 내점의 왜곡 보정 맵(204)의 값을 계산한다. 스텝(904)에서 구한 α, β는, 주목하는 내점r의 좌표(rx, ry)가 왜곡에 의해 (q1x+α, q1y+β)로 이동하는 것을 의미하므로, 이때의 이동량(q1x+α-rx, q1y+β-ry)이 왜곡 보정 맵(204)의 r점에서의 값이 된다.

스텝(906): 주목 점으로 하는 내점의 후보가 모두 끝났는지 판단한다. 도 16의 경우에는, 주목하는 내점이, r1으로부터 시작되고, r2, r3, r4까지 행하여진 것인지 여부를 판단한다. 내점 후보가 모두 끝나지 않았으면, 스텝(907)로 진행한다. 내점 후보가 모두 끝났으면, 이상에서 주목한 왜곡 맵(203) 상의 인접하는 4점에 관한 처리를 종료한다.

스텝(907): 주목하는 내점을 다음 내점으로 한다. 도 16의 경우, 주목하는 내점이 r2인 경우, 다음 r3을 주목하는 내점으로 한다.

이상의 스텝(901) 내지 (907)에 의해, 왜곡 보정 맵(204)이 주목한 인접하는 4점의 처리가 종료한다. 이와 같이 하여, 모든 조합이 인접하는 4점에 대하여 이상의 처리를 행함으로써, 왜곡 보정 맵(204)이 작성된다. 이상의 처리에서, 값이 대입되지 않은 왜곡 보정 맵(204) 상의 점은, 왜곡에 의해, 촬영 화상(401)의 시야 외로 이동하는 것을 의미한다. 시야 외로 가는 것을 아는 장소는, 왜곡 보정 범위 맵(205)의 값을 0으로 하고, 시야 내에 들어가는 경우에는 보정 범위 맵(205)의 값을 1로 하고, 후의 처리에서 시야 외의 참조를 피하도록 할 수도 있다.

또한, 이상의 스텝(901)로부터 (907)은 화상의 왜곡을 표현한 왜곡 맵으로부터 보정 왜곡 맵을 작성할 때에, 스텝(901)에서, 왜곡 맵 중에서 주목한 인접하는 4점에 대해서, 각각 왜곡 맵의 값을 참조하여, 주목한 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표를 계산하는 원 좌표 계산 처리의 실행이고, 스텝(902)이, 이동원의 4점의 좌표의 x방향의 최대값과 최소값, y방향의 최대값과 최소값으로 둘러싸이는 사각형 내에 들어가는 정수 좌표값을 내점 후보로 하는 내점 후보 계산 처리의 실행이고, 스텝(903)이, 주목하는 내점 후보가, 해당 이동원의 4정점이 만드는 사각형의 변을 포함하는 내점인지 판단하는 내점 판단 처리의 실행이고, 스텝(904)이, 주목하는 내점 후보가 이동원의 4정점이 만드는 사각형의 내점이라면, 사각형 중에서 어느 위치에 내점이 있을 것인가, 비율을 구하는 내점 비율 위치 계산 처리의 실행이고, 스텝(905)이, 내점 위치 계산 처리로 계산한 내점 위치의 비율로부터, 해당 주목하는 내점의 왜곡에 의한 이동량을 계산하여 상기 내점의 왜곡 보정 맵의 값으로 하는 왜곡 보정값 계산 처리의 실행이라고 파악할 수 있다.

(3-3) 기타의 관련 사항

상기는, (3-1)에서 왜곡 맵(203)을 작성하고, (3-2)에서 왜곡 맵(203)으로부터 왜곡 보정 맵을 작성하는 것을 나타냈다. 왜곡 맵(203)을 작성할 때에, 측정점과 기준점의 대응 관계로부터 왜곡 맵(203)을 작성했지만, 대응 관계를 반대로 보면 왜곡 보정 맵(204)을 직접 구할 수 있다. 그러나, 왜곡 맵(203)과 왜곡 보정 맵(204)의 양쪽을 직접 측정으로부터 구하면, 일반의 점은 보간으로 대응 관계를 구하기 위해서, 보간 오차가 양자에서 상이하다. 즉, 왜곡 맵(203)으로부터 상기 (3-2)의 방향에서 작성한 왜곡 보정 맵(204)은 직접 측정으로 구한 왜곡 보정 맵(204)과 상이하고, 측정 오차가 상이하게 실려 있다. 상기 (3-2)의 방법으로 작성한 왜곡 보정 맵(204)을 사용하여, 상기 (3-2)와 마찬가지의 방법으로, 왜곡 맵(203)을 계산으로 구하면, 원래의 측정한 왜곡 맵(203)과 거의 동일하고, 오차는, 계산 오차분이 매우 작은 값이 된다. 그러나, 직접 측정한 왜곡 보정 맵(204)으로부터 상기 (3-2)와 마찬가지의 방법으로, 왜곡 맵(203)을 구하면, 측정으로 구한 왜곡 맵(203)과 측정 오차의 차이가 있고, 계산 오차보다 큰 오차의 값이 나온다.

이상의 이유로부터, 왜곡 맵(203) 또는, 왜곡 보정 맵(204)의 어느 한쪽을 측정으로 측정하고, 다른 한쪽은, 측정한 쪽을 바탕으로 계산으로 구하는 편이 바람직하다.

이상에서는, 왜곡 맵(203)을 (3-1)과 같이, 측정으로 구했지만, 인공적으로 이동량을 정하고, 그 이동량을 왜곡 맵(203)의 값으로 할 수도 있다.

(4) 실시예 4

실시예 1, 2, 3에서는, 도 9에 도시한 바와 같이, 디지털 카메라(102)로 촬영한 화상에 대하여 계산 장치(104)가 화상 처리를 행하는 시스템을 예시하였다. 그러나, 본 발명은 각양각색의 구성의 시스템에 적용할 수 있다. 예를 들어, 화상을 촬영함으로써 계측이나 검사 등을 행하는 시스템에 본 발명을 적용할 수도 있다. 그 경우, 그러한 시스템의 계산 장치가 본 발명의 특징을 포함하는 화상 처리를 실행하게 된다.

실시예 4에서는, 화상을 촬영함으로써 반도체 웨이퍼 등의 외관 검사를 행하는 반도체 계측 장치를 예시한다. 반도체 계측 장치가 갖는 계산 장치가 본 발명의 특징을 포함하는 화상 처리를 행한다.

도 19는, 실시예 4에 의한 반도체 계측 장치의 블록도이다. 도 19에 나타낸 구성을 갖는 반도체 계측 장치에는 스테이지(1101)가 있고, 스테이지(101) 위에서는, 레지스트가 탑재된 제조 도중의 반도체가 촬영 대상(1102)으로서 촬영 시야로 운반된다. 그리고, 전자총(1103)으로부터 방출되는 전자에 의해 촬영 대상(1102)의 소정 영역이 주사된다. 그것에 의해 촬영 대상(1102)으로부터 방출된 2차 전자가 2차 전자 검출부(1104)에서 포착되고, 포착된 2차 전자의 모습이 영상화부(1105)에서 촬영 화상의 화상 데이터로 된다.

스테이지(1101), 전자총(1103), 2차 전자 검출부(1104), 및 영상화부(1105)로 촬영 장치가 구성되어 있고, 영상화부(1105)는 촬영 화상을 얻기 위해서, 스테이지(1101), 전자총(1103), 2차 전자 검출부(1104)에 각각을 동작시키는 제어 신호를 보내고, 2차 전자 검출부(1104)에서 검출되는 신호를 양호한 순서로 적절하게 위치 부여, 화상 데이터를 생성한다.

계산 장치(1106)는 영상화부(1105)에서 만들어진 촬영 화상의 화상 데이터를 수취하고, 소정의 화상 처리를 하고, 결과를 표시 장치(1107)에 표시시킨다. 계산 장치(1106)는 반도체 계측 장치에 내장해도 되고, 외부에 내놓아도 된다. 계산 장치(1106)는 도 9의 계산 장치(104)와 마찬가지로 본 발명의 처리를 실행시킬 수도 있다.

여기서, 촬영 대상(1102)으로서, 종횡으로 복수의 미세한 직선을 그은 패턴을 구비하는 반도체를 사용하면, 도 9의 왜곡 측정용 피사체(101)와 마찬가지의 역할을 시킬 수 있다. 그것에 의해 본 실시예의 계산 장치(1106)도, 실시예 1로부터(3)의 계산 장치(104)와 마찬가지로 왜곡 맵(203)을 작성하고, 또한 왜곡 보정 맵(204)을 작성할 수 있다.

그 후에, 일반의 반도체를 촬영 대상(1102)으로서 촬영하여 촬영 화상(401)을 얻고, 계산 장치(1106)로 촬영 화상(401)에 대하여 실시예 1로부터 3과 마찬가지인 화상 처리를 행함으로써 보정 화상(402)을 얻을 수 있다.

이상과 같이, 본 발명에 의한 화상 처리는, 각종 원하는 장치에 내장하여 실행하는 것이 가능하다. 상술한 본 발명의 실시 형태 및 실시예는, 본 발명의 설명을 위한 예시이며, 본 발명의 범위를 그들의 실시 형태 또는 실시예에만 한정되는 것은 아니다. 당업자는, 본 발명의 요지를 일탈하는 일 없이 다른 여러가지 형태로 본 발명을 실시할 수 있다.

Claims

수학식 (A)의 data(t)로 표시되는 소정의 길이의 1차원 데이터를 푸리에 변환해서 작성한 데이터를 참조 데이터로서 유지하는 참조 데이터 유지 수단과,
입력 화상의 각각의 보간점에 주목하고, 상기 입력 화상의 부분 화상이며 상기 주목하는 보간점을 포함하는 소정의 크기의 화상인 보간 처리용 화상을 취득하는 보간 처리용 화상 취득 수단과,
상기 보간 처리용 화상 취득 수단에 의해 취득한 상기 보간 처리용 화상을 푸리에 변환하는 푸리에 변환 수단과,
상기 주목하는 보간점이 원하는 근방의 정수 좌표 위치로 이동하도록, 시프트 정리에 기초하여, 상기 푸리에 변환 수단으로 푸리에 변환한 변환 후의 보간 처리용 화상의 각 값의 위상을 변경하는 위상 변경 수단과,
상기 위상 변경 수단에 의해 위상을 변경한 보간 처리용 화상을 역 푸리에 변환하는 역 푸리에 변환 수단과,
상기 역 푸리에 변환 수단으로 역 푸리에 변환한 변환 후의 보간 처리용 화상 중에서, 상기 정수 좌표 위치에 있는 화소의 값을 상기 주목하는 보간점의 보간값으로 하는 보간값 결정 수단과,
상기 주목하는 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리에 기초하여 참조 위치를 정하여 상기 참조 데이터의 상기 참조 위치로부터 데이터를 취득함으로써, 상기 보간 처리용 화상과 동일한 크기의 가중치 화상을 작성하는 가중치 화상 작성 수단과,
상기 보간 처리용 화상과 상기 가중치 화상의 적화(積和)를 상기 주목하는 보간점의 보간값으로 하는 적화 계산 수단
을 갖는 화상 처리 장치.
[수학식 (A)]
data(t) = 0; (n/2 <= t < n*m-n/2)
= 1; (0 <= t < n/2 또는 n*m-n/2 <= t < n*m)
(n, m, t는 정수)
수학식 (A)의 data(t)로 표시되는 소정의 길이의 1차원 데이터를 푸리에 변환해서 작성한 데이터를 참조 데이터로서 유지하는 참조 데이터 유지 수단과,
입력 화상의 각각의 보간점에 주목하고, 상기 입력 화상의 부분 화상이며 상기 주목하는 보간점을 포함하는 소정의 크기의 화상인 보간 처리용 화상을 취득하는 보간 처리용 화상 취득 수단과,
상기 주목하는 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리에 기초하여 참조 위치를 정하여 상기 참조 데이터의 상기 참조 위치로부터 데이터를 취득함으로써, 상기 보간 처리용 화상과 동일한 크기의 가중치 화상을 작성하는 가중치 화상 작성 수단과,
상기 보간 처리용 화상과 상기 가중치 화상의 적화(積和)를 상기 주목하는 보간점의 보간값으로 하는 적화 계산 수단
을 갖는 화상 처리 장치.
[수학식 (A)]
data(t) = 0; (n/2 <= t < n*m-n/2)
= 1; (0 <= t < n/2 또는 n*m-n/2 <= t < n*m)
(n, m, t는 정수)
입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 파라미터값으로 하는 소정의 보간 방법에 기초하여 상기 보간점의 보간값을 산출하는 보간값 산출 수단과,
원하는 가정 이동량을 상기 보간값 산출 수단의 파라미터값으로 설정함으로써 보간점을 정하고, 상기 보간값 산출 수단에 상기 입력 화상을 보간 처리시킴으로써, 평행 이동 화상을 작성하는 평행 이동 화상 작성 수단과,
상기 평행 이동 화상 작성 수단이 작성한 상기 평행 이동 화상에 대해서, 상기 입력 화상으로부터의 실측 이동량을 측정하는 이동량 측정 수단과,
상기 평행 이동 화상에 관한 상기 가정 이동량과 상기 이동량 측정 수단으로 측정된 상기 실측 이동량과의 관계에 기초하여, 실제의 이동량으로부터, 상기 실제의 이동량의 보간점의 보간값을 얻기 위하여 상기 파라미터값으로서 설정해야 할 보정 이동량이 얻어지는 대응 관계 정보를 구하는 대응 관계 작성 수단과,
상기 대응 관계 정보에 기초하여, 상기 입력 화상의 보간점과 그 보간점의 근방에 있는 정수 좌표 위치와의 거리를 실제의 이동량으로 했을 때의 보정 이동량을 구하고, 그 보정 이동량을 파라미터값으로 설정하여 상기 보간 방법에 의해 상기 입력 화상을 보간 처리하는 보정 보간값 산출 수단
을 갖는 화상 처리 장치.
제3항에 있어서,
상기 대응 관계 작성 수단은,
상기 평행 이동 화상 작성 수단에 부여하는 가정 이동량으로서 소정의 복수의 값을 설정하고, 각각의 평행 이동 화상을 작성하고, 상기 이동량 측정 수단을 사용하여 각각의 상기 평행 이동 화상에 대하여 실제의 이동량을 측정함으로써, 가정 이동량으로부터 실측 이동량에의 제1 대응 관계를 구하는 제1 대응 관계 작성 수단과,
상기 제1 대응 관계를 기초로, 실측 이동량으로부터 가정 이동량에의 제2 대응 관계를 산출하는 제2 대응 관계 작성 수단을 갖고,
상기 보정 보간값 산출 수단은, 상기 입력 화상의 보간점과 그 보간점의 근방에 있는 원하는 정수 좌표 위치와의 거리를 상기 실측 이동량으로 하고, 상기 제2 대응 관계에 기초하여 상기 실측 이동량에 대응한 가정 이동량을 구하고, 그 가정 이동량을 파라미터값으로 설정하는 상기 보정 이동량으로 하는, 화상 처리 장치.
제3항에 있어서,
상기 보간값 산출 수단이 제1항에 기재된 화상 처리 장치인, 화상 처리 장치.
제3항에 있어서,
상기 보간값 산출 수단이 제2항에 기재된 화상 처리 장치인, 화상 처리 장치.
제3항에 있어서,
상기 보간값 산출 수단이 큐빅 보간에 의해 보간 처리를 행하는, 화상 처리 장치.
왜곡 맵으로부터 왜곡 보정 맵을 작성하는 처리를 갖는 왜곡 보정 맵 작성 장치로서,
상기 왜곡 맵은, 왜곡이 발생한 화상 상의 각 점이 상기 왜곡에 의해 원래 어느 점으로부터 이동해 왔는지를 나타내는 맵이며, 상기 왜곡 보정 맵은, 상기 왜곡이 없을 경우의 화상 상의 각 점이 상기 왜곡에 의해 어디로 이동할지를 나타내는 맵이며,
상기 왜곡 맵 중에서 주목한 인접하는 4점에 대해서, 각각 상기 왜곡 맵의 값을 참조하고, 상기 4점이 왜곡에 의해 이동하기 전의 이동원의 좌표를 계산하는 원 좌표 계산 수단과,
상기 이동원의 4점의 좌표 중, x방향의 최대값 및 최소값과 y방향의 최대값 및 최소값으로 둘러싸이는 제1 사각형 내에 있는 정수 좌표값을 내점 후보로 하는 내점 후보 계산 수단과,
상기 내점 후보가, 상기 이동원의 4점이 만드는 제2 사각형의 내측 또는 변 상이라면, 상기 내점 후보를 내점이라고 판단하는 내점 판단 수단과,
상기 내점에 대해서, 상기 제2 사각형 내에 있어서의 상기 내점의 비율 위치를, 소정의 정밀도까지 계산하여 구하는 비율 위치 계산 수단과,
상기 비율 위치로부터, 상기 내점 위치에 있어서의 상기 왜곡 보정 맵의 값을 계산하는 왜곡 보정 맵 값 계산 수단
을 갖는 왜곡 보정 맵 작성 장치.
반도체의 화상을 촬영하는 촬영 장치와,
상기 촬영 장치로 촬영된 상기 화상을 입력 화상으로 하는 제1항에 기재된 화상 처리 장치를 갖는 반도체 계측 장치.
반도체의 화상을 촬영하는 촬영 장치와,
상기 촬영 장치로 촬영된 상기 화상을 입력 화상으로 하는 제2항에 기재된 화상 처리 장치를 갖는 반도체 계측 장치.
반도체의 화상을 촬영하는 촬영 장치와,
제3항에 기재된 화상 처리 장치를 갖고,
가정된 복수의 이동량에 대해서, 그 복수의 이동량을 파라미터값으로 하는 상기 보간값 산출 수단에 의한 보간 처리를 이용하여, 상기 촬영 장치로 촬영된 입력 화상을 상기 이동량만큼 평행 이동한 평행 이동 화상을 작성하고, 작성한 상기 복수의 평행 이동 화상에 대해서, 상기 입력 화상으로부터의 이동량을 측정하고, 상기 복수의 평행 이동 화상에 관한 상기 가정된 이동량과 상기 측정된 이동량과의 관계로부터, 실제의 이동량과, 상기 실제의 이동량의 보간점의 보간값을 얻기 위하여 상기 보간값 산출 수단에 파라미터값으로서 설정해야 할 보정된 이동량을 대응지은, 대응 관계 정보를 구하고, 그 대응 관계 정보에 있어서 대응하는 실제의 이동량이, 보간이 요구된 보간점의 근방의 정수 좌표 위치로부터의 이동량인, 보정된 이동량을, 상기 보간값 산출 수단에 파라미터값으로서 설정함으로써, 상기 보간점이 보정된 보간값을 구하는, 반도체 계측 장치.