KR20210147863A - 화상 처리 방법, 프로그램 및 화상 처리 시스템 - Google Patents

Abstract

본 개시는, 처리를 고속화하는 것을 목적으로 한다. k+1회째의 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 대상 화상 중에서, k+1회째의 화상 서치용의 예비 후보를 좁히고, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 제 k+1 후보 화상을, 추출 화상의 새로운 후보에 더한다. 화상 처리 방법은, 서치 처리와, 취득 처리와, 서브 탐색 처리를 포함한다. 서치 처리는, 화상 서치를 복수회 행한다. 취득 처리는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 서브 탐색 처리는, N회째의 화상 서치로 구해진 제 N 후보 화상과, 취득 처리에서 취득된 상관 정보에 근거하여 서브 후보 화상을 구하고, 서브 후보 화상을, M회째의 화상 서치용의 예비 후보에 더한다.

Description

화상 처리 방법, 프로그램 및 화상 처리 시스템{IMAGE PROCESSING METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM}

본 개시는 일반적으로 화상 처리 방법, 프로그램 및 화상 처리 시스템에 관한 것이고, 보다 상세하게는, 대상 화상 중에서 모델 화상의 특징을 포함하는 화상을 탐색하는 화상 처리 방법, 프로그램 및 화상 처리 시스템에 관한 것이다.

특허문헌 1(JP2012-178106A)에 기재된 화상 검사 장치는, 피라미드 알고리즘을 이용한 화상 매칭에 의해, 검사 화상(모델 화상)이 대상 화상의 어떤 부분과 유사한지를 검출한다. 피라미드 알고리즘에 있어서는, 압축된 대상 화상과 압축된 검사 화상의 화상 매칭을 행하고, 화상 유사도가 높은 부분(이하, 「후보 영역」이라고 부름)을 특정한다. 그 후, 보다 압축률이 낮은 화상에 대해, 후보 영역의 주변 영역을 대상으로 한 화상 매칭을 행한다. 피라미드 알고리즘에서는, 압축률이 낮은 화상의 전체를 대상으로 하여 화상 매칭을 할 필요가 없기 때문에, 처리가 고속화된다.

특허문헌 1에 기재된 바와 같은 화상 검사 장치에 있어서, 처리의 더한층의 고속화가 요망되고 있었다.

본 개시는, 처리를 고속화할 수 있는 화상 처리 방법, 프로그램 및 화상 처리 시스템을 제공하는 것을 목적으로 한다.

본 개시의 일 태양에 따른 화상 처리 방법은, 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색한다. k는 자연수의 변수로 한다. N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 한다. 1회째의 상기 화상 서치에서는, 제 1 압축률의 상기 대상 화상 중에서, 제 1 후보 화상을 탐색하고, 상기 제 1 후보 화상을, 상기 추출 화상의 후보에 더한다. 상기 제 1 후보 화상은, 상기 제 1 압축률의 상기 모델 화상의 특징을 포함한다. k+1회째의 상기 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 상기 대상 화상 중에서, k+1회째의 상기 화상 서치용의 예비 후보를 좁힌다. k+1회째의 상기 화상 서치용의 상기 예비 후보는, k회째의 상기 화상 서치로 구해진 상기 추출 화상의 후보를 포함한다. 또한, k+1회째의 상기 화상 서치에서는, k+1회째의 상기 화상 서치용의 상기 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 상기 제 k+1 후보 화상을, 상기 추출 화상의 새로운 후보에 더한다. 상기 제 k+1 후보 화상은, 상기 제 k+1 압축률의 상기 모델 화상의 특징을 포함한다. 상기 화상 처리 방법은, 서치 처리와, 취득 처리와, 서브 탐색 처리를 포함한다. 상기 서치 처리는, 상기 화상 서치를 복수회 행한다. 상기 취득 처리는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 상기 서브 탐색 처리는, N회째의 상기 화상 서치로 구해진 제 N 후보 화상과, 상기 취득 처리에서 취득된 상기 상관 정보에 근거하여 상기 서브 후보 화상을 구하고, 상기 서브 후보 화상을, M회째의 상기 화상 서치용의 상기 예비 후보에 더한다.

본 개시의 일 태양에 따른 프로그램은, 상기 화상 처리 방법을, 1 이상의 프로세서로 하여금 실행하게 하기 위한, 비일시적 기록 매체에 저장된 프로그램이다.

본 개시의 일 태양에 따른 화상 처리 시스템은, 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색한다. k는 자연수의 변수로 한다. N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 한다. 1회째의 상기 화상 서치에서는, 제 1 압축률의 상기 대상 화상 중에서, 제 1 후보 화상을 탐색하고, 상기 제 1 후보 화상을, 상기 추출 화상의 후보에 더한다. 상기 제 1 후보 화상은, 상기 제 1 압축률의 상기 모델 화상의 특징을 포함한다. k+1회째의 상기 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 상기 대상 화상 중에서, k+1회째의 상기 화상 서치용의 예비 후보를 좁힌다. k+1회째의 상기 화상 서치용의 상기 예비 후보는, k회째의 상기 화상 서치로 구해진 상기 추출 화상의 후보를 포함한다. 또한, k+1회째의 상기 화상 서치에서는, k+1회째의 상기 화상 서치용의 상기 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 상기 제 k+1 후보 화상을, 상기 추출 화상의 새로운 후보에 더한다. 상기 제 k+1 후보 화상은, 상기 제 k+1 압축률의 상기 모델 화상의 특징을 포함한다. 상기 화상 처리 시스템은, 서치 처리부와, 취득부와, 서브 탐색부를 구비한다. 상기 서치 처리부는, 상기 화상 서치를 복수회 행한다. 상기 취득부는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 상기 서브 탐색부는, N회째의 상기 화상 서치로 구해진 제 N 후보 화상과, 상기 취득부에서 취득된 상기 상관 정보에 근거하여 상기 서브 후보 화상을 구하고, 상기 서브 후보 화상을, M회째의 상기 화상 서치용의 상기 예비 후보에 더한다.

도 1은, 일 실시형태에 따른 화상 처리 방법을 나타내는 플로 차트이다.
도 2는, 동상(同上)의 화상 처리 방법을 실현하는 화상 처리 시스템을 포함하는 블럭도이다.
도 3은, 동상의 화상 처리 방법의 제 1 예에서 이용되는, 제 1 압축률의 모델 화상이다.
도 4는, 동상의 화상 처리 방법의 제 1 예에서 이용되는, 제 1 압축률의 대상 화상이다.
도 5는, 동상의 화상 처리 방법의 제 1 예에서 이용되는, 제 4 압축률의 모델 화상이다.
도 6a는, 동상의 화상 처리 방법의 제 1 예에서 이용되는, 제 4 압축률의 대상 화상이다.
도 6b는, 동상의 화상 처리 방법의 제 1 예에서 이용되는, 제 4 압축률의 대상 화상이다.
도 7은, 동상의 화상 처리 방법의 제 2 예에서 이용되는 모델 화상이다.
도 8은, 동상의 화상 처리 방법의 제 2 예에서 이용되는 대상 화상이다.

이하, 실시형태에 따른 화상 처리 방법, 프로그램 및 화상 처리 시스템 X1에 대해, 도면을 이용하여 설명한다. 단, 하기의 실시형태는, 본 개시의 다양한 실시형태의 하나에 지나지 않는다. 하기의 실시형태는, 본 개시의 목적을 달성할 수 있으면, 설계 등에 따라 여러 가지의 변경이 가능하다. 또, 하기의 실시형태에 있어서 설명하는 각 도면은, 모식적인 도면이고, 도면 중의 각 구성 요소의 크기 및 두께 각각의 비가 반드시 실제의 치수비를 반영하고 있다고는 할 수 없다.

(1) 개요

화상 처리 방법에서는, 화상 서치가 실행된다. 화상 서치는, 검사 대상을 촬상하여 생성되는 대상 화상을, 미리 준비된 모델 화상과 비교하는 처리이다. 화상 서치를 행함으로써, 검사 대상의 형상, 위치, 및 방향 등이 판정된다. 일례로서, 화상 처리 방법은, 공장에 있어서의 제품 등의 부재(검사 대상)의 제조 공정에 있어서, 부재의 외관 검사를 목적으로 하여 실행된다. 다른 일례로서, 화상 처리 방법은, 어느 부재를 다른 부재와 식별하기 위해서 실행된다.

또, 화상 서치는, 복수회 실행된다. 화상 서치의 횟수를, F(F는 자연수의 상수)로 한다. 복수회의 화상 서치 중 적어도 일부의 화상 서치에서는, 처리를 고속화하기 위해서, 대상 화상 및 모델 화상의 각각의 압축 화상이 이용된다. 화상 서치를 반복할 때마다, 대상 화상 및 모델 화상의 각각의 압축률을 낮춘다. 바꾸어 말하면, 화상 서치를 반복할 때마다, 대상 화상 및 모델 화상의 각각의 해상도를 높인다.

1회째의 화상 서치에 의해, 대상 화상 중, 모델 화상의 특징을 포함하는 화상인 추출 화상의 위치 및 방향의 후보가 어느 정도 좁혀진다. 추출 화상은, 복수회(F회)의 화상 서치에 의해 최종적으로 구해지는 대상이다. 바꾸어 말하면, F회째(최후)의 화상 서치에 의해, 추출 화상이 구해진다. k+1회째(k는 자연수의 변수. 즉, k=1, 2, 3, ……, F)의 화상 서치에서는, k회째의 화상 서치에서 좁혀진 위치의 주변, 및 k회째의 화상 서치에서 좁혀진 방향과 가까운 방향 등으로 한정하고, 추가적인 좁힘을 한다. 이에 의해, 비(非)압축(고해상도)의 대상 화상의 전체에 걸쳐 화상 서치를 하는 경우와 비교하여, 추출 화상을 특정하기까지의 처리에 필요로 하는 시간을 단축할 수 있다.

도 1은, 본 실시형태의 화상 처리 방법을 나타내는 플로 차트이다. 본 실시형태의 화상 처리 방법은, 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색한다. k는 자연수의 변수로 한다. N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 한다. 1회째의 화상 서치(스텝 ST4)에서는, 제 1 압축률의 대상 화상 중에서, 제 1 후보 화상을 탐색하고, 제 1 후보 화상을, 추출 화상의 후보에 더한다. 제 1 후보 화상은, 제 1 압축률의 모델 화상의 특징을 포함한다. k+1회째의 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 대상 화상 중에서, k+1회째의 화상 서치용의 예비 후보를 좁힌다. k+1회째의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보를 포함한다. 또한, k+1회째의 화상 서치에서는, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 제 k+1 후보 화상을, 추출 화상의 새로운 후보에 더한다. 제 k+1 후보 화상은, 제 k+1 압축률의 모델 화상의 특징을 포함한다. 화상 처리 방법은, 서치 처리와, 취득 처리와, 서브 탐색 처리를 포함한다. 서치 처리는, 화상 서치를 복수회 행한다. 취득 처리는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다(스텝 ST1). 서브 탐색 처리는, N회째의 화상 서치로 구해진 제 N 후보 화상과, 취득 처리에서 취득된 상관 정보에 근거하여 서브 후보 화상을 구하고, 서브 후보 화상을, M회째의 화상 서치용의 예비 후보에 더한다(스텝 ST6). 상관 정보는, 예를 들면, 제 N 후보 화상과 서브 후보 화상의 회전 각도차에 관한 정보를 포함한다. 이 경우, 서브 후보 화상이란, 제 N 후보 화상을 상기 회전 각도차만큼 회전시킨 화상이다.

요컨대, k회째의 화상 서치에 의해, 제 k 후보 화상(메인의 예비 후보)이 구해지고, 제 k 후보 화상은, k+1회째의 화상 서치용의 예비 후보에 더해진다. k+1=M의 경우, 서브 후보 화상도, k+1회째의 화상 서치용의 예비 후보에 더해진다. k+1회째의 화상 서치에서는, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 후보 화상이 구해진다. k회째의 화상 서치가 최후의 화상 서치인 경우(즉, k=F의 경우), 제 k 후보 화상은, 최종적인 서치 결과(추출 화상)로서 출력된다.

본 실시형태에 의하면, 비압축의 대상 화상의 전체에 걸쳐 화상 서치를 하는 경우와 비교하여, 추출 화상을 특정하기까지의 처리에 필요로 하는 시간을 단축할 수 있다.

또, N회째의 화상 서치에서는, 대상 화상 및 모델 화상의 압축률이 비교적 크기 때문에, 비압축의 대상 화상과 비압축의 모델 화상의 사이의 차이에 해당하는 데이터가 결락(缺落)되어 있는 경우가 있다. 그 때문에, 비압축의 상태에서는 모델 화상과 합치하지 않는 화상이, 제 N 후보 화상으로서 구해질 가능성이 있다. 이 경우, 제 N 후보 화상은, N+1회째의 화상 서치용의 예비 후보(N+1회째의 화상 서치의 서치 범위) 중 하나가 되고, 제 N 후보 화상은, N+1회째 이후의 화상 서치에서 모델 화상과 합치하지 않는다고 판단된다. 그러나, N회째의 화상 서치보다도 후인 M회째의 화상 서치에서는, 직전의 화상 서치로 구해진 후보 화상뿐만이 아니라, 서브 후보 화상도 M회째의 화상 서치용의 예비 후보로서 이용되므로, 서브 후보 화상이 추출 화상으로서 특정될 수 있다. 즉, 비압축의 상태에서 제 N 후보 화상이 모델 화상과 합치하지 않는 경우여도, 비압축의 상태에서 서브 후보 화상이 모델 화상과 합치할 가능성이 있다. 본 실시형태의 화상 처리 방법에서는, 서브 후보 화상을 예비 후보에 더하는 처리를 하지 않는 경우와 비교하여, 서브 후보 화상을 발견하기까지 필요로 하는 시간을 단축할 수 있으므로, 추출 화상을 특정하기까지 필요로 하는 시간을 단축할 수 있다.

한편, N=1인 것이 바람직하다. 본 실시형태에서는, N=1로 하여 설명한다. 즉, 1회째의 화상 서치로 구해진 제 1 후보 화상과, 상관 정보에 근거하여, 서브 후보 화상이 구해진다. 서브 후보 화상은, M회째의 화상 서치에 이용하는 예비 후보에 더해진다. M회째의 화상 서치에서는, M-1회째의 화상 서치로 구해진 제 M-1 후보 화상과, 예비 후보 중에서, 추출 화상의 새로운 후보(제 M 후보 화상)를 탐색한다. 본 실시형태에서는, M=4로 하여 설명한다. 또, 본 실시형태에서는, M회째의 화상 서치는, 복수회 행해지는 화상 서치 중, 최후의 화상 서치이다. 즉, 본 실시형태에서는, F=M이다.

도 1에 나타내는 플로 차트는, 화상 처리 방법의 일례에 지나지 않고, 처리의 순서가 적절히 변경되어도 되고, 처리가 적절히 추가 또는 생략되어도 된다.

화상 처리 방법은, 화상 처리 시스템 X1에 의해 실행된다. 도 2에 나타내는 바와 같이, 화상 처리 시스템 X1은, 서치 처리부 S1과, 취득부(51)와, 서브 탐색부(52)를 구비한다. 서치 처리부 S1은, 화상 서치를 복수회 행한다. 취득부(51)는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 서브 탐색부(52)는, N회째의 화상 서치로 구해진 제 N 후보 화상과, 취득부(51)에서 취득된 상관 정보에 근거하여 서브 후보 화상을 구하고, 서브 후보 화상을, M회째의 화상 서치용의 예비 후보에 더한다.

화상 처리 시스템 X1을 이용하는 것에 의해, 추출 화상을 특정하기까지의 처리에 필요로 하는 시간을 단축할 수 있다.

(2) 화상 처리 시스템

화상 처리 시스템 X1은, 1 이상의 프로세서 및 메모리를 갖는 컴퓨터 시스템을 포함하고 있다. 컴퓨터 시스템의 메모리에 기록된 프로그램을, 컴퓨터 시스템의 프로세서가 실행하는 것에 의해, 화상 처리 시스템 X1의 적어도 일부의 기능이 실현된다. 프로그램은, 메모리에 기록되어 있어도 되고, 인터넷 등의 전기 통신 회선을 통해 제공되어도 되고, 메모리 카드 등의 비일시적 기록 매체에 기록되어 제공되어도 된다.

화상 처리 시스템 X1은, 서치 처리부 S1과, 취득부(51)와, 서브 탐색부(52)와, 생성 처리부(53)와, 기억부(54)와, 제어부(55)와, 화상 가공부(56)를 구비한다. 서치 처리부 S1은, 제 1 서치부(1)와, 제 2 서치부(2)와, 제 3 서치부(3)와, 제 4 서치부(4)를 포함한다. 한편, 이들은, 화상 처리 시스템 X1에 의해 실현되는 기능을 나타내고 있음에 지나지 않고, 반드시 실체가 있는 구성을 나타내고 있는 것은 아니다.

도 2에서는, 화상 처리 시스템 X1의 외부의 구성으로서, 촬상부(61)와, 구동 기구(62)와, 조작부(63)가 마련되어 있다. 한편, 촬상부(61)와, 구동 기구(62)와, 조작부(63) 중 적어도 1개가, 화상 처리 시스템 X1의 구성이어도 된다.

(3) 촬상부

촬상부(61)는, 예를 들면, CCD(Charge Coupled Devices) 이미지 센서, 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 이차원 이미지 센서이다. 촬상부(61)는, 검사 대상(부재)을 촬상한다. 이에 의해, 촬상부(61)는, 검사 대상이 찍힌 화상인 대상 화상을 생성한다. 검사 대상은, 이동 장치에 의해 촬상부(61)의 촬상 범위 내로 옮겨진다. 이동 장치는, 예를 들면, 벨트 컨베이어이다. 촬상부(61)가 촬상하는 타이밍은, 제어부(55)에 의해 제어된다.

(4) 구동 기구

구동 기구(62)는, 예를 들면, 로봇 암 또는 에어 발생 장치를 포함한다. 구동 기구(62)는, 검사 대상을 이동시킨다. 예를 들면, 어느 검사 대상이 화상 처리 시스템 X1에 의해 적합품이라고 판정되면, 로봇 암은, 검사 대상을 유지(픽업)하고, 다음의 공정이 이루어지는 장소로 이동시킨다. 또, 예를 들면, 어느 검사 대상이 화상 처리 시스템 X1에 의해 부적합품이라고 판정되면, 에어 발생 장치는, 검사 대상을 에어에 의해 제거한다. 구동 기구(62)의 동작은, 제어부(55)에 의해 제어된다.

(5) 기억부

기억부(54)는, 예를 들면, ROM(Read Only Memory), RAM(Random Access Memory) 또는 EEPROM(Electrically Erasable Programmable Read Only Memory) 등이다. 기억부(54)는, 모델 화상을 기억하고 있다. 또, 기억부(54)는, 화상 처리 방법에 이용되는 각종의 파라미터를 기억하고 있다.

(6) 화상 가공부

화상 가공부(56)는, 촬상부(61)에서 생성된 대상 화상을 압축한다(압축 처리). 또, 화상 가공부(56)는, 기억부(54)로부터 모델 화상을 취득하고, 모델 화상을 압축한다(압축 처리). 보다 상세하게는, 화상 가공부(56)는, 대상 화상 및 모델 화상을 각각, 픽셀수가 보다 작은 화상(압축 화상)으로 변환한다.

대상 화상 및 모델 화상은 각각, 이차원 화상이다. 또, 대상 화상 및 모델 화상은 각각, 디지털 화상이다. 본 실시형태에서는, 대상 화상 및 모델 화상이 각각 흑백 화상인 경우를 상정하여 설명한다. 단, 대상 화상 및 모델 화상은 각각, 그레이 스케일 화상 또는 컬러 화상이어도 된다.

화상 가공부(56)는, 예를 들면, 원래의 화상(대상 화상 및 모델 화상)의 종횡 각각의 픽셀수를 1/2i배(i는 자연수의 변수)로 한 1/2i 압축 화상을 생성한다. 본 실시형태에서는, 화상 가공부(56)는, 1/2 압축 화상과, 1/4 압축 화상과, 1/8 압축 화상을 생성한다.

또, 화상 가공부(56)는, 대상 화상 및 모델 화상의 각각의 압축 화상 및 비압축 화상으로부터 윤곽선을 추출한다. 윤곽선을 추출하는 알고리즘으로서는, 예를 들면, 소벨법 또는 가우스의 라플라시안법 등을 채용하면 된다. 한편, 모델 화상은, 처음부터, 윤곽선만으로 이루어지는 화상으로서 제공되어도 된다.

(7) 조작부

조작부(63)는, 유저의 조작을 접수하는 유저 인터페이스이다. 조작부(63)는, 예를 들면, 버튼, 스위치, 딥 스위치, 터치 패널 및 터치 패널 디스플레이 등 중 적어도 1개를 포함한다.

조작부(63)는, 상관 정보를 결정하기 위한 유저의 조작을 접수한다.

또, 조작부(63)는, 후술하는 설정 각도(제 k 후보 화상 또는 서브 후보 화상을 회전시키는 회전 각도)를 결정하기 위한 유저의 조작을 접수한다.

또한, 조작부(63)는, 화상 서치의 횟수를 결정하기 위한 유저의 조작을 접수한다.

한편, 조작부(63)는, 적어도 유저로부터의 조작을 접수하면 되고, 실제로 조작부(63)를 조작하는 주체는, 유저로 한정되지 않는다. 조작부(63)는, 유저 이외의 사람으로부터의 조작도 접수해도 된다.

(8) 취득부

취득부(51)는, 조작부(63)로부터 상관 정보를 취득한다. 즉, 상관 정보를 결정하기 위한 조작이 조작부(63)에 대해서 이루어지면, 조작부(63)는, 조작의 내용에 따른 신호를 출력하고, 이 신호를, 취득부(51)가 상관 정보로서 취득한다.

즉, 본 실시형태의 화상 처리 방법은, 취득부(51)에 의해 실행되는 상관 정보 결정 처리를 포함하고, 상관 정보 결정 처리는, 유저의 조작에 따라 상관 정보를 결정하는 처리이다.

또, 취득부(51)는, 조작부(63)로부터 설정 각도에 관한 정보를 취득한다. 즉, 설정 각도를 결정하기 위한 조작이 조작부(63)에 대해서 이루어지면, 조작부(63)는, 조작의 내용에 따른 신호를 출력하고, 이 신호를, 취득부(51)가 설정 각도에 관한 정보로서 취득한다.

즉, 본 실시형태의 화상 처리 방법은, 취득부(51)에 의해 실행되는 설정 처리를 포함하고, 설정 처리는, 설정 각도에 관한 정보를 취득하는 처리이다. 또, 본 실시형태의 화상 처리 방향은, 취득부(51)에 의해 실행되는 설정 각도 결정 처리를 포함하고, 설정 각도 결정 처리는, 유저의 조작에 따라 설정 각도를 결정하는 처리이다. 설정 각도는, 예를 들면, 유저가 조작부(63)를 조작하여 지정한 각도 그 자체이다.

(9) 서치 처리부

서치 처리부 S1은, 복수의 서치부를 포함한다. 본 실시형태에서는, 서치부의 개수는, 4개이다. 즉, 서치 처리부 S1은, 복수의 서치부로서, 제 1 서치부(1)와, 제 2 서치부(2)와, 제 3 서치부(3)와, 제 4 서치부(4)를 포함한다.

복수의 서치부의 각각은, 화상 서치를 행한다. 화상 서치는, 검사 대상을 촬상하여 생성되는 대상 화상을, 미리 준비된 모델 화상과 비교하는 처리이다. 1개의 모델 화상에 대해서, 복수의 서치부는, 1회씩 화상 서치를 행한다. 제 1 서치부(1), 제 2 서치부(2), 제 3 서치부(3), 제 4 서치부(4)는, 이 순으로 화상 서치를 행한다. 화상 서치의 횟수는, 3회 이상인 것이 바람직하다. 바꾸어 말하면, 서치 처리(화상 서치를 복수회 행하는 처리)에서는, 화상 서치를 3회 이상 행하는 것이 바람직하다. 화상 서치의 횟수는, 본 실시형태에서는 4회이지만, 4회로 한정되지 않고, 2회 이상이면 된다.

복수의 서치부는, 각각 상이한 압축률의 대상 화상 및 모델 화상을 이용하여 화상 서치를 행한다. 본 실시형태의 화상 처리 방법에서는, 화상 서치를 반복할 때마다, 대상 화상 및 모델 화상의 압축률을 낮춘다. 즉, 제 1 서치부(1)는 제 1 압축률의 대상 화상 및 모델 화상을 이용하여 1회째의 화상 서치를 행하고, 제 2 서치부(2)는 제 2 압축률의 대상 화상 및 모델 화상을 이용하여 2회째의 화상 서치를 행한다. 제 3 서치부(3)는 제 3 압축률의 대상 화상 및 모델 화상을 이용하여 3회째의 화상 서치를 행하고, 제 4 서치부(4)는 제 4 압축률의 대상 화상 및 모델 화상을 이용하여 4회째의 화상 서치를 행한다. 제 k+1 압축률은, 제 k 압축률보다도 작은 압축률이다. 예를 들면, 1회째의 화상 서치에서는 1/8 압축 화상이 이용되고, 2회째의 화상 서치에서는 1/4 압축 화상이 이용되고, 3회째의 화상 서치에서는 1/2 압축 화상이 이용되고, 4회째(최후)의 화상 서치에서는 비압축 화상이 이용된다. 즉, 압축률에는, 0(비압축)도 포함될 수 있다.

(10) 서브 탐색부

서브 탐색부(52)는, 1회째(N회째)의 화상 서치로 구해진 제 1(제 N) 후보 화상과, 취득부(51)에서 취득된 상관 정보에 근거하여, 서브 후보 화상을 구한다. 일례로서, 상관 정보는, 제 1(제 N) 후보 화상과 서브 후보 화상의 회전 각도차에 관한 정보를 포함한다. 이 경우, 서브 탐색부(52)는, 제 1(제 N) 후보 화상을 상기 회전 각도차만큼 회전시킨 화상을 생성하고, 생성한 화상을 서브 후보 화상으로 한다. 상기 회전 각도차에 관한 정보는, 예를 들면, 생성 처리부(53)에 의해 생성된다. 상기 회전 각도차에 관한 정보는, 조작부(63)에 대한 유저의 조작에 의해 제공되어도 된다. 예를 들면, 1종류의 부재만을 검사 대상으로 하는 경우는, 상기 회전 각도차에 관한 정보를 나중에 변경할 필요가 없으므로, 상기 회전 각도차에 관한 정보를 유저가 미리 제공해도 지장 없다.

상기 회전 각도차로서, 1개의 각도차만을 이용해도 되고, 복수의 각도차를 이용해도 된다. 예를 들면, 상기 회전 각도차로서, 90도, 180도 및 270도의 3개의 각도차를 이용해도 된다. 이 경우, 서브 탐색부(52)는, 제 1 후보 화상을 각각 90도, 180도 및 270도 회전시킨 3개의 서브 후보 화상을 생성한다.

(11) 생성 처리부

본 실시형태의 화상 처리 방법은, 생성 처리부(53)에 의해 실행되는 생성 처리를 포함하고, 생성 처리는, 모델 화상의 피사체의 회전 대칭성에 근거하여 상기 회전 각도차에 관한 정보를 생성하는 처리이다. 예를 들면, 모델 화상의 피사체가 L회 회전 대칭(L은 자연수의 상수)인 경우, 생성 처리부(53)는, 상기 회전 각도차를 360/L[도]로 결정한다.

예를 들면, 도 3에 나타내는 모델 화상의 피사체(검사 대상 Ob1)는, 2회 회전 대칭이므로, 생성 처리부(53)는, 상기 회전 각도차를 180도로 결정한다.

모델 화상의 피사체의 회전 대칭성에 관한 정보는, 조작부(63)에 대한 유저의 조작에 의해 제공되어도 된다. 또는, 생성 처리부(53)는, 모델 화상을 해석하는 것에 의해 모델 화상의 피사체의 회전 대칭성에 관한 정보를 생성해도 된다.

예를 들면, 어느 검사 대상 Ob1이 촬상부(61)의 촬상 범위로 옮겨지는 타이밍과, 다른 형상의 검사 대상이 촬상부(61)의 촬상 범위로 옮겨지는 타이밍이 미리 정해져 있다. 그래서, 생성 처리부(53)는, 상기 회전 각도차에 관한 정보를, 시간에 따라 변경한다.

또, 피사체가 비회전 대칭인 경우는, 그 취지를 나타내는 정보를 생성 처리부(53)가 출력한다.

(12) 제 1 예

화상 처리 방법에 의해 검사 대상을 검사하는 순서의 제 1 예에 대해, 도 1, 도 3∼도 6b를 참조하여 설명한다.

우선, 유저는, 조작부(63)를 조작하여 상관 정보를 입력한다. 취득부(51)는, 조작부(63)로부터 상관 정보를 취득한다(스텝 ST1). 촬상부(61)는, 검사 대상 Ob1을 촬상하여 대상 화상을 생성한다(스텝 ST2).

도 3은, 제 1 압축률의 모델 화상을 나타낸다. 도 4는, 제 1 압축률의 대상 화상을 나타낸다. 도 5는, 제 4 압축률(비압축)의 모델 화상을 나타낸다. 도 6a, 도 6b는, 제 4 압축률(비압축)의 대상 화상을 나타낸다. 단, 도 3∼도 6b 중 어느 것에 있어서도, 모델 화상 및 대상 화상은, 윤곽선(도면 중의 망점 부분)만으로 이루어지는 화상이다. 화상 가공부(56)는, 대상 화상을 필요에 따라서 압축하고, 윤곽선을 추출하는 것에 의해, 대상 화상을 생성한다(스텝 ST3). 또, 모델 화상은, 직사각형 또는 정사각형의 화상이고, 모델 화상 중 윤곽선을 포함하지 않는 행 및 열은 미리 제거되어 있다.

또한 모델 화상과 대상 화상은 도 3∼도 6b에서 나타내는 해상도보다도 해상도가 높은 것이 바람직하지만, 설명을 간단하게 하기 위해, 도 3∼도 6b에서는 비교적 해상도가 낮은 화상으로서 표시되어 있다.

도 5에 나타내는 바와 같이, 검사 대상 Ob1의 2차원 형상은 십자형이다. 검사 대상 Ob1은 중심부 Ob10과, 4개의 돌출부 Ob11∼Ob14를 갖는다. 4개의 돌출부 Ob11∼Ob14는 중심부 Ob10으로부터 돌출되어 있다. 돌출부 Ob11, Ob12는 중심부 Ob10을 사이에 두고 서로 반대측에 마련되어 있다. 돌출부 Ob13, Ob14는 중심부 Ob10을 사이에 두고 서로 반대측에 마련되어 있다. 돌출부 Ob11, Ob12의 돌출 방향은 돌출부 Ob13, Ob14의 돌출 방향에 대해 직교하고 있다.

도 5에 있어서, 4개의 돌출부 Ob11∼Ob14의 길이는 각각, 8[pix], 9[pix], 6[pix], 6[pix]이다. 도 5의 모델 화상이 제 1 압축률로 압축되면, 도 3에 나타내는 바와 같이, 4개의 돌출부 Ob11∼Ob14의 길이는 각각, 4[pix], 4[pix], 3[pix], 3[pix]가 된다. 즉, 도 3에서는, 돌출부 Ob11, Ob12의 길이가 동등하다. 도 3에서는, 검사 대상 Ob1의 2차원 형상은, 2회 회전 대칭이다.

도 6b는, 도 6a에 대해서, 검사 대상 Ob1을 180도 회전시킨 도면이다. 도 6a, 도 6b 중 어느 대상 화상이 제 1 압축률로 압축된 경우도, 도 4에 나타내는 화상이 된다. 즉, 도 3, 도 4에 나타내는 제 1 압축률의 모델 화상 및 대상 화상에서는, 중심부 Ob10에 대해서 돌출부 Ob11이 지면(紙面) 위에 있는 상태와, 지면 아래에 있는 상태의 구별이 되지 않는다.

화상 서치에서는, 대상 화상을 주사하는 것에 의해, 모델 화상과 대상 화상을 비교한다.

(12-1) 1회째의 화상 서치

1회째의 화상 서치(스텝 ST4)에서는, 제 1 서치부(1)는, 도 3의 모델 화상과 도 4의 대상 화상을 비교한다. 우선, 제 1 서치부(1)는, 대상 화상 중 좌상우(左上隅)의 영역을 비교 대상(비교 영역 R1)으로 한다. 비교 영역 R1의 크기는, 모델 화상의 크기와 동등하다. 제 1 서치부(1)는, 비교 영역 R1의 화상의 각 화소를, 모델 화상의 각 화소와 비교한다. 비교 영역 R1의 화상과 모델 화상의 일치율이 임계값 이상이면, 제 1 서치부(1)는, 비교 영역 R1의 화상이, 모델 화상의 특징을 포함하는 제 1 후보 화상이라고 판단한다. 즉, 이 경우에 제 1 서치부(1)는, 비교 영역 R1의 화상을, 추출 화상의 후보에 더한다. 한편으로, 비교 영역 R1의 화상과 모델 화상의 일치율이 임계값 미만이면, 제 1 서치부(1)는, 비교 영역 R1의 화상이 제 1 후보 화상이 아니라고 판단한다.

임계값은, 기억부(54)에 미리 기억되어 있다. 본 실시형태에서는, 임계값이 100%라고 가정하여 설명한다. 즉, 본 실시형태에서는, 비교 영역 R1의 화상과 모델 화상이 완전하게 일치하는 경우에 한정하고, 제 1 서치부(1)는, 비교 영역 R1의 화상이 제 1 후보 화상이라고 판단한다.

제 1 서치부(1)는, 비교 영역 R1을 1[pix]씩 어긋나게 하고, 1[pix] 어긋날 때 마다, 비교 영역 R1의 화상과 모델 화상을 비교한다. 예를 들면, 비교 영역 R1을 열 방향(도 4의 지면 좌우 방향)으로 1[pix]씩 어긋나게 하고, 비교 영역 R1이 대상 화상의 일단(우단 또는 좌단)에 도달하면, 비교 영역 R1을 행 방향으로 1[pix] 어긋나게 한다는 프로세스를 1세트로 한다. 이 프로세스를 복수 세트 반복함으로써, 제 1 서치부(1)는, 대상 화상의 모든 영역을 모델 화상과 비교한다. 도 4에서는, 영역 R11이 비교 영역 R1로서 선택되었을 때에, 제 1 서치부(1)는, 비교 영역 R1의 화상이 제 1 후보 화상이라고 판단한다.

또, 제 1 서치부(1)는, 복수의 회전 화상을, 대상 화상과 비교한다. 복수의 회전 화상은 각각, 모델 화상을 단계적으로 회전시킨 화상이다. 예를 들면, 모델 화상을 1도 간격으로 시계방향 회전 또는 반시계방향 회전으로 360도 회전시킴으로써, 복수의 회전 화상이 생성된다. 각 회전 화상에 대해서도 상기 프로세스를 복수 세트 반복함으로써, 제 1 서치부(1)는, 대상 화상의 모든 영역을 회전 화상과 비교하고, 제 1 후보 화상을 탐색한다.

여기에서, 어느 위치에 있어서 제 1(제 N) 후보 화상이 발견된 경우, 이 위치에 있어서의 회전 화상은, 1회째(N회째)의 화상 서치에 있어서의 서치 범위로부터 제외되어도 된다. 즉, 이 위치에 있어서의 회전 화상은, 제 1(제 N) 후보 화상으로서 선택되지 않아도 된다. 이에 의해, 화상 서치에 필요로 하는 시간을 단축할 수 있다. 이 위치에 있어서의 회전 화상은, 4회째의 화상 서치에서 모델 화상과 비교되어, 추출 화상에 해당하는지 여부가 판정된다.

1회째의 화상 서치에 의해 적어도 1개의 제 1 후보 화상이 발견되면, 기억부(54)는, 제 1 후보 화상에 관한 정보를 기억한다. 제 1 후보 화상에 관한 정보는, 제 1 후보 화상의 위치 및 방향의 정보를 적어도 포함한다. 제 1 후보 화상에 관한 정보는, 제 1 후보 화상과 모델 화상의 일치율을 포함하고 있어도 된다.

전술한 바와 같이, 도 3, 도 4에 나타내는 제 1 압축률의 모델 화상 및 대상 화상에서는, 중심부 Ob10에 대해서 돌출부 Ob11이 지면에 있어서의 상측에 있는 상태와, 지면에 있어서의 하측에 있는 상태의 구별이 되지 않는다. 어느 상태의 경우도, 영역 R11이 비교 영역 R1로서 선택되었을 때에, 제 1 서치부(1)는, 비교 영역 R1의 화상이 제 1 후보 화상이라고 판단한다.

적어도 1개의 영역에 대해서, 당해 영역의 화상이 제 1 후보 화상이라고 판단되면(스텝 ST5: YES), 서브 탐색부(52)는, 서브 후보 화상을 생성한다(스텝 ST6: 서브 탐색 처리). 구체적으로는, 서브 탐색부(52)는, 제 1 후보 화상을 180도 회전시킨 화상을, 서브 후보 화상으로 한다.

(12-2) 2회째 이후의 화상 서치

다음에, 제 2 서치부(2)는, 제 2 압축률의 대상 화상 및 제 2 압축률의 모델 화상을 이용하여, 2회째의 화상 서치를 행한다(스텝 ST7). 2회째의 화상 서치에서는, 우선, 2회째의 화상 서치용의 예비 후보를 좁힌다. 2회째의 화상 서치용의 예비 후보는, 1회째의 화상 서치로 구해진 제 1 후보 화상을 포함한다. 이 예에서는, 1회째의 화상 서치에 의해, 영역 R11(도 4 참조)에 대응하는 화상이 제 1 후보 화상으로서 구해지고 있다. 기억부(54)에는, 제 1 후보 화상의 위치 및 방향의 정보가 기억되어 있다. 그래서, 이 정보를 이용하여, 제 2 서치부(2)는, 제 2 압축률의 대상 화상 중, 영역 R11에 대응하는 영역을 특정하고, 영역 R11에 대응하는 영역의 화상을, 2회째의 화상 서치용의 예비 후보로 한다. 제 2 서치부(2)는, 2회째의 화상 서치용의 예비 후보 중에서, 제 2 압축률의 모델 화상의 특징을 포함하는 제 2 후보 화상을 탐색한다.

3회째 및 4회째의 화상 서치(스텝 ST9, ST11)에서도 마찬가지로, 직전의 화상 서치로 구해진 영역의 화상(예비 후보) 중에서, 후보 화상을 탐색한다. 즉, k+1회째(여기에서는, k=1, 2, 3)의 화상 서치에서는, 제 k+1 압축률의 대상 화상 중에서, k+1회째의 화상 서치용의 예비 후보(k+1회째의 화상 서치의 서치 범위)를 좁힌다. 또한, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 압축률의 모델 화상의 특징을 포함하는 제 k+1 후보 화상을 탐색한다.

k+1회째의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보(제 k 후보 화상)에 더하여, k회째의 화상 서치로 구해진 추출 화상의 후보의 주변의 화상을 더 포함한다. 예를 들면, 도 6a 중, 3회째의 화상 서치로 구해진 추출 화상의 후보에 대응하는 영역을, 영역 R41로 한다. 4회째의 화상 서치용의 예비 후보는, 영역 R41의 화상과, 영역 R41의 주변의 화상을 포함한다. 4회째의 화상 서치에서는, 영역 R41의 화상과, 영역 R41의 주변의 화상 중에서, 제 4 후보 화상을 탐색한다.

영역 R41의 주변의 화상이란, 영역 R41에 대해서 소정량만큼 이동한 영역의 화상이다. 보다 구체적으로는, 영역 R41의 주변의 화상이란, 영역 R41을 소정 픽셀수 이하의 양만큼 평행 이동시키는 것과, 영역 R41을 소정의 회전각 이하의 회전각만큼 회전시키는 것 중 적어도 한쪽에 의해 형성되는 영역의 화상이다.

k=1 또는 2일 때, k+1회째의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보와, 그 주변의 화상만을 포함한다. k=3일 때, k+1회째(M회째)의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보와, 그 주변의 화상에 더하여, 서브 후보 화상도 포함한다. 이 예에서는, 서브 후보 화상은, 제 1 후보 화상을 180도 회전시킨 화상이다. 즉, 4회째의 화상 서치용의 예비 후보는 적어도, 도 6a의 영역 R41의 화상과, 영역 R41의 화상을 180도 회전시킨 화상, 즉, 도 6b의 영역 R42의 화상을 포함한다.

또, k=3일 때, k+1회째(M회째)의 화상 서치용의 예비 후보는, 복수의 회전 화상을 더 포함한다. 복수의 회전 화상은 각각, 제 k 후보 화상 또는 서브 후보 화상을 0도로부터 설정 각도(제 1 설정값) 이하의 범위에서 단계적으로 회전시킨 화상이다. 즉, 본 실시형태의 화상 처리 방법은, 범위 확장 처리를 포함하고, 범위 확장 처리는, 복수의 회전 화상을, k+1회째의 화상 서치용의 예비 후보에 더하는 처리이다. 범위 확장 처리는, 예를 들면, 제 4 서치부(4)에 의해 실행된다. 제 k 후보 화상 및 서브 후보 화상의 각각에 근거하여, 복수의 회전 화상이 생성된다.

예를 들면, 제 3 후보 화상(제 k 후보 화상) 또는 서브 후보 화상을, 제 2 설정값(각도를 나타내는 값) 간격으로 시계방향 회전 및 반시계방향 회전으로 회전시킴으로써, 복수의 회전 화상이 생성된다. 또, 제 3 후보 화상 또는 서브 후보 화상과 회전 화상의 회전 각도차의 상한값인 제 1 설정값이 미리 지정되어 있다. 제 1 설정값 및 제 2 설정값은, 조작부(63)에 대한 조작에 따라 결정된다. 즉, 제 1 설정값 및 제 2 설정값 중 적어도 한쪽을 결정하기 위한 조작이 조작부(63)에 대해서 이루어지면, 조작부(63)는, 조작의 내용에 따른 신호를 출력하고, 이 신호에 따라, 제 4 서치부(4)는, 제 1 설정값 및 제 2 설정값을 결정한다.

제 1 설정값은, 제 1(제 N) 후보 화상과 서브 후보 화상의 회전 각도차의 1/2배의 값보다도 작다. 제 1 설정값은, 예를 들면, 복수의 값 중에서 선택 가능하다. 제 1 설정값은, 예를 들면, 5도, 15도, 및 45도 중에서 선택 가능하다.

제 2 설정값은, 제 1 설정값보다도 작다. 제 2 설정값은, 예를 들면, 1도이다.

최후(4회째)의 화상 서치에 있어서(제 4) 후보 화상이 발견되면(스텝 ST12: YES), 서치 처리부 S1은, 당해 후보 화상을, 최종적인 서치 결과로 한다. 즉, 서치 처리부 S1은, 당해 후보 화상을, 모델 화상의 특징을 포함하는 화상인 추출 화상이라고 한다. 서치 처리부 S1은, 추출 화상에 관한 정보를 출력한다. 예를 들면, 서치 처리부 S1은, 추출 화상에 관한 정보를 제어부(55)에 출력한다. 추출 화상에 관한 정보는, 예를 들면, 추출 화상의 위치 및 방향의 정보를 포함한다. 추출 화상에 관한 정보에 근거하여, 대상 화상의 촬상 대상인 검사 대상 Ob1의 위치 및 방향 등을 특정할 수 있다. 추출 화상에 관한 정보는, 추출 화상과 모델 화상의 일치율을 포함하고 있어도 된다.

제어부(55)는, 추출 화상에 관한 정보에 근거하여, 구동 기구(62)를 제어한다. 구동 기구(62)는, 예를 들면, 검사 대상 Ob1을 유지(픽업)하고, 다음의 공정이 이루어지는 장소로 이동시킨다(스텝 ST13). 또, 구동 기구(62)는, 검사 대상 Ob1의 방향을 나타내는 정보에 근거하여, 검사 대상 Ob1의 방향을 보정한다.

또, 1회째의 화상 서치와 최후(4회째)의 화상 서치의 사이의(2회째 및 3회째의) 화상 서치에 있어서 후보 화상이 발견되지 않았던 경우(스텝 ST8 또는 ST10: NO), 적어도 서브 후보 화상을 4회째의 화상 서치용의 예비 후보에 포함시키고, 4회째의 화상 서치를 행한다(스텝 ST14). 즉, 서브 후보 화상과 모델 화상을 비교하고, 제 4 후보 화상을 탐색한다. 여기에서, 서브 후보 화상에 더하여, 서브 후보 화상을 회전시킨 회전 화상을 4회째의 화상 서치용의 예비 후보에 포함시켜도 된다.

(12-3) 이점

제 1 예에 있어서, 2회째 및 3회째의 화상 서치에서는, 직전의 화상 서치로 구해진 추출 화상의 후보와, 그 주변의 화상만을 서치 범위(예비 후보)로 한다. 그 때문에, 대상 화상의 전체를 서치 범위로 하는 경우와 비교하여, 2회째 및 3회째의 화상 서치에 필요로 하는 시간을 단축할 수 있다. 한편, 2회째 및 3회째의 화상 서치에 있어서, 직전의 화상 서치로 구해진 추출 화상의 후보만을 서치 범위로 하고, 추출 화상의 후보의 주변의 화상은 서치 범위로부터 제외해도 상관없다.

또, 제 1 예에 있어서, 4회째의 화상 서치에서는, 서브 후보 화상도 서치 범위(예비 후보)에 더해진다. 서브 후보 화상은, 화상 서치에 의해 직접 구해지는 것이 아니라, 제 1 후보 화상으로부터 구해지므로, 서브 후보 화상을 발견하기까지 필요로 하는 시간을 단축할 수 있다. 따라서, 서브 후보 화상이 최종적인 서치 결과(추출 화상)로서 출력되는 경우, 추출 화상을 특정하기까지 필요로 하는 시간을 단축할 수 있다.

또, 본 실시형태의 화상 처리 방법은, 1개의 모델 화상에 근거하여 추출 화상을 탐색한다. 즉, 1개의 모델 화상을 변환하여 복수의 회전 화상을 생성한다. 그 때문에, 복수의 회전 화상을 미리 준비하는 경우와 비교하여, 모델 화상이 차지하는 기억 용량을 작게 할 수 있다.

(13) 제 2 예

화상 처리 방법에 의해 검사 대상을 검사하는 순서의 제 2 예에 대해, 도 7, 도 8을 참조하여 설명한다. 도 7은, 어느 압축률의 모델 화상을 나타낸다. 도 8은, 어느 압축률의 대상 화상을 나타낸다.

제 2 예에서는, 검사 대상 Ob2의 2차원 형상은, 톱니바퀴의 형상이다. 검사 대상 Ob2는, 원반 형상의 원반부 Ob20과, 복수(도 7에서는 18개)의 톱니 Ob21를 갖는다. 복수의 톱니 Ob21은, 원반부 Ob20의 외연에 등간격으로 배치되어 있다. 복수의 톱니 Ob21 중 하나의 톱니 Ob210은, 다른 톱니 Ob21보다도 길이가 짧다.

도 8에 있어서, 영역 R8은, 대상 화상의 전체에 대응하는 영역이다. 화상 서치에서 탐색되는 추출 화상으로서 올바른 화상은, 영역 R81의 화상이다.

그러나, 1회째의 화상 서치에서는, 제 1 압축률의 대상 화상 및 제 1 압축률의 모델 화상이 이용되고, 제 1 압축률은 압축률이 비교적 높다. 그 때문에, 복수의 톱니 Ob21 중 길이가 짧은 톱니 Ob210과 그 밖의 톱니 Ob21의 형상의 차이가 작아질 가능성이 있다. 그 결과, 1회째의 화상 서치에서는, 영역 R82의 화상이 추출 화상의 후보(제 1 후보 화상)로서 출력될 가능성이 있다. 영역 R82의 화상은, 영역 R81의 화상에 대해서 소정 각도만큼 회전한 화상이다.

그래서, 서브 탐색부(52)는, 제 1 후보 화상(영역 R81의 화상)을 회전시킨 복수의 화상을 생성하고, 생성한 복수의 화상을 각각 서브 후보 화상으로 한다. 복수의 서브 후보 화상은, 예를 들면, 제 1 후보 화상을 360/NA[도] 간격으로 회전시킨 화상이다. NA는 톱니 Ob21의 수이다. 즉, 복수의 서브 후보 화상은, 제 1 후보 화상을 20도, 40도, 60도, ……, 340도 회전시킨 화상이다.

여기에서, 톱니 Ob21의 수 NA는, 모델 화상의 피사체(검사 대상 Ob2)의 회전 대칭성에 관한 정보이다. 톱니 Ob21의 수 NA의 정보는, 조작부(63)에 대한 유저의 조작에 의해 제공되어도 된다. 또는, 생성 처리부(53)는, 제 1(제 N) 의 압축률의 모델 화상을 해석하는 것에 의해 톱니 Ob21의 수 NA를 구해도 된다.

복수의 서브 후보 화상 중 하나는, 영역 R81의 화상이다. 따라서, 복수의 서브 후보 화상을 서치 범위(예비 후보)에 포함하는 4회째의 화상 서치에 있어서, 영역 R81의 화상이 추출 화상으로서 특정된다.

제 2 예에서도, 제 1 예와 마찬가지로, 화상 서치에 필요로 하는 시간을 단축할 수 있다.

(실시형태의 변형예)

이하, 실시형태의 변형예를 열거한다. 이하의 변형예는, 적절히 조합하여 실현되어도 된다.

실시형태에서는, 복수회(F회)의 화상 서치 중 최후의 1개(4회째)의 화상 서치에서만, 서브 후보 화상이 예비 후보에 더해진다. 이에 비하여, N회째(실시형태에서는, N=1)의 화상 서치보다도 후이고 최후의 화상 서치보다도 전인(2회째 또는 3회째의) 화상 서치에 있어서, 서브 후보 화상이 예비 후보에 더해져도 된다. 또, 복수회의 화상 서치 중 2 이상의 화상 서치에서 서브 후보 화상이 예비 후보에 더해져도 된다. 예를 들면, N회째(실시형태에서는, N=1)의 화상 서치보다 후인(2∼4회째의) 화상 서치의 전부에 있어서 서브 후보 화상이 예비 후보에 더해져도 된다.

화상 서치에 이용하는 화상은, 윤곽선을 추출한 화상에 한정되지 않는다. 화상 서치에 이용하는 화상은, 촬상부(61)에서 생성되는 생 데이터여도 되고, 생 데이터에 대해서 적절히 변환이 된 데이터여도 된다.

화상 처리 방법에 의해, 추출 화상이 구해진다. 단, 화상 처리 방법에 의해 최종적으로 출력되는 정보는, 추출 화상이 아니어도 되고, 예를 들면, 추출 화상의 위치(좌표) 정보와 방향의 정보를 포함하고 있으면 된다.

모델 화상의 피사체가 비회전 대칭인 경우는, 서브 후보 화상을 생성하는 처리를 무효화해도 된다.

화상 처리 방법은, (컴퓨터) 프로그램, 또는 프로그램을 기록한 비일시적 기록 매체 등으로 구현화되어도 된다. 즉, 일 태양에 따른 프로그램은, 화상 처리 방법을 1 이상의 프로세서로 하여금 실행하게 하기 위한 프로그램이다.

본 개시에 있어서의 화상 처리 시스템 X1은, 컴퓨터 시스템을 포함하고 있다. 컴퓨터 시스템은, 하드웨어로서의 프로세서 및 메모리를 주구성으로 한다. 컴퓨터 시스템의 메모리에 기록된 프로그램을 프로세서가 실행하는 것에 의해, 본 개시에 있어서의 화상 처리 시스템 X1로서의 기능이 실현된다. 프로그램은, 컴퓨터 시스템의 메모리에 미리 기록되어도 되고, 전기 통신 회선을 통해서 제공되어도 되고, 컴퓨터 시스템으로 판독 가능한 메모리 카드, 광학 디스크, 하드 디스크 드라이브 등의 비일시적 기록 매체에 기록되어 제공되어도 된다. 컴퓨터 시스템의 프로세서는, 반도체 집적 회로(IC) 또는 대규모 집적 회로(LSI)를 포함하는 하나 내지 복수의 전자 회로로 구성된다. 여기에서 말하는 IC 또는 LSI 등의 집적 회로는, 집적의 정도에 따라 부르는 방식이 상이하고, 시스템 LSI, VLSI(Very Large Scale Integration), 또는 ULSI(Ultra Large Scale Integration)로 불리는 집적 회로를 포함한다. 또한, LSI의 제조 후에 프로그램되는, FPGA(Field-Programmable Gate Array), 또는 LSI 내부의 접합 관계의 재구성 또는 LSI 내부의 회로 구획의 재구성이 가능한 논리 디바이스에 대해서도, 프로세서로서 채용할 수 있다. 복수의 전자 회로는, 1개의 칩에 집약되어 있어도 되고, 복수의 칩에 분산하여 마련되어 있어도 된다. 복수의 칩은, 1개의 장치에 집약되어 있어도 되고, 복수의 장치에 분산하여 마련되어 있어도 된다. 여기에서 말하는 컴퓨터 시스템은, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 마이크로컨트롤러를 포함한다. 따라서, 마이크로컨트롤러에 대해서도, 반도체 집적 회로 또는 대규모 집적 회로를 포함하는 하나 내지 복수의 전자 회로로 구성된다.

또, 화상 처리 시스템 X1에 있어서의 복수의 기능이, 1개의 장치에 집약되어 있는 것은 화상 처리 시스템 X1에 필수의 구성은 아니고, 화상 처리 시스템 X1의 구성 요소는, 복수의 장치에 분산하여 마련되어 있어도 된다. 또한, 화상 처리 시스템 X1의 적어도 일부의 기능, 예를 들면, 서치 처리부 S1의 적어도 일부의 기능이 클라우드(클라우드 컴퓨팅) 등에 의해 실현되어도 된다.

반대로, 실시형태에 있어서, 복수의 장치에 분산되어 있는 화상 처리 시스템 X1 등의 적어도 일부의 기능이, 1개의 장치에 집약되어 있어도 된다. 예를 들면, 화상 처리 시스템 X1과 구동 기구(62)에 분산되어 있는 기능이, 1개의 장치에 집약되어 있어도 된다.

(요약)

이상 설명한 실시형태 등으로부터, 이하의 태양이 개시되어 있다.

제 1 태양에 따른 화상 처리 방법은, 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색한다. k는 자연수의 변수로 한다. N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 한다. 1회째의 화상 서치에서는, 제 1 압축률의 대상 화상 중에서, 제 1 후보 화상을 탐색하고, 제 1 후보 화상을, 추출 화상의 후보에 더한다. 제 1 후보 화상은, 제 1 압축률의 모델 화상의 특징을 포함한다. k+1회째의 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 대상 화상 중에서, k+1회째의 화상 서치용의 예비 후보를 좁힌다. k+1회째의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보를 포함한다. 또한, k+1회째의 화상 서치에서는, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 제 k+1 후보 화상을, 추출 화상의 새로운 후보에 더한다. 제 k+1 후보 화상은, 제 k+1 압축률의 모델 화상의 특징을 포함한다. 화상 처리 방법은, 서치 처리와, 취득 처리와, 서브 탐색 처리를 포함한다. 서치 처리는, 화상 서치를 복수회 행한다. 취득 처리는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 서브 탐색 처리는, N회째의 화상 서치로 구해진 제 N 후보 화상과, 취득 처리에서 취득된 상관 정보에 근거하여 서브 후보 화상을 구하고, 서브 후보 화상을, M회째의 화상 서치용의 예비 후보에 더한다.

상기의 구성에 의하면, 추출 화상을 특정하기 위한 처리를 고속화할 수 있다.

또, 제 2 태양에 따른 화상 처리 방법에서는, 제 1 태양에 있어서, 상관 정보는, 제 N 후보 화상과 서브 후보 화상의 회전 각도차에 관한 정보를 포함한다.

상기의 구성에 의하면, 회전 대칭인 피사체를 포함하는 추출 화상을 고속으로 구해진다.

또, 제 3 태양에 따른 화상 처리 방법은, 제 2 태양에 있어서, 생성 처리를 더 포함한다. 생성 처리에서는, 모델 화상의 피사체의 회전 대칭성에 근거하여 회전 각도차에 관한 정보를 생성한다.

상기의 구성에 의하면, 회전 각도차를 입력하는 수고를 저감할 수 있다.

또, 제 4 태양에 따른 화상 처리 방법은, 제 1∼3 태양 중 어느 하나에 있어서, 상관 정보 결정 처리를 더 포함한다. 상관 정보 결정 처리에서는, 유저의 조작에 따라 상관 정보를 결정한다.

상기의 구성에 의하면, 상황에 따라 상관 정보를 변경할 수 있다.

또, 제 5 태양에 따른 화상 처리 방법은, 제 1∼4 태양 중 어느 하나에 있어서, 범위 확장 처리와 설정 처리를 더 포함한다. 범위 확장 처리에서는, 복수의 회전 화상을, k+1회째의 화상 서치용의 예비 후보에 더한다. 복수의 회전 화상은, 각각, 제 k 후보 화상 또는 서브 후보 화상을 0도로부터 설정 각도 이하의 범위에서 단계적으로 회전시킨 화상이다. 설정 처리에서는, 설정 각도에 관한 정보를 취득한다.

상기의 구성에 의하면, 화상 서치의 정밀도를 높일 수 있다.

또, 제 6 태양에 따른 화상 처리 방법은, 제 5 태양에 있어서, 설정 각도 결정 처리를 더 포함한다. 설정 각도 결정 처리에서는, 유저의 조작에 따라 설정 각도를 결정한다.

상기의 구성에 의하면, 상황에 따라 설정 각도를 변경할 수 있다.

또, 제 7 태양에 따른 화상 처리 방법에서는, 제 1∼6 태양 중 어느 하나에 있어서, N=1이다.

상기의 구성에 의하면, 1회째의 화상 서치가 행해진 결과로서, 제 1 후보 화상과 서브 후보 화상이, 예비 후보에 더해진다. 따라서, 1회째의 화상 서치에서 예비 후보에 부족이 생길 가능성을 저감할 수 있어, 화상 서치의 정밀도를 높일 수 있다.

또, 제 8 태양에 따른 화상 처리 방법에서는, 제 1∼7 태양 중 어느 하나에 있어서, 서치 처리에서는, 화상 서치를 3회 이상 실시한다.

상기의 구성에 의하면, 화상 서치의 정밀도를 높일 수 있다.

또, 제 9 태양에 따른 화상 처리 방법은, 제 1∼8 태양 중 어느 하나에 있어서, 1개의 모델 화상에 근거하여 추출 화상을 탐색한다.

상기의 구성에 의하면, 모델 화상이 차지하는 기억 용량을 작게 할 수 있다.

제 1 태양 이외의 구성에 대해서는, 화상 처리 방법에 필수의 구성은 아니고, 적절히 생략 가능하다.

또, 제 10 태양에 따른 프로그램은, 제 1∼9 태양 중 어느 하나에 따른 화상 처리 방법을, 1 이상의 프로세서로 하여금 실행하게 하기 위한 프로그램이다.

상기의 구성에 의하면, 추출 화상을 특정하기 위한 처리를 고속화할 수 있다.

또, 제 11 태양에 따른 화상 처리 시스템(X1)은, 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색한다. k는 자연수의 변수로 한다. N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 한다. 1회째의 화상 서치에서는, 제 1 압축률의 대상 화상 중에서, 제 1 후보 화상을 탐색하고, 제 1 후보 화상을, 추출 화상의 후보에 더한다. 제 1 후보 화상은, 제 1 압축률의 모델 화상의 특징을 포함한다. k+1회째의 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 대상 화상 중에서, k+1회째의 화상 서치용의 예비 후보를 좁힌다. k+1회째의 화상 서치용의 예비 후보는, k회째의 화상 서치로 구해진 추출 화상의 후보를 포함한다. 또한, k+1회째의 화상 서치에서는, k+1회째의 화상 서치용의 예비 후보 중에서, 제 k+1 후보 화상을 탐색하고, 제 k+1 후보 화상을, 추출 화상의 새로운 후보에 더한다. 제 k+1 후보 화상은, 제 k+1 압축률의 모델 화상의 특징을 포함한다. 화상 처리 시스템(X1)은, 서치 처리부(S1)와, 취득부(51)와, 서브 탐색부(52)를 구비한다. 서치 처리부(S1)는, 화상 서치를 복수회 행한다. 취득부(51)는, 제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득한다. 서브 탐색부(52)는, N회째의 화상 서치로 구해진 제 N 후보 화상과, 취득부(51)에서 취득된 상관 정보에 근거하여 서브 후보 화상을 구하고, 서브 후보 화상을, M회째의 화상 서치용의 예비 후보에 더한다.

상기의 구성에 의하면, 추출 화상을 특정하기 위한 처리를 고속화할 수 있다.

상기 태양에 한정하지 않고, 실시형태에 따른 화상 처리 시스템(X1)의 여러 가지의 구성(변형예를 포함함)은, 화상 처리 방법 및 프로그램으로 구현화 가능하다.

51: 취득부
52: 서브 탐색부
S1: 서치 처리부
X1: 화상 처리 시스템

Claims (11)

1. 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색하는 화상 처리 방법으로서,
   k는 자연수의 변수로 하고, N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 하고,
   1회째의 상기 화상 서치에서는, 제 1 압축률의 상기 대상 화상 중에서, 상기 제 1 압축률의 상기 모델 화상의 특징을 포함하는 제 1 후보 화상을 탐색하고, 상기 제 1 후보 화상을, 상기 추출 화상의 후보에 더하고,
   k+1회째의 상기 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 상기 대상 화상 중에서, k회째의 상기 화상 서치로 구해진 상기 추출 화상의 후보를 포함하는 k+1회째의 상기 화상 서치용의 예비 후보를 좁히고, k+1회째의 상기 화상 서치용의 상기 예비 후보 중에서, 상기 제 k+1 압축률의 상기 모델 화상의 특징을 포함하는 제 k+1 후보 화상을 탐색하고, 상기 제 k+1 후보 화상을, 상기 추출 화상의 새로운 후보에 더하고,
   상기 화상 처리 방법은,
   상기 화상 서치를 복수회 행하는 서치 처리와,
   제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득하는 취득 처리와,
   N회째의 상기 화상 서치로 구해진 제 N 후보 화상과, 상기 취득 처리에서 취득된 상기 상관 정보에 근거하여 상기 서브 후보 화상을 구하고, 상기 서브 후보 화상을, M회째의 상기 화상 서치용의 상기 예비 후보에 더하는 서브 탐색 처리를 포함하는,
   화상 처리 방법.
2. 제 1 항에 있어서,
   상기 상관 정보는, 상기 제 N 후보 화상과 상기 서브 후보 화상의 회전 각도차에 관한 정보를 포함하는,
   화상 처리 방법.
3. 제 2 항에 있어서,
   상기 모델 화상의 피사체의 회전 대칭성에 근거하여 상기 회전 각도차에 관한 정보를 생성하는 생성 처리를 더 포함하는,
   화상 처리 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   유저의 조작에 따라 상기 상관 정보를 결정하는 상관 정보 결정 처리를 더 포함하는,
   화상 처리 방법.
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   각각 상기 제 k 후보 화상 또는 상기 서브 후보 화상을 0도로부터 설정 각도 이하의 범위에서 단계적으로 회전시킨 화상인 복수의 회전 화상을, k+1회째의 상기 화상 서치용의 상기 예비 후보에 더하는 범위 확장 처리와,
   상기 설정 각도에 관한 정보를 취득하는 설정 처리를 더 포함하는,
   화상 처리 방법.
6. 제 5 항에 있어서,
   유저의 조작에 따라 상기 설정 각도를 결정하는 설정 각도 결정 처리를 더 포함하는,
   화상 처리 방법.
7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   N=1인,
   화상 처리 방법.
8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 서치 처리에서는, 상기 화상 서치를 3회 이상 행하는,
   화상 처리 방법.
9. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 화상 처리 방법은, 1개의 상기 모델 화상에 근거하여 상기 추출 화상을 탐색하는,
   화상 처리 방법.
10. 청구항 1∼3 중 어느 한 항에 기재된 화상 처리 방법을, 1 이상의 프로세서로 하여금 실행하게 하기 위한,
    비일시적 기록 매체에 저장된 프로그램.
11. 화상 서치를 복수회 행하고, 대상 화상 중에서, 모델 화상의 특징을 포함하는 화상인 추출 화상을 탐색하는 화상 처리 시스템으로서,
    k는 자연수의 변수로 하고, N, M은 자연수의 상수이고 M은 N보다도 큰 것으로 하고,
    1회째의 상기 화상 서치에서는, 제 1 압축률의 상기 대상 화상 중에서, 상기 제 1 압축률의 상기 모델 화상의 특징을 포함하는 제 1 후보 화상을 탐색하고, 상기 제 1 후보 화상을, 상기 추출 화상의 후보에 더하고,
    k+1회째의 상기 화상 서치에서는, 제 k 압축률보다도 압축률이 작은 제 k+1 압축률의 상기 대상 화상 중에서, k회째의 상기 화상 서치로 구해진 상기 추출 화상의 후보를 포함하는 k+1회째의 상기 화상 서치용의 예비 후보를 좁히고, k+1회째의 상기 화상 서치용의 상기 예비 후보 중에서, 상기 제 k+1 압축률의 상기 모델 화상의 특징을 포함하는 제 k+1 후보 화상을 탐색하고, 상기 제 k+1 후보 화상을, 상기 추출 화상의 새로운 후보에 더하고,
    상기 화상 처리 시스템은,
    상기 화상 서치를 복수회 행하는 서치 처리부와,
    제 N 후보 화상과, 서브 후보 화상의 상관을 나타내는 상관 정보를 취득하는 취득부와,
    N회째의 상기 화상 서치로 구해진 제 N 후보 화상과, 상기 취득부에서 취득된 상기 상관 정보에 근거하여 상기 서브 후보 화상을 구하고, 상기 서브 후보 화상을, M회째의 상기 화상 서치용의 상기 예비 후보에 더하는 서브 탐색부를 구비하는,
    화상 처리 시스템.

Images