KR20140097484A

KR20140097484A - Ｇｕｉ, 분류 장치, 분류 방법 및 기록 매체

Info

Publication number: KR20140097484A
Application number: KR1020147017756A
Authority: KR
Inventors: 요헤이 미네까와; 유지 다까기; 미노루 하라다; 다께히로 히라이; 료 나까가끼
Original assignee: 가부시키가이샤 히다치 하이테크놀로지즈
Priority date: 2011-12-28
Filing date: 2012-11-26
Publication date: 2014-08-06
Also published as: JP5719760B2; US10203851B2; CN104024838A; WO2013099487A1; JP2013137203A; CN104024838B; KR101888227B1; US20140331173A1

Abstract

클래스 정보가 부여되어 있지 않은 화상의 집합인 폴더를 계층적으로 표시하는 미부여 페인 영역과, 상기 미부여 페인 영역에 표시된 클래스 정보가 부여되어 있지 않은 화상을 표시하는 화상 페인 영역과, 클래스 정보가 부여되어 있는 화상을 표시하는 클래스 페인 영역을 구비하고, 상기 클래스 정보가 부여되어 있지 않은 화상에 대하여 외부로부터 클래스 정보가 입력되면, 그 입력된 클래스 정보가 표시되는 GUI이다.

Description

ＧＵＩ, 분류 장치, 분류 방법, 프로그램 및 분류 프로그램을 기억한 기억 매체{GUI, CLASSIFICATION DEVICE, CLASSIFICATION METHOD, PROGRAM, AND STORAGE MEDIUM ON WHICH CLASSIFICATION PROGRAM IS STORED}

본 발명은 반도체 웨이퍼 상을 촬상한 화상에 대한 GUI, 분류 장치, 분류 방법 및 프로그램을 기억한 기억 매체에 관한 것이다.

반도체의 제조 프로세스에 있어서, 수율을 향상시키기 위해서, 반도체 웨이퍼 상의 결함의 발생 원인을 재빠르게 구명하는 것이 중요해지고 있다. 현 상황, 반도체 제조 현장에 있어서는, 결함 검사 장치와 결함 관찰 장치를 사용하여 결함의 해석을 행하고 있다.

결함 검사 장치란 광학적인 수단 또는 전자선을 사용하여 웨이퍼를 관측하고, 검출된 결함의 위치 좌표를 출력하는 장치이다. 결함 검사 장치는 광범위를 고속으로 처리하는 것이 중요하기 때문에, 가능한 한 취득하는 화상의 화소 사이즈를 크게(즉 저해상도화) 하는 것에 의한 화상 데이터량의 삭감을 행하고 있고, 많은 경우, 검출한 저해상도의 화상으로부터는 결함의 존재는 확인할 수 있어도, 그 결함의 종류(결함종)를 상세하게 판별하는 것은 곤란하다.

그래서 결함 관찰 장치가 사용된다. 결함 관찰 장치란, 결함 검사 장치의 출력 정보를 사용하여, 웨이퍼의 결함 좌표를 고해상도로 촬상하고, 화상을 출력하는 장치이다. 반도체 제조 프로세스는 미세화가 진행하여, 거기에 따른 결함 사이즈도 몇십nm의 수준에 달하는 것도 있고, 결함을 상세하게 관찰하기 위해서는 수nm 수준의 분해능이 필요하다. 그로 인해, 최근에는 주사형 전자 현미경(SEM: Scanning Electron Microscope)을 사용한 결함 관찰 장치(리뷰 SEM)가 널리 사용되고 있다. 리뷰 SEM은, 결함 검사 장치가 출력한 결함 좌표를 사용하여, 웨이퍼 상의 결함의 고해상도 화상(결함 화상)을 자동 수집하는 ADR(Automatic Defect Review) 기능을 갖는다.

촬상된 SEM 화상은, 촬상된 결함의 종류 등에 기초하여 분류된다. 분류 작업에서는, 유저가 화상을 확인하고, 화상마다 유저가 분류하고자 하는 클래스(유저 클래스)를 부여한다. 이상의 클래스 부여 작업은 유저가 수동으로 행하는 경우가 많아, 수동 분류라고 칭한다. 결함 화상의 수동 분류를, 수동 결함 분류(MDC: Manual Defect Classification)라고 칭한다. 또한, SEM 화상의 분류에서는, 결함이 발생하기 쉬운 회로 패턴을 특정하는 것을 목적으로 하고, 화상 상의 결함부 및 결함부 주변의 회로 패턴에 기초하여 화상을 분류하는 경우도 있다.

최근 들어, 리뷰 SEM의 ADR의 스루풋이 향상하고 있는 점에서, 수집된 다량의 결함 화상보다, 결함종을 판별하는 작업을 자동화하는 기능도 제안되고 있다. 리뷰 SEM에는, 결함 화상으로부터 결함종을 자동으로 판별하고, 분류하는 ADC(Automatic Defect Classification) 기능을 탑재하고 있다.

자동 분류의 한 방법으로서, 화상 처리에 의해 결함 부위의 외관 특징량을 정량화하고, 신경망을 사용하여 분류하는 방법이 특허문헌 1(일본 특허 공개 평8-21803호)에 개시되어 있다. 자동 분류는 분류 레시피에 따라서 분류가 행하여진다. 분류 레시피에는, 화상 처리 파라미터 등의 각종 파라미터나, 분류해야 할 결함종의 정보(분류 클래스), 각 분류 클래스에 속하는 결함 화상(교시 화상) 등이 포함된다. 교시 화상은 자동 분류로 각 클래스의 분류 기준을 부여하기 위하여 필요하고, 기본적으로는 MDC에 의해 부여된다. MDC에 의한 분류 결과는 ADC의 성능에도 크게 영향을 미치는 점에서, 여전히 수동 분류는 중요한 위치에 있다.

또한, 화상 분류에 있어서는, 화상 처리에 의해 얻어지는 화상 특징량을 사용한 분류 방법으로서, 특허문헌 2(일본 특허 공표 제2008-516259호) 및 특허문헌 3(US 6,999,614)에는, 화상에 비감독분류를 행하고, 분류 결과에 대하여 일괄적으로 클래스 부여를 행하는 방법이 개시되어 있다.

일본 특허 공개 평8-21803호 일본 특허 공표 제2008-516259호 US 6,999,614

배경기술에서 설명한 수동 분류는, 촬상한 SEM 화상에 있어서의 결함 부위의 외관적인 특징이나, 결함 부위 또는 주변의 회로 패턴을 유저가 육안으로 확인하고, 사전에 정의된 복수의 결함 클래스로 분류하는 작업이다. 이 작업은, 복수의 다른 클래스의 화상이 혼재하는 다수의 화상 중에서, 유저가 각 클래스의 화상을 선택하고, 클래스를 부여할 필요가 있기 때문에, 유저 부하가 크고, 시간을 필요로 하는 것이 과제가 되고 있었다.

또한, 특허문헌 1에 개시한 기술에 의하면, 전술한 바와 같이 여전히 수동 분류는 중요한 위치에 있고, 특허문헌 2 및 3에 개시한 기술에 의하면, 분류 성능의 부족 등에 의해, 올바른 결과를 얻지 못하는 경우가 많다. 이로 인해, 유저에 의한 결과 확인과 수동에 의한 분류 결과 내의 화상을 클래스마다 분리하는 작업(수정 작업)이 필요해진다. 그러나, 이 수정 작업은 유저 부하가 크다고 하는 과제가 있었다.

그래서 본 발명의 목적은, 유저 부담이 적은 GUI, 분류 장치, 분류 방법, 프로그램 및 프로그램을 기억한 기억 매체를 제공하는 데 있다.

본 발명의 상기 및 기타의 목적과 신규의 특징은, 본 명세서의 기술 및 첨부 도면으로부터 밝혀질 것이다.

본원에 있어서 개시되는 발명 중, 대표적인 것의 개요를 간단하게 설명하면, 다음과 같다.

(1) 클래스 정보가 부여되어 있지 않은 화상의 집합인 폴더를 계층적으로 표시하는 미부여 페인 영역과, 상기 미부여 페인 영역에 표시된 클래스 정보가 부여 되어 있지 않은 화상을 표시하는 화상 페인 영역과, 클래스 정보가 부여되어 있는 화상을 표시하는 클래스 페인 영역을 구비하고, 상기 클래스 정보가 부여되어 있지 않은 화상에 대하여 외부로부터 클래스 정보가 입력되면, 그 입력된 클래스 정보가 표시되는 GUI이다.

(2) 피검사 대상물의 표면에 전자선을 조사하고, 그 피검사 대상물의 표면으로부터 발생한 전자를 검출하고, 검출한 전자를 화상으로 변환하는 화상 촬상부와, 상기 화상 촬상부에서 변환한 화상을 처리하여 그 화상의 특징량을 산출하는 화상 특징 산출부와, 상기 화상 특징 산출부에 의해 산출한 그 화상의 특징량을 사용하여 그 화상을 포함하는 폴더의 계층 구조를 생성하는 계층 구조 생성부와, 상기 계층 구조 생성부에서 생성된 계층 구조의 폴더에 대하여 외부로부터 클래스 정보가 입력된 경우에 그 폴더의 화상에 대하여 클래스 정보를 부여하는 클래스 정보 부여부를 구비하는 처리부와, 청구범위 제1항 내지 제15항 중 어느 한 항에 기재된 GUI를 구비하는 분류 장치이다.

본 발명에 따르면, 유저 부담이 적은 GUI, 분류 장치, 분류 방법, 프로그램 및 프로그램을 기억한 기억 매체를 제공할 수 있다.

도 1은 본 발명의 실시 형태 1에 관한 분류 장치의 구성을 도시하는 구성도이다.
도 2는 본 발명의 실시 형태 1에 관한 분류 장치의 화상 촬상 장치의 구성을 도시하는 구성도이다.
도 3은 본 발명의 실시 형태 1에 관한 분류 장치의 계층 구조를 설명하기 위한 설명도이다.
도 4는 특징 공간 상의 각 클래스의 화상에 있어서의 특징량의 분포의 설명도이다.
도 5는 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 하층으로부터 계층 구조를 작성하는 경우의 흐름도이다.
도 6은 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 상층으로부터 계층 구조를 작성하는 경우의 흐름도이다.
도 7은 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 각 화상에 클래스 정보를 부여하는 처리 흐름도이다.
도 8은 본 발명의 실시 형태 1에 관한 분류 장치의 GUI의 일례이다.
도 9는 본 발명의 실시 형태 1에 관한 분류 장치의 GUI의 일례이다.
도 10은 본 발명의 실시 형태 2에 관한 분류 장치의 GUI의 일례이다.
도 11은 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 화상 페인에서 지정된 1매 이상의 화상에 클래스 정보를 부여하는 처리 흐름도이다.
도 12는 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 상층으로부터 계층 구조를 작성하는 경우의 재기 처리부의 흐름도이다.

실시예 1

이하, 본 발명의 실시 형태를 도면에 기초하여 상세하게 설명한다. 또한, 실시 형태를 설명하기 위한 전 도면에 있어서, 동일한 부재에는 원칙으로서 동일한 부호를 부여하고, 그 반복의 설명은 생략한다. 본 실시예에서는 SEM을 구비한 화상 촬상 장치로 촬상한 결함 화상을 분류할 경우를 대상으로 설명하는데, 본 발명에 따른 결함 분류 시스템의 입력은 SEM 화상 이외이어도 되고, 광학식의 수단이나 이온 현미경 등을 사용하여 촬상한 결함 화상이어도 된다.

도 1은, 본 발명의 실시 형태 1에 관한 분류 장치의 구성을 도시하는 구성도이다. 본 분류 장치는, 화상 촬상 장치(102)가 통신 수단(103)을 통해 접속되는 구성으로 되어 있다.

화상 촬상 장치(102)는 해당 부위의 화상을 취득하는 장치이다. 화상 촬상 장치(102)의 상세한 것은, 도 2를 사용하여 나중에 설명한다. 분류 장치(101)는 화상 촬상 장치(102)로 얻어진 화상에 대하여 클래스 정보 부여하기 위한 정보를, 입출력부(104)에 출력하고, 유저가 104에 입력한 정보에 기초하여 화상에 클래스 정보를 부여하는 기능을 갖는다. 입출력부(104)는 조작자에 대한 데이터의 제시 및 조작자로부터의 입력을 접수하기 위한 키보드·마우스·디스플레이 장치 등으로 구성된다.

이 분류 장치(101)의 상세를 이하에 설명한다.

분류 장치(101)는 장치의 동작을 제어하는 전체 제어부(105), 화상 촬상 장치(102)로부터 입력된 화상이나 부여된 클래스 정보 등을 기억하는 기억부(106), 유저에게 제시하는 정보를 작성하거나, 유저 입력에 기초하여 각 화상에 클래스 정보를 부여하는 처리부(107), 입출력부(104)나 통신 수단(103)을 개재한 데이터 전송을 위한 입출력 I/F부(108), 프로그램 등을 기억하는 메모리(109), 기억부(106)나 처리부(107)나 메모리(109)나 전체 제어부(105)나 입출력 I/F(108)의 데이터 통신을 행하는 버스(116)로부터 된다.

기억부(106)에는, 화상 촬상 장치(101)로부터 촬상된 화상을 기억하는 화상 기억부(110), 본 장치(101)에 의해 화상 기억부(110)에 기억된 화상마다 부가된 클래스 정보를 보존하는 클래스 정보 기억부(111), 입출력부(104)에 표시하는 계층 구조의 정보를 기억하는 계층 구조 기억부(112)가 포함된다. 또한, 처리부(107)에는 화상 기억부(110)에 기억되어 있는 화상의 특징을 정량값(특징량)으로서 산출하는 화상 특징 산출부(113), 화상 특징 산출부(113)에서 산출된 특징량으로부터, 계층 구조 기억부(112)에 보존하는 계층 구조의 정보를 생성하는 계층 구조 생성부(114), 입출력부(104)에 입력된 유저 입력에 기초하여 화상에 클래스 정보를 부여하는 클래스 정보 부여부(115)가 포함된다. 또한, 계층 구조의 상세에 대해서는, 도 3, 도 4를 사용하여 후술한다. 처리부(107)의 처리 수순이나 방법에 대해서는 후술한다.

분류 장치(101)의 입출력부(104)에는 기록 매체(도시하지 않음)가 접속 가능하게 되어 있고, 분류 장치(101)에서 실행되는 프로그램을 이 기록 매체로부터 판독하여, 분류 장치(101)에 로드할 수 있는 구성으로 되어 있다.

화상 촬상 장치(102)로부터 출력된 화상 데이터는, 입출력 I/F(108) 및 전체 제어부(105)를 통해 화상 기억부(110)에 보내지고, 화상 기억부(110) 내에서 판독 가능하도록 기억된다. 수동 분류 용이화 프로그램은 전체 제어부(105)에 의해, 메모리(109) 또는 상기 기억 매체로부터 판독된다. 전체 제어부(105)는 프로그램에 따라 처리부(107)를 제어하고, 기억부(106)에 기억되어 있는 화상 등의 정보나, 메모리(109)에 기억되어 있는 중간 데이터를 입출력 I/F(108)를 통해 입출력부(104)에 도 8에서 나타내는 GUI를 표시하고, 입출력부(104)에서 유저로부터의 입력을 접수한다. 또한, 입출력부(104)에 입력된 유저 입력은, 입출력 I/F(108)를 통해 전체 제어부(105)에 보내진다. 전체 제어부(105)는 프로그램에 따라 처리부(107)에서 기억부(106)에 기억되어 있는 화상 등의 정보나, 메모리에 기억되어 있는 중간 데이터를 처리함으로써 화상에 클래스 정보를 부여한다. 분류 장치(101) 내의 데이터 송수신은 버스(116)를 통해 행하여진다.

도 2는, 본 발명의 실시 형태 1에 관한 분류 장치의 화상 촬상 장치의 구성을 도시하는 구성도이다. 화상 촬상 장치(101)는 SEM 칼럼(201), SEM 제어부(208), 입출력 I/F(209), 기억부(211), 부수 정보 작성부(214)가 통신 수단(215)을 통해 접속되는 구성으로 되어 있다. 입출력 I/F(209)에는, 입출력부(210)가 접속되고, 조작자에 대한 데이터의 입출력이 행하여진다.

SEM 칼럼(201)은 전자원(202), 시료 웨이퍼(207)와 탑재하는 스테이지(206), 전자원(202)으로부터 시료 웨이퍼(207)에 대하여 1차 전자 빔을 조사한 결과 발생하는 2차 전자나 후방 산란 전자를 검출하는 복수의 검출기(203, 204, 205)를 구비한다. 또한, 이밖에, 1차 전자 빔을 시료 웨이퍼(207)의 관찰 영역에 주사하기 위한 편향기(도시하지 않음)나, 검출 전자의 강도를 디지털 변환하여 디지털 화상을 생성하는 화상 생성부(도시하지 않음) 등도 포함된다. 또한, 검출기(203)에 의해 2차 전자를 검출한 화상을 SE상, 검출기(204) 및 (205)에 의해 후방 산란 전자를 검출한 화상을 L상, R상이라고 칭한다.

기억부(211)는 SEM 촬상 조건인, 가속 전압이나 프로브 전류, 프레임 가산수(동일 개소의 화상을 복수매 취득하고, 그들의 평균 화상을 작성함으로써 샷 노이즈의 영향을 저감하는 처리에 사용하는 화상의 수), 시야 사이즈 등을 기억하는 촬상 레시피 기억부(212)와 취득 화상 데이터를 보존하는 화상 메모리(213)를 포함한다.

부수 정보 생성부(214)는 각 화상 데이터에 대하여 부수되는 정보, 예를 들어 촬상 시의 가속 전압, 프로브 전류, 프레임 가산수 등의 촬상 조건, 촬상 장치를 특정하는 ID 정보, 화상 생성을 위하여 사용한 검출기(203 내지 205)의 종류나 성질, 웨이퍼의 ID 및 공정, 화상을 촬상한 일자나 시간 등의 정보를 작성하는 기능을 갖는다. 웨이퍼의 ID나 공정의 정보는 입출력부(210) 등으로부터 유저에 의해 입력되어도 되고, 웨이퍼의 표면 등으로부터 읽어들이거나, 웨이퍼가 저장되어 있는 상자(도시하지 않음) 등으로부터 판독해 와도 된다. 작성된 부수 정보는, 입출력 I/F(209)를 통해 화상 데이터가 전송되는 때에, 그 화상 데이터에 맞춰서 전송된다.

SEM 제어부(208)는 화상 취득 등의, 이 화상 촬상 장치(102)에서 행하는 모든 처리를 제어하는 부위이다. SEM 제어부(208)로부터의 지시에 의해, 시료 웨이퍼(207) 상의 소정의 감찰 부위를 촬상 시야에 넣기 위한 스테이지(206)의 이동, 시료 웨이퍼(207)에의 1차 전자 빔의 조사, 시료로부터 발생한 전자의 검출기(203 내지 205)에서의 검출, 검출한 전자의 영상화 및 화상 메모리(213)에의 보존, 부수 정보 작성부(214)에서의 촬상 화상에 대한 부수 정보의 작성 등이 행하여진다. 조작자에게서의 각종 지시나 촬상 조건의 지정 등은, 키보드, 마우스나 디스플레이 등으로부터 구성되는 입출력부(210)를 통하여 행하여진다.

이하, 도 3, 도 4를 이용하여, 입출력부(104)에서 유저에게 표시하는 계층 구조에 대하여 설명한다.

도 3은 발명의 실시 형태 1에 관한 분류 장치의 계층 구조 설명도이다.

도 3은 GUI에 표시되는 계층 구조의 표시예이다. 301은 화상의 집합(이하, 폴더)을 나타내고, 이들 폴더가 계층적으로 배치(접속)되어 있다. 또한, 최상층의 폴더는 루트 폴더라고 칭한다. 302는 폴더명 및 폴더에 포함되는 화상수 등의 정보(이하, 라벨)를 나타내고 있다. 각 폴더에 포함되는 화상은, 특징이 유사한(즉, 특징량이 유사한 값이 되는) 화상으로 한다. 도 3의 예에서는, 루트 폴더인 라벨ALL의 폴더의 하층에 라벨A의 폴더와 라벨B의 폴더가 접속되고, 라벨A의 하층에 라벨A-A와 라벨A-B의 폴더가 접속되는 구조이다. 여기서, 라벨A-A와 라벨A-B의 폴더는 같은 층으로 한다. 또한, 라벨A와 라벨B의 폴더도 마찬가지로 동일한 층의 폴더이다. 도 3에서는 폴더A 내의 하위 폴더의 계층 깊이는 동일한데, 계층의 깊이는 동일 폴더 내에서 상이해도 된다.

도 4는 도 3에서 나타낸 폴더에 포함되는 화상의 특징량 공간 상의 각 클래스의 화상에 있어서의 특징량의 분포의 설명도이다. 여기에서는, 설명을 위해 특징량 공간을 2차원으로 표현하고 있지만, 2차원의 특징량 공간에 한정하는 것이 아니다. 도 4에서 나타낸 바와 같이, 상층의 폴더는 하층의 폴더 특징량 공간을 포함하는 것으로 한다. 예를 들어, 라벨A의 폴더는, 하층의 라벨A-A와 라벨A-B의 폴더의 특징량 공간을 포함한다. 즉, 상층의 폴더에는, 하층의 폴더의 화상이 포함된다.

도 4의 라벨A 및 B의 폴더에 포함되는 화상(401)의 특징 공간 상에 있어서의 분포의 일례도 함께 나타낸다. 또한, 설명을 위해, 화상(401)의 우측 상단부에 클래스명(클래스1 내지 3)을 나타내고 있다. 라벨A의 폴더에는 클래스1과 클래스2의 화상이 혼재하고 있다. 그러나, 하층의 라벨A-A 및 A-B의 폴더에는 각각 클래스1, 클래스2의 단일 클래스의 화상만이 포함된다. 라벨B의 폴더에는, 클래스3의 단일 클래스의 화상만이 포함된다.

이상에서 설명한 대로, 계층 구조는, 계층이 깊어질수록, 폴더(301) 내에 그 폴더에 포함되는 1매 이상의 화상에서 차지하는 특정한 클래스의 화상 비율이 높아지는 구조로 된다. 여기서, 특정한 클래스의 화상 비율이란, 비감독분류에 의해 특정한 클래스에 할당된 화상의 클래스 비율을 가리킨다.

또한, 화상 특징 산출부(113)에서 산출하는 특징량은, 분류하고자 하는 클래스의 판정 기준(분류의 목적)에 맞춰서 변경해도 된다. 예를 들어, 화상 중의 결함의 종류를 클래스로서 부여하고 싶을 경우에는, 결함 부위에 있어서의 휘도값이나 결함의 크기, 원형도, 요철의 정도 등, 인간이 결함을 판정하는 데 있어서 판단의 기준으로 하는 특징을 정량값으로 하여 산출한 것으로 하면 된다. 또한, 화상 중의 회로 패턴에 기초하여 클래스를 부여하고자 하는 경우에는, 회로 패턴의 밀도나, 형상, 입체 구조 등을 정량화한 값을 사용해도 된다. 회로 패턴에 기초하여 클래스를 부여할 경우, 회로 패턴의 밀도나, 형상, 입체 구조 등의 정보로서 설계 데이터를 사용해도 된다. 이외에는, 일반 물체 인식에서 사용되는 SURF(Speeded Up Robust Features) 등의 국소 특징량을 사용해도 된다.

또한, 분류의 목적(분류하고자 하는 클래스의 판정 기준)을 유저가 GUI에 의해 결정하면, 미리 정한 조건에 기초해 어느 특징을 사용할 지는 자동으로 결정되게 되어 있어도 되고, 또한, 사용하는 특징 자체를 유저가 선택하게 되어 있어도 된다.

ADC의 분류 레시피(작성 시의 MDC를 목적으로 하는 경우, ADC의 분류 처리에서 사용하는 특징량을 이용하는 방법도 생각할 수 있다.

또한, ADC와 다른 특징량을 이용해도 된다. 일반적으로 ADC의 특징량은, 고정밀도인 자동 분류를 행하기 위해서, 특징량 산출 전에 특징량 산출 파라미터가 엄밀한 조정을 행하는 것이 전제가 되어 있을 경우가 많다. 상술한 국소 특징량 등을 사용함으로써 사전에 엄밀한 특징량 산출 파라미터 조정을 필요로 하지 않게 된다.

또한, 이상으로 설명한 특징량을 조합하여 사용해도 된다.

사용하는 특징량은 GUI 상 등에서 유저에게 지정시키는, 텍스트 파일 등에 정의해 두는 등의 방법으로 지정하면 된다.

상술한 계층 구조는, 화상 촬상 장치(102)에 의해 촬상된 화상을 사용하여 도 1에 기재된 계층 구조 생성부(114)에서 생성되어, 계층 구조의 정보가 계층 구조 기억부(112)에 기억된다. 계층 구조의 정보란, 폴더에 포함되는 화상의 정보나 폴더의 접속 관계(상층, 하층, 동일한 층 등의 정보) 등, 계층 구조를 표시하기 위하여 필요한 정보이다.

이하, 계층 구조 생성부(114)의 처리에 대하여 설명한다. 계층 구조는, 비감독분류 방법의 1종인 계층적 클러스터링 등의 방법을 사용하여 최하층으로부터 작성하는 방법을 생각할 수 있다.

도 5는 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 하층으로부터 계층 구조를 작성하는 경우의 흐름도이다.

S501에서는, 화상 특징 산출부(113)에서, 도 1의 화상 촬상 장치(102)로 촬상된 각 화상에 대하여 특징량을 산출한다. 여기에서는 화상의 일부를 사용하여 특징량 산출을 행해도 되고, 모두를 사용하여 행해도 된다.

S502에서는, 최하층의 폴더를 화상수만큼 생성하고, 각 화상에 최하층의 폴더를 할당한다. 또한, 여기에서는 화상 1매에 대하여 최하층의 폴더를 하나 할당하는 방법을 설명했지만, 화상끼리를 비감독분류(예를 들어 k-means 방법 등)에 의해 특징이 가까운 복수 화상을 집합으로서 통합해 두고, 각 집합의 복수 화상을 최하층의 폴더 하나에 통합하여 할당해도 된다. 여기서, 미리 화상끼리를 비감독분류에 의해 복수 화상의 집합으로서 통합해 둔 경우에는, 각 화상에 할당하는 폴더수가 적어도 되기 때문에, 메모리의 크기가 적어도 된다. 또한, 후술하는 S504에서 행하는 폴더 특징량의 거리의 계산량이 적어도 된다.

S503은 처리의 루프이며, S504 내지 S506의 처리가, S506의 판정 조건이 만족될 때까지 반복 실행된다.

S504에서는, 최상층의 폴더의 모든 조합에 대하여 폴더 특징량의 거리를 계산한다. 거리는 특징량의 유클리드 거리 등으로서 계산하면 된다. 또한, 이하에서는, 폴더의 조합을 두개의 폴더 조합으로서 설명하는데, 세개 이상의 폴더의 조합에 대해서도 마찬가지로 처리하는 것이 가능하다. 여기서, 최상층의 폴더란, S505에서 접속한 폴더 중에서 최상층의 폴더이다(즉, 하층에 접속된 폴더는 거리 계산의 대상 외로 함). 또한, S505의 처리가 실행되어 있지 않은 미접속의 폴더는 최상층의 폴더로서 취급하고, 거리 계산의 대상으로 한다. 또한, 폴더 특징량이란 폴더 내에 있는 화상의 특징량으로부터 산출한 폴더를 대표하는 특징량이다. 예를 들어, 폴더에 포함되는 화상에 있어서의 특징량의 평균값이나, 특징량의 평균값에 가장 가까운 화상의 특징량을 폴더 특징량으로 하면 된다. 폴더 특징량의 거리가 가깝다는 것은, 폴더에 포함되는 화상이 유사한 것을 의미한다.

S505에서는, 폴더 특징량의 거리가 가장 가까운 폴더의 조합 상층에 새로운 폴더를 생성하고, 그들의 폴더를 접속한다. 이때, 거리가 가장 가까운 폴더의 조합에 있어서의 두개의 폴더를 같은 층으로 하고, 생성한 새로운 폴더의 하층에 접속한다. 여기에서는, 거리가 가장 가까운 두개의 폴더를 같은 층으로 하기로 했지만, 생성하는 새로운 폴더의 개수는 하나에 한하지 않고, 미리 정한 복수조의 폴더 조를 같은 층으로 하여 새로운 폴더를 생성하는 것으로 해도 된다. 예를 들어 생성하는 폴더수를 3으로 했을 경우, 폴더 특징량의 거리가 가까운 쪽부터 3개의 폴더 조에 대하여 새로운 폴더를 생성한다. 생성하는 새로운 폴더의 개수는 유저가 설정하는 것일 수도 있고, 미리 폴더 특징량의 거리의 임계값을 정해 두고 임계값보다 거리가 짧은 폴더 조에 대해서는 모두 새로운 폴더를 생성하는 것으로 해도 된다.

S506에서는, 계층 구조 생성의 종료 판정 처리이며, 종료로 판정된 경우, S503의 루프(1)로부터 빠진다. 종료 판정의 방법으로서는, 최상층의 폴더의 수가 미리 정해진수 이하인지 여부 등으로부터 종료를 판정하면 된다. 또한, 규정수는 미리 유저에 의해 설정되어 있어도 된다.

S507에서는, 루트 폴더를 생성하고, 루트 폴더의 하층에 최상층의 폴더를 서로 동일한 층의 폴더로서 접속한다.

또한, S505에 있어서, 특징량의 분포로부터, 또한 상층 폴더를 생성할 지의 여부의 판정을 행해도 된다. 예를 들어, 상층 폴더 생성 전과 생성 후의 평가값을 비교하고, 값이 개선하는 경우에 상층 폴더를 생성하고, 개선하지 않을 경우에는 상층 폴더를 생성하지 않는 등의 방법으로 행하면 된다. 폴더에 포함되는 특징량의 분산의 평균값이나 베이스 정보량 기준 등을 평가값으로 하면 된다. 또한, 평가값의 증분이 미리 정한 임계값 이상인 경우에 상층 폴더를 생성하는 것으로 해도 된다. 여기서, 상층 폴더를 생성하지 않는 것으로 판단된 경우, 상층의 폴더는 생성하지 않고, 폴더 특징량이 가장 가까운 폴더의 조합에 있어서의 두개의 폴더를 직접 루트 폴더에 접속한다. 그 경우, 그들의 폴더는 S504에 있어서 거리 계산의 대상 외로 한다. 또한, S506의 종료 판정에서는, S504에 있어서 거리 계산의 대상으로 하는 폴더의 수가 1, 또는 미리 정해진 수 이하로 된 경우에 종료하게 하면 된다. 또한, 생성된 폴더의 개수나 각 폴더의 화상수를 유저가 GUI 등에 의해 확인하고, 한층 더 상위 폴더를 생성할 지 결정할 수 있도록 해도 된다.

또한, 상기의 설명에서는 S501에서, 화상 각각에 대하여 특징량을 산출하고, S504에서 각 폴더에 있어서의 특징량을 산출하고, 폴더 특징량의 거리를 산출하는 방법을 일례로서 설명하였다. 그러나, 각 화상에 있어서의 특징량 산출 및 폴더 특징량의 산출은 필수가 아니고, S504에서 폴더 특징량의 거리가 얻어지면 이 플로우는 실행 가능하다. 예를 들어, 화상 특징 산출부(113)에서, 폴더 특징량의 거리의 계산 대상인 두개의 폴더에 있어서의 대표 화상에 대하여 정규화 상호 상관(NCC: Normalized Cross-Correlation) 등을 계산하고, 그 값으로부터 거리를 계산해도 된다. 이 경우, 거리는 NCC의 절댓값이 클수록 가까운 것으로 하면 된다. 또한, 화상 각각에 대하여 특징량을 산출하여 폴더 특징량을 산출하지 않아도, 각 폴더의 대표 화상의 특징량을 폴더 특징량으로서 사용해도 된다. 여기서, 대표 화상은, 각 폴더에 분류되어 있는 복수 화상 중, 그럴 듯한 화상이나 평균적인 화상을 선택하면 된다.

또한, 비감독분류 방법의 1종인 k-means 등의 방법을 사용하여 루트 폴더로부터 순서대로 계층 구조를 생성하는 방법도 생각할 수 있다. 도 6 및 도 12에, 상층으로부터 계층 구조를 작성하는 경우의 흐름도 일례를 나타낸다. 도 6은, 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 상층으로부터 계층 구조를 작성하는 경우의 흐름도, 도 12는, 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 상층으로부터 계층 구조를 작성하는 경우의 재기 처리부의 흐름도이다.

S601에서는, S501과 마찬가지로, 화상 특징 산출부(113)에서 각 화상에 대하여 특징량을 산출한다.

S602에서는, 루트 폴더를 생성하고, 대상으로 하는 화상을 루트 폴더에 할 당한다.

S603은 하층의 폴더 작성을 행하는 재기 처리이며, 상세한 것은 도 12에 나타낸다. 이하, 도 12의 S604 내지 S607의 처리에 대하여 설명한다.

S604에서는, 하층 폴더 생성을 행하는 대상으로 하는 폴더(상층 폴더) 내의 화상에 대하여 비감독분류를 행한다. 분류는, k-means 등의 방법에 의해 행하면 된다. k-means에서는 분류수를 미리 지정할 필요가 있지만, 유저에 의해 미리 설정하는 등에 의해 지정해도 되고, 특징량의 분포 등으로부터 분류수를 자동 결정해도 된다. 또한, 분류수의 설정이 필요없는 방법으로서 x-means 등의 방법을 사용해도 된다.

S605에서는, S604의 분류수만큼의 폴더를 생성하고, 각 분류에 대응시켜, 각 화상을 분류가 대응하는 폴더에 할당한다.

S606은, S607 및 S603의 처리를 S604의 분류수만큼 실행하는 루프이며, 각 분류에 대응하는 폴더 각각에 대하여 처리를 실행한다. 처리를 실행하는 각 분류에 대응하는 폴더를 대상 폴더로 칭한다.

S607은, 대상 폴더의 하층 폴더를 생성할 지 여부를 판단하는 처리이다. 판단 방법으로서, 대상 폴더에 포함되는 화상수가 미리 정해진 수 이하이거나, 대상 폴더에 포함되는 화상의 유사도(화상 간의 거리)가 임계값 이하이면 하층 폴더를 생성하지 않는 등의 방법이나, 대상 폴더에 포함되는 화상을 유저가 GUI 등으로 확인하고, 하층 폴더를 생성할 지 여부를 판단하는 방법을 생각할 수 있다. S607에서 하층 폴더를 생성하는 것으로 판정한 경우에는 S603의 처리(즉, 도 12의 처리)를 대상 폴더에 대하여 실행한다. 즉, 모든 폴더에 대하여 더 이상 하층 폴더를 생성하지 않는 것으로 하는 판단이 이루어질 때까지 반복한다.

이상에서 설명한 방법에 의해, 폴더의 계층 구조를 생성하고, 유저에게 표시하는 것이 가능하게 된다. 일반적으로, 비감독분류에서는 클래스의 기준이 존재하지 않기 때문에, 분류 결과에 다른 클래스의 화상이 혼재할 경우가 많다. 특허문헌 2 및 3에서 설명되어 있는 방법에서는, 비감독분류의 분류 결과에 대하여 일괄적으로 클래스를 부여하는 것이며, 분류 결과 내의 화상을 클래스마다 분리하는 작업(수정 작업)이 필요하다. 이에 반해 본 발명의 계층 구조에서는, 폴더에 다른 클래스의 화상이 혼재하고 있었을 경우, 유저에게 하층의 폴더에 포함되는 화상을 확인시키고, 단일 클래스의 화상만을 포함하는 폴더를 탐색·지정시키는 것이 가능하다. 단일 클래스의 화상만을 포함하는 폴더에 클래스 정보를 일괄 부여함으로써, 정확한 클래스 정보 부여를 행하는 것이 가능하다. 또한, 단일 클래스의 화상만을 포함하는 폴더를 탐색하는 작업에 의해 수정 작업이 완료하기 때문에, 수정 작업을 단시간, 또한 용이하게 실현가능하다.

도 8은 본 발명의 실시 형태 1에 관한 분류 장치의 GUI의 일례이다. 도 8의 예에서는, 미부여 페인(801), 화상 페인(802), 클래스 페인(803)의 세개 페인이 GUI 화면 내에 표시되어 있다. 이하, 각 페인에 대하여 설명한다.

미부여 페인(801)에는, 도 3 및 도 4에서 설명한 계층 구조가 표시되어 있다. 계층 구조는, 도 3 및 도 4를 사용하여 설명한 바와 같이, 계층이 깊어질수록, 폴더(301) 내에 그 폴더에 포함되는 1매 이상의 화상에서 차지하는 특정한 클래스의 화상 비율이 높아지는 구조이다. 또한, 폴더(301)에는 각 폴더에 포함되는 화상(예를 들어 대표 화상 등)을 표시해도 된다. 또한, 유저 지시에 의해, 폴더(301)를 임의의 계층에 추가해도 되고, 삭제해도 된다.

화상 페인(802)에는, 유저가 미부여 페인 상에서 선택한 폴더에 포함되는 화상(401)의 일람을 표시한다. 화상과 함께 화상의 ID나 특징량 등의 정보(804)를 함께 표시해도 된다. 폴더 선택은, 유저가 마우스로 미부여 페인의 폴더(301)를 클릭하는 등의 입력에 의해 행하여지면 된다. 807은 유저가 선택한 폴더를 판별 할 수 있도록 하기 위한 프레임이다. 프레임을 표시하는 것에 한정하지 않고, 폴더의 배경색을 변경하고, 폴더의 아이콘을 변경하는 등에 의해 유저가 선택한 폴더를 판별할 수 있도록 해도 된다. 여기에서는, 하나의 폴더만 선택하고 있지만, 복수 폴더를 선택하고, 화상 페인(802)에는 선택한 복수 폴더마다 화상이 표시되게 되어 있어도 된다. 복수 폴더의 화상을 한번에 표시함으로써, 유저가 복수 폴더의 화상을 비교해 보아서, 더 하위 폴더를 생성할 지를 결정하거나, 예를 들어 폴더A의 화상을 폴더B에 이동하는 등, 폴더의 변경을 행할 수 있게 되어 있어도 된다. 또한, 폴더A와 폴더B와 같이 다른 폴더로서 나뉘어져 있던 화상을 하나의 폴더에 통합할 수 있게 되어 있어도 된다. 또한, 각 폴더의 대표 화상을 표시할 수 있도록 하고, 이것에 기초하여 신규 폴더의 작성이나 이미 있는 폴더의 삭제를 행할 것인지 여부를 결정해도 된다.

클래스 페인(803)에는, 부여 완료된 클래스 정보(클래스명, 클래스 ID, 클래스 정보가 부여된 화상수 등)가 표시된 클래스 라벨(805)과 각 클래스 정보가 부여된 대표적인 화상(806)이 표시된다. 대표적인 화상이란, 클래스 정보가 부여된 화상을 대표하는 화상이며, 예를 들어 클래스1의 대표 화상은, 클래스1의 클래스 정보가 부여된 화상에 있어서의 특징량의 평균에 가장 가까운 특징량의 화상으로 하면 된다. 클래스 정보가 부여된 화상을 확인하는 수단을 유저에게 제공하기 위해서, 클래스 페인(803)의 대표 화상(806)을 클릭하는 등의 조작에 의해, 대표 화상(806)에 대응하는 클래스 정보가 부여된 화상을 화상 페인(802)에 일람으로 표시해도 된다.

또한, 유저가 희망했을 경우에는, 클래스 페인(803)에 표시되어 있는 화상을 상기 클래스가 다른 화상으로 변경할 수 있어도 된다.

808은 클래스 정보 부여를 종료하는 버튼이다.

809는, 화상 페인(802)에 표시되어 있는 화상을 재배열하는 버튼이다. 화상 페인 상에 표시된 화상을 선택해 두고, 그 선택된 화상에 유사한 순서대로 화상 페인(802) 상의 화상을 재배열해도 된다. 유사한 화상순으로 재배열하기 위해서는, 선택된 화상과 화상 페인(802) 상의 화상 각각에 대한 특징량의 거리를 계산하고, 거리가 가까운 순서대로 재배열하면 된다.

또한, 선택은 복수 화상이어도 되고, 그 경우에는 선택된 화상의 평균 특징량이나, 대표 화상의 특징량과 화상 페인(802) 상의 화상 각각에 대한 특징량의 거리를 계산하고, 거리가 가까운 순서대로 재배열하면 된다.

또한, 어느 화상도 선택하지 않고, 해당 폴더 내의 화상의 특징량의 평균값에 가까운 화상으로부터 순서대로 표시하도록 해도 된다.

또한, 클래스 페인(806) 상의 클래스 정보 부여 완료 클래스의 대표 화상(806) 등을 선택해 두고, 클래스 부여 완료 클래스의 화상과 유사한 순서대로, 화상 페인(802)의 화상을 재배열해도 된다. 또한, 유사한 순이 아니고, 유사하지 않은 순서대로 재배열해도 된다.

또한, 미부여 페인상의 폴더(301)를 선택해 두고, 선택된 폴더 내 화상을, 폴더 내 화상에 유사하지 않은 순서대로 재배열해도 된다. 예를 들어, 폴더 내의 화상의 특징량의 평균값에 가장 먼 화상으로부터 순서대로 재배열하면 된다. 이에 의해, 폴더 내에 혼재하는 클래스가 다른 화상(빗나간 화상)을 통합하여 가까운 영역에 표시할 수 있다. 이에 의해, 유저가 더 하위 폴더를 생성할 것인지 여부를 정해도 된다.

이상, 화상을 재배열하는 버튼(809)에 의해, 유사한 화상(즉, 동일 클래스의 화상), 또는, 빗나간 화상(즉, 다른 클래스의 화상)이 한데 모여서 근처에 표시되기 때문에, 동일 클래스의 화상, 또는 빗나간 화상의 일괄 선택을 용이화하는 기능을 유저에게 제공한다.

810은, 화상 페인(802)이나 클래스 페인(803)에 표시하는 화상의 종류가 선택 가능한 콤보 박스이다. SE상, L상, R상 등을 선택 가능하게 한다. 또한, SE상, L상, R상 등의 혼합 화상도 선택 가능하게 하고, 혼합 화상을 화상 페인(802)이나 클래스 페인(803) 등에 표시해도 된다.

811은 화상 페인(802)에 대표 화상을 표시하기 위한 체크 박스이다. 체크 박스에 체크가 들어 있을 경우, 선택 중의 폴더(807)의 하층 폴더의 대표 화상이 화상 페인(802)에 일람으로 표시된다. 대표 화상을 표시하고 있는 경우에는, 화상의 배경색을 변경하는 등을 하고, 대표 화상을 표시하고 있는 것을 유저에게 제시해도 된다. 폴더의 대표 화상은, 폴더에 포함되는 화상의 평균 특징량에 가장 가까운 특징량의 화상 등으로 하면 된다. 또한, 계층 구조가 특정한 층의 대표 화상을 일람에서 화상 페인(802)에 표시해도 된다. 예를 들어, 도 8의 예에서 제2층을 표시하는 경우에는, 폴더 라벨A, B, C 등의 대표 화상을 표시하면 된다. 제3층의 경우에는, 폴더 라벨A, B, C의 하층의 폴더의 대표 화상을 일람에서 표시한다. 표시하는 층 지정은 콤보 박스(도시하지 않음)나, 슬라이드 바(도시하지 않음) 등으로 행하면 된다. 여기서, 한번에 표시하는 화상의 층 깊이는 서로 상이해도 되고, 유저 등에 의해 임의로 선택할 수 있다.

812는 각 페인에 있어서의 스크롤바이다. 각 페인의 화면 내에 표시할 수 없는 화상이나 계층 구조는, 스크롤바(812) 등을 사용하여 표시하면 된다.

813은 계층 구조를 생성하거나, 소트 버튼(809)에 의해 화상을 재배열하는 데도 사용하는, 1개 이상의 특징량을 포함하는 특징량의 조합(특징량 세트)을 선택하는 콤보 박스이다. 특징량 세트는 분류의 목적에 따라서 변경된다. 도 8의 예에서는, 결함 분류를 목적으로 한 특징량이 선택되어 있다. 또한, 어느 특징량을 사용할 지를 설정 가능한 체크 박스(도시하지 않음)를 특징량마다 준비하고, 유저에게 선택시킴으로써, 체크된 특징량의 조합을 특징량 세트로서 사용해도 된다. S504의 거리 계산의 방법을 선택할 수 있도록 해도 된다. 여기서, 선택할 수 있는 것은 특징량의 조합뿐만 아니라, 분류의 목적을 유저가 선택함으로써 적당한 특징량의 조합이 자동으로 선택되게 되어 있어도 된다.

814는 대상으로 하는 폴더(301)의 하층 폴더에 대하여 표시·비표시를 전환하는 폴더 표시 버튼이다. 폴더 표시 버튼(814)은 폴더(301)마다에 대응하는 폴더의 근처에 배치된다. 버튼이 눌리는 것에 의해, 대응하는 폴더의 하층에 접속하는 폴더가 미부여 페인(801)에 표시된다. 대응하는 폴더의 하층에 접속하는 폴더가 미부여 페인(801)에 표시 완료된 경우에는, 대응하는 폴더의 하층에 접속하는 폴더를 비표시로 한다. 하층에 표시된 폴더보다 더 하층의 폴더가 표시되어 있는 경우, 또한 하층의 폴더도 비표시로 한다. 하층의 폴더가 표시 중인지 여부를 폴더 표시 버튼(814)의 아이콘을 변경하여 표시해도 된다. 도 8의 예에서는, 아이콘이 + 표시되어 있는 라벨B 및 라벨C의 폴더의 하층 폴더는 표시되어 있지 않지만, 아이콘이 - 표시가 되어 있는 라벨A의 폴더의 하층 폴더는 표시되어 있다. 폴더(301)가 클릭되는 등에 의해 선택되었을 때, 폴더 표시 버튼이 눌린 경우와 마찬가지의 동작을 해도 된다. 즉, 폴더(301)가 선택됨으로써, 폴더의 하층에 접속하는 폴더가 미부여 페인(801)에 표시된다. 또한, 폴더의 하층에 접속하는 폴더가 미부여 페인(801)에 이미 표시되어 있을 경우에는, 폴더의 하층에 접속하는 폴더를 비표시로 하거나 하여도 된다.

유저가 단일 클래스의 화상만을 포함하는 폴더를 탐색하는 작업에서는, 유저는 임의의 폴더를 선택하고, 화상 페인(802)에서 폴더에 포함되는 화상을 확인한다. 선택한 폴더가 단일 클래스만을 포함하는 폴더가 아닐 경우(즉, 다른 클래스의 화상이 혼재하고 있을 경우), 하층의 폴더를 확인하여 단일 클래스만을 포함하는 폴더를 지정한다. 초기 상태에서, 루트 폴더와 제2층의 폴더(도 8의 예에서는, 라벨A, B, C의 폴더)만을 표시해 두고, 폴더에 포함되는 화상의 확인이 완료된 폴더의 하층 폴더를 표시시킨다. 이에 의해, 유저가 폴더 내의 화상을 확인한 폴더 또는 그 하층 폴더까지를 표시하는 수단을 제공 가능하다.

또한, 미부여 페인(801)에 표시된 계층 구조 중, 불필요한 폴더를 비표시로 함으로써, 계층 구조 표시에 필요한 영역을 최소화할 수 있다.

이상에서 설명한 바와 같이, 하층 폴더의 표시·비표시를 임의의 타이밍에서 전환하는 것을 가능하게 하는 기능을 제공함으로써, 유저의 사용 편의성을 향상시키는 것이 가능하다.

도 9는 본 발명의 실시 형태 1에 관한 분류 장치의 GUI의 일례이다.

901은, 유저에 의한 클래스명의 입력을 접수하는 텍스트박스, 902는 클래스 ID의 입력을 접수하는 텍스트박스이다. 901 및 902의 클래스명이나 클래스 ID는 클래스 정보 기억부(111)에 기억되어 있는 클래스 정보를 판독하여, 유저를 선택할 수 있도록 해도 된다. 또한, 텍스트 파일 등에서 정의되어 있는 클래스 정보를 판독하여, 선택지로서 표시해도 된다.

903은, 901 및 902에 입력된 클래스 정보를 접수하는 버튼이며, 904는 입력을 캔슬하는 버튼이다.

또한, 도 9에서는, 독립한 윈도우 상에 901이나 902가 배치되어 있는 GUI 예를 나타냈지만, 901이나 902는 도 8의 윈도우 상의 일부에 배치되어 있어도 되고, 클래스명의 입력 작업이 클래스 페인이나 미부여 페인 화면 상에서 실시할 수 있게 되어 있어도 된다.

도 7은 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 각 화상에 클래스 정보를 부여하는 처리 흐름도이다. 이하, 도 7을 이용하여, 본 발명에 따른 분류 장치에 있어서, 화상 기억부(110)에 기억된 각 화상에 대하여 클래스 정보를 부여하고, 클래스 정보 기억부(111)에 기억하는 방법을 설명한다.

도 7에 본 발명에 따른 분류 장치에 있어서, 화상 기억부(110)에 기억된 각 화상에 대하여 클래스 정보를 부여하는 처리 플로우를 나타낸다. 도 7의 처리는 도 8 및 도 9를 이용하여 설명한 GUI 상에서 실행된다.

S701에서는, 도 5나 도 6의 플로우에서 설명한 방법을 이용하여, 클래스 정보 미부여의 화상에 대하여 계층 구조를 생성하고, 입출력부(104)에 표시한다. 계층 구조는, 도 8의 GUI에 있어서의 미부여 페인(801)에 표시된다.

S702는, S703 내지 S708의 처리를, S708에서, 클래스 정보 부여 종료와 판정될 때까지 반복하는 루프이다.

S703에서는, S701에서 표시한 계층 구조 중 폴더로부터, 유저에 의한 폴더 지정을 접수하는 처리이다. 이때, 유저에게, 폴더 중에 포함되는 화상을 확인시키고, 단일 클래스만을 포함하는 폴더를 지정시킨다. 단일 클래스만을 포함하는 폴더를 지정시키기 위해서는, 전술한 바와 같이, 유저에게 폴더의 화상을 확인시키고, 단일 클래스만을 포함하는 폴더가 아닐 경우(즉, 다른 클래스의 화상이 혼재하고 있을 경우)에는, 하층의 폴더를 확인시켜서 단일 클래스만을 포함하는 폴더를 지정시킨다. 유저에 의한 폴더의 지정은, 미부여 페인(801)의 폴더(301)가 클래스 페인으로 이동되는 것에 의해 행하여지면 된다. 이동은 드래그 앤 드롭되는 것 등으로 실행되면 된다. 또한, 대표 화상 표시 체크 박스(811)에 의해 화상 페인(802)에 폴더의 대표 화상이 표시되어 있는 경우, 화상 페인(802)의 대표 화상이 클래스 페인으로 이동됨으로써, 이동된 대표 화상에 대응하는 폴더가 클래스 페인으로 이동되는 것으로 해도 좋다. 이 경우, 대응하는 폴더가 지정된다. 여기에서는, 단일 클래스만을 포함하는 폴더를 지정하는 것을 전제로 하여 설명했지만, 유저의 판단대로 복수 클래스의 화상을 포함하는 폴더를 지정할 수 있도록 되어 있어도 된다.

S704에서는, 지정 폴더 내의 화상에 부여하는 클래스 정보의 입력을 접수한다. 클래스 정보란, 클래스명이나 클래스 ID 등 클래스를 식별하기 위한 정보이다. S703에서 입력을 접수한 폴더가 클래스 페인으로 이동되었을 때, 도 9의 GUI가 표시되고, 클래스 정보의 입력을 접수하면 된다.

S705에서는, S704에서 입력을 접수한 클래스는 S706의 새로운 클래스 추가 처리에서 추가 완료인지 여부를 판정하고, 추가 완료가 아니면 S706을 실행한다. 추가 완료라면, S706의 처리를 스킵한다.

S706에서는, S704에서 입력을 접수한 클래스를 새로운 클래스로서 클래스 페인(803)에 추가하고, 클래스 정보를 클래스 정보 기억부(111)에 기억한다. 클래스 페인에 새로운 클래스를 추가하기 위해서는, 추가한 부여 완료 클래스의 대표 화상 및 클래스 라벨을, 클래스 페인(803)에 추가 표시하면 된다. 이에 의해, 부여 완료 클래스 정보나 대응하는 화상을 확인하는 수단을 제공 가능하게 된다. 여기서, 클래스의 추가 완료의 경우, 원래 어떤 화상과 추가한 화상을 맞추어 다시 대표 화상을 산출하고, 필요에 따라 클래스 페인에 표시하는 화상을 변경할 수 있어도 된다.

S707에서는, S703에서 입력을 접수한 지정 폴더 내의 화상 각각에 대하여 S704에서 입력을 접수한 클래스 정보를 부여한다. 각 화상에 부여된 클래스 정보는, 클래스 정보 기억부(111)에 기억된다. 예를 들어, 화상의 ID와 대응하는 클래스 정보를 리스트로서 기억하면 된다. 또한, S707에서 클래스 정보를 부여한 화상이 포함되는 지정 폴더 및, 그 지정 폴더의 하층 폴더는 클래스 정보 부여 완료인 것을 유저에게 표시한다. 예를 들어, 지정 폴더 및, 그 지정 폴더의 하층 폴더를 계층 구조로부터 삭제해도 되고, 폴더에 칼라를 표시하여 클래스 정보 부여 완료인 것을 표시해도 된다. 또한, S703에서 미부여 페인(801)의 폴더(301)가 클래스 페인(803)의 클래스 정보 부여 완료 클래스로 이동된 경우(예를 들어, 폴더가 드래그 앤드 드롭에 의해 대표 화상(806)이나 클래스 라벨(805)에 드롭되었을 경우), S704 내지 S706의 처리를 스킵하고, 이동처의 클래스 정보를 이동된 폴더 내의 화상에 부여해도 된다.

S708에서는, 화상에 대한 클래스 정보 부여의 종료 판정을 행하는 처리이다. 클래스 정보 부여를 종료하는 것으로 판정한 경우에는 S702의 루프(1)를 빼고 처리를 종료하고, 종료하지 않는 것으로 판정한 경우에는 S702의 루프(1)의 반복을 계속한다. 판정 방법의 예로서, 유저에 의한 종료 입력을 808의 종료 버튼이 눌리는 것에 의해 접수하는 방법이나, 전 화상에 대하여 클래스 정보가 부여되었을 경우에 종료라고 판정하는 등의 방법을 생각할 수 있다.

S703에 있어서, 키보드가 임의의 키를 각각 클래스 정보 부여 완료된 클래스에 할당해 두고, 입력된 키에 의해 대응하는 클래스 페인 상의 클래스로 이동한(즉, 클래스 부여하는 정보의 입력을 접수한) 것으로 해도 된다. 할당된 키보드의 정보는, 클래스 정보의 일부로서 클래스 정보 기억부(111)에 기억해 두면 된다. 예를 들어, 클래스1, 클래스2의 클래스 정보가 화상에 부여 완료된 경우를 상정하고(즉, 클래스 페인(803)에 클래스1과 클래스2의 대표 화상이 표시되어 있고), 클래스1에 키보드의 F1, 클래스2에 키보드의 F2를 할당한 것으로 한다. 유저에 의해, 클래스1의 화상만을 포함하는 폴더가 선택되고, F1이 눌려짐으로써, S704 내지 S706을 스킵하고, 선택된 폴더의 화상에 클래스1의 클래스 정보를 부여한다. 클래스2의 클래스 정보 부여에 대해서도 마찬가지로 F2 버튼이 눌리는 것에 의해 행하여진다. 키의 할당은 미리 텍스트 파일 등에 정의되어 있어도 되고, 유저가 클래스 정보를 입력할 때에 함께 입력해도 된다. 또한, S706에서 새로운 클래스가 추가되었을 때에 자동으로 순서대로 키가 할당되어도 된다. 키의 할당에 의해, 드래그 앤드 드롭의 작업이 불필요하게 되고, S703 내지 S707의 처리에 필요한 시간이 단축 가능하게 된다.

또한, 미부여 페인의 폴더 선택 후에 클래스 ID나 클래스명을 키보드부터 입력한 경우에 대응하는 클래스 페인 상의 클래스로 이동한(즉, 클래스 부여하는 정보의 입력을 접수한) 것으로 해도 된다. 예를 들어, 클래스1의 ID가 「001」일 경우, 유저에 의한 클래스1만 포함되는 폴더가 선택된 후, 키보드에서 「001」이 입력됨으로써, S704 내지 S706을 스킵하고, 선택된 폴더의 화상에 클래스1의 클래스 정보를 부여한다. 키의 할당과 마찬가지로, 드래그 앤드 드롭의 작업이 불필요하게 되고, S703 내지 S707의 처리에 필요한 시간이 단축 가능하게 된다.

또한, 유저가 미부여 페인(801)의 폴더를 선택했을 때, 선택한 폴더 내의 화상의 특징량에 가까운 특징량을 갖는 화상을 포함하는 폴더나 클래스를 유저에게 제시해도 된다. 예를 들어, 폴더 내의 화상의 특징량의 평균과 클래스 페인(803)에 표시된 각 클래스의 화상의 특징량의 평균을 비교하고, 특징량이 가장 가까운 클래스의 배경색을 변경하는 등을 하면 된다.

상기에서는, 폴더(301)가 클래스 페인(803)으로 이동됨으로써, S703 내지 S707의 처리에 의해 폴더 내의 화상에 클래스 정보가 부여되는 예를 나타냈다. S703 내지 S707을 도 11에서 나타내는 플로우로 치환함으로써 화상 페인(802)에 지정된 1매 이상의 화상에 클래스 정보를 부여해도 된다.

도 11은 본 발명의 실시 형태 1에 관한 분류 방법에 있어서, 화상 페인에서 지정된 1매 이상의 화상에 클래스 정보를 부여하는 처리 흐름도이다. S1101 내지 S1105는 각각 S703 내지 S707에 대응한다.

S1101에서는, 화상 페인(802)에 표시되어 있는 화상(401) 중에서 유저에 의한 1매 이상의 화상의 지정을 접수하는 처리이다. 유저에 의한 1매 이상의 화상의 지정은, 화상 페인(802)의 화상(401)이 클래스 페인으로 이동되는 것에 의해 행하여지면 된다. 이동은 드래그 앤 드롭되는 것 등에 실행되면 된다.

S1102에서는, 지정한 1매 이상의 화상에 부여하는 클래스 정보의 입력을 접수한다. S1101에서 입력을 접수한 1매 이상의 화상이 클래스 페인으로 이동되었을 때, 도 9의 GUI가 표시되고, 클래스 정보의 입력을 접수하면 된다.

S1103에서는, S1102에서 입력을 접수한 클래스가 S706 또는 S1104의 새로운 클래스 추가 처리에서 추가 완료인지 여부를 판정하고, 추가 완료가 아니면 S1104를 실행한다. 추가 완료라면, S1104의 처리를 스킵한다.

S1104에서는, S1102에서 입력을 접수한 클래스를 새로운 클래스로서 클래스 페인(803)에 추가하고, 클래스 정보를 클래스 정보 기억부(111)에 기억한다.

S1105에서는, S1101에서 입력을 접수한 1매 이상의 화상 각각에 대하여 S1102에서 입력을 접수한 클래스 정보를 부여한다. 각 화상에 부여된 클래스 정보는, 클래스 정보 기억부(111)에 기억된다. 또한, S1105에서 클래스 정보를 부여한1매 이상의 화상은 클래스 정보 부여 완료인 것을 유저에게 표시한다. 예를 들어, 지정된 1매 이상의 화상을 계층 구조로부터 삭제해도 되고, 화상의 배경색을 변경해서 클래스 정보 부여 완료인 것을 클래스 페인에 표시해도 된다. 또한, S1101에서 화상 페인(802)의 1매 이상의 화상(401)이 클래스 페인(803)의 클래스 정보 부여 완료 클래스로 이동된 경우(예를 들어, 1매 이상의 화상이 드래그 앤드 드롭에 의해 대표 화상(806)이나 클래스 라벨(805)에 드롭되었을 경우), S1102 내지 S1104의 처리를 스킵하고, 이동처의 클래스 정보를 이동된 1매 이상의 화상에 부여해도 된다.

S703에서, 폴더 중에 소수의 다른 클래스의 화상이 혼재하고 있을 경우, S703의 처리 전에, 그들의 화상을 다른 폴더로 이동시키는 등의 수정 지시를 접수하고, 대상의 폴더를 단일 클래스의 화상만 포함하는 폴더에 수정해도 된다. 수정은, 이동 대상으로 하는 화상 페인(802)의 화상이 이동처의 폴더에 드래그 앤 드롭되는 등에 의해 행하여지면 된다. 이동된 화상은, 이동원의 폴더로부터 삭제되고, 이동처의 폴더에 추가된다. 복수의 화상이 선택되어, 이동됨으로써, 복수 화상이 다른 폴더에 이동되어도 된다. 이동 대상으로 하는 화상을 선택할 때, 809의 화상 페인(802)의 화상을 재배열하는 버튼을 이용함으로써, 선택이 용이해진다. 예를 들어, 유저가 다수의 클래스1의 화상과 소수의 클래스2의 화상이 혼재한 폴더에 대하여 수정을 행하는 경우, 1매 이상의 클래스1의 화상을 선택하고, 809에 의해 유사하지 않은 순서대로 재배열함으로써, 클래스1에 유사하지 않은 화상(즉, 클래스2의 화상)이 순서대로 배열하게 된다. 배열한 클래스2의 화상은, 근처에 정리되어서 표시되기 때문에, 마우스에 의한 범위 확정 등에 의해 일괄적으로 선택되면 된다.

S703에서, 폴더나 화상이 드래그되고 있을 때, 드래그 중의 폴더 내의 화상이나 드래그 중의 화상을 다른 윈도우나 페인 등에 표시해도 된다. 또한, 드래그중의 폴더 내의 화상이나 화상에 있어서의 ID 등의 정보, 드래그 중의 화상 등을 반투명하게 하여 표시해도 된다. 이상에 의해 드래그 중의 폴더 내의 화상이나 드래그 중의 화상을 확인하는 수단을 유저에게 제공한다. 또한, 폴더나 화상이 드래그되고 있을 때, 폴더(301) 위로 마우스 커서를 이동시킴으로써, 폴더(301)에 포함되는 화상을 화상 페인(802)이나 별도의 윈도우, 별도의 페인 등에 자동 표시해도 된다. 또한, 마찬가지로 마우스 커서를 클래스 페인(803)의 대표 화상(806) 위에 이동시켰을 때, 대표 화상(806)에 대응하는 클래스 정보가 부여된 화상을 화상 페인(802)이나 별도의 윈도우, 별도의 페인 등에 자동 표시해도 된다. 이에 의해, 유저가 드롭처의 폴더나 대표 화상에 대응하는 클래스 부여 완료 화상을 확인하는 수단을 유저에게 제공한다.

또한, 화상이 다른 폴더에 이동되는 등에 의해 폴더 내의 화상이 변화했을 때, 도 5나 도 6의 방법을 사용하여 유저에 의해 선택된 폴더를 루트 폴더로서, 계층 구조를 재생성해도 된다. 이 경우, 선택된 폴더에 포함되는 화상만을 대상으로 하여 계층 구조를 생성하면 된다. 계층 구조의 재생성은, 폴더에 포함되는 화상이 변화한 경우에 자동으로 실행되어도 되고, 유저 지시에 의해 행하여져도 된다.

이상 설명한 기능을 갖는 GUI는 컴퓨터에서 실행되는 프로그램에 의해 실현 가능하고, 또한, 이 프로그램은 메모리, 외부 기억 매체 등의 기억 매체에 기록되어, 기억 매체로부터 판독함으로써, 실행된다.

도 7을 사용하여 설명한, 클래스 정보 부여의 처리 수순을, 도 1에서 나타낸 분류 장치(101) 상에서 실시하는 방법에 대하여 이하에 설명한다.

도 1에 도시한 화상 촬상 장치(102)에 의해 촬상된 화상을 통신 수단(103)을 통해 분류 장치(101) 내의 화상 기억부(110)에 기억한다. 화상 기억부(110)에 기억된 화상은 화상 특징 산출부(113) 및 계층 구조 생성부(114)를 이용하여, 도 5 및 도 6을 이용하여 설명한 계층 구조 생성 수순을 실행하는 컴퓨터용의 프로그램에 의해 처리되고, 계층 구조는 계층 구조 기억부(112)에 기억된다. 전체 제어부(105)는 입출력 I/F(108)를 통해 도 8에서 설명한 GUI를 입출력부(114)의 디스플레이 상에 표시한다. 계층 구조 기억부(112)에 기억된 계층 구조는, 입출력 I/F(108)를 통해 입출력부(114)의 디스플레이 상에 표시된 GUI 상에 표시된다. 전체 제어부(105)는 GUI로부터의 폴더 지정을 입출력 I/F(108)를 통해 접수 메모리(109)에 기억한다. 그 후, 입출력 I/F(108)를 통해 입출력부(114)의 디스플레이 상에 도 9에서 나타낸 클래스 정보 입력 GUI를 표시한다. 전체 제어부(105)는 GUI로부터 클래스 정보의 입력을 입출력 I/F(108)를 통해 접수, 메모리(109)에 기억한다. 메모리(109)에 기억된 지정 폴더와 클래스 정보를 클래스 정보 부여부(115)에 송신하고, 클래스 정보와 지정 폴더 내의 화상의 정보를 클래스 정보 기억부(111)에 전송한다. 클래스 정보 기억부(111)에 기억된 클래스 정보와 지정 폴더 내의 화상의 정보는, 입출력 I/F(108)를 통해 GUI 상에 표시된다.

프로그램은 분류 장치(101) 또는 입출력부(104)에 접속되어 있는 외부 기억 매체(도시하지 않음) 또는 분류 장치(101) 또는 입출력부(104)에 접속되어 있는 통신 수단(103)이나 버스(116) 등을 통하여 입력되고, 메모리(116), 또는 메모리(116) 내의 불휘발성 메모리(도시하지 않음)에 기억되어, 다음번 이후는 프로그램을 메모리(116) 내의 불휘발성 메모리(도시하지 않음)에 기억되어 있는 프로그램을 메모리(116)에 판독 실행한다.

이상, 본 실시예에서는, 계층 구조를 유저에게 제시함으로써, 유저에 의한 폴더의 지정 입력을 접수하고, 지정 폴더 내의 화상에 대하여 일괄적으로 클래스 정보 부여를 행함으로써, 유저 클래스 부여 작업을 용이 또한 단시간으로 행하는 것을 가능하게 하는 GUI, 장치, 프로그램 및 프로그램을 기억한 기억 매체에 대하여 설명하였다.

실시예 2

본 발명에 따른 실시예 2로서, 실시예 1과 같은 장치 및 처리 플로우에 의해, 화상에 대하여 클래스 정보의 부여를 용이화하는 GUI 및 장치를 설명한다. 실시예 1과의 차이는, GUI에 클래스 부여 완료된 클래스에 대하여 계층 구조를 표시하는 부여 페인을 갖는 것이며, 이하, GUI에 대하여 설명한다. 본 실시예에서는 실시예 1과 마찬가지로 SEM을 구비한 관찰 장치로 촬상한 화상을 분류할 경우를 대상으로 설명하는데, 본 실시예에 관한 화상 자동 분류 장치의 입력은 SEM 화상 이외이어도 되고, 광학식의 수단이나 이온 현미경 등을 사용하여 촬상한 화상이어도 된다.

도 10은 본 발명의 실시 형태 2에 관한 분류 장치의 GUI의 일례이다.

1001은, 클래스 정보 부여 완료된 클래스에 대하여 계층 구조를 표시하는 부여 페인이다.

1002는, 클래스 페인(803)에 표시된 각 클래스 정보 부여 완료된 클래스에 대응하는 클래스 폴더이다. 클래스 폴더(1002)는 폴더(301)와 마찬가지로, 화상의 집합을 의미하고, 대응하는 클래스 정보가 부여된 화상의 집합이다. S706에 의해 새로운 클래스가 추가되고, S707에 의해 지정 폴더 내의 화상에 클래스 정보가 부여되었을 때, 새로운 클래스에 대응하는 클래스 폴더가 생성되어, 부여 페인(1001) 상에 표시된다.

1003은, 대응하는 클래스 폴더(1002)의 클래스 정보나, 클래스 정보가 부여된 화상의 매수를 표시하는 클래스 폴더 라벨이다. 이 클래스 폴더 라벨에 대해서, 도 9와 마찬가지로 클래스명을 바꿀 수 있다.

S703에서, 미부여 페인(801) 상의 폴더(301)나, 화상 페인(802) 상의 화상(401)이 부여 페인(1001)에 드래그 앤드 드롭 등에 의해 이동되었을 때에, 이동된 폴더의 지정을 접수해도 된다. 또한, 이동처가 부여 페인(1001) 상의 클래스 폴더(1002)인 경우, S704 내지 S706의 처리를 스킵하고, 이동처의 클래스 폴더에 대응하는 클래스 정보를, 이동된 폴더에 부여해도 된다.

또한, S707에서, 지정 폴더 내의 화상에 클래스 정보를 부여했을 때, 지정 폴더를, 부여한 클래스 정보에 대응하는 클래스 폴더의 하층에 접속해도 된다. 또한, 지정 폴더 아래 층 계층 구조를 유지한 채 클래스 폴더의 하층에 접속해도 된다.

부여 페인(1001) 상의 폴더(301)나 클래스 폴더(1002)를 클릭하는 등에 의해, 화상 페인(802)에 폴더나 클래스 폴더에 포함되는 화상을 표시해도 된다. 이에 의해, 폴더에 포함되는 화상이나, 클래스 정보가 부여된 화상을 확인하는 수단을 유저에게 제공한다.

부여 페인(1001) 상의 폴더(301)나 클래스 폴더(1002)에 포함되는 화상이 변화했을 때, 도 5나 도 6의 방법을 사용하여 유저에 의해 선택된 폴더 또는 클래스 폴더를 루트 폴더로 해서, 계층 구조를 재생성해도 된다. 이 경우, 선택된 폴더 또는 클래스 폴더에 포함되는 화상만을 대상으로 하여 계층 구조를 생성하면 된다. 계층 구조의 재생성은, 폴더나 클래스 폴더에 포함되는 화상이 변화한 경우에 자동으로 실행되어도 되고, 유저 지시에 의해 행하여져도 된다. 클래스 폴더에 대하여 계층 구조를 재생성하여, 유저에게 제시함으로써, 유저의 클래스 정보 부여가 잘못된 화상의 검출 작업을 용이화한다.

이상 설명한 기능을 갖는 GUI는 컴퓨터에서 실행되는 프로그램에 의해 실현 가능하고, 또한, 이 프로그램은 메모리, 외부 기억 매체 등의 기억 매체에 기록되어, 기억 매체로부터 판독됨으로써, 실행된다.

이상, 본 발명자에 의해 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명했지만, 본 발명은 상기 실시 형태에 한정되는 것이 아니라, 그 요지를 일탈하지 않는 범위에서 종종 변경 가능한 것은 말할 필요도 없다. 여기에서 설명한 실시 형태는, 리뷰 SEM으로 촬상한 화상에 대하여 클래스 정보 부여의 용이화를 가능하게 하는 GUI 및 장치를 설명했지만, 화상에 대하여 클래스 정보를 부여할 필요가 있는 것 외의 결함 관찰 장치·검사 장치로부터 얻어진 화상에 대해서도, 본 발명을 적용할 수 있다.

301… 폴더
401… 화상
801… 미부여 페인
802… 화상 페인
803… 클래스 페인
804… 화상 정보
805… 클래스 라벨
806… 클래스의 대표 화상
807… 선택 폴더의 프레임
808… 종료 버튼
809… 재배열 버튼
810… 표시 화상종 지정 콤보 박스
811… 대표 화상 표시 체크 박스
812… 스크롤 바
813… 특징량 세트 지정 콤보 박스
814… 폴더 표시 버튼

Claims

클래스 정보가 부여되어 있지 않은 화상의 집합인 폴더를 계층적으로 표시하는 미부여 페인 영역과, 상기 미부여 페인 영역에 표시된 클래스 정보가 부여되어 있지 않은 화상을 표시하는 화상 페인 영역과, 클래스 정보가 부여되어 있는 화상을 표시하는 클래스 페인 영역을 구비하고,
상기 클래스 정보가 부여되어 있지 않은 화상에 대하여 외부로부터 클래스 정보가 입력되면, 그 입력된 클래스 정보가 표시되는 GUI.
제1항에 있어서,
클래스 정보가 부여되어 있는 화상의 집합인 폴더를 계층적으로 표시하는 부여 페인 영역을 갖는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역에 표시된 그 계층적인 폴더 중 하나의 폴더에 나뉘어져 있는 화상이 소정의 클래스인 비율은, 그 하나의 폴더보다 상위의 폴더에 나뉘어져 있는 화상이 그 소정의 클래스인 비율보다 높은 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 클래스 페인 영역에 표시되어 있는 화상에 대응하는 폴더가 선택되면, 그 선택된 폴더에 포함되는 화상을 상기 화상 페인 영역에 표시하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역에 표시된 폴더를 상기 클래스 페인 영역으로 이동할 때 그 이동하는 폴더의 클래스 정보를 입력하는 입력 화면이 표시되는 것을 특징으로 하는 GUI.
제5항에 있어서,
그 이동하는 폴더의 클래스 정보가 상기 클래스 페인 영역에 표시되어 있지 않은 경우에는, 그 이동하는 폴더의 클래스 정보를 표시하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역의 폴더가 상기 클래스 페인 영역으로 이동할 때에, 그 이동하는 폴더에 대응하는 클래스 정보가 입력되는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 클래스 정보는 클래스 ID의 정보를 포함하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 클래스 정보는 할당된 입력 수단의 정보를 포함하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 화상 페인 영역은, 상기 화상 페인 영역에 표시된 화상을 그 화상의 특징량에 기초하여 재배열하기 위한 소트 기능을 갖는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역에 표시된 폴더를 선택하면, 그 선택한 폴더에 접속되어 있는 하층의 폴더의 대표 화상을 상기 화상 페인 영역에 표시하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역에 표시된 소정의 층이 선택되면, 그 선택된 층에 존재하는 폴더의 대표 화상이 표시되는 것을 특징으로 하는 GUI.
제12항에 있어서,
상기 미부여 페인 영역에 표시된 폴더를 선택할 때는, 슬라이드 바 또는 콤보 박스에 의해 지정되는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 화상 페인 영역에 표시된 화상이 상기 클래스 페인 영역으로 이동하면, 그 이동한 화상에 대응하는 상기 화상 페인 영역의 폴더가 삭제되는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 미부여 페인 영역에 표시된 계층 구조의 폴더에 대응하는 화상은, 외부로부터 입력된 특징량의 종류에 기초하여 그 계층 구조의 폴더에 할당된 것을 특징으로 하는 GUI.
제4항에 있어서,
상기 클래스 페인 영역에 표시되어 있는 화상에 대응하는 폴더가 선택되면, 그 선택된 폴더의 하층의 폴더를 표시하는 것을 특징으로 하는 GUI.
제1항에 있어서,
상기 폴더의 계층은, ADC와는 다른 특징량을 사용하여 생성되는 것을 특징으로 하는 GUI.
피검사 대상물의 표면에 전자선을 조사하고, 그 피검사 대상물의 표면으로부터 발생한 전자를 검출하고, 검출한 전자를 화상으로 변환하는 화상 촬상부와,
상기 화상 촬상부에서 변환한 화상을 처리하여 그 화상의 특징량을 산출하는 화상 특징 산출부와, 상기 화상 특징 산출부에 의해 산출한 그 화상의 특징량을 사용하여 그 화상을 포함하는 폴더의 계층 구조를 생성하는 계층 구조 생성부와, 상기 계층 구조 생성부에서 생성된 계층 구조의 폴더에 대하여 외부로부터 클래스 정보가 입력된 경우에 그 폴더의 화상에 대하여 클래스 정보를 부여하는 클래스 정보 부여부를 구비하는 처리부와,
제1항에 기재된 GUI를 구비하는 분류 장치.
피검사 대상물의 표면에 전자선을 조사하고, 그 피검사 대상물의 표면으로부터 발생한 전자를 검출하고, 검출한 전자를 화상으로 변환하는 화상 촬상 스텝과,
상기 화상 촬상 스텝에서 변환한 화상을 처리하여 그 화상의 특징량을 산출하는 화상 특징 산출 스텝과, 상기 화상 특징 산출 스텝에 의해 산출한 그 화상의 특징량을 사용하여 그 화상을 포함하는 폴더의 계층 구조를 생성하는 계층 구조 생성 스텝과, 상기 계층 구조 생성 스텝에서 생성된 계층 구조의 폴더에 대하여 외부로부터 클래스 정보가 입력된 경우에 그 폴더의 화상에 대하여 클래스 정보를 부여하는 클래스 정보 부여 스텝을 구비하는 처리 스텝과,
GUI에 제1항 기재된 GUI의 화면을 표시하는 표시 스텝을 구비하는 분류 방법.
제1항에 기재된 GUI를 표시하는 프로그램.
제20항에 기재된 프로그램을 기억한 기억 매체.