KR20190103283A - 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램 - Google Patents

화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190103283A
KR20190103283A KR1020197022591A KR20197022591A KR20190103283A KR 20190103283 A KR20190103283 A KR 20190103283A KR 1020197022591 A KR1020197022591 A KR 1020197022591A KR 20197022591 A KR20197022591 A KR 20197022591A KR 20190103283 A KR20190103283 A KR 20190103283A
Authority
KR
South Korea
Prior art keywords
image
identification
difference
data
image data
Prior art date
Application number
KR1020197022591A
Other languages
English (en)
Other versions
KR102336431B1 (ko
Inventor
신이찌 시노다
야스다까 도요다
시게또시 사끼무라
마사요시 이시까와
히로유끼 신도
히또시 스가하라
Original Assignee
가부시키가이샤 히다치 하이테크놀로지즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 하이테크놀로지즈 filed Critical 가부시키가이샤 히다치 하이테크놀로지즈
Priority to KR1020217027367A priority Critical patent/KR102435492B1/ko
Publication of KR20190103283A publication Critical patent/KR20190103283A/ko
Application granted granted Critical
Publication of KR102336431B1 publication Critical patent/KR102336431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 식별기를 이용한 화상 식별에 이용되는 대조 화상을 학습하는 화상 처리 시스템의 데이터양의 억제와 식별기의 식별 성능 향상의 양립을 목적으로 한다. 상기 목적을 달성하기 위하여, 대조 화상을 이용하여 화상을 식별하는 식별기(9)를 구비한 화상 처리 시스템이며, 화상 식별에 요하는 대조 화상 데이터를 기계 학습하는 기계 학습 엔진(1)을 구비하고, 당해 기계 학습 엔진은, 식별에 실패한 화상(2)을 이용하여, 식별에 성공한 화상(3)의 탐색을 행하고, 당해 탐색에 의하여 얻어진 식별에 성공한 화상에, 상기 입력 장치에 의하여 선택된 상기 식별에 실패한 화상의 부분 화상에 기초하여 얻어지는 정보를 부가하여, 보정 대조 화상 데이터(13)를 생성하는 화상 처리 시스템을 제안한다.

Description

화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
본 개시는, 화상 정보에 기초하여 화상의 식별을 행하는 화상 식별기에 기계 학습시키는 화상 처리 시스템 및 컴퓨터 프로그램에 관한 것이며, 특히 대조 화상을 이용하여 피대조 화상을 식별하는 화상 식별기에 기계 학습시키는 화상 처리 시스템 및 컴퓨터 프로그램에 관한 것이다.
종래, 화상으로부터 특징량을 추출하여, 사전에 데이터베이스 등에 등록되어 있는 정보와 비교 대조함으로써, 대상물을 판별하는 화상 해석 기술이 이용되고 있다. 대상물을 판별하는 기계 학습의 알고리즘으로서 신경망이나 서포트 벡터 머신이 알려져 있다. 어느 방법도, 어떠한 특징량을 선택하는지에 따라 식별 정밀도가 크게 변동되기 때문에, 특징량의 선택 방법이 중요해져 있었다.
근년에는 CNN(Convolutional Neural Network; 콘벌루션 신경망)이라 칭해지는 심층 학습기가 개발되어 주목받고 있다(비특허문헌 1). CNN은 기계 학습기의 일종이며, 화상의 특징을 시스템이 자동 추출하여 학습하여, 대상이 무엇인지를 판정하는 구조이다. 지금까지 중요하다고 여겨진 특징량의 선택도 시스템이 자동 추출하기 때문에, 앞으로는 어떠한 학습 데이터를 갖추는지가 중요해질 것으로 생각된다. 특허문헌 1이나 특허문헌 2에서는 학습 데이터에 노이즈를 더하여 학습시킴으로써, 노이즈에 로버스트한 판별을 가능하게 하는 기술이 소개되어 있다.
일본 특허 공개 평5-54195호 공보 일본 특허 공개 평10-63789호 공보
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "Image Net Classification with Deep Convolutional Neural Networks", Advances InNeural Information Processing Systems, Vol. 25, pp. 1106-1114, 2012.
기계 학습에서는 대량의 학습 데이터를 이용하여 식별 성능을 향상시키고 있다. 대량의 학습 데이터를 준비하는 시간과 그 대량의 학습 데이터를 이용하여 학습시키는 데에 수 주일 내지 수 개월이란 시간이 드는 경우도 있다. 반도체 검사나 측정에 이용되는 주사 전자 현미경(Scanning Electron Microscope: SEM)이 출력하는 화상을, 검사나 측정의 목적에 따라 식별하는 식별기(화상 처리 장치)에도 기계 학습을 도입하여 식별 능력을 향상시키는 것을 생각할 수 있지만, 미리 학습 데이터를 이용하여 기계 학습을 행하고 있더라도 실제로 반도체 검사를 행하는 데에 있어서, SEM 특유의 대전에 의한 콘트라스트 저하나 휘도 불균일, 노이즈 등(이하, 외란)을 수반하는 신종 화상에 대응하기 위한 추가 학습이 필요해진다.
학습 데이터의 준비에는, 화상에 대응한 올바른 판별의 결과(이하, 참값)를 작성할 필요가 있으며, 대량의 학습 데이터에 대응하는 참값의 작성 작업은 수고와 시간이 든다. 또한 학습하기 위한 학습 시간도 학습 데이터의 규모에 따라 필요해지기 때문에, 대량의 학습 데이터를 이용한 학습은 생산 라인 운용의 방해로 될 우려가 있어서 곤란할 것으로 생각한다.
그래서 이하에, 실제로 식별에 실패하는 화상과 식별에 성공하는 화상을 이용하여, 실패의 요인으로 되는 외란을 특정하여 그 외란으로 범위를 축소한 학습 데이터를 작성함으로써, 학습 데이터의 수를 억제하여 학습 시간을 단기간화하는 것을 목적으로 하는 화상 처리 시스템 및 컴퓨터 프로그램을 제안한다.
상기 목적을 달성하기 위한 일 양태로서, 대조 화상을 이용하여 화상을 식별하는 연산 처리 장치를 구비한 화상 처리 시스템이며, 상기 화상을 표시하는 표시 장치와, 상기 화상의 일부를 선택하는 입력 장치와, 상기 화상을 식별하기 위한 대조 화상 데이터를 기억하는 메모리와, 상기 연산 처리 장치의 화상 식별에 요하는 상기 대조 화상 데이터를 기계 학습하는 기계 학습 엔진을 구비하고, 당해 기계 학습 엔진은, 상기 연산 처리 장치에 의한 식별에 실패한 화상을 이용하여, 상기 메모리에 기억된 상기 연산 처리 장치에 의한 식별에 성공한 화상의 탐색을 행하고, 당해 탐색에 의하여 얻어진 식별에 성공한 화상에, 상기 입력 장치에 의하여 선택된 상기 식별에 실패한 화상의 부분 화상에 기초하여 얻어지는 정보를 부가하여, 보정 대조 화상 데이터를 생성하는 화상 처리 시스템을 제안한다.
또한 상기 목적을 달성하기 위한 다른 양태로서, 프로세서에 의하여 실행되는 컴퓨터 명령을 기억한, 컴퓨터 판독 가능한 기억 매체이며, 상기 컴퓨터 명령은, 대조 화상을 이용하여 피대조 화상을 식별하는 식별기의 학습 데이터를 생성하기 위하여, 상기 대조 화상 데이터를 이용한 식별에 실패한 피대조 화상 데이터를 이용하여, 상기 대조 화상 데이터를 이용한 식별에 성공한 피대조 화상 데이터의 탐색을 행하고, 당해 탐색에 의하여 얻어진 식별에 성공한 피대조 화상 데이터에, 상기 식별에 실패한 피대조 화상의 부분적인 선택에 기초하여 얻어지는 정보를 부가하여, 보정 대조 화상 데이터를 생성하는 프로세서에 의하여 실행되는 컴퓨터 명령을 기억한, 컴퓨터 판독 가능한 기억 매체를 제안한다.
상기 구성에 의하면, 학습 데이터양의 억제와 식별기의 식별 성능 향상의 양립을 실현하는 것이 가능해진다.
도 1은 화상 생성 장치의 실시예를 도시하는 도면.
도 2는 화상 생성 장치의 GUI 화면의 실시예를 도시하는 도면.
도 3은 화상 생성 장치의 실시예를 도시하는 도면.
도 4는 외란 특정부의 실시예를 도시하는 도면.
도 5는 콘트라스트 차분 검출부의 실시예를 도시하는 도면.
도 6은 휘도값 차분 검출부의 실시예를 도시하는 도면.
도 7은 노이즈 차분 검출부의 실시예를 도시하는 도면.
도 8은 콘트라스트 차분 판정부의 실시예를 도시하는 도면.
도 9는 외란 화상 생성의 실시예를 도시하는 도면.
도 10은 콘트라스트 차분 가산부의 실시예를 도시하는 도면.
도 11은 휘도값 차분 가산부의 실시예를 도시하는 도면.
도 12는 노이즈 차분 가산부의 실시예를 도시하는 도면.
도 13은 외란 화상 생성의 실시예를 도시하는 도면.
도 14는 식별부 및 화상 생성 장치의 실시예를 도시하는 도면.
도 15는 외란 특정부의 실시예를 도시하는 도면.
도 16은 휘도 반전 검출부의 실시예를 도시하는 도면.
도 17은 휘도 반전 가산부의 실시예를 도시하는 도면.
도 18은 화상 생성 처리의 실시예를 도시하는 도면.
도 19는 외란 특정 처리의 실시예를 도시하는 도면.
도 20은 외란 가산 처리의 실시예를 도시하는 도면.
도 21은 반도체 계측 시스템의 일례를 설명하는 도면.
도 22는 주사 전자 현미경의 개략 설명도.
도 23은 학습용 화상 데이터의 일례를 도시하는 도면.
이하에, 대조 화상을 이용하여 피대조 화상을 식별하는 식별기의 대조 화상을 기계 학습을 이용하여 갱신하는 화상 처리 시스템, 또는 연산 처리 장치에 상기 갱신을 실행시키는 컴퓨터 프로그램이며, 상기 식별기를 이용한 식별에 실패한 화상(이하, 실패 화상)에 유사한, 식별에 성공한 화상(이하, 성공 화상)을 탐색하는 유사 화상 처리와, 상기 실패 화상과 상기 유사 화상 탐색부에서 탐색한 성공 화상의 화상 정보에 기초하는 비교에 의하여 산출한 차분 정보를 얻는 외란 특정 처리와, 상기 외란 특정 처리에서 산출한 차분 정보에 기초하여, 화상을 작성하는 외란 화상 생성 처리를 행하는 화상 처리 시스템 및 컴퓨터 프로그램에 대하여 설명한다.
상기 구성에 의하면 학습 데이터의 참값 작성 작업의 수고를 덜 수 있으며, 학습 데이터의 소량화를 행하여 학습 시간의 단기간화를 행하는 것이 가능해진다.
이하에 설명하는 실시예에서 예시하는 화상 생성 장치는, 기계 학습을 활용한 반도체 검사에서의 추가 학습에 있어서의 학습 데이터의 소량화, 및 학습 시간의 단기간화를 도모하기 위한 화상 생성 방법 및 화상 생성 장치에 관한 것이다. 또한 그 구체적인 일례로서, 식별에 실패한 화상 데이터와 식별에 성공한 화상을 이용하여 학습용의 화상 데이터를 생성하는 예를 나타낸다.
이하에, 기계 학습을 활용한 반도체 검사에서의 추가 학습에 있어서의 학습 데이터를 생성하는 기능을 구비한 장치, 측정 검사 시스템에 대하여 도면을 이용하여 설명한다. 보다 구체적으로는 측정 장치의 일종인 측장용 주사 전자 현미경(Critical Dimension-Scanning Electron Microscope: CD-SEM)을 포함하는 장치, 시스템에 대하여 설명한다.
또한 이하의 설명에서는, 화상을 형성하는 장치로서 하전 입자선 장치를 예시함과 함께, 그 일 양태로서 SEM을 이용한 예를 설명하지만, 이에 한정되는 것은 아니며, 예를 들어 시료 상에 이온 빔을 주사하여 화상을 형성하는 집속 이온 빔(Focused Ion Beam: FIB) 장치를 하전 입자선 장치로서 채용하도록 해도 된다. 단, 미세화가 진행되는 패턴을 고정밀도로 측정하기 위해서는 극히 높은 배율이 요구되기 때문에, 일반적으로 분해능 면에서 FIB 장치를 능가하는 SEM을 이용하는 것이 바람직하다.
도 21은, 복수의 측정, 또는 검사 장치가 네트워크에 접속된 측정, 검사 시스템의 개략 설명도이다. 당해 시스템에는, 주로 반도체 웨이퍼나 포토마스크 등의 패턴 치수를 측정하는 CD-SEM(2401), 시료에 전자 빔을 조사함으로써 화상을 취득하고, 당해 화상과 미리 등록되어 있는 참조 화상의 비교에 기초하여 결함을 추출하는 결함 검사 장치(2402)가 네트워크에 접속된 구성으로 되어 있다. 또한 네트워크에는, 반도체 디바이스의 설계 데이터 상에서, 측정 위치나 측정 조건 등을 설정하는 조건 설정 장치(2403), 반도체 디바이스의 설계 데이터와 반도체 제조 장치의 제조 조건 등에 기초하여 패턴의 성과를 시뮬레이션하는 시뮬레이터(2404), 및 반도체 디바이스의 레이아웃 데이터나 제조 조건이 등록된 설계 데이터가 기억되는 기억 매체(2405)가 접속되어 있다. 조건 설정 장치(2403)에는, 후술하는 바와 같은 GUI(Graphical User Interface) 화상을 표시하는 표시 장치나, 필요한 정보를 입력하는 입력 장치가 마련되어 있다.
설계 데이터는, 예를 들어 GDS 포맷이나 OASIS 포맷 등으로 표현되어 있으며, 소정의 형식으로 기억되어 있다. 또한 설계 데이터는, 설계 데이터를 표시하는 소프트웨어가 그 포맷 형식을 표시할 수 있고 도형 데이터로서 취급할 수 있으면, 그 종류는 불문한다. 또한 기억 매체(2405)는 측정 장치, 검사 장치의 제어 장치, 또는 조건 설정 장치(2403), 시뮬레이터(2404)에 내장하도록 해도 된다. 또한 CD-SEM(2401) 및 결함 검사 장치(2402)에는 각각의 제어 장치가 구비되어, 각 장치에 필요한 제어가 행해지는데, 이들 제어 장치에 상기 시뮬레이터의 기능이나 측정 조건 등의 설정 기능을 탑재하도록 해도 된다.
SEM에서는, 전자원으로부터 방출되는 전자 빔이 복수 단의 렌즈에서 집속됨과 함께, 집속된 전자 빔은 주사 편향기에 의하여 시료 상을 1차원적 혹은 2차원적으로 주사된다.
전자 빔 주사에 의하여 시료로부터 방출되는 2차 전자(Secondary Electron: SE) 또는 후방 산란 전자(Backscattered Electron: BSE)는 검출기에 의하여 검출되어, 상기 주사 편향기의 주사에 동기하여 프레임 메모리 등의 기억 매체에 기억된다. 이 프레임 메모리에 기억되어 있는 화상 신호는, 제어 장치 내에 탑재된 연산 장치에 의하여 적산된다. 또한 주사 편향기에 의한 주사는, 임의의 크기, 위치 및 방향에 대하여 가능하다.
이상과 같은 제어 등은 각 SEM의 제어 장치에서 행해지며, 전자 빔의 주사 결과, 얻어진 화상이나 신호는 통신 회선 네트워크를 통하여 조건 설정 장치(2403)로 보내진다. 또한 본 예에서는, SEM을 제어하는 제어 장치와, 조건 설정 장치(2403)를 별체의 것으로서 설명하고 있지만, 이에 한정되는 것은 아니며, 조건 설정 장치(2403)에서 장치의 제어와 측정 처리를 일괄하여 행하도록 해도 되고, 각 제어 장치에서 SEM의 제어와 측정 처리를 아울러 행하도록 해도 된다.
또한 상기 조건 설정 장치(2403) 또는 제어 장치에는, 측정 처리를 실행하기 위한 프로그램이 기억되어 있으며, 당해 프로그램에 따라 측정, 또는 연산이 행해진다.
또한 조건 설정 장치(2403)는, SEM의 동작을 제어하는 프로그램(레시피)을 반도체의 설계 데이터에 기초하여 작성하는 기능이 구비되어 있어서, 레시피 설정부로서 기능한다. 구체적으로는, 설계 데이터, 패턴의 윤곽선 데이터, 또는 시뮬레이션이 실시된 설계 데이터 상에서 원하는 측정점, 오토 포커스, 오토 스티그마, 어드레싱점 등의, SEM에 있어서 필요한 처리를 행하기 위한 위치 등을 설정하고, 당해 설정에 기초하여, SEM의 시료 스테이지나 편향기 등을 자동 제어하기 위한 프로그램을 작성한다. 또한 후술하는 템플릿의 작성을 위하여, 설계 데이터로부터 템플릿으로 되는 영역의 정보를 추출하고, 당해 추출 정보에 기초하여 템플릿을 작성하는 프로세서, 또는 범용의 프로세서에 템플릿을 작성시키는 프로그램이 내장, 또는 기억되어 있다.
도 22는 주사 전자 현미경의 개략 구성도이다. 전자원(2501)으로부터 인출 전극(2502)에 의하여 인출되어, 도시하지 않은 가속 전극에 의하여 가속된 전자 빔(2503)은, 집속 렌즈의 일 형태인 콘덴서 렌즈(2504)에 의하여 교축된 후에 주사 편향기(2505)에 의하여 시료(2509) 상을 1차원적 혹은 2차원적으로 주사된다. 전자 빔(2503)은, 시료대(2508)에 내장된 전극에 인가된 부전압에 의하여 감속됨과 함께, 대물 렌즈(2506)의 렌즈 작용에 의하여 집속되어 시료(2509) 상에 조사된다. 전자 빔(2503)이 시료(2509)에 조사되면, 당해 조사 개소로부터 2차 전자, 및 후방 산란 전자와 같은 전자(2510)가 방출된다. 방출된 전자(2510)는, 시료에 인가되는 부전압에 기초하는 가속 작용에 의하여 전자원 방향으로 가속되어, 변환 전극(2512)에 충돌하여 2차 전자(2511)를 생기게 한다. 변환 전극(2512)으로부터 방출된 2차 전자(2511)는 검출기(2513)에 의하여 포착되고, 포착된 2차 전자량에 의하여 검출기(2513)의 출력 I가 변화된다. 이 출력 I에 따라, 도시하지 않은 표시 장치의 휘도가 변화된다. 예를 들어 2차원 상을 형성하는 경우에는, 주사 편향기(2505)로의 편향 신호와, 검출기(2513)의 출력 I의 동기를 취함으로써, 주사 영역의 화상을 형성한다. 또한 도 22에 예시하는 주사 전자 현미경에는, 전자 빔의 주사 영역을 이동하는 편향기(도시하지 않음)가 구비되어 있다.
또한 도 22의 예에서는, 시료로부터 방출된 전자를 변환 전극에서 일단 변환하여 검출하는 예에 대하여 설명하고 있지만, 물론 이와 같은 구성에 한정되는 것은 아니며, 예를 들어 가속된 전자의 궤도 상에 전자 배상관이나 검출기의 검출면을 배치하는 구성으로 하는 것도 가능하다. 제어 장치(2514)는 주사 전자 현미경의 각 구성을 제어함과 함께, 검출된 전자에 기초하여 화상을 형성하는 기능이나, 라인 프로파일이라 칭해지는 검출 전자의 강도 분포에 기초하여, 시료 상에 형성된 패턴의 패턴 폭을 측정하는 기능을 구비하고 있다.
다음으로, 기계 학습을 이용한 윤곽선 추출의 학습용 화상 데이터를 작성하는 화상 생성 장치(9)의 일 양태를 설명한다. 화상 생성 장치는 전용의 프로세서 또는 범용의 프로세서를 구비하며, 범용의 프로세서의 경우, 후술하는 학습 화상 데이터를 생성하는 프로그램에 의하여 제어된다. 화상 생성 장치는 기계 학습 엔진으로서 기능한다. 기계 학습은, 제어 장치(2514) 내에 내장, 또는 화상 처리를 내장된 연산 장치에서 실행하는 것도 가능하고, 네트워크를 경유하여 외부의 연산 장치(예를 들어 조건 설정 장치(2403))에 기계 학습을 실행시키는 것도 가능하다.
도 1은, 학습용 화상 데이터를 작성하는 화상 생성 장치의 일례를 설명하는 도면이다. 화상 생성 장치(1)에서는, 식별에 실패한 화상(이하, 식별 실패 화상) 데이터(2)와 식별에 성공한 화상(이하, 식별 성공 화상) 데이터(3)를 이용하여 학습용 화상 데이터(4)를 작성한다. 먼저, 유사 화상 탐색부(11)에서 식별 실패 화상 데이터(2)를 이용하여, 식별 실패 화상에 유사한 식별 성공 화상 데이터(3) 내의 화상 데이터를 탐색한다.
그리고 외란 특정부(12)에서는, 식별 실패 화상 데이터(2)와 유사 화상 탐색부(11)에서 탐색한 식별 성공 화상 데이터를 비교하여, 대전에 의한 콘트라스트 저하나 휘도 불균일, 노이즈 등의 외란에서 크게 상이한 외란이 없는지를 조사한다. 식별 실패 화상과 식별 성공 화상에서 콘트라스트, 휘도 변화, 노이즈에 대하여 비교하여 차분이 큰 외란을 특정한다.
그리고 외란 화상 생성부(13)에서는, 외란 특정부(12)에서 특정한 외란의 차분을 식별 성공 화상 데이터에 더하여 화상을 생성하여, 학습용 화상 데이터(4)로서 저장한다. 식별에 성공한 화상이므로 참값은 식별 시에 작성되어 있어서, 참값 작성 작업은 발생하지 않는다. 또한 식별 실패 화상에 생긴 외란은 식별 성공 화상에 반영하고, 그것을 학습용 화상 데이터로 하여 CNN을 이용하여 학습함으로써, 학습 후에는 식별 실패 화상의 식별도 가능해진다. 식별 실패 화상에 참값을 매기고, 상정하는 외란을 더하여 학습용 화상 데이터를 작성하는 경우, 실제로는 일어나지 않는 외란도 추가하여 학습하게 되기 때문에, 쓸데없이 긴 학습 데이터가 포함되게 된다. 본 실시예에서는, 실제로 생겨 있는 외란을 성공 화상과 비교함으로써 특정하여 그 외란으로 범위를 축소한 학습용 화상 데이터를 작성한다. 그 때문에, 학습 데이터의 소량화를 행할 수 있어 학습 시간의 단기간화를 행하는 것이 가능해진다.
식별 실패 화상 데이터는, 사람이 식별 결과의 화상을 눈으로 보아 확인하여, 실패했다고 판단한 화상을 지정하여 작성하는 것을 생각할 수 있다.
도 2에, 학습을 이용한 윤곽선 추출에 있어서의 식별 결과 화상을 눈으로 보아 확인할 시의 GUI의 일례를 도시하다. GUI 화면은, 예를 들어 조건 설정 장치(2403)의 표시 장치에 표시되며, 포인팅 디바이스나 키보드 등의 입력 장치에 의하여 필요한 정보가 입력된다. 도 2에서는, 닫힌 도형 패턴마다 식별 결과가 표시되어 있다.
이 예에서는, 식별 대상은, 4코너의 모서리가 라운딩된 직사각형의 패턴이며, 그 윤곽선을 추출/식별할 수 있으면, 대조 화상과의 사이의 매칭 스코어가 높아져 식별 성공의 화상으로 된다. 식별 실패의 화상은, 굵은 프레임의 직사각형 a와 같은, 윤곽선이 나오지 않는 장소에서 추출된 영역, 또는 b와 같은, 윤곽선이 나오는 장소에서 추출되지 않는 영역, c와 같은, a와 b가 근접하여 발생한 영역을 포함하고 있기 때문에, 대조 화상과의 사이의 매칭 스코어가 저하되어 식별에 실패한다.
후술하는 식별기는, 식별에 실패한 화상에 기초하여 기계 학습을 실행하고자, 예를 들어 성공 화상으로 식별하기에는 스코어가 부족하기는 하지만, 어느 정도의 스코어가 나오고 있는 것을 식별 실패 화상으로서 등록하도록 프로그램해 두는 것이 바람직하다. 예를 들어 매칭을 성공으로 하는 스코어 Ths>실패 화상으로서 편입하는 스코어의 범위 Thf1 내지 Thf2>명확히 실패로 해야 할 스코어 Thof와 같이 식별을 위한 스코어를 설정해 두고, 유사도 판정 시, Thf1 내지 Thf2의 스코어로 된 피대조 화상을, 기계 학습을 위한 화상 데이터로서 식별하여 소정의 기억 매체에 기억시키도록 하면 된다.
유저는 식별 실패의 화상 영역만을 직사각형으로 표시하여 지시함으로써, 그 이외의 직사각형으로 지시되지 않는 영역은 전부 성공 화상 영역(식별 성공 화상)으로 할 수 있다. 표시된 식별 결과에, 식별에 실패한 화상 영역(식별 실패 화상)으로서 a, b, c의 직사각형의 프레임을 중첩시켜 표시하여, 눈으로 보아 확인하면서 설정할 수 있다.
기계 학습을 이용한 윤곽선의 추출/식별의 참값 매기기를 행하는 작업은, 화이트 밴드의 방향도 고려하여 피크 위치를 확인하면서 윤곽선의 참값을 부여해 가게 되어 매우 시간이 걸린다. 그 때문에, 가능한 한 참값 매기기를 행하는 작업은 불필요하게 하려고 생각한다.
유사 화상 검색부(11)에서는 식별 실패 화상 데이터에 유사한 식별 성공 화상 데이터를 검색한다. 화상의 정규화 상관을 이용한 매칭 처리에서 유사도가 높은 화상을 검색하는 것을 생각할 수 있다.
또한 도 3에 도시한 바와 같이 식별 실패 화상에 대응하는 설계 데이터(5)를 이용하여, 그 설계 데이터에 유사한, 식별 성공 화상에 대응하는 설계 데이터를 구함으로써, 식별 실패 화상 데이터에 유사한 식별 성공 화상 데이터를 검색하는 것도 생각할 수 있다.
또한 도 2에서 도시한 바와 같이 식별 대상은 1매 중에 복수 있는 경우가 많기 때문에, 식별 결과 화상의 1매의 화상 내에서 식별 실패 화상에 유사한 식별 성공 화상을 검색하는 것도 생각할 수 있다.
도 23은, 성공 화상과, GUI 화면 상에서 선택된 부분적인 실패 화상을 포함하는 학습 화상 데이터의 일례를 도시하는 도면이다. 학습 화상 데이터는, 성공 화상 데이터와 실패 화상의 지정된 개소의 화상 데이터가 관련지어져 메모리에 기억되어 있다. 기억된 데이터에는, 성공 화상과 실패 부분 화상을 합성한 합성 화상을 기억시켜 두고, 당해 합성 화상(보정 대조 화상)을 이용한 대조 처리를 행하도록 해도 되며, 화상 식별을 행할 시에 성공 화상과 실패 부분 화상을 합성하여 대조 화상을 생성하도록 해도 된다.
도 4는, 외란 특정부(12)의 일례를 설명하는 도면이다. 식별 실패 화상(2)과 식별 성공 화상(3)으로부터 각각 콘트라스트를 산출하고, 그 차분을 콘트라스트 차분 검출부(121)에서 구한다. 그리고 식별 실패 화상(2)과 식별 성공 화상(3)에서 콘트라스트가 크게 상이한지의 여부를 콘트라스트 차분 판정부(124)에서 판정한다. 휘도값 차분 검출부(122)에서는 식별 실패 화상(2)과 식별 성공 화상(3)의 각각의 휘도값의 차분을 구한다. 그리고 식별 실패 화상(2)과 식별 성공 화상(3)에서 휘도값이 크게 상이한지의 여부를 휘도값 차분 판정부(125)에서 판정한다. 노이즈 차분 검출부(123)에서는 식별 실패 화상(2)과 식별 성공 화상(3)의 각각의 노이즈양의 차분을 구한다. 그리고 식별 실패 화상(2)과 식별 성공 화상(3)에서 노이즈가 크게 상이한지의 여부를 노이즈 차분 판정부(126)에서 판정한다.
도 5는, 콘트라스트 차분 검출부(121)의 일례를 설명하는 도면이다. 식별 실패 화상(2)에 대하여 평활화부(1211)에서 평활화 필터 등을 이용하여 화상의 평활화를 행하여, 화상의 휘도값이 급준한 노이즈 성분은 제거한다. 그 후에 최댓값 검출부(1213) 및 최솟값 검출부(1214)에서 화상의 휘도값의 최댓값 Lmax와 최솟값 Lmin을 구한다. 콘트라스트 산출부에서는 최댓값 Lmax와 최솟값 Lmin을 이용하여 (Lmax-Lmin)/(Lmax+Lmin)을 산출한다. 마찬가지로 식별 성공 화상(3)에 대해서도 콘트라스트 산출부(1218)에서 콘트라스트를 산출하고, 각각의 콘트라스트의 차분을 콘트라스트 차분 산출부(1219)에서 구한다. 콘트라스트를 구하는 방법은 이 예에 한정되지 않으며, 식별 실패 화상(2)과 식별 성공 화상(3)에서 각각 최댓값과 최솟값의 차를 콘트라스트로 해도 된다. 어찌 되었든 간에 최댓값과 최솟값의 차를 이용하여 콘트라스트를 구한다.
도 6은, 휘도값 차분 검출부(122)의 일례를 설명하는 도면이다. 식별 실패 화상(2) 및 식별 성공 화상(3)에 대하여, 평활화부(1221, 1222)에서 평활화 필터 등을 이용하여 평활화를 충분히 행하여 화상의 완만한 휘도 변화를 구한다. 그 후에 각각의 화상의 휘도값의 차분을 휘도값 차분 산출부(1223)에서 산출한다.
도 7은, 노이즈 차분 검출부(123)의 일례를 설명하는 도면이다. 식별 실패 화상(2) 및 식별 성공 화상(3)에 대하여, 평활화부(1231, 1232)에서 평활화 필터 등을 이용하여 평활화를 행하여 노이즈 성분은 제거하고, 노이즈 산출부(1233, 1234)에서 식별 실패 화상(2) 및 식별 성공 화상(3)과 각각 평활화부(1231, 1232)를 거친 화상과 휘도값의 차분을 구하고, 그 차분값의 변동을 노이즈로서 산출한다. 각각에서 구한 노이즈의 차분값을 노이즈 차분 산출부(1235)에서 산출한다.
도 8은, 콘트라스트 차분 판정부(124)의 일례를 설명하는 도면이다. 미리 콘트라스트의 차분이 큰지의 여부를 판정하기 위한 역치(1251)가 설정되어 있으며, 콘트라스트 차분 검출부(121)가 출력하는 콘트라스트 차분의 값과 역치를 비교 판정부(1252)에서 비교한다. 역치(1251)보다 큰 경우에는 "1"의 값을 출력하고, 그 이외의 경우에는 "0"을 출력한다.
또한 휘도값 차분 판정부(125)와 노이즈 차분 판정부(126)도 콘트라스트 차분 판정부(124)과 마찬가지로 각각, 미리 판정하기 위한 역치가 설정되어 있으며, 그 역치와 비교하여 판정한다. 역치보다도 큰 경우에는 휘도값의 차분의 값, 노이즈의 차분의 값을 출력한다. 그 이외에는 각각 "0"을 출력한다. 그 경우, 이후의 각각 화상 생성의 연산을 리셋하고, 학습용 화상 데이터(4)에 대하여 저장 허가하지 않다는 신호를 출력하는 것을 생각할 수 있다.
또한 콘트라스트, 휘도값, 노이즈의 모든 차분이 크지 않은 경우에는, 그러한 취지를 유저에게 통지한다. 그리고 그 경우에는, 식별 실패 화상에 대하여 참값 매기기 작업을 행하여 식별 실패 화상을 학습용 화상 데이터로 한다.
도 9는, 외란 화상 생성부(13)의 일례를 설명하는 도면이다. 외란 특정부(12)에서 콘트라스트의 차분이 크다고 판단된 경우에는, 식별 성공 화상(3)에 대하여, 콘트라스트의 차분을 콘트라스트 차분 가산부(131)에서 가산한 화상을 생성한다. 또한 외란 특정부(12)에서 휘도값의 차분이 크다고 판단된 경우에는, 식별 성공 화상(3)에 대하여, 휘도값의 차분을 휘도 차분 가산부(132)에서 가산한 화상을 생성한다. 또한 외란 특정부(12)에서 노이즈의 차분이 크다고 판단된 경우에는, 식별 성공 화상(3)에 대하여, 노이즈의 차분을 노이즈 가산부(133)에서 가산한 화상을 생성한다.
도 10은, 콘트라스트 차분 가산부(131)의 일례를 설명하는 도면이다. 식별 실패 화상(2)의 최댓값-최솟값을 감산기(1312)에서 구하고, 식별 성공 화상(3)의 최댓값-최솟값을 감산기(1313)에서 구하고, 제산기(1314)로 (식별 실패 화상(2)의 최댓값-최솟값)/(식별 성공 화상(3)의 최댓값-최솟값)을 구한다. 그리고 식별 성공 화상으로부터 구한 최솟값을 감산기(1311)에서 감산한 화상에 대하여, 제산기(1314)에서 구한 (식별 실패 화상(2)의 최댓값-최솟값)/(식별 성공 화상(3)의 최댓값-최솟값)의 값을 승산기(1315)에서 곱한다. 그 후에 식별 실패 화상(2)의 최솟값을 가산기에서 더함으로써 실현할 수 있다.
휘도값 차분 가산부(132)는, 도 11과 같이 식별 성공 화상(3)에, 외란 특정부(12)에서 구한 휘도값의 차분을 가산기(1321)에서 가산하여 화상을 생성한다. 예를 들어 실패 화상에 발생한 대전에 의하여 배경이 검게 되는 바와 같은 휘도 불균일을 성공 화상에 가산할 수 있다.
도 12는, 노이즈 차분 가산부(133)의 일례를 설명하는 도면이다. 노이즈 차분 가산부(133)는, 외란 특정부(12)에서 구한 식별 실패 화상(2)의 노이즈(123a)와 식별 성공 화상(3)의 노이즈(123b)를 기초로 노이즈 조정(1331)에서 작성한 노이즈를 가산기(1332)에서 식별 성공 화상에 가산하여 화상을 생성한다. 노이즈 조정(1331)에서는 식별 성공 화상(3)에 이미 실려 있는 노이즈분은 고려하도록 노이즈를 더한다. 예를 들어 식별 실패 화상(3)의 노이즈(123a)를 정규 분포에서 발생시켰을 시에 식별 성공 화상(3)의 노이즈(123b)의 값보다도 큰 값으로 되는 노이즈만을 더한다. 또한 식별 실패 화상(3)의 노이즈(123a)를 정규 분포에서 발생시켰을 시와 마찬가지로 식별 성공 화상(3)의 노이즈(123b)를 정규 분포에서 발생시키고, 그 절댓값의 차분을 노이즈로서 더한다. 식별 실패 화상(2)의 노이즈보다 식별 성공 화상(3)의 노이즈가 큰 경우에는, 가산할 노이즈는 0으로 하는 것을 생각할 수 있다. 이상은 콘트라스트 차분 가산부(131), 휘도 차분 가산기(132), 노이즈 차분 가산부(133)의 각각에서 나누어 화상 작성하지만, 도 13에 도시한 바와 같이 각각 합한 화상을 작성하는 것도 생각할 수 있다. 맨 처음에 실패 화상에 대하여 콘트라스트 차분 가산부(131)에서 콘트라스트의 차분을 가산하고, 그 다음으로 휘도값 차분 가산부(132)에서 휘도값의 차분을 가산하고, 끝으로 노이즈 차분 가산부(133)에서 노이즈의 차분을 가산한다. 여기의 처리의 순서는 뒤바뀌어도 된다. 이것에 의하여, 콘트라스트 및 휘도값, 노이즈를 더한 화상 생성을 작성할 수 있다.
도 14는, 식별부도 포함시킨 화상 생성 장치의 일례를 설명하는 도면이다. 이미 학습된 식별부(9)는 식별용 화상 데이터(10)의 화상을 식별하고, 식별 결과를 식별 결과 화상 데이터(7)에 저장한다.
식별부(9)는, 미리 메모리에 기억된 대조 화상을 이용하여 화상을 식별하는 화상 처리를 실행하는 연산 처리 장치이다. 보다 구체적으로는, 피대조 화상과 대조 화상의 유사도를 판정하고, 그 스코어에 따라 탐색 대상의 화상을 검색한다. 예를 들어 스코어가 소정값 이상인 화상은 탐색 대상 화상으로서 식별된다. 탐색 대상 화상으로서 식별된 화상은 식별 성공 화상으로서 소정의 기억 매체에 기억되는 한편, 스코어가 소정값 미만인 화상은 식별 실패 화상으로서, 나중의 기계 학습을 위하여 소정의 기억 매체에 기억된다.
도 2에서 설명한 바와 같이 식별 대상은, 4코너가 라운딩된 직사각형의 패턴으로 식별할 수 있으면, 4코너가 라운딩된 직사각형의 윤곽선을 추출할 수 있는 것으로 한다.
식별 결과 화상 데이터(7)의 화상 데이터는 실패 영역 화상 지시부(8)에서 GUI 상에, 도 2에서 도시한 바와 같이 표시된다. 실패 영역 화상 지시부(8)에서 유저가 GUI 상에 표시한 식별 결과 화상 중에 식별 실패 화상 영역을 지시했다고 지시한 화상 영역은 식별 실패 화상 데이터(2)에 저장된다. 또한 지시되지 않은 화상 영역은, 예를 들어 도 2에서 도시하는, 4코너가 라운딩된 직사각형의 윤곽선이 추출된 화상 영역은 식별 성공 화상 데이터(3)에 저장된다. 화상 생성부(1)에서는, 식별 실패 화상 데이터와 식별 성공 화상 데이터를 이용하여 학습용의 화상 데이터를 생성한다. 화상 생성 장치(1)의 유사 화상/설계 데이터 검색부(14)에서는, 식별 실패 화상 데이터(2)와 유사한 성공 화상을 검색한다. 설계 데이터 또는 화상 데이터를 이용하여, 식별 실패 화상과 유사도가 높은 식별 성공 화상을 탐색한다. 그리고 탐색한 식별 성공 화상 데이터와 식별 실패 화상 데이터를 외란 특정부(12)에서 비교하여, 차분이 큰 외란(콘트라스트, 휘도 변화, 노이즈)을 특정한다. 그리고 외란 화상 생성부(13)에서 특정한 외란을 식별 성공 화상(3)에 반영한 화상을 생성하여 학습용 화상 데이터(4)에 저장한다. 식별기(9)에서는, 이 학습용 화상 데이터(4)에 저장된 화상 데이터를 이용하여 학습한다. 식별에 실패한 화상에 생긴 외란을 더한 성공 화상을 이용하여 학습함으로써, 식별에 실패한 화상에 생긴 외란에 로버스트한 식별이 가능해진다.
이상은 SEM 화상을 이용하는 경우의 외란이지만, 예를 들어 OM 상을 이용하는 경우에는 프로세스에 따라 휘도의 반전 등의 외란이 일어난다. 그 경우에는 외란 특정부(12) 중에, 도 15에 도시한 바와 같은 휘도 반전의 외란을 검출하는 기능이 필요해진다. 이 휘도 반전 검출부(127)에서는 식별 실패 화상(2)과 식별 성공 화상(3)의 화상을 이용하여 휘도 반전을 검출하고, 휘도 반전 판정부(128)에서 휘도의 반전이 일어났는지의 여부를 판정한다.
휘도 반전 검출부(127)에서는, 도 16에 도시한 바와 같이 식별 실패 화상(2)과 식별 성공 화상(3)의 화상 상관을 화상 상관 산출부(1271)에서 산출한다. 휘도의 반전이 있으면 부의 상관이 커진다. 휘도 반전 판정부(128)에서는, 미리 설정한 역치와 비교하여 부의 상관이 역치보다 큰 경우에 반전이 일어났다고 판정할 수 있다. 또한 설명한 외란 화상 생성부(13)에, 도 17에 도시하는 휘도 반전부(134)를 마련하고, 휘도 반전 판정부(128)에서 휘도 반전이 일어났다고 판정된 경우에는, 식별 성공 화상에 대하여 휘도값을 반전한 화상을 생성한다.
도 18에, 화상 생성 처리의 실시예의 일례를 도시한다. 화상 생성 처리 S10에서는, 맨 처음에 식별 실패 화상 선택 처리 S11에서 식별에 실패하는 화상을 선택한다. 도 2를 이용하여 설명한 바와 같이 유저가, 식별 결과 화상으로부터 식별에 실패한 화상 영역(이하, 식별 실패 화상)을 선택하는 처리를 행한다. 계속해서 유사 화상 검색 처리 S12에서는, 식별에 성공한 화상 데이터 중에서 식별 실패 화상 선택 처리 S11에서 선택한 식별 실패 화상과 유사한 식별 성공 화상을 탐색한다. 그리고 외란 특정 처리 S13에서 식별 실패 화상과 식별 성공 화상으로부터 콘트라스트, 휘도 변화, 노이즈 등의 외란을 비교하여, 식별 실패 화상과 식별 성공 화상에서 크게 상이한 외란을 특정한다. 그리고 외란 가산 처리 S14에서는, 외란 특정 처리 S13에서 특정한 외란을 식별 성공 화상에 반영한 화상을 생성한다. 도 19에 외란 특정 처리의 실시예의 일례를 도시한다. 외란 특정 처리 S20에서는 먼저, 콘트라스트 차분 검출/판정 처리 S21에서 식별 실패 화상과 식별 성공 화상으로부터 각각 콘트라스트를 산출하고 그 차분을 구하여, 차분값과 특정 역치의 대소 판정을 행한다. 차분값이 특정 역치보다 큰 경우에 식별 실패 화상과 식별 성공 화상에서 콘트라스트의 외란이 크게 상이하다고 판단한다.
휘도값 차분 검출/판정 처리 S22에서는 식별 실패 화상과 식별 성공 화상의 화상(휘도값)의 차분을 구하여, 차분값과 특정 역치의 대소 판정을 행한다. 차분값이 특정 역치보다 큰 경우에 식별 실패 화상과 식별 성공 화상에서 휘도 불균일의 외란이 크게 상이하다고 판단한다.
노이즈 차분 검출/판정 처리 S23에서는 식별 실패 화상과 식별 성공 화상의 노이즈의 크기의 차분을 구하여, 차분값과 특정 역치의 대소 판정을 행한다. 차분값이 특정 역치보다 큰 경우에 식별 실패 화상과 식별 성공 화상에서 노이즈의 외란이 크게 상이하다고 판단한다.
여기서는 콘트라스트 차분 검출/판정 처리 S21, 휘도값 차분 검출/판정 처리 S22, 노이즈 차분 검출/판정 처리 S23의 순서이지만, 순서는 이와 동일하지 않더라도 상관없다.
도 20에 외란 가산 처리의 실시예의 일례를 도시한다. 외란 가산 처리 S30에서는, 콘트라스트 차분 가산 처리 S31과 휘도값 차분 가산 처리 S32와 노이즈 차분 가산 처리 S23을 행한다. 콘트라스트 차분 검출/판정 처리 S21에서는, 콘트라스트 차분 검출/판정 처리 S21에서 식별 실패 화상과 식별 성공 화상에서 콘트라스트의 외란이 크게 상이하다고 판단된 경우, 식별 성공 화상의 콘트라스트를 식별 실패 화상의 콘트라스트에 부합하도록 한다. 구체적으로는 도 5 및 도 9, 10을 이용하여 설명한 내용과 동일하다.
휘도값 차분 가산 처리 S32에서는, 휘도값 차분 검출/판정 처리 S22에서 식별 실패 화상과 식별 성공 화상에서 휘도 불균일의 외란이 크게 상이하다고 판단된 경우, 식별 실패 화상과 식별 성공 화상을 각각 강한 평활화를 행하여 식별 실패 화상-식별 성공 화상의 차분 화상을 구하고, 그것을 식별 성공 화상에 더한 화상을 작성한다. 도 6 및 도 11을 이용하여 설명한 내용과 동일하다.
노이즈 차분 가산 처리 S33에서는, 노이즈 차분 검출/판정 처리 S23에서 식별 실패 화상과 식별 성공 화상에서 노이즈의 외란이 크게 상이하다고 판단된 경우, 식별 실패 화상에 생긴 노이즈를 식별 성공 화상에 더한 화상을 작성한다. 도 7 및 도 12를 이용하여 설명한 내용과 동일하다.
여기서는 콘트라스트 차분 가산 처리 S31, 휘도값 차분 가산 처리 S32, 노이즈 차분 가산 처리 S33의 순서이지만, 순서는 이와 동일하지 않더라도 상관없다.
1: 화상 생성 장치
2: 식별 실패 화상 데이터
3: 식별 성공 화상 데이터
4: 학습용 화상 데이터
5: 설계 데이터
6: 설계 데이터
7: 식별 결과 화상 데이터
8: 실패 영역 화상 지시부
9: 식별부
10: 식별용 화상 데이터
11: 유사 화상 검색부
12: 외란 특정부
13: 외란 화상 생성부
121: 콘트라스트 차분 검출부
122: 휘도 차분 검출부
123: 노이즈 차분 검출부
124: 콘트라스트 차분 판정부
125: 휘도 차분 판정부
126: 노이즈 차분 판정부
127: 휘도 반전 검출부
128: 휘도 반전 판정부
131: 콘트라스트 차분 가산부
132: 휘도 차분 가산부
133: 노이즈 차분 가산부
134: 휘도 반전부
121a: 식별 실패 화상의 최댓값
121b: 식별 실패 화상의 최솟값
121c: 식별 성공 화상의 최댓값
121d: 식별 성공 화상의 최솟값
123a: 식별 실패 화상의 노이즈
123b: 식별 성공 화상의 노이즈

Claims (11)

  1. 대조 화상을 이용하여 화상을 식별하는 연산 처리 장치를 구비한 화상 처리 시스템에 있어서,
    상기 화상을 표시하는 표시 장치와,
    상기 화상의 일부를 선택하는 입력 장치와,
    상기 화상을 식별하기 위한 대조 화상 데이터를 기억하는 메모리와,
    상기 연산 처리 장치의 화상 식별에 요하는 상기 대조 화상 데이터를 기계 학습하는 기계 학습 엔진을 구비하고,
    당해 기계 학습 엔진은, 상기 연산 처리 장치에 의한 식별에 실패한 화상을 이용하여, 상기 메모리에 기억된 상기 연산 처리 장치에 의한 식별에 성공한 화상의 탐색을 행하고, 당해 탐색에 의하여 얻어진 식별에 성공한 화상에, 상기 입력 장치에 의하여 선택된 상기 식별에 실패한 화상의 부분 화상에 기초하여 얻어지는 정보를 부가하여, 보정 대조 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리 시스템.
  2. 제1항에 있어서,
    상기 연산 처리 장치는, 상기 입력 장치에 의하여 선택된 부분 화상과, 상기 식별에 성공한 화상의 당해 부분 화상에 대응하는 대응 화상과의 차분을 구하고, 상기 기계 학습 엔진은 당해 차분 정보를 이용하여 상기 보정 대조 화상 데이터를 생성하는 것을 특징으로 하는 화상 처리 시스템.
  3. 제1항에 있어서,
    상기 연산 처리 장치는, 상기 식별에 실패한 화상에 대응하는 설계 데이터를 이용하여, 상기 식별에 성공한 화상의 탐색을 실행하는 것을 특징으로 하는 화상 처리 시스템.
  4. 제1항에 있어서,
    상기 연산 처리 장치는, 상기 식별에 실패한 화상의 부분 화상과 상기 식별에 성공한 화상의 콘트라스트, 휘도값 및 노이즈의 차분 연산을 행하고, 당해 차분 연산 결과에 기초하여, 상기 보정 대조 화상 데이터를 생성하는 부가 정보로 하는 것을 특징으로 하는 화상 처리 시스템.
  5. 제1항에 있어서,
    상기 표시 장치는, 상기 입력 장치에 의하여 선택된 상기 식별에 실패한 화상의 부분 화상과, 탐색에 의하여 얻어진 식별에 성공한 화상을 중첩시켜 표시하는 것을 특징으로 하는 화상 처리 시스템.
  6. 제1항에 있어서,
    상기 입력 장치는, 상기 식별에 실패한 화상으로부터 화소 단위로 복수 개소의 상기 부분 화상을 지정하는 것을 특징으로 하는 화상 처리 시스템.
  7. 제1항에 있어서,
    상기 연산 처리 장치에 의한 식별에 성공한 화상의 탐색 결과, 복수의 식별에 성공한 화상이 얻어진 경우, 상기 기계 학습 엔진은, 상기 입력 장치의 입력에 의하여 선택된 식별에 성공한 화상을 이용하여 상기 보정 대조 화상을 생성하는 것을 특징으로 하는 화상 처리 시스템.
  8. 제1항에 있어서,
    상기 연산 처리 장치는, 상기 식별에 성공한 화상의 탐색 결과, 화상이 발견되지 않는 경우, 그러한 취지를 상기 표시 장치에 표시하는 것을 특징으로 하는 화상 처리 시스템.
  9. 제1항에 있어서,
    상기 기계 학습 엔진은 상기 탐색의 결과, 화상이 발견되지 않은 경우, 상기 식별에 실패한 화상을 표시함과 함께, 상기 입력 장치에 의한 상기 보정 대조 화상 데이터를 생성하기 위한 정보 입력을 가능하게 하는 것을 특징으로 하는 화상 처리 시스템.
  10. 프로세서에 의하여 실행되는 컴퓨터 명령을 기억한, 컴퓨터 판독 가능한 기억 매체이며, 상기 컴퓨터 명령은, 대조 화상을 이용하여 피대조 화상을 식별하는 식별기의 학습 데이터를 생성하기 위하여, 상기 대조 화상 데이터를 이용한 식별에 실패한 피대조 화상 데이터를 이용하여, 상기 대조 화상 데이터를 이용한 식별에 성공한 피대조 화상 데이터의 탐색을 행하고, 당해 탐색에 의하여 얻어진 식별에 성공한 피대조 화상 데이터에, 상기 식별에 실패한 피대조 화상의 부분적인 선택에 기초하여 얻어지는 정보를 부가하여, 보정 대조 화상 데이터를 생성하는 것인 것을 특징으로 하는 프로세서에 의하여 실행되는 컴퓨터 명령을 기억한, 컴퓨터 판독 가능한 기억 매체.
  11. 제10항에 있어서,
    상기 컴퓨터 명령은, 상기 식별에 실패한 피대조 화상 중에서 선택된 부분 화상과, 상기 식별에 성공한 피대조 화상의 당해 부분 화상에 대응하는 대응 화상과의 차분을 구하고, 상기 기계 학습 엔진은 당해 차분 정보를 이용하여 상기 보정 대조 화상 데이터를 생성시키는 것을 특징으로 하는 프로세서에 의하여 실행되는 컴퓨터 명령을 기억한, 컴퓨터 판독 가능한 기억 매체.
KR1020197022591A 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램 KR102336431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217027367A KR102435492B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060351A JP6731370B2 (ja) 2017-03-27 2017-03-27 画像処理システム及び画像処理を行うためのコンピュータープログラム
JPJP-P-2017-060351 2017-03-27
PCT/JP2018/010307 WO2018180562A1 (ja) 2017-03-27 2018-03-15 画像処理システム及び画像処理を行うためのコンピュータープログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217027367A Division KR102435492B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20190103283A true KR20190103283A (ko) 2019-09-04
KR102336431B1 KR102336431B1 (ko) 2021-12-08

Family

ID=63675752

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197022591A KR102336431B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
KR1020217027367A KR102435492B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217027367A KR102435492B1 (ko) 2017-03-27 2018-03-15 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램

Country Status (6)

Country Link
US (2) US11176405B2 (ko)
JP (1) JP6731370B2 (ko)
KR (2) KR102336431B1 (ko)
CN (2) CN110352431B (ko)
TW (2) TW201835815A (ko)
WO (1) WO2018180562A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3875697B1 (en) 2018-10-31 2023-12-06 Sumitomo Construction Machinery Co., Ltd. Excavator and excavator assisting system
WO2020234737A1 (en) * 2019-05-18 2020-11-26 Looplearn Pty Ltd Localised, loop-based self-learning for recognising individuals at locations
JP2021117548A (ja) * 2020-01-22 2021-08-10 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7288870B2 (ja) * 2020-02-05 2023-06-08 株式会社日立製作所 画像を生成するシステム
US11899437B2 (en) * 2020-03-30 2024-02-13 Hitachi High-Tech Corporation Diagnostic system
CN111832433B (zh) * 2020-06-24 2023-12-29 奇点微(上海)光电科技有限公司 一种由图像提取物体特性的装置及其工作方法
JP7351812B2 (ja) 2020-07-27 2023-09-27 株式会社日立製作所 荷電粒子線装置および帯電評価方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554195A (ja) 1991-08-29 1993-03-05 Matsushita Electric Ind Co Ltd 文字認識装置
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
JPH1063789A (ja) 1996-08-27 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 識別関数学習方法
KR101034117B1 (ko) * 2009-11-13 2011-05-13 성균관대학교산학협력단 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
JP2015046071A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 画像認識装置、画像認識方法及び画像認識プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0650738A (ja) 1992-07-31 1994-02-25 Toyota Motor Corp 画像輪郭線検出装置
JPH06333008A (ja) 1993-05-19 1994-12-02 Fujitsu General Ltd 画像輪郭指定用入力装置
JP2001148012A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 対応点探索方法および装置
JP2005149455A (ja) * 2003-10-21 2005-06-09 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP2007052575A (ja) * 2005-08-17 2007-03-01 Konica Minolta Holdings Inc メタデータ付与装置およびメタデータ付与方法
JP5010207B2 (ja) * 2006-08-14 2012-08-29 株式会社日立ハイテクノロジーズ パターン検査装置及び半導体検査システム
US20110106734A1 (en) 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
JP5546317B2 (ja) * 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
EP2682913A4 (en) * 2011-03-04 2014-08-27 Nec Corp INDIVIDUAL PRODUCT IDENTIFICATION SYSTEM, INDIVIDUAL PRODUCT IDENTIFICATION METHOD AND DEVICE AND PROGRAM THEREWITH
JP2013084074A (ja) * 2011-10-07 2013-05-09 Sony Corp 情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラム
WO2013099367A1 (ja) * 2011-12-27 2013-07-04 Ｎｅｃソフト株式会社 画像認識装置、画像認識方法、補正器、プログラムおよび記録媒体
US9053595B2 (en) * 2012-02-02 2015-06-09 Jared Grove Coin identification system and method using image processing
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9518934B2 (en) 2014-11-04 2016-12-13 Kla-Tencor Corp. Wafer defect discovery
JP2016099668A (ja) 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
CN105844202A (zh) * 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 一种影像识别系统及方法
US10339422B2 (en) 2015-03-19 2019-07-02 Nec Corporation Object detection device, object detection method, and recording medium
JP2018524623A (ja) * 2015-05-14 2018-08-30 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ モバイル機器キャプチャからの最適画像選択方法
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554195A (ja) 1991-08-29 1993-03-05 Matsushita Electric Ind Co Ltd 文字認識装置
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
JPH1063789A (ja) 1996-08-27 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 識別関数学習方法
KR101034117B1 (ko) * 2009-11-13 2011-05-13 성균관대학교산학협력단 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
JP2015046071A (ja) * 2013-08-28 2015-03-12 ヤフー株式会社 画像認識装置、画像認識方法及び画像認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "Image Net Classification with Deep Convolutional Neural Networks", Advances InNeural Information Processing Systems, Vol. 25, pp. 1106-1114, 2012.

Also Published As

Publication number Publication date
KR102435492B1 (ko) 2022-08-24
TW201835815A (zh) 2018-10-01
US20220036116A1 (en) 2022-02-03
KR20210111335A (ko) 2021-09-10
CN110352431B (zh) 2023-07-18
US20200134355A1 (en) 2020-04-30
TWI697849B (zh) 2020-07-01
CN110352431A (zh) 2019-10-18
US11836906B2 (en) 2023-12-05
KR102336431B1 (ko) 2021-12-08
WO2018180562A1 (ja) 2018-10-04
JP2018163524A (ja) 2018-10-18
JP6731370B2 (ja) 2020-07-29
CN116152507A (zh) 2023-05-23
US11176405B2 (en) 2021-11-16
TW201945982A (zh) 2019-12-01

Similar Documents

Publication Publication Date Title
KR102336431B1 (ko) 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
US11587225B2 (en) Pattern inspection system
US10937146B2 (en) Image evaluation method and image evaluation device
JP5639797B2 (ja) パターンマッチング方法，画像処理装置、及びコンピュータプログラム
JP5313939B2 (ja) パターン検査方法、パターン検査プログラム、電子デバイス検査システム
JP4982544B2 (ja) 合成画像形成方法及び画像形成装置
JP6043735B2 (ja) 画像評価装置及びパターン形状評価装置
KR20210087063A (ko) 화상 평가 장치 및 방법
US9773315B2 (en) Device and method for computing amount of drift and charged particle beam system
US20230222764A1 (en) Image processing method, pattern inspection method, image processing system, and pattern inspection system
JP7438311B2 (ja) 画像処理システムおよび画像処理方法
US20230071668A1 (en) Pattern Matching Device, Pattern Measurement System, and Non-Transitory Computer-Readable Medium
JP5396496B2 (ja) 合成画像形成方法及び画像形成装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)