KR20240042143A - 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법 - Google Patents

비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20240042143A
KR20240042143A KR1020247008933A KR20247008933A KR20240042143A KR 20240042143 A KR20240042143 A KR 20240042143A KR 1020247008933 A KR1020247008933 A KR 1020247008933A KR 20247008933 A KR20247008933 A KR 20247008933A KR 20240042143 A KR20240042143 A KR 20240042143A
Authority
KR
South Korea
Prior art keywords
finding
images
image
pattern
neural network
Prior art date
Application number
KR1020247008933A
Other languages
English (en)
Inventor
레이 왕
비벡 아난드
로웰 디. 제이콥슨
데이비드 와이. 리
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20240042143A publication Critical patent/KR20240042143A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 뉴럴 넷 분류기를 포함하는 이미지에서 패턴을 찾기 위한 시스템 및 방법을 제공한다. 패턴 찾기 도구는 하위 픽셀 정확도로 라벨링된 패턴 결과를 갖도록 도구 전 또는 후에 실행될 수 있는 분류기와 결합된다. 다수의 템플릿을 검출할 수 있는 패턴 찾기 도구의 경우, 뉴럴 넷 분류기가 원래 훈련된 템플릿의 하위 세트에서만 작동하도록 패턴 찾기 도구에 알릴 때 성능이 향상된다. 마찬가지로, 패턴을 처음 검출하는 패턴 찾기 도구의 경우, 뉴럴 네트워크 분류기가 올바른 패턴을 찾았는지 여부를 결정할 수 있다. 뉴럴 네트워크는 또한 이미지화된 형상을 재구성/정리하고 그리고/또는 관심 형상과 덜 관련된 픽셀을 제거하여 검색 시간을 단축하고 올바른 형상에 대한 잠금 가능성을 크게 높일 수 있다.

Description

비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR FINDING AND CLASSIFYING PATTERNS IN AN IMAGE WITH A VISION SYSTEM}
본 발명은 머신 비전 시스템 및 방법에 관한 것이며, 더 상세하게는 패턴 검색 및 인식 도구에 관한 것이다.
본 명세서에서 “비전 시스템”이라고도 하는 머신 비전 시스템은 제조 환경에서 다양한 작업을 수행하는데 사용된다. 일반적으로, 비전 시스템은 제조중인 객체를 포함하는 장면의 그레이 스케일 또는 컬러 이미지를 획득하는 이미지 센서(또는 “이미저(imager)”)를 갖는 하나 이상의 카메라로 구성된다. 객체의 이미지가 분석되어 사용자 및 관련 제조 프로세스에 데이터/정보를 제공할 수 있다. 이미지에 의해 생성된 데이터는 일반적으로 목적에 맞게 구축될 수 있는 하나 이상의 비전 시스템 프로세서 또는 범용 컴퓨터(예를 들어, PC, 랩톱,태블릿 또는 스마트폰) 내에서 인스턴스화된 하나 이상의 소프트웨어 애플리케이션의 일부에서 비전 시스템에 의해 분석되고 처리된다.
통상적인 비전 시스템 작업은 정렬 및 검사를 포함한다. 정렬 작업에서, 메사추세츠주 Natick의 Cognex Corporation에서 시판중인 잘 알려진 PatMax® 시스템과 같은 비전 시스템 도구는 장면의 이미지에서의 특징을 훈련된(실지 또는 합성 모델을 사용) 패턴에 비교하며, 이미지화된 장면에서 패턴의 존재/부재 및 포즈를 결정한다. 이 정보는 후속 검사(또는 기타) 동작에서 결함을 검색하거나 그리고/또는 부품 거부와 같은 다른 동작을 수행하는데 사용될 수 있다.
검색 가능한 패턴의 미리 결정된 리스트(예를 들어, 원, 사각형, 나사 이미지 등)를 포함할 수 있는 기존 패턴 찾기 도구의 성능을 향상시키는 것이 바람직하다. 종종 이러한 도구는 미묘한 차이(예를 들어, 원 vs 작은 노치가 있는 원)를 갖는 특정 훈련된 패턴을 제대로 구별하지 못할 수 있다.
본 발명은 뉴럴 네트워크(neural network)(“뉴럴 넷”이라고도 함) 분류기(때로는 “분석기”라고도 함)를 포함하는 이미지에서의 패턴을 찾기 위한 시스템 및 방법을 제공함으로써 종래 기술의 단점을 극복한다. 패턴 찾기 도구는 도구 전후에 실행될 수 있는 분류기와 결합되어 하위 픽셀 정확도로 레이블이 지정된 패턴 결과를 갖는다. 여러 템플릿을 검출할 수 있는 패턴 찾기 도구의 경우, 뉴럴 넷 분류기가 원래 훈련된 템플릿의 하위 집합에서만 작동하도록 패턴 찾기 도구에 알릴 때 그 성능이 향상된다. 대안적으로, 패턴 찾기 도구를 실행하기 전에 뉴럴 네트워크를 사용하여 이미지를 재구성하거나 정리할 때 패턴 찾기 도구의 성능이 향상될 수 있다. 추가로, 패턴에 속하는 픽셀이 매칭될 가능성에 기초하여 이미지의 각 픽셀에 대한 가중치를 계산하는데 뉴럴 네트워크가 사용될 수 있다. 마찬가지로, 패턴을 처음 검출하는 패턴 찾기 도구의 경우, 뉴럴 넷 분류기가 올바른 패턴을 찾았는지 여부를 결정할 수 있다.
예시적인 실시예에서, 이미지에서 패턴을 찾기 위한 시스템 및 방법은 관심 패턴을 포함하는 하나 이상의 훈련 이미지에 관련된 하나 이상의 템플릿에 기초하여 훈련되는 패턴 찾기 도구를 포함한다. 뉴럴 넷 분류기는 하나 이상의 훈련 이미지에 대해 훈련되고 템플릿 일치 프로세스는 실행 중에 작동하며, (a) 훈련된 뉴럴 넷 분류기는 실행 이미지에 기초하여 하나 이상의 템플릿을 패턴 찾기 도구에 제공하며, 훈련된 패턴 찾기 도구는 실행 이미지와 결합된 하나 이상의 템플릿 이미지에 기초하여 패턴 일치를 수행하거나, (b) 훈련된 패턴 찾기 도구는 실행 이미지로부터 찾은 패턴을 훈련된 뉴럴 넷 분류기에 제공하며, 훈련된 뉴럴 넷 분류기는 실행 이미지 및 찾은 패턴에 기초하여 패턴 매칭을 수행한다. 패턴 찾기 도구는 복수의 템플릿을 사용하거나 단일 템플릿을 사용하여 훈련되도록 구성된다. 뉴럴 넷은 컨볼루션 뉴럴 네트워크(convolution neural network, CNN)를 포함한다.
다른 실시예에서, 이미지에서 패턴 찾기를 위한 시스템 및 방법이 제공되며, 이미지에서 하나 이상의 후보 형상을 찾도록 훈련되고 실행 작동 중 이미지에서 하나 이상의 형상의 존재할 확률을 식별하도록 배열된 뉴럴 네트워크를 포함한다. 뉴럴 네트워크는 (a) 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징을 갖는 가중 마스크 및/또는 (b) 하나 이상의 후보 형상의 모델의 특징이 뉴럴 네트워크 분석기가 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징의 존재를 식별하는 이미지에서 대체되는 재구성된 이미지를 생성한다. 예시적으로, 패턴 찾기 도구는 (a) 가중 마스크 및/또는 (b) 재구성된 이미지에서 하나 이상의 후보 형상을 찾기 위해 하나 이상의 후보 형상에 대한 하나 이상의 모델을 사용하여 훈련된다. 뉴럴 네트워크는 그 안의 각 픽셀이 하나 이상의 형상의 식별과 관련된 점수를 갖도록 가중 마스크를 정의할 수 있다. 재구성된 이미지는 이진 이미지로 정의될 수 있다. 예시적으로, 뉴럴 네트워크 분석기는 패턴 찾기 도구에 하나 이상의 후보 형상의 유형의 존재에 대한 데이터를 제공하고 패턴 찾기 도구는 유형을 찾는 것과 관련된 프로세스로 프로세스를 제한한다. 일반적으로 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN)를 포함할 수 있다.
아래의 발명 설명은 첨부된 도면을 참조한다:
도 1은 뉴럴 네트워크 분류기와 결합된 패턴 찾기 도구를 사용하여 상이한 형상 및/또는 패턴을 포함하는 이미지화된 객체를 분석하도록 배열된 비전 시스템의 다이어그램이다.
도 2는 하나 이상의 이미지 템플릿의 동일한 세트에 대해 훈련된 패턴 찾기 도구 및 뉴럴 네트워크 분류기를 포함하는 스마트 패턴 찾기 도구에 대한 훈련 절차를 도시하는 블록도이다.
도 3은 패터 찾기 도구 이전에 뉴럴 넷 분류기가 실행되는 도 2의 훈련된 스마트 패턴 찾기 도구를 사용하여 입력 이미지에 대한 실행 작동의 블록도이다.
도 4는 단일 템플릿를 위해 하나 이상의 이미지에 대해 훈련되는 패턴 찾기 도구 및 뉴럴 네트워크 분류기를 포함하는 스마트 패턴 찾기 도구에 대한 훈련 절차를 도시하는 불록도이다.
도 5는 패턴 찾기 도구 후에 뉴럴 넷 분류기가 실행되는 도 4의 훈련된 스마트 패턴 찾기 도구를 사용하여 입력 이미지에 대한 실행 작동의 블록도이다.
도 6은 이미지에서 후부를 초기에 검색/결정하기 위해 뉴럴 네트워크를 적용한 다음 검색/결정을 구체화하기 위해 패턴 찾기 도구를 적용하는 절차의 개요를 도시하는 흐름도이다.
도 7은 도 6의 절차에서 뉴럴 네트워크의 훈련 및 실행 작동을 도시하는 흐름도이다.
도 8은 도 7의 뉴럴 네트워크 절차에 의해 제공된 이미지 결과를 사용하는 패턴 찾기 도구의 실행 작동을 도시하는 흐름도이다.
도 9는 도 5의 패턴 찾기 도구와 관련하여 가중 마스크의 생성을 도시하는 블록도이다.
도 10은 도 9에 따른 가중 마스크를 생성하기 위해 관심 형상 및 관심 형상의 모델을 포함하는 예시적인 관심 형상 및 획득된 이미지 데이터의 처리를 도시하는 다이어그램이다.
도 11은 획득된 이미지 데이터에 관심 형상을 재구성 또는 정리하기 위해 도 5에 따른 뉴럴 네트워크의 사용을 도시하는 블록도이다.
도 12는 도 11에 따른 형상의 재구성 및/또는 정리된 버전(예를 들어, 이진 이미지)을 생성하기 위해 관심 형상을 포함하는 예시적인 획득된 이미지 데이터의 처리를 도시하는 다이어그램이다.
I. 시스템 개요
도 1은 예시적인 시스템 및 방법에 따라 사용하기 위한 일반화된 비전 시스템 배열(100)을 도시한다. 비전 시스템은 부품/표면 검사, 로봇 제어, 부품 정렬 등을 포함하여 임의의 수용 가능한 환경에서 구현될 수 있다. 시스템은 온보드(on-board) 또는 별도의 조명(미도시)을 포함할 수 있는 광학 장치(O) 및 이미지 센서(“센서” 또는 “이미저”라고도 함)(S)를 갖는 적어도 하나의 비전 시스템 카메라 어셈블리(110)를 포함한다. 카메라 어셈블리는 하나 이상의 고정 또는 이동 객체를 포함할 수 있는 장면(120)을 이미지화한다. 이 예에서, 객체는 규칙적이고 불규칙적인 기하학적 형상의 다양한 내부 형상(132, 134, 136 및 138)뿐만 아니라 외곽선 형상을 포함한다. 보다 일반적으로, 패턴은 객체의 임의의 2-D 이미지 또는 임의의 기하학적 형상일 수 있다.
카메라 어셈블리(110) 및 관련 센서(S)는 카메라 어셈블리(110) 내에 전체 또는 부분적으로 위치될 수 있거나 서버, PC, 랩톱, 태블릿 또는 스마트폰(컴퓨터(160))과 같은 별도의 처리 장치에 위치될 수 있는 비전 시스템 프로세서(140)에 상호 연결된다. 컴퓨팅 장치는 디스플레이/터치스크린(162), 키보드(164) 및 마우스(166)와 같은 적절한 사용자 인터페이스를 포함할 수 있다.
예시적으로, 비전 시스템 프로세스(프로세서)(140)는 실행 동안 객체(130)의 획득 및/또는 저장된 이미지를 조작하고 분석하기 위해 다양한 비전 시스템 도구 및 관련된 소프트웨어/펌웨어를 작동한다. 프로세스(프로세서)(140)는 특정 파라미터에 따라 기능하고 훈련 절차를 사용하여 객체에서 발견된 특정 형상을 인식하도록 훈련될 수 있다. 프로세서(프로세서)(140)는 전술한 PatMax® 소프트웨어 패키지 및 그 변형, 예를 들어 PatMax® Multi-Model에서 발견되는 것과 같은 패턴 찾기 도구(142)를 포함하는 다양한 비전 시스템 구성 요소를 포함할 수 있다. 패턴 찾기 도구는 훈련 템플릿(144)에 포함된 훈련된 패턴 또는 표준 형상 패턴(사각형, 원 등)을 사용할 수 있다. 아래에 설명된 바와 같이, 비전 시스템 프로세스(프로세서)는 또한 뉴럴 네트워크 프로세스(프로세서)(150)를 포함하거나 이와 인터페이스한다. 뉴럴 네트워크 프로세스(프로세서)(150)(“뉴럴 넷”이라고도 함)는 시스템(100)의 패턴 찾기 속도 및 성능을 향상시키기 위해 분류기의 형태로 다양한 패턴에 대해 작동한다.
패턴 찾기의 결과는 컴퓨터 인터페이스(162)를 통해 사용자에게 및/또는 다른 다운 스트림 활용 장치 또는 프로세스(프로세서)(180)에 전송될 수 있다. 이러한 장치 또는 프로세스(프로세서)는 조립 로봇 컨트롤러, 라인 검사, 부품 검사/제거, 품질 제어 등을 포함할 수 있다.
패턴 매칭에 대한 전통적인 접근법은 관심 형상 또는 특징을 갖는 모델 이미지를 사용하여 PatMax® 또는 PatMax® Multi-Model과 같은 기존의 패턴 매칭 도구를 훈련시키는 것을 수반한다. 실행 동안 패턴 매칭 도구는 검사중인 객체의 획득된 이미지에서 훈련된 패턴에 정확한 일치를 찾기 위해 훈련된 템플릿 중 하나 이상(아마도 모두)을 실행한다.
반대로, 본 실시예는 전통적인 패턴 찾기 도구를 향상시키기 위해 뉴럴 넷 프로세스를 활용하는 스마트 패턴 찾기 도구를 제공하여 도구 결과에서 발견된 패턴을 자동으로 라벨링하거나 관련 뉴럴 넷 분류기를 사용하여 안정적으로 패턴을 검출할 수 있는 기능을 제공한다. 작동 중에, 이 접근법을 사용하면 템플릿을 포함하는 이미지의 데이터베이스에 대한 스마트 패턴 찾기 도구의 훈련을 허용한다. 훈련 후, 실행 동안, 스마트 패턴 찾기 도구는 기존 패턴 찾기 및 뉴럴 넷 분류기의 최고의 기능을 결합하여 매우 정확한 포즈(위치, 배율, 회전 등)로 올바르게 라벨링된 패턴 찾기 결과를 제공한다.
II. 뉴럴 네트워크를 사용하여 검색을 구체화하는 패턴 찾기
실행 이전의 훈련 시간 절차(200)를 나타내는 블록도를 도시하는 도 2를 참조한다. 도구(210)는 종래의 패턴 찾기 도구(220) 및 복수의 훈련된 패턴(템플릿)(240)/훈련된 패턴(템플릿)의 세트 중에서 정확한 패턴을 찾는데 있어서 패턴 찾기 도구를 돕는 관련된 뉴럴 넷 분류기를 포함한다.
더 상세하게는, 훈련 시간에, 종래의 패턴 찾기 도구(220)(예를 들어, PatMax® Multi-Model)는 하나 이상의 템플릿 이미지에 대해 훈련된다. 동시에, 뉴럴 넷 분류기(예를 들어, 컨볼루션 뉴럴 네트워크(CNN))(230)는 각 템플릿에 의해 표현되는 패턴의 여러 예시 이미지에 대해 훈련된다. 뉴럴 넷 분류기(230)는 입력 이미지를 처리하고 입력 이미지에서 찾은 템플릿 라벨의 하위 세트를 보고하도록 훈련된다.
도 3은 훈련된 뉴럴 넷 분류기(310)가 입력 실행 이미지(카메라(110)에 의해 획득 및/또는 이전의 획득으로부터 저장됨)(320)에 대해 먼저 실행되고 각 템플릿에 대한 확률을 결정하는 실행 절차(사전 분류를 사용)(300)를 도시한다. 스마트 패턴 찾기 도구는 어떤 결과가 가장 좋은지 필터링한 다음 훈련된 패턴 찾기 도구(350)에게 N 개의 템플릿의 전체 세트(도 2의 240)보다는 M 개의 템플릿의 이러한 매칭된 하위 세트(340)에 대해 작업하도록 알린다. 이와 같이 M 개의 베스트 피팅 템플릿의 서브 세트(340)가 훈련된 패턴 찾기 도구(350)에 대한 검색 파라미터로서 제공된다. 입력 이미지(320)는 패턴 찾기 도구(350)에 제공되고, 검색 파라미터는 도구(350)의 출력으로서 매칭된 템플릿 결과(360)를 산출하는데 사용된다. 이러한 결과는 사용자에게 표시되거나 다운스트림 활용 작동(예를 들어, 부품 정렬, 검사 등)에 사용될 수 있다. 유리하게는, 이 프로세스(300)는 매칭된 템플릿을 생성하는데 일반적으로 수반되는 계산량을 감소시킨다.
다양한 독점적이고 상업적으로 이용 가능한(예를 들어, 오픈 소스) 뉴럴 네트워크 아키텍처 및 관련 분류기는 본 실시예에 따라 사용될 수 있다. 예를 들어, TensorFlow, Microsoft CNTK.
전술한 훈련 및 실행 절차(200 및 300)가 사용될 수 있는 예시적인 응용은 기준의 형상이 상이한 부분(십자, 다이아몬드 등)에 걸쳐 변할 수 있는 정확한 기준을 찾는데 있다. 예시적으로, 전통적인 패턴-찾기 도구는 가능한 각 기준 패턴을 나타내는 템플릿 이미지에 대해 훈련된다. 또한, 뉴럴 넷 분류기(예를 들어, TensorFlow)는 각 기준 패턴과 관련된 라벨과 함께 각 기준 패턴의 모양 변화를 보여주는 여러 이미지에 대해 훈련된다. 실행 시에, 우선 훈련된 뉴럴 넷 분류기가 실행되어 실행 이미지에서 찾은 라벨의 세트를 반환한다. 이 정보를 사용하여 시스템은 패턴 찾기 도구(예를 들어, PatMax® MultiModel)에 뉴럴 넷 분류기에 의해 생성된 라벨로 표시되는 템플릿의 세트에 대해서만 실행되도록 알릴 수 있으므로 정렬 속도를 높이고 보다 신뢰할 수 있는 결과를 생성할 수 있다.
도 4는 전통적인 패턴 찾기 도구가 특정 패턴을 찾고 뉴럴 넷 분류기가 올바른 일치(즉, 사후 분류)인지 결정하는 배열을 도시한다. 훈련 시간에, 전통적인 패턴 찾기 도구(410)는 단일 이미지 탬플릿(440)으로 훈련된다. 그런 다음 도구(410)와 관련된 뉴럴 넷 분류기(예를 들어, TensorFlow)(430)는 원하는 템플릿을 위한 여러 이미지에 대해 훈련된다. 분류기(430)의 입력은 전통적인 훈련 찾기 도구(440)에 입력된 것과 동일한 이미지이다.
도 5는 패턴 찾기 도구(550)가 먼저 입력 이미지(520)에서 패턴을 찾는 실행 절차(사후 분류 사용)(500)를 도시한다. 입력 이미지(520)는 전통적인 패턴 찾기 도구(예를 들어, PatMax®)의 출력으로부터 계산된 선택적인 바운딩 박스(optional bounding box)와 함께 훈련된 뉴럴 넷 분류기(510)에 제공된다. 그런 다음, 분류기(510)는 전통적인 패턴 찾기가 정확한/일치된 패턴(560)을 찾았는지 여부를 결정한다. 분류기(510)의 출력은 훈련된 템플릿이 발견되었다는 전체적인 신뢰이다.
예를 들어, 작동 사용 사례에는 원 vs 노치가 있는 원과 같이 사소한 차이가 있는 매우 혼란스러운 형상이 포함된다. 전통적인 패턴 찾기 도구(예를 들어, PatMax®)(350)가 노치가 있는 원을 묘사하는 템플릿 이미지에 대해 훈련되었다고 가정해보자. 뉴럴 넷 분류기(510)는 다른 혼동 가능한 형상(노치가 없는 원)과 함께 원하는 형상(노치가 있는 원)을 포함하는 이미지에 대해 훈련된다. 실행 시에, 전통적인 패턴 찾기 도구의 출력으로부터 계산된 선택적인 바운딩 박스와 함께 입력 이미지는 훈련된 뉴럴 넷 분류기(510)에 공급되고, 그런 다음 분류기는 전통적인 패턴 찾기가 올바른 패턴(노치가 있는 원)을 찾았는지 여부를 결정한다. 절차는 이 예시적인 경우에서 패턴 찾기의 견고성을 향상시킨다.
기존의 패턴 찾기 도구 및 하나 이상의 템플릿에 대해 훈련하기 위한 그 능력은 대체 실시예에서 매우 가변적이다. 전술한 사전 분류 및 사후 분류 절차는 대안적인 실시예에서 상이한 유형의 패턴 찾기 도구 및 관련된 템플릿을 포함하도록 각각 수정될 수 있다.
III. 훈련된 패턴 도구를 사용하여 검색을 구체화하는 패턴 찾기
도 1의 배열(100)에 의해 구현될 수 있는 다른 예시적인 실시예에 따른 스마트 패턴 찾기를 위한 전체(일반화된) 절차(600)를 도시하는 도 6을 참조한다. 일부 패턴은 획득된 이미지에 대해 작동하는 기존의 훈련된 패턴 찾기 도구를 사용하여 찾기 위한 더 많은 어려움을 증명할 수 있다고 이해된다. 일부 경우에 따라 뉴럴 네트워크/딥-러닝 아키텍처의 고유한 특성은 이미지에서 패턴 후보를 처음 찾는데 있어서 이점을 제공할 수 있다. 따라서, 절차(600)에서 뉴럴 네트워크는 다양한 패턴을 찾기 위해 훈련되고 단계(610)에서 획득된 이미지에 적용된다. 이는 형상의 주어진 유형에 대한 관련 점수가 있는 후보의 리스트를 생성한다. 점수에 기초하여, 절차(600)는 종래의 패턴 찾기 도구(예를 들어, PatMax® MultiModel)를 특정 임계값 초과로 점수를 매기는 형상 후부에 적용한다. 패턴 찾기 도구는 뉴럴 네트워크에 의해 식별된 특정 형상을 검색하거나 각 후보에서 다양한 유형의 형상을 검색할 수 있다.
유리하게는, 뉴럴 네트워크는 가능한 후보를 효율적으로 식별할 수 있으며, 하위 픽셀 수준 모델 피팅과 같은 계산적으로 무거운 작업은 패턴 찾기 도구에 의해 강력한 방식으로 처리될 수 있다.
특정 형상을 인식하기 위한 뉴럴 네트워크의 훈련은 도 7의 절차(700)의 단계(710)에서 설명된다. 일단 훈련되면, 실행 동안(단계 720), 뉴럴 네트워크는 훈련된 구성을 사용하여 훈련된 형상의 일부인지 여부에 기초하여 획득된 이미지의 각 픽셀에 점수(확률)를 할당한다. 결과(단계 730)는 이미지의 픽셀 각각이 할당된 점수를 갖는 확률 이미지이다. 단계(730)로부터의 확률 이미지는 저장될 수 있고 그런 다음 패턴 찾기 도구에 제공될 수 있으며(마스크로서), 여기서 후보 형상을 갖지 않는 것으로 보이는 픽셀이 패턴 찾기 도구가 작동하는 이미지 결과에서 마스킹 아웃(masked out)된다(단계 740). 뉴럴 네트워크 결과는 확률 이미지의 후보 형상의 유형을 포함할 수 있다. 형상 유형 정보는 패턴 찾기 도구가 결과에 의해 제공된 형상 유형으로만(선택된 위치에서) 확률 이미지에서의 검색 범위를 좁힐 수 있게 한다(단계 750). 따라서, 패턴 찾기 도구는 후보 형상과 관련이 없는 도구를 실행하지 않기 때문에 보다 빠르고 효율적으로 작동할 수 있다.
상기 절차(600)는 다양한 응용에서 유리하다. 예를 들어, 뉴럴 네트워크를 사용하여 초기에 이미지를 스크리닝하는 것은 뉴럴 네트워크가 패턴 찾기 도구에 의해 분석될 더 간단한 방식으로 확률에 기초하여 이미지를 본질적으로 재구성하기 때문에 국소 왜곡이 높은 경우에 유용하다. 예로서, 들어오는 이미지는 질감이 높고 정의된 대비선이 없을 수 있다. 뉴럴 네트워크를 통해 처리한 후, 결과 확률 이미지는 (예를 들어) 직사각형, 삼각형, 원 등을 나타내는 고 대비의 정의된 경계가 있는 이진 표현이다. 특정 예에서, 뉴럴 네트워크는 마모될 수 있는 로프 또는 케이블의 단부에서의 형상을 효과적으로 해결할 수 있다(고도로 텍스처화된 영역 생성). 뉴럴 네트워크는 어두운 배경 상의 밝은 직사각형을 패턴 찾기 도구로 전달하거나 그 반대의 경우도 마찬가지이다.
도 8의 절차(800)에서 설명된 바와 같이, 실행 동안, 훈련된 패턴 찾기 도구(관심 형상에 관련된 모델 기반 템플릿으로 훈련됨)는 뉴럴 네트워크로부터 확률 이미지(마스크) 및 (선택적으로) 이미지에서 식별된 후보 형상의 유형에 관한 정보를 수신한다(단계 810). 패턴 찾기 도구는 선택된 영역에 초점을 맞추고 식별된 이미지 유형과 관련된 도구 및 프로세스를 사용하여 이미지에 대해 작동한다(단계 820). 패턴 찾기 도구는 발견된 형상이 이미지 내에 위치되고 형상에 대한 적절한 좌표 (및 기타) 데이터가 단계 830에서 후속 작동으로 출력되는 결과를 생성한다.
획득된 이미지에서 관심 형상과 관련하여 가중 마스크를 생성하고 사용하기 위한 예시적인 절차(900)의 블록도를 도시하는 도 9를 참조한다. 도시된 바와 같이, 이미지(910)는 뉴럴 네트워크(920)에 입력된다. 적절한 훈련된 기술을 사용하여, 뉴럴 네트워크(920)는 관심 형상(930)에 대한 가중 마스크를 출력한다. 전술한 바와 같이, 각 픽셀은 관심형상의 일부가 될 가능성에 기초하여 점수가 매겨진다. 가중 마스크(930)는 로우(raw) 이미지 데이터(910)와 함께 패턴 찾기(템플릿 매칭) 도구(예를 들어, Cognex SearchMax®, PatMax® 등)에 입력된다. 따라서 도구(940)는 가중 마스크(930)에 포함된 데이터에 기초할 수 있는 이미지(950) 및 추가 매칭 점수 정보(960) 내의 관심 형상의 위치를 출력한다.
절차(900)는 도 10의 다이어그램(1000)에서 그래픽으로 묘사된다. 예시적인 관심 형상(1010)은 연속적인 경계를 갖는 U-자형 구조로 도시된다. 그러나, 관련 획득된 이미지(1012)는 깨진 경계(1014) 및 개재 형상(intervening shape, 1016)을 제공한다. 추가로, 관심 이미지 형상(1012)은 예상된 형상(1010)의 배향에 대해 장면 내에서 각도로 회전된다. 획득된 이미지와 예상된 형상 사이의 다른 왜곡 기반 차이가 또한 존재할 수 있다. 관심 데이터의 형상(1010) 및 이미지 데이터의 형상(1012)은 본 명세서에 설명된 바와 같이 뉴럴 네트워크(1020)에 입력된다. 이미지의 결과적인 출력 가중 마스크(1030)는 기본 관심 형상에 근사화하고 개재 형상 데이터(1016)를 생략하는 일련의 형상 세그먼트(1040)로 표현된다. 도시된 바와 같이, 세그먼트(1040)는 더 높은 확률/가능성을 갖는 주변 픽셀의 범위를 포함한다. 이 영역은 관심 형상의 에지의 일반적인 윤곽을 근사화한다. 이 표현(1040)은 종래의 모델 훈련된 패턴 찾기(템플릿 매칭) 도구에 의해 더 쉽게 매칭된다.
다른 예시적인 실시예에서, 뉴럴 네트워크는 이미지 내에서 관심 형상을 재구성 및/또는 정리하기 위해 사용될 수 있다. 도 11의 절차(1100)에 도시된 바와 같이, 뉴럴 네트워크(1120)는 획득된 이미지 데이터(1110)를 수신하고 관심 형상(1130)의 재구성을 출력하도록 훈련하는 것을 사용하며, 여기서 각 픽셀은 관심 형상(뉴럴 네트워크의 훈련의 주제)에 속할 가능성에 의해 점수가 매겨진다. 그런 다음, 재구성은 관심 형상의 템플릿을 포함하는 모델 기반 패턴 찾기(템플릿 매칭) 도구(1140)에 입력된다. 도구는 관심 형상(1150)의 대략적인 위치를 출력한다. 이 대략적인 위치는 적절한 경우 다운 스트림 프로세스에 의해 사용될 수 있고/있거나 선택적으로 모델 훈련된 패턴 찾기 도구(1160)(블록(1140)과 동일한 도구 또는 다른 도구)에 다시 입력될 수 있다. 로우 이미지 데이터(1110)는 또한 패턴 찾기 도구(1160)에 제공된다. 입력(1110 및 1150)으로부터의 도구(1160)의 출력은 이미지(1110)에서 관심 형상의 정밀 위치(1170)이다.
절차(1100)의 예로서, 도 12의 다이어그램(1200)은 이미지에서 2 개의 입력 형상(1210 및 1212)을 도시한다. 각 형상은 전술한 바와 같이 뉴럴 네트워크 재구성(1220 및 1222)을 받는다. 이는 각각 획득된 이미지 데이터에서 사용하기 위한 재구성 형상(1230 및 1232)을 생성한다. 따라서, 재구성은 기존의 왜곡되거나 불명확한 형상을 대체할 수 있다. 따라서, 뉴럴 네트워크는 이미지 데이터에서의 불완전하거나 왜곡된 형상의 정리 및/또는 재구성을 효과적으로 제공하는데 사용될 수 있으며, 이러한 데이터를 상술된 패턴 찾기 도구 또는 다른 적절한 도구를 사용하여 패턴 찾기를 포함하는 다운 스트림 작동에 의해 보다 효과적으로 사용되도록 한다. 도시된 바와 같이, 형상은 예상된/모델 형상의 경계와 잘 맞는 잘 정의된 경계를 갖는 이진 이미지로 표현될 수 있다.
IV. 결론
상술한 시스템 및 방법이 전통적인 패턴 매칭 응용 프로그램과 뉴럴 넷 분류기를 사용하여 훈련된 패턴을 찾고 매칭시키기 위한 더 안정적이고 빠른 기술을 제공하는 것이 명백하다. 이 접근법은 템플릿의 수를 줄이거나 발견된 패턴을 필터링할 수 있으므로 정확한 일치에 대한 시스템 및 방법의 결정이 향상된다. 또한, 상술한 시스템 및 방법은 뉴럴 네트워크가 이미지 형상 재구성/정리 도구로 사용되거나/사용되고 관심 형상에 덜 관련된 픽셀을 제거하는 것이 효과적으로 가능하게 하여 정확한 형상에 고정될 가능성을 크게 증가시키며 검색 시간을 줄일 수 있다. 이 기술은 특히 이미지의 형상이 왜곡되거나 누락된 형상 특징이 있는 경우에 효과적이다.
전술한 내용은 본 발명의 예시적인 실시예에 대한 상세한 설명이다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 수정 및 추가가 이루어질 수 있다. 위에서 설명된 다양한 실시예 각각의 특징은 관련된 새로운 실시예에 다수의 조합된 특징을 제공하기 위해 적절하게 다른 설명된 실시예의 특징들과 결합될 수 있다. 또한, 전술한 내용은 본 발명의 장치 및 방법의 다수의 개별 실시예를 설명하지만, 본 명세서에 설명된 것은 단지 본 발명의 원리의 적용을 예시한 것이다. 예를 들어, 본 명세서에서 사용되는 용어 “프로세스” 및/또는 “프로세서"는 다양한 전자 하드웨어 및/또는 소프트웨어 기반 기능 및 구성 요소(대안적으로 기능적 “모듈” 또는 “요소”)를 포함하도록 광범위하게 취해져야 한다. 더욱이, 묘사된 프로세스 또는 프로세서는 다른 프로세스 및/또는 프로세서와 결합되거나 다양한 하위 프로세스 또는 프로세서로 분할될 수 있다. 이러한 하위 프로세스 및/또는 하위 프로세서는 본 명세서의 실시예에 따라 다양하게 결합될 수 있다. 마찬가지로, 본 명세서에서 임의의 기능, 프로세스 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비 일시적 컴퓨터 판독 가능 매체로 구성된 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있음이 명시적으로 고려된다. 추가적으로, 본 명세서에서 사용된 바와 같이 “수직”, “수평”, “위”, “아래”, “바닥”, “상부”, “측면”, “앞”, “뒤”, “좌”, “우” 등과 같은 다양한 방향 및 배치 용어는 중력의 작용 방향과 같은 고정된 좌표 공간에 대한 절대적인 방향/배치가 아닌 상대적인 관습으로만 사용된다. 추가적으로, 주어진 측정, 값 또는 특성과 관련하여 “실질적으로” 또는 “대략적으로”라는 용어가 사용되는 경우, 원하는 결과를 얻기 위해 정상적인 작동 범위 내에 있는 양을 의미하지만 시스템의 허용 공차 이내의 고유한 부정확성과 오류로 인한 일부 변동성을 포함한다(예를 들어, 1-5 퍼센트). 따라서, 이 설명은 단지 예로서 취해지는 것을 의미하며, 본 발명의 범위를 달리 제한하지 않는다.

Claims (22)

  1. 이미지에서 패턴 찾기를 위한 시스템으로서,
    관심 패턴을 포함하는 하나 이상의 훈련 이미지에 관련된 하나 이상의 템플릿에 기초하여 훈련된 패턴 찾기 도구;
    하나 이상의 훈련 이미지에 대해 훈련된 뉴럴 넷 분류기;
    템플릿 매칭 프로세스 ― 실행 동안,
    (a) 상기 훈련된 뉴럴 넷 분류기는 상기 패턴 찾기 도구에 실행 이미지에 기초하여 하나 이상의 템플릿을 제공하고, 상기 훈련된 패턴 찾기 도구는 실행 이미지와 결합된 하나 이상의 템플릿 이미지에 기초하여 패턴 매칭을 수행하거나, 또는
    (b) 상기 훈련된 패턴 찾기 도구가 상기 훈련된 뉴럴 넷 분류기에 실행 이미지로부터의 발견된 패턴을 제공하고, 상기 훈련된 뉴럴 넷 분류기는 상기 발견된 패턴 및 실행 이미지에 기초하여 패턴 매칭을 수행함 ―;를 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  2. 제1항에 있어서,
    상기 패턴 찾기 도구는 복수의 템플릿을 사용하여 훈련되도록 구성되는,
    이미지에서 패턴 찾기를 위한 시스템.
  3. 제1항에 있어서,
    상기 패턴 찾기 도구는 단일 템플릿에 대해 훈련되는,
    이미지에서 패턴 찾기를 위한 시스템.
  4. 제1항에 있어서,
    상기 뉴럴 넷은 컨볼루션 뉴럴 네트워크(CNN)를 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  5. 이미지에서 패턴 찾기를 위한 시스템으로서,
    이미지에서 하나 이상의 후보 형상을 찾기 위해 훈련되고 실행 작동 중 이미지에서 하나 이상의 형상의 존재의 확률을 식별하도록 배열되는 뉴럴 네트워크를 포함하며,
    이로써 상기 뉴럴 네트워크는 (a) 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징을 갖는 가중 마스크 또는 (b) 하나 이상의 후보 형상의 모델의 특징이 뉴럴 네트워크가 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징의 존재를 식별하는 이미지에서 대체되는 재구성된 이미지를 생성하는,
    이미지에서 패턴 찾기를 위한 시스템.
  6. 제5항에 있어서,
    (a) 상기 가중 마스크 또는 (b) 상기 재구성된 이미지에서 하나 이상의 후보 형상을 찾기 위해 하나 이상의 후보 형상에 대한 하나 이상의 모델을 사용하여 훈련되는 패턴 찾기 도구를 더 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  7. 제6항에 있어서,
    상기 뉴럴 네트워크는 그 내부의 각 픽셀이 하나 이상의 형상의 식별과 관련된 점수를 갖는 가중 마스크를 정의하는,
    이미지에서 패턴 찾기를 위한 시스템.
  8. 제5항에 있어서,
    상기 재구성된 이미지는 이진 이미지로 정의되는,
    이미지에서 패턴 찾기를 위한 시스템.
  9. 제6항에 있어서,
    상기 뉴럴 네트워크는 하나 이상의 후보 형상의 유형의 존재에 관한 데이터를 패턴 찾기 도구에 제공하며, 상기 패턴 찾기 도구는 유형을 찾는 것과 관련된 프로세스로 프로세스를 제한하는,
    이미지에서 패턴 찾기를 위한 시스템.
  10. 제5항에 있어서,
    상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN)를 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  11. 이미지에서 패턴 찾기를 위한 시스템으로서,
    이미지에서 하나 이상의 후보 형상을 찾기 위해 훈련되고 실행 작동 중 이미지에서 하나 이상의 형상의 존재의 확률을 식별하도록 배열되는 뉴럴 네트워크를 포함하며,
    이로써 상기 뉴럴 네트워크는 (a) 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징을 갖는 가중 마스크 및 (b) 하나 이상의 후보 형상의 모델의 특징이 뉴럴 네트워크가 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징의 존재를 식별하는 이미지에서 대체되는 재구성된 이미지를 생성하는,
    이미지에서 패턴 찾기를 위한 시스템.
  12. 제11항에 있어서,
    (a) 상기 가중 마스크 및 (b) 상기 재구성된 이미지에서 하나 이상의 후보 형상을 찾기 위해 하나 이상의 후보 형상에 대한 하나 이상의 모델을 사용하여 훈련되는 패턴 찾기 도구를 더 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  13. 이미지에서 패턴 찾기를 위한 방법으로서,
    뉴럴 네트워크로, 이미지에서 하나 이상의 후보 형상을 찾고 실행 작동 중에 이미지에서 하나 이상의 형상의 존재의 확률을 식별하는 단계; 및
    (a) 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징을 갖는 가중 마스크 또는 (b) 하나 이상의 후보 형상의 모델의 특징이 뉴럴 네트워크가 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징의 존재를 식별하는 이미지에서 대체되는 재구성된 이미지를 생성하는 단계를 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  14. 제13항에 있어서,
    하나 이상의 상기 후보 형상에 대한 하나 이상의 모델을 사용하여 훈련되는 패턴 찾기 도구로 (a) 상기 가중 마스크 또는 (b) 상기 재구성된 이미지에서의 하나 이상의 후보 형상을 찾는 단계를 더 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  15. 제14항에 있어서,
    상기 뉴럴 네트워크로 상기 가중 마스크를 정의하여 그 내부의 각 픽셀이 하나 이상의 형상의 식별에 관련된 점수를 갖도록 하는 단계를 더 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  16. 제13항에 있어서,
    이진 이미지로서 상기 재구성된 이미지를 정의하는 단계를 더 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  17. 제16항에 있어서,
    하나 이상의 상기 후보 형상의 유형의 존재에 관한 뉴럴 네트워크로부터의 데이터를 패턴 찾기 도구에 제공하는 단계, 및 유형을 찾는 것과 관련된 프로세스로 패턴 찾기의 프로세스를 제한하는 단계를 더 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  18. 제13항에 있어서,
    상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN)를 포함하는,
    이미지에서 패턴 찾기를 위한 방법.
  19. 이미지에서 패턴 찾기를 위한 시스템으로서,
    이미지에서 하나 이상의 후보 형상을 찾기 위해 훈련되고 실행 작동 중 이미지에서 하나 이상의 형상의 존재의 확률을 식별하도록 배열되는 뉴럴 네트워크를 포함하며,
    이로써 상기 뉴럴 네트워크는 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징을 갖는 가중 마스크를 생성하는,
    이미지에서 패턴 찾기를 위한 시스템.
  20. 제19항에 있어서,
    상기 가중 마스크에서 하나 이상의 후보 형상을 찾기 위해 하나 이상의 후보 형상에 대한 하나 이상의 모델을 사용하여 훈련되는 패턴 찾기 도구를 더 포함하는,
    이미지에서 패턴 찾기를 위한 시스템.
  21. 이미지에서 패턴 찾기를 위한 시스템으로서,
    이미지에서 하나 이상의 후보 형상을 찾기 위해 훈련되고 실행 작동 중 이미지에서 하나 이상의 형상의 존재의 확률을 식별하도록 배열되는 뉴럴 네트워크를 포함하며,
    이로써 상기 뉴럴 네트워크는 하나 이상의 후보 형상의 모델의 특징이 뉴럴 네트워크가 확률 임계값을 초과하는 하나 이상의 후보 형상의 특징의 존재를 식별하는 이미지에서 대체되는 재구성된 이미지를 생성하는,
    이미지에서 패턴 찾기를 위한 시스템.
  22. 제21항에서,
    상기 재구성된 이미지는 이진 이미지를 정의하는,
    이미지에서 패턴 찾기를 위한 시스템.
KR1020247008933A 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법 KR20240042143A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862681619P 2018-06-06 2018-06-06
US62/681,619 2018-06-06
US201962793364P 2019-01-16 2019-01-16
US62/793,364 2019-01-16
KR1020217000060A KR102649930B1 (ko) 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
PCT/US2019/035840 WO2019236885A1 (en) 2018-06-06 2019-06-06 System and method for finding and classifying patterns in an image with a vision system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000060A Division KR102649930B1 (ko) 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240042143A true KR20240042143A (ko) 2024-04-01

Family

ID=68769594

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217000060A KR102649930B1 (ko) 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
KR1020247008933A KR20240042143A (ko) 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217000060A KR102649930B1 (ko) 2018-06-06 2019-06-06 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US11568629B2 (ko)
JP (2) JP7316731B2 (ko)
KR (2) KR102649930B1 (ko)
CN (1) CN112567384A (ko)
DE (1) DE112019002848T5 (ko)
WO (1) WO2019236885A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
US11593931B2 (en) 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
KR102509460B1 (ko) * 2020-11-25 2023-03-14 파크시스템스 주식회사 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법
KR102465302B1 (ko) * 2020-12-04 2022-11-10 파크시스템스 주식회사 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법
US20230252383A1 (en) * 2020-12-18 2023-08-10 Strong Force Vcn Portfolio 2019, Llc Robotic Fleet Resource Provisioning System
KR102554224B1 (ko) 2020-12-31 2023-07-12 파크시스템스 주식회사 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치
PL4085794T3 (pl) 2021-05-07 2023-09-11 Zahoransky Ag Sposób przygotowania i prowadzenia kontroli jakości szczotek, zwłaszcza szczoteczek do zębów, tester i maszyna do wytwarzania szczotek

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
DE69315990T2 (de) 1993-07-01 1998-07-02 Ibm Mustererkennung durch Erzeugung und Benutzung zonenweiser Merkmale und Anti-Merkmale
JP4613466B2 (ja) 2001-09-28 2011-01-19 パナソニック株式会社 実装部品検査方法および装置
US7668388B2 (en) 2005-03-03 2010-02-23 Mitutoyo Corporation System and method for single image focus assessment
JP2007220004A (ja) 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
WO2008022156A2 (en) 2006-08-14 2008-02-21 Neural Id, Llc Pattern recognition system
US8165407B1 (en) 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
WO2008133951A2 (en) 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
US8103085B1 (en) * 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
US8379940B2 (en) 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US9015092B2 (en) 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
WO2014068567A1 (en) 2012-11-02 2014-05-08 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
WO2015034759A1 (en) 2013-09-04 2015-03-12 Neural Id Llc Pattern recognition system
JP2015095042A (ja) 2013-11-11 2015-05-18 独立行政法人科学技術振興機構 画像認識装置、画像認識方法、および、プログラム
US9349076B1 (en) * 2013-12-20 2016-05-24 Amazon Technologies, Inc. Template-based target object detection in an image
WO2015112932A1 (en) * 2014-01-25 2015-07-30 Handzel Amir Aharon Automated histological diagnosis of bacterial infection using image analysis
EP3120300A4 (en) 2014-03-19 2017-11-22 Neurala Inc. Methods and apparatus for autonomous robotic control
US10504020B2 (en) 2014-06-10 2019-12-10 Sightline Innovation Inc. System and method for applying a deep learning neural network to data obtained from one or more sensors
EP3186766A4 (en) 2014-08-28 2018-01-10 RetailMeNot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US10061972B2 (en) * 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
US20170098162A1 (en) 2015-10-06 2017-04-06 Evolv Technologies, Inc. Framework for Augmented Machine Decision Making
JP6327274B2 (ja) 2016-03-22 2018-05-23 トヨタ自動車株式会社 ロックアップクラッチの制御装置
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US10185914B2 (en) 2016-11-03 2019-01-22 Vicarious Fpc, Inc. System and method for teaching compositionality to convolutional neural networks
CN106529468B (zh) * 2016-11-07 2019-03-05 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN108108731B (zh) 2016-11-25 2021-02-05 中移（杭州）信息技术有限公司 基于合成数据的文本检测方法及装置
US10360494B2 (en) 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10755428B2 (en) 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US10108850B1 (en) 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
US10552962B2 (en) 2017-04-27 2020-02-04 Intel Corporation Fast motion based and color assisted segmentation of video into region layers
US20180322623A1 (en) 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
US10467756B2 (en) 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
CA3115898C (en) 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification

Also Published As

Publication number Publication date
JP2021527256A (ja) 2021-10-11
DE112019002848T5 (de) 2021-04-01
JP2023134688A (ja) 2023-09-27
US20200005069A1 (en) 2020-01-02
WO2019236885A1 (en) 2019-12-12
CN112567384A (zh) 2021-03-26
US11568629B2 (en) 2023-01-31
US20240005148A1 (en) 2024-01-04
KR20210020065A (ko) 2021-02-23
KR102649930B1 (ko) 2024-03-20
JP7316731B2 (ja) 2023-07-28

Similar Documents

Publication Publication Date Title
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
US20210233250A1 (en) System and method for finding and classifying lines in an image with a vision system
US8135172B2 (en) Image processing apparatus and method thereof
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
WO2019171628A1 (en) Image processing system and image processing method
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
US9836673B2 (en) System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
US20240078801A1 (en) System and method for finding and classifying lines in an image with a vision system
TWI543117B (zh) 物件辨識與定位方法
US20200034649A1 (en) Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method
CA3232479A1 (en) Inspection method for inspecting an object and machine vision system
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
US12033376B2 (en) Method and system for training neural network for entity detection
Pradhan et al. A hand gesture recognition using feature extraction
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
Sulaiman et al. DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS.
CN111460858A (zh) 图像中指尖点的确定方法、装置、存储介质及电子设备
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
CN114648809A (zh) 计算机实施的处理监视方法、装置、系统和记录介质
Hargas et al. Novel machine vision tools applied in biomechatronic tasks
Wang et al. Face detection based on color template and least square matching method
Joshi et al. Histograms of orientation gradient investigation for static hand gestures

Legal Events

Date Code Title Description
A201 Request for examination