KR20230110522A - 탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라 - Google Patents

탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라 Download PDF

Info

Publication number
KR20230110522A
KR20230110522A KR1020237017308A KR20237017308A KR20230110522A KR 20230110522 A KR20230110522 A KR 20230110522A KR 1020237017308 A KR1020237017308 A KR 1020237017308A KR 20237017308 A KR20237017308 A KR 20237017308A KR 20230110522 A KR20230110522 A KR 20230110522A
Authority
KR
South Korea
Prior art keywords
image
neural network
training
user
user interface
Prior art date
Application number
KR1020237017308A
Other languages
English (en)
Inventor
엘리야후 데이비스
Original Assignee
딥뷰 코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 딥뷰 코프 filed Critical 딥뷰 코프
Publication of KR20230110522A publication Critical patent/KR20230110522A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

육안 부품 검사를 수행하기 위한 시스템 및 방법이 본 명세서에 설명되어 있다. 이 시스템은 적어도 하나의 이미지 인식 신경망과 함께 이미징 디바이스를 사용하여 이미지들을 통해 부품의 특성을 식별하고 부품 검사 중 또는 비 부품 검사 중 시스템을 훈련하여 이러한 특성을 더 잘 인식하도록 한다.

Description

탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라
관련 출원에 대한 상호 참조
본 출원은 미국 가출원 번호 제63/118,607호의 우선권을 주장하며, 이는 본명세서에서 전체 내용이 참조로 포함된다.
연방 정부가 후원하는 연구 또는 개발에 관한 진술
해당사항 없음.
콤팩트 디스크에 제출된 자료의 참조에 의한 통합
해당사항 없음.
분야
본 교시는 제조, 엔지니어링, 산업 또는 물류 셋팅(logistical setting)에서 발생하는 부품들을 검사하기 위한 시스템들 및 방법들에 관한 것이다.
신경망을 훈련하는 데 필요한 컴퓨터 하드웨어는 역사적으로 최종 제품(예를 들어, 이미징 디바이스)에 배치하기에는 너무 큰 크기였다. 이는 신경망이 훈련된 후 이를 운영하는 것보다 신경망을 훈련시키는 데 훨씬 더 많은 계산 능력이 필요하기 때문이다.
그러나 충분한 컴퓨터 하드웨어와 올바른 소프트웨어가 있으면 하나의 최종 제품 또는 디바이스에서 신경망을 직접 훈련하는 것이 가능하다. 더 나아가 신경망이 환경과 상호작용하면서 신경망이 실시간으로 훈련될 수 있다.
부품들에 따라, 부품 검사 중 또는 실시간으로 부품의 이미지들을 캡처할 수 있는 시스템을 갖추는 동시에 탑재(onboard) 최종 제품에서 발생하는 모든 합격 가능(passable) 및 합격 불가능(non-passable) 부품들을 인식하고 검사하기 위해 신경망을 훈련하는 것은 크게 도움이 될 것이다. 또한 부품 검사 중이 아닌(실시간 아님) 및 부품 검사 중에(실시간) 이미지 인식 신경망을 훈련할 수 있는 유연성을 갖춘 시스템이 중요하다(valuable).
본 교시들은 제조, 엔지니어링, 물류 및 산업 프로세스 중 하나의 일부로서 부품의 육안 검사를 수행하기 위한 시스템을 포함하고, 시스템은 이미징 디바이스, 이미징 디바이스와 통시하는 컴퓨터 하드웨어, 컴퓨터 하드웨어에 의해 실행되는 컴퓨터 소프트웨어 및 컴퓨터 하드웨어에 탑재도어 훈련하도록 구성된 적어도 하나의 이미지 인식 신경망을 포함한다. 부품 검사는 제조, 엔지니어링, 산업 또는 물류 셋팅 중 하나에서 발생할 수 있다. 하드웨어는 이미징 디바이스와 논리적으로 통신하고 소프트웨어는 하드웨어에 의해 실행된다. 적어도 하나의 이미지 인식 신경망은 부품들 검사의 목적으로 컴퓨터 하드웨어에 탑재되어 훈련하도록 구성된다. 실시예에서, 적어도 하나의 이미지 인식 신경망은 컴퓨터 하드웨어에 탑재되어 훈련하지 않도록 구성된다. 또 다른 실시예에서, 시스템은 모두 단일 제조 생산 라인에서 다수의 상이한 부품들을 검사하는 데 사용될 수 있다. 또 다른 실시예에서, 시스템은 다수의 생산 라인들에서 상이한 부품들을 검사할 수 있다. 또 다른 실시예에서, 시스템은 부품들에 대한 상이한 관심 영역들에 대해 상이한 부품들을 검사할 수 있다. 예를 들어 시스템은 단일 생산 라인에서 강철과 알루미늄을 모두 검사할 수 있다.
다른 양태에 따르면, 시스템들은 적어도 하나의 이미지와 적어도 하나의 이미지 라벨을 저장한다. 사용자는 모두 컴퓨터 하드웨어에 탑재된 모든 이미지들, 이미지 라벨들 및 이미지 인식 신경망들의 스토리지 저장소(repository) 또는 데이터베이스에 대한 액세스를 갖을 수 있다.
또 다른 양태에 따르면, 시스템은 사용자 인터페이스를 포함한다. 실시예에서, 사용자 인터페이스는 웹 브라우저를 통해 액세스가능하다. 또 다른 실시예에서, 사용자 인터페이스는 가상 현실 디바이스에서 시각화된다. 또 다른 실시예에서, 사용자 인터페이스는 2D 화면에서 볼 수 있다. 또 다른 실시예에서, 사용자 인터페이스는 홀로그램 디스플레이에서 시각화된다. 또 다른 실시예에서, 사용자 인터페이스는 혼합 현실 디바이스를 통해 시각화된다. 사용자 인터페이스는 컴퓨터 하드웨어에 탑재된 모든 이미지들, 이미지 라벨들 및 이미지 인식 신경망들에 액세스하기 위해 사용자가 액세스가능하다. 실시예에서, 사용자 인터페이스 및 시스템은 하나의 컴포넌트로 통합된다. 또 다른 실시예에서, 사용자 인터페이스 및 시스템은 분리된 엔티티(entity)들이다.
또 다른 양태에 따르면, 시스템은 이미지 또는 이미지들을 캡처하라는 요청을 시스템에 발송하고 시스템이 검사 결과들을 보고하는 디지털 통신 디바이스에 대한 통신 인터페이스를 더 포함한다. 실시예에서, 디지털 디바이스는 제조 생산 라인의 프로그래밍가능 로직 제어기(PLC)다. 또 다른 실시예에서, 디바이스는 로컬 서버이다. 또 다른 실시예에서, 디바이스는 인터넷 서버이다.
또 다른 양태에 따르면, 사용자 인터페이스는 사용자가 적어도 하나의 이미지 및 적어도 하나의 이미지 라벨을 조작할 수 있게 한다.
또 다른 양태에 따르면, 적어도 하나의 이미지 인식 신경망은 부품 검사 동안 및 검사 동안이 아닐 때 사용하기 위해 훈련될 수 있다. 본질적으로, 적어도 하나의 이미지 인식 신경망은 실시간으로 및 비 실시간으로 훈련될 수 있다. 실시간 훈련을 위해, 시스템은, 시스템의 하드웨어에 탑재된, 생산 또는 부품 검사 중에 적어도 하나의 이미지 인식 신경망을 훈련할 수 있다. 예를 들어, 사용자는 부품의 이미지의 콘텐츠를 검사한 후 이미지를 합격 또는 불합격(합격 가능 또는 합격 불가능)으로 표시할 수 있으며 이 이미지는 이미지 인식 신경망을 훈련시키는 데 사용된다. 비 실시간 훈련의 경우, 시스템에 통합된 컴퓨터 하드웨어가 전통적으로 신경망 훈련 서버에 의해 이행(fulfill)되는 역할을 할 수 있다. 기존 접근 방식에서는 신경망 훈련 서버가 부품 검사 시스템에서 분리된다; 신경망 훈련 서버는 이미지 인식 신경망 훈련의 컴퓨터 하드웨어 요구 사항들이 일반적으로 이미지들을 인식하기 위해 훈련된 동일한 신경망을 운영하는 컴퓨터 하드웨어 요구 사항들보다 크기 때문에 전통적으로 부품 검사 시스템에서 분리된다. 대조적으로, 이 시스템은 전통적으로 신경망 훈련 서버 역할을 이행할 수 있는 컴퓨터 하드웨어로 지정된다. 본질적으로 신경망 훈련과 신경망 추론(inference)(이 경우 부품 검사)은 이전에 시도되지 않은 방식으로 단일 시스템으로 통합되고 있다. 생산 중에 발생하지 않는 훈련을 위해, 생산이 완료되면 적어도 하나의 이미지 인식 신경망이 훈련한다.
또 다른 양태에 따르면, 적어도 하나의 이미지, 적어도 하나의 이미지 인식 신경망 및 적어도 하나의 이미지 라벨은 시스템의 컴퓨터 하드웨어에 저장된다.
또 다른 양태에 따르면, 사용자는 적어도 하나의 이미지에 관한 결정을 내리기 위해 적어도 하나의 이미지를 검사할 수 있다. 실시예에서, 사용자는 적어도 하나의 이미지의 콘텐츠를 검사할 수 있다. 또 다른 실시예에서, 사용자는 적어도 하나의 이미지의 관심 영역을 검사할 수 있다.
또 다른 양태에 따르면, 시스템은 적어도 하나의 이미지에 대해 적어도 하나의 이미지 인식 신경망을 훈련하기 위해 사용자로부터의 피드백을 사용한다. 실시예에서, 적어도 하나의 이미지 인식 신경망은 적어도 하나의 이미지에서 관심 영역들을 더 잘 인식하도록 훈련된다. 또 다른 실시예에서, 적어도 하나의 이미지 인식 신경망은 적어도 하나의 이미지의 콘텐츠를 더 잘 인식하도록 훈련된다.
본 교시는 또한 부품 검사를 위해 이미지 인식 신경망을 훈련하기 위한 방법을 포함하며, 이는 이미징 디바이스로 적어도 하나의 이미지를 캡처하는 단계; 적어도 하나의 이미지 인식 신경망으로 적어도 하나의 이미지를 검사하는 단계; 검사 결과들을 사용자 인터페이스에 보고하는 단계; 사용자 인터페이스를 통해, 적어도 하나의 이미지의 콘텐츠 및 검사 결과들 중 적어도 하나에 기초하여 사용자 피드백을 요청하는 단계(soliciting); 사용자 피드백을 수신하는 단계; 사용자 피드백에 기초하여 적어도 하나의 이미지 인식 신경망의 내부 가중치들을 업데이트하는 단계(즉, 사용자들의 피드백으로부터 수신된 데이터로부터 직접 네트워크를 훈련하는 것); 및 시스템의 요청 및 사용자 피드백의 수신 중 적어도 하나에 기초하여 발생하는 이미지 인식 신경망 가중치 업데이트를 선택적으로 검토(reviewing) 및 검증(validating)하는 단계를 포함한다.
본 교시들은 또한 이미지 인식 신경망을 훈련하기 위한 방법을 포함하며, 방법은 적어도 하나의 이미지를 업로드하는 것과 사용자 인터페이스를 통해 시스템에 저장된 이미지 그룹에서 적어도 하나의 이미지를 선택하는 것 중 적어도 하나에 의해 이미지 인식 신경망을 훈련하는 데 사용되는 적어도 하나의 이미지를 선택하는 단계; 적어도 하나의 이미지 내에서 관심 영역을 선택적으로 식별(identify)하는 단계; 사용자 인터페이스를 통해 적어도 하나의 이미지에 적어도 하나의 라벨을 적용하도록 사용자에게 요청하는 단계; 적어도 하나의 이미지 및 적어도 하나의 라벨을 이미지들 및 이미지 라벨들로 구성된 훈련 서브세트 및 이미지들 및 이미지 라벨들이 구성된 테스트 서브세트 중 적어도 하나로 분할하는 단계; 사용자 인터페이스를 통해 사용자로부터 신경망 훈련 파라미터들을 요청하는 단계; 사용자에 의해 제공된 적어도 하나의 이미지 및 훈련 서브세트 및 신경망 훈련 셋팅들을 구성하는 적어도 하나의 라벨로부터, 이미지 인식 신경망을 인스턴스화하고(instantiating) 결과적으로 훈련 서브세트의 콘텐츠에 기초하여 신경망 가중치들을 업데이트하는 단계; 사용자 인터페이스를 통해 사용자가 신경망 훈련 진행 상황을 모니터링하고 사용자 인터페이스에 이미지 인식 신경망이 테스트 서브세트에서 얼마나 잘 수행되고 있는지를 반영하는 훈련 통계들을 갖는 관련 훈련 통계들을 표시하는 단계; 및 신경망 훈련 단계 후에, 이미지들 및 라벨들의 테스트 서브세트에 대한 신경망 훈련의 사용자 인터페이스 결과들 표시하고 0에서 100%까지 범위의 신뢰도 점수(confidence score)들을 포함하는 테스트 서브세트의 이미지 인식 신경망의 사용자 예측들을 표시하는 단계를 포함한다. 이 신뢰도 점수들은 예측들의 정확도에 대한 신경망의 확실성 정도를 나타낸다. 시스템은 이미지들 및 라벨들의 훈련 서브세트에서 이미지 인식 신경망을 훈련하는 동시에 테스트 서브세트에서 얼마나 잘 수행되는지에 기초하여 동일한 이미지 인식 신경망을 주기적으로 평가한다. 테스트 서브세트는 훈련에 사용되지 않고; 테스트 서브세트는 평가에만 사용된다. 사용자는 시스템에 피드백을 제공할 뿐만 아니라 적어도 하나의 이미지 인식 신경망을 검토하고 검증한다. 적어도 하나의 이미지 인식 신경망을 훈련하는 동안, 이미지의 콘텐츠를 정확하게 식별하는 능력은 신경망 가중치들의 조정(adjustment)에 의해 제어되며, 이는 인터뉴런(interneuron) 통신 신호 강도를 강화하거나 감소시킨다. 실시예에서, 이미징 디바이스에 의해 캡처된 이미지는 픽셀 값들의 3D 매트릭스로 변환된다. 실시예에서, 이미지는 3D 매트릭스가 1280x960x3인 1280 x 960 이미지이고, 제1 차원은 이미지의 폭이고, 제2 차원은 이미지의 높이이고, 제3 차원은 빨강, 녹색, 파란색 채널들의 각각이다. 또 다른 실시예에서, 이미지는 그레이스케일 이미지이며; 그레이스케일은 단일 채널이 그레이스케일 픽셀 값인 1280x960x1의 3D 매트릭스로 표현될 수 있고; 또는 편의상 색상에 사용되는 1280x960x3 3D 매트릭스와 동일한 3D 매트릭스가 사용될 수 있으며, 여기서 3개의 색상 채널들은 모두 동일한 그레이스케일 픽셀 값들이다. 후자의 접근 방식은 그레이스케일과 색상 이미지 인식 네트워크들 사이에 더 큰 공통성을 허용한다. 적어도 하나의 이미지 인식 신경망은 각각의 네트워크 가중치 업데이트에 대한 다수의 이미지들에 대해 훈련될 수 있다. 사용자에게 보고되는 검사 결과들은 이미지 인식 신경망에 의해 모든 이미지가 훈련되어 위양성(false positive)들 및 위음성(false negative)들을 포함할 수 있는 훈련 통계들을 생성한 때일 수 있다. 훈련 후 신뢰 임계치를 갖는 이미지들이 사용자 인터페이스에 표시된다. 적어도 하나의 이미지 인식 신경망은 더 올바른 결정들에 도달하도록 조정될 수 있다.
추가 양태에 따르면, 방법은 검사 프로세스의 일부이다.
또 다른 양태에 따르면, 적어도 하나의 이미지의 콘텐츠가 변한다. 실시예에서, 적어도 하나의 이미지의 콘텐츠는 부품의 결함일 수 있다. 또 다른 실시예에서, 콘텐츠는 부적합(nonconformity)일 수 있다. 또 다른 실시예에서, 콘텐츠는 바코드일 수 있다. 또 다른 실시예에서, 콘텐츠는 데이터 매트릭스일 수 있다. 사용자가 검사하고자 하는 적어도 하나의 이미지의 임의의 피쳐가 콘텐츠일 수 있다.
또 다른 양태에 따르면, 적어도 하나의 신경망의 예측들은 적어도 하나의 이미지에 매핑된다. 실시예에서, 신경망 예측들의 이미지의 영역 주위에 2D 상자가 그려진다. 또 다른 실시예에서, 신경망 예측들의 이미지의 영역 주위에 3D 상자가 그려진다. 또 다른 실시예에서, 신경망 예측들의 이미지의 영역은 적색 또는 녹색과 같은 반투명(translucent) 색상으로 강조되며(highlighted), 이를 통해 신경망 예측들을 포함하는 이미지의 영역(예를 들어 부품의 피쳐의 존재 또는 부재)은 여전히 반투명 이미지 강조를 통해 보여질 수 있다.
또 다른 양태에 따르면, 적어도 하나의 이미지는 무한 스크롤(infinite scroll)로 사용자 인터페이스에서 볼 수 있다. 실시예에서, 이 구성에서 사용자 인터페이스는 이미징 디바이스와 통신하는 컴퓨터 하드웨어와 통신한다. 또 다른 실시예에서, 사용자 인터페이스는 적어도 하나의 이미지를 갖는 디지털 스토리지 매체와 통신하며, 여기서 디지털 스토리지 매체는 시스템의 컴퓨터 하드웨어에 통합된다.
또 다른 양태에 따르면, 적어도 하나의 이미지 인식 신경망의 훈련 동안 훈련 오류 대 시간의 그래프가 사용자 인터페이스 상에 표시가능하다.
또 다른 양태에 따르면, 적어도 하나의 이미지의 이력(history)은 사용자 인터페이스에서 검색가능하다. 검색가능한 파라미터들은 시간, 부품 및 AI 신뢰도를 포함할 수 있다.
또 다른 양태에 따르면, 시스템이 적어도 하나의 이미지의 콘텐츠에 관해 결정할 때, 결정이 정확하다는 신뢰 임계치는 사용자에 의해 변경 가능하다.
또 다른 양태에 따르면, 적어도 하나의 이미지 인식 신경망은 적어도 하나의 이미지의 콘텐츠를 식별하도록 훈련되는 적어도 하나의 컨벌루션 신경망(convolutional neural network)을 포함한다. 컨벌루션 신경망은 이미지를 나타내는 픽셀 값들의 2D 매트릭스를 입력으로 사용하며, 여기서 이 2D 차원은 네트워크가 이미지 인식을 수행할 때 보존된다. 적어도 하나의 신경망에 대한 입력은 이미지 픽셀 값들의 데이터 구조이고, 적어도 하나의 신경망의 출력은 이미지의 콘텐츠에 기초하여 이루어진 결정을 나타내는 데이터를 갖는 데이터 구조, 예를 들어, 관심 영역의 인식이다. 업로드된 이미지들은 신경망의 입력들로 변환되며 출력들은 올바른 이미지 라벨과 대조된다. 신경망 출력이 올바른 이미지 라벨과 다른 경우 후속 이미지들에서 더 좋은 수행을 하도록 신경망이 업데이트된다.
실시예에서, 시스템은 강철의 표면에 스크래치(scratch)들 및 버(burr)들이 있는지 검사하는 데 사용될 수 있다. 또 다른 실시예에서, 시스템은 결함들에 대해 주조 금속 부품을 검사하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 용접 부적합들(non-conformity)에 대해 레이저 용접점들을 검사하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 인쇄 회로 기판(PCB) 어셈블리가 모든 부품들을 갖도록 보장하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 기어들이 정확하게 가공(machine)되는 것을 보장하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 항공기 엔진들을 검사하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 자동차 엔진들을 검사하기 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 바코드 검사 및 데이터 매트릭스 검사를 위해 사용될 수 있다. 또 다른 실시예에서, 시스템은 부품 식별, 바코드 식별 및 데이터 매트릭스 식별에 사용될 수 있다. 또 다른 실시예에서, 시스템은 부품들을 분류(classify)하기 위해 사용될 수 있다. 본질적으로 시스템은 임의의 제조, 엔지니어링, 산업 및 물류 검사 프로세스에 사용될 수 있다.
이미징 디바이스는 다수의 디바이스들로부터 선택될 수 있으며, 여기서 이미징 디바이스는 전체 시스템으로부터 분리될 수 있다. 실시예에서, 시스템은 로컬 유선 네트워크를 통해 이미징 디바이스에 연결된다. 또 다른 실시예에서, 이미징 디바이스는 Gig-E 카메라일 수 있다. 또 다른 실시예에서, 이미징 디바이스는 다수의 Gig-E 카메라들, 즉 하나보다 많은 Gig-E 카메라를 포함할 수 있다. 또 다른 실시예에서, 이미징 디바이스는 카메라이다. 또 다른 실시예에서, 이미징 디바이스는 증강 현실 디바이스다. 또 다른 실시예에서, 이미징 디바이스는 이미징 디바이스로부터 이미징 디바이스 시야에 있는 물체들의 거리를 나타내는 3D 포인트 클라우드를 보고한다. 또 다른 실시예에서, 이미징 디바이스는 가상 현실 디바이스다. 또 다른 실시예에서, 이미징 디바이스는 카메라가 내장된 컴퓨터이다. 또 다른 실시예에서, 이미징 디바이스는 외부 카메라에 연결된 컴퓨터이다. 다른 실시예에서, 이미징 디바이스는 카메라가 내장된 스마트폰이다.
시스템은 여러 이미징 디바이스들에서 병렬로 동작할 수 있다. 하나의 실시예는 시스템에 연결된 다수의 Gig-E 카메라들이다. 또 다른 실시예는 시스템에 연결된 다수의 카메라들이다.
적어도 하나의 이미지는 한 번의 클릭으로 시스템에 업로드될 수 있다. 실시예에서, 클릭은 컴퓨터의 마우스일 수 있다. 또 다른 실시예에서, 클릭은 카메라 상의 버튼일 수 있다. 또 다른 실시예에서, 클릭은 스마트폰 상의 버튼일 수 있다. 또 다른 실시예에서, 클릭은 증강 현실 디바이스 상의 버튼일 수 있다. 또 다른 실시예에서, 클릭은 가상 현실 디바이스 상의 버튼일 수 있다.
본 교시들의 이들 및 다른 피쳐들, 양태들 및 장점들은 아래의 설명, 예들 및 첨부된 청구항들을 참조하여 더 잘 이해될 것이다.
당업자는 아래에 설명된 도면이 단지 예시적인 목적들을 위한 것임을 이해할 것이다. 도면들은 어떤 식으로든 본 교시들의 범위를 제한하려는 의도가 아니다.
도 1. 시스템의 흐름도.
도 2. 부품 검사 프로세스와 관련된 시스템의 흐름도.
도 3. 부품 검사 동안 시스템의 흐름도.
도 4. 부품 검사 중이 아닌 시스템의 흐름도.
약어들 및 정의들
발명의 이해를 용이하게 하기 위해, 본 명세서에서 사용되는 다수의 용어들 및 약어들은 다음과 같이 정의된다:
부품: 본 명세서에서 사용되는 용어 "부품"은 제조, 엔지니어링, 산업 또는 물류 프로세스의 일부로 검사 중인 모든 물체, 예를 들어 제조, 엔지니어링, 산업 또는 물류 프로세스의 일부로 검사되야 하는 자동차 컴포넌트들, 가전 제품들, 선적 상자들 및 전자 상품들을 지칭한다.
이미징 디바이스: 본 명세서에서 사용되는 용어 "이미징 디바이스"는 시각적 이미지들을 기록, 저장 또는 송신할 수 있는 모든 기계적, 디지털 또는 전자 뷰잉 도구(viewing instrument)를 지칭한다. 이 이미지들은 부품들의 2차원(2D) 또는 3차원(3D) 이미지들일 수 있다. 2D는 이미징 디바이스 시야의 너비와 높이를 기초로 한 시각적 표현을 지칭한다. 3D는 이미징 디바이스 시야의 너비와 높이를 기초로 한 시각적 표현을 지칭하며, 3차원은 이미지 센서에서 물체까지의 거리를 나타낸다. 본 명세서에서 참조되는 2D 및 3D 이미지들은 2D 또는 3D 이미지가 단색(monochrome) 또는 다색(multichrome)(적색, 녹색 및 청색) 중 하나로 표현되는 색상 차원을 추가로 가질 수 있다. 2D 및 3D 이미지들은 수동 광자 수신(passive photon reception) 또는 후속 광자 수신(subsequent photon reception)에 의한 능동 광자 생성(active photon generation) 중 하나를 통해 캡처될 수 있다. 능동 광자 생성 없이 3D로 변환된 2D 이미지들의 경우 이미지 후처리를 통해 깊이 차원을 유추할 수 있다.
탑재: 본 명세서에서 사용된 용어 "탑재"는 시스템의 하드웨어에 통합된 기능(facility) 또는 피쳐를 나타내거나 그로부터 제어되는 것을 지칭한다.
이미지: 본 명세서에서 사용되는 용어 "이미지"는 이미징 디바이스로부터의 부품의 2D 표현 또는 이미징 디바이스로부터의 부품의 3D 표현을 의미할 수 있으며, 여기서 제3차원은 이미지 센서로부터의 물체 거리다.
신경망: 본 명세서에서 사용되는 용어 "신경망"은 컴퓨터의 표현이 명시적으로 프로그래밍되기보다는 학습되는 학습 가능한 가중치들이 있는 디지털 데이터 구조를 지칭한다. 학습 알고리즘의 세부 사항들과 데이터 구조 아키텍처의 세부 사항들은 다를 수 있다. 신경망의 예들은 컨벌루션 신경망, 순환(recurrent) 신경망, 변환기 또는 다른 신경망 아키텍처를 포함할 수 있고, 학습 알고리즘은 지도 학습, 비지도 학습 또는 강화 학습 중 하나를 수반(entail)할 수 있다.
훈련된: 본 명세서에서 사용되는 용어 "훈련된"은 일정 기간 동안 연습 및 지시를 통해 특정 기술 또는 행동의 유형을 배운 것을 지칭한다.
실시간: 본 명세서에서 사용되는 용어 "실시간"은 입력 데이터가 밀리초(millisecond)들 내에 처리되어 사실상 바로 피드백으로 이용 가능함을 지칭한다.
무한 스크롤: 본 명세서에서 사용되는 용어 "무한 스크롤"은 사용자가 페이지를 아래로 스크롤함에 따라 콘텐츠를 계속 로딩하여 페이지매김(pagination)의 필요성을 제거하는 기술을 지칭한다.
부품들 검사 시스템들 및 방법들
본 발명은 몇 개의 서브시스템들을 포함하는 시스템(100)에 관한 것이다. 서브시스템 #1(105)은 이미지 광학장치(122) 또는 이미징 디바이스의 렌즈를 포함한다. 이 실시예에서, 이미징 디바이스는 카메라이지만, 이미징 디바이스는 이미지들을 캡처할 수 있는 다른 디바이스들일 수 있다. 카메라 하드웨어는 서브시스템 #2(110) 및 서브시스템들 #3 및 #4(115)를 포함한다. 서브시스템 #2(110)는 광을 이미지로 변환함으로써 시스템(100)에 의해 캡처되는 이미지들을 검출하는 이미지 센서(124)를 포함한다. 서브시스템 #3 및 #4(115)는 이미징 디바이스가 사용하는 하드웨어 및 소프트웨어를 포함한다. 센서 인터페이스 전자장치(126) 및 AI 칩(128)은 컴퓨터 하드웨어를 포함하는 반면, 입력 및 출력 통신(130)은 컴퓨터 소프트웨어를 포함한다. 센서 인터페이스 전자장치(126)는 컴퓨터 하드웨어에 디지털 입력을 제공하는 반면, AI 칩(128)은 이미지 인식 신경망을 운영하는 하드웨어 역할을 한다. 또 다른 실시예에서, AI 칩(128)은 하나 이상의 이미지 인식 신경망을 운영할 수 있다. 서브시스템 #5(120)는 시스템(100)과 예를 들어 부품 검사를 위해 시스템(100)에 부품들을 제공하는 생산 라인 사이의 연결 역할을 하는 프로그래밍가능한 로직 제어기(PLC)(132)에 대한 인터페이스를 구성한다.
도 2는 제조 라인(205), 이미징 디바이스(210)(이 실시예에서는 카메라) 및 사용자 인터페이스(215)(이 실시예에서는 웹 브라우저)를 특징으로 하는 제조 부품 검사 프로세스(200)를 도시한다. 생산 라인(205)은 디지털 통신 디바이스(272)(이 실시예에서는 PLC)와 함께 작동하는 기타(miscellaneous) 프로세스들(270)을 구성한다. 기타 프로세스들(270)은 부품 검사와 관련이 없지만 디지털 통신 디바이스(272)(이 실시예에서는 PLC)에 의해 제어되는 동작들을 지칭한다. 디지털 통신 디바이스(272)는 이미징 디바이스(210)가 이미징 디바이스의 하드웨어 및 소프트웨어(276)로 이미지(274)를 획득하고 이미지(280)를 검사하는 검사 요청(286)을 트리거할 수 있으며, 검사 결과들은 시스템(282)의 컴퓨터 하드웨어에 의해 처리되고 시스템에 탑재된 데이터베이스(284)에 저장된다. 그런 다음 검사 결과들은 디지털 통신 디바이스(272)로 포워딩된다. 검사 결과들은 선택적으로 사용자 인터페이스(215)에 도시될 수 있다. 추가로, 시스템은 PLC 이외의 디바이스로부터 검사 요청들을 수신하고 PLC가 아닌 다른 디바이스에 결과들을 보고할 수 있다. 예를 들어, 카메라는 로컬 네트워크를 통해 컴퓨터로부터 검사 요청들을 수신하고 검사 결과들을 보고할 수 있다. 사용자 인터페이스(215)에 나타나는 검사 결과들은 이미징 디바이스(210)로부터 유선 또는 무선 네트워크를 통해 제공될 수 있다. 시스템(100)의 여러 파라미터들 또는 피쳐들이 사용자 인터페이스(215)에 도시될 수 있다. 그중 하나는 검사 프로세스 중에 운영할 새로운 이미지 인식 신경망의 선택이다. 이 선택은 시스템에 저장된 신경망들의 목록에서 만들어질 수 있다. 사용자는 시스템에 저장된 사용 가능한 신경망들의 목록에서 추가하거나 삭제할 수도 있다. 시스템에 저장된 신경망들의 수는 적어도 8개일 수 있다. 또한 디지털 통신 디바이스(272)는 예를 들어 다른 검사 프로세스를 운영하기 위해 네트워크들 목록에서 활성 신경망을 변경하라는 요청을 시스템에 발송할 수 있다. 또 다른 파라미터는 검사 결과들(230)의 라이브 뷰이며, 신경망 검사 예측은 이미지(235)에 바로 매핑된다. 부품 검사 이력(240)은 사용자 인터페이스(215)로 뷰가 가능한 또 다른 피쳐이다. 이력은 시간, 부품, 신뢰도(245)로 검색 가능하다. 카메라 셋팅들(250)은 또한 변경 가능한 카메라 노출, 카메라 이득 및 네트워크 통신 셋팅들 예들(255) 셋팅으로 사용자 인터페이스(215) 상에서 뷰가 가능하고 변경 가능하다. 신뢰도 셋팅들(260)은 또한 사용자 인터페이스(215)에 보여질 수 있으며, 검사 보고(265)에 대한 신뢰도 셋팅들 임계치를 조정하여 보다 정확한 예측들을 할 수 있다. 사용자는 예를 들어 임계치보다 낮은 신뢰도를 가지고 이루어진 신경망 예측이 검사 프로세스에 실패한 것으로 보고될 수 있는 신뢰도 임계치를 설정할 수 있다.
도 3은 부품 검사 프로세스를 실시간(300)으로 도시하는 흐름도이다. 이미지 캡처(305)에 이어 이미지(310)를 검사한다. 다음으로 사용자 인터페이스(315)에 보고된 검사 결과들이 있고, 그 후 사용자는 시스템(320)에 피드백을 제공한다. 시스템은 사용자 피드백(325)에 이어서 신경망 훈련 업데이트(335)의 사용자 검토 및 검증의 옵션과 함께 사용자 피드백(330)에 기초한 신경망 훈련 업데이트를 수신한다.
도 4는 비실시간(400)의 부품 검사 프로세스의 흐름도를 도시한다. 이미징 디바이스(405)(이 실시예에서는 카메라)에 통합된 서버 탑재 컴퓨터 하드웨어는 사용자 인터페이스(410)와 통신한다. 이미지 데이터세트들(415)은 이미징 디바이스에 의해 취해지며, 이미징 디바이스는 모든 변경사항들(420)을 자동으로 저장한다. 다음은 이미지들, 이미지 라벨들 및 메타데이터가 안전하게 저장된(430) 상태에서 이미지 디바이스(425)와 통합된 탑재 컴퓨터 하드웨어에 이미지들을 업로드하거나 이미지들을 선택하는 것이다. 다음은 라벨링 이미지들(435); 이미지들(440)의 무한 스크롤 및 갤러리 뷰(445)에서 선택 가능한 이미지들이다. 실시예에서, 라벨링 이미지들(435)은 진행/비진행 결정을 초래할 수 있다. 또 다른 실시예에서, 라벨링 이미지들(435)은 통과/실패 결정을 초래할 수 있다. 또 다른 실시예에서, 라벨링 이미지들(435)은 결함 또는 부적합 중 하나의 식별을 초래할 수 있다. 또 다른 실시예에서, 라벨링 이미지들(435)은 바코드 또는 데이터 매트릭스의 식별을 초래할 수 있다. 다음은 이미지 라벨들(455)을 기초로 차별화하는 시스템 학습으로 이미지 인식 신경망(450)을 훈련하는 것이다. 그런 다음 프로세스는 올바른 및 잘못된 예측들(465)의 검토와 함께 이미지 인식 신경망(460)의 예측들을 검토한다. 이미지 데이터 세트들의 검증도 이 단계에서 실행될 수 있다. 이미지 인식 신경망(460)의 예측들을 검토한 후 시스템의 컴퓨터 하드웨어에 이미지 인식 신경망을 배치하고 이미지 인식 신경망이 선택적으로 안전하게 암호화된다(475).
다른 실시예들
상기 기재된 상세한 설명은 본 발명을 실시함에 있어 당업자를 돕기 위해 제공된다. 그러나, 본 명세서에 설명되고 청구된 발명은 본 명세서에 개시된 특정 실시예들에 의해 범위가 제한되지 않으며, 이는 이 실시예들이 본 발명의 여러 양태들의 예시로서 의도되기 때문이다. 동등한 실시예들은 본 발명의 범위 내에 있는 것으로 의도된다. 실제로, 본 명세서에 도시되고 설명된 것들에 더하여 본 발명의 다양한 수정들이 본 발명 발견의 사상 또는 범위를 벗어나지 않는 전술한 설명으로부터 당업자에게 명백해질 것이다. 그러한 수정들은 또한 첨부된 청구들 범위 내에 있는 것으로 의도된다.

Claims (21)

  1. 제조, 엔지니어링, 물류 및 산업 프로세스 중 하나의 일부로 부품의 육안 검사(visual inspection)를 수행하는 시스템으로서, 상기 시스템은:
    이미징 디바이스(imaging device);
    상기 이미징 디바이스와 통신하는 컴퓨터 하드웨어(computer hardware);
    상기 컴퓨터 하드웨어에 의해 실행되는 컴퓨터 소프트웨어(computer software); 그리고
    적어도 하나의 이미지 인식 신경망(image recognition neural network)을 포함하고, 상기 이미지 인식 신경망은 컴퓨터 하드웨어에 탑재되어(onboard) 훈련하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 시스템은 적어도 하나의 이미지 및 적어도 하나의 이미지 라벨을 저장하는, 시스템.
  3. 제2항에 있어서, 사용자 인터페이스(user interface)를 더 포함하는, 시스템.
  4. 제3항에 있어서, 디지털 통신 디바이스를 더 포함하고, 상기 디지털 통신 디바이스는 프로그래밍가능 로직 제어기(PLC), 로컬 서버 및 인터넷 서버 중 적어도 하나인, 시스템.
  5. 제3항에 있어서, 상기 사용자 인터페이스는 상기 적어도 하나의 이미지 및 상기 적어도 하나의 이미지 라벨의 조작을 허용하는, 시스템.
  6. 제1항에 있어서, 상기 적어도 하나의 이미지 인식 신경망은 부품 검사 동안 및 비 부품 검사 동안 중 적어도 하나에서 훈련될 수 있는, 시스템.
  7. 제2항에 있어서, 상기 적어도 하나의 이미지, 상기 적어도 하나의 이미지 인식 신경망 및 상기 적어도 하나의 라벨은 상기 컴퓨터 하드웨어에 저장되는, 시스템.
  8. 제2항에 있어서, 사용자는 상기 적어도 하나의 이미지를 검사하고 상기 적어도 하나의 이미지에 관한 결정을 내릴 수 있는, 시스템.
  9. 제8항에 있어서, 상기 시스템은 상기 적어도 하나의 이미지에 대해 상기 적어도 하나의 이미지 인식 신경망을 훈련하기 위해 상기 사용자로부터의 피드백을 사용하는, 시스템.
  10. 부품 검사 동안 이미지 인식 신경망을 훈련하는 방법으로서,
    이미징 디바이스로 적어도 하나의 이미지를 캡처하는 단계;
    적어도 하나의 이미지 인식 신경망으로 상기 적어도 하나의 이미지를 검사하는 단계;
    검사 결과를 사용자 인터페이스에 보고하는 단계;
    상기 사용자 인터페이스를 통해, 상기 적어도 하나의 이미지의 콘텐츠 및 검사 결과 중 적어도 하나에 기초하여 사용자 피드백을 요청하는 단계;
    상기 사용자 피드백을 수신하는 단계;
    상기 사용자 피드백에 기초하여 상기 적어도 하나의 이미지 인식 신경망의 내부 가중치를 업데이트하는 단계(즉, 상기 사용자의 피드백으로부터 수신된 데이터로부터 직접 네트워크를 훈련하는 단계); 및
    선택적으로 상기 시스템이 요청 및 사용자 피드백의 수신 중 적어도 하나를 기초로 발생하는 이미지 인식 신경망 가중치 업데이트를 검토 및 검증하는 단계를 포함하는, 방법.
  11. 시스템에 탑재된 이미지 인식 신경망을 훈련하기 위한 방법으로서,
    적어도 하나의 이미지를 업로드하는 것과 사용자 인터페이스를 통해 시스템에 탑재된 저장된 이미지들의 그룹으로부터 적어도 하나의 이미지를 선택하는 것 중 적어도 하나에 의해 상기 이미지 인식 신경망을 훈련하는 데 사용되는 적어도 하나의 이미지를 선택하는 단계;
    선택적으로 상기 적어도 하나의 이미지 내에서 관심 영역을 식별하는 단계;
    상기 사용자 인터페이스를 통해 상기 적어도 하나의 이미지에 적어도 하나의 라벨을 적용하도록 사용자에게 요청하는 단계;
    상기 적어도 하나의 이미지 및 상기 적어도 하나의 라벨을 이미지들 및 이미지 라벨들로 구성된 훈련 서브세트 및 이미지들 및 이미지 라벨들로 구성된 테스트 서브세트 중 적어도 하나로 분할하는 단계;
    상기 사용자 인터페이스를 통해 상기 사용자로부터 신경망 훈련 파라미터를 요청하는 단계;
    상기 사용자에 의해 제공된 상기 적어도 하나의 이미지 및 상기 훈련 서브세트 및 신경망 훈련 설정을 포함하는 상기 적어도 하나의 라벨로부터, 상기 훈련 서브세트의 콘텐츠에 기초하여 신경망 가중치를 업데이트하는 단계;
    상기 사용자 인터페이스를 통해, 상기 사용자가 신경망 훈련 진행 상황을 모니터링할 수 있도록 하고, 상기 사용자 인터페이스에 관련 훈련 통계를 표시하는 단계-여기서, 상기 훈련 통계는 상기 이미지 인식 신경망이 상기 테스트 서브세트에 대해 얼마나 잘 수행되고 있는지를 반영함-; 및
    상기 신경망 훈련 후, 이미지들 및 라벨들의 상기 테스트 서브세트에 대한 상기 신경망 훈련의 결과를 상기 사용자 인터페이스를 통해 표시하고 0 내지 100% 범위의 신뢰도 점수를 포함하는 상기 테스트 서브세트에 대한 상기 이미지 인식 신경망의 사용자 예측을 표시하는 단계를 포함하는, 방법.
  12. 제10항에 있어서, 상기 방법은 검사 프로세스의 일부인, 방법.
  13. 제10항에 있어서, 상기 적어도 하나의 이미지의 상기 콘텐츠는 불완전, 부적합, 바코드 및 데이터 매트릭스 중 적어도 하나인, 방법.
  14. 제13항에 있어서, 상기 적어도 하나의 이미지 콘텐츠의 신경망 예측은 상기 적어도 하나의 이미지에 매핑되고, 상기 신경망 예측은 2차원 상자, 3차원 상자 및 상기 신경망 예측을 강조하는 반투명 색상 중 적어도 하나로 시각화되는, 방법.
  15. 제10항에 있어서, 상기 적어도 하나의 이미지는 무한 스크롤(infinite scroll)로 사용자 인터페이스에서 볼 수 있는, 방법.
  16. 제15항에 있어서, 상기 이미지 인식 신경망의 훈련 동안 상기 사용자 인터페이스에는 훈련 오류 대 시간의 그래프가 표시되는, 방법.
  17. 제15항에 있어서, 상기 적어도 하나의 이미지의 이력은 상기 사용자 인터페이스에서 검색가능한, 방법.
  18. 제10항에 있어서, 상기 적어도 하나의 이미지의 콘텐츠에 관한 결정을 내리기 위한 신뢰 임계치는 사용자 변경가능한, 방법.
  19. 제10항에 있어서, 상기 이미지 인식 신경망은 상기 적어도 하나의 이미지의 상기 콘텐츠를 식별하는 것과 상기 적어도 하나의 이미지의 상기 콘텐츠에 기초하여 결정을 내리는 것 중 적어도 하나를 위해 훈련된 적어도 하나의 컨벌루션 신경망(convolutional neural network)을 포함하는, 방법.
  20. 제1항에 있어서, 상기 이미징 디바이스는 상기 시스템으로부터 분리되고, 상기 이미징 디바이스는 Gig-E 카메라를 포함하고 상기 Gig-E 카메라는 유선 연결을 통해 상기 시스템에 연결되는, 시스템.
  21. 제1항에 있어서, 상기 이미징 디바이스는 적어도 하나의 이미지를 병렬로 처리하는 복수의 이미징 디바이스들을 포함할 수 있는, 시스템.
KR1020237017308A 2020-11-25 2021-11-18 탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라 KR20230110522A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063118607P 2020-11-25 2020-11-25
US63/118,607 2020-11-25
PCT/US2021/059974 WO2022115314A1 (en) 2020-11-25 2021-11-18 Artificial intelligence camera for visual inspection with neural network training onboard

Publications (1)

Publication Number Publication Date
KR20230110522A true KR20230110522A (ko) 2023-07-24

Family

ID=81756244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237017308A KR20230110522A (ko) 2020-11-25 2021-11-18 탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라

Country Status (8)

Country Link
US (1) US20240020956A1 (ko)
EP (1) EP4252184A1 (ko)
JP (1) JP2023551198A (ko)
KR (1) KR20230110522A (ko)
CN (1) CN116601663A (ko)
CA (1) CA3197528A1 (ko)
MX (1) MX2023006036A (ko)
WO (1) WO2022115314A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562225B2 (en) * 2018-11-26 2023-01-24 International Business Machines Corporation Automatic monitoring and adjustment of machine learning model training
US10755401B2 (en) * 2018-12-04 2020-08-25 General Electric Company System and method for work piece inspection

Also Published As

Publication number Publication date
EP4252184A1 (en) 2023-10-04
JP2023551198A (ja) 2023-12-07
MX2023006036A (es) 2023-08-01
US20240020956A1 (en) 2024-01-18
WO2022115314A1 (en) 2022-06-02
CA3197528A1 (en) 2022-06-02
CN116601663A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
KR102229594B1 (ko) 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
US20210390678A1 (en) Method for monitoring manufacture of assembly units
US20190139441A1 (en) Contextual training systems and methods
CN109060817B (zh) 人工智能复检系统及其方法
CN109564166A (zh) 用于自动和人工的组合检查的系统和方法
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
CN114331949A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
JP2015513331A (ja) ルールベースのコンテンツ最適化のためのシステム及び方法
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
CN116783625A (zh) 用于在制造电路板期间进行光学质量控制的方法和设备
US20240003733A1 (en) System and method of detecting fluid levels in tanks
Huang et al. Deep learning object detection applied to defect recognition of memory modules
KR20230110522A (ko) 탑재 신경망 훈련으로 육안 검사를 위한 인공 지능 카메라
US20220414300A1 (en) Asset analysis
Trofimov Multi-structural instrument for identifying surface defects on rails
WO2019073615A1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
CN110816902B (zh) 卫星结构平台孔内多余物检测系统、实时检测方法及介质
Jiang et al. Theoretical issues in the design of visual inspection systems
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
JPH11258180A (ja) 外観検査方法及びシステム
CN115457482A (zh) 图像识别方法、装置、系统和计算机设备