KR20220086505A - 인공 지능 모델들을 사용한 자동 검사 - Google Patents
인공 지능 모델들을 사용한 자동 검사 Download PDFInfo
- Publication number
- KR20220086505A KR20220086505A KR1020210179222A KR20210179222A KR20220086505A KR 20220086505 A KR20220086505 A KR 20220086505A KR 1020210179222 A KR1020210179222 A KR 1020210179222A KR 20210179222 A KR20210179222 A KR 20210179222A KR 20220086505 A KR20220086505 A KR 20220086505A
- Authority
- KR
- South Korea
- Prior art keywords
- codes
- inference
- defect
- training
- target object
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 38
- 238000013473 artificial intelligence Methods 0.000 title description 15
- 238000012549 training Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000007547 defect Effects 0.000 claims description 136
- 230000004807 localization Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/24765—Rule-based classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/042—Backward inferencing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
검사 방법은 복수의 트레이닝 이미지들 및 타깃 객체의 검사로부터 획득된 타깃 객체의 이미지를 수신하는 단계를 포함한다. 본 방법은 하나 이상의 트레이닝 코드들에 의해 복수의 추론 코드들을 생성하는 단계를 추가로 포함한다. 하나 이상의 트레이닝 코드들은 복수의 트레이닝 이미지들을 입력으로서 수신하고 복수의 추론 코드들을 출력하도록 구성된다. 하나 이상의 트레이닝 코드들 및 복수의 추론 코드들은 컴퓨터 실행가능 명령어들을 포함한다. 본 방법은 수신된 복수의 트레이닝 이미지들의 적어도 일부분의 하나 이상의 특성들 및/또는 사용자 입력에 기초하여 복수의 추론 코드들로부터 하나 이상의 추론 코드들을 선택하는 단계를 추가로 포함한다. 본 방법은 또한, 복수의 추론 코드들 중 하나 이상의 추론 코드들을 사용하여 수신된 이미지를 검사하는 단계를 포함한다.
Description
인공 지능(Artificial Intelligence, AI)은, 전형적으로 인간 지능을 필요로 하는 작업들을 수행할 수 있는 스마트 머신(smart machine)들을 구축하는 것과 관련된 과학 분야이다. AI 시스템은 외부 데이터로부터 해석하고 학습하고, 유연한 적응을 통해 이러한 학습에 기초하여 특정 목표들 및 작업들을 달성할 수 있다. AI 시스템들은 검출 시스템들(예컨대, 얼굴 인식), 자율 주행 자동차들, 로봇 공학, 헬스케어(healthcare) 등과 같은 분야들에서 점점 더 널리 퍼지고 있다.
개시된 주제의 다양한 태양들은 하기 능력들 중 하나 이상을 제공할 수 있다.
일 구현예에서, 방법은 복수의 트레이닝 이미지들 및 타깃 객체의 검사로부터 획득된 타깃 객체의 이미지를 수신하는 단계를 포함한다. 본 방법은 하나 이상의 트레이닝 코드들에 의해 복수의 추론 코드들을 생성하는 단계를 추가로 포함한다. 하나 이상의 트레이닝 코드들은 복수의 트레이닝 이미지들을 입력으로서 수신하고 복수의 추론 코드들을 출력하도록 구성된다. 하나 이상의 트레이닝 코드들 및 복수의 추론 코드들은 컴퓨터 실행가능 명령어들을 포함한다. 본 방법은 수신된 복수의 트레이닝 이미지들의 적어도 일부분의 하나 이상의 특성들 및/또는 사용자 입력에 기초하여 복수의 추론 코드들로부터 하나 이상의 추론 코드들을 선택하는 단계를 추가로 포함한다. 본 방법은 또한, 복수의 추론 코드들 중 하나 이상의 추론 코드들을 사용하여 수신된 이미지를 검사하는 단계를 포함한다.
하기의 특징들 중 하나 이상이 임의의 실현가능 조합에 포함될 수 있다.
일 구현예에서, 본 방법은, 타깃 객체에 적어도 하나의 결함이 존재하는지 또는 부재하는지를 결정하라는 사용자 요청을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함한다. 하나 이상의 추론 코드들을 선택하는 단계는 이진 판별기 코드를 선택하는 단계를 포함한다. 이진 판별기 코드는 적어도 하나의 결함의 존재를 나타내는 긍정 추론 결과(affirmative inference result)를 또는 적어도 하나의 결함의 부재를 나타내는 부정 추론 결과(negative inference result)를 출력하도록 구성된다. 다른 구현예에서, 복수의 추론 코드들을 생성하는 단계는 적어도, 복수의 트레이닝 이미지들로부터 적어도 하나의 결함의 이미지를 포함하는 제1 클래스의 트레이닝 이미지들을 식별하는 것; 및 복수의 트레이닝 이미지들로부터 적어도 하나의 결함의 이미지를 포함하지 않는 제2 클래스의 트레이닝 이미지들을 식별하는 것에 의해 이진 판별기 코드를 생성하는 단계를 포함한다. 트레이닝 코드는 제1 및 제2 클래스의 트레이닝 이미지들을 입력으로서 수신하고 이진 판별기 코드를 출력으로서 생성하도록 구성된다.
일 구현예에서, 본 방법은, 타깃 객체의 이미지에 적어도 하나의 결함의 이미지를 위치시키라는 사용자 요청을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함한다. 하나 이상의 추론 코드들을 선택하는 단계는 결함 국부화 코드(defect localization code)를 선택하는 단계를 포함한다. 결함 국부화 코드는 타깃 객체의 수신된 이미지를 포함하는 타깃 객체의 수정된 이미지 및 타깃 객체 내의 적어도 하나의 결함을 나타내는 마커를 출력하도록 구성된다. 다른 구현예에서, 복수의 추론 코드들을 생성하는 단계는 적어도, 복수의 트레이닝 이미지들로부터 적어도 하나의 결함을 식별하는 라벨을 포함하는 라벨링된 클래스의 트레이닝 이미지들을 선택하는 것에 의해 결함 국부화 코드를 생성하는 단계를 포함한다. 트레이닝 코드는 라벨링된 클래스의 트레이닝 이미지들을 입력으로서 수신하고 결함 국부화 코드를 출력으로서 생성하도록 구성된다. 또 다른 구현예에서, 마커는 적어도 하나의 결함의 이미지를 둘러싸는 다각형 및/또는 적어도 하나의 결함 상에 중첩된 픽셀 레벨 마스크를 포함한다.
일 구현예에서, 본 방법은, 타깃 객체의 이미지에서의 적어도 하나의 결함을 정량화하라는 사용자 요청을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함한다. 하나 이상의 추론 코드들을 선택하는 단계는 결함 정량화 코드를 선택하는 단계를 포함하고, 결함 정량화 코드는 적어도 하나의 결함과 연관된 심각도 계수(severity factor)를 평가하도록 구성된다. 다른 구현예에서, 복수의 추론 코드들을 생성하는 단계는 적어도, 적어도 하나의 결함과 연관된 마스크를 생성하는 것에 의해 결함 정량화 코드를 생성하는 단계를 포함한다. 마스크는 적어도 하나의 결함과 연관된 픽셀 레벨 정보를 제공하도록 구성된다.
일 구현예에서, 복수의 추론 코드를 생성하는 단계는 복수의 트레이닝 이미지들로부터 트레이닝 이미지들의 복수의 서브세트들을 선택하는 단계를 포함한다. 트레이닝 이미지들의 복수의 서브세트들 중 각각의 서브세트는 복수의 추론 코드의 고유한 추론 코드를 생성하기 위해 하나 이상의 트레이닝 코드들에 의해 사용된다. 다른 구현예에서, 본 방법은 하나 이상의 추론 코드들에 의해 하나 이상의 추론 결과들을 생성하는 단계를 추가로 포함한다. 하나 이상의 추론 코드들 각각은 추론 결과를 생성하도록 구성된다. 본 방법은 또한, 하나 이상의 추론 결과들을 포함하는 추론 결과 앙상블(inference result ensemble)을 생성하는 단계; 및 추론 결과들의 앙상블로부터 타깃 객체에서의 적어도 하나의 결함의 존재를 예측하는 단계를 포함한다. 또 다른 구현예에서, 타깃 객체에서의 적어도 하나의 결함의 존재를 예측하는 단계는 추론 결과들의 앙상블에서의 하나 이상의 추론 결과들의 가중 평균을 계산하는 단계를 포함한다.
일 구현예에서, 노이즈제거 코드(denoising code)는 타깃 객체의 이미지를 수신하고 수신된 이미지로부터 노이즈 특성들을 제거하도록 구성된다. 다른 구현예에서, 노이즈제거 코드는 타깃 객체의 수신된 이미지의 캡처와 연관된 검사 이미징 파라미터들의 미리결정된 범위 내에서 적어도 하나의 이미징 파라미터들로 생성된 복수의 이미지들에 대해 트레이닝된다. 또 다른 구현예에서, 노이즈 특성들은 하나 이상의 부가 균일 가우시안 노이즈(additive uniform Gaussian noise) 및 공간적 불균일 가우시안 노이즈(spatially non-uniform Gaussian noise)를 포함한다.
일 구현예에서, 본 방법은 수신된 이미지들의 검사의 결과, 복수의 트레이닝 이미지들 및 하나 이상의 트레이닝 코드들에 의해 생성된 복수의 추론 코드들 중 하나 이상을 포함하는 검사 리포트를 생성하는 단계를 추가로 포함한다. 다른 구현예에서, 본 방법은 수신된 이미지들의 검사의 결과, 타깃 객체와 연관된 제조 데이터, 타깃 객체와 연관된 재료 데이터, 및 타깃 객체와 연관된 설계 데이터 중 하나 이상에 기초하여, 타깃 객체의 설계 및/또는 제조를 위한 가이드라인들을 생성하는 단계를 추가로 포함한다.
하나 이상의 컴퓨팅 시스템의 하나 이상의 데이터 프로세서에 의해 실행될 때, 적어도 하나의 데이터 프로세서로 하여금 본 명세서에서의 동작들을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 프로그램 제품들(즉, 물리적으로 구현된 컴퓨터 프로그램 제품들)이 또한 기술된다. 유사하게, 하나 이상의 데이터 프로세서 및 하나 이상의 데이터 프로세서에 결합된 메모리를 포함할 수 있는 컴퓨터 시스템들이 또한 기술된다. 메모리는 적어도 하나의 프로세서로 하여금 본 명세서에 기술된 동작들 중 하나 이상을 수행하게 하는 명령어들을 일시적으로 또는 영구적으로 저장할 수 있다. 또한, 방법들은 단일 컴퓨팅 시스템 내에 있는, 또는 둘 이상의 컴퓨팅 시스템 간에 분산된 하나 이상의 데이터 프로세서에 의해 구현될 수 있다. 그러한 컴퓨팅 시스템들은 네트워크(예를 들어, 인터넷, 무선 광역 네트워크, 근거리 통신망, 광역 네트워크, 유선 네트워크 등)를 통한 접속, 다수의 컴퓨팅 시스템들 중 하나 이상의 컴퓨팅 시스템 간의 직접 접속을 통해 등등을 포함하여, 하나 이상의 접속들을 통해 접속될 수 있고 데이터 및/또는 커맨드들 또는 다른 명령어들 등을 교환할 수 있다.
개시된 주제의 이들 및 다른 능력들은 하기의 도면들, 상세한 설명 및 청구범위의 검토 후에 더 완전히 이해될 것이다.
이들 특징 및 다른 특징은 첨부된 도면과 함께 취해진 하기의 상세한 설명으로부터 더 쉽게 이해될 것이다.
도 1은 결함 검출을 위한 예시적인 방법의 흐름도이다.
도 2는 예시적인 결함 인식 시스템의 개략도이다.
도 3은 도 2의 결함 인식 시스템에서의 예시적인 트레이닝 시스템의 개략도이다.
도 4는 도 2의 결함 인식 시스템에서의 예시적인 추론 시스템의 개략도이다.
도 1은 결함 검출을 위한 예시적인 방법의 흐름도이다.
도 2는 예시적인 결함 인식 시스템의 개략도이다.
도 3은 도 2의 결함 인식 시스템에서의 예시적인 트레이닝 시스템의 개략도이다.
도 4는 도 2의 결함 인식 시스템에서의 예시적인 추론 시스템의 개략도이다.
비파괴 컴퓨터 단층촬영(computed-tomography, CT) 이미징 기법들이 산업용 기계들의 다양한 컴포넌트들을 검사하는 데 사용될 수 있다. 예를 들어, CT 이미징 기법들은 산업용 기계들(예컨대, 배터리들)을 검사하고, 산업용 기계들에서의 특성들을 식별하는 데(예컨대, 배터리들 내의 결함들을 검출함) 사용될 수 있다. 기존의 배터리 검사 시스템들은 배터리 이미지들을 검사하기 위해 전통적인 이미지 프로세싱에 의존할 수 있다. 이들 검사 시스템들은 (예컨대, 상이한 유형들의 배터리들에 대해 검사가 수행될 때) 일관성이 없고, 비효율적이며(예컨대, 많은 수의 배터리 이미지들의 수동적 리뷰에 의존함), (예컨대, 캡처된 배터리 이미지들이 짧은 스캔 시간들로 인해 품질이 불량할 때) 부정확할 수 있다. 본 주제는, 검사 시간을 감소시키고/시키거나 검사 정확도 및 일관성을 개선시킬 수 있는 지능형 결함 인식 시스템을 제공한다. 일부 구현예들에서, 결함 인식 시스템(자동 결함 인식[Automatic Defect Recognition, ADR] 시스템으로도 지칭됨)은 배터리들의 CT 이미지들로부터 배터리 결함들을 식별하고, 분류하고, 국소화하고 정량화하는 것 중 하나 이상을 할 수 있는 인공 지능(AI) 모델들을 포함할 수 있다.
일부 구현예들에서, 결함 검출 시스템은 수행될 검사의 유형(예컨대, 결함의 존재의 결정, 결함 유형의 식별, 결함 특성의 결정 등)에 기초하여 복수의 AI 모델들로부터 AI 모델(예컨대, 딥 러닝 모델)을 자동으로 선택할 수 있다. 복수의 AI 모델들은 미리트레이닝될 수 있고, AI 모델 라이브러리에 포함될 수 있다. 다양한 AI 모델들은 하나 이상의 배터리들(예컨대, 주어진 배터리 유형들, 배터리 모델들, 등의 배터리들), 다양한 스캔 환경들, 결함 모드들 및 배터리들의 원래 장비 제조업체(original equipment manufacturer, OEM)들에서의 결함을 검출하도록 트레이닝될 수 있다. AI 모델은 종래의 이미지 프로세싱 기반 접근법들과 비교하여 새로운 결함을 효율적으로 그리고 강건하게 검출하기 위해 쉽게 적응가능할 수 있다.
CT 이미징 기법들은 스캔된 이미지의 품질과 이미지를 스캔하는 데 걸리는 시간(또는 스캔과 연관된 비용) 사이의 트레이드오프를 수반할 수 있다. 다시 말하면, 고해상도 이미지를 캡처하는 것은 더 긴 스캔 시간(이는 더 높은 스캔 비용들로 이어질 수 있음)을 필요로 할 수 있는 한편, 빠른 스캔은 불량한 이미지 품질을 초래할 수 있다. 일부 구현예들에서, 결함 검출 시스템은 스캔된 이미지들 상에 AI 기반 이미지 노이즈제거 및 업스케일링 필터들을 적용할 수 있다. 이는, 전통적인 이미지 향상 기법들을 사용하여 AI 기반 결함 검출에 대해 준비되지 않을 수 있는 이미지들에 대한 결함 검출을 허용할 수 있다. 저품질 CT 이미지들의 허용오차를 갖는 결함 검출은 검출 성능을 희생시키지 않고서 더 낮은 택 시간(takt time)들로 이어질 수 있고, 더 짧은 스캔 시간들 및 더 높은 검사 처리량(예컨대, 실시간 결함 검출)을 초래할 수 있다. 증가된 처리량으로 인해, 배터리 검사는 (예컨대, 생산 동안) 인라인(in-line)으로 수행될 수 있는데, 이는 향상된 안전성을 초래하고 배터리들의 설계 및 제조 프로세스에서의 개선들을 위한 통찰력들을 제공할 수 있다. 추가적으로 또는 대안적으로, AI 인에이블형 ADR 시스템들은 성장하는 CT 검사 시장에서 경쟁적 이점으로 이어질 수 있는 포괄적인 검사를 제공하면서 검사 비용들을 감소시킬 수 있다.
도 1은 결함 인식 시스템에 의한 결함 검출을 위한 예시적인 방법의 흐름도이다. 단계(102)에서, 복수의 트레이닝 이미지들을 특성화하는 데이터 및 타깃 객체의 검사로부터 획득된 타깃 객체(예컨대, 배터리)의 이미지가 (예컨대, 결함 인식 시스템에 의해) 수신될 수 있다. 복수의 트레이닝 이미지들은 데이터 준비 시스템(도시되지 않음)에 의해 생성되고, 결함 인식 시스템으로 송신될 수 있다. 트레이닝 이미지들은 주석이 달린 다양한 객체들(예컨대, 다양한 배터리들)의 이미지들을 포함할 수 있다. 예를 들어, 객체들의 다양한 특징들(예컨대, 결함들)이 라벨링될 수 있다. 트레이닝 이미지들의 생성은, 발명의 명칭이"DATA PREPARATION FOR ARTIFICIAL INTELLIGENCE MODELS"인 출원번호 제17/118,566호에서 설명되며, 그의 전체 내용들은 이에 의해 본 명세서에 참고로 명시적으로 포함된다.
도 2는 트레이닝 시스템(202), 추론 시스템(204), 통찰 시스템(206), 데이터베이스(208) 및 성능 모니터링 시스템(210)을 포함하는 예시적인 결함 인식 시스템(200)의 개략도이다. 결함 인식 시스템(200)은 (예컨대, 단계(102)에서) 복수의 트레이닝 이미지들(220)을 수신하도록 구성될 수 있다. 트레이닝 시스템(202)은 하나 이상의 트레이닝 알고리즘들을 포함할 수 있다. 도 1로 돌아가서, 단계(104)에서, 복수의 추론 알고리즘들(예컨대, AI 컴퓨터 비전 모델들, 딥 러닝 알고리즘(deep learning algorithm)들)은, 복수의 트레이닝 이미지들을 입력으로서 수신하고 복수의 추론 알고리즘들을 출력으로서 생성할 수 있는 하나 이상의 트레이닝 알고리즘들에 의해 생성될 수 있다. 일부 구현예들에서, 주어진 트레이닝 알고리즘은 추론 알고리즘에서 하나 이상의 계수들을 결정함으로써 추론 알고리즘을 생성하고/트레이닝할 수 있다. 예를 들어, 트레이닝 알고리즘은, (추론 알고리즘에 의해 예측된) 예측된 특성들과 트레이닝 이미지의 실제 특성("실측 자료(ground truth)") 사이의 차이를 감소시킴으로써(예컨대, 최소화함으로써) 추론 알고리즘 계수들(예컨대, 신경망 파라미터들)을 (예컨대, 검색함으로써) 결정할 수 있는 최적화 알고리즘을 포함할 수 있다. 이러한 일부 구현예들에서, 추론 알고리즘 계수들에 대한 검색은, 예를 들어 확률적 기울기 하강법(Stochastic Gradient Descent)(또는 그의 변형들)에 의해 수행될 수 있다. 추론 시스템(204)은 단계(104)에서 생성된 복수의 추론 알고리즘들을 포함할 수 있다. 일부 구현예들에서, 주어진 트레이닝 알고리즘은 (예컨대, 단계(102)에서 수신된 트레이닝 이미지들의 서브세트에 기초하여) 고유한 추론 알고리즘을 생성하도록 구성될 수 있다. 예를 들어, 각각의 트레이닝 알고리즘은 고유한 추론 알고리즘을 생성하도록 구성될 수 있다.
단계(106)에서, 하나 이상의 추론 알고리즘들은, 단계(102)에서 수신된 복수의 트레이닝 이미지들의 하나 이상의 특성들 및/또는 사용자 입력(222)에 기초하여 복수의 추론 알고리즘들로부터 선택될 수 있다. 일부 구현예들에서, 사용자는 결함과 연관된 이진 결정(예컨대, 소정 유형의 결함(들)(또는 소정 특성들을 가짐)이 타깃 객체에 존재하는지 또는 부재하는지 여부)을 요청하는 사용자 입력(222)을 제공할 수 있다. 일부 구현예들에서, 배터리 결함 특성은 전극 기하학적 돌출부(overhang), 박리(delamination), 배터리 내의 이물질들, 용접 결함들, 조립 결함들 등 중 하나 이상을 포함할 수 있다. 이러한 요청에 기초하여, 이진 판별기 추론 알고리즘은 추론 시스템(204)에서 복수의 추론 알고리즘들로부터 선택될 수 있다. 이진 판별기 추론 알고리즘은 결함(들)의 존재를 나타내는 긍정 추론 결과를 또는 결함(들)의 부재를 나타내는 부정 추론 결과를 출력하도록 구성될 수 있다. 일부 구현예들에서, 이진 판별기 추론 알고리즘은 다중 클래스 분류를 포함할 수 있다. 예를 들어, 결함이 존재하는지 여부를 결정하는 것에 더하여, 식별된 결함의 클래스/유형이 결정될 수 있다.
일부 구현예들에서, 트레이닝 시스템(202)에서의 제1 트레이닝 알고리즘은 (예컨대, 사용자 입력(222)을 수신하기 전에) 이진 판별기 추론 알고리즘을 생성하도록 구성될 수 있다. 제1 트레이닝 알고리즘은 트레이닝 이미지(220)들(또는 그의 일부분)을 2개의 클래스들로 분류하는 것에 기초하여 이진 판별기 추론 알고리즘을 생성할 수 있다. 예를 들어, 결함의 이미지(예컨대, 사용자 입력(222)에서 식별된 결함의 이미지)를 포함하는 복수의 트레이닝 이미지들(220)로부터의 제1 클래스의 트레이닝 이미지들이 식별될 수 있다. 결함의 이미지를 포함하지 않는 복수의 트레이닝 이미지들(220)로부터의 제2 클래스의 트레이닝 이미지들이 식별될 수 있다. 트레이닝 이미지들의 2개의 클래스들의 결정은, 예를 들어 트레이닝 이미지들(220)의 주석들/라벨들에서 결함을 검색함으로써 행해질 수 있다. 일부 구현예들에서, 트레이닝 이미지들의 분류는 별개의 분류 시스템(도시되지 않음)에 의해 수행될 수 있고, 분류된 이미지들은 제1 트레이닝 알고리즘에 의해 입력으로서 수신될 수 있다. 제1 트레이닝 알고리즘은 이진 판별기 추론 알고리즘을 출력으로서 생성할 수 있다. 대안적으로, 제1 트레이닝 알고리즘은 분류 및 이진 판별기 추론 알고리즘의 생성 둘 모두를 수행하도록 구성될 수 있다.
일부 구현예들에서, 사용자는 단계(102)에서 수신된 타깃 객체의 이미지에 결함을 위치시키라는 요청을 사용자 입력(222)에 제공할 수 있다. 이러한 요청에 기초하여, 결함 국부화 추론 알고리즘은 추론 시스템(204)에서 복수의 추론 알고리즘들로부터 선택될 수 있다. 결함 국부화 추론 알고리즘은, 타깃 객체의 수신된 이미지를 포함하는 타깃 객체의 수정된 이미지 및 사용자 입력(224)에서 식별된 결함을 나타내는 마커를 출력하도록 구성될 수 있다.
일부 구현예들에서, 제2 트레이닝 알고리즘은 (예컨대, 사용자 입력(222)을 수신하기 전에) 결함 국부화 추론 알고리즘을 생성하도록 구성될 수 있다. 제2 트레이닝 알고리즘은 사용자 입력(224)에서 식별된 결함을 포함하는 복수의 트레이닝 이미지들(220)로부터 트레이닝 이미지들의 서브세트를 선택함으로써 결함 국부화 추론 알고리즘을 생성할 수 있다. 이는, 예를 들어 트레이닝 이미지들(220)의 주석/라벨들에서 식별된 결함을 검색함으로써 행해질 수 있다. 대안적으로, 별개의 식별 시스템은 식별된 결함을 포함하는 트레이닝 이미지들의 서브세트를 선택할 수 있다. 이어서, 제2 트레이닝 알고리즘은 식별된 결함을 포함하는 트레이닝 이미지들의 서브세트에 기초하여 결함 국부화 추론 알고리즘을 생성할 수 있다. 일부 구현예들에서, 트레이닝 이미지 내의 라벨들은 트레이닝 이미지에서 결함을 식별할 수 있는 마커를 포함할 수 있다. 마커는 결함과 연관된 정보(예컨대, 결함의 명칭, 결함의 클래스 등)를 포함할 수 있다. 일부 구현예들에서, 마커는 트레이닝 이미지들의 서브세트 내의 트레이닝 이미지들 상에 중첩된 바운딩 박스(bounding box)(예컨대, 다각형, 픽셀 레벨 마스크)를 포함할 수 있다. 바운딩 박스 특성들(예컨대, 형상 크기, 색상 등)은 결함에 기초하여 달라질 수 있고, 그것은 트레이닝 이미지에서 식별하도록 구성된다.
일부 구현예들에서, 사용자는 단계(102)에서 수신된 타깃 객체의 이미지에서의 결함을 정량화하라는 요청을 사용자 입력(222)에 제공할 수 있다. 이러한 요청에 기초하여, 정량화 추론 알고리즘은 추론 시스템(204)에서 복수의 추론 알고리즘들로부터 선택될 수 있다. 정량화 추론 알고리즘은 사용자 입력(224)에서 식별된 결함과 연관된 심각도 계수를 평가하도록 구성될 수 있다. 일부 구현예들에서, 결함 정량화 알고리즘을 생성하는 것은 식별된 결함과 연관된 마스크를 생성하는 것을 포함할 수 있다. 마스크는 식별된 결함과 연관된 픽셀 레벨 정보를 제공하도록 구성될 수 있다. 일부 구현예들에서, 마스크들은 엄격함을 정량화할 수 있는 결함의 영역(예컨대, 그 영역의 크기는 결함과 연관된 심각도 계수에 비례할 수 있음)을 계산하는 데 사용될 수 있다. 일부 구현예들에서, 마스크들은 결함들의 존재를 나타낼 수 있는 배터리들의 특성들을 검출하는 데 사용될 수 있다.
일부 구현예들에서, 하나 이상의 추론 알고리즘의 선택은 단계(102)에서 수신된 하나 이상의 트레이닝 이미지들의 특성들에 기초할 수 있다. 예를 들어, 트레이닝 이미지들에는 트레이닝 이미지들을 검사할 수 있는 추론 알고리즘의 유형을 나타내도록 주석이 달릴 수 있다. 추가적으로 또는 대안적으로, 추론 알고리즘의 선택은 트레이닝 이미지들의 주석들의 분석에 기초할 수 있다.
단계(108)에서, 단계(102)에서 수신된 타깃 객체의 이미지는 트레이닝 시스템(202)에 의해 생성된 하나 이상의 추론 알고리즘들(예컨대, 이진 판별기 추론 알고리즘, 결함 국부화 추론 알고리즘, 정량화 추론 알고리즘 등 중 하나 이상)을 사용하여 검사될 수 있다. 추론 알고리즘은 타깃 객체의 이미지를 입력으로서 수신하고, 타깃 객체의 이미지의 하나 이상의 특성을 출력할 수 있다. 출력 특성들은 사용자 입력(224)에서의 요청에 기초할 수 있다. 예를 들어, 사용자 입력(224)이 결함의 이진 결정을 위한 요청을 포함하는 경우, 선택된 이진 판별기 추론 알고리즘의 출력은 결함(들)의 존재를 나타내는 긍정 추론 값 또는 결함(들)의 부재를 나타내는 부정 추론 값을 포함할 수 있다. 추가적으로 또는 대안적으로, 사용자 입력(224)이 타깃 객체의 이미지에 결함을 위치시키라는 요청을 포함하는 경우, 선택된 결함 국부화 추론 알고리즘의 출력은 타깃 객체의 수신된 이미지를 포함하는 타깃 객체의 수정된 이미지 및 사용자 입력(224)에서 식별된 결함을 나타내는 마커를 포함할 수 있다.
추가적으로 또는 대안적으로, 사용자 입력(224)이 타깃 객체의 이미지에서의 결함을 정량화하라는 요청을 포함하는 경우, 선택된 정량화 추론 알고리즘의 출력은 사용자 입력(224)에서 식별된 결함과 연관된 심각도 계수를 포함할 수 있다. 일부 구현예들에서, 심각도 계수는 타깃 객체의 동작에 대한 결함의 영향(예컨대, 배터리의 동작에 대한 결함의 영향)을 나타낼 수 있다. 예를 들어, 심각도 계수는 미리결정된 값 범위로부터의 일정 값일 수 있는데, 여기서 미리결정된 값 범위 내의 값들 중 각각의 값은 타깃 객체에 대한 결함의 영향/위협의 정도를 나타낸다.
일부 구현예들에서, 추론 시스템(204)은 결함 인식 시스템(200)에 의해 검사되도록 구성된 타깃 객체의 이미지들을 수정할 수 있는 이미지 수정 알고리즘을 포함할 수 있다. 이미지 수정 알고리즘은 노이즈제거/업스케일링 알고리즘을 포함할 수 있다. 노이즈제거/업스케일링 알고리즘은 타깃 객체의 이미지를 수신하고, 수신된 이미지로부터 노이즈 특성들을 제거한다. 노이즈 특성들은 그의 획득 동안 타깃 객체 이미지에 도입된 노이즈를 포함할 수 있다. 예를 들어, 타깃 객체의 스캔 시간이 적으면, 결과의 이미지는 흐릿할 수 있다(예컨대, 바람직한 선명함/콘트라스트를 갖지 않을 수 있음). 이는, 추론 시스템(204)이 이미지 내의 결함들을 검출/식별하는 능력을 억제할 수 있다.
일부 구현예들에서, 노이즈제거/업스케일링 알고리즘은, 노이즈 이미지들의 데이터세트에 대해 트레이닝된 그리고 이미지로부터 노이즈 특성들을 식별하고/하거나 필터링하도록 구성된 AI 모델들(예컨대, 딥 러닝 네트워크들)을 포함할 수 있다. 노이즈 특성들은, 예를 들어 부가 균일 가우시안 노이즈, 공간적 불균일 가우시안 노이즈 등을 포함할 수 있다. 일부 구현예들에서, 노이즈제거/업스케일링 알고리즘은 단계(102)에서 수신된 타깃 객체의 이미지의 캡처와 연관된 (예컨대, 검사 파라미터들로부터의 미리결정된 범위 내의) 검사 파라미터들과 공통인 하나 이상의 파라미터들을 갖는 조건들 하에서 생성된 노이즈 이미지들에 대해 트레이닝될 수 있다. 검사 파라미터들은, 예를 들어 CT 이미징에서 사용되는 전자기 방사의 특성들(예컨대, 강도, 빔 특성들 등), 검사 하의 배터리의 유형, 등을 포함할 수 있다. 일부 구현예들에서, 노이즈제거/업스케일링 알고리즘은 타깃 객체의 이미지들을 캡처하는 검사 디바이스로부터의 노이즈 이미지들에 대해 트레이닝될 수 있다. 그 결과, 검사 디바이스에 의해 생성된 검사 노이즈를 식별하고 제거하도록 트레이닝될 수 있다.
도 3은 복수의 트레이닝 알고리즘들(302, 304, 306)을 포함할 수 있는 예시적인 트레이닝 시스템(300)의 개략도이다. 도 3은 예시적인 예시이고, 트레이닝 시스템(300)은 2개 이상의 트레이닝 알고리즘들을 포함할 수 있다. 일부 구현예들에서, 트레이닝 이미지들(312, 314, 316)의 복수의 서브세트들이 트레이닝 이미지들(예컨대, 단계(102)에서 수신된 복수의 트레이닝 이미지들)로부터 선택될 수 있다. 주어진 트레이닝 알고리즘은 트레이닝 이미지들의 서브세트를 수신하고, 추론 알고리즘을 생성할 수 있다. 예를 들어, 트레이닝 알고리즘들(302, 304, 306)은 트레이닝 이미지들(312, 314, 316)의 서브세트를 각각 수신할 수 있고, 추론 알고리즘들(322, 324, 326)을 각각 생성할 수 있다.
도 4는 도 3의 예시적인 트레이닝 시스템(300)에 의해 생성된 복수의 추론 알고리즘들(322, 324, 326)을 포함할 수 있는 예시적인 추론 시스템(400)의 개략도이다. 도 4는 예시적인 예시이고, 추론 시스템(400)은 2개 이상의 추론 알고리즘들을 포함할 수 있다. 복수의 추론 알고리즘들(322, 324, 326)은 추론 데이터(예컨대, 단계(102)에서 수신된 타깃 객체의 이미지)를 수신하고, 추론 결과들(예컨대, 제1 출력 특성(402), 제2 출력 특성(404) 및 제3 출력 특성(406) 각각)을 생성할 수 있다. 다양한 추론 알고리즘들(322, 324, 326)로부터의 추론 결과들을 조합함으로써 추론 결과들의 앙상블(408)이 생성될 수 있다. 결함 예측/결함에 대한 추론(예컨대, 소정 유형의(또는 소정 특성들을 갖는) 결함(들)이 타깃 객체에 존재하는지 또는 부재하는지 여부, 타깃 객체의 이미지에서의 결함의 위치, 결함 특성들의 정량화, 등)이 추론 결과들의 앙상블로부터 이루어질 수 있다. 예를 들어, 앙상블(408)에서의 다양한 추론 결과들에는 가중치가 할당될 수 있고, 앙상블에서의 추론 결과들의 가중 평균이 계산될 수 있다. 예측은 가중 평균에 기초하여 이루어질 수 있다. 일 구현예에서, 앙상블에서의 추론 결과들의 미리결정된 수(예컨대, 대다수)가 결함이 존재함을 나타내는 경우, 추론 시스템(400)은 결함이 존재한다고 결론내릴 수 있다. 일부 구현예들에서, 결함 예측은 앙상블(408)로부터 추론 결과를 선택할 수 있는 선출 알고리즘(voting algorithm)에 의해 이루어질 수 있다.
도 2로 돌아가, 추론 시스템(204)에서의 추론 알고리즘(들)의 성능이 평가될 수 있다. 추론 알고리즘(들)의 성능이 바람직하지 않은 경우, 추론 알고리즘(들)은 재트레이닝될 수 있다. 일부 구현예에서, 성능 모니터링 시스템(210)은 추론 알고리즘(들)의 성능을 모니터링할 수 있다. 예를 들어, 추론 알고리즘(들)의 출력(예컨대, 추론 알고리즘(들)에 의해 추론된 타깃 객체의 이미지의 하나 이상의 특성들)이 사용자에게 제시될 수 있다. 추가적으로 또는 대안적으로, 성능 모니터링 시스템(210)이 추론 알고리즘(들)의 성능을 나타내는 성능 메트릭을 생성할 수 있다. 일부 구현예들에서, 이것은, 특성들이 알려져 있는 추론 알고리즘(들)(또는 실측 자료)에 의해 이미지의 검사를 수행함으로써, 그리고 추론된 특성들을 실측 자료들과 비교함으로써 행해질 수 있다. 성능 메트릭 및/또는 추론된 특성들은 (예컨대, GUI를 통해) 사용자에게 제시될 수 있다. 사용자가, 추론 알고리즘이 원하는 대로 수행되고 있지 않다고 결정하는 경우(예컨대, 성능 메트릭들 및/또는 추론된 특성들의 값들이 오류 허용오차 범위 밖에 있을 때), 사용자는 추론 알고리즘(들)이 재트레이닝될 필요가 있음을 나타내는 입력을 (예컨대, GUI를 통해) 제공할 수 있다. 사용자의 입력에 기초하여, 트레이닝 알고리즘(들)은 (예컨대, 추론 알고리즘의 계수들, 신경망 파라미터들, 등을 재계산함으로써) 추론 알고리즘(들)을 재트레이닝할 수 있다. 예를 들어, 피드백 신호(224)는 성능 모니터링 시스템(210)에 의해 트레이닝 시스템(202)으로 송신될 수 있고, 이는 트레이닝 시스템에게 추론 알고리즘(들)을 재트레이닝하도록 명령할 수 있다.
추론 시스템(202)에 의해 생성되는 타깃 객체의 이미지와 연관된 출력 특성(들)은 통찰 시스템(206)에 의해 수신될 수 있다. 통찰 시스템은, 수신된 이미지들의 검사의 추론 결과들(예컨대, 추론 시스템(202)으로부터의 타깃 객체의 이미지의 출력 특성(들)) 중 하나 이상을 포함할 수 있는 검사 리포트를 생성할 수 있다. 일부 구현예들에서, 검사 리포트는 트레이닝 이미지들(예컨대, 단계(102)에서 수신된 트레이닝 이미지들 및/또는 그의 일부분) 및/또는 트레이닝 코드들에 의해 생성된 복수의 추론 알고리즘들을 포함할 수 있다. 일부 구현예들에서, 검사 리포트는 (예컨대, 검사 사이트(inspection site)로부터 결함 인식 시스템(200)에 의해 수신된) 타깃 객체의 이미지의 캡처와 연관된 검사 파라미터들을 포함할 수 있다. 통찰 시스템(206)은 통찰 시스템(204)의 출력들, 검사 리포트에 포함된 데이터, 등을 분석할 수 있는 분석 알고리즘들을 포함할 수 있다. 분석 알고리즘은 배터리 내의 결함의 근본 원인을 추정하고/하거나 배터리 런타임(battery run-life)을 예측할 수 있다. 일부 구현예들에서, 추론 결과들(또는 추론 알고리즘들로부터의 출력 특성들)은 분석 알고리즘의 결과들 및 다른 자료/설계/제조 데이터(예컨대, 데이터베이스(210)에 저장됨), (예컨대, 통계적 분석을 통해) 근본적인 트렌드들, 패턴들, 및 상관들을 발견하기 위한 데이터베이스와 맞물려질 수 있다. 검사 리포트 및/또는 분석 알고리즘의 결과들은 배터리 검사 프로세스, 배터리 설계 및 제조 프로세스를 개선시킬 수 있다. 예를 들어, 분석 알고리즘은 배터리를 제조하기 위한 가이드라인들(예컨대, 배터리의 제조를 개선하기 위한 가이드라인들)을 생성할 수 있다.
추론 시스템(204)과 연관된 데이터(예컨대, 특성들 출력, 추론 알고리즘(들), 등), 통찰 시스템(206)과 연관된 데이터(예컨대, 검사 리포트, 분석 알고리즘의 출력, 등), 트레이닝 시스템(202)과 연관된 데이터(예컨대, 트레이닝 이미지들, 트레이닝 알고리즘들(들), 등)가 데이터베이스(208)에 저장될 수 있다. 일부 구현예들에서, 전술된 결함 검출은 분산될 수 있다. 예를 들어, 데이터 수집(예컨대, 트레이닝 이미지들(220), 추론을 위한 타깃 객체의 이미지의 수집), (예컨대, 추론 시스템(204)에 의한) 타깃 객체 이미지들에 대한 추론, 검출 시각화(예컨대, 사용자에게 검출된 결함의 제시), 및 (예컨대, 데이터베이스(208)에 의한) 데이터의 저장과 같은 동작들이 배터리 검사 사이트에서 수행될 수 있다. (예컨대, 트레이닝 시스템(202)에서의 트레이닝 알고리즘들에 대한) 데이터 준비, 통찰 생성(예컨대, 통찰 리포트의 생성, 통찰 분석의 실행, 등)과 같은 다른 동작들이 배터리 검사 사이트 상에서 또는 클라우드 상에서 수행될 수 있다. 온 프레미스(on premise) 및 오프 프레미스(off-premise)로 동작들을 분배하기 위한 결정은 데이터 프라이버시, 접속성 및 저장 용량에 기초할 수 있다.
다른 실시예들이 개시된 주제의 범주 및 사상 내에 있다. 예를 들어, 본 출원에 설명된 모니터링 시스템은 기계들(예컨대, 발전용 터빈들)의 성능을 변경하기 위해 바뀔 필요가 있는 다수의 동작 파라미터들을 갖는 복합 기계들을 갖는 시설들에서 사용될 수 있다. 본 출원에서 "최적화하다"/"최적화하는 것"이라는 단어의 사용은 "개선하다"/"개선하는 것"을 암시할 수 있다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들의 구조, 기능, 제조, 및 사용의 원리들에 대한 전반적인 이해를 제공하기 위해 소정의 예시적인 실시예들이 본 명세서에 기술되어 있다. 이들 실시예의 하나 이상의 예가 첨부 도면에 예시되어 있다. 당업자는 본 명세서에 구체적으로 기술되고 첨부 도면들에 예시된 시스템들, 디바이스들, 및 방법들이 비제한적 예시적인 실시예들이고, 본 발명의 범주는 청구범위에 의해서만 한정된다는 것을 이해할 것이다. 하나의 예시적인 실시예와 관련하여 예시되거나 기술된 특징들은 다른 실시예의 특징들과 조합될 수 있다. 그러한 변경 및 변형은 본 발명의 범주 내에 포함되는 것으로 의도된다. 또한, 본 명세서에서, 실시예들의 유사-명명된 구성요소들은 대체로 유사한 특징을 가지며, 이에 따라 특정 실시예 내에서, 각각의 유사-명명된 구성요소의 각각의 특징은 반드시 완전히 상세히 기술되어 있지는 않다.
본 명세서에 기술된 주제는 디지털 전자 회로부에서, 또는 본 명세서에 개시된 구조적 수단 및 이의 구조적 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서, 또는 그들의 조합들에서 구현될 수 있다. 본 명세서에 기술된 주제는, 정보 캐리어에서(예컨대, 기계 판독가능 저장 디바이스에서) 유형적으로 구현된, 또는 데이터 프로세싱 장치(예컨대, 프로그래밍가능 프로세서, 프로그래밍가능 그래픽 프로세싱 유닛(GPU), 컴퓨터, 또는 다수의 컴퓨터들)에 의한 실행을 위해, 또는 이의 동작을 제어하기 위해, 전파된 신호로 구현된 하나 이상의 컴퓨터 프로그램들과 같은 하나 이상의 컴퓨터 프로그램 제품들로서 구현될 수 있다. 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로도 알려짐)은 컴파일되거나 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 그것은 자립형 프로그램(stand-alone program)으로서 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함하여 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 반드시 파일에 대응하지는 않는다. 프로그램은, 다른 프로그램 또는 데이터를 보유하는 파일의 일부분에, 해당 프로그램에 전용되는 단일 파일에, 또는 다수의 조정된 파일들(예컨대, 하나 이상의 모듈들, 서브 프로그램들, 또는 코드의 일부분들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 하나의 사이트에서의 다수의 컴퓨터들 상에서 실행되도록 전개될 수 있거나, 또는 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호접속될 수 있다. 알고리즘은 컴퓨터 프로그램을 포함할 수 있다. 알고리즘은 컴퓨터 실행가능 명령어들(예컨대, 프로세서에 의해 실행될 수 있음)을 포함할 수 있다.
본 명세서에 기술된 주제의 방법 단계들을 포함하여, 본 명세서에서 기술된 프로세스들 및 논리 흐름들은, 입력 데이터를 동작시키고 출력을 생성함으로써 본 명세서에 기술된 주제의 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍가능 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한, 특수 목적 논리 회로부, 예컨대 FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 수행될 수 있고, 본 명세서에 기술된 주제의 장치는 이로써 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들 및/또는 GPU들은, 예로서, 범용 및 특수 목적 마이크로프로세서들, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서 둘 모두를 포함한다. 대체적으로, 프로세서는 판독 전용 메모리(Read-Only Memory, ROM) 또는 랜덤 액세스 메모리(Random Access Memory, RAM) 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 예를 들어, ROM 및/또는 RAM은 프로세서들 및/또는 GPU들의 개선된(예컨대, 최적화된) 성능을 허용할 수 있는 지원 드라이브들/소프트웨어를 포함할 수 있다. 컴퓨터의 필수 요소들은 명령어들을 실행하기 위한 프로세서, 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 대체적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 이상의 대량 저장 디바이스들, 예컨대 자기 디스크, 자기-광학 디스크, 또는 광학 디스크들을 포함하거나, 또는 이들로부터 데이터를 수신하도록 또는 이들로 데이터를 전송하도록 또는 둘 모두를 행하도록 작동가능하게 결합될 것이다. 컴퓨터 프로그램 명령어들 및 데이터를 구현하기에 적합한 정보 캐리어들은, 예로서 반도체 메모리 디바이스들(예컨대, EPROM, EEPROM, 및 플래시 메모리 디바이스들); 자기 디스크들(예컨대, 내부 하드 디스크들 또는 착탈가능 디스크들); 자기-광학 디스크들; 및 광학 디스크들(예컨대, CD 및 DVD 디스크들)을 포함하는 모든 형태들의 비휘발성 메모리를 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로부에 의해 보완되거나 또는 이들에 통합될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에 기술된 주제는 디스플레이 디바이스, 예컨대 사용자에게 정보를 디스플레이하기 위한 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와, 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스들이 또한 사용자와의 상호 작용을 제공하는 데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예컨대, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향, 말(speech), 또는 촉각 입력을 포함하여, 임의의 형태로 수신될 수 있다.
본 명세서에 기술된 기법들은 하나 이상의 모듈들을 사용하여 구현될 수 있다. 본 명세서에 사용된 바와 같이, 용어 "모듈"은 컴퓨팅 소프트웨어, 펌웨어, 하드웨어, 및/또는 이들의 다양한 조합들을 지칭한다. 그러나, 최소한으로, 모듈들은 비일시적 프로세서 판독가능 기록가능 저장 매체 상에 기록되거나 또는 하드웨어, 펌웨어 상에 구현되지 않은 소프트웨어로서 해석되지 않아야 한다(즉, 모듈들은 그 자체로는 소프트웨어가 아님). 실제로, "모듈"은 프로세서 또는 컴퓨터의 일부와 같은 적어도 일부 물리적, 비일시적 하드웨어를 항상 포함하는 것으로 해석되어야 한다. 2개의 상이한 모듈들은 동일한 물리적 하드웨어를 공유할 수 있다(예컨대, 2개의 상이한 모듈들은 동일한 프로세서 및 네트워크 인터페이스를 사용할 수 있음). 본 명세서에 기술된 모듈들은 다양한 애플리케이션들을 지원하기 위해 조합되고/되거나, 통합되고/되거나, 분리되고/되거나 복제될 수 있다. 또한, 특정 모듈에서 수행되는 것으로 본 명세서에 기술된 기능은, 특정 모듈에서 수행되는 기능 대신에 또는 그에 더하여, 하나 이상의 다른 모듈들에서 그리고/또는 하나 이상의 다른 디바이스들에 의해 수행될 수 있다. 또한, 모듈들은 다수의 디바이스들 및/또는 서로에 대해 로컬인 또는 원격인 다른 컴포넌트들에 걸쳐 구현될 수 있다. 추가적으로, 모듈들은 하나의 디바이스로부터 이동되고 다른 디바이스에 추가될 수 있고/있거나 디바이스들 둘 모두에 포함될 수 있다.
본 명세서에 기술된 주제는, 백엔드 컴포넌트(back-end component)(예컨대, 데이터 서버), 미들웨어 컴포넌트(middleware component)(예컨대, 애플리케이션 서버), 또는 프론트엔드 컴포넌트(front-end component)(예컨대, 사용자가 본 명세서에 기술된 주제의 구현예와 상호작용할 수 있게 하는 웹 인터페이스 또는 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터), 또는 그러한 백엔드, 미들웨어, 및 프론트엔드 컴포넌트들의 임의의 조합을 포함하는, 컴퓨팅 시스템에서 구현될 수 있다. 본 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예컨대 통신 네트워크에 의해 상호접속될 수 있다. 통신 네트워크들의 예들은 근거리 통신망(local area network, "LAN") 및 광역 네트워크(wide area network, "WAN"), 예컨대 인터넷을 포함한다.
본 명세서 및 청구범위 전체에 걸쳐 본 명세서에 사용되는 바와 같이, 근사화 표현은, 관련된 기본적인 기능의 변화를 초래함이 없이 허용가능하게 변동될 수 있는 임의의 정량적 표현을 수식하는 데 적용될 수 있다. 따라서, "약" 및 "실질적으로"와 같은 용어 또는 용어들에 의해 수식된 값은 명시된 정확한 값으로 제한되지 않아야 한다. 적어도 일부 경우에, 근사화 표현은 값을 측정하기 위한 기기의 정밀도에 상응할 수 있다. 여기서 그리고 본 명세서 및 청구범위 전체에 걸쳐, 범위 한계치들은 조합 및/또는 상호교환될 수 있으며, 그러한 범위들은 확인되며, 문맥이나 표현이 달리 나타내지 않는 한 그 안에 포함된 모든 하위범위들을 포함한다.
Claims (20)
- 방법으로서,
복수의 트레이닝 이미지들 및 타깃 객체의 검사로부터 획득된 상기 타깃 객체의 이미지를 수신하는 단계;
하나 이상의 트레이닝 코드들에 의해, 복수의 추론 코드들을 생성하는 단계 - 상기 하나 이상의 트레이닝 코드들은 상기 복수의 트레이닝 이미지들을 입력으로서 수신하고 상기 복수의 추론 코드들을 출력하도록 구성되고, 상기 하나 이상의 트레이닝 코드들 및 상기 복수의 추론 코드들은 컴퓨터 실행가능 명령어들을 포함함 -;
상기 수신된 복수의 트레이닝 이미지들의 적어도 일부분의 하나 이상의 특성들 및/또는 사용자 입력에 기초하여 상기 복수의 추론 코드들로부터 하나 이상의 추론 코드들을 선택하는 단계; 및
상기 복수의 추론 코드들 중 상기 하나 이상의 추론 코드들을 사용하여 상기 수신된 이미지를 검사하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 타깃 객체에 적어도 하나의 결함이 존재하는지 또는 부재하는지를 결정하라는 사용자 요청을 나타내는 상기 사용자 입력을 수신하는 단계를 추가로 포함하고,
하나 이상의 추론 코드들을 선택하는 단계는 이진 판별기 코드(binary discriminator code)를 선택하는 단계를 포함하고, 상기 이진 판별기 코드는 상기 적어도 하나의 결함의 존재를 나타내는 긍정 추론 결과(affirmative inference result)를 또는 상기 적어도 하나의 결함의 부재를 나타내는 부정 추론 결과(negative inference result)를 출력하도록 구성되는, 방법. - 제2항에 있어서, 상기 복수의 추론 코드들을 생성하는 단계는 적어도,
상기 복수의 트레이닝 이미지들로부터 상기 적어도 하나의 결함의 이미지를 포함하는 제1 클래스의 트레이닝 이미지들을 식별하는 것; 및
상기 복수의 트레이닝 이미지들로부터 상기 적어도 하나의 결함의 이미지를 포함하지 않는 제2 클래스의 트레이닝 이미지들을 식별하는 것에 의해 상기 이진 판별기 코드를 생성하는 단계를 포함하고,
상기 트레이닝 코드는 상기 제1 및 제2 클래스의 트레이닝 이미지들을 입력으로서 수신하고 상기 이진 판별기 코드를 출력으로서 생성하도록 구성되는, 방법. - 제1항에 있어서, 상기 타깃 객체의 이미지에 적어도 하나의 결함의 이미지를 위치시키라는 사용자 요청을 나타내는 상기 사용자 입력을 수신하는 단계를 추가로 포함하고,
하나 이상의 추론 코드들을 선택하는 단계는 결함 국부화 코드(defect localization code)를 선택하는 단계를 포함하고, 상기 결함 국부화 코드는 상기 타깃 객체의 수신된 이미지를 포함하는 상기 타깃 객체의 수정된 이미지 및 타깃 객체 내의 적어도 하나의 결함을 나타내는 마커를 출력하도록 구성되는, 방법. - 제4항에 있어서, 상기 복수의 추론 코드들을 생성하는 단계는 적어도,
상기 복수의 트레이닝 이미지들로부터 상기 적어도 하나의 결함을 식별하는 라벨을 포함하는 라벨링된 클래스의 트레이닝 이미지들을 선택하는 것에 의해 상기 결함 국부화 코드를 생성하는 단계를 포함하고,
상기 트레이닝 코드는 상기 라벨링된 클래스의 트레이닝 이미지들을 입력으로서 수신하고 상기 결함 국부화 코드를 출력으로서 생성하도록 구성되는, 방법. - 제4항에 있어서, 상기 마커는 상기 적어도 하나의 결함의 이미지를 둘러싸는 다각형 및/또는 상기 적어도 하나의 결함 상에 중첩된 픽셀 레벨 마스크를 포함하는, 방법.
- 제1항에 있어서, 상기 타깃 객체의 이미지에서의 적어도 하나의 결함을 정량화하라는 사용자 요청을 나타내는 상기 사용자 입력을 수신하는 단계를 추가로 포함하고,
하나 이상의 추론 코드들을 선택하는 단계는 결함 정량화 코드를 선택하는 단계를 포함하고, 상기 결함 정량화 코드는 상기 적어도 하나의 결함과 연관된 심각도 계수(severity factor)를 평가하도록 구성되는, 방법. - 제7항에 있어서, 상기 복수의 추론 코드들을 생성하는 단계는 적어도,
상기 적어도 하나의 결함과 연관된 마스크를 생성하는 것 - 상기 마스크는 상기 적어도 하나의 결함과 연관된 픽셀 레벨 정보를 제공하도록 구성됨 - 에 의해 상기 결함 정량화 코드를 생성하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 복수의 추론 코드를 생성하는 단계는,
상기 복수의 트레이닝 이미지들로부터 트레이닝 이미지들의 복수의 서브세트들을 선택하는 단계를 포함하고, 상기 트레이닝 이미지들의 복수의 서브세트들 중 각각의 서브세트는 상기 복수의 추론 코드의 고유한 추론 코드를 생성하기 위해 상기 하나 이상의 트레이닝 코드들에 의해 사용되는, 방법. - 제9항에 있어서,
상기 하나 이상의 추론 코드들에 의한 하나 이상의 추론 결과들을 생성하는 단계 - 상기 하나 이상의 추론 코드들 각각은 추론 결과를 생성하도록 구성됨 -;
상기 하나 이상의 추론 결과들을 포함하는 추론 결과 앙상블(inference result ensemble)을 생성하는 단계; 및
상기 추론 결과들의 앙상블로부터 상기 타깃 객체에서의 적어도 하나의 결함의 존재를 예측하는 단계를 추가로 포함하는, 방법. - 제10항에 있어서, 상기 타깃 객체에서의 적어도 하나의 결함의 존재를 예측하는 단계는 상기 추론 결과들의 앙상블에서의 상기 하나 이상의 추론 결과들의 가중 평균을 계산하는 단계를 포함하는, 방법.
- 제1항에 있어서, 노이즈제거 코드(denoising code)가 상기 타깃 객체의 이미지를 수신하고 상기 수신된 이미지로부터 노이즈 특성들을 제거하도록 구성되는, 방법.
- 제12항에 있어서, 상기 노이즈제거 코드는 상기 타깃 객체의 수신된 이미지의 캡처와 연관된 검사 이미징 파라미터들의 미리결정된 범위 내에서 적어도 하나의 이미징 파라미터들로 생성된 복수의 이미지들에 대해 트레이닝되는, 방법.
- 제12항에 있어서, 상기 노이즈 특성들은 하나 이상의 부가 균일 가우시안 노이즈(additive uniform Gaussian noise) 및 공간적 불균일 가우시안 노이즈(spatially non-uniform Gaussian noise)를 포함하는, 방법.
- 제1항에 있어서, 상기 수신된 이미지들의 검사의 결과, 상기 복수의 트레이닝 이미지들 및 상기 하나 이상의 트레이닝 코드들에 의해 생성된 상기 복수의 추론 코드들 중 하나 이상을 포함하는 검사 리포트를 생성하는 단계를 추가로 포함하는, 방법.
- 제1항에 있어서, 상기 수신된 이미지들의 검사의 결과, 상기 타깃 객체와 연관된 제조 데이터, 상기 타깃 객체와 연관된 재료 데이터, 및 상기 타깃 객체와 연관된 설계 데이터 중 하나 이상에 기초하여, 상기 타깃 객체의 설계 및/또는 제조를 위한 가이드라인들을 생성하는 단계를 추가로 포함하는, 방법.
- 시스템으로서,
적어도 하나의 데이터 프로세서; 및
상기 적어도 하나의 데이터 프로세서에 결합된 메모리를 포함하고, 상기 메모리는, 상기 적어도 하나의 데이터 프로세서로 하여금,
복수의 트레이닝 이미지들 및 타깃 객체의 검사로부터 획득된 상기 타깃 객체의 이미지를 수신하는 것;
하나 이상의 트레이닝 코드들에 의해, 복수의 추론 코드들을 생성하는 것 - 상기 하나 이상의 트레이닝 코드들은 상기 복수의 트레이닝 이미지들을 입력으로서 수신하고 상기 복수의 추론 코드들을 출력하도록 구성되고, 상기 하나 이상의 트레이닝 코드들 및 상기 복수의 추론 코드들은 컴퓨터 실행가능 명령어들을 포함함 -;
상기 수신된 복수의 트레이닝 이미지들의 적어도 일부분의 하나 이상의 특성들 및/또는 사용자 입력에 기초하여 상기 복수의 추론 코드들로부터 하나 이상의 추론 코드들을 선택하는 것; 및
상기 복수의 추론 코드들 중 상기 하나 이상의 추론 코드들을 사용하여 상기 수신된 이미지를 검사하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 저장하는, 시스템. - 제17항에 있어서, 상기 동작들은, 상기 타깃 객체에 적어도 하나의 결함이 존재하는지 또는 부재하는지를 결정하라는 사용자 요청을 나타내는 상기 사용자 입력을 수신하는 것을 추가로 포함하고,
하나 이상의 추론 코드들을 선택하는 것은 이진 판별기 코드를 선택하는 것을 포함하고, 상기 이진 판별기 코드는 상기 적어도 하나의 결함의 존재를 나타내는 긍정 추론 결과를 또는 상기 적어도 하나의 결함의 부재를 나타내는 부정 추론 결과를 출력하도록 구성되는, 시스템. - 제18항에 있어서, 상기 복수의 추론 코드들을 생성하는 것은 적어도,
상기 복수의 트레이닝 이미지들로부터 상기 적어도 하나의 결함의 이미지를 포함하는 제1 클래스의 트레이닝 이미지들을 식별하는 것; 및
상기 복수의 트레이닝 이미지들로부터 상기 적어도 하나의 결함의 이미지를 포함하지 않는 제2 클래스의 트레이닝 이미지들을 식별하는 것에 의해 상기 이진 판별기 코드를 생성하는 것을 포함하고,
상기 트레이닝 코드는 상기 제1 및 제2 클래스의 트레이닝 이미지들을 입력으로서 수신하고 상기 이진 판별기 코드를 출력으로서 생성하도록 구성되는, 시스템. - 명령어들을 저장한 비일시적 기계 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 명령어들은, 적어도 하나의 물리적 코어 및 복수의 논리 코어들을 포함하는 적어도 하나의 프로그래밍가능 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로그래밍가능 프로세서로 하여금,
복수의 트레이닝 이미지들 및 타깃 객체의 검사로부터 획득된 상기 타깃 객체의 이미지를 수신하는 것;
하나 이상의 트레이닝 코드들에 의해, 복수의 추론 코드들을 생성하는 것 - 상기 하나 이상의 트레이닝 코드들은 상기 복수의 트레이닝 이미지들을 입력으로서 수신하고 상기 복수의 추론 코드들을 출력하도록 구성되고, 상기 하나 이상의 트레이닝 코드들 및 상기 복수의 추론 코드들은 컴퓨터 실행가능 명령어들을 포함함 -;
상기 수신된 복수의 트레이닝 이미지들의 적어도 일부분의 하나 이상의 특성들 및/또는 사용자 입력에 기초하여 상기 복수의 추론 코드들로부터 하나 이상의 추론 코드들을 선택하는 것; 및
상기 복수의 추론 코드들 중 상기 하나 이상의 추론 코드들을 사용하여 상기 수신된 이미지를 검사하는 것을 포함하는 동작들을 수행하게 하는, 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/123,928 | 2020-12-16 | ||
| US17/123,928 US20220189005A1 (en) | 2020-12-16 | 2020-12-16 | Automatic inspection using artificial intelligence models |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220086505A true KR20220086505A (ko) | 2022-06-23 |
Family
ID=78821339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210179222A KR20220086505A (ko) | 2020-12-16 | 2021-12-15 | 인공 지능 모델들을 사용한 자동 검사 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220189005A1 (ko) |
| EP (1) | EP4016388A1 (ko) |
| KR (1) | KR20220086505A (ko) |
| CN (1) | CN114648484A (ko) |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4334183B2 (ja) * | 2002-06-28 | 2009-09-30 | 株式会社東芝 | マスクの欠陥修正方法、マスクの欠陥修正装置、および半導体装置の製造方法 |
| US10726244B2 (en) * | 2016-12-07 | 2020-07-28 | Samsung Electronics Co., Ltd. | Method and apparatus detecting a target |
| JP6936957B2 (ja) * | 2017-11-07 | 2021-09-22 | オムロン株式会社 | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム |
| US10891762B2 (en) * | 2017-11-20 | 2021-01-12 | ClariPI Inc. | Apparatus and method for medical image denoising based on deep learning |
| CN108280811B (zh) * | 2018-01-23 | 2021-07-06 | 哈尔滨工业大学深圳研究生院 | 一种基于神经网络的图像去噪方法和系统 |
| US10383694B1 (en) * | 2018-09-12 | 2019-08-20 | Johnson & Johnson Innovation—Jjdc, Inc. | Machine-learning-based visual-haptic feedback system for robotic surgical platforms |
| WO2020219915A1 (en) * | 2019-04-24 | 2020-10-29 | University Of Virginia Patent Foundation | Denoising magnetic resonance images using unsupervised deep convolutional neural networks |
| JP7342491B2 (ja) * | 2019-07-25 | 2023-09-12 | オムロン株式会社 | 推論装置、推論方法、及び推論プログラム |
| EP3786855A1 (en) * | 2019-08-30 | 2021-03-03 | Accenture Global Solutions Limited | Automated data processing and machine learning model generation |
| CN111024708B (zh) * | 2019-09-06 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 产品缺陷检测数据处理方法、装置、系统和设备 |
| KR20190110965A (ko) * | 2019-09-11 | 2019-10-01 | 엘지전자 주식회사 | 이미지 해상도를 향상시키기 위한 방법 및 장치 |
| EP4080406A4 (en) * | 2019-12-20 | 2022-12-28 | BOE Technology Group Co., Ltd. | SYSTEM AND METHOD FOR DISTRIBUTED PRODUCT DEFECT ANALYSIS AND COMPUTER READABLE STORAGE MEDIA |
| US11188792B2 (en) * | 2020-01-07 | 2021-11-30 | International Business Machines Corporation | Defect detection using multiple models |
| US11301705B2 (en) * | 2020-02-27 | 2022-04-12 | Western Digital Technologies, Inc. | Object detection using multiple neural network configurations |
| US11507774B2 (en) * | 2020-04-17 | 2022-11-22 | Hon Hai Precision Industry Co., Ltd. | Device and method for selecting a deep learning network for processing images |
| US11150200B1 (en) * | 2020-06-15 | 2021-10-19 | Mitutoyo Corporation | Workpiece inspection and defect detection system indicating number of defect images for training |
| EP3971556A1 (en) * | 2020-09-17 | 2022-03-23 | Evonik Operations GmbH | Qualitative or quantitative characterization of a coating surface |
-
2020
- 2020-12-16 US US17/123,928 patent/US20220189005A1/en active Pending
-
2021
- 2021-12-08 EP EP21213189.0A patent/EP4016388A1/en active Pending
- 2021-12-15 KR KR1020210179222A patent/KR20220086505A/ko unknown
- 2021-12-16 CN CN202111540690.6A patent/CN114648484A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4016388A1 (en) | 2022-06-22 |
| CN114648484A (zh) | 2022-06-21 |
| US20220189005A1 (en) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6905954B2 (ja) | 自動欠陥分類のための未知欠陥除去の最適化 | |
| Sajedi et al. | Uncertainty‐assisted deep vision structural health monitoring | |
| Westphal et al. | A machine learning method for defect detection and visualization in selective laser sintering based on convolutional neural networks | |
| KR102137184B1 (ko) | 자동 및 수동 결함 분류의 통합 | |
| US10818000B2 (en) | Iterative defect filtering process | |
| KR20220014805A (ko) | 반도체 시편의 검사에 사용가능한 훈련 데이터의 생성 | |
| JP2021177541A (ja) | 試料の検査のためのアルゴリズムモジュールの自動選択 | |
| Tang et al. | Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder | |
| US20190188574A1 (en) | Ground truth generation framework for determination of algorithm accuracy at scale | |
| CN117030129A (zh) | 纸杯在线检漏方法及其系统 | |
| CN115661160A (zh) | 一种面板缺陷检测方法及系统及装置及介质 | |
| CN112184717A (zh) | 用于质检的自动化分割方法 | |
| EP3696771A1 (en) | System for processing an input instance, method, and medium | |
| US20220189005A1 (en) | Automatic inspection using artificial intelligence models | |
| Chen et al. | Surface defect detection of industrial components based on vision | |
| US11639906B2 (en) | Method and system for virtually executing an operation of an energy dispersive X-ray spectrometry (EDS) system in real-time production line | |
| Kirthiga et al. | A survey on crack detection in concrete surface using image processing and machine learning | |
| US11693921B2 (en) | Data preparation for artificial intelligence models | |
| EP4323961A1 (en) | Computer vision influencing for non-destructive testing | |
| US20240193758A1 (en) | Apparatus and method with image generation | |
| Vidyabharathi et al. | Enhancing crack detection with convolutional neural networks and oriented non-maximal suppression | |
| US20240071051A1 (en) | Automated Selection And Model Training For Charged Particle Microscope Imaging | |
| WO2023166776A1 (ja) | 外観分析システム、外観分析方法、及びプログラム | |
| WO2022202456A1 (ja) | 外観検査方法および外観検査システム | |
| Kučera et al. | Using Entropy for Welds Segmentation and Evaluation |