KR102369293B1 - 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 - Google Patents
듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 Download PDFInfo
- Publication number
- KR102369293B1 KR102369293B1 KR1020200082914A KR20200082914A KR102369293B1 KR 102369293 B1 KR102369293 B1 KR 102369293B1 KR 1020200082914 A KR1020200082914 A KR 1020200082914A KR 20200082914 A KR20200082914 A KR 20200082914A KR 102369293 B1 KR102369293 B1 KR 102369293B1
- Authority
- KR
- South Korea
- Prior art keywords
- internal defect
- product
- defect
- information
- product structure
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 듀얼 딥러닝을 이용하여 다양한 제품의 구조와 결함을 동시에 검출할 수 있게 하는 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법에 관한 것으로서, CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 내부 결함 검출 모듈; CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 제품 구조 검출 모듈; 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 거리 산출부; 및 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단하는 결함 판단부;를 포함할 수 있다.
Description
본 발명은 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법에 관한 것으로서, 보다 상세하게는 듀얼 딥러닝을 이용하여 다양한 제품의 구조와 결함을 동시에 검출할 수 있게 하는 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법에 관한 것이다.
최근 스마트 팩토리 구현을 위한 다양한 기술들이 집중적으로 연구되고 있다. 예컨대, 스마트 팩토리 구현을 위해서는 원료량, 원료 품질, 제조 공정 데이터(온도, 습도 등), 설비 운전 조건 등의 다양한 공정 데이터가 필요하고, 그 결과로 나타나는 제품의 품질 데이터가 데이터베이스화 되어야 한다. 즉, 공장의 인풋(input)과 아웃풋(output) 간의 상관 관계를 분석하여 품질을 예측하고, 대량 결함 발생을 사전에 방지하며, 설비 고장을 사전에 예측하여 선제적으로 대응할 수 있어야 한다.
이러한, 스마트 팩토리 구현을 위해 제품의 결함을 실시간 검사하고 제품 품질을 판정하는 결함 검사 시스템은 핵심 기술 중 하나이다.
결함 검사는 제품의 표면 결함을 검사하기 위한 비젼 시스템, 제품의 내부 결함을 검사하기 위한 초음파 검사 시스템, 전산화된 단층 촬영(CT, Computed Tomography)을 이용한 비파괴 검사 시스템 등이 있다.
이러한 검사 시스템은 센서의 종류가 CCD, X-ray, 초음파 센서 등으로 나눌 수 있으나, 이들로부터 센싱된 데이터를 처리하는 모듈은 전체적으로 동일할 수 있다. 즉, 센싱 시스템, 데이터 처리, 그리고 마지막으로 제품의 로우 데이터(raw data)와 검사 결과를 저장하는 데이터베이스 등으로 구성될 수 있다.
특히, 영상에서 결함의 위치와 종류를 판단하는 인식 모듈이 결함 검사 성능에 영향을 미치는 주요 요소일 수 있다. 종래에는 정상과 결함을 판단하기 위해, 개발자의 경험적 판단으로 규칙에 따라 정해진 일을 수행하는 룰베이스(rule-base) 방법에 의존하여 특징의 주요 인자를 추출하는 알고리즘 개발 방법으로 검사 시스템이 개발되었지만, 이러한 종래의 방법은 개발 기간이 길어지고, 제품과 결함에 따라 매번 주요 인자 추출 알고리즘을 개발해야하는 단점과 그에 따른 인식 성능 저하가 나타나는 등 많은 문제점들이 있었다. 따라서 최근에는 결함 검출 및 분류를 위한 특징 추출을 스스로 할 수 있는 딥러닝 기술을 이용하여 인식 알고리즘을 개발하는 추세이다.
한편, 표면 결함을 검사하는 비젼(vision) 시스템은 2D의 영상을 이용하여 결함을 검사한다. 하지만 내부 결함검사를 위한 전산화된 단층 촬영(CT)는 2D의 영상이 연속적인 층을 이루고 있는 3D 데이터들이기 때문에 1 프레임(frame)의 2D 데이터뿐만 아니라, 2D 데이터의 연속적인 형태인 3D정보를 이용하여 결함 검사를 할 수 있었다.
그러나, 이러한 종래의 딥러닝을 이용한 검사 시스템은, 표면 결함을 검사하는 비젼 시스템이나 단층 촬영 시스템은 제품의 내외부 구조에 대한 검사와 제품의 내부 결함에 대한 검사가 서로 각각 별개로 이루어지는 것으로서, 동시에 이루어지는 데이터들 간의 연계가 불가능하기 때문에, 예컨대, 제품의 주요 부분과 결함 간의 거리 측정 기능 등을 구현할 수 없었고, 이로 인하여 제품의 주요 부분에서 발생되는 결함을 정확하게 판별할 수 없었던 문제점들이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 듀얼 딥러닝을 이용하여 다양한 제품의 구조와 결함을 동시에 검출할 수 있고, 동시 또는 전체적으로 유사 시간대에 발생된 데이터들을 이용하여 제품의 구조(주요 부분)와 내부 결함과의 거리나 위치나 형태 등 구조와 결함을 연계하여 판별할 수 있어서 보다 정밀하고 정확하게 결함을 판별할 수 있고, 연속적인 2D 데이터를 3D 데이터화하여 고속 처리할 수 있으며, 이를 통해서 다양한 제조업 제품의 품질 진단, 결함 검사, 스마트 팩토리 운영 분야에 널리 적용할 수 있게 하는 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
상기 과제를 해결하기 위한 본 발명의 사상에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템은, CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 내부 결함 검출 모듈; CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 제품 구조 검출 모듈; 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 거리 산출부; 및 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단하는 결함 판단부;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 내부 결함 영상 또는 상기 제품 구조 영상은, 전산화된 단층 촬영(CT, Computed Tomography) 영상이고, 상기 내부 결함 정보 또는 상기 제품 구조 정보는, 적어도 n층의 2차원 영상이 머지된 3차원적인 머지 영상일 수 있다.
또한, 본 발명에 따르면, 상기 머지 영상은, 적어도 X축 방향 단층 영상, Y축 방향 단층 영상, Z축 방향 단층 영상 및 이들의 조합들 중 어느 하나 이상을 포함할 수 있다.
또한, 본 발명에 따르면, 상기 내부 결함 검출 모듈은, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 내부 결함 특징맵을 추출하는 내부 결함 특징 추출부; 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 내부 결함 특징맵을 내부 결함 복원 영상으로 복원하는 내부 결함 복원부; 및 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 내부 결함 머지 및 3차원 복원부;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제품 구조 검출 모듈은, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 제품 구조 특징맵을 추출하는 제품 구조 특징 추출부; 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 제품 구조 특징맵을 제품 구조 복원 영상으로 복원하는 제품 구조 복원부; 및 복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 제품 구조 머지 및 3차원 복원부;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제품 구조 검출 모듈은, 학습 데이터(GTD, Ground Truth Data) 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 관심 영역 설정부;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 내부 결함 검출 모듈에서 검출된 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우 정상으로 판별하여 필터링하는 사이즈 필터링부;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 결함 판단부는, 상기 거리 산출부에서 산출된 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 거리 필터링부; 및 상기 거리 필터링부에서 비정상으로 판별된 결함 정보를 출력하는 결함 검출부;를 포함할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 사상에 따른 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법은, (a) CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 단계; (b) CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 단계; (c) 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 단계; 및 (d) 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (a) 단계는, (a-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 내부 결함 특징맵을 추출하는 단계; (a-2) 적어도 디컨볼루션, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 내부 결함 특징맵을 내부 결함 복원 영상으로 복원하는 단계; 및 (a-3) 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (b) 단계는, (b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 제품 구조 특징맵을 추출하는 단계; (b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 제품 구조 특징맵을 제품 구조 복원 영상으로 복원하는 단계; 및 (b-3) 복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (b) 단계는, 상기 (b-1) 이전에, (b-4) 학습 데이터(GTD, Ground Truth Data) 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (c) 단계 이전에, (e) 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우, 정상으로 판별하여 필터링하는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (d) 단계는, (d-1) 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 단계; 및 (d-2) 비정상으로 판별된 결함 정보를 출력하는 단계;를 포함할 수 있다.
상기한 바와 같이 이루어진 본 발명의 여러 실시예들에 따르면, 듀얼 딥러닝을 이용하여 다양한 제품의 구조와 결함을 동시에 검출할 수 있고, 동시 또는 전체적으로 유사 시간대에 발생된 데이터들을 이용하여 제품의 구조(주요 부분)와 내부 결함과의 거리나 위치나 형태 등 구조와 결함을 연계하여 판별할 수 있어서 보다 정밀하고 정확하게 결함을 판별할 수 있고, 연속적인 2D 데이터를 3D 데이터화하여 고속 처리할 수 있으며, 이를 통해서 다양한 제조업 제품의 품질 진단, 결함 검사, 스마트 팩토리 운영 분야에 널리 적용할 수 있는 효과를 갖는 것이다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템을 개념적으로 나타내는 블록도이다.
도 2는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 내부 결함 검출 모듈의 특징맵 처리 과정을 나타내는 블록도이다.
도 3은 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 제품 구조 검출 모듈의 특징맵 처리 과정을 나타내는 블록도이다.
도 4는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템에서 머지된 3차원적인 머지 영상을 나타내는 개념도이다.
도 5는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 관심 영역 설정부에서 설정된 ROI 마킹의 일례들을 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
도 2는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 내부 결함 검출 모듈의 특징맵 처리 과정을 나타내는 블록도이다.
도 3은 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 제품 구조 검출 모듈의 특징맵 처리 과정을 나타내는 블록도이다.
도 4는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템에서 머지된 3차원적인 머지 영상을 나타내는 개념도이다.
도 5는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템의 관심 영역 설정부에서 설정된 ROI 마킹의 일례들을 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)을 개념적으로 나타내는 블록도이다.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)은, 크게 내부 결함 검출 모듈(Defect detection module)(10)과, 제품 구조 검출 모듈(Structure detection module)(20)과, 거리 산출부(30) 및 결함 판단부(40)를 포함할 수 있다.
예컨대, 도 1에 도시된 바와 같이, 상기 내부 결함 검출 모듈(10)은, CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 모듈로서, 예를 들면, 상기 내부 결함 검출 모듈(10)은 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
예를 들면, 기계 학습 모드에서는 상기 내부 결함 검출 모듈(10)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 내부 결함 검출 모듈(10)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
도 2는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)의 내부 결함 검출 모듈(10)의 특징맵 처리 과정을 나타내는 블록도이다.
더욱 구체적으로 예를 들면, 도 1 및 도 2에 도시된 바와 같이, 상기 내부 결함 검출 모듈(10)은, 적어도 컨볼루션 레이어(Convolution layer)(11-1), 풀링 레이어(Pooling layer)(11-2), 활성화 함수(activation function)(11-3) 및 이들의 조합들 중 어느 하나 이상을 포함하여 내부 결함 특징맵(Feature map)을 추출하는 내부 결함 특징 추출부(Feature extraction)(11)와, 적어도 디컨볼루션 레이어(Deconvolution layer)(12-1), 언풀링 레이어(Unpooling layer)(12-2), 활성화 함수(12-3) 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 내부 결함 특징맵을 내부 결함 복원 영상(2)으로 복원하는 내부 결함 복원부(Reconstruction)(12) 및 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 내부 결함 머지 및 3차원 복원부(Merge & 3D reconstruction)(13)를 포함할 수 있다.
예를 들면, 도 1에 도시된 바와 같이, 상기 내부 결함 특징 추출부(11)의 상기 컨볼루션 레이어(11-1)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(11-3), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(11-3)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(11-3)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 내부 결함 특징 추출부(11)의 CNN은 복수의 컨볼루션 레이어(11-1) 및 풀링 레이어(11-2)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 상기 내부 결함 복원부(12)의 상기 디컨볼루션 레이어(12-1)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(12-3), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(12-3)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(12-3)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 내부 결함 복원부(12)의 CNN은 복수의 디컨볼루션 레이어(12-1) 및 언풀링 레이어(12-2)를 반복적으로 통과시켜 연산을 수행할 수 있다.
따라서, 상기 내부 결함 머지 및 3차원 복원부(13)는, 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원할 수 있다.
도 3은 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)의 제품 구조 검출 모듈(20)의 특징맵 처리 과정을 나타내는 블록도이다.
한편, 예컨대, 도 1 및 도 3에 도시된 바와 같이, 상기 제품 구조 검출 모듈(20)은, CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 모듈로서, 예를 들면, 상기 제품 구조 검출 모듈(20) 역시, 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
예를 들면, 기계 학습 모드에서는 상기 제품 구조 검출 모듈(20)이 학습 데이터를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 제품 구조 검출 모듈(20)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
더욱 구체적으로 예를 들면, 도 1에 도시된 바와 같이, 상기 제품 구조 검출 모듈(20)은, 학습 데이터 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 관심 영역 설정부(24)와, 적어도 컨볼루션 레이어(21-1), 풀링 레이어(21-2), 활성화 함수(21-3) 및 이들의 조합들 중 어느 하나 이상을 포함하여 제품 구조 특징맵을 추출하는 제품 구조 특징 추출부(21)와, 적어도 디컨볼루션 레이어(22-1), 언풀링 레이어(22-2), 활성화 함수(22-3) 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 제품 구조 특징맵을 제품 구조 복원 영상(4)으로 복원하는 제품 구조 복원부(22) 및 복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 제품 구조 머지 및 3차원 복원부(23)를 포함할 수 있다.
예를 들면, 도 1에 도시된 바와 같이, 상기 제품 구조 특징 추출부(21)의 상기 컨볼루션 레이어(21-1)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(21-3), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(21-3)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(21-3)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 제품 구조 특징 추출부(21)의 CNN은 복수의 컨볼루션 레이어(21-1) 및 풀링 레이어(21-2)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 상기 제품 구조 복원부(22)의 상기 디컨볼루션 레이어(22-1)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(22-3), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어(22-1)를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(22-3)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(22-3)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 제품 구조 복원부(22)의 CNN은 복수의 디컨볼루션 레이어(22-1) 및 언풀링 레이어(22-2)를 반복적으로 통과시켜 연산을 수행할 수 있다.
따라서, 상기 제품 구조 머지 및 3차원 복원부(23)는, 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원할 수 있다.
여기서, 도 2 및 도 3에 도시된 바와 같이, 상기 내부 결함 영상 또는 상기 제품 구조 영상은 전산화된 단층 촬영(CT, Computed Tomography) 영상(1)(3)일 수 있다. 그러나, 이러한 상기 내부 결함 영상 또는 상기 제품 구조 영상 전산화된 단층 촬영 영상에만 반드시 국한되지 않고, CCD 카메라 영상, X-ray 영상, 초음파 영상 등 매우 다양한 영상이 적용될 수 있다.
예컨대, 각 모듈(10)(20)에서 처리되는 내부 결함을 위한 CT 데이터는 2D 영상이 연속적으로 이루어져있는 3D 데이터일 수 있다. 따라서 2D 영상 내에서 정보만으로 결함을 찾는 것보다는 연속적인 2D 정보를 활용할 수 있다.
도 4는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)에서 머지된 3차원적인 머지 영상(5)(6)을 나타내는 개념도이다.
도 4의 (a)에 도시된 바와 같이, 상기 내부 결함 정보는 적어도 n층의 2차원 영상이 머지된 3차원적인 머지 영상(2)일 수 있고, 도 4의 (b)에 도시된 바와 같이, 상기 제품 구조 정보는, 적어도 n층의 2차원 영상이 머지된 3차원적인 머지 영상(5)(6)일 수 있다.
예컨대, 연속적인 영상을 입력으로 하고, 상술된 딥러닝 모델은 그 중에 한 영상에 대한 Labeled 영상(Ground truth data)을 출력할 수 있다. 즉, 예컨대, 입력 영상은 X(n-1), X(n), X(n+1)과 같이 원하는 출력에 해당되는 영상을 중간에 두고 앞과 뒤로 영상을 붙일 수도 있고, X(n), x(n+1),x(n+2),,,, 등과 같이 원하는 출력에 해당되는 영상이 처음 영상에 해당되도록 구성할 수도 있다.
여기서, 도 4에 도시된 바와 같이, 상기 머지 영상(5)(6)은, 적어도 X축 방향 단층 영상, Y축 방향 단층 영상, Z축 방향 단층 영상 및 이들의 조합들 중 어느 하나 이상을 포함할 수 있다.
도 5는 도 1의 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)의 관심 영역 설정부(24)에서 설정된 ROI 마킹의 일례들을 나타내는 개념도이다.
도 5에 도시된 바와 같이, 상술된 관심 영역 설정부(24)에서 설정된 ROI 마킹 기능의 일례로서, 도 5의 (a)에 도시된 바와 같이, 중요도에 따라서, 예컨대, "0"은 배경, "1"은 일반 제품 구조, 도 5의 (b)에 도시된 바와 같이, 예컨대, "0"은 배경, "1"은 일반 제품 구조, "2(가운데 회색)"는 중요 부분 1단계, 이외에 "3"은 중요 부분 2단계 등과 같이 마킹할 수 있다.
한편, 예컨대, 도 1에 도시된 바와 같이, 상기 거리 산출부(30)는, 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출할 수 있다.
또한, 예컨대, 도 1에 도시된 바와 같이, 상기 결함 판단부(40)는, 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단할 수 있다.
더욱 구체적으로 예를 들면, 상기 결함 판단부(40)는, 상기 거리 산출부(30)에서 산출된 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 거리 필터링부(41) 및 상기 거리 필터링부(41)에서 비정상으로 판별된 결함 정보를 출력하는 결함 검출부(42)를 포함할 수 있다.
여기서, 도 1에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)은, 상기 내부 결함 검출 모듈(10)에서 검출된 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우 정상으로 판별하여 필터링하는 사이즈 필터링부(50)를 더 포함할 수 있다.
따라서, 도 1 내지 도 5에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템(100)의 작동 과저을 설명하면, CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하고, CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하며, 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하고, 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단할 수 있다.
그러므로, 듀얼 딥러닝을 이용하여 다양한 제품의 구조와 결함을 동시에 검출할 수 있고, 제품의 구조(주요 부분)와 발생된 내부 결함과의 거리나 위치나 형태 등 구조와 결함을 연계하여 판별할 수 있어서 보다 정밀하고 정확하게 결함을 판별할 수 있고, 연속적인 2D 데이터를 3D 데이터화하여 고속 처리할 수 있으며, 이를 통해서 다양한 제조업 제품의 품질 진단, 결함 검사, 스마트 팩토리 운영 분야에 널리 적용할 수 있다.
도 6은 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
도 6에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법은, (a) CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 단계와, (b) CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 단계와, (c) 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 단계 및 (d) 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단하는 단계를 포함할 수 있다.
도 7은 본 발명의 일부 다른 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법을 나타내는 순서도이다.
도 6에 도시된 바와 같이, 본 발명의 일부 다른 실시예들에 따른 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 방법은,
(a) CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 단계와, (b) CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 단계와, (e) 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우, 정상으로 판별하여 필터링하는 단계와, (c) 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 단계 및 (d) 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여 결함 여부를 판단하는 단계를 포함할 수 있다.
더욱 구체적으로 예를 들면, 상기 (a) 단계는, (a-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 내부 결함 특징맵을 추출하는 단계와, (a-2) 적어도 디컨볼루션, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 내부 결함 특징맵을 내부 결함 복원 영상으로 복원하는 단계 및 (a-3) 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 단계를 포함할 수 있다.
또한, 예를 들면, 상기 (b) 단계는, (b-4) 학습 데이터(GTD, Ground Truth Data) 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 단계와, (b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 제품 구조 특징맵을 추출하는 단계와, (b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 제품 구조 특징맵을 제품 구조 복원 영상으로 복원하는 단계 및 (b-3) 복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 단계를 포함할 수 있다.
또한, 예컨대, 상기 (d) 단계는, (d-1) 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 단계 및 (d-2) 비정상으로 판별된 결함 정보를 출력하는 단계를 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 내부 결함 검출 모듈
11: 내부 결함 특징 추출부
11-1: 컨볼루션 레이어
11-2: 풀링 레이어
11-3: 활성화 함수
12: 내부 결함 복원부
12-1: 디컨볼루션 레이어
12-2: 언풀링 레이어
12-3: 활성화 함수
13: 내부 결함 머지 및 3차원 복원부
20: 제품 구조 검출 모듈
21: 제품 구조 특징 추출부
21-1: 컨볼루션 레이어
21-2: 풀링 레이어
21-3: 활성화 함수
22: 제품 구조 복원부
22-1: 디컨볼루션 레이어
22-2: 언풀링 레이어
22-3: 활성화 함수
23: 제품 구조 머지 및 3차원 복원부
24: 관심 영역 설정부
30: 거리 산출부
40: 결함 판단부
41: 거리 필터링부
42: 결함 검출부
50: 사이즈 필터링부
100: 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템
11: 내부 결함 특징 추출부
11-1: 컨볼루션 레이어
11-2: 풀링 레이어
11-3: 활성화 함수
12: 내부 결함 복원부
12-1: 디컨볼루션 레이어
12-2: 언풀링 레이어
12-3: 활성화 함수
13: 내부 결함 머지 및 3차원 복원부
20: 제품 구조 검출 모듈
21: 제품 구조 특징 추출부
21-1: 컨볼루션 레이어
21-2: 풀링 레이어
21-3: 활성화 함수
22: 제품 구조 복원부
22-1: 디컨볼루션 레이어
22-2: 언풀링 레이어
22-3: 활성화 함수
23: 제품 구조 머지 및 3차원 복원부
24: 관심 영역 설정부
30: 거리 산출부
40: 결함 판단부
41: 거리 필터링부
42: 결함 검출부
50: 사이즈 필터링부
100: 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템
Claims (14)
- CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 내부 결함 검출 모듈;
CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 제품 구조 검출 모듈;
상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 거리 산출부; 및
상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여, 상기 거리 정보 또는 상기 위치 정보가 상기 기준치 이하에 해당할 경우에는 정상으로 판별하고, 상기 기준치 이하에 해당되지 않을 경우에는 비정상으로 판별하는 결함 판단부;
를 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 1 항에 있어서,
상기 내부 결함 영상 또는 상기 제품 구조 영상은, 전산화된 단층 촬영(CT, Computed Tomography) 영상이고,
상기 내부 결함 정보 또는 상기 제품 구조 정보는, 적어도 n층의 2차원 영상이 머지된 3차원적인 머지 영상인, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 2 항에 있어서,
상기 머지 영상은, 적어도 X축 방향 단층 영상, Y축 방향 단층 영상, Z축 방향 단층 영상 및 이들의 조합들 중 어느 하나 이상을 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 2 항에 있어서,
상기 내부 결함 검출 모듈은,
적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 내부 결함 특징맵을 추출하는 내부 결함 특징 추출부;
적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 내부 결함 특징맵을 내부 결함 복원 영상으로 복원하는 내부 결함 복원부; 및
복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 내부 결함 머지 및 3차원 복원부;
를 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 3 항에 있어서,
상기 제품 구조 검출 모듈은,
적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 제품 구조 특징맵을 추출하는 제품 구조 특징 추출부;
적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 제품 구조 특징맵을 제품 구조 복원 영상으로 복원하는 제품 구조 복원부; 및
복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 제품 구조 머지 및 3차원 복원부;
를 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 5 항에 있어서,
상기 제품 구조 검출 모듈은,
학습 데이터(GTD, Ground Truth Data) 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 관심 영역 설정부;
를 더 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 1 항에 있어서,
상기 내부 결함 검출 모듈에서 검출된 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우 정상으로 판별하여 필터링하는 사이즈 필터링부;
를 더 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - 제 1 항에 있어서,
상기 결함 판단부는,
상기 거리 산출부에서 산출된 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 거리 필터링부; 및
상기 거리 필터링부에서 비정상으로 판별된 결함 정보를 출력하는 결함 검출부;
를 포함하는, 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템. - (a) CNN(convolutional neural network) 모델을 기반으로 제품의 내부 결함을 나타내는 내부 결함 영상에서 내부 결함 정보를 검출하는 단계;
(b) CNN 모델을 기반으로 상기 제품의 구조를 나타내는 제품 구조 영상에서 제품 구조 정보를 검출하는 단계;
(c) 상기 내부 결함 정보와 상기 제품 구조 정보를 이용하여 상기 제품의 주요 부분과 내부 결함과의 거리 정보 또는 상기 내부 결함의 위치 정보를 산출하는 단계; 및
(d) 상기 거리 정보 또는 상기 위치 정보와 기준치를 비교하여, 상기 거리 정보 또는 상기 위치 정보가 상기 기준치 이하에 해당할 경우에는 정상으로 판별하고, 상기 기준치 이하에 해당되지 않을 경우에는 비정상으로 판별하는 단계;
를 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법. - 제 9 항에 있어서,
상기 (a) 단계는,
(a-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 내부 결함 특징맵을 추출하는 단계;
(a-2) 적어도 디컨볼루션, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 내부 결함 특징맵을 내부 결함 복원 영상으로 복원하는 단계; 및
(a-3) 복수개의 2차원적인 상기 내부 결함 복원 영상들을 머지(merge)하여 3차원적인 내부 결함 머지 영상으로 복원하는 단계;
를 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법. - 제 10 항에 있어서,
상기 (b) 단계는,
(b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 제품 구조 특징맵을 추출하는 단계;
(b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 제품 구조 특징맵을 제품 구조 복원 영상으로 복원하는 단계; 및
(b-3) 복수개의 2차원적인 상기 제품 구조 복원 영상들을 머지(merge)하여 3차원적인 제품 구조 머지 영상으로 복원하는 단계;
를 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법. - 제 11 항에 있어서,
상기 (b) 단계는,
상기 (b-1) 이전에,
(b-4) 학습 데이터(GTD, Ground Truth Data) 생성시, 제품의 주요 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 단계;
를 더 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법. - 제 9 항에 있어서,
상기 (c) 단계 이전에,
(e) 상기 내부 결함 정보의 결함 크기가 기준치 이하일 경우, 정상으로 판별하여 필터링하는 단계;
를 더 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법. - 제 9 항에 있어서,
상기 (d) 단계는,
(d-1) 상기 거리 정보의 결함 거리가 기준치 이하일 경우 정상으로 판별하여 필터링하는 단계; 및
(d-2) 비정상으로 판별된 결함 정보를 출력하는 단계;
를 포함하는, 듀얼 딥러닝 모듈을 이용한 제품 결함 검사 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082914A KR102369293B1 (ko) | 2020-07-06 | 2020-07-06 | 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082914A KR102369293B1 (ko) | 2020-07-06 | 2020-07-06 | 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220005275A KR20220005275A (ko) | 2022-01-13 |
| KR102369293B1 true KR102369293B1 (ko) | 2022-03-03 |
Family
ID=79342061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200082914A KR102369293B1 (ko) | 2020-07-06 | 2020-07-06 | 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102369293B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101863196B1 (ko) | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102070828B1 (ko) * | 2017-11-01 | 2020-01-30 | 한국생산기술연구원 | 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법 |
| KR102058427B1 (ko) * | 2017-12-21 | 2019-12-23 | 동우 화인켐 주식회사 | 검사 장치 및 방법 |
| KR102245693B1 (ko) * | 2018-09-18 | 2021-04-29 | 서울대학교산학협력단 | 3차원 영상 재구성 장치 및 그 방법 |
-
2020
- 2020-07-06 KR KR1020200082914A patent/KR102369293B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101863196B1 (ko) | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220005275A (ko) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866891B (zh) | 图像识别装置、图像识别方法及存储介质 | |
| Lee et al. | Anovit: Unsupervised anomaly detection and localization with vision transformer-based encoder-decoder | |
| US20190339165A1 (en) | System and method for fan blade rotor disk and gear inspection | |
| CN114066811B (zh) | 一种工业产品异常检测方法、系统、装置及存储介质 | |
| CN112102281B (zh) | 基于改进Faster Rcnn的货车制动缸故障检测方法 | |
| KR101992970B1 (ko) | 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 | |
| Islam et al. | Capsule image segmentation in pharmaceutical applications using edge-based techniques | |
| Kähler et al. | Anomaly detection for industrial surface inspection: Application in maintenance of aircraft components | |
| KR102437115B1 (ko) | 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법 | |
| Özsoy et al. | Real-time data analysis with artificial intelligence in parts manufactured by FDM printer using image processing method | |
| KR102369293B1 (ko) | 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법 | |
| Carrasco et al. | Visual inspection of glass bottlenecks by multiple-view analysis | |
| CN114529543B (zh) | 一种航空发动机外周螺钉垫片的安装检测方法及装置 | |
| CN116380466A (zh) | 基于增强事件视觉数据的滚动轴承智能故障诊断方法及系统 | |
| Tao et al. | Anomaly detection for fabricated artifact by using unstructured 3D point cloud data | |
| CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| CN112686843B (zh) | 一种基于神经网络的木板缺陷检测方法及系统 | |
| Wang et al. | A Hybrid Deep Learning-Based Framework for Chip Packaging Fault Diagnostics in X-Ray Images | |
| CN110349133B (zh) | 物体表面缺陷检测方法、装置 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| JP7424572B1 (ja) | モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル | |
| CN110880182A (zh) | 图像分割模型训练方法、图像分割方法、装置及电子设备 | |
| Kim et al. | CECvT: Initial Diagnosis of Anomalies in Thermal Images | |
| Zhang et al. | Research on bolt contour extraction and counting of locomotive running gear based on deep learning | |
| Moroni et al. | An experimental study on segmentation in X-Ray Computed Tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |