KR20240030441A

KR20240030441A - Apparatus and method for detecting defects in a welding part based on a learning model

Info

Publication number: KR20240030441A
Application number: KR1020220109482A
Authority: KR
Inventors: 백종환; 이재열; 홍성호; 함제훈; 서갑호
Original assignee: 한국로봇융합연구원
Priority date: 2022-08-30
Filing date: 2022-08-30
Publication date: 2024-03-07

Abstract

결함을 검출하기 위한 장치는 결함이 발생한 영역 및 결함의 종류가 알려지지 않은 시험체에 방사선을 조사하여 방사선 영상을 촬영하는 방사선촬영부와, 상기 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하는 영상처리부와, 학습이 완료된 학습 모델인 검출모델을 통해 상기 검사 영상을 분석하여 겸함이 발생한 영역 및 결함의 종류를 검출하는 검사부를 포함한다. The device for detecting defects includes a radiography unit that takes radiation images by irradiating radiation to a test specimen for which the area where the defect occurred and the type of defect are unknown, and an image processing unit that extracts a weld from the radiation image and generates an inspection image. , and an inspection unit that analyzes the inspection image through a detection model, which is a fully learned learning model, and detects the area where defects have occurred and the type of defect.

Description

Apparatus and method for detecting defects in a welding part based on a learning model}

본 발명은 결함을 검출하기 위한 기술에 관한 것으로, 보다 상세하게는 학습 모델을 기초로 용접부의 결함을 검출하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a technology for detecting defects, and more specifically, to an apparatus and method for detecting defects in a weld based on a learning model.

방사선투과검사(Radiography : RT)는 방사선을 시험체에 조사하였을 때 투과된 방사선의 강도의 변화의 차이에 의한 필름상의 농도 차이를 이용하여 결함을 검출하는 비파괴검사 기법이다. Radiography (RT) is a non-destructive testing technique that detects defects using the difference in concentration on the film due to the difference in the intensity of the transmitted radiation when radiation is irradiated to the test object.

하지만, 이러한 방사선투과검사는 그 판독을 위해 작업자가 눈으로 직접 방사선 영상을 보면서 판독 작업이 이루어지기 때문에, 작업자의 경험 및 역량에만 의존해야 한다는 문제가 있다. However, this type of radiography has the problem of having to rely only on the operator's experience and capabilities because the reading is performed while the operator directly sees the radiographic image with his or her eyes.

한국공개특허 제2018-0040939호 (2018년04월23일 공개)Korean Patent Publication No. 2018-0040939 (published on April 23, 2018)

본 발명의 목적은 학습 모델을 기초로 결함을 검출하기 위한 장치 및 이를 위한 방법을 제공함에 있다. The purpose of the present invention is to provide an apparatus and method for detecting defects based on a learning model.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 결함을 검출하기 위한 장치는 결함이 발생한 영역 및 결함의 종류가 알려지지 않은 시험체에 방사선을 조사하여 방사선 영상을 촬영하는 방사선촬영부와, 상기 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하는 영상처리부와, 학습이 완료된 학습 모델인 검출모델을 통해 상기 검사 영상을 분석하여 겸함이 발생한 영역 및 결함의 종류를 검출하는 검사부를 포함한다. An apparatus for detecting defects according to a preferred embodiment of the present invention for achieving the above-described object includes a radiography unit that takes radiation images by irradiating radiation to a test specimen for which the area where the defect occurs and the type of the defect are unknown; , an image processing unit that generates an inspection image by extracting a weld from the radiological image, and an inspection unit that analyzes the inspection image through a detection model, which is a fully learned learning model, to detect the area in which overlap has occurred and the type of defect.

상기 검출모델은 상기 검사 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여, 상기 검사 영상에서 결함이 차지하는 영역을 중심 좌표, 폭 및 높이를 통해 정의하는 영역상자와 상기 영역상자 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률인 분류확률을 도출하며, 상기 검사부는 상기 분류확률에 따라 결함의 종류를 검출하고, 상기 영역상자에 따라 상기 결함이 차지하는 영역을 검출하는 것을 특징으로 한다. The detection model performs a plurality of operations in which a plurality of inter-layer weights are applied to the inspection image, and an area box that defines the area occupied by the defect in the inspection image through the center coordinate, width, and height, and an area within the area box A classification probability, which is a conditional probability of being classified into the type of defect to which the defect belongs, is derived, and the inspection unit detects the type of defect according to the classification probability and detects the area occupied by the defect according to the area box. .

상기 영상처리부는 상기 방사선 영상의 명암을 소정 범위로 정규화함으로써 상기 방사선 영상의 대비를 조정하고, 대비가 조정된 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하는 것을 특징으로 한다. The image processing unit adjusts the contrast of the radiological image by normalizing the brightness of the radiological image to a predetermined range, extracts the weld from the contrast-adjusted radiological image based on the trend of the histogram of the contrast-adjusted radiological image, and creates an inspection image. It is characterized by generating.

상기 방사선촬영부는 상기 시험체에 부착하여 상기 시험체와 같이 촬영되는 투과도계를 포함하며, 상기 시험체의 밀도 및 두께에 따라 방사선 조사량을 조절하여 상기 시험체에 방사선을 투과시켜 방사선 영상을 생성하며, 상기 영상처리부는 상기 방사선 영상에서 상기 투과도계가 촬영된 영역을 검사하여 상기 방사선 영상의 상질이 기 설정된 기준치 이상인지 여부를 판별하고, 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 이상이면, 상기 방사선 영상의 명암을 소정 범위로 정규화함으로써 상기 방사선 영상의 대비를 조정하고, 대비가 조정된 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 방사선 영상에서 용접부를 추출하여 학습용 검사 영상을 생성하며, 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 미만이면, 상기 방사선촬영부가 상기 방사선 조사량을 조절하여 상기 시험체를 재촬영하도록 제어하는 것을 특징으로 한다. The radiography unit includes a penetrometer that is attached to the test body and takes images together with the test body, and adjusts the radiation dose according to the density and thickness of the test body to transmit radiation to the test body to generate a radiographic image, and the image processing unit examines the area photographed by the penetrameter in the radiological image to determine whether the image quality of the radiological image is greater than or equal to a preset standard value, and as a result of the determination, if the image quality of the radiological image is greater than or equal to the standard value, the contrast of the radiological image Adjusts the contrast of the radiological image by normalizing to a predetermined range, extracts a weld from the contrast-adjusted radiological image based on the trend of the histogram of the contrast-adjusted radiological image, and generates an inspection image for learning. The determination result, the If the image quality of the radiation image is less than the standard value, the radiography unit controls the radiation dose to re-image the test object.

상기 방사선촬영부는 상기 시험체에 부착하여 상기 시험체와 같이 촬영되는 투과도계를 포함하며, 상기 장치는 상기 방사선촬영부를 제어하여 결함이 발생한 영역 및 결함의 종류가 알려진 시험체의 밀도 및 두께에 따라 방사선 조사량을 조절하여 상기 시험체에 방사선을 조사하여 학습용 방사선 영상을 생성하고, 상기 학습용 방사선 영상에서 상기 투과도계가 촬영된 영역을 검사하여 상기 학습용 방사선 영상의 상질이 기 설정된 기준치 이상인지 여부를 판별하고, 상기 판별 결과, 상기 학습용 방사선 영상의 상질이 상기 기준치 이상이면, 상기 학습용 방사선 영상에서 용접부를 추출하여 학습용 검사 영상을 생성하고, 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 미만이면, 상기 방사선촬영부가 상기 방사선 조사량을 조절하여 상기 시험체를 재촬영하도록 제어하는 학습영상처리부를 더 포함한다. The radiography unit includes a penetrameter that is attached to the test specimen and takes images together with the test specimen, and the device controls the radiography unit to adjust the radiation dose according to the density and thickness of the test specimen where the area where the defect occurs and the type of defect are known. Adjust and irradiate radiation to the test object to generate a learning radiology image, inspect the area photographed by the penetrameter in the learning radiology image to determine whether the image quality of the learning radiology image is higher than a preset standard, and determine the result of the determination. , if the quality of the radiological image for learning is greater than or equal to the standard value, a welding portion is extracted from the radiological image for learning to generate an inspection image for learning, and as a result of the determination, if the image quality of the radiological image is less than the standard value, the radiography unit generates the radiation image. It further includes a learning image processing unit that controls the test object to be re-photographed by adjusting the irradiation amount.

학습용 방사선 영상에서 용접부를 추출한 학습용 검사 영상 및 상기 학습용 검사 영상에서 결함이 차지하는 영역을 나타내는 실측영역상자와 상기 실측영역상자 내의 결함이 속하는 결함의 종류를 나타내는 하드 코드를 포함하는 레이블로 이루어진 학습 데이터를 마련하고, 상기 학습용 검사 영상을 학습이 완료되지 않은 가중치를 가지는 검출모델에 입력하고, 상기 검출모델이 상기 학습용 검사 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 결함이 차지하는 영역을 예측한 영역상자 및 상기 영역상자 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률을 나타내는 분류확률을 포함하는 객체 정보를 산출하고, 산출된 객체 정보를 포함하는 학습용 출력 영상을 도출하면, 손실함수를 통해 상기 학습용 출력 영상의 객체 정보와 상기 레이블과의 차이를 나타내는 손실을 산출하고, 상기 손실함수를 통해 도출되는 손실이 최소가 되도록 상기 검출모델의 가중치를 수정하는 최적화를 수행하는 학습부를 더 포함한다. Learning data consisting of a learning inspection image extracted from a learning radiology image of a weld, a measurement area box indicating the area occupied by a defect in the learning inspection image, and a label including a hard code indicating the type of defect to which the defect in the measurement area box belongs. The training inspection image is input to a detection model with weights for which learning has not been completed, and the detection model performs a plurality of operations in which weights between multiple layers are applied to the learning inspection image to determine the area occupied by the defect. Calculating object information including a predicted region box and a classification probability indicating the conditional probability that the defect within the region box will be classified as the type of defect to which it belongs, and deriving an output image for training including the calculated object information, the loss function It further includes a learning unit that calculates a loss representing the difference between the object information of the output image for training and the label, and performs optimization to modify the weight of the detection model so that the loss derived through the loss function is minimized. do.

상기 학습부는 손실함수 The learning unit uses a loss function

를 통해 상기 손실을 산출하는 것을 특징으로 한다. It is characterized in that the loss is calculated through.

여기서, 상기 S는 셀의 수이고, 상기 B는 한 셀 내의 영역상자의 수이고, 상기

및 상기

는 영역상자의 중심좌표이고, 상기 dx 및 상기 dy는 실측영역상자의 중심좌표이고, 상기

는 영역상자의 폭이고, 상기

는 영역상자의 높이이고, 상기 w는 실측영역상자의 폭이고, 상기 h는 실측영역상자의 높이이고, 상기 C는 실측영역상자에 따른 신뢰도이고, 상기

는 예측된 신뢰도이고, 상기 pi(c)는 실측영역상자 내의 결함이 속하는 결함의 종류를 나타내는 하드 코드이고, 상기

는 영역상자 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률이고, 상기 i는 객체가 존재하는 셀을 나타내는 인덱스이고, 상기 j는 영역상자의 인덱스이고, 상기

및 상기

는 하이퍼 파라미터이고, 상기

는 셀 i에 객체가 존재하는 경우를 나타내고, 상기

는 셀 i의 영역상자 j를 나타내는 것을 특징으로 한다. Here, S is the number of cells, B is the number of area boxes within one cell, and

and above

is the center coordinate of the region box, dx and dy are the center coordinates of the actual measurement region box, and

is the width of the area box, and

is the height of the measured area box, w is the width of the measured area box, h is the height of the measured area box, C is the reliability according to the measured area box, and

is the predicted reliability, pi(c) is a hard code indicating the type of defect to which the defect in the measured area box belongs, and

is the conditional probability that the defect in the area box will be classified into the type of defect to which it belongs, i is an index indicating the cell in which the object exists, j is the index of the area box, and

and above

is a hyperparameter, and

represents the case where an object exists in cell i,

is characterized in that it represents the area box j of cell i.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 결함을 검출하기 위한 방법은 방사선촬영부가 결함이 발생한 영역 및 결함의 종류가 알려지지 않은 시험체에 방사선을 조사하여 방사선 영상을 촬영하는 단계와, 영상처리부가 상기 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하는 단계와, 검사부가 학습이 완료된 학습 모델인 검출모델을 통해 상기 검사 영상을 분석하여 겸함이 발생한 영역 및 결함의 종류를 검출하는 단계를 포함한다. A method for detecting defects according to a preferred embodiment of the present invention to achieve the above-described object includes the steps of a radiography unit irradiating radiation to a test specimen for which the area where the defect occurs and the type of the defect are unknown, thereby taking a radiographic image. A step of the image processing unit extracting a weld from the radiological image to generate an inspection image, and the inspection unit analyzing the inspection image through a detection model, which is a fully learned learning model, to detect the area where the welding occurred and the type of defect. Includes steps.

상기 겸함이 발생한 영역 및 결함의 종류를 검출하는 단계는 상기 검출모델이 상기 검사 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여, 상기 검출모델이 상기 검사 영상에서 결함이 차지하는 영역을 중심 좌표, 폭 및 높이를 통해 정의하는 영역상자와 상기 검출모델이 상기 영역상자 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률인 분류확률을 도출하는 단계와, 상기 검사부가 상기 분류확률에 따라 결함의 종류를 검출하고, 상기 영역상자에 따라 상기 결함이 차지하는 영역을 검출하는 단계를 포함한다. In the step of detecting the area where the defect occurs and the type of defect, the detection model performs a plurality of operations in which weights between a plurality of layers are applied to the inspection image, and the detection model determines the area occupied by the defect in the inspection image. A step of deriving a classification probability, which is a conditional probability that an area box defined through center coordinates, width, and height, and the detection model will be classified as the type of defect to which the defect in the area box belongs, and wherein the inspection unit determines the classification probability according to the classification probability. It includes the steps of detecting the type of defect and detecting the area occupied by the defect according to the area box.

상기 검사 영상을 생성하는 단계는 상기 영상처리부가 상기 방사선 영상의 명암을 소정 범위로 정규화함으로써 상기 방사선 영상의 대비를 조정하는 단계와, 상기 영상처리부가 대비가 조정된 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하는 단계를 포함한다. The step of generating the inspection image includes the image processing unit adjusting the contrast of the radiological image by normalizing the contrast of the radiological image to a predetermined range, and the image processing unit adjusting the contrast of the radiological image based on the trend of the histogram of the contrast-adjusted radiological image. It includes extracting a weld from a contrast-adjusted radiological image and generating an inspection image.

상기 방사선 영상을 촬영하는 단계는 상기 방사선촬영부가 상기 시험체의 밀도 및 두께에 따라 방사선 조사량을 조절하여 상기 시험체에 방사선을 조사하여 방사선 영상을 생성하되, 투과도계를 상기 시험체에 부착하여 상기 시험체와 같이 촬영하며, 상기 검사 영상을 생성하는 단계는 상기 영상처리부가 상기 방사선 영상에서 상기 투과도계가 촬영된 영역을 검사하여 상기 방사선 영상의 상질이 기 설정된 기준치 이상인지 여부를 판별하는 단계와, 상기 영상처리부가 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 이상이면, 상기 방사선 영상의 명암을 소정 범위로 정규화함으로써 상기 방사선 영상의 대비를 조정하고, 대비가 조정된 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 방사선 영상에서 용접부를 추출하여 학습용 검사 영상을 생성하며, 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 미만이면, 상기 방사선촬영부가 상기 방사선 조사량을 조절하여 상기 시험체를 재촬영하도록 제어하는 단계를 포함한다. In the step of taking the radiation image, the radiography unit adjusts the radiation dose according to the density and thickness of the test body and irradiates radiation to the test body to generate a radiation image, and attaches a penetrameter to the test body to make it similar to the test body. The step of capturing and generating the inspection image includes the image processing unit inspecting the area where the penetrameter is photographed in the radiological image to determine whether the image quality of the radiological image is higher than a preset standard, and the image processing unit As a result of the determination, if the quality of the radiology image is greater than or equal to the reference value, the contrast of the radiology image is adjusted by normalizing the brightness and darkness of the radiology image to a predetermined range, and the contrast is adjusted based on the trend of the histogram of the contrast-adjusted radiology image. Extracting a weld from a radiological image to generate a learning inspection image, and if the image quality of the radiological image is less than the standard value as a result of the determination, controlling the radiography unit to re-photograph the test specimen by adjusting the radiation dose. Includes.

상기 방법은 상기 방사선 영상을 촬영하는 단계 전, 학습영상처리부가 상기 방사선촬영부를 제어하여 결함이 발생한 영역 및 결함의 종류가 알려진 시험체의 밀도 및 두께에 따라 방사선 조사량을 조절하여 투과도계가 부착된 상기 시험체에 방사선을 조사하여 학습용 방사선 영상을 생성하는 단계와, 상기 학습영상처리부가 상기 학습용 방사선 영상에서 상기 투과도계가 촬영된 영역을 검사하여 상기 학습용 방사선 영상의 상질이 기 설정된 기준치 이상인지 여부를 판별하는 단계와, 상기 학습영상처리부가 상기 판별 결과, 상기 학습용 방사선 영상의 상질이 상기 기준치 이상이면, 상기 학습용 방사선 영상에서 용접부를 추출하여 학습용 검사 영상을 생성하고, 상기 판별 결과, 상기 방사선 영상의 상질이 상기 기준치 미만이면, 상기 방사선촬영부가 상기 방사선 조사량을 조절하여 상기 시험체를 재촬영하도록 제어하는 단계를 더 포함한다. In the method, before the step of taking the radiographic image, the learning image processing unit controls the radiography unit to adjust the radiation dose according to the density and thickness of the specimen where the area where the defect occurs and the type of defect are known, and the specimen to which the penetrameter is attached. generating a learning radiology image by irradiating radiation to the learning radiology image, and determining whether the learning image processing unit inspects the area captured by the penetrameter in the learning radiology image to determine whether the image quality of the learning radiology image is equal to or higher than a preset standard value. If, as a result of the determination, the image quality of the radiological image for learning is equal to or higher than the reference value, the learning image processing unit extracts a weld from the radiological image for learning and generates an inspection image for learning, and as a result of the determination, the quality of the radiological image is determined by the above reference value. If it is less than the standard value, the method further includes controlling the radiography unit to re-image the test object by adjusting the radiation dose.

상기 방법은 상기 방사선 영상을 촬영하는 단계 전, 학습부가 학습용 방사선 영상에서 용접부를 추출한 학습용 검사 영상 및 상기 학습용 검사 영상에서 결함이 차지하는 영역을 나타내는 실측영역상자와 상기 실측영역상자 내의 결함이 속하는 결함의 종류를 나타내는 하드 코드를 포함하는 레이블로 이루어진 학습 데이터를 마련하는 단계와, 상기 학습부가 상기 학습용 검사 영상을 학습이 완료되지 않은 가중치를 가지는 검출모델에 입력하고, 상기 검출모델이 상기 학습용 검사 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 결함이 차지하는 영역을 예측한 영역상자 및 상기 영역상자 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률을 나타내는 분류확률을 포함하는 객체 정보를 산출하고, 산출된 객체 정보를 포함하는 학습용 출력 영상을 도출하면, 상기 학습부가 손실함수를 통해 상기 학습용 출력 영상의 객체 정보와 상기 레이블과의 차이를 나타내는 손실을 산출하는 단계와, 상기 학습부가 상기 손실함수를 통해 도출되는 손실이 최소가 되도록 상기 검출모델의 가중치를 수정하는 최적화를 수행하는 단계를 더 포함한다. In the method, before the step of taking the radiographic image, the learning unit extracts the welding part from the radiographic image for learning, the learning inspection image, the actual measurement area box indicating the area occupied by the defect in the learning inspection image, and the defect to which the defect in the actual measurement area box belongs. A step of preparing training data consisting of a label including a hard code indicating the type, wherein the learning unit inputs the training inspection image to a detection model with weights that have not completed learning, and the detection model is applied to the learning inspection image. Object information including a region box predicting the area occupied by the defect by performing a plurality of operations to which weights between multiple layers are applied and a classification probability indicating the conditional probability that the defect within the region box will be classified into the type of defect to which it belongs. When calculating and deriving an output image for learning including the calculated object information, the learning unit calculates a loss representing the difference between the object information of the output image for learning and the label through a loss function; It further includes performing optimization to modify the weights of the detection model so that the loss derived through the loss function is minimized.

상기 손실을 산출하는 단계는 상기 학습부가 손실함수 The step of calculating the loss is performed by the learning unit using a loss function.

및 상기

는 영역상자의 폭이고, 상기

및 상기

는 하이퍼 파라미터이고, 상기

는 셀 i에 객체가 존재하는 경우를 나타내고, 상기

and above

is the width of the area box, and

and above

is a hyperparameter, and

represents the case where an object exists in cell i,

is characterized in that it represents the area box j of cell i.

본 발명에 따르면 종래의 작업자 경험 및 역량에 의존하는 판독 방식에서 벗어나 작업자 개입이 없는 용접부에 대한 불량 검사의 자동화를 구현할 수 있다. According to the present invention, it is possible to automate defect inspection of welded parts without operator intervention, breaking away from the conventional reading method that relies on operator experience and capabilities.

도 1은 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 검출모델의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 검출모델의 출력 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 검사 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 검사 영상을 생성하는 방법을 설명하기 위한 화면 예이다.
도 6은 본 발명의 실시예에 따른 검출모델(CM)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 검출모델(CM)을 생성하는 방법을 설명하기 위한 화면 예이다.
도 10은 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 1 is a diagram illustrating the configuration of an apparatus for detecting defects based on a learning model according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the configuration of a detection model according to an embodiment of the present invention.
Figure 3 is a diagram for explaining an output image of a detection model according to an embodiment of the present invention.
Figure 4 is a flowchart illustrating a method for generating an inspection image according to an embodiment of the present invention.
Figure 5 is an example screen for explaining a method of generating an inspection image according to an embodiment of the present invention.
Figure 6 is a flowchart illustrating a method for generating a detection model (CM) according to an embodiment of the present invention.
7 to 9 are screen examples for explaining a method of generating a detection model (CM) according to an embodiment of the present invention.
Figure 10 is a flowchart illustrating a method for detecting defects based on a learning model according to an embodiment of the present invention.
Figure 11 is a diagram showing a computing device according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so at the time of filing this application, It should be understood that there may be various equivalents and variations that may replace them.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. At this time, it should be noted that in the attached drawings, identical components are indicated by identical symbols whenever possible. Additionally, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, in the accompanying drawings, some components are exaggerated, omitted, or schematically shown, and the size of each component does not entirely reflect the actual size.

특히, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 특히, 본 발명의 실시예에서, 예측(Estimation)은 인공신경망을 기반으로 하는 학습 모델의 학습된 가중치 연산에 의한 값을 산출하는 것을 의미하는 것이다. In particular, the terms or words used in the specification and claims described below should not be construed as limited to their usual or dictionary meanings, and the inventor should use the concept of terms to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined. In particular, in an embodiment of the present invention, prediction means calculating a value by calculating the learned weights of a learning model based on an artificial neural network.

먼저, 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 검출모델의 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 검출모델의 출력 영상을 설명하기 위한 도면이다. First, an apparatus for detecting defects based on a learning model according to an embodiment of the present invention will be described. 1 is a diagram illustrating the configuration of an apparatus for detecting defects based on a learning model according to an embodiment of the present invention. Figure 2 is a diagram for explaining the configuration of a detection model according to an embodiment of the present invention. Figure 3 is a diagram for explaining an output image of a detection model according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 장치(10, 이하, '검출장치'로 칭함)는 시험체에서 용접이 이루어진 부분인 용접부에 결함이 발생한 경우, 그 결함이 발생한 영역 및 그 결함의 종류를 검출하기 위한 것이다. 이러한 검출장치(10)는 방사선촬영부(100), 학습용상처리부(200), 학습부(300), 영상처리부(400) 및 검출부(500)를 포함한다. Referring to FIG. 1, the device 10 (hereinafter referred to as 'detection device') for detecting defects based on a learning model according to an embodiment of the present invention detects defects in the welded portion of the test specimen. , to detect the area where the defect occurs and the type of the defect. This detection device 10 includes a radiography unit 100, a learning image processing unit 200, a learning unit 300, an image processing unit 400, and a detection unit 500.

방사선촬영부(100)는 시험체에 방사선을 조사하여 방사선 영상을 촬영하기 위한 것이다. 방사선촬영부(100)는 시험체에 부착하여 시험체와 같이 촬영되는 투과도계(IQI; Image Quality Indicator)를 포함한다. 투과도계가 촬영된 부분을 검사하여 방사선 영상의 상질을 평가할 수 있다. The radiography unit 100 is used to take radiological images by irradiating radiation to a test object. The radiography unit 100 includes an image quality indicator (IQI) that is attached to the test object and takes images together with the test object. The image quality of radiological images can be evaluated by inspecting the imaged area with a penetrameter.

학습영상처리부(200)는 결함이 발생한 영역 및 그 결함의 종류가 알려진 학습용 방사선 영상을 촬영하도록 방사선촬영부(100)를 제어하고, 학습용 방사선 영상이 촬영되면, 그 학습용 방사선 영상에서 용접부를 추출하여 학습용 검사 영상을 생성하기 위한 것이다. 생성된 학습용 검사 영상은 학습부(300)에 제공된다. The learning image processing unit 200 controls the radiography unit 100 to capture a learning radiology image in which the area where the defect occurs and the type of the defect are known. When the learning radiography image is captured, the welding part is extracted from the learning radiography image. This is to create inspection images for learning. The generated inspection image for learning is provided to the learning unit 300.

학습부(300)는 본 발명의 실시예에 따른 검출모델(CM)을 생성하기 위한 것이다. 검출모델(CM)은 학습 데이터를 이용한 학습(deep learning/machine learning)에 의해 생성되는 학습 모델이다. 학습부(300)는 학습 데이터를 마련하고, 마련된 학습 데이터를 이용하여 검출모델(CM)을 학습시킨다. 학습부(300)는 학습을 통해 검출모델(CM)을 생성하면, 생성된 검출모델(CM)을 검출부(500)에 제공한다. 이러한 검출모델(CM) 및 검출모델(CM)에 대한 학습 방법에 대해서는 아래에서 더 상세하게 설명될 것이다. The learning unit 300 is used to generate a detection model (CM) according to an embodiment of the present invention. The detection model (CM) is a learning model created by learning using training data (deep learning/machine learning). The learning unit 300 prepares training data and trains a detection model (CM) using the prepared training data. When the learning unit 300 generates a detection model (CM) through learning, it provides the generated detection model (CM) to the detection unit 500. This detection model (CM) and the learning method for the detection model (CM) will be explained in more detail below.

영상처리부(400)는 결함이 발생한 영역 및 그 결함의 종류가 알려지지 않은 방사선 영상을 촬영하도록 방사선촬영부(100)를 제어하고, 방사선 영상이 촬영되면, 그 방사선 영상에서 용접부를 추출하여 검사 영상을 생성하기 위한 것이다. 생성된 검사 영상은 검사부(500)에 입력된다. The image processing unit 400 controls the radiography unit 100 to capture a radiographic image in which the area where the defect occurs and the type of the defect are unknown. When the radiographic image is captured, the welding part is extracted from the radiographic image to create an inspection image. It is for creating. The generated inspection image is input to the inspection unit 500.

검사부(500)는 학습이 완료된 학습 모델인 검출모델(CM)을 통해 검사 영상을 분석하여 상기 시험체에서 겸함이 발생한 영역 및 결함의 종류를 검출한다. The inspection unit 500 analyzes the inspection image through a detection model (CM), which is a fully learned learning model, and detects the type of defect and the area where overlap occurred in the test specimen.

전술한 방사선촬영부(100), 학습용상처리부(200), 학습부(300), 영상처리부(400) 및 검출부(500)의 동작에 대해서는 아래에서 더 상세하게 설명될 것이다. The operations of the above-described radiography unit 100, learning image processing unit 200, learning unit 300, image processing unit 400, and detection unit 500 will be described in more detail below.

도 2 및 도 3을 참조하면, 검출모델(CM)은 학습 데이터를 이용한 학습(deep learning/machine learning)을 통해 생성되는 학습 모델이다. 검출모델(CM)은 각각이 복수의 연산을 수행하는 복수의 계층을 포함한다. 또한, 복수의 계층은 가중치를 통해 연결된다. 다른 말로, 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층의 연산에 입력된다. 즉, 검출모델(CM)은 복수의 계층 간 가중치로 연결되는 복수의 연산을 수행한다. 설명의 편의를 위하여, 검출모델(CM)의 복수의 계층 간 가중치로 연결되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다. 검출모델(CM)의 복수의 계층은 컨벌루션층(Convolution Layer: CL), 디컨벌루션층(Deconvolution Layer: DL), 풀링층(Pooling Layer: PL), 적어도 하나의 완전연결층(Fully-connected layer: FL) 등을 포함할 수 있다. 컨벌루션층(CL)은 입력되는 검사 영상 혹은 이전 계층의 특징 지도(Feauture Map: FM)에 대해 소정의 필터(커널)를 이용하여 가중치를 적용하는 컨벌루션 연산을 수행하고, 활성화 함수에 의한 연산을 수행하여 특징 지도(FM) 혹은 특징 영상을 생성한다. 또한, 디컨벌루션층(DL)은 이전 계층의 특징 지도(FM)에 대해 소정의 필터(커널)를 이용하여 가중치를 적용하는 디컨벌루션 연산을 수행하고, 활성화 함수에 의한 연산을 수행하여 특징 지도(FM) 혹은 특징 영상을 생성한다. 풀링층(PL)은 이전 계층의 특징 지도(FM)에 대해 소정의 필터(커널)를 이용하여 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하여 특징 지도(FM) 혹은 특징 영상을 생성한다. 완전연결층(FL)은 이전 계층의 복수의 입력값에 대해 활성화함수에 의한 연산을 수행하여 적어도 하나의 출력값을 생성한다. 여기서, 필터(커널)는 각 원소가 가중치인 행렬이 될 수 있다. 또한, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. Referring to Figures 2 and 3, the detection model (CM) is a learning model created through learning (deep learning/machine learning) using training data. The detection model (CM) includes multiple layers, each of which performs multiple operations. Additionally, multiple layers are connected through weights. In other words, the calculation results of one layer are weighted and input to the calculation of the next layer. In other words, the detection model (CM) performs multiple operations connected to weights between multiple layers. For convenience of explanation, a plurality of operations connected by weights between multiple layers of the detection model (CM) will be referred to as 'weight operations'. The plurality of layers of the detection model (CM) include a convolution layer (CL), a deconvolution layer (DL), a pooling layer (PL), and at least one fully connected layer: FL), etc. may be included. The convolution layer (CL) performs a convolution operation that applies a weight using a predetermined filter (kernel) to the input inspection image or the feature map (FM) of the previous layer, and performs an operation by the activation function. This creates a feature map (FM) or feature image. In addition, the deconvolution layer (DL) performs a deconvolution operation that applies weights using a predetermined filter (kernel) to the feature map (FM) of the previous layer, and performs an operation by an activation function to generate the feature map ( FM) or generate a feature image. The pooling layer (PL) performs a down-sampling or up-sampling operation on the feature map (FM) of the previous layer using a predetermined filter (kernel) to create a feature map (FM) or feature. Create a video. The fully connected layer (FL) generates at least one output value by performing an operation using an activation function on a plurality of input values from the previous layer. Here, the filter (kernel) can be a matrix where each element is a weight. In addition, activation functions may include sigmoid, hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, etc. .

도 3에 도시된 바와 같이, 검출모델(CM)은 검사 영상(TI)이 입력되면, 입력된 검사 영상(TI)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 영역상자(BB: Bounding Box)(x, y, w, h) 및 분류확률(C01=0.777, C02=0.101, C03=0.011, C04=0.111)을 포함하는 객체 정보[(x, y, w, h), C01=0.888, C02=0.101, C03=0.011, C04=0.111]를 도출하고, 도출된 객체 정보를 포함하는 출력 영상(TO)을 출력한다. 영역상자(BB)는 학습된 객체가 차지하는 영역을 정의한다. 즉, 영역상자(BB)는 중심 좌표(x, y), 폭(w) 및 높이(h)를 통해 학습된 객체가 차지하는 영역을 정의한다. 분류확률은 영역상자(BB) 내의 객체가 학습된 객체의 클래스로 분류될 조건부 확률을 나타낸다. 본 발명의 실시예에서, 학습되는 객체의 클래스는 결함의 종류이다. 구체적으로, 결함의 종류는 기공(Porosity), 균열(Crack), 융합불량(Lack of fusion), 슬래그 혼입(Slag inclusion)이고, 각각 제1 내지 제4 클래스(C01, C02, C03, C04)에 대응된다. 이러한 경우, 영역상자(BB)(x, y, w, h)는 검사 영상에서 결함 부분, 즉, 기공(Porosity), 균열(Crack), 융합불량(Lack of fusion), 슬래그 혼입(Slag inclusion)이 있는 부분 중 어느 하나가 차지하는 영역을 정의한다. 분류확률은 영역상자(BB) 내의 결함이 기공(Porosity)일 확률(C01=0.777), 균열(Crack)일 확률(C02=0.101), 융합불량(Lack of fusion)일 확률(C03=0.011), 슬래그 혼입(Slag inclusion)일 확률(C04=0.111)을 나타낸다. 예를 들면, 도 3에 도시된 바와 같이, 검출모델(CM)이 출력한 객체 정보가 "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111"인 경우, 영역상자(BB) 내의 결함이 기공(Porosity)일 확률이 78%이고, 균열(Crack)일 확률이 10%이고, 융합불량(Lack of fusion)일 확률이 1%이고, 슬래그 혼입(Slag inclusion)일 확률이 11%임을 나타낸다. As shown in FIG. 3, when an inspection image (TI) is input, the detection model (CM) performs a plurality of operations in which weights of multiple layers are applied to the input inspection image (TI) to create a region box (BB). : Object information [(x, y, w, h), C01, including Bounding Box) (x, y, w, h) and classification probability (C01 = 0.777, C02 = 0.101, C03 = 0.011, C04 = 0.111) =0.888, C02=0.101, C03=0.011, C04=0.111], and output an output image (TO) containing the derived object information. The area box (BB) defines the area occupied by the learned object. In other words, the area box (BB) defines the area occupied by the learned object through the center coordinates (x, y), width (w), and height (h). The classification probability represents the conditional probability that the object in the area box (BB) will be classified into the class of the learned object. In an embodiment of the invention, the class of object being learned is the type of defect. Specifically, the types of defects are porosity, crack, lack of fusion, and slag inclusion, and are classified into the first to fourth classes (C01, C02, C03, and C04), respectively. corresponds to In this case, the area box (BB) (x, y, w, h) represents the defective part in the inspection image, i.e., porosity, crack, lack of fusion, and slag inclusion. Defines the area occupied by any one of the parts. The classification probability is the probability that the defect in the area box (BB) is a porosity (C01 = 0.777), the probability that it is a crack (C02 = 0.101), the probability that it is a lack of fusion (C03 = 0.011), This indicates the probability of slag inclusion (C04=0.111). For example, as shown in Figure 3, the object information output by the detection model (CM) is "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111" In the case, there is a 78% probability that the defect in the area box (BB) is a porosity, a 10% probability that it is a crack, a 1% probability that it is a lack of fusion, and slag mixing ( It indicates that the probability of slag inclusion is 11%.

검사부(500)는 분류확률에 따라 시험체의 결함의 종류를 검출하고, 영역상자에 따라 결함이 차지하는 영역을 검출할 수 있다. 즉, 검사부(500)는 검출모델(CM)이 도출한 객체 정보의 분류확률에 따라 시험체에 발생한 결함의 종류를 분류하고, 분류된 결함의 종류를 나타내는 지시자와 실험체에서 결함이 발생한 영역을 나타내는 영역상자(x, y, w, h)를 포함하는 검출 정보를 제공한다. 예를 들면, 객체 정보가 "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111"인 경우, 영역상자(BB) 내의 결함이 기공(Porosity)일 확률이 78%로 가장 높기 때문에 시험체에 발생한 결함이 기공인 것으로 판단하고, 기공을 나타내는 지시자와, 기공이 발생한 영역을 나타내는 영역상자를 검출 정보로 제공할 수 있다. The inspection unit 500 can detect the type of defect in the test object according to the classification probability and detect the area occupied by the defect according to the area box. That is, the inspection unit 500 classifies the type of defect occurring in the test specimen according to the classification probability of object information derived from the detection model (CM), and an indicator indicating the type of classified defect and an area indicating the area where the defect occurred in the test specimen. Provides detection information including boxes (x, y, w, h). For example, if the object information is "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111", the defect within the area box (BB) may be a porosity. Since the probability is the highest at 78%, it is determined that the defect occurring in the test specimen is a pore, and an indicator indicating the pore and an area box indicating the area where the pore occurred can be provided as detection information.

다시, 도 2를 참조하면, 본 발명의 실시예에 따른 검출모델(CM)은 복수의 모듈, 즉, 백본모듈(Backbone), 넥모듈(Neck) 및 헤드모듈(Head)로 구분할 수 있다. 이러한 백본모듈(Backbone), 넥모듈(Neck) 및 헤드모듈(Head) 모두 전술한 복수의 계층 중 하나 이상의 계층을 포함한다. Referring again to FIG. 2, the detection model (CM) according to an embodiment of the present invention can be divided into a plurality of modules, namely, a backbone module, a neck module, and a head module. These backbone modules (Backbone), neck modules (Neck), and head modules (Head) all include one or more layers of the plurality of layers described above.

백본모듈(Backbone)은 입력되는 영상, 즉, 검사 영상에 대해 가중치 연산(복수의 계층 간 가중치가 적용되는 복수의 연산)을 수행하여 검사 영상의 특징이 압축된 특징 지도(FM)를 생성한다. The backbone module performs a weighting operation (multiple operations to which weights between multiple layers are applied) on the input image, that is, the inspection image, and generates a feature map (FM) in which the features of the inspection image are compressed.

헤드모듈(Head)은 백본모듈(Backbone)이 생성한 특징 지도(FM), 즉, 검사 영상의 특징이 압축된 특징 지도(FM)에 대한 가중치 연산을 수행하여 영역상자(BB) 및 분류확률을 검출하기 위한 것이다. 헤드모듈(Head)은 병합예측모듈(Dense Prediction) 및 분리예측모듈(Sparse Prediction)으로 구분될 수 있다. 병합예측모듈(Dense Prediction)은 영역상자(BB) 및 분류확률을 동일한 계층을 이용하여 검출하며, 분리예측모듈(Sparse Prediction)은 영역상자(BB) 및 분류확률을 분리된 계층을 이용하여 검출한다. The head module performs a weighting operation on the feature map (FM) generated by the backbone module, that is, the feature map (FM) in which the features of the inspection image are compressed, and calculates the area box (BB) and classification probability. It is for detection. The head module can be divided into a merge prediction module (Dense Prediction) and a separate prediction module (Sparse Prediction). The merge prediction module (Dense Prediction) detects the area box (BB) and classification probability using the same layer, and the separate prediction module (Sparse Prediction) detects the area box (BB) and classification probability using a separate layer. .

넥모듈(Neck)은 백본모듈(Backbone) 및 헤드모듈(Head)를 연결한다. 특히, 넥모듈(Neck)은 백본모듈(Backbone)이 생성한 특징 지도(FM), 즉, 검사 영상의 특징이 압축된 특징 지도(FM)에 대해 가중치 연산을 수행하여, 해당 특징 지도(FM)를 정제(Refinement) 및 재구성(Reconfiguration)함으로써, 압축된 특징 지도(FM)를 검사 영상의 크기로 복원하고, 헤드모듈(Head)이 도출한 영역상자(BB) 및 분류확률을 복원된 검사 영상에 병합하여 출력한다. The neck module connects the backbone module and the head module. In particular, the neck module performs a weighting operation on the feature map (FM) generated by the backbone module, that is, the feature map (FM) in which the features of the inspection image are compressed, and produces the corresponding feature map (FM). By refining and reconfiguring, the compressed feature map (FM) is restored to the size of the inspection image, and the area box (BB) and classification probability derived by the head module are added to the restored inspection image. Merge and output.

다음으로, 본 발명의 실시예에 따라 검사 영상을 생성하고, 생성된 검사 영상을 기초로 검출모델(CM)을 학습시키는 방법에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 검사 영상을 생성하는 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 검사 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 검사 영상을 생성하는 방법을 설명하기 위한 화면 예이다. Next, a method of generating an inspection image and learning a detection model (CM) based on the generated inspection image according to an embodiment of the present invention will be described. First, a method for generating an inspection image according to an embodiment of the present invention will be described. Figure 4 is a flowchart illustrating a method for generating an inspection image according to an embodiment of the present invention. Figure 5 is an example screen for explaining a method of generating an inspection image according to an embodiment of the present invention.

도 4를 참조하면, 방사선촬영부(100)는 S110 단계에서 학습영상처리부(200)의 제어에 따라, 결함이 발생한 영역 및 그 결함의 종류가 알려진 시험체의 밀도 및 두께를 입력받고, 입력된 시험체의 밀도 및 두께에 대응하여 방사선의 조사량을 설정한다. Referring to FIG. 4, the radiography unit 100 receives the density and thickness of the test specimen for which the area where the defect occurred and the type of the defect are known under the control of the learning image processing unit 200 in step S110, and the input specimen Set the radiation dose according to the density and thickness.

그런 다음, 방사선촬영부(100)는 S120 단계에서 시험체에 방사선을 조사하여 학습용 방사선 영상을 촬영하고, 촬영된 학습용 방사선 영상을 학습영상처리부(200)에 제공한다. Then, the radiography unit 100 irradiates radiation to the test specimen in step S120 to capture a learning radiology image, and provides the captured learning radiology image to the learning image processing unit 200.

전술한 바와 같이, 방사선촬영부(100)는 시험체에 부착하여 시험체와 같이 촬영되는 투과도계(IQI; Image Quality Indicator)를 포함한다. 이에 따라, 학습영상처리부(200)는 S130 단계에서 도 5에 도시된 바와 같이, 투과도계(IQI; Image Quality Indicator)가 촬영된 부분(Q)을 검사하여 학습용 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되는지를 판별한다. As described above, the radiography unit 100 includes an image quality indicator (IQI) that is attached to a test object and takes images together with the test object. Accordingly, the learning image processing unit 200 inspects the portion (Q) where the penetrameter (IQI; Image Quality Indicator) was photographed, as shown in FIG. 5 in step S130, and determines the image quality of the learning radiology image within a preset reference range. Determine whether it is included within.

S130 단계의 판별 결과, 학습용 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되지 않으면, 학습영상처리부(200)는 방사선촬영부(100)를 제어하여 방사선의 조사량을 재설정(증가/감소)하고, 전술한 S120 및 S130 단계를 반복한다. As a result of the determination in step S130, if the image quality of the learning radiology image is not within the preset standard range, the learning image processing unit 200 controls the radiography unit 100 to reset (increase/decrease) the radiation dose, and Repeat steps S120 and S130.

반면, S130 단계의 판별 결과, 학습용 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되면, S140 단계로 진행한다. On the other hand, as a result of the determination in step S130, if the image quality of the learning radiology image is within the preset reference range, the process proceeds to step S140.

학습영상처리부(200)는 S140 단계에서 학습용 방사선 영상의 명암을 소정 범위(예컨대, 0~255)로 정규하여 학습용 방사선 영상의 대비를 조정한다. 그런 다음, 학습영상처리부(200)는 S150 단계에서 대비가 조정된 학습용 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 학습용 방사선 영상에서 도 5에 도시된 바와 같이 용접부를 추출하여(점선으로 표시) 학습용 검사 영상(TI)을 생성한다. 즉, 학습용 검사 영상(TI)은 학습용 방사선 영상에서 시험체에 용접 작업이 이루어진 부분을 나타내는 용접부이다. The learning image processing unit 200 adjusts the contrast of the learning radiology image by normalizing the contrast of the learning radiology image to a predetermined range (eg, 0 to 255) in step S140. Then, the learning image processing unit 200 extracts a weld portion (indicated by a dotted line) from the contrast-adjusted learning radiology image as shown in FIG. 5 based on the trend of the histogram of the contrast-adjusted learning radiology image in step S150. Generate inspection images (TI) for learning. In other words, the learning inspection image (TI) is a welding portion that represents the portion where welding work was performed on the test specimen in the learning radiation image.

학습용 방사선 영상은 감광된 정도에 따라 농도의 차가 생겨 특정상을 형성하는데 용접 작업이 이루어진 용접부는 다른 부위와 비교하면 상이한 명암을 가진다. 즉, 용접부의 명암은 다른 부위와 대비하여 상대적으로 어둡다. 따라서 명암의 차이를 더욱 강조하기 위해 대비를 조정한 후, 히스토그램의 추이를 이용하여 용접부를 검출할 수 있다. In radiation images for learning, a specific image is formed due to differences in density depending on the degree of light sensitivity, and the welded area where welding work has been performed has a different contrast compared to other areas. In other words, the contrast of the welded area is relatively dark compared to other parts. Therefore, after adjusting the contrast to further emphasize the difference in light and dark, the weld zone can be detected using the trend of the histogram.

전술한 바와 같이, 본 발명은 S130 단계의 판별에 따라, 일정한 품질(상질)을 가지는 학습용 검사 영상을 생성할 수 있다. As described above, the present invention can generate a learning inspection image with a certain quality (quality) according to the determination in step S130.

다음으로, 본 발명의 실시예에 따른 검출모델(CM)을 생성하는 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 검출모델(CM)을 생성하는 방법을 설명하기 위한 흐름도이다. 도 7 내지 도 9는 본 발명의 실시예에 따른 검출모델(CM)을 생성하는 방법을 설명하기 위한 화면 예이다. Next, a method for generating a detection model (CM) according to an embodiment of the present invention will be described. Figure 6 is a flowchart illustrating a method for generating a detection model (CM) according to an embodiment of the present invention. 7 to 9 are screen examples for explaining a method of generating a detection model (CM) according to an embodiment of the present invention.

도 6을 참조하면, 학습부(300)는 S210 단계에서 앞서 학습영상처리부(200)가 생성한 학습용 검사 영상(TI)을 기초로 학습 데이터를 마련한다. 학습 데이터는 학습용 검사 영상(TI) 및 학습용 검사 영상에 대응하는 레이블(LABEL)을 포함한다. Referring to FIG. 6, the learning unit 300 prepares learning data based on the learning inspection image (TI) previously generated by the learning image processing unit 200 in step S210. The learning data includes a training inspection image (TI) and a label (LABEL) corresponding to the learning inspection image.

학습용 검사 영상(TI)은 결함이 발생한 영역 및 그 결함의 종류가 알려진 시험체의 학습용 방사선 영상을 기초로 생성된 것이다. 결함의 종류는 도 7에 도시된 바와 같이, 기공(Porosity)(C01), 균열(Crack)(C02), 융합불량(Lack of fusion)(C03), 슬래그 혼입(Slag inclusion)(C04)이 될 수 있다. 기공(Porositiy)의 경우 용접부에서 소정 지름(예컨대, 1.5mm) 이상의 원형 혹은 타원형의 흰색 픽셀이 나타난다. 균열(Crack)의 경우 용접부에서 소정 길이(예컨대, 2mm) 이상의 흰색 픽셀이 직선 형태로 표현된다. 융합불량(Lack of fusion)의 경우 소정 길이(예컨대, 3mm) 이상의 흰색과 검은색 픽셀이 섞인 직선이 끊어진 형태로 나타난다. 슬래그 혼입(Slag inclusion)의 경우 용접부에서 소정 길이(예컨대, 3mm) 이상의 검은색 직선의 형태로 나타난다. A learning inspection image (TI) is created based on a learning radiation image of a test specimen in which the area where the defect occurs and the type of the defect are known. As shown in Figure 7, the types of defects include porosity (C01), crack (C02), lack of fusion (C03), and slag inclusion (C04). You can. In the case of porosity, a circular or oval-shaped white pixel with a certain diameter (eg, 1.5 mm) or more appears in the weld area. In the case of a crack, white pixels of a certain length (eg, 2 mm) or more in the weld area are expressed in a straight line. In the case of lack of fusion, a straight line mixed with white and black pixels of a certain length (e.g., 3 mm) or more appears as a broken line. In the case of slag inclusion, it appears in the form of a black straight line of a certain length (eg, 3 mm) or more in the weld zone.

레이블(LABEL)은 학습용 검사 영상(TI)에서 학습 대상 객체(즉, 결함)가 차지하는 영역을 나타내는 실측영역상자(GT: ground-truth)(dx, dy, w, h)와 실측영역상자(GT) 내의 객체의 클래스를 나타내는 하드 코드를 포함한다. 즉, 하드 코드는 실측영역상자(GT) 내의 결함이 속하는 결함의 종류를 나타낸다. 하드 코드는 예컨대, 도 8에 도시된 바와 같이, 실측영역상자(GT)의 결함이 기공(C01)인 경우, "(C01, C02, C03, C04)=(1, 0, 0, 0)"과 같이 원핫인코딩(One-Hot Encoding)을 통해 원핫벡터(One-Hot Vector)로 설정될 수 있다. 다른 예로, 실측영역상자(GT)의 결함이 융합불량(C03)인 경우, "(C01, C02, C03, C04)=(0, 0, 1, 0)"과 같이 설정될 수 있다. LABEL is a ground-truth (GT: ground-truth) (dx, dy, w, h) indicating the area occupied by the learning object (i.e. defect) in the learning inspection image (TI) and the ground-truth box (GT). ) contains hard code that indicates the class of the object within it. In other words, the hard code indicates the type of defect to which the defect in the ground truth box (GT) belongs. For example, as shown in Figure 8, the hard code is "(C01, C02, C03, C04) = (1, 0, 0, 0)" when the defect in the measured region box (GT) is a pore (C01). As shown, it can be set as a One-Hot Vector through One-Hot Encoding. As another example, if the defect of the ground truth box (GT) is poor fusion (C03), it can be set as "(C01, C02, C03, C04) = (0, 0, 1, 0)".

다음으로, 학습부(300)는 S220 단계에서 학습용 검사 영상(TI)을 학습이 완료되지 않은 가중치를 가지는 검출모델(CM)에 입력한다. 그러면, 검출모델(CM)은 S230 단계에서 학습용 검사 영상(TI)에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행함으로써, 학습용 검사 영상(TI)을 복수의 셀로 구분하고, 구분된 복수의 셀을 기준으로 결함이 차지하는 영역을 예측한 영역상자(BB: Bounding Box)(dx, dy, w, h) 및 그 영역상자(BB) 내의 객체의 분류확률, 영역상자 내의 결함이 속하는 학습 대상 결함의 종류로 분류될 조건부 확률 "(C01, C02, C03, C04)=(0.700, 0.100, 0.110, 0.090)"을 포함하는 객체 정보[(dx, dy, w, h), (C01, C02, C03, C04)=(0.700, 0.100, 0.110, 0.090)]를 산출하고, 산출된 객체 정보를 포함하는 학습용 출력 영상(TO)을 도출한다. 이러한 학습용 출력 영상(TO)의 화면 예가 도 9에 도시되었다. 이때, 검출모델(CM)은 학습용 검사 영상(TI)을 복수의 셀로 구분한 후, 구분된 셀을 기준으로, 결함이 차지하는 영역을 나타내는 영역상자(BB)(

,

) 및 영역상자(BB) 내의 결함이 학습 대상 결함의 종류로 분류될 조건부 확률[(C01, C02, C03)=(0.700, 0.190, 0.110)]을 산출한다. Next, the learning unit 300 inputs the learning inspection image (TI) into the detection model (CM) with weights that have not yet been learned in step S220. Then, the detection model (CM) performs a plurality of operations in which weights between multiple layers are applied to the training inspection image (TI) in step S230, dividing the learning inspection image (TI) into a plurality of cells, and dividing the training inspection image (TI) into a plurality of cells. Area box (BB: Bounding Box) (dx, dy, w, h) predicting the area occupied by the defect based on the cells of , classification probability of the object within the area box (BB), and learning target to which the defect within the area box belongs. Object information [(dx, dy, w, h), (C01, C02, C03, C04) = (0.700, 0.100, 0.110, 0.090)] is calculated, and an output image for learning (TO) containing the calculated object information is derived. An example screen of this learning output image (TO) is shown in FIG. 9. At this time, the detection model (CM) divides the training inspection image (TI) into a plurality of cells and then, based on the divided cells, creates a region box (BB) indicating the area occupied by the defect (

,

) and the conditional probability that the defect in the area box (BB) will be classified as the type of defect to be learned [(C01, C02, C03) = (0.700, 0.190, 0.110)] is calculated.

이어서, 학습부(300)는 S240 단계에서 손실함수를 통해 학습용 출력 영상(TO)의 객체 정보와 레이블과의 차이를 나타내는 손실을 산출한다. 이때, 학습부(300)은 다음의 수학식 1의 손실함수를 통해 손실을 구할 수 있다. Next, the learning unit 300 calculates a loss representing the difference between the object information and the label of the output image for learning (TO) through a loss function in step S240. At this time, the learning unit 300 can obtain the loss through the loss function of Equation 1 below.

S는 셀의 수를 나타내며, B는 한 셀 내의 영역상자(BB)의 수를 나타낸다. 또한,

,

는 영역상자(BB)의 중심좌표를 나타내며,

및

는 각각 영역상자(BB)의 폭과 높이를 나타낸다. dx, dy는 실측영역상자(GT)의 중심좌표이고, w 및 h는 실측영역상자(GT)의 폭과 높이이다. C는 실측영역상자(GT)에 따른 신뢰도이다.

는 i 번째 셀의 j 번째 영역상자(BB)에 객체(결함 부분)가 존재할 확률을 나타내는 예측된 신뢰도이다. pi(c)는 실측영역상자(GT) 내의 결함이 속하는 결함의 종류를 나타내는 하드 코드이고, 예컨대, "(C01, C02, C03, C04)=(1, 0, 0, 0)"가 될 수 있다.

는 영역상자(BB) 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률을 나타낸다. 여기서, c는 클래스, 즉, 결함의 종류를 나타내는 인덱스이다. 예컨대, "(C01, C02, C03, C04)=(0.700, 0.100, 0.110, 0.090)"와 같이 산출될 수 있다. 여기서, i는 객체가 존재하는 셀을 나타내는 인덱스이고, j는 예측된 영역상자(BB)를 나타내는 인덱스이다.

및

는 하이퍼 파라미터이다.

는 영역상자(BB)에 대한 파라미터를 더 반영하기 위한 것으로, 영역상자(BB)의 좌표에 대한 손실과 다른 손실들과의 균형을 위한 파라미터이다.

는 객체가 있는 영역상자(BB)의 파라미터의 값을 가중하고, 객체가 없는 영역의 파라미터의 값을 덜 반영하기 위한 것이다. 즉,

는 객체가 있는 영역상자(BB)와 객체가 없는 영역 간의 균형을 위한 파라미터이다.

는 셀 i에 객체가 존재하는 경우를 나타낸다.

는 셀 i의 영역상자 j를 나타낸다. S represents the number of cells, and B represents the number of area boxes (BB) within one cell. also,

,

represents the coordinates of the center of the area box (BB),

and

represents the width and height of the area box (BB), respectively. dx, dy are the center coordinates of the ground truth box (GT), and w and h are the width and height of the ground truth box (GT). C is the reliability according to the ground truth box (GT).

is the predicted reliability indicating the probability that an object (defect part) exists in the j-th area box (BB) of the i-th cell. pi(c) is a hard code that indicates the type of defect to which the defect in the ground truth box (GT) belongs, and can be, for example, "(C01, C02, C03, C04)=(1, 0, 0, 0)" there is.

represents the conditional probability that the defect in the area box (BB) will be classified into the type of defect to which it belongs. Here, c is a class, that is, an index indicating the type of defect. For example, it can be calculated as “(C01, C02, C03, C04)=(0.700, 0.100, 0.110, 0.090)”. Here, i is an index indicating the cell in which the object exists, and j is an index indicating the predicted area box (BB).

and

is a hyperparameter.

is intended to further reflect the parameters for the area box (BB), and is a parameter for balancing the loss for the coordinates of the area box (BB) with other losses.

is intended to weight the value of the parameter of the area box (BB) where the object is located and to reflect less the value of the parameter of the area where the object is not. in other words,

is a parameter for balance between the area box (BB) with objects and the area without objects.

represents the case where an object exists in cell i.

represents area box j of cell i.

수학식 1의 첫 번째 및 두 번째 텀(term)은 검출모델(CM)에 의해 예측된 영역상자(BB)의 좌표

와, 학습하고자 하는 실측영역박스(GT)의 좌표(dx, dy, w, h)와의 차이를 나타내는 좌표 손실(coordinate loss)을 산출하기 위한 것이다. 또한, 수학식 1의 세 번째 텀은 셀 별 영역상자(BB)의 객체(결함 부분)의 존재 여부와 실측영역박스(GT)와의 차이를 나타내는 신뢰도 손실(confidence loss)을 산출하기 위한 것이다. 마지막으로, 수학식 1의 마지막 텀은 영역상자(BB) 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률인 분류확률[예컨대, "(C01, C02, C03, C04)=(0.700, 0.100, 0.110, 0.090)"]과 실측영역상자(GT) 내의 결함이 속하는 결함의 종류를 나타내는 하드 코드[예컨대, "(C01, C02, C03, C04)=(1, 0, 0, 0)"]와의 차이를 나타내는 분류 손실(classification loss)을 산출하기 위한 것이다. The first and second terms in Equation 1 are the coordinates of the area box (BB) predicted by the detection model (CM)

This is to calculate the coordinate loss that represents the difference with the coordinates (dx, dy, w, h) of the ground truth box (GT) to be learned. In addition, the third term of Equation 1 is for calculating the confidence loss that indicates the difference between the presence or absence of an object (defect part) in the area box (BB) for each cell and the measured area box (GT). Finally, the last term of Equation 1 is the classification probability, which is the conditional probability that the defect in the area box (BB) will be classified into the type of defect to which it belongs [e.g., "(C01, C02, C03, C04) = (0.700, 0.100, 0.110 , 0.090)"] and the hard code indicating the type of defect to which the defect in the ground truth box (GT) belongs [e.g., "(C01, C02, C03, C04)=(1, 0, 0, 0)"] This is to calculate a classification loss representing .

다음으로, 학습부(300)는 S250 단계에서 손실 함수를 통해 도출되는 손실이 최소가 되도록 검출모델(CM)의 가중치를 수정하는 최적화를 수행한다. 즉, 학습부(300)는 수학식 1의 손실 함수를 통해 도출되는 좌표 손실(coordinate loss), 분류확률 손실(confidence loss) 및 분류 손실(classification loss)을 포함하는 손실이 최소가 되도록 검출모델(CM)의 가중치를 수정하는 최적화를 수행한다. Next, the learning unit 300 performs optimization to modify the weights of the detection model (CM) so that the loss derived through the loss function is minimized in step S250. That is, the learning unit 300 creates a detection model ( Perform optimization to modify the weights of CM).

서로 다른 복수의 학습용 검사 영상 혹은 서로 다른 복수의 학습용 검사 영상의 배치(batch)를 이용하여 전술한 S220 단계 내지 S250 단계를 반복함으로써, 검출모델(CM)의 가중치의 갱신을 반복하여 학습을 완료한다. 그리고 이러한 반복은 소정의 조건을 만족할 때까지 반복된다. 일례로, 이러한 학습 완료의 조건은 좌표 손실(coordinate loss), 신뢰도 손실(confidence loss) 및 분류 손실(classification loss) 각각이 소정의 임계치 미만이면서 전체 손실(coordinate loss+confidence loss+classification loss)이 수렴하는 경우가 될 수 있다. 다른 예로, 학습 완료의 조건은 학습률을 미리 설정하고, 미리 설정된 학습률에 도달하는 것이 될 수 있다. By repeating steps S220 to S250 described above using a plurality of different learning inspection images or a batch of a plurality of different learning inspection images, learning is completed by repeating the update of the weight of the detection model (CM). . And this repetition is repeated until predetermined conditions are satisfied. For example, the condition for completing this learning is that each of the coordinate loss, confidence loss, and classification loss is less than a predetermined threshold and the total loss (coordinate loss+confidence loss+classification loss) converges. This may be the case. As another example, the condition for completing learning may be to pre-set the learning rate and reach the pre-set learning rate.

다음으로, 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 방법에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 학습 모델을 기초로 결함을 검출하기 위한 방법을 설명하기 위한 흐름도이다. Next, a method for detecting defects based on a learning model according to an embodiment of the present invention will be described. Figure 10 is a flowchart illustrating a method for detecting defects based on a learning model according to an embodiment of the present invention.

도 10을 참조하면, 영상처리부(400)는 S310 단계에서 방사선촬영부(100)가 결함이 발생한 영역 및 그 결함의 종류가 알려지지 않은 시험체의 밀도 및 두께에 대응하여 방사선의 조사량을 설정하도록 제어한다. 시험체의 밀도 및 두께에 대응하는 방사선의 조사량은 학습영상처리부(200)와 동일한 기준에 따라 결정되는 것이 바람직하다. Referring to FIG. 10, the image processing unit 400 controls the radiography unit 100 to set the irradiation dose of radiation in step S310 in response to the area where the defect occurs and the density and thickness of the test specimen for which the type of the defect is unknown. . It is preferable that the radiation dose corresponding to the density and thickness of the test object is determined according to the same standards as those of the learning image processing unit 200.

그런 다음, 영상처리부(400)는 S320 단계에서 방사선촬영부(100)가 결함이 발생한 영역 및 그 결함의 종류가 알려지지 않은 시험체에 방사선을 조사하여 방사선 영상을 촬영하도록 제어한다. Then, in step S320, the image processing unit 400 controls the radiography unit 100 to capture a radiographic image by irradiating radiation to a test object for which the area where the defect occurs and the type of the defect are unknown.

전술한 바와 같이, 방사선촬영부(100)는 시험체에 부착하여 시험체와 같이 촬영되는 투과도계(IQI; Image Quality Indicator)를 포함한다. 이에 따라, 영상처리부(400)는 S330 단계에서 도 5에 도시된 바와 같이, 투과도계(IQI; Image Quality Indicator)가 촬영된 부분(Q)을 검사하여 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되는지를 판별한다. As described above, the radiography unit 100 includes an image quality indicator (IQI) that is attached to a test object and takes images together with the test object. Accordingly, in step S330, the image processing unit 400 inspects the portion (Q) where the image quality indicator (IQI) was photographed, as shown in FIG. 5, and determines that the image quality of the radiological image is within the preset reference range. Determine if it works.

S330 단계의 판별 결과, 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되지 않으면, 영상처리부(400)는 방사선촬영부(100)가 방사선의 조사량을 재설정(증가/감소)하도록 제어하고, 전술한 S320 및 S330 단계를 반복한다. As a result of the determination in step S330, if the image quality of the radiation image is not within the preset reference range, the image processing unit 400 controls the radiography unit 100 to reset (increase/decrease) the radiation dose, and perform the above-described S320 and repeat steps S330.

반면, S330 단계의 판별 결과, 방사선 영상의 상질이 기 설정된 기준 범위 내에 포함되면, S340 단계로 진행한다. On the other hand, as a result of the determination in step S330, if the quality of the radiological image is within the preset reference range, the process proceeds to step S340.

영상처리부(400)는 S340 단계에서 방사선 영상의 명암을 소정 범위(예컨대, 0~255)로 정규하여 방사선 영상의 대비를 조정한다. 그런 다음, 영상처리부(400)는 S350 단계에서 대비가 조정된 방사선 영상의 히스토그램의 추이를 기초로 대비 조정된 방사선 영상에서 도 5에 도시된 바와 같이 용접부를 추출하여(점선으로 표시) 검사 영상(TI)을 생성한다. 검사 영상(TI)은 방사선 영상에서 시험체에 용접 작업이 이루어진 부분을 나타내는 용접부를 추출한 것이다. 방사선 영상은 감광된 정도에 따라 농도의 차가 생겨 특정상을 형성하는데 용접 작업이 이루어진 용접부는 다른 부위와 비교하면 상이한 명암을 가진다. 즉, 용접부의 명암은 다른 부위와 대비하여 상대적으로 어둡다. 따라서 명암의 차이를 더욱 강조하기 위해 대비를 조정한 후, 히스토그램의 추이를 이용하여 용접부를 검출할 수 있다. 더욱이, 영상처리부(400)는 학습영상처리부(200)가 학습용 검사 영상을 생성하는 방식과 동일한 방식으로, 기 설정된 기준 범위 내의 상질을 가지는 방사선 영상을 이용하여 검사 영상(TI)을 생성한다. 이에 따라, 검사 영상(TI)은 학습용 검사 영상과 마찬가지로, 일정한 품질(상질), 즉, 기 설정된 기준 범위 내의 상질을 가진다. 따라서, 검출모델(CM)의 연산 결과의 신뢰도가 향상된다. The image processing unit 400 adjusts the contrast of the radiation image by normalizing the contrast of the radiation image to a predetermined range (eg, 0 to 255) in step S340. Then, the image processing unit 400 extracts the welded portion (indicated by a dotted line) from the contrast-adjusted radiation image as shown in FIG. 5 based on the trend of the histogram of the contrast-adjusted radiation image in step S350 and produces an inspection image ( TI) is created. An inspection image (TI) is a welding portion extracted from a radiological image that represents the portion where welding work was performed on the test specimen. Radiation images form specific images due to differences in density depending on the degree of light sensitivity, and the welded area where welding work has been performed has a different contrast compared to other areas. In other words, the contrast of the welded area is relatively dark compared to other parts. Therefore, after adjusting the contrast to further emphasize the difference in light and dark, the weld zone can be detected using the trend of the histogram. Furthermore, the image processing unit 400 generates an inspection image (TI) using a radiology image with image quality within a preset reference range in the same manner as the learning image processing unit 200 generates an inspection image for learning. Accordingly, the inspection image TI, like the inspection image for learning, has a certain quality (quality), that is, quality within a preset reference range. Accordingly, the reliability of the calculation results of the detection model (CM) is improved.

전술한 바와 같은 방법으로 생성된 검사 영상은 검출부(500)에 제공된다. 그러면, 검출부(500)는 S360 단계에서 검사 영상을 학습된 검출모델(CM), 즉, 학습된 가중치를 가지는 검출모델(CM)에 입력한다. 즉, 검사부(500)는 도 6을 참조로 설명된 실시예와 같은 방법에 따라 학습이 완료된 검출모델(CM)에 검사 영상을 입력한다. The inspection image generated by the method described above is provided to the detection unit 500. Then, the detector 500 inputs the inspection image into a learned detection model (CM), that is, a detection model (CM) with learned weights, in step S360. That is, the inspection unit 500 inputs the inspection image to the detection model (CM) on which learning has been completed according to the same method as the embodiment described with reference to FIG. 6.

그러면, 검출모델(CM)은 S370 단계에서 검사 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행함으로써, 도 4에 도시된 바와 같이, 영역상자(BB: Bounding Box)(x, y, w, h) 및 분류확률(예컨대, C01=0.888, C02=0.101, C03=0.011)을 포함하는 객체 정보[예컨대, (x, y, w, h), C01=0.888, C02=0.101, C03=0.011]를 도출하고, 도출된 객체 정보를 포함하는 출력 영상(TO)을 출력한다. 이러한 영역상자(BB)는 학습된 객체가 차지하는 영역, 즉, 결함이 차지하는 영역을 정의한다. 이러한 영역상자(BB)는 중심 좌표(x, y), 폭(w) 및 높이(h)를 통해 학습된 객체, 즉, 결함이 차지하는 영역을 정의한다. 분류확률은 영역상자(BB) 내의 객체가 학습된 객체의 클래스로 분류될 조건부 확률을 나타낸다. 즉, 분류확률을 영역상자(BB) 내의 결함이 속하는 결함의 종류로 분류될 조건부 확률을 나타낸다. Then, the detection model (CM) performs a plurality of operations in which weights between a plurality of layers are applied to the inspection image in step S370, thereby generating a bounding box (BB) (x, y), as shown in FIG. 4. , w, h) and object information including classification probabilities (e.g., C01=0.888, C02=0.101, C03=0.011) [e.g., (x, y, w, h), C01=0.888, C02=0.101, C03 =0.011] is derived, and an output image (TO) containing the derived object information is output. This area box (BB) defines the area occupied by the learned object, that is, the area occupied by the defect. This area box (BB) defines the area occupied by the learned object, that is, the defect, through the center coordinates (x, y), width (w), and height (h). The classification probability represents the conditional probability that the object in the area box (BB) will be classified into the class of the learned object. In other words, the classification probability represents the conditional probability that the defect in the area box (BB) will be classified into the type of defect to which it belongs.

예컨대, 학습된 객체의 클래스, 즉, 결함의 종류는 기공(Porosity)(C01), 균열(Crack)(C02), 융합불량(Lack of fusion)(C03), 슬래그 혼입(Slag inclusion)(C04)이라고 가정한다. 이러한 경우, 영역상자(BB)(x, y, w, h)는 검사 영상에서 객체, 즉, 기공(Porosity)(C01), 균열(Crack)(C02), 융합불량(Lack of fusion)(C03), 슬래그 혼입(Slag inclusion)(C04) 중 어느 하나의 결함이 차지하는 영역을 정의한다. 분류확률은 영역상자(BB) 내의 결함이 기공(C01)일 확률, 균열(C02)일 확률, 융합불량(C03)일 확률 및 슬래그 혼입(C04)일 확률을 나타낸다. For example, the classes of learned objects, that is, types of defects, are Porosity (C01), Crack (C02), Lack of fusion (C03), and Slag inclusion (C04). Assume: In this case, the area box (BB) (x, y, w, h) represents objects in the inspection image, such as porosity (C01), crack (C02), and lack of fusion (C03). ), defines the area occupied by one of the defects in slag inclusion (C04). The classification probability indicates the probability that the defect in the area box (BB) is a pore (C01), a crack (C02), a fusion defect (C03), and a slag contamination (C04).

예를 들면, 도 3에 도시된 바와 같이, 검출모델(CM)이 출력한 객체 정보가 "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111"인 경우, 영역상자(BB) 내의 객체가 기공(C01)일 확률이 78%이고, 균열(C02)일 확률이 10%이고, 융합불량(C03)일 확률은 1%이고, 슬래그 혼입(C04)일 확률은 11%임을 나타낸다. For example, as shown in Figure 3, the object information output by the detection model (CM) is "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111" In the case, there is a 78% probability that the object in the area box (BB) is a pore (C01), a 10% probability that it is a crack (C02), a 1% probability that it is poor fusion (C03), and slag contamination (C04). This indicates that the probability is 11%.

검사부(500)는 S380 단계에서 검출모델(CM)이 도출한 객체 정보의 분류확률에 따라 결함의 종류를 검출하고, 영역상자(x, y, w, h)에 따라 결함이 차지하는 영역을 검출하고, 결함의 종류 및 결함이 차지하는 영역을 나타내는 검출 정보를 제공한다. 예를 들면, 객체 정보가 "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111"인 경우, 영역상자(BB) 내의 결함이 기공(Porosity)일 확률이 78%로 가장 높기 때문에 결함의 종류를 '기공'으로 검출하고, 영역상자에 따라 기공이 차지하는 영역을 (x, y, w, h)로 검출한다. The inspection unit 500 detects the type of defect according to the classification probability of object information derived by the detection model (CM) in step S380, detects the area occupied by the defect according to the area box (x, y, w, h), and , provides detection information indicating the type of defect and the area occupied by the defect. For example, if the object information is "(x, y, w, h), C01=0.777, C02=0.101, C03=0.011, C04=0.111", the defect within the area box (BB) may be a porosity. Since the probability is the highest at 78%, the type of defect is detected as 'pore', and the area occupied by the pore is detected as (x, y, w, h) according to the area box.

도 11은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 11의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 학습영상처리부(200), 학습부(300), 영상처리부(400), 검출부(500) 각각이거나, 이들(200, 300, 400, 500) 중 적어도 2 이상의 조합 등이 될 수 있다. Figure 11 is a diagram showing a computing device according to an embodiment of the present invention. The computing device (TN100) of FIG. 11 is one of the devices described in this specification, for example, the learning image processing unit 200, the learning unit 300, the image processing unit 400, and the detection unit 500, or each of these (200, 300, It may be a combination of at least two of 400, 500).

도 11의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다. In the embodiment of FIG. 11 , the computing device TN100 may include at least one processor TN110, a transceiver device TN120, and a memory TN130. Additionally, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, etc. Components included in the computing device TN100 may be connected by a bus TN170 and communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다. The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. Processor TN110 may be configured to implement procedures, functions, and methods described in connection with embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.Each of the memory TN130 and the storage device TN140 can store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transceiving device TN120 can transmit or receive wired signals or wireless signals. The transmitting and receiving device (TN120) can be connected to a network and perform communication.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above can be implemented in the form of a program readable through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the recording medium may be those specifically designed and constructed for the present invention, or may be known and available to those skilled in the art of computer software. For example, recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. It includes specially configured hardware devices to store and execute program instructions, such as magneto-optical media and ROM, RAM, and flash memory. Examples of program instructions may include machine language wires, such as those produced by a compiler, as well as high-level language wires that can be executed by a computer using an interpreter, etc. These hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred examples, these examples are illustrative and not limiting. As such, those of ordinary skill in the technical field to which the present invention pertains will understand that various changes and modifications can be made according to the theory of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

100: 방사선촬영부
200: 학습영상처리부
300: 학습부
400: 영상처리부
500: 검출부 100: Radiography department
200: Learning image processing unit
300: Learning Department
400: Image processing unit
500: detection unit

Claims

In a device for detecting defects,
A radiography unit that takes radiographic images by irradiating radiation to a test specimen where the area where the defect occurs and the type of defect are unknown;
an image processing unit that generates an inspection image by extracting a weld from the radiation image; and
An inspection unit that analyzes the inspection image through a detection model that is a fully learned learning model to detect the area where overlap occurs and the type of defect;
Characterized by including
A device for detecting defects.

According to paragraph 1,
The detection model is
By performing a plurality of operations in which weights between a plurality of layers are applied to the inspection image,
An area box that defines the area occupied by the defect in the inspection image through center coordinates, width, and height, and
Deriving the classification probability, which is the conditional probability that the defect in the area box will be classified into the type of defect to which it belongs,
The inspection department
Detecting the type of defect according to the classification probability and detecting the area occupied by the defect according to the area box
A device for detecting defects.

According to paragraph 1,
The image processing unit
Adjusting the contrast of the radiological image by normalizing the brightness and darkness of the radiological image to a predetermined range,
Characterized in generating an inspection image by extracting a weld from a contrast-adjusted radiology image based on the trend of the histogram of the contrast-adjusted radiology image.
A device for detecting defects.

According to paragraph 1,
The radiography department
It includes a penetrometer attached to the test object and photographed together with the test object,
The radiation dose is adjusted according to the density and thickness of the test object and the radiation is transmitted through the test object to generate a radiological image,
The image processing unit
Examining the area captured by the penetrameter in the radiological image to determine whether the image quality of the radiological image is higher than a preset standard value,
As a result of the determination, if the quality of the radiology image is greater than or equal to the reference value, the contrast of the radiology image is adjusted by normalizing the brightness and darkness of the radiology image to a predetermined range, and the contrast is adjusted based on the trend of the histogram of the contrast-adjusted radiology image. Extracts welds from radiological images and creates inspection images for learning.
As a result of the determination, if the image quality of the radiological image is less than the standard value, the radiography unit controls the radiation dose to re-photograph the test object.
A device for detecting defects.

According to paragraph 1,
The radiography department
It includes a penetrometer attached to the test object and photographed together with the test object,
The device is
Controlling the radiography unit to control the radiation dose according to the density and thickness of the test specimen for which the area where the defect occurs and the type of defect are known, irradiate the test specimen with radiation to generate a radiographic image for learning,
Examining the area captured by the penetrameter in the learning radiology image to determine whether the image quality of the learning radiology image is higher than a preset standard value,
As a result of the determination, if the image quality of the learning radiology image is equal to or higher than the standard value, extracting a weld from the learning radiology image to generate a learning inspection image,
As a result of the determination, if the quality of the radiological image is less than the standard value, the radiography unit controls the radiation exposure dose to be re-photographed.
Learning video processing unit;
Characterized by further comprising
A device for detecting defects.

According to paragraph 1,
Learning data consisting of a learning inspection image extracted from a learning radiology image of a weld, a measurement area box indicating the area occupied by a defect in the learning inspection image, and a label including a hard code indicating the type of defect to which the defect in the measurement area box belongs. prepare,
Input the learning inspection image into a detection model with weights for which learning has not been completed,
The detection model performs a plurality of operations to which a plurality of inter-layer weights are applied to the training inspection image to determine an area box predicting the area occupied by the defect and a conditional probability that the defect within the area box will be classified into the type of defect to which it belongs. Calculate object information including the classification probability,
When an output image for learning containing the calculated object information is derived,
Calculate a loss representing the difference between the object information of the training output image and the label through a loss function,
a learning unit that performs optimization by modifying the weights of the detection model so that the loss derived through the loss function is minimized;
Characterized by further comprising
A device for detecting defects.

According to clause 6,
The learning department
loss function

Calculate the loss through,
Where S is the number of cells,
B is the number of area boxes in one cell,
remind

and above

is the center coordinate of the area box,
The dx and the dy are the center coordinates of the actual measurement area box,
remind

is the width of the area box,
remind

is the height of the area box,
Where w is the width of the actual measurement area box,
Where h is the height of the actual measurement area box,
C is the reliability according to the actual measurement area box,
remind

is the predicted reliability,
The pi(c) is a hard code indicating the type of defect to which the defect in the actual measurement area box belongs,
remind

is the conditional probability that the defect in the area box will be classified into the type of defect it belongs to,
The i is an index indicating the cell in which the object exists,
Where j is the index of the area box,
remind

and above

is a hyperparameter,
remind

represents the case where an object exists in cell i,
remind

is characterized in that it represents the area box j of cell i.
A device for detecting defects.

In a method for detecting defects,
A radiography unit irradiates radiation to a test specimen for which the area where the defect occurs and the type of the defect are unknown, thereby capturing a radiological image;
generating an inspection image by an image processing unit extracting a weld from the radiation image; and
A step where the inspection unit analyzes the inspection image through a detection model, which is a fully learned learning model, to detect the area where overlap occurs and the type of defect;
Characterized by including
Method for detecting defects.

According to clause 8,
The step of detecting the area where the defect occurred and the type of defect is
The detection model performs a plurality of operations to which a plurality of inter-layer weights are applied to the inspection image, and the detection model includes an area box that defines the area occupied by the defect in the inspection image through center coordinates, width, and height. Deriving a classification probability, which is a conditional probability that the detection model will classify the defect within the area box as the type of defect to which it belongs; and
the inspection unit detecting the type of defect according to the classification probability and detecting the area occupied by the defect according to the area box;
Characterized by including
Method for detecting defects.

According to clause 8,
The step of generating the inspection image is
adjusting the contrast of the radiological image by the image processing unit normalizing the brightness and darkness of the radiological image to a predetermined range;
generating an inspection image by the image processing unit extracting a weld from the contrast-adjusted radiation image based on a trend of a histogram of the contrast-adjusted radiation image;
Characterized by including
Method for detecting defects.

According to clause 8,
The step of taking the radiological image is
The radiography unit adjusts the radiation dose according to the density and thickness of the test body and irradiates radiation to the test body to generate a radiographic image, and attaches a penetrameter to the test body and takes pictures together with the test body,
The step of generating the inspection image is
The image processing unit inspecting the area captured by the penetrameter in the radiological image to determine whether the image quality of the radiological image is higher than a preset standard value;
If, as a result of the determination, the image quality of the radiological image is greater than or equal to the reference value, the image processing unit adjusts the contrast of the radiological image by normalizing the brightness and darkness of the radiological image to a predetermined range, and monitors the trend of the histogram of the contrast-adjusted radiological image. A learning inspection image is created by extracting the weld from the contrast-adjusted radiological image as a basis.
As a result of the determination, if the image quality of the radiographic image is less than the reference value, controlling the radiography unit to re-photograph the test object by adjusting the radiation dose;
Characterized by including
Method for detecting defects.

According to clause 8,
Before taking the radiological image,
A learning image processing unit controls the radiography unit to adjust the radiation dose according to the density and thickness of the test specimen for which the area where the defect occurs and the type of defect are known, irradiating radiation to the test specimen to which a penetrameter is attached to generate a radiological image for learning. ;
The learning image processing unit inspects the area captured by the penetrameter in the learning radiology image to determine whether the image quality of the learning radiology image is equal to or higher than a preset standard;
If, as a result of the determination, the image quality of the learning radiology image is greater than or equal to the standard value, the learning image processing unit extracts a weld from the learning radiology image and generates a learning inspection image,
As a result of the determination, if the image quality of the radiographic image is less than the reference value, controlling the radiography unit to re-photograph the test object by adjusting the radiation dose;
Characterized by further comprising
Method for detecting defects.

According to clause 8,
Before taking the radiological image,
The learning unit consists of a learning inspection image extracted from a learning radiology image of a weld, a measurement area box indicating the area occupied by a defect in the learning inspection image, and a label including a hard code indicating the type of defect to which the defect in the measurement area box belongs. preparing data;
The learning unit inputs the learning inspection image into a detection model with weights for which learning has not been completed,
The detection model performs a plurality of operations to which a plurality of inter-layer weights are applied to the training inspection image to determine an area box predicting the area occupied by the defect and a conditional probability that the defect within the area box will be classified into the type of defect to which it belongs. Calculate object information including the classification probability,
When an output image for learning containing the calculated object information is derived,
The learning unit calculating a loss representing the difference between the object information of the output image for learning and the label through a loss function; and
The learning unit performing optimization to modify the weights of the detection model so that the loss derived through the loss function is minimized;
Characterized by further comprising
Method for detecting defects.