KR102621156B1 - 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 - Google Patents
인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102621156B1 KR102621156B1 KR1020210093091A KR20210093091A KR102621156B1 KR 102621156 B1 KR102621156 B1 KR 102621156B1 KR 1020210093091 A KR1020210093091 A KR 1020210093091A KR 20210093091 A KR20210093091 A KR 20210093091A KR 102621156 B1 KR102621156 B1 KR 102621156B1
- Authority
- KR
- South Korea
- Prior art keywords
- weld
- data
- inspection
- image data
- risk
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 150
- 238000003466 welding Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 37
- 230000007547 defect Effects 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 239000011324 bead Substances 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 10
- 238000001931 thermography Methods 0.000 claims description 10
- 238000007635 classification algorithm Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 62
- 238000012502 risk assessment Methods 0.000 description 32
- 238000012795 verification Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0014—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation from gases, flames
- G01J5/0018—Flames, plasma or welding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Mathematical Physics (AREA)
- Analytical Chemistry (AREA)
- Plasma & Fusion (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
Abstract
본 발명에 따른 인공지능을 이용하여 위험도를 평가하는 용접 검사 방법은 카메라 및 라이다 센서를 이용하여 용접 비드를 인식하는 용접부 인식 단계; 상기 인식된 용접 비드에 대하여 이미지 인식 및 좌표 인식을 통해 용접부의 결함 종류를 식별하고 인공지능으로 평가 분석하는 데이터 처리 단계; 및 기준 관리 정보를 조회하여 인공지능 기반의 RBI(Risk Based Inspection) 위험도를 산출하는 위험도 산출 단계를 포함하며, 용접부 인식 단계는 라이다 센서에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부를 인식하고 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 동일성 여부를 검증하는 단계를 더 포함하는 것을 특징으로 한다.
Description
본 발명은 용접 검사 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 인공지능 기반 플랫폼에서 현장 작업자와 안전 관리자 간의 현장 데이터와 위험도를 평가하고 예측 가능한 용접 검사 시스템 및 그 방법에 관한 것이다.
일반적으로 용접은 2가지 고체 재료 사이에 직접 원자간 결합이 이루어지게 하여 접합시키는 것으로서, 금속 재료를 접합하는데 많이 이용되고 있다.
종래에는 숙련된 작업자가 용접 비드를 외측에서 육안으로 직접 검사하여 용접의 완전성 및 결함유무를 판별하였으나, 작업자의 숙련도 및 작업 컨디션에 따라 결함 판별능력이 상이하고, 객관화되지 못하며 검사비용이 증가하는 문제점이 있다.
이에 카메라를 이용하여 용접비드 이미지를 촬영하거나, 용접비드 표면에 레이저빔을 조사하여 용접비드의 결함유무를 판별하는 검사방법이 사용되고 있으나, 단순히 카메라와 레이저를 이용하여 결함유무를 판별하는 경우에는 정밀한 검사가 불가능한 문제점이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 경기도경제과학진흥원(부처명, 과제관리기관명)의 2021년 대중소기업 동반성장 R&D 지원 사업(연구사업명)의 일환으로, ‘연구과제명: 인공지능 기반의 Risk 관리 시스템 및 Edge Computing 시제품 제작(과제번호: H2021006, 연구기간: 2021.9.1 ~ 2022.8.31)’ 주식회사 씨피에스(과제수행기관명)에 의해 개발된 기술이다.
본 발명은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하도록 하고, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공하고자 한다.
본 발명은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하도록 하고, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공하고자 한다.
본 발명은 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하도록 하고자 한다.
또한, 본 발명은 용접부에 대한 초음파 검사, 열화상 탐상, 방사성 검사를 통해 용접부 내부의 결함 위치를 보다 정확하게 파악할 수 있도록 하고, 검출된 불량의 종류별 위험도를 산정하여, 산정된 위험도(예: 유/무, 상/중/하 또는 위험도 N%)를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 조건, 자재 조건 등 기타 여러 조건에 따른 리스크 예측 및 알림을 제공하고자 한다.
또한, 일반적으로 반도체 공장은 약 3만개의 용접 포인트(point)를 가지고 있는데, 기존 용접 품질 검사 방식으로는 하루 약 100 포인트(point) 정도가 가능하였으나, 본 발명에 따른 용접 부위 검시 시스템을 이용하여 하루 약 1000 포인트 이상을 검사함으로써 전체 포인트(point) 검사 기간을 1/10 이하로 단축시키고자 한다.
또한, 본 발명은 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud Data), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있도록 하고자 한다.
그 뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하도록 하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮추며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시키고자 한다.
전술한 문제를 해결하기 위한 본 발명은 용접 부위를 검사하는 장치를 이용한 용접 검사 방법에 관한 것으로, 용접부 인식 단계; 데이터 처리 단계; 및 위험도 산출 단계를 포함하며, 구체적으로 라이다 센서(Lidar Sensor)에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부를 인식하는 단계; 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 및 머신러닝 알고리즘을 통해 학습한 데이터와 상기 용접부의 외관을 검사한 데이터를 저장하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부를 인식하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 용접부를 인식하는 단계 또는 카메라에서 촬영된 이미지 데이터에 R-CNN(Regions with Convolutional Neural Network)를 적용하여 용접부를 인식하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 및 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 딥러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 라이다 센서에서 획득한 3D 이미지 데이터에 대해 파이썬(Python)의 OpenGL을 이용한 알고리즘 커널 파싱을 통해 전처리하는 단계; 및 머신러닝 알고리즘을 통해 용접부를 식별하고 용접부의 3D 이미지 데이터를 필터링 한 후, 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합을 판정하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부를 인식하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud Data)를 생성하고 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식하거나, 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식하는 단계; 상기 포인트 클라우드 데이터에 상기 이미지 데이터를 융합시키고 용접 비드 부분을 특정하는 단계; 및 상기 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud Data)와 상기 용접 비드 부분의 이미지 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접 비드 부분에 대하여 생성된 상기 포인트 클라우드 데이터와 상기 이미지 데이터를 이용해 불량을 검출하는 단계; 및 상기 검출된 불량의 종류별 위험도를 산정하는 단계를 포함하고, 상기 데이터를 저장하는 단계는 검출된 불량 데이터와, 상기 산정된 위험도를 데이터베이스에 저장하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부의 외관을 검사한 이후에, 상기 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사하여, 상기 용접부의 내부를 검사하는 단계를 더 포함하고, 용접부의 내부를 검사하는 단계는 상기 용접부의 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부의 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하는 단계; 상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하는 단계; 및 상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하는 단계를 포함할 수 있다.
본 발명의 다른 일실시예에 따르면, 데이터를 저장하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터와 상기 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 상기 데이터베이스에 저장할 수 있다.
본 발명에 따른 용접 검사 시스템은 시공사의 안전 관리자와 현장 작업자로부터 검수 대상 데이터를 포함하는 현장관리 정보를 입력 받고, 용접 품질 검수 요청을 포함하는 현장관리 정보를 접수하여 발주처의 고객 안전 점검자, 신규 FAB(공장)의 현장 감리요원, 기존 FAB(공장)의 현장 담당자에게 제공하는 용접검사 시스템; 용접 품질 검수 정보가 포함되는 현장관리 정보를 저장하는 데이터베이스; 및 상기 현장관리 정보를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 하는 인공지능 서버를 포함하여 구성될 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 데이터베이스는 용접부의 외관검사를 진행하여 획득한 용접 품질 검사 데이터를 저장하고, 상기 인공지능 서버는 상기 용접 품질 검사 데이터를 통해 획득한 데이터를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 할 수 있다.
본 발명에 따른 용접 검사 시스템 및 그 방법은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하며, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공할 수 있다.
본 발명에 따르면 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하다.
또한, 본 발명에 따르면 용접부에 대한 결함 여부를 보다 정확하게 파악할 수 있으며, 검출된 불량의 종류를 식별하여 분류 및 평가하며, 인공지능 기반으로 산출된 RBI 위험도를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 조건, 자재 조건 등 기타 여러 조건에 따른 리스크 예측 및 알림을 제공할 수 있다.
또한, 일반적으로 기존 용접 품질 검사 방식 대비 본 발명에 따른 용접 부위 검시 시스템은 전체 포인트(point) 약 3만개를 검사하는 기간을 약 1/10 이하로 단축시킬 수 있다.
또한, 본 발명에 따르면 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud Data), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부를 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있다.
뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮출 수 있으며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 용접 검사 방법을 전체적으로 설명하기 위한 흐름도이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 용접 검사 전체 시스템을 개략적으로 설명하기 위한 도면이다.
도 6 내지 도 13은 본 발명에 따른 용접 검사 방법에 의해 검출되는 용접부의 불량의 종류를 도시한 도면이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 용접 검사 전체 시스템을 개략적으로 설명하기 위한 도면이다.
도 6 내지 도 13은 본 발명에 따른 용접 검사 방법에 의해 검출되는 용접부의 불량의 종류를 도시한 도면이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 용접 검사 방법을 전체적으로 설명하기 위한 흐름도이고, 도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.
이후부터는 도 1을 참조하여 일실시예에 따른 용접 검사 방법을 설명하기로 한다.
본 발명에 따른 용접 검사 방법은 용접 부위를 검사하는 장치를 이용한 용접 검사 방법에 관한 것으로, 용접부 인식 단계; 데이터 처리 단계; 및 위험도 산출 단계를 포함하며, 보다 구체적으로 라이다 센서(Lidar Sensor), 카메라 및 제어 검사 모듈을 포함하여 구성되는 용접 부위 검사 장치를 이용하여 용접 부위를 검사할 수 있다. 이때, 제어 검사 모듈 또는 용접 부위 검사 장치는 스마트 단말, 컴퓨터 단말 또는 별도의 전용 단말 등의 장치로 구성될 수 있다.
먼저, 도 1에서와 같이 용접부 인식 단계에서는 카메라에서 촬영을 통해 이미지 데이터를 생성하며, 한편 라이다 센서(Lidar Sensor)에서 3D 스캐너 이미지 데이터를 획득하고, 포인트 클라우드 데이터를 생성하며, 라이다 센서(Lidar Sensor)에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부의 용접 비드를 인식한다. 이때 동일성 검증 단계를 통하여 용접 비드 데이터로 인식하거나 또는 기존과 동일한 데이터로 인식할 수 있다.
이와 같은 용접부의 인식 이후에는, 상기 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 정밀 검사할 수 있다.
외관 검사를 통하여 검출된 용접부의 결함부위의 위치의 데이터는 결함 종류를 식별하여 분류되며, 인공지능 평가를 통해 외관검사 분석 결과 데이터가 데이터베이스에 저장될 수 있으며, 이후 리스크 예측과 알림에 활용될 수 있다.
이때, 상기 용접부의 외부의 결함 종류 및 위치 데이터가 저장될 수 있으며(아울러 내부 검사까지 이루어진 경우에는 내부의 결함 종류 및 위치 데이터도 포함), 이와 같이 검사를 통해 얻은 결과 불량 정보를 파악하기 위해 데이터를 조회하는데, 기준정보를 조회하여 용접 시방서, 태그(tag) 정보, 용접 작업자 정보, 유틸리티 및 자재 기준정보 등을 조회한 후에 인공지능 기반으로 RBI(Risk Based Inspection) 위험도를 평가하여, 산출된 위험도 분석 데이터를 저장하고 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 기타 여러 조건에 따른 리스크 예측에 활용할 수 있다.
이후부터는 도 2 내지 도 4를 참조하여 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기로 한다.
도 2를 참조하면, 용접부 인식 과정으로서, 검사 장비에서는 카메라에서 촬영된 이미지 데이터를 생성하고, 추가적으로 R-CNN(Regions with Convolutional Neural Network), Faster R-CNN, Mask R-CNN 등을 적용하여 용접부를 인식할 수도 있으며, 라이다 센서에서는 획득한 3D 스캐너 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 포인트 클라우드 데이터를 생성할 수 있으며, 용접부의 비드를 인식한 후 AI 기반 동일성 검증 단계를 통하여 용접 비드 데이터로 인식하거나 또는 기존과 동일한 데이터로 인식할 수 있다.
외관 검사 과정으로서 용접부에 대하여 카메라에서 촬영된 이미지에 CNN 머신러닝 알고리즘을 적용하여 용접부의 외관을 검사하고, 용접부에서 라이다 센서에서 획득한 3D 이미지에 대해 머신러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수도 있다.
또한, 이와 같은 외관 검사 과정의 이후에는, 내부 검사 과정이 이루어질 수 있는데 즉, 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사를 통해 용접부의 내부까지도 검사할 수 있다.
보다 상세하게 설명하면, 용접부를 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부를 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하여 용접부의 내부를 검사할 수 있다.
또한, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하여 용접부의 내부를 검사할 수도 있다.
또한, 상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하여 용접부의 내부를 검사할 수도 있다.
이후에는, 이러한 라이다 센서에서 획득한 3D 이미지 데이터와 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 정확한 위치를 파악할 수 있다.
이와 같은 용접부의 결함부위의 위치 데이터는 데이터베이스에 저장될 수 있으며, 이때 용접부의 결함 종류 및 위치 데이터가 함께 저장될 수 있다.
또한, 외관 검사 과정에서 카메라에서 촬영된 용접부 이미지에 대하여 딥러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수 있는데 라이다 센서에서 3D 정밀 스캔을 실시하여 3D 이미지 데이터를 획득하고 획득한 3D 이미지 데이터에 파이썬(Python)의 OpenGL을 이용하여 알고리즘 커널 파싱을 통해 전처리할 수 있으며, 이후에는 머신러닝 알고리즘을 통해 용접부를 식별하고, 용접부의 3D 이미지 데이터를 필터링 한 후에 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합 등을 판정할 수 있다
도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 발명의 다른 일실시예에 따른 용접부의 인식 시에는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud Data)를 생성하고, 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식할 수 있다.
이때, 전체 포인트 클라우드 데이터(Point Cloud Data)에서 인식하고자 하는 목표물인 용접 비드의 정확한 모양과 좌표 등을 확인하여 용접 비드 포인트 클라우드 데이터(Point Cloud Data)를 특정할 수 있다.
또한, 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식할 수 있으며 이때, 이미지 분할(Image Segmentation)을 통해 인식하고자 하는 목표물의 정확한 모양, 사이즈, 이미지상의 좌표 등을 확인하여 용접 비드의 이미지 데이터(pixel)를 특정할 수 있다.
이후에는, 포인트 클라우드 데이터에 이미지 데이터를 융합시키고, 용접 비드 부분을 특정할 수 있으며, 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud Data)와 상기 용접 비드 부분의 이미지 데이터를 생성하여 저장할 수 있다.
이와 같은 용접부의 인식 이후에는, 라이다 센서에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수 있다.
본 발명의 다른 일실시예에 따른 외관 검사 시에는, 용접 비드 부분에 대하여 생성된 상기 이미지 데이터와 상기 포인트 클라우드 데이터(Point Cloud Data)를 이용해 불량을 검출하며, 이때 상기 포인트 클라우드 데이터를 이용해 포인트 클라우드(Point Cloud) 이미지화 데이터를 생성하여 불량 검출에 사용할 수 있다.
도 6 내지 도 13은 본 발명에 따른 용접 검사 방법에 의해 검출되는 용접부의 불량의 종류를 도시한 도면이다.
기준에 따라, 도 6 내지 도 13에 도시된 용접부(용접 비드)의 불량을 검출하고, 상기 검출된 불량의 종류별 위험도를 산정할 수 있다. 도 6은 크랙(crack), 도 7은 언더 컷(under cut), 도 8은 오버랩(overlap), 도 9는 스패터(spatter), 도 10은 기공(porosity), 도 11은 슬래그 혼입(slag inclusion), 도 12는 용입 불량(incomplete fusion), 도 13은 피트(pit)를 도시하고 있다.
이와 같이 검출된 용접부(용접 비드)의 결함 데이터와, 산정된 위험도를 데이터베이스에 저장할 수 있다. 이때 예를 들면 상, 중, 하와 같은 방식으로 산정할 수 있는데, 상 위험도는 즉각 조치 또는 내부검사 시행 후 조치가 필요한 경우이고, 중 위험도는 내부검사를 시행해야 하는 경우이며, 하 위험도는 상태가 양호한 경우 등일 수 있다.
그러므로 본 발명에 따른 용접 검사 방법은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하며, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공할 수 있다.
또한, 본 발명에 따르면 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하다.
또한, 용접부에 대한 초음파 검사, 열화상 탐상, 방사성 검사를 통해 용접부 내부의 결함 위치를 보다 정확하게 파악할 수 있으며, 검출된 불량의 종류별 위험도(예: 상/중/하 또는 위험도 10%, 80% 등)를 산정하여, 산정된 위험도를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 기타 여러 조건에 따른 리스크 예측 및 알림을 제공할 수 있다.
즉, 위와 같이 외관 검사를 통해 얻은 결과, 용접부의 불량 정보를 파악하기 위해 데이터를 조회하고, 기준 관리 정보에서 용접 시방서, 태그(tag) 정보, 용접 작업자 정보, 유틸리티 및 자재 기준정보 등을 조회한 후에 인공지능 기반으로 RBI(Risk Based Inspection) 위험도를 평가하여, 산출된 위험도 분석 데이터를 저장하고 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 등 여러 조건에 따른 리스크 알림에 활용됨으로써, 평가자가 다음 점검 대상에 대해 빠르게 피드백 받을 수 있다.
도 5는 본 발명의 일실시예에 따른 용접 검사 시스템을 설명하기 위한 도면으로서, 본 발명의 일실시예에 따른 용접 검사 시스템은 클라우드 플랫폼으로 구성될 수 있다.
먼저, 도 5를 참조하면 현장 작업자(501)는 용접 관리 시스템(510)의 관리 시스템(511)을 통해 현장 작업 정보를 현장/안전 관리 DB(520)에 저장한다.
감리요원(502)은 관리 시스템(511)을 통해 현장 작업 정보를 현장/안전 관리 DB(520)로부터 확인할 수 있으며, 감리요원(502)은 현장 작업 정보를 통해 데이터 수집을 실시한다. 이때, 설치 전(외부 Shop)은 공장 외부에서 용접 작업을 실시한 후 설치하기 전에 용접부 검사를 실시해야 하는 시점을 말하고, 설치 전(내부 Shop)은 공장 내부에서 용접 작업을 실시한 후 설치하기 전에 용접부 검사를 실시해야 하는 시점을 말하고, 설치 후는 공장 외부 또는 내부에서 실시한 용접 작업물 설치 후 용접부 검사를 실해해야 하는 시점을 말한다.
이후, 감리요원(502)은 휴대장비(520)를 이용하여 용접부의 외관 검사로서 카메라와 3D 스캔을 통한 검사를 실시한다. 이때 불량 시 또는 위험도 평가에 따라 내부검사를 실시하며, 이와 같이 검사를 실시하여 얻은 데이터를 현장 위험도 데이터 DB(530)에 저장한다.
현장 안전관리 인공지능(541)은 현장 검사 데이터 DB(550)와 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 현장 안정 정보를 생성하여 현장/안전 관리 DB(520)에 저장한다.
인공지능 서버(540)의 감리 인공지능(542)는 감리 기준관리 감리 결과 DB(560)로부터 감리 기준 관리 정보를 가져오고 현장 검사 데이터 DB(550)와, 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 감리 결과 정보를 생성하여 감리 기준관리 감리 결과 DB(560)에 저장한다.
위험도평가 인공지능(543)는 위험도 평가 기준관리 위험도 평가 DB(570)로부터 위험도 평가 기준 관리 정보를 가져오고 현장 검사 데이터 DB(550)와 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 위험도 평가 정보를 생성하여 위험도 평가 기준관리 위험도 평가 DB(570)에 저장한다.
발주처(580)의 고객 안전 점검자(581)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 동일성 검증 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 위험도 평가 기준 관리를 할 수 있다.
또한, 시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 현장 관리 정보와 작업 정보를 입력할 수 있다.
감리요원(502)은 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 감리 기준 관리를 할 수 있다.
이후, 동일성 검증 보이콧 인공지능은 현장 검사 데이터 DB(550) 로부터 데이터를 가져와 신규 데이터와 기존 데이터를 비교하여 동일성을 검증한다. 동일성을 검증하며 데이터 복제, 수정, 날조 등의 결과가 의심되면 해당 데이터를 동일성 검증 DB(590)에 격리한다.
발주처(580)의 고객 안전 점검자(581)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 동일성 검증 DB(590)의 정보를 받아 데이터의 복제, 수정, 날조 등의 결과를 확인할 수 있다.
사고/안전 위험도 예측 인공지능(545)는 현장 검사 데이터 DB(550), 현장 위험도 데이터 DB(530), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)로부터 데이터를 받아 사고, 안전, 위험도를 분석 및 예측하여 사고/안전 위험도 예측 DB(595)에 저장한다.
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 내/외부 shop장 반입전 용접 품질 검사를 방법을 설명한다.
시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 현장(내/외부shop장)에서 현장관리 정보(용접 품질 검수 요청)를 용접검사 시스템(510)에 입력한다. 이때, 현장관리 정보(용접 품질 검수 요청)에는 검수 대상 데이터를 첨부한다.
용접 검사 시스템(510)에 접수된 현장관리 정보(용접 품질 검수 요청)는 발주처(580)의 고객 안전 점검자(581)와 신규 FAB(공장)의 현장 감리요원(502)과, 기존 FAB(공장)의 현장 담당자에게 통보된다.
현장/안전 관리 DB(520)에는 현장관리 정보(용접 품질 검수)가 자동으로 저장된다.
인공지능(540)는 현장/안전 관리 DB(520)의 데이터 분석(학습)을 통해 얻은 결과 데이터를 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다.
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 반입/시공후 용접 품질 검사 방법을 설명한다.
시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 현장에서 현장관리 정보(용접 품질 검수 요청)를 용접검사 시스템(510)에 입력한다.
용접 검사 시스템(510)에 접수된 현장관리 정보(용접 품질 검수 요청)는 발주처(580)의 고객 안전 점검자(581)와 신규 FAB(공장)의 현장 감리요원(502)과, 기존 FAB(공장)의 현장 담당자에게 통보된다.
현장 감리요원(502)은 용접부의 외관검사를 진행하며, 휴대장비(520)(카메라, 3D 스캐너)를 통해 용접 품질 검사한 데이터는 현장 검사 데이터 DB(550)에 자동 저장되고, 인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를, 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다.
또한, 외관검사시 문제가 있는 데이터가 있는 경우, 내부검사를 진행하고 내부검사 결과 데이터는 현장 검사 데이터 DB(550)에 자동 저장되고, 인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를, 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 유지 관리 방법을 설명한다.
기존 FAB(공장)의 용접품질검사는 일괄 검사와 정기검사(TIMET스탬프 데이터)로 진행하고 FAB(공장)의 용접포인트의 데이터 수집(형상정보)을 하여 외관검사를 진행하고, 그 데이터는 감리 기준관리 감리 결과 DB(560)와 현장 검사 데이터 DB(550)에 자동 저장된다.
인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 확인하여 공장 유지보수 기준에 적용하여 관리한다.
아울러, 본 발명에 따른 검사 및 위험도 산정 인공지능(546), 현장 안전관리 인공지능(541), 사고/안전 위험도 예측 인공지능(545), 감리 인공지능(542), 위험도 평가 인공지능(543)은 모두 시방서 기준과 현장 검사 데이터에 기반하여 작동한다.
이상, 본 발명에 따르면 기존 용접 품질 검사 방식의 하루 약 100 포인트(point) 정도의 검사 능력 대비 본 발명에 따른 용접 부위 검시 시스템을 이용하면 동일 시간에 검사할 수 있는 용접부위 포인트가 10배 이상 늘어날 수 있다.
또한, 본 발명에 따르면 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud 데이터), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있다.
뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮출 수 있으며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시킬 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (8)
- 인공지능을 이용하여 위험도를 평가하는 용접 검사 방법에 있어서,
카메라 및 라이다 센서를 이용하여 용접 비드를 인식하는 용접부 인식 단계;
상기 인식된 용접 비드에 대하여 이미지 인식 및 좌표 인식을 통해 용접부의 결함 종류를 식별하고 인공지능으로 평가 분석하는 데이터 처리 단계; 및
기준 관리 정보에서 용접 시방서, 태그(tag) 정보, 용접 작업자 정보, 유틸리티 및 자재 기준정보를 조회하여 인공지능 기반의 RBI(Risk Based Inspection) 위험도를 산출하는 위험도 산출 단계를 포함하며,
상기 용접부 인식 단계는, 라이다 센서에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부를 인식하고 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 동일성 여부를 검증하는 단계를 더 포함하고,
상기 용접부 인식 단계는,
상기 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 용접부를 인식하는 단계; 또는
상기 카메라에서 촬영된 이미지 데이터에 R-CNN(Regions with Convolutional Neural Network)를 적용하여 용접부를 인식하는 단계를 포함하고,
상기 용접부의 외관을 검사한 이후에, 상기 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사하여, 상기 용접부의 내부를 검사하는 단계를 더 포함하고,
상기 용접부의 내부를 검사하는 단계는,
상기 용접부의 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부의 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하는 단계;
상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하는 단계; 및
상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하는 단계;를 포함하는 것을 특징으로 하는 용접 검사 방법.
- 삭제
- 삭제
- 청구항 1에 있어서,
데이터 처리 단계는,
용접 비드 인식을 통하여 검출된 용접부의 결함 종류를 식별하여 분류되고, 인공지능 평가를 통해 분석된 결과 데이터를 데이터베이스에 저장하며,
상기 라이다 센서에서 획득한 3D 이미지 데이터와 상기 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 상기 데이터베이스에 결함 종류 및 위치 데이터를 함께 저장하는 것을 특징으로 하는 용접 검사 방법.
- 청구항 1에 있어서,
상기 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 딥러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계;
라이다 센서에서 획득한 3D 이미지 데이터에 대해 파이썬(Python)의 OpenGL을 이용한 알고리즘 커널 파싱을 통해 전처리하는 단계; 및
머신러닝 알고리즘을 통해 용접부를 식별하고 용접부의 3D 이미지 데이터를 필터링 한 후, 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합을 판정하는 단계를 더 포함하는 용접 검사 방법.
- 청구항 1에 있어서,
상기 용접부 인식 단계는,
상기 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud 데이터)를 생성하고 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식하거나, 상기 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식하는 단계;
상기 포인트 클라우드 데이터에 상기 이미지 데이터를 융합시키고 용접 비드 부분을 특정하는 단계; 및
상기 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud 데이터)와 상기 용접 비드 부분의 이미지 데이터를 생성하는 단계를 더 포함하는 용접 검사 방법.
- 청구항 6에 있어서,
상기 용접 비드 부분에 대하여 생성된 상기 포인트 클라우드 데이터와 상기 이미지 데이터를 이용해 불량을 검출하는 단계; 및
상기 검출된 불량의 종류별 RBI 위험도를 산정하는 단계를 더 포함하고,
상기 검출된 불량 데이터와 상기 산정된 위험도를 데이터베이스에 함께 저장하는 단계를 포함하는 용접 검사 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (ko) | 2021-07-15 | 2021-07-15 | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (ko) | 2021-07-15 | 2021-07-15 | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230013206A KR20230013206A (ko) | 2023-01-26 |
| KR102621156B1 true KR102621156B1 (ko) | 2024-01-05 |
Family
ID=85110478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (ko) | 2021-07-15 | 2021-07-15 | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102621156B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116908219B (zh) * | 2023-07-25 | 2024-02-23 | 南京中旭电子科技有限公司 | 基于霍尔传感器的异常数据检测方法及装置 |
| CN117152161B (zh) * | 2023-11-01 | 2024-03-01 | 山东迪特智联信息科技有限责任公司 | 一种基于图像识别的刨花板质量检测方法及系统 |
| KR102702368B1 (ko) * | 2023-12-04 | 2024-09-04 | 민병진 | 차량 아크용접 품질 모니터링 시스템 및 방법 |
| CN118067727B (zh) * | 2024-04-19 | 2024-06-21 | 太仓点石航空动力有限公司 | 一种转子焊接缺陷评定方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102221617B1 (ko) * | 2019-10-01 | 2021-03-03 | 주식회사 에스아이웨어 | 용접부의 결함 검출을 위한 핸드헬드 타입의 초음파 스캐너 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108953B1 (ko) * | 2018-05-16 | 2020-05-11 | 한양대학교 산학협력단 | 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템 |
| KR20210061540A (ko) * | 2019-11-20 | 2021-05-28 | 센서기술 주식회사 | 라이다 및 카메라를 구비하는 장치 |
| KR102396329B1 (ko) * | 2019-12-26 | 2022-05-10 | 주식회사 딥인스펙션 | 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 |
-
2021
- 2021-07-15 KR KR1020210093091A patent/KR102621156B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102221617B1 (ko) * | 2019-10-01 | 2021-03-03 | 주식회사 에스아이웨어 | 용접부의 결함 검출을 위한 핸드헬드 타입의 초음파 스캐너 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230013206A (ko) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102621156B1 (ko) | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 | |
| US10712924B2 (en) | Non-contacting monitor for bridges and civil structures | |
| US20220084186A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
| KR102022496B1 (ko) | 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법 | |
| US20230274407A1 (en) | Systems and methods for analyzing weld quality | |
| CN102441737A (zh) | 用于确定焊缝端部的形状的设备和方法 | |
| KR102080462B1 (ko) | 딥러닝에 기반한 도로 안전 진단과 관리 방법 및 시스템 | |
| CN109559304A (zh) | 用于工业视觉检测的图像品质在线评估方法、装置及应用 | |
| Chu et al. | A study on welding quality inspection system for shell-tube heat exchanger based on machine vision | |
| Karim et al. | Modeling and simulation of a robotic bridge inspection system | |
| CN115496728A (zh) | 一种密封钉缺陷检测方法及系统 | |
| CN117120951A (zh) | 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置 | |
| US7822273B1 (en) | Method and apparatus for automatic corrosion detection via video capture | |
| CN112666254A (zh) | 基于智能视觉和大数据的玻璃幕墙服役状态的主动安全检测方法 | |
| Kim et al. | Automatic detection of malfunctioning photovoltaic modules using unmanned aerial vehicle thermal infrared images | |
| KR20240064037A (ko) | 피로 테스트를 통해 물체의 표면 결함 및 브레이크 디스크의 크랙을 인공 지능에 의해 식별 및 특성화하는 방법 | |
| Safa et al. | An integrated quality management system for piping fabrication using 3D laser scanning and photogrammetry | |
| Ferguson et al. | Automated Painting Survey, Degree of Rusting Classification, and Mapping with Machine Learning | |
| KR102022494B1 (ko) | 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 | |
| KR20220107540A (ko) | 3차원 모델을 통한 인공지능 기반 안전진단 장치 및 그 방법 | |
| US11965728B2 (en) | Intelligent piping inspection machine | |
| Kegelmeyer et al. | Optimizing blocker usage on NIF using image analysis and machine learning | |
| Carpenter | Artificial-Intelligence and Machine-Learning Technique for Corrosion Mapping | |
| US20240053287A1 (en) | Probability of detection of lifecycle phases of corrosion under insulation using artificial intelligence and temporal thermography | |
| WO2023112497A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |