KR102518051B1 - 센서 융합을 이용한 용접부 결함 검출 방법 - Google Patents

센서 융합을 이용한 용접부 결함 검출 방법 Download PDF

Info

Publication number
KR102518051B1
KR102518051B1 KR1020210178263A KR20210178263A KR102518051B1 KR 102518051 B1 KR102518051 B1 KR 102518051B1 KR 1020210178263 A KR1020210178263 A KR 1020210178263A KR 20210178263 A KR20210178263 A KR 20210178263A KR 102518051 B1 KR102518051 B1 KR 102518051B1
Authority
KR
South Korea
Prior art keywords
magnetic field
information
welding
quality
inspection
Prior art date
Application number
KR1020210178263A
Other languages
English (en)
Inventor
이영우
김한진
Original Assignee
(주)에이치씨엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이치씨엔씨 filed Critical (주)에이치씨엔씨
Priority to KR1020210178263A priority Critical patent/KR102518051B1/ko
Application granted granted Critical
Publication of KR102518051B1 publication Critical patent/KR102518051B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/10—Spot welding; Stitch welding
    • B23K11/11—Spot welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
    • G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
    • G01N27/83—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/041—Analysing solids on the surface of the material, e.g. using Lamb, Rayleigh or shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/048—Marking the faulty objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/48—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by amplitude comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Electrochemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

실시예는 센서 융합을 이용한 용접부 결함 검출 방법에 관한 것이다.
구체적으로, 이러한 용접부 결함 검출 방법은 용접부의 결함을 검출할 경우, 영상과 초음파 등의 각종 센서와의 조합으로부터 결함을 정밀하게 검출하는 방식에 따라 수행함으로써, 용접 품질을 효과적이면서도 효율적으로 높인다.
따라서, 이를 통해 실시예는 전수검사가 가능한 스팟 용접부 불량 검사 및 용접품질 관리 방법을 제공하며, 용접부를 파괴하지 않고, 전후처리 공정 없이 직접 검사하여 실시간으로 용접부의 품질을 전수검사하여 평가함으로써 현장에 직접 적용하여 저항 점 용접공정의 신뢰성을 향상시킨다.
그리고, 또한 스팟 용접부를 품질 검사할 경우, 스팟 용접부의 표면에 나타나는 품질의 양부를 육안검사로 신속하게 평가하여 다른 제 2의 검사 방법 예를 들어, 초음파 검사 및 자기누설 검사에 앞선 선별 검사로 활용한다.

Description

센서 융합을 이용한 용접부 결함 검출 방법{Method for detecting defect of spot welding employing sensor convolution}
본 명세서에 개시된 내용은 스팟(spot) 용접부의 품질을 판정하는 기술에 관한 것으로, 보다 상세하게는 스팟 용접부의 품질을 모니터링할 경우에, 스팟 용접부에서 영상 신호와 센서 정보 등을 수집하여, 조합 분석함으로써, 품질 여부를 판정하는 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
일반적으로, 차체 한 대당 요구하는 저항 스팟 용접(resistant spot welding, 이하 spot 용접) 공정의 수는 약 2,000~3,000점 정도이고, 최근 레이저 용접(Laser welding)과 아크용접(ARC welding), 에폭시를 이용한 접합(Adhesive bonding), 마찰교반 용접(FSW)등의 다양한 용접법을 적용하고 있으나, 자동화 측면 등에서 스팟 용접의 사용율은 최소 2,000 점 이상으로 유지하는 편이다.
그리고, 차체 경량화와 내식성 향상을 위해 비강도가 높은 고강도강(AHSS : Advanced high strength steel) 판재와 아연도금 강재의 사용률이 증가하고 있다. 그런데,ㅇ고강도 강판의 높은 합금성분비는 일반 저탄소강 저항 점 용접부에 비해 많은 용접결함을 일으키는 원인이기도 하다. 또한,ㅇ내식성 향상을 위해 도금되는 아연(Zn)층은 스팟 용접 팁의 선단경 변화를 가속화 시키고 전류밀도를 저하시키는 원인으로 작용하기도 한다.
그래서, 차제 제조시 적용하는 스팟 용접부 전체를 비파괴 검사하고 선단경 변화(용접 타점의 증가에 따른 용접성 불 균일 발생)에 따른 용접품질 제어를 필요로 한다.
특히, 용접은 금속을 용융시켜 결정구조를 재배열함으로써, 두 금속을 접합하는 기술이다. 그래서, 금속의 결정구조와 집합조직의 형태, 용접온도, 가압력 등에 따라 용융부의 모양과 용접부의 접합도, 자기장의 형태를 변형하며 이러한 특성을 이용하여 용접부의 품질을 검사할 수 있다. 따라서, 상기와 같은 스팟 용접부의 특성을 이용한 신속하고 신뢰도 높은 스팟 용접부 검사에 대한 현장 요구에 부합하는 검사방법이 필요하다.
그리고, 한편으로 스팟 용접부의 건전성을 평가하는 방법으로 용접부의 외관 등을 육안으로 관찰하는 육안검사와 용접부를 인위적으로 비틀거나 드라이버나 정을 이용하여 파괴하여 파괴한 형태를 통하여 검사하는 파괴검사, 초음파를 이용한 초음파검사가 있다.
특히, 이러한 검사 방법 중에서, "IR 카메라 기반 저항 점 용접부 실시간 모니터링 시스템"은 용접부를 촬영하기 위해 용접이후 용접부의 온도 분포 현상을 관찰하고 건전한 용접부의 온도 이력과 비교하여 용접부 건전성을 평가하는 시스템으로 전수검사 시스템으로 적절하지 않다(온도이력을 측정하기 위해 오랜시간 소요).
또한 이러한 방법 중에서, 초음파 검사방법은 신뢰성이 높은 비파괴검사방법으로 여러 분야에서 많이 사용하는 방법이다.
그런데, 이러한 초음파 검사방법은 용접부에 초음파를 투과한 후, 반사 신호를 분석하여 용접부 양, 부 판단을 하며, 초음파 투과 도포, 제거 등의 전후처리 공정이 필요하고, 작업자의 초음파 신호 분석 역량에 따라 검사결과를 좌우할 수 있도록 한다.
그리고, 이러한 배경의 선행기술문헌은 아래의 특허문헌이 나올 정도일 뿐이다.
(특허문헌 1) KR1020020020672 A
참고적으로, 이러한 특허문헌 1의 기술은 점 용접 품질평가 방법에 관한 것으로, 용접부 품질을 모니터링 하기 위해 대표 용접조건인 용접전류와 전압, 가압력, 동저항 등을 측정하고 변동에 따라 용접품질을 알 수 있도록 하는 기술이다.
개시된 내용은, 용접부를 파괴하지 않고, 전후처리 공정 없이 직접 정밀하게 검사하여 실시간으로 용접부의 품질을 전수검사하여 평가함으로써 현장에 직접 적용하여 저항 점 용접공정의 신뢰성을 향상시킬 수 있도록 하는 센서 융합을 이용한 용접부 결함 검출 방법을 제공하고자 한다.
실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법은,
용접부의 결함을 검출할 경우, 영상과 초음파 등의 각종 센서와의 조합으로부터 결함을 정밀하게 검출하는 방식에 따라 수행함으로써, 용접 품질을 효과적이면서도 효율적으로 높인다.
그리고, 특히 이러한 경우에 영상 방식은 다양한 특정 에지검출(Edgedetection) 및 음영 판별 기법을 활용하여, 점 용접의 열영향부(HAZ ring) 및 용융부(FZ ring)의 외곽선을 검출하여 기준 시험편 측정치와 비교하거나, 외곽선의 모양을 인식하여 품질평가한다.
또한, 초음파 방식에 관하여는, 스팟 용접부의 품질 검사를 위한 초음파 장치를 사용하는 것으로, 이러한 장치는 초음파 센서(탐촉자)와 'flaw detector' 및 PC를 포함한다.
그리고 이러한 경우에, 초음파 탐촉자가 물을 딜레이 라인(delay line)으로 사용하며, 내구성을 개선한 연질의 실리콘 멤브레인으로 탐촉하여 미량의 액체를 도포만으로 초음파 신호를 송수신하는 방식이다.
또한, 초음파에 의한 비파괴검사가 검사대상체 내부에 있는 불연속부를 검출하기가 용이한 검사방식으로 초음파를 전달하는 여러 가지 방식이 있으나, 여기에서는 반사법으로 스팟 용접부의 용융부를 탐상함으로서 품질 평가를 수행한다.
그리고, 이때 액체 도포형 초음파 신호의 에코 펄스 특성을 바탕으로 양품과 불량품을 효과적으로 판정한다.
아울러, 마그네틱을 통한 자기장 흐름을 이용한 방식은 점 용접부의 검사표면 및 표면 직하로 흐르는 자기장이 결함과 부식, 재질변화 등의 불연속 및 이상부위를 만나서 누설되는 자기장을 검출하는 비파괴검사 방식인 것이다.
그리고, 이러한 경우 점 용접부 즉, 스팟 용접부는 고열에 의하여 모재가 용융되어 접합되는 방식으로 스폿 용접부가 열에 의해 재질이 변형되며, 이에 따라 자기장의 흐름이 변화는 현상이 발생함으로 자기누설검사에 의해 스폿 용접부의 품질을 검사한다.
예를 들어, 이렇게 검출되는 누설 자기장의 신호를 디지털 신호처리 기법으로 처리하여 가시화하며, 신호처리를 통하여 재가공된 자기장 신호를 이용하여 기준 시험편신호와 비교 평가, 자기장 신호의 패턴 분석 등의 방법으로 품질을 평가하는 것을 특징으로 한다.
실시예들에 의하면, 전수검사가 가능한 스팟 용접부 불량 검사 및 용접품질 관리 방법을 제공하는 것으로, 용접부를 파괴하지 않고, 전후처리 공정 없이 직접 정밀하게 검사하여 실시간으로 용접부의 품질을 전수검사하여 평가함으로써 현장에 직접 적용하여 저항 점 용접공정의 신뢰성을 향상시킨다.
도 1은 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 적용한 시스템을 전체적으로 도시한 도면
도 3은 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 적용한 관리 정보처리장치의 구성을 도시한 블록도
도 4는 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 순서대로 도시한 플로우 차트
도 1은 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 개념적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 일실시예의 용접부 결함 검출 방법은 용접부의 결함을 검출할 경우, 영상과 초음파 등의 각종 센서와의 조합으로부터 결함을 정밀하게 검출하는 방식에 따라 수행함으로써, 용접 품질을 효과적이면서도 효율적으로 높인다.
이때, 이러한 방법은 영상 측에는, 전수선별검사를 위한 VT(Visual Test) 장치를 사용하는 것으로, 광원과 광학카메라를 활용하여 스팟 용접부를 촬영하고 디지털 이미지 처리를 통하여 이미지 보정과 패턴 인식, 모양 인식 등의 과정을 거친 재가공 이미지로 품질을 평가하는 검사기술이다.
그리고, 이러한 경우에 용접을 할 경우에, 금속의 결정구조와 집합조직의 모양, 용접온도, 가압력 등에 따라 용융부의 모양, 용접부의 접합도와 자기장의 모양을 변형하며 이러한 특성을 이용하여 용접부의 품질을 검사한다.
그래서, 스팟 용접부를 품질 검사할 경우, 스팟 용접부의 표면에 나타나는 품질의 양부를 육안검사로 신속하게 평가하여 다른 제 2의 검사 방법 예를 들어, 초음파 검사 및 자기누설 검사에 앞선 선별 검사로 활용한다.
즉, UT(Ultrasonic Test장치) 또는 MFLT(Magnetic Flux Leakage Test) 검사에 앞서 진행한다.
구체적으로는, 이러한 방법은 다양한 에지검출(Edgedetection) 및 음영 판별 기법을 활용하여, 점 용접의 열영향부(HAZ ring) 및 용융부(FZ ring)의 외곽선을 검출하여 기준 시험편 측정치와 비교하거나, 외곽선의 모양을 인식하여 품질 평가한다.
참고적으로, 기존의 육안검사는 균열의 유무와 용접부 표면의 핏트 유무, 용접부 칩 유무 등을 육안으로 관찰하여 양, 부를 판단하고, 정량평가가 어려우며, 검사자에 의한 주관적인 판단의 위험이 큰 편이며, 일실시예는 차별적인 점으로 정량평가를 가능하고, 알고리즘에 의한 자동 평가로 인적 오류를 최소화한다.
그리고, 또한 이러한 방법은 스팟 용접부의 품질 검사를 위한 초음파 장치(Ultrasonic test)를 사용하는 것으로, 이러한 장치는 초음파 센서(탐촉자)와 'flaw detector' 및 PC를 포함한다.
이러한 경우에, 일실시예에 따른 용접부 결함 검출 방법은 초음파 탐촉자가 물을 딜레이 라인(delay line)으로 사용하며, 연질의 실리콘 멤브레인으로 탐촉하여 미량의 액체를 도포만으로 초음파 신호를 송수신하는 방식이다.
그리고, 또한 기존의 멤브레인형 초음파 탐촉자는 멤브레인의 두께가 0.1mm 내외로 내구성이 약하여 자동 검사용으로 적합하지 않으므로, 내구성을 개선한 실리콘 멤브레인을 제공한다.
이에 더하여, 멤브레인형 초음파 탐촉자 사용시에도 검사표면과의 공극으로 인해 신호 감쇄가 있으므로 미량의 액체를 검사표면에 도포해야 하며, 도포 후 제거해야 하는 후처리 공정은 필요하다.
그리고, 이때 휘발성이 강한 액체를 선정 및 조합하여 자동 검사 후 자동으로 휘발하는 자동 검사용 액체 매질 및 액체 분사 장치를 제공할 수 있도록 한다.
한편, 이러한 용접부 결함 검출 방법은 초음파에 의한 비파괴검사가 검사대상체 내부에 있는 불연속부를 검출하기가 용이한 검사방식으로 초음파를 전달하는 여러 가지 방식이 있으나, 본 명세서에서는 반사법으로 스팟 용접부의 용융부를 탐상함으로서 품질 평가를 수행한다.
그리고, 이러한 경우에 초음파 센서에 의해 검출하는 에코(echo) 펄스는 스팟 용접부의 품질 상태에 따라 그 형태가 다르다.
예를 들어, 양품의 스팟 용접부는 초음파의 감쇠 특성이 높아 후속 에코 펄스가 비교적 빠르게 감소하지만, 불량품의 스팟 용접부는 에코 펄스 사이에 작은 에코가 있거나 낮은 감쇠 특성으로 길게 에코 펄스가 반복되거나 에코 펄스가 간격이 좁은 형태로 나타난다.
그래서, 일실시예에 따른 초음파 검사 품질 평가 알고리즘은 이러한 에코 펄스 특성을 바탕으로 제공한다.
아울러, 이런 방법은 자기장 방식 측으로는, 자기누설검사 방식으로, 이를 위해 자기누설 검사 장치를 활용하고, 이는 부가적으로 자기센서와 신호처리회로, A/D 컨버터 및 산업용 PC로 구성하기도 한다.
구체적으로는, 이러한 검출 방법은 마그네틱 센서로부터 점 용접부의 검사표면 및 표면 직하로 흐르는 자기장이 결함과 부식, 재질변화 등의 불연속 및 이상부위를 만나서 누설되는 자기장을 검출하는 비파괴검사 방식이다.
그리고, 이러한 경우 점 용접부 즉, 스팟 용접부는 고열에 의하여 모재가 용융되어 접합되는 방식으로 스폿 용접부가 열에 의해 재질이 변형되며, 이에 따라 자기장의 흐름이 변화는 현상이 발생함으로 자기누설검사에 의해 스폿 용접부의 품질을 검사한다.
예를 들어, 일실시예의 방법은 이렇게 검출되는 누설 자기장의 신호를 디지털 신호처리 기법으로 처리하여 가시화하며, 신호처리를 통하여 재가공된 자기장 신호를 이용하여 기준 시험편신호와 비교 평가, 자기장 신호의 패턴 분석 등의 방법으로 품질을 평가한다.
도 2는 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 적용한 시스템을 전체적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 일실시예의 시스템은 6-DOF 다관절 산업용 검사로봇 시스템(관리 정보처리장치 포함)과 다중 센싱을 위한 검사로봇 말단 장치를 포함한다.
추가적으로, 일실시예에 따른 시스템은 상기 관리 정보처리장치와 연결하여 외부연계해서 각종 부가 서비스를 제공하는 곳으로, 고장수리처 정보처리장치(미도시) 등을 포함한다.
그리고, 이러한 경우에 이러한 시스템은 각 장치 상호 간에는 자가망으로 연결하며, 예를 들어, 네트워크를 통해 시리얼(RS232, RS485) 또는, 무선(LoRA, RF, BT, BLE) 중에서 어느 하나로 연결한다.
상기 6-DOF 다관절 산업용 검사로봇 시스템(관리 정보처리장치 포함)은 6-자유도(degree of freedom) 다관절 산업로봇에서 3차원 공간 상의 모든 위치와 자세를 취할 수 있으므로, 자동차 바디 프레임, 도어 등과 같은 다양한 구조와 모양에 대응하여 스팟 용접부를 검사한다. 그리고, 이러한 경우에 검사로봇의 관절 제어는 스팟 용접 로봇으로부터 좌표를 제공 받는 것으로 전제로 하지만, 유사시를 대비하여 직접 교시에 의한 티칭 후 위치 보정을 할 수 있도록 한다. 또한, 추가적으로 이러한 관리 정보처리장치는 이러한 스팟 용접부의 영상신호를 IR 카메라로부터 전달받을 경우에, 일실시예에 따른 용접부 결함 검출 알고리즘으로부터 스팟 용접부의 품질을 판정함으로써, 스팟 용접 공정의 신뢰성을 향상시킨다.
상기 검사로봇 말단 장치는 다중 센싱을 위한 장치를 부착하며, 이러한 장치에는 원주방향의 120ㅀ 간격으로 소형 리니어 엑추에이터를 부착하며, 각 리니어 엑추에이터에는 육안검사를 위한 광학카메라 등의 장치와 초음파 검사를 위한 초음파 센서(탐촉자) 및 자기누설검사를 위한 자기센서를 고정한다. 그리고, 이러한 경우에 각 센서의 검사면은 이 장치 중심에서 같은 동심원 상에 위치하며, 각 센서는 리니어 엑추에이터의 병진운동과 검사로봇 말단 관절의 회전운동으로 검사위치 제어를 손쉽게 할 수 있도록 한다. 또한, 이러한 장치와 로봇의 말단 조인트 사이에 포스센서를 적용하여 초음파 검사 시 초음파 프로브 접촉 압력을 감지하여 적정 압력을 유지한다. 특히, 일실시예에 따라 육안검사 장치는 예를 들어, 링형 광원과 광학렌즈 및 이미지 센서로 구성한다. 그리고, USB와 이더넷 등의 통신으로 광학 영상을 전송하는 디지털방식의 광학카메라를 사용하며, 영상 전송 속도 및 이미지 처리 시간이 부족할 경우 프레임 그래버를 사용하는 방식으로 변경한다.
한편, 이에 더하여 이러한 광학카메라에 의한 육안검사는 일실시예에서 스팟 용접부의 모양을 통하여 품질을 평가하는 검사기술로서 초음파 검사 및 자기누설검사에 앞서 수행한다.
그리고, 육안검사에 의한 품질 평가 절차는 촬영 -> 이미지 보정 -> 평가 알고리즘 적용 -> 판정의 순서로 제공한다.
이때, 이미지 보정은 노이즈 제거와 이미지 선명효과, 시그마 기법 등의 방법으로 평가 알고리즘을 적용하기 쉬운 최적의 방법을 적용한다.
특히, 평가 알고리즘은 우선적으로 열영향부와 용융부의 외곽선을 검출하여 기준 시험편과 비교하거나, 외곽선의 모양을 인식하여 평가하는 방법에 적합하도록 만든다(보다 구체적인 방식은 아래에서 계속 설명함).
도 3은 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법을 적용한 관리 정보처리장치의 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 일실시예의 관리 정보처리장치(300)는 IR 카메라와 초음파 장치(또는, 센서) 등에 연결하는 I/F부(301)와 이 영상신호와 초음파 등을 조합, 이용하여 품질 검사를 수행하는 메인 처리부(302) 및, 데이터베이스(303)를 포함한다.
추가적으로, 일실시예에 따른 관리 정보처리장치(300)는 사용자 키 조작에 따라 각종 설정정보를 입력받는 키신호 입력부(304)와 용접부 결함 모니터링 정보 등을 표시하는 표시부(305)를 포함한다.
상기 I/F부(301)는 상기 IR 카메라와 초음파 장치 등에 각기 연결하여 관리자가 원하는 용접대상의 스팟 용접부 영상신호와 초음파 신호 등을 수집한다. 그리고, 이때 부가적으로 상기 I/F부(301)는 상기 메인 처리부(302)의 제어에 의해 관리자 제어신호 예를 들어, 스팟 용접부의 품질 검사를 시작하는 경우에 IR 카메라와 초음파 장치 등의 전원 온 신호를 IR 카메라 등으로 제공하기도 한다.
상기 메인 처리부(302)는 이러한 스팟 용접부의 영상신호를 IR 카메라 등으로부터 전달받을 경우에, 일실시예에 따른 용접부 결함 검출 알고리즘으로부터 스팟 용접부의 품질을 판정함으로써, 스팟 용접 공정의 신뢰성을 향상시킨다. 그리고, 이러한 경우에 이러한 용접부 결함 검출 알고리즘은 다양한 에지검출 및 음영 판별 기법을 활용하여, 점 용접의 열영향부 및 용융부의 외곽선을 검출하여 기준 시험편 측정치와 비교하거나, 외곽선의 모양을 인식하여 품질 평가한다. 그리고, 또한 이때 초음파 신호의 즉, 액체 도포형 초음파 장치에 의한 초음파 신호의 에코 펄스 특성을 이용하여 위의 영상 인식 정보와 조합하여 정밀하게 품질 평가한다. 아울러, 자기장을 인가하는 자원로부터 점 용접부를 자화하여, 점 용접부의 검사표면 또는 표면직하로 흐르는 자기장의 흐름을 마그네틱 센서로 감지하여 수집한다. 그리고 나서, 메인 처리부(302)는 이러한 현재 자기장의 흐름 특성을 추출하여, 설정 정상 자기장의 흐름 특성(또는, 이상 자기장의 흐름 특성)과 비교하여 이 정보를 더하여서 점 용접부의 품질을 판정한다.
상기 데이터베이스(303)는 상기 각 장치의 등록정보와 스팟 용접부의 영상신호 등 실제 데이터를 저장해서, 스팟 용접부의 품질을 판정할 경우에 이전의 자료를 축적하여 사용할 수 있도록 하기도 한다.
도 4는 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법의 동작을 순서대로 도시한 플로우 차트이다.
도 4에 도시된 바와 같이, 일실시예에 따른 센서 융합을 이용한 용접부 결함 검출 방법은 먼저 용접 대상을 스팟 용접하여 스팟 용접부의 품질을 모니터링할 경우에, 관리 정보처리장치에서 스팟 용접부의 영상 등을 수집 검사하여 품질을 판정하는 방법을 전제로 한다(기존 방식과 동일함).
이러한 상태에서, 일실시예에 따라 상기 스팟 용접부의 품질을 판정할 경우에, 우선적으로 IR 카메라로부터 스팟 용접부를 촬영하여 스팟 용접부의 영상을 수집한다(S401).
다음, 상기 스팟 용접부의 영상에서 배경 영상을 추출한다. 예를 들어, 스팟 용접부의 영상을 연속적으로 입력받아 누적하여 배경 영상을 추출한다.
그리고, 이러한 배경 영상과 비교하여 설정 값보다 이상 차이가 나는 화소로 전경 영상을 획득한다.
또한, 이렇게 획득한 전경 영상에서 모폴로지 필터 등으로 노이즈를 삭제한다.
그리고 나서, 노이즈를 삭제한 전경 영상에서 시그마 기법으로 이미지를 보정한다.
다음, 이렇게 보정한 이미지에서 객체 윤곽을 추출하여 객체 추출을 수행한다.
다음으로는, 특히나 이러한 객체 중에서, 열영향부와 용융부의 특징을 나타나는 데이터 분포 또는 영역을 주요한 패턴분석과 추출 등으로 미리 설정하여, 열영향부와 용융부의 특성을 이용하여 예를 들어, 색상과 열적특성 등을 이용하여 주요 외곽선만을 일부 추출한다. 그리고 나서, 이러한 일부 주요 외곽선으로부터 열영향부와 용융부별로 예컨대 YORO 알고리즘으로 전체 크기와 위치를 추정하여 획득한다(S402). 이때, 여기에서 상기 전체 크기와 위치는 열영향부와 용융부의 전체 외곽선과 전체 외곽선 모양을 포함한다.
그래서, 일실시예에서는 이러한 열영향부와 용융부의 전체 외곽선과 설정 기준 시험편을 비교한다.
그리고 또한, 트랜스듀서와 딜레이 라인용 워터 칼럼(Water Column) 및 연질의 실리콘 멤브레인을 구비한 초음파 센서로부터 미량의 액체를 도포만으로 탐촉하여 초음파 신호를 송수신한다(S404).
그리고 나서, 일실시예에서는 특히나 이렇게 송수신한 액체 도포형 초음파 신호의 에코 펄스 특성을 추출한다(S405).
그래서, 이러한 액체 도포형 초음파 신호의 에코 펄스 특성을 설정 양품/불량품별로의 에코 펄스 특성과 비교하기도 한다.
아울러, 또한 자기장 인가 자원으로부터 점 용접부를 자화하여, 점 용접부의 검사표면 또는 표면직하로 흐르는 자기장의 흐름을 마그네틱 센서로 감지하여 수집한다(S406).
그리고 나서, 이렇게 수집한 현재 자기장의 흐름 특성을 추출한다(S407).
그래서, 이러한 자기장의 흐름 특성을 설정 정상 자기장의 흐름 특성(또는, 설정 이상 자기장의 흐름 특성)과 비교한다.
상기 비교 결과, 상기 열영향부와 용융부의 전체 외곽선이 상기 기준 시험편에 해당하고, 또한 상기 액체 도포형 초음파 신호의 에코 펄스 특성이 설정 양품 에코 펄스 특성에 해당하며, 현재 자기장의 흐름 특성이 특정 자기장의 흐름 패턴 정보에 해당하지 않는 경우에 점 용접부의 품질을 양호한 상태로 판정한다(S403).
참고로, 위의 양품 에코 펄스 특성은 후속 에코 펄스의 진폭이 상대적으로 기준 속도보다 빠르게 감소하는 상태이다. 그리고, 위의 특정 자기장 흐름 패턴 정보는 아래와 같다. 즉, 다수의 상이한 점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로, 점 용접부의 검사표면 또는 표면직하로 흐르는 자기장이 불연속 또는 이상 부위와 만나서 누설되어 발생하는 자기장의 흐름 패턴 정보와, 상기 자기장의 흐름 패턴 정보에 따른 이상 정도가 설정 이상 정도 이상인 경우의 이상 상태를 나타낸다.
반면에, 상기 비교 결과 상기 열영향부와 용융부의 전체 외곽선이 상기 기준 외곽선 모양에 해당하지 않는 경우에는 이상 상태로 판별하기도 한다. 또한, 상기 열영향부와 용융부의 전체 외곽선이 상기 기준 외곽선 모양에 해당하더라도, 상기 액체 도포형 초음파 신호의 에코 펄스 특성이 설정 제 1 불량품 에코 펄스 특성에 해당하는 경우에는 점 용접부의 품질을 너겟 직경이 작은 상태로 판정한다. 이러한 경우, 위의 제 1 불량품 에코 펄스 특성은 정상 에코 펄스 사이에 기준 크기보다 작은 에코 펄스 신호를 수신한 상태이다. 또는, 상기 액체 도포형 초음파 신호의 에코 펄스 특성이 설정 제 2 불랑품 에코 펄스 특성(후속 에코 펄스가 길게 나타남)에 해당하는 경우에도 이상 상태로 판별한다.
아울러, 현재 자기장의 흐름 특성이 특정 자기장의 흐름 패턴 정보에 해당하는 경우에도 이상 상태로 판별한다.
그래서, 이를 통해 전수검사가 가능한 스팟 용접부 불량 검사 및 용접품질 관리 방법을 제공하며, 용접부를 파괴하지 않고, 전후처리 공정 없이 직접 정밀하게 검사하여 실시간으로 용접부의 품질을 전수검사하여 평가함으로써 현장에 직접 적용하여 저항 점 용접공정의 신뢰성을 향상시킨다.
또한, 스팟 용접부를 품질 검사할 경우, 스팟 용접부의 표면에 나타나는 품질의 양부를 육안검사로 신속하게 평가하여 다른 제 2의 검사 방법 예를 들어, 초음파 검사 및 자기누설 검사에 앞선 선별 검사로 활용한다.
이상과 같이, 일실시예는 용접부의 결함을 검출할 경우, 영상과 초음파 등의 각종 센서와의 조합으로부터 결함을 정밀하게 검출하는 방식에 따라 수행함으로써, 용접 품질을 효과적이면서도 효율적으로 높인다.
특히, 다양한 특정 에지검출 및 음영 판별 기법을 활용하여, 점 용접의 열영향부 및 용융부의 외곽선을 검출하여 기준 시험편 측정치와 비교하거나, 외곽선의 모양을 인식하여 품질 평가한다.
그리고, 또한 초음파 방식에 관하여는, 스팟 용접부의 품질 검사를 위한 초음파 장치를 사용하는 것으로, 이러한 장치는 초음파 센서(탐촉자)와 'flaw detector' 및 PC를 포함한다.
그리고 이러한 경우에, 초음파 탐촉자가 물을 딜레이 라인(delay line)으로 사용하며, 내구성을 개선한 연질의 실리콘 멤브레인으로 탐촉하여 미량의 액체를 도포만으로 초음파 신호를 송수신하는 방식이다.
또한, 초음파에 의한 비파괴검사가 검사대상체 내부에 있는 불연속부를 검출하기가 용이한 검사방식으로 초음파를 전달하는 여러 가지 방식이 있으나, 여기에서는 반사법으로 스팟 용접부의 용융부를 탐상함으로서 품질 평가를 수행한다.
그리고, 이때 액체 도포형 초음파 신호의 에코 펄스 특성을 바탕으로 양품과 불량품을 효과적으로 판정한다.
아울러, 마그네틱을 통한 자기장 흐름을 이용한 방식은 점 용접부의 검사표면 및 표면 직하로 흐르는 자기장이 결함과 부식, 재질변화 등의 불연속 및 이상부위를 만나서 누설되는 자기장을 검출하는 비파괴검사 방식인 것이다.
그리고, 이러한 경우 점 용접부 즉, 스팟 용접부는 고열에 의하여 모재가 용융되어 접합되는 방식으로 스폿 용접부가 열에 의해 재질이 변형되며, 이에 따라 자기장의 흐름이 변화는 현상이 발생함으로 자기누설검사에 의해 스폿 용접부의 품질을 검사한다.
예를 들어, 이렇게 검출되는 누설 자기장의 신호를 디지털 신호처리 기법으로 처리하여 가시화하며, 신호처리를 통하여 재가공된 자기장 신호를 이용하여 기준 시험편신호와 비교 평가, 자기장 신호의 패턴 분석 등의 방법으로 품질을 평가한다.
따라서, 이를 통해 일실시예는 전수검사가 가능한 스팟 용접부 불량 검사 및 용접품질 관리 방법을 제공하며, 용접부를 파괴하지 않고, 전후처리 공정 없이 직접 정밀하게 검사하여 실시간으로 용접부의 품질을 전수검사하여 평가함으로써 현장에 직접 적용하여 저항 점 용접공정의 신뢰성을 향상시킨다.
그리고, 또한 스팟 용접부를 품질 검사할 경우, 스팟 용접부의 표면에 나타나는 품질의 양부를 육안검사로 신속하게 평가하여 다른 제 2의 검사 방법 예를 들어, 초음파 검사 및 자기누설 검사에 앞선 선별 검사로 활용한다.
한편, 이에 더하여 이러한 용접부 결함 검출 방법은 이렇게 각종 정보를 제공할 경우에, 상호 간에 데이터베이스를 일치 유지함으로써, 신속하고 편리하게 서비스를 제공하도록 한다.
이를 위해, 상기 관리 정보처리장치의 메인 처리부는 아래의 동작을 수행한다.
a) 먼저 상기 IR 카메라와 초음파 장치 등의 장치등록 정보와 데이터를 저장한 테이블을 상호 간에 동일하게 구비하고, 상기 테이블에 대한 정합 관계를 미리 설정 등록한다.
b) 그래서, 상호 간에 테이블 내의 정보를 변경할 경우, 상기 정합 관계에 따라서 테이블을 각기 동기화한다.
c) 그리고, 상기 테이블을 동기화할 경우에, 다수의 상이한 설비 유형과 관리자 장치 유형별로의 데이터 유형마다 정보를 다원화함으로써, 데이터베이스를 일치한다.
다른 한편으로, 추가적으로, 이러한 용접부 결함 검출 방법은 이렇게 관리 측에 각종 정보를 제공할 경우에, 주변 등의 관리자 단말기에도 실시간으로 연결을 확보하므로, 신속하고 손쉽게 정보를 관리자에게 전달하도록 한다.
이를 위해서, 상기 관리 정보처리장치의 메인 처리부는 아래의 동작을 수행한다.
a) 먼저, 상기 메인 처리부는 등록 관리자 단말기와 통신을 할 경우에는, 1차적으로 등록 로컬 통신망의 연결 여부를 확인해서, 상기 확인 결과 상기 로컬 통신망을 연결한 경우에는 상이한 관리 작업위치별로 대응하는 설정 관리자 공용 계정으로서 연결한다.
b) 상기 확인 결과, 상기 로컬 통신망을 연결하지 않은 경우에는 2차적으로 등록 무선 통신망의 연결 여부를 확인해서, 상기 확인 결과 상기 무선 통신망을 연결한 경우에는 개별 IP 주소로 연결한다.
c) 상기 확인 결과, 상기 무선 통신망을 연결하지 않은 경우에는 등록 이동 통신망의 단말기 식별 번호로 연결하므로, 상기 관리자 단말기와 연결을 확보한다.
한편으로, 또한 이렇게 관리자 단말기와 실시간으로 연결을 할 경우에는, 연결의 보안을 위해서 IP테이블을 이용하여 등록 IP의 감시 및 비인가자의 접속에 따른 모니터링(또는, 로그)을 관리하도록 한다.
a) 구체적으로는, 이를 위해 먼저 상기 로컬 통신망의 관리자 공용 계정과 상기 무선 통신망의 개별 IP 주소를 등록한 IP 테이블을 미리 구성한다.
b) 그리고, 이렇게 관리자 단말기로 알람을 제공할 경우에, 해당하는 통신망의 헬로우(HELLO) 메시지를 송신해서 응답 결과 내의 다음 홉(next hop) 스위치 IP 주소를 추출한다.
c) 다음, 이러한 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소를 스위치 인접지 연결 관계 리스트에서 확인한다.
d) 상기 확인 결과, 상기 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소가 있는 경우, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는지 확인하므로, 비인가자의 접속 여부를 확인한다.
e) 상기 확인 결과, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는 경우에 조인/정리(JOIN/PRUNE) 메시지를 송신하므로, 해당하는 통신망과 연결한다.
한편으로, 이에 더하여 이러한 용접부 결함 검출 방법은 이렇게 마그네틱 신호를 분석할 경우에, 아래의 구성으로부터 마그네틱 신호를 자동으로 분석하여 관리자 측에서 편리하고 효과적으로 용접부에 관한 결함을 검출하도록 한다.
이를 위해, 이러한 용접부 결함 검출 방법은 아래의 용접부 결함 검출모델을 구비하고, 이 구성은 아래와 같다.
a) 먼저 마그네틱 신호를 분석할 경우에, 다수의 상이한 장소별로 주변 상태 예를 들어, 온습도와 먼지정도, 진동 등을 이용하여 작업을 수행하는 시간대 정보에 따라 분류하여 학습하고, 또한 안정화한 마그네틱 신호를 활용하는 모델을 정의한다. 추가적으로, 이러한 경우, 용접 대상과 재질, 크기, 작업상태/상황 등 별로 조금 더 상세하게 분류한다. 또한, 추가적으로 다수의 상이한 점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로 분류하기도 한다. 그리고, 아울러 이러한 이상 부위 유형별에 따른 점 용접부의 검사표면 또는 표면직하로 흐르는 자기장이 불연속 또는 이상 부위와 만나서 누설되어 발생하는 자기장의 흐름 패턴별로 분류한다.
그리고, 이러한 경우에 상기 마그네틱 신호는 안정화한 신호로 변환해서 원하는 값을 얻을 수 있도록 한다.
예를 들어, 마그네틱 신호를 수신할 경우에, 먼저 적합한 보간 방식을 이용하여 마그네틱 신호의 각 구간을 1차 선형화시킨다.
다음, 이러한 1차 선형화 각 구간마다의 최소치와 최대치 사이에서 평균 변화율을 계산한다.
그리고, 이러한 평균 변화율의 차이에 따라 소정의 가중치를 달리 적용하여 복수의 평균 변화율값을 획득한다.
다음, 이 복수의 평균 변화율값을 이동 평균화하여 복수의 이동 평균값을 획득한다.
그래서, 이를 통해 복수의 이동 평균을 적용한 각 곡선 구간을 2차 선형화시켜서 안정화한 마그네틱 신호를 얻는다.
이때, 이러한 복수의 평균 변화율값을 획득하는 점은 평균 변화율의 차이에 따라 소정의 가중치를 확정하고, 이러한 가중치를 상기 평균 변화율에 적용해서, 위의 안정화한 마그네틱 신호를 획득한다.
b) 다음, 다수의 상이한 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 특징을 나타내는 데이터셋을 추출한다.
c) 그리고, 상기 데이터셋을 다수의 상이한 장소와 시간대, 주변 상태, 상황정보를 예를 들어, 작업상황정보와 주변상황정보 등을 반영하여 속성화한다.
d) 그리고 나서, 이렇게 속성화 정보를 기초로 해서, 상기 학습 모델별로 각 장소 주변의 상태정보와, 용접작업 시간대정보에 따른 데이터의 속성을 결정한다.
e) 다음, 상기 결정 정보를 정규화한다.
f) 그래서, 상기 정규화 정보를 기초로 해서 각각의 학습 모델별로 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 데이터를 설정한다. 그래서, 이를 통해 마그네틱 신호를 정상 여부에 관하여 파악할 수 있도록 하기 위해서, 마그네틱 신호의 정상 여부를 독립 변수로 하고, 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 용접 대상에 관한 여러 정보와 작업 정보를 종속 변수로 각기 설정한다.
g) 그리고 나서, 이러한 설정 정보를 학습 및 훈련 데이터로 생성한다.
h) 그래서, 상기 생성 정보로부터 딥러닝 기반의 용접부 결함 검출모델을 생성한다.
한편, 이에 더하여 이러한 결함 검출 방법은 이렇게 자동으로 결함을 검출할 경우, 아래의 구성으로부터 결함 검출에 사용하는 각각의 정보에 대한 상관성을 사용함으로써, 보다 효과적으로 결함을 검출할 수 있도록 한다.
이를 위해 먼저, 점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로 점 용접부의 검사표면 또는 표면직하로 흐르는 자기장이 만나서 누설되어 발생하는 자기장의 흐름 패턴을 수집하여 마그네틱 신호를 획득한다. 그리고 나서, 이렇게 획득된 마그네틱 신호로부터 딥러닝 알고리즘을 통해 자기장의 흐름 패턴별로 객체 정보를 인식할 수 있다.
즉, 상기 메인 처리부는 획득된 마그네틱 정보를 전처리한다. 이렇게 획득된 상기 마그네틱 정보를 전처리(pre-processing)하는 과정에서 노이즈 제거와 밝기조절, 색상변환 등을 할수 있다.
다음, 이렇게 전처리된 마그네틱 정보를 다수의 상이한 자기장 흐름 패턴별로 각기 분할하여 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로 객체를 인식한다.
그리고 나서, 이렇게 분할된 서브 자기장 흐름 패턴들의 각각으로부터 마그네틱객체 정보를 인식한다.
동일한 방식으로, 상기 메인 처리부는 점 용접부로부터의 각종 다양한 불연속 또는 이상 부위 유형별로 각각의 자기장 흐름 패턴 정보를 각기 일괄 획득한다. 즉, 실시예에서는 자기장 흐름을 감지 가능한 마그네틱 센서 등과 같은 장비를 가지고, 획득된 마그네틱정보를 버퍼링하는 것이다.
다음, 이렇게 획득된 마그네틱 정보로부터 딥러닝 알고리즘을 통해 각각의 자기장 흐름 패턴객체 정보를 인식할 수 있다.
즉, 상기 메인 처리부는 획득된 마그네틱 정보를 전처리한다. 전처리 과정을 통하여 노이즈 제거와 자기장 흐름레벨 조절 등을 수행할 수 있는 것이다.
그리고 나서 이렇게 전처리된 자기장 흐름 패턴 정보를 다수의 서브 자기장 흐름 패턴 정보로 분할한다. 이러한 경우, 상기 분할은 인식이 가능한 최소 시간의 단위로 자기장 흐름 패턴 정보를 분할하는 것이다.
상기 분할된 서브 자기장 흐름 패턴 정보의 각각에서 자기장 흐름 패턴 객체 정보를 인식한다.
다음으로, 메인 처리부는 상기에서 획득된 각종 다양한 점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로 각기 객체 정보의 각각의 객체 관계성을 분석한다.
점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로의 객체 정보 각각의 움직임 트래킹을 분석할 수 있다.
다음으로, 메인 처리부는 객체 관계성 분석 결과와 상기 객체 트래킹 분석 결과를 기반으로 자기장 흐름 패턴 객체 정보 각각의 객체 관계성을 인식할 수 있다.
다음으로, 메인 처리부는 인식된 객체 관계성을 이용하여 용접 결함에 따른 정상 또는 이상 등의 정보를 인식할 수 있다.
상기와 같이, 각종 다양한 점 용접부의 결함과 부식, 재질을 포함한 불연속 또는 이상 부위 유형별로의 자기장 흐름 패턴 정보를 획득하여 획득된 자기장 흐름 패턴 정보를 기반으로 딥러닝 알고리즘을 통해 객체 간 관계성을 인식하여 그 인식한 결과로 용접 정상 여부 정보를 인식할수 있다.
다른 한편으로, 이에 더하여 이러한 용접부 결함 검출 방법은 이렇게 초음파 신호를 분석할 경우에는, 아래의 구성으로부터 초음파 신호를 자동으로 분석하여 관리자 측에서 편리하고 효과적으로 용접부에 관한 결함을 검출하도록 한다.
이를 위해, 이러한 용접부 결함 검출 방법은 아래의 용접부 결함 검출모델을 구비하고, 이 구성은 아래와 같다.
a) 먼저 초음파 신호를 분석할 경우에, 다수의 상이한 장소별로 주변 상태 예를 들어, 온습도와 먼지정도, 진동 등을 이용하여 작업을 수행하는 시간대 정보에 따라 분류하여 학습하고, 또한 안정화한 초음파 신호를 활용하는 모델을 정의한다. 추가적으로, 이러한 경우, 용접 대상과 재질, 크기, 작업상태/상황 등 별로 조금 더 상세하게 분류한다.
그리고, 이러한 경우에 상기 초음파 신호는 안정화한 신호로 변환해서 원하는 값을 얻을 수 있도록 한다.
예를 들어, 초음파 신호를 수신할 경우에, 먼저 스프라인 보간법(spline interpolation)을 이용하여 반사 초음파 신호의 각 구간을 1차 선형화시킨다.
다음, 이러한 1차 선형화 각 구간마다의 최소치와 최대치 사이에서 평균 변화율을 계산한다.
그리고, 이러한 평균 변화율의 차이에 따라 소정의 가중치를 달리 적용하여 복수의 평균 변화율값을 획득한다.
다음, 이 복수의 평균 변화율값을 이동 평균화하여 복수의 이동 평균값을 획득한다.
그래서, 이를 통해 복수의 이동 평균을 적용한 각 곡선 구간을 2차 선형화시켜서 안정화한 초음파 신호를 얻는다.
이때, 이러한 복수의 평균 변화율값을 획득하는 점은 평균 변화율의 차이에 따라 소정의 가중치를 확정하고, 이러한 가중치를 상기 평균 변화율에 적용해서, 위의 안정화한 초음파 신호를 획득한다.
b) 다음, 다수의 상이한 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 특징을 나타내는 데이터셋을 추출한다.
c) 그리고, 상기 데이터셋을 다수의 상이한 장소와 시간대, 주변 상태, 상황정보를 예를 들어, 작업상황정보와 주변상황정보 등을 반영하여 속성화한다.
d) 그리고 나서, 이렇게 속성화 정보를 기초로 해서, 상기 학습 모델별로 각 장소 주변의 상태정보와, 용접작업 시간대정보에 따른 데이터의 속성을 결정한다.
e) 다음, 상기 결정 정보를 정규화한다.
f) 그래서, 상기 정규화 정보를 기초로 해서 각각의 학습 모델별로 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 데이터를 설정한다. 그래서, 이를 통해 초음파 신호를 정상 여부에 관하여 파악할 수 있도록 하기 위해서, 초음파 신호의 정상 여부를 독립 변수로 하고, 각 장소 주변의 상태정보와 용접작업 시간대정보에 따른 용접 대상에 관한 여러 정보와 작업 정보를 종속 변수로 각기 설정한다.
g) 그리고 나서, 이러한 설정 정보를 학습 및 훈련 데이터로 생성한다.
h) 그래서, 상기 생성 정보로부터 딥러닝 기반의 용접부 결함 검출모델을 생성한다.
한편, 이에 더하여 이러한 결함 검출 방법은 이렇게 자동으로 결함을 검출할 경우, 아래의 구성으로부터 결함 검출에 사용하는 용접 대상과 재질, 크기, 작업상태/상황별로의 각 정보에 대한 상관성을 사용함으로써, 보다 효과적으로 결함을 검출할 수 있도록 한다.
이를 위해 먼저, 다수의 상이한 용접 대상과 재질, 크기, 작업상태/상황별로 반사한 초음파 신호를 수집하여 에코 펄스 특성을 각기 획득한다. 그리고 나서, 이렇게 획득된 초음파 신호로부터 딥러닝 알고리즘을 통해 에코 펄스 특성별로 객체 정보를 인식할 수 있다.
즉, 상기 메인 처리부는 획득된 초음파 정보를 전처리한다. 이렇게 획득된 상기 초음파 정보를 전처리(pre-processing)하는 과정에서 노이즈 제거와 밝기조절, 색상변환 등을 할수 있다.
다음, 이렇게 전처리된 초음파 정보를 다수의 상이한 용접 대상과 재질, 크기, 작업상태/상황별로 객체를 인식한다.
그리고 나서, 이렇게 분할된 서브 정보들의 각각으로부터 에코 펄스 특성객체 정보를 인식한다.
동일한 방식으로, 상기 메인 처리부는 점 용접부로부터의 각종 다양한 용접 대상과 재질, 크기, 작업상태/상황 정보를 각기 일괄 획득한다. 즉, 실시예에서는 초음파 신호를 감지 가능한 초음파 장치 등과 같은 장비를 가지고, 획득된 초음파정보를 버퍼링하는 것이다.
다음, 이렇게 획득된 초음파 정보로부터 딥러닝 알고리즘을 통해 각각의 에코 펄스 특성 정보를 인식할 수 있다.
즉, 상기 메인 처리부는 획득된 초음파 정보를 전처리한다. 전처리 과정을 통하여 노이즈 제거와 자기장 흐름레벨 조절 등을 수행할 수 있는 것이다.
그리고 나서 이렇게 전처리된 에코 펄스 특성 정보를 다수의 서브 에코 펄스 특성 정보로 분할한다. 이러한 경우, 상기 분할은 인식이 가능한 최소 시간의 단위로 에코 펄스 특성 정보를 분할하는 것이다.
상기 분할된 서브 에코 펄스 특성 정보의 각각에서 에코 펄스 특성 객체 정보를 인식한다.
다음으로, 메인 처리부는 상기에서 획득된 다수의 상이한 용접 대상과 재질, 크기, 작업상태/상황별로 각기 객체 정보의 각각의 객체 관계성을 분석한다.
용접 대상과 재질, 크기, 작업상태/상황별로의 객체 정보 각각의 움직임 트래킹을 분석할 수 있다.
다음으로, 메인 처리부는 객체 관계성 분석 결과와 상기 객체 트래킹 분석 결과를 기반으로 정보 각각의 객체 관계성을 인식할 수 있다.
다음으로, 메인 처리부는 인식된 객체 관계성을 이용하여 용접 결함에 따른 정상 또는 이상 등의 정보를 인식할 수 있다.
상기와 같이, 각종 다양한 용접 대상과 재질, 크기, 작업상태/상황별로의 에코 펄스 특성 정보를 획득하여 획득된 에코 펄스 특성 정보를 기반으로 딥러닝 알고리즘을 통해 객체 간 관계성을 인식하여 그 인식한 결과로 용접 정상 여부 정보를 인식할수 있다. 이러한 경우, 상기 객체 간 관계성은 용접 대상과 재질, 크기, 작업상태/상황 등이 상호 간에 나타내는 관계성이 결함 정도에 영향을 주는 것을 의미한다.
300 : 관리 정보처리장치
301 : I/F부 302 : 메인 처리부
303 : 데이터베이스 304 : 키신호 입력부
305 : 표시부

Claims (4)

  1. 용접 대상을 스팟(spot) 용접하여 스팟 용접부의 품질을 모니터링할 경우에, 관리 정보처리장치의 메인 처리부에서 스팟 용접부의 영상과 초음파를 포함한 센서 정보를 수집 검사하여 품질을 판정하는 방법에 있어서,

    IR 카메라에 의하여 스팟 용접부를 촬영하고, 상기 초음파에 대하여 트랜스듀서와 딜레이 라인용 워터 칼럼 및 연질의 실리콘 멤브레인을 구비한 초음파 센서로부터 탐촉하여 초음파 신호를 송수신하며, 자기장에 의하여 점 용접부를 자화하여, 상기 점 용접부의 검사표면 또는 표면직하로 흐르는 상기 자기장의 흐름을 마그네틱 센서에 의하여 감지하여 수집하는 제 1 단계;
    상기 제1단계에서, 점 용접부의 영상에서 배경 영상을 추출하는 제 2 단계;
    상기 제2단계에서, 배경 영상과 비교하여 미리 설정한 값 이상 차이가 나는 화소로 전경 영상을 획득하는 제 3 단계;
    상기 제3단계에서, 전경 영상에서 모폴로지 필터로 노이즈를 삭제하는 제 4 단계;
    상기 제4단계에서, 노이즈를 삭제한 전경 영상에서 시그마 기법으로 이미지를 보정하는 제 5 단계;
    상기 상기 제5단계에서, 보정한 이미지에서 객체 윤곽을 추출하여 객체 추출하는 제 6 단계;
    상기 제6단계에서 추출한 객체 중에서, 열영향부(HAZ ring)와 용융부(FZ ring)의 데이터 분포 또는 영역을 미리 설정하여, 열영향부와 용융부의 특성을 이용하여 주요 외곽선만을 일부 추출하고, 상기 추출한 일부 주요 외곽선으로부터 열영향부와 용융부별로 전체 크기와 위치를 추정하여 획득하는 제 7 단계;
    액체 도포형 초음파 신호의 에코(echo) 펄스 특성을 추출하는 제 8 단계;
    상기 제1단계에서 생성된 상기 자기장의 흐름 특성을 추출하는 제 9 단계;
    상기 열영향부와 상기 용융부의 전체 외곽선과 설정 기준 시험편을 비교하거나 상기 열영향부와 상기 용융부의 전체 외곽선 모양과 설정 기준 외곽선 모양을 비교하고,
    상기 액체 도포형 초음파 신호의 에코 펄스 특성을 양품/불량품별로 비교하며, 상기 자기장의 흐름 특성을 정상 자기장의 흐름 특성과 비교하는 제 10 단계; 및
    상기 제10단계에서 비교 결과, 상기 열영향부와 상기 용융부의 전체 외곽선이 상기 기준 시험편의 외곽선과 동일하고, 상기 액체 도포형 초음파 신호의 에코 펄스 특성이 양품 의 특성에 해당하며, 상기 자기장의 흐름 특성이 특정 자기장의 흐름 패턴 정보에 해당하지 않는 경우에는 정상 상태로 판별하고,
    상기 열영향부와 상기 용융부의 전체 외곽선이 상기 기준 시험편에 해당하지 않거나, 또는 상기 열영향부와 용융부의 전체 외곽선이 상기 기준 외곽선 모양이 아니고, 상기 액체 도포형 초음파 신호의 에코 펄스 특성이 설정 불량품 에코 펄스 특성에 해당하거나, 현재 자기장의 흐름 특성이 특정 자기장의 흐름 패턴 정보에 해당하는 경우에는 이상 상태로 판별하는 제 11 단계; 를 포함하고,

    상기 제 1 단계 전에,
    상기 IR 카메라와 초음파 센서, 자기장 인가 자원을 포함한 장치등록 정보/데이터를 저장한 테이블을 상호 간에 동일하게 구비하고, 상기 테이블에 대한 정합 관계를 미리 설정 등록하는 제 1-1 단계;
    상호 간에 테이블 내의 정보를 변경할 경우, 상기 정합 관계에 따라서 테이블을 동기화하는 제 1-2 단계; 및
    상기 테이블을 동기화하는 방법은 다수의 상이한 설비 유형과 관리자 장치 유형별 데이터베이스를 일치하는 제 1-3 단계; 를 더 포함하는 것을 특징으로 하는 센서 융합을 이용한 용접부 결함 검출 방법.
  2. 삭제
  3. 청구항 1에 있어서,

    상기 제 11 단계 후에,
    등록 관리자 단말기와 통신을 하여 모니터링한 스팟 용접부의 품질 정보를 제공하고, 상기 스팟 용접부의 품질 정보를 제공할 경우에는, 1차적으로 등록 로컬 통신망의 연결 여부를 확인해서, 상기 확인 결과 상기 로컬 통신망을 연결한 경우에는 상이한 관리 작업위치별로 대응하는 설정 관리자 공용 계정으로서 연결하는 제 12-1 단계;
    상기 확인 결과, 상기 로컬 통신망을 연결하지 않은 경우에는 2차적으로 등록 무선 통신망의 연결 여부를 확인해서, 상기 확인 결과 상기 무선 통신망을 연결한 경우에는 개별 IP 주소로 연결하는 제 12-2 단계; 및
    상기 확인 결과, 상기 무선 통신망을 연결하지 않은 경우에는 등록 이동 통신망의 단말기 식별 번호로 연결하므로, 상기 관리자 단말기와 연결을 확보하는 제 12-3 단계; 를 더 포함하는 것을 특징으로 하는 센서 융합을 이용한 용접부 결함 검출 방법.

  4. 청구항 3에 있어서,

    상기 제 12-2 단계는,
    상기 로컬 통신망의 관리자 공용 계정과 상기 무선 통신망의 개별 IP 주소를 등록한 IP 테이블을 미리 구성하는 제 12-2-1 단계;
    상기 관리자 단말기로 알람을 제공할 경우에, 해당하는 통신망의 헬로우(HELLO) 메시지를 송신해서 응답 결과 내의 다음 홉(next hop) 스위치 IP 주소를 추출하는 제 12-2-2 단계;
    상기 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소를 스위치 인접지 연결 관계 리스트에서 확인하는 제 12-2-3 단계;
    상기 확인 결과, 상기 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소가 있는 경우, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는지 확인하므로, 비인가자의 접속 여부를 확인하는 제 12-2-4 단계; 및
    상기 확인 결과, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는 경우에 조인/정리(JOIN/PRUNE) 메시지를 송신하므로, 해당하는 통신망과 연결하는 제 12-2-5 단계; 를 포함하는 것을 특징으로 하는 센서 융합을 이용한 용접부 결함 검출 방법.

KR1020210178263A 2021-12-14 2021-12-14 센서 융합을 이용한 용접부 결함 검출 방법 KR102518051B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210178263A KR102518051B1 (ko) 2021-12-14 2021-12-14 센서 융합을 이용한 용접부 결함 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210178263A KR102518051B1 (ko) 2021-12-14 2021-12-14 센서 융합을 이용한 용접부 결함 검출 방법

Publications (1)

Publication Number Publication Date
KR102518051B1 true KR102518051B1 (ko) 2023-04-07

Family

ID=85979215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210178263A KR102518051B1 (ko) 2021-12-14 2021-12-14 센서 융합을 이용한 용접부 결함 검출 방법

Country Status (1)

Country Link
KR (1) KR102518051B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130137109A (ko) * 2013-11-26 2013-12-16 김규원 산업용 로봇을 이용한 스폿 용접부의 비파괴검사장치
KR101361013B1 (ko) * 2006-12-21 2014-02-10 테르모센소리크 게엠베하 재료 이음부의 자동 검사 방법
KR101393110B1 (ko) * 2012-05-29 2014-05-09 이주섭 스팟 용접 품질 검사 시스템
KR102059272B1 (ko) * 2018-09-20 2019-12-24 현대오토에버 주식회사 용접 불량 검출 장치 및 그 방법
KR102147178B1 (ko) * 2018-10-02 2020-08-24 경일대학교산학협력단 용접 품질 평가를 위한 영상처리장치 및 영상처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361013B1 (ko) * 2006-12-21 2014-02-10 테르모센소리크 게엠베하 재료 이음부의 자동 검사 방법
KR101393110B1 (ko) * 2012-05-29 2014-05-09 이주섭 스팟 용접 품질 검사 시스템
KR20130137109A (ko) * 2013-11-26 2013-12-16 김규원 산업용 로봇을 이용한 스폿 용접부의 비파괴검사장치
KR102059272B1 (ko) * 2018-09-20 2019-12-24 현대오토에버 주식회사 용접 불량 검출 장치 및 그 방법
KR102147178B1 (ko) * 2018-10-02 2020-08-24 경일대학교산학협력단 용접 품질 평가를 위한 영상처리장치 및 영상처리방법

Similar Documents

Publication Publication Date Title
Sun et al. Real-time automatic detection of weld defects in steel pipe
KR101995418B1 (ko) 용접부의 비파괴 검사 자동화 시스템
KR101275097B1 (ko) 저항 용접 모니터링 장치 및 그 방법과 시스템
KR102230886B1 (ko) 이미지인식 기반의 프로젝션용접 결함 검출시스템
US6532820B1 (en) Combined ultrasonic techniques for evaluations (CUTE)
CN109239206A (zh) 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
KR20190081614A (ko) 초음파를 이용한 용접부의 용접품질 검사 시스템
CN109900804A (zh) 一种基于超声导波的金属材料裂纹定量监测方法
CN111597653A (zh) 一种桥式起重机桥架结构缺陷动态检测识别方法
JP4463855B2 (ja) 被膜、表面、及び界面を検査するシステム及び方法
Broberg et al. Comparison of NDT–methods for automatic inspection of weld defects
CN112461920B (zh) 基于超声测量的高温合金点焊缺陷的判别方法及装置
CN108375581A (zh) 基于声光信号监测的双光束激光焊接过程缺陷控制方法
KR102518051B1 (ko) 센서 융합을 이용한 용접부 결함 검출 방법
KR0173676B1 (ko) 전기저항용접의 온라인 비파괴 검사장치 및 그 방법
KR20130089353A (ko) 스폿용접부의 신뢰성 검사가 가능한 스폿용접기
KR102518045B1 (ko) Ir 카메라의 영상신호를 이용한 용접부 결함 검출 방법
KR102518048B1 (ko) 초음파 센서를 이용한 용접부 결함 검출 방법
US20210312604A1 (en) Improved characterization and classification of spot welds by ultrasonic diagostic techniques
KR101655214B1 (ko) 프레스 판넬의 결함 검출 장치 및 그 방법
KR102518050B1 (ko) 마그네틱 센서를 이용한 용접부 결함 검출 방법
CN116380890A (zh) 一种基于视觉和超声检测的车身焊点检测方法
JP2007101320A (ja) 超音波探傷画像処理装置及び超音波探傷画像処理方法
KR102105503B1 (ko) 용접 품질 자동 평가 방법 및 용접 품질 자동 평가 장치
CN201444148U (zh) 一种探伤系统中的内毛刺自动监测装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant