KR20230172233A - Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same - Google Patents

Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same Download PDF

Info

Publication number
KR20230172233A
KR20230172233A KR1020220072829A KR20220072829A KR20230172233A KR 20230172233 A KR20230172233 A KR 20230172233A KR 1020220072829 A KR1020220072829 A KR 1020220072829A KR 20220072829 A KR20220072829 A KR 20220072829A KR 20230172233 A KR20230172233 A KR 20230172233A
Authority
KR
South Korea
Prior art keywords
range
data
area
peaks
piercing
Prior art date
Application number
KR1020220072829A
Other languages
Korean (ko)
Inventor
강민정
감동혁
유지영
이태현
김민규
김철희
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020220072829A priority Critical patent/KR20230172233A/en
Publication of KR20230172233A publication Critical patent/KR20230172233A/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286Modifications to the monitored process, e.g. stopping operation or adapting control
    • G05B23/0294Optimizing process, e.g. process efficiency, product quality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21JFORGING; HAMMERING; PRESSING METAL; RIVETING; FORGE FURNACES
    • B21J15/00Riveting
    • B21J15/10Riveting machines
    • B21J15/28Control devices specially adapted to riveting machines not restricted to one of the preceding subgroups
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/06Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481Neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/46Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

인공 지능, 예컨대 머신 러닝을 이용하여 비파괴적으로 셀프 피어싱 리벳을 포함하는 기계적 체결의 품질을 모니터링 내지는 평가할 수 있는 인공 지능의 학습 방법, 이를 활용한 기계적 체결의 평가 방법 및 기계적 체결 설비가 제공된다. 상기 학습 방법은 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 공정의 공정 중에 발생하는 음향 신호를 측정하고, 측정된 음향 신호 중 적어도 일부를 푸리에 변환하여 얻은 변환 데이터에 기초한 데이터를 학습 데이터로 한다.An artificial intelligence learning method that can non-destructively monitor or evaluate the quality of mechanical fastening including self-piercing rivets using artificial intelligence, such as machine learning, an evaluation method of mechanical fastening using the same, and a mechanical fastening facility are provided. The learning method is a method performed by a computing device, measuring acoustic signals generated during the self-piercing riveting process performed in the order of clamping, piercing, and flaring, and performing Fourier transform on at least a portion of the measured acoustic signals. Data based on the obtained converted data is used as learning data.

Description

인공 신경망 기반 셀프 피어싱 리벳 체결 품질의 평가 방법 및 이를 위한 시스템{METHOD FOR EVALUATING OF JOINING QUALITY FOR SELF PIERCING RIVET BASED ON ARTIFICIAL NEURAL NETWORK AND SYSTEM FOR THE SAME}Artificial neural network-based self-piercing riveting quality evaluation method and system for the same {METHOD FOR EVALUATING OF JOINING QUALITY FOR SELF PIERCING RIVET BASED ON ARTIFICIAL NEURAL NETWORK AND SYSTEM FOR THE SAME}

본 발명은 셀프 피어싱 리벳을 포함하는 기계적 체결의 품질을 비파괴-실시간으로 모니터링하는 방법과 이를 포함하는 셀프 피어싱 리벳 체결 공정 방법, 그리고 이를 위한 설비 시스템에 관한 것이다. 상세하게는, 인공 지능, 예컨대 머신 러닝을 이용하여 비파괴적으로 셀프 피어싱 리벳을 포함하는 기계적 체결의 품질을 모니터링 내지는 평가할 수 있는 인공 지능의 학습 방법, 이를 활용한 기계적 체결의 평가 방법 및 기계적 체결 설비가 제공된다.The present invention relates to a method for non-destructively and real-time monitoring the quality of mechanical fastening including self-piercing rivets, a self-piercing rivet fastening process method including the same, and an equipment system for the same. Specifically, an artificial intelligence learning method that can non-destructively monitor or evaluate the quality of mechanical fastening including self-piercing rivets using artificial intelligence, such as machine learning, a mechanical fastening evaluation method using the same, and a mechanical fastening equipment. is provided.

일반적으로 이종(異種) 소재 접합 또는 다종(多種) 소재 접합은 종류와 물성 및 특성이 서로 상이한 복수의 소재를 접합 내지는 결합하는 것을 의미한다. 넓은 의미의 이종 소재 접합은 소재 간의 접합 기술, 성형 기술, 표면 처리 기술 등을 포함하는 의미로 사용될 수 있다. 최근 소재의 경량화 및 고강도화 등이 요구됨에 따라 종래의 금속 외 다양한 소재의 활용이 이루어지고 있고, 이에 따라 이종 소재 접합 기술과 관련한 다양한 연구가 이루어지고 있다.In general, joining heterogeneous materials or joining multiple materials means joining or combining a plurality of materials with different types, physical properties, and characteristics. Bonding of different materials in a broad sense can be used to include bonding technology between materials, molding technology, surface treatment technology, etc. Recently, as materials are required to be lighter and have higher strength, various materials other than conventional metals are being utilized, and accordingly, various studies related to dissimilar material joining technology are being conducted.

하지만 철강재용 기존 용융 기반 용접 기술(예컨대, 저항 점 용접(resistance spot welding), 아크 용접(arc welding), 레이저 용접(laser welding) 등)은 상이한 물성을 가진 이종소재 접합에 적용이 불가하므로 접착제 접합(adhesive bonding), 기계적 체결(mechanical joint) 등의 비용접 기법이 제안되고 있다.However, existing fusion-based welding technologies for steel materials (e.g., resistance spot welding, arc welding, laser welding, etc.) cannot be applied to joining dissimilar materials with different physical properties, so adhesive bonding is used. Non-welding techniques such as adhesive bonding and mechanical jointing are being proposed.

기계적 체결 기술은 접합 소재 간의 물리적 경계를 유지하며 별도의 체결 부재를 이용하여 이종 소재를 기계적으로 결합하는 기술을 총칭한다. 전통적인 기계적 체결 방법인 볼트-너트(bolt-nut) 결합, 블라인드 리벳팅(blind riveting) 등은 접합 부재의 홀(Hole) 가공이 선행되어야 하며 홀과 홀, 홀과 리벳의 정렬이 필요하므로 공정이 복잡하고 자동화가 어려운 단점이 있다. 따라서 최근엔 셀프 피어싱 리벳팅(Self-Piercing Riveting, SPR), 플로우 드릴 스크류(Flow Drill Screwing, FDS), 클린칭(clinching) 등의 홀 가공을 전제하지 않는 기계적 체결 방법이 각광받는다.Mechanical fastening technology is a general term for technologies that maintain physical boundaries between joining materials and mechanically join dissimilar materials using separate fastening members. Traditional mechanical fastening methods, such as bolt-nut coupling and blind riveting, require hole machining of the joining member first, and alignment of holes and holes and rivets is required, so the process is lengthy. It has the disadvantage of being complex and difficult to automate. Therefore, recently, mechanical fastening methods that do not require hole processing, such as self-piercing riveting (SPR), flow drill screwing (FDS), and clinching, have been in the spotlight.

JPJ.P. 2018-010632 2018-010632 AA JPJ.P. 2018-054587 2018-054587 AA KRKR 10-2016-0011060 10-2016-0011060 AA

셀프 피어싱 리벳팅(SPR)은 기계적 체결 기술로서 대표적인 성형 기반 스폿 접합(spot joining) 기술 중 하나이다. 셀프 피어싱 리벳팅의 경우 소재의 변형이 크지 않고 비교적 간단한 방법으로 매우 견고한 결합 강도를 나타낼 수 있어 널리 사용되고 있는 기계적 체결 방법이다.Self-piercing riveting (SPR) is a mechanical fastening technology and is one of the representative forming-based spot joining technologies. In the case of self-piercing riveting, it is a widely used mechanical fastening method because it does not cause significant deformation of the material and can provide very strong bonding strength in a relatively simple method.

셀프 피어싱 리벳팅은 볼트-너트 체결에 비해 공정이 단순하여 자동화가 가능하기 때문에 생산성이 높고, 열변형이 상대적으로 적으며 이종 소재 및 코팅 소재에 적용 가능한 장점이 있다. 또, 비철금속과 철강의 이종 소재 접합에 이용 가능하고 접합 강도가 매우 우수하며 환경 친화적이기 때문에 이종 소재 스폿 접합의 가장 현실적인 대안으로 평가되고 있다.Self-piercing riveting has the advantage of being highly productive, relatively low in thermal deformation, and applicable to different materials and coated materials because the process is simpler than bolt-nut fastening and can be automated. In addition, it can be used for joining dissimilar materials such as non-ferrous metals and steel, has excellent bonding strength, and is environmentally friendly, so it is evaluated as the most realistic alternative to spot bonding dissimilar materials.

셀프 피어싱 리벳팅은 접합하고자 하는 두개의 소재의 일측에서 특수한 형상의 리벳을 삽입하여 수행된다. 셀프 피어싱 리벳팅은 리벳이 상부 소재를 관통하고, 하부 소재의 아래쪽에 위치한 성형대(또는 다이) 형상에 따라 플레어링(flaring)이라 불리는 리벳의 형상 변형 및 그에 따른 하부 소재의 형상 변형에 의해 상부 소재와 하부 소재가 강하게 맞물리며 결합된다. 따라서 셀프 피어싱 리벳팅은 하부 소재의 연성이 낮거나, 상부 소재의 강도가 지나치게 큰 경우, 또는 미스 얼라인(miss-align) 등의 경우 체결 불량이 발생될 수 있다.Self-piercing riveting is performed by inserting a specially shaped rivet on one side of two materials to be joined. Self-piercing riveting is where the rivet penetrates the upper material, and the shape of the rivet (called flaring) is deformed according to the shape of the molding table (or die) located below the lower material, and the shape of the lower material is deformed accordingly. The material and the underlying material are strongly interlocked and combined. Therefore, self-piercing riveting may cause fastening defects when the ductility of the lower material is low, the strength of the upper material is too high, or mis-alignment occurs.

한편, 기계적 체결 기술의 중요한 요소 중 하나는 기계적 체결 품질의 평가이다. 특히 셀프 피어싱 리벳팅 등의 경우 체결이 한번 이루어지고 나면 이를 파괴하지 않고 결합 상태, 즉 체결 품질을 평가하기 위한 수단이 마땅치 않은 실정이다. 특히 기계적 체결의 자동화 관점에서 체결 후 체결 부위의 비파괴 검사, 나아가 실시간 모니터링(real-time monitoring)에 대한 필요성이 매우 크며, 이에 따라 다양한 기술 개발이 이루어지고 있다. 예를 들어 특허문헌 3은 금속 패널의 리벳 이음 검사 방법을 개시한다. 구체적으로 특허문헌 3은 리벳 이음에 사용되는 펀치의 하중과 변위를 이용하여 체결 품질을 평가하는 방법을 개시한다.Meanwhile, one of the important elements of mechanical fastening technology is the evaluation of mechanical fastening quality. In particular, in the case of self-piercing riveting, etc., once fastening is made, there is no suitable means to evaluate the joint state, that is, the quality of fastening, without destroying it. In particular, from the perspective of automation of mechanical fastening, there is a great need for non-destructive inspection of the fastening area after fastening and further real-time monitoring, and various technologies are being developed accordingly. For example, Patent Document 3 discloses a method for inspecting riveted joints of metal panels. Specifically, Patent Document 3 discloses a method of evaluating fastening quality using the load and displacement of the punch used in riveted joints.

그러나 특허문헌 3과 같이 하중과 변위를 기반으로 하는 체결 품질의 검사 방법은 그 변수가 다양하여 이를 데이터화하여 초기 설정을 진행해야하는 번거로움이 있으며, 이에 따라 하나의 설비를 다양한 종류의 부재들에 대한 기계적 체결의 품질 평가에 적용하기 곤란한 문제가 있다.However, the fastening quality inspection method based on load and displacement, such as in Patent Document 3, has various variables, so it is inconvenient to dataize them and proceed with initial settings. Accordingly, one facility can be used for various types of members. There is a problem that makes it difficult to apply it to quality evaluation of mechanical fastening.

이에 본 발명이 해결하고자 하는 과제는 종래와 다른 새로운 방법으로 기계적 체결의 품질을 모니터링 내지는 평가할 수 있는 리벳 체결 설비 또는 장치 시스템을 제공하는 것이다. 즉, 리벳 체결 공정 중에 비파괴적인 방법으로 체결 품질을 예측할 수 있는 장치를 제공하는 것이다.Accordingly, the problem to be solved by the present invention is to provide a rivet fastening facility or device system that can monitor or evaluate the quality of mechanical fastening in a new method different from the conventional one. In other words, it provides a device that can predict fastening quality in a non-destructive way during the riveting process.

본 발명이 해결하고자 하는 다른 과제는 리벳 체결 등 기계적 체결의 품질을 평가하거나 모니터링하는 방법을 제공하는 것이다.Another problem to be solved by the present invention is to provide a method for evaluating or monitoring the quality of mechanical fastening such as rivet fastening.

본 발명이 해결하고자 하는 또 다른 과제는 위의 기계적 체결의 품질을 평가하기 위한 인공 지능에 기초한 학습 모델을 제공하는 것이다.Another problem that the present invention aims to solve is to provide a learning model based on artificial intelligence for evaluating the quality of the above mechanical fastening.

본 발명이 해결하고자 하는 또 다른 과제는 위의 학습 모델을 구축하기 위한 인공 지능 학습 방법을 제공하는 것이다.Another problem that the present invention aims to solve is to provide an artificial intelligence learning method for building the above learning model.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

상기 어느 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공 지능 학습 방법은 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 공정의 공정 중에 발생하는 음향 신호를 측정하고, 측정된 음향 신호 중 적어도 일부를 푸리에 변환하여 얻은 변환 데이터에 기초한 데이터를 학습 데이터로 하는, 기계적 접합 품질을 예측하기 위한 인공 지능 학습 방법이다.The artificial intelligence learning method according to an embodiment of the present invention for solving any of the above problems is a method performed by a computing device, and includes sound generated during the self-piercing riveting process performed in the order of clamping, piercing, and flaring. It is an artificial intelligence learning method for predicting mechanical joint quality that measures a signal and uses data based on the converted data obtained by Fourier transforming at least some of the measured acoustic signals as learning data.

상기 학습 데이터는, 가로축을 주파수(frequency)로 하고 세로축을 크기값(amplitute)으로 하는 변환 데이터를 이미지화한 것을 이용한 것일 수 있다.The learning data may be an image of converted data with frequency on the horizontal axis and amplitude on the vertical axis.

대안적인 몇몇 실시예에서, 상기 학습 데이터는, 상기 변환 데이터를 복수의 주파수 구간으로 분할하고, 각 구간 별 피크의 개수, 각 피크의 값, 각 피크의 면적, 각 구간 내 피크값의 평균값, 각 구간 내 피크값의 표준편차 및 각 구간의 면적 중 하나 이상을 이용하는 것일 수 있다.In some alternative embodiments, the learning data divides the converted data into a plurality of frequency sections, and includes the number of peaks in each section, the value of each peak, the area of each peak, the average value of the peak values in each section, and the number of peaks in each section. One or more of the standard deviation of the peak value within the section and the area of each section may be used.

또, 상기 학습 데이터는, 적어도 100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것일 수 있다.In addition, the learning data uses the area of at least one peak occurring in the range of at least 100 Hz to 550 Hz, or the area of the range section, and the area of one or more peaks occurring in the range of 2,000 Hz to 2,550 Hz, or the area of the range section. It may be.

또한, 상기 학습 데이터는, 적어도 100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및 2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용하는 것일 수 있다.In addition, the learning data may use at least the value or number of peaks occurring in the range of 100 Hz to 550 Hz, and the value or number of peaks occurring in the range of 2,000 Hz to 2,550 Hz.

나아가, 상기 학습 데이터는, 적어도 100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것일 수 있다.Furthermore, the learning data may use the area of at least one peak occurring in the range of 100 Hz to 150 Hz, or the area of the range section, and the area of one or more peaks occurring in the range of 400 Hz to 550 Hz, or the area of the range section. there is.

상기 학습 데이터는, 적어도 100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용하는 것일 수 있다.The learning data may use at least the value or number of peaks occurring in the range of 100 Hz to 150 Hz, and the value or number of peaks occurring in the range of 400 Hz to 550 Hz.

또, 상기 학습 데이터는, 적어도 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 550Hz 내지 2,000Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것일 수 있다.In addition, the learning data uses the area of at least one peak occurring in the range of at least 400 Hz to 550 Hz, or the area of the range section, and the area of one or more peaks occurring in the range of 550 Hz to 2,000 Hz, or the area of the range section. You can.

상기 어느 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 셀프 피어싱 리벳팅 장치는, 클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 장치로서, 공정 중에서 시간 경과에 따른 음향 신호의 크기를 측정하는 음향 측정부; 상기 음향 신호를 푸리에 변환하는 푸리에 변환부; 및 상기 푸리에 변환된 데이터를 학습된 학습 모델의 입력으로 하여 공정 품질을 평가하는 품질 평가부를 포함한다.A self-piercing riveting device according to an embodiment of the present invention for solving any of the above problems is a self-piercing riveting device that performs clamping, piercing, and flaring in the order, and the size of the acoustic signal over time during the process. An acoustic measuring unit that measures; a Fourier transform unit that performs Fourier transform on the sound signal; and a quality evaluation unit that evaluates process quality by using the Fourier transformed data as input to a learned learning model.

상기 어느 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 리벳팅 공정의 품질 평가 방법은, 클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 공정의 품질 평가 방법으로서, 컴퓨팅 장치에 의해 수행되고, 리벳팅 공정 중에 발생하는 발생하는 음향 신호를 측정하고, 측정된 음향 신호 중 적어도 일부를 푸리에 변환하여 얻은 변환 데이터를 학습된 평가 모델의 입력 데이터로 한다.The quality evaluation method of the riveting process according to an embodiment of the present invention to solve the above-mentioned another problem is a quality evaluation method of a self-piercing riveting process performed in the order of clamping, piercing, and flaring, and is provided to a computing device. It is performed by measuring acoustic signals generated during the riveting process, and converting data obtained by Fourier transforming at least some of the measured acoustic signals as input data for the learned evaluation model.

상기 또 다른 어느 과제를 해결하기 위한 본 발명의 일 실시예에 따른 기계적 체결의 품질 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 이루어지는 셀프 피어싱 리벳팅 공정에 있어서, 상기 공정에서 발생하는 음향 신호를 측정하고 푸리에 변환(Fourier Transform)을 통해 분석된 음향 신호를 기초로 셀프 피어싱 리벳팅 공정의 품질을 평가하는 것을 포함하되, 상기 음향 신호를 측정하고 분석하는 단계는, 상기 클램핑 중에 발생한 음향, 상기 피어싱 중에 발생한 음향 및 상기 플레어링 중에 발생한 음향을 각각 분리하는 단계를 포함하고, 상기 피어싱 중의 음향 신호의 푸리에 변환 결과, 2,000Hz 내지 2,550Hz 범위에서 발생한 신호의 크기에 합에 대한, 100Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합의 비율이, 10 이상, 바람직하게는 12 이상일 경우 정상인 것으로 판단하고, 그렇지 않을 경우 불량으로 판단한다.A method for monitoring the quality of mechanical fastening according to an embodiment of the present invention for solving another problem described above is a method performed by a computing device, in a self-piercing riveting process performed in the order of clamping, piercing and flaring. , Measuring the acoustic signal generated in the process and evaluating the quality of the self-piercing riveting process based on the acoustic signal analyzed through Fourier Transform, wherein the step of measuring and analyzing the acoustic signal , comprising the step of separating the sound generated during the clamping, the sound generated during the piercing, and the sound generated during the flaring, and as a result of the Fourier transform of the sound signal during the piercing, the magnitude of the signal generated in the range of 2,000 Hz to 2,550 Hz If the ratio of the sum of the magnitudes of signals occurring in the range of 100Hz to 550Hz to the sum is 10 or more, preferably 12 or more, it is judged to be normal, and if not, it is judged to be defective.

상기 또 다른 어느 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 기계적 체결의 품질 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 이루어지는 셀프 피어싱 리벳팅 공정에 있어서, 상기 공정에서 발생하는 음향 신호를 측정하고 푸리에 변환(Fourier Transform)을 통해 분석된 음향 신호를 기초로 셀프 피어싱 리벳팅 공정의 품질을 평가하는 것을 포함하되, 상기 음향 신호를 측정하고 분석하는 단계는, 상기 클램핑 중에 발생한 음향, 상기 피어싱 중에 발생한 음향 및 상기 플레어링 중에 발생한 음향을 각각 분리하는 단계를 포함하고, 상기 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기가, 2,000Hz 내지 2,550Hz 범위에서 최대 피크를 갖는 신호의 크기의 3배 이상, 바람직하게는 4배 이상일 경우 정상으로 판단하고, 그렇지 않을 경우 불량으로 판단한다.A method for monitoring the quality of mechanical fastening according to another embodiment of the present invention to solve the above problem is a method performed by a computing device, in the self-piercing riveting process performed in the order of clamping, piercing and flaring. , Measuring the acoustic signal generated in the process and evaluating the quality of the self-piercing riveting process based on the acoustic signal analyzed through Fourier Transform, wherein the step of measuring and analyzing the acoustic signal , comprising the step of separating the sound generated during the clamping, the sound generated during the piercing, and the sound generated during the flaring, and as a result of the Fourier transform of the sound signal during the piercing, the size of the signal having a maximum peak in the range of 100 Hz to 550 Hz If the size is more than 3 times, preferably 4 times or more, the size of the signal with the maximum peak in the range of 2,000 Hz to 2,550 Hz, it is judged as normal, and if not, it is judged as defective.

상기 또 다른 어느 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 기계적 체결의 품질 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 이루어지는 셀프 피어싱 리벳팅 공정에 있어서, 상기 공정에서 발생하는 음향 신호를 측정하고 푸리에 변환(Fourier Transform)을 통해 분석된 음향 신호를 기초로 셀프 피어싱 리벳팅 공정의 품질을 평가하는 것을 포함하되, 상기 음향 신호를 측정하고 분석하는 단계는, 상기 클램핑 중에 발생한 음향, 상기 피어싱 중에 발생한 음향 및 상기 플레어링 중에 발생한 음향을 각각 분리하는 단계를 포함하고, 상기 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 150Hz 범위에서 발생한 신호의 크기에 합에 대한, 400Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합의 비율이, 1, 또는 바람직하게는 0.8 보다 작을 경우 정상인 것으로 판단하고, 그렇지 않을 경우 불량으로 판단한다.The quality monitoring method of mechanical fastening according to another embodiment of the present invention to solve the above problem is a method performed by a computing device, and involves a self-piercing riveting process consisting of clamping, piercing, and flaring. Measuring the acoustic signal generated in the process and evaluating the quality of the self-piercing riveting process based on the acoustic signal analyzed through Fourier Transform, comprising measuring and analyzing the acoustic signal. It includes the step of separating the sound generated during the clamping, the sound generated during the piercing, and the sound generated during the flaring, and the result of the Fourier transform of the sound signal during the piercing is the sum of the magnitude of the signal generated in the range of 100 Hz to 150 Hz. For , if the ratio of the sum of the magnitudes of signals generated in the range of 400Hz to 550Hz is less than 1, or preferably less than 0.8, it is judged to be normal, and if not, it is judged to be defective.

상기 또 다른 어느 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 기계적 체결의 품질 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 이루어지는 셀프 피어싱 리벳팅 공정에 있어서, 상기 공정에서 발생하는 음향 신호를 측정하고 푸리에 변환(Fourier Transform)을 통해 분석된 음향 신호를 기초로 셀프 피어싱 리벳팅 공정의 품질을 평가하는 것을 포함하되, 상기 음향 신호를 측정하고 분석하는 단계는, 상기 클램핑 중에 발생한 음향, 상기 피어싱 중에 발생한 음향 및 상기 플레어링 중에 발생한 음향을 각각 분리하는 단계를 포함하고, 상기 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 150Hz 범위에서 최대 피크를 갖는 신호의 크기가, 400Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기의 2.5배, 바람직하게는 2.8배 이상일 경우 정상으로 판단하고, 그렇지 않을 경우 불량으로 판단한다.The quality monitoring method of mechanical fastening according to another embodiment of the present invention to solve the above problem is a method performed by a computing device, and involves a self-piercing riveting process consisting of clamping, piercing, and flaring. Measuring the acoustic signal generated in the process and evaluating the quality of the self-piercing riveting process based on the acoustic signal analyzed through Fourier Transform, comprising measuring and analyzing the acoustic signal. It includes the step of separating the sound generated during the clamping, the sound generated during the piercing, and the sound generated during the flaring, and as a result of the Fourier transform of the sound signal during the piercing, a signal having a maximum peak in the range of 100 Hz to 150 Hz is obtained. If the size is 2.5 times, preferably 2.8 times or more, the size of the signal with the maximum peak in the range of 400Hz to 550Hz, it is judged to be normal, and if not, it is judged to be defective.

상기 또 다른 어느 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 기계적 체결의 품질 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 클램핑, 피어싱 및 플레어링 순으로 이루어지는 셀프 피어싱 리벳팅 공정에 있어서, 상기 공정에서 발생하는 음향 신호를 측정하고 푸리에 변환(Fourier Transform)을 통해 분석된 음향 신호를 기초로 셀프 피어싱 리벳팅 공정의 품질을 평가하는 것을 포함하되, 상기 음향 신호를 측정하고 분석하는 단계는, 상기 클램핑 중에 발생한 음향, 상기 피어싱 중에 발생한 음향 및 상기 플레어링 중에 발생한 음향을 각각 분리하는 단계를 포함하고, 상기 피어싱 중의 음향 신호의 푸리에 변환 결과, 400Hz 내지 550Hz 범위에서 발생한 신호의 크기에 합에 대한, 550Hz 내지 2,000Hz 범위에서 발생한 신호의 크기의 합의 비율이, 0.5 이하, 바람직하게는 0.3 이하일 경우 정상으로 판단하고, 그렇지 않을 경우 불량으로 판단한다.The quality monitoring method of mechanical fastening according to another embodiment of the present invention to solve the above problem is a method performed by a computing device, and involves a self-piercing riveting process consisting of clamping, piercing, and flaring. Measuring the acoustic signal generated in the process and evaluating the quality of the self-piercing riveting process based on the acoustic signal analyzed through Fourier Transform, comprising measuring and analyzing the acoustic signal. It includes the step of separating the sound generated during the clamping, the sound generated during the piercing, and the sound generated during the flaring, and the result of the Fourier transform of the sound signal during the piercing is the sum of the magnitude of the signal generated in the range of 400 Hz to 550 Hz. If the ratio of the sum of the sizes of signals generated in the range of 550Hz to 2,000Hz is 0.5 or less, preferably 0.3 or less, it is judged as normal, and if not, it is judged as defective.

기타 실시예의 구체적인 사항들은 상세한 설명에 포함되어 있다. Specific details of other embodiments are included in the detailed description.

본 발명의 실시예들에 따르면, 기계적 체결, 특히 셀프 피어싱 리벳팅 공정 중에 발생하는 음향을 측정하고, 측정된 음향 데이터로부터 특유화된 식별 데이터를 포착하여 기계적 체결의 불량 유무 및 품질을 평가할 수 있다.According to embodiments of the present invention, the sound generated during mechanical fastening, especially self-piercing riveting process, is measured, and unique identification data is captured from the measured acoustic data to evaluate the presence or absence of defects and quality of the mechanical fastening. .

특히 측정된 음향 데이터를 푸리에 변환하여 얻은 변환 데이터를 복수의 주파수 구간으로 나누고, 그 구간 내에서 특징 데이터를 추출하는 것을 포함하는 데이터 전처리를 수행하고 이를 학습 데이터로 활용함으로써 체결 공정 양불의 평가 정밀도와 신뢰성, 데이터 처리 속도를 높일 수 있다.In particular, the transformed data obtained by Fourier transforming the measured acoustic data is divided into a plurality of frequency sections, data preprocessing is performed including extracting feature data within the sections, and this is used as learning data to improve the evaluation precision of the fastening process positive and negative. Reliability and data processing speed can be increased.

위의 학습 모델을 이용하여 체결 과정에서 발생하는 음향을 실시간으로 측정하고 분석함으로써 비파괴 검사는 물론 실시간 검사를 수행할 수 있다.Using the above learning model, non-destructive testing as well as real-time testing can be performed by measuring and analyzing the sound generated during the fastening process in real time.

본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.Effects according to embodiments of the present invention are not limited to the contents exemplified above, and further various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 기계적 체결 설비의 하드웨어 구성도이다.
도 2는 도 1의 기계적 체결 설비의 모식도이다.
도 3은 셀프 피어싱 리벳팅 공정을 순서대로 나타낸 모식도이다.
도 4는 본 발명의 일 실시예에 따른 인공 지능 기반 학습 방법을 나타낸 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 인공 지능 기반 학습 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 기계적 체결 공정 및 기계적 체결의 품질 평가 방법을 나타낸 순서도이다.
도 7 및 도 8은 실시예 1을 나타낸 이미지들이다.
도 9는 본 발명의 다른 실시예에 따른 기계적 체결의 품질 평가 방법을 나타낸 순서도이다.
도 10 및 도 11은 실시예 2를 나타낸 이미지들이다.
1 is a hardware configuration diagram of a mechanical fastening facility according to an embodiment of the present invention.
Figure 2 is a schematic diagram of the mechanical fastening equipment of Figure 1.
Figure 3 is a schematic diagram showing the self-piercing riveting process in sequence.
Figure 4 is a flowchart showing an artificial intelligence-based learning method according to an embodiment of the present invention.
Figure 5 is a flowchart showing an artificial intelligence-based learning method according to another embodiment of the present invention.
Figure 6 is a flowchart showing a mechanical fastening process and a quality evaluation method of mechanical fastening according to an embodiment of the present invention.
Figures 7 and 8 are images showing Example 1.
Figure 9 is a flowchart showing a method for evaluating the quality of mechanical fastening according to another embodiment of the present invention.
Figures 10 and 11 are images showing Example 2.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 즉, 본 발명이 제시하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms, and only the embodiments serve to ensure that the disclosure of the present invention is complete, and those skilled in the art It is provided to fully inform the person of the scope of the invention, and the present invention is only defined by the scope of the claims. That is, various changes may be made to the embodiments presented by the present invention. The embodiments described below are not intended to limit the embodiments, but should be understood to include all changes, equivalents, and substitutes therefor.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

본 명세서에서, '및/또는'은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. 또, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. '내지'를 사용하여 나타낸 수치 범위는 그 앞과 뒤에 기재된 값을 각각 하한과 상한으로서 포함하는 수치 범위를 나타낸다. '약' 또는 '대략'은 그 뒤에 기재된 값 또는 수치 범위의 20% 이내의 값 또는 수치 범위를 의미한다.As used herein, 'and/or' includes each and every combination of one or more of the mentioned items. Additionally, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, 'comprises' and/or 'comprising' do not exclude the presence or addition of one or more other components in addition to the mentioned components. The numerical range expressed using 'to' indicates a numerical range that includes the values written before and after it as the lower limit and upper limit, respectively. ‘About’ or ‘approximately’ means a value or numerical range within 20% of the value or numerical range stated thereafter.

본 명세서에서, 구성요소를 지칭함에 있어 '제1 구성요소', '제2 구성요소', '제1-1 구성요소' 등과 같이 서수적 수식어는 어느 구성요소와 다른 구성요소를 구별하기 위해 사용되는 것일 뿐이다. 따라서 이하에서 지칭되는 제1 구성요소는 본 발명의 기술적 사상의 범위 내에서 제2 구성요소로 바꾸어 지칭될 수도 있다. 예를 들어, 어느 실시예에서 제1 구성요소로 지칭되는 것은 다른 실시예에서 제2 구성요소로 지칭될 수 있다. 다른 예를 들어, 발명의 설명에서 제1 구성요소로 지칭되는 것은 청구항에서 제2 구성요소로 지칭될 수도 있다.In this specification, when referring to components, ordinal modifiers such as 'first component', 'second component', '1-1 component', etc. are used to distinguish one component from another component. It just happens. Accordingly, the first component referred to below may be referred to as the second component within the scope of the technical idea of the present invention. For example, what is referred to as a first component in one embodiment may be referred to as a second component in another embodiment. For another example, what is referred to as a first element in the description of the invention may be referred to as a second element in the claims.

본 명세서에서, 용어 '컴퓨터'는 적어도 하나의 프로세서를 포함하여 정해진 명령을 수행하는 모든 종류의 하드웨어 장치를 의미한다. 다르게 정의되지 않는 한, 컴퓨터는 하드웨어 장치에서 구현되는 소프트웨어적 구성요소도 포함하는 의미로 이해될 수 있다. 이하에서 설명되는 각 단계들은 컴퓨터 또는 컴퓨터 장치의 프로세서에 의해 수행되는 것으로 이해될 수 있다. 몇몇 실시예에서, 각 단계들 중 적어도 일부는 서로 다른 컴퓨터 장치 또는 프로세서에 의해 수행될 수도 있음은 물론이다.In this specification, the term 'computer' refers to all types of hardware devices that include at least one processor and perform specified instructions. Unless otherwise defined, a computer can be understood to also include software components implemented in hardware devices. Each step described below may be understood as being performed by a processor of a computer or computer device. Of course, in some embodiments, at least some of the steps may be performed by different computer devices or processors.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 기계적 체결 설비의 하드웨어 구성도이다. 도 2는 도 1의 기계적 체결 설비의 모식도이다. 도 3은 셀프 피어싱 리벳팅 공정을 순서대로 나타낸 모식도이다.1 is a hardware configuration diagram of a mechanical fastening facility according to an embodiment of the present invention. Figure 2 is a schematic diagram of the mechanical fastening equipment of Figure 1. Figure 3 is a schematic diagram showing the self-piercing riveting process in sequence.

도 1 내지 도 3을 참조하면, 본 실시예에 따른 기계적 체결 설비(11)(또는 기계적 체결 장치, 또는 리벳팅 장치, 또는 인공 지능 학습 장치, 또는 기계적 체결 모니터링 내지는 품질 평가 장치)는 프로세서(100), 메모리(200), 음향 측정 유닛(600), 공정 유닛(500) 및 스토리지(300)를 포함하고, 입출력 유닛(420) 및 통신 유닛(410)을 더 포함할 수 있다.Referring to FIGS. 1 to 3, the mechanical fastening device 11 (or mechanical fastening device, or riveting device, or artificial intelligence learning device, or mechanical fastening monitoring or quality evaluation device) according to the present embodiment is a processor (100). ), a memory 200, an acoustic measurement unit 600, a process unit 500, and a storage 300, and may further include an input/output unit 420 and a communication unit 410.

프로세서(100)는 메모리(200)에 상주된 소프트웨어에 따른 명령어를 기초로 기계적 체결 설비(11)의 동작 및 기능을 구현할 수 있다. 예를 들어, 프로세서(100)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 프로세서(100)의 예로는 CPU(Central Proccessor Unit), MPU(Micro Processor Unit), MCU(Micro Controlling Unit), GPU(Graphic Processing Unit), ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치 등을 들 수 있다.The processor 100 may implement the operations and functions of the mechanical fastening device 11 based on instructions according to software resident in the memory 200. For example, the processor 100 may perform an operation on at least one application or program to execute a method according to embodiments of the present invention. Examples of the processor 100 include a Central Processor Unit (CPU), Micro Processor Unit (MPU), Micro Controlling Unit (MCU), Graphic Processing Unit (GPU), Application-Specific Integrated Circuit (ASIC), other chipsets, Examples include logic circuits and/or data processing devices.

메모리(200)는 소프트웨어가 상주(loading)될 수 있다. 예를 들어, 메모리(200)는 스토리지(300)로부터 소프트웨어(또는 컴퓨터 프로그램)을 로드할 수 있다. 메모리(200)에 소프트웨어가 로드되면, 프로세서(100)는 소프트웨어를 구성하는 하나 이상의 인스트럭션을 실행하여 방법, 동작 및/또는 기능을 수행할 수 있다. 메모리(200)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 메모리(200)는 프로세서(100)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(100)와 연결될 수 있다. 예를 들어, 프로세서(100)와 메모리(200)는 함께 PLC(programmable logic controller), PC(C3, C++), 자체 프로그램, 및/또는 이들의 조합을 형성할 수 있다.The memory 200 may be loaded with software. For example, memory 200 may load software (or computer program) from storage 300 . When software is loaded into the memory 200, the processor 100 may execute one or more instructions constituting the software to perform a method, operation, and/or function. The memory 200 may include read-only memory (ROM), random access memory (RAM), flash memory, a memory card, a storage medium, and/or other storage devices. Memory 200 may be internal or external to processor 100 and may be connected to processor 100 by various well-known means. For example, the processor 100 and memory 200 may together form a programmable logic controller (PLC), a PC (C3, C++), a self-program, and/or a combination thereof.

스토리지(300)는 본 발명에 따른 기계적 체결 설비(11)의 동작을 위한 제어 방법이 구현된 소프트웨어의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스, 라이브러리, 파일, 리소스 파일 등을 저장할 수 있다. 한편, 메모리(200)에 상주되거나 스토리지(300)에 저장된 상기 소프트웨어는 후술할 제어 방법을 수행 내지는 실행시키기 위해 기록된 매체에 기록된 컴퓨터 프로그램이 될 수 있다. 예를 들어, 스토리지(300)는 ROM(Read-Only Memory), 하드 디스크 등의 공지된 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 300 may store application programming interfaces, libraries, files, resource files, etc. necessary for executing software that implements a control method for operating the mechanical fastening equipment 11 according to the present invention. Meanwhile, the software residing in the memory 200 or stored in the storage 300 may be a computer program recorded on a recording medium to perform or execute a control method to be described later. For example, the storage 300 may be configured to include a known computer-readable recording medium, such as a read-only memory (ROM) or a hard disk.

메모리(200)에 상주되거나, 스토리지(300)에 저장된 소프트웨어는 후술할 기계적 체결의 품질 평가 또는 모니터링, 및/또는 기계적 체결 공정을 수행 내지는 실행시키기 위한 하나 이상의 인스트럭션을 포함하거나 기록 매체에 기록된 컴퓨터 프로그램이 될 수 있다. 본 발명이 소프트웨어로 구현될 경우, 상기 방법은 모듈, 예컨대 기능, 과정 등으로 구현될 수 있다. 모듈은 메모리(200)에 상주되고 프로세서(100)에 의해 실행될 수 있다. Software resident in memory 200 or stored in storage 300 includes one or more instructions for evaluating or monitoring the quality of mechanical fastening, which will be described later, and/or performing or executing a mechanical fastening process, or is recorded on a computer recording medium. It can be a program. When the present invention is implemented in software, the method may be implemented as modules, such as functions, processes, etc. The module may reside in memory 200 and be executed by processor 100 .

도 1에 도시된 다양한 구성요소들은 다양한 수단, 예를 들어 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 또는 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The various components shown in FIG. 1 may be implemented by various means, such as hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), and FPGAs ( Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, etc. Or, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above, and is recorded on a recording medium readable through various computer means. It can be. Here, the recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the recording medium may be those specifically designed and constructed for the present invention, or may be known and available to those skilled in the art of computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROM (Compact Disk Read Only Memory) and DVD (Digital Video Disk), and floptical media. It includes magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, etc. Examples of program instructions may include machine language code such as that created by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. Such hardware devices may be configured to operate as one or more software to perform the operations of the present invention, and vice versa.

상기 소프트웨어는 후술할 인공 지능 모델의 학습을 위한 학습 방법, 기계적 체결의 모니터링 방법, 기계적 체결 방법 등을 제공하기 위한 필요한 각종 정보 또는 이를 수행하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.The software may include various information necessary to provide a learning method for learning an artificial intelligence model, a mechanical fastening monitoring method, a mechanical fastening method, etc., which will be described later, or one or more instructions for performing the same.

데이터 버스(BUS)는 컴퓨팅 장치의 구성요소 간 통신 기능을 제공할 수 있다. 즉, 데이터 버스(BUS)는 프로세서(100), 메모리(200), 통신 유닛(410), 입출력 유닛(420), 스토리지(300) 및 후술할 기타 구성요소와 연결되어 각 구성요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.A data bus (BUS) may provide communication capabilities between components of a computing device. In other words, the data bus (BUS) is connected to the processor 100, memory 200, communication unit 410, input/output unit 420, storage 300, and other components to be described later, so that data is transmitted between each component. It can serve as a moving passage for delivering.

통신 유닛(410)은 통신 인터페이스를 포함할 수 있다. 도면으로 표현하지 않았으나, 본 실시예에 따른 기계적 체결 설비(11)가 서버(미도시) 등과의 네트워크 통신이 요구되는 경우, 통신 유닛(410)은 이들과의 유무선 신호를 처리하기 위한 베이스 밴드 회로를 포함할 수 있다. Communication unit 410 may include a communication interface. Although not shown in the drawing, when the mechanical fastening equipment 11 according to this embodiment requires network communication with a server (not shown), the communication unit 410 is a base band circuit for processing wired and wireless signals with them. may include.

입출력 유닛(420)은 사용자가 기계적 체결 설비(11)를 직접 제어하고자 하는 경우 동작 입력에 필요한 버튼 등의 입력 장치, 기계적 체결 설비(11)의 현재 상태 등을 표시하기 위한 디스플레이 등의 출력 장치를 포함할 수 있다.When a user wants to directly control the mechanical fastening facility 11, the input/output unit 420 includes input devices such as buttons required for operation input, and output devices such as a display for displaying the current status of the mechanical fastening facility 11. It can be included.

통신 유닛(410) 및 입출력 유닛(420)은 공지의 것을 이용할 수 있는 바 구체적인 설명은 생략한다.Since the communication unit 410 and the input/output unit 420 may be known, detailed descriptions thereof will be omitted.

공정 유닛(500)은 기계적 체결, 예컨대 리벳팅 공정을 수행하기 위한 구성요소를 의미할 수 있다. 예시적인 실시예에서, 기계적 체결이 셀프 피어싱 리벳일 경우 공정 유닛(500)은 펀치(P) 및 엔빌 다이(D)를 포함할 수 있다. 일반적으로 셀프 피어싱 리벳팅 공정은 클램핑(clamping), 피어싱(piercing), 플레어링(flaring) 및 릴리징(releasing) 순으로 이루어질 수 있다.The process unit 500 may refer to a component for performing a mechanical fastening, for example, a riveting process. In an exemplary embodiment, when the mechanical fastener is a self-piercing rivet, process unit 500 may include a punch (P) and an anvil die (D). Generally, the self-piercing riveting process may be performed in the following order: clamping, piercing, flaring, and releasing.

클램핑(clamping)은 엔빌 다이(D)와 펀치(P) 사이에 접합 대상(100), 예컨대 상부 피스(110)와 하부 피스(120)를 개재하고, 이를 정렬(align)한 후 고정하는 단계를 의미할 수 있다. 도 3은 접합 대상(100)이 상부 피스(110)와 하부 피스(120) 2개만을 포함하는 경우를 예시하고 있으나, 본 발명이 이에 제한되는 것은 아니며 접합 대상(100)은 세개 이상의 피스로 이루어질 수도 있다.Clamping involves interposing a joining object 100, for example, an upper piece 110 and a lower piece 120, between an anvil die (D) and a punch (P), aligning them, and then fixing them. It can mean. Figure 3 illustrates the case where the joining object 100 includes only two upper pieces 110 and the lower piece 120, but the present invention is not limited thereto and the joining object 100 may be composed of three or more pieces. It may be possible.

상부 피스(110)와 하부 피스(120)는 각각 금속 재질 또는 비금속 재질을 포함할 수 있다. 금속 재질의 예로는 철(Fe), 크롬(Cr), 니켈(Ni), 알루미늄(Al), 마그네슘(Mg), 또는 이들의 합금 등을 들 수 있다. 비금속 재질은 탄소섬유 강화 플라스틱(Carbon Fiber Reinforced Plastic, CFRP) 등을 예시할 수 있다.The upper piece 110 and the lower piece 120 may each include a metallic material or a non-metallic material. Examples of metal materials include iron (Fe), chromium (Cr), nickel (Ni), aluminum (Al), magnesium (Mg), or alloys thereof. Examples of non-metallic materials include carbon fiber reinforced plastic (CFRP).

피어싱(piercing)은 펀치(P)를 이용하여 리벳(R)을 접합 대상(100)에 적어도 부분적으로 관통시키는 단계를 의미할 수 있다. 리벳(R)의 가압은 펀치(P)를 통해 수행될 수 있다.Piercing may refer to the step of at least partially penetrating the rivet (R) into the joint object 100 using a punch (P). Pressing of the rivet (R) may be performed through a punch (P).

플레어링(flaring)은 리벳(R)이 접합 대상(100)을 관통하며 형상이 변형되는 단계를 의미할 수 있다. 예를 들어, 리벳(R)의 생크(shank)는 마치 폭발하는 것과 같이 벌어지며 연성을 갖는 피스, 예컨대 하부 피스(120)의 형상을 변형시킬 수 있다. 변형 형상은 엔빌 다이(D) 상면의 형상에 맞추어 변형될 수 있다. 도 3은 엔빌 다이(D)의 기저면이 볼록하게 돌출된 형상을 예시하고 있으나, 본 발명이 이에 제한되는 것은 아니다. 플레어링 과정에서 형상이 변형된 상부 피스(110)와 하부 피스(120), 그리고 리벳(R)은 서로 맞물리며 상부 피스(110)와 하부 피스(120)가 단단히 고정될 수 있다.Flaring may refer to a step in which the rivet R penetrates the joint object 100 and changes its shape. For example, the shank of the rivet R may open as if exploding and deform the shape of a ductile piece, for example, the lower piece 120. The deformed shape may be modified to match the shape of the upper surface of the anvil die (D). Figure 3 illustrates a convexly protruding base surface of the anvil die (D), but the present invention is not limited thereto. The upper piece 110, the lower piece 120, whose shape is changed during the flaring process, and the rivet R are engaged with each other, and the upper piece 110 and the lower piece 120 can be firmly fixed.

마지막으로 릴리징(releasing)은 기계적 체결이 완료된 후 펀치(P)를 상부로 이동시켜 고정 상태를 해제하는 단계를 의미할 수 있다.Lastly, releasing may refer to the step of releasing the fixed state by moving the punch (P) upward after the mechanical fastening is completed.

음향 측정 유닛(600)은 펀치(P) 및 엔빌 다이(D)와 인접하여 위치할 수 있다. 즉, 음향 측정 유닛(600)은 펀치(P)와 엔빌 다이(D) 사이의 공정 공간과 인접하여 위치하며, 상기 공정 공간에서 발생하는 음향을 측정할 수 있다. 음향 측정 유닛(600)은 마이크로폰(microphone) 등의 음향 센서를 포함할 수 있다.The acoustic measurement unit 600 may be located adjacent to the punch (P) and the anvil die (D). That is, the sound measurement unit 600 is located adjacent to the process space between the punch (P) and the anvil die (D), and can measure sound generated in the process space. The acoustic measurement unit 600 may include an acoustic sensor such as a microphone.

음향 측정 유닛(600)에서 측정된 음향 신호는 시간 경과에 따른 음향 신호의 크기로 표현될 수 있다. 상기 음향 신호의 크기는 압력 또는 데시벨(dB) 등으로 표현될 수 있다. 예를 들어, 측정된 로데이터는 가로축을 시간으로 하고 세로축을 음향 신호의 크기로 하는 형태로 수집 및 저장될 수 있다. The acoustic signal measured by the acoustic measurement unit 600 may be expressed as the size of the acoustic signal over time. The size of the sound signal may be expressed in terms of pressure or decibel (dB). For example, measured raw data can be collected and stored in a format where the horizontal axis is time and the vertical axis is the size of the sound signal.

또, 음향 측정 유닛(600)에서 수집된 음향 신호는 프로세서(100) 등 컴퓨터 장치의 음향 처리 유닛에 의해 주파수(Hz)에 대한 음향 신호의 크기로 변환될 수 있다. 예를 들어, 음향 측정 유닛(600)에서 측정된 음향 신호를 푸리에 변환(Fourier Transform)할 수 있다. 푸리에 변환의 상세한 예시로는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 들 수 있다. 이 때 변환된 음향 신호의 크기는 압력, 또는 데시벨, 또는 진폭(amplitude) 등으로 표현될 수 있다. 즉, 프로세서(100)는 공정 시간 경과에 따른 신호의 크기를 주파수 대역 별 신호의 크기로 변환할 수 있다. In addition, the sound signal collected by the sound measurement unit 600 may be converted into the size of the sound signal in terms of frequency (Hz) by a sound processing unit of a computer device, such as the processor 100. For example, the acoustic signal measured by the acoustic measurement unit 600 may be Fourier transformed. A detailed example of the Fourier transform is the Fast Fourier Transform (FFT). At this time, the size of the converted sound signal can be expressed as pressure, decibel, or amplitude. That is, the processor 100 can convert the size of the signal over process time into the size of the signal for each frequency band.

다시 말해서, 본 실시예에 따른 기계적 체결 품질의 모니터링 내지는 평가 방법은 음향 측정 유닛(600)에서 측정된 음향 신호를 바탕으로 수행되거나, 또는 음향 측정 유닛(600)에 의해 수집된 음향 신호를 푸리에 변환한 변환 데이터에 기초하여 수행될 수 있다. In other words, the method for monitoring or evaluating the mechanical fastening quality according to this embodiment is performed based on the acoustic signal measured by the acoustic measurement unit 600, or Fourier transforms the acoustic signal collected by the acoustic measurement unit 600. It can be performed based on converted data.

본 발명에 따른 기계적 체결 설비(11)는 공정 유닛(500)을 이용한 기계적 체결 공정, 즉 셀프 피어싱 리벳팅 공정 중에 발생하는 음향을 측정하고, 기 학습된 학습 모델을 이용해 수행된 공정의 양불을 판단하거나, 모니터링할 수 있다. 한편, 공정 유닛(500)과 음향 측정 유닛(600)들은 프로세서(100)에 의해 타이밍 제어가 될 수 있다.The mechanical fastening equipment 11 according to the present invention measures the sound generated during the mechanical fastening process using the process unit 500, that is, the self-pierce riveting process, and determines the quality of the performed process using a previously learned learning model. Or, you can monitor it. Meanwhile, the processing unit 500 and the acoustic measurement unit 600 may be timing controlled by the processor 100.

이하, 본 발명에 따른 인공 지능 학습 방법에 대해 보다 상세하게 설명한다. 도 4는 본 발명의 일 실시예에 따른 인공 지능 기반 학습 방법을 나타낸 순서도이다.Hereinafter, the artificial intelligence learning method according to the present invention will be described in more detail. Figure 4 is a flowchart showing an artificial intelligence-based learning method according to an embodiment of the present invention.

도 4를 더 참조하면, 본 실시예에 따른 인공 지능 학습 방법 내지는 학습 모델의 구축 방법은 음향 측정 유닛(600)을 이용해 음향 신호를 측정하는 단계(S110), 수집된 음향 신호를 시간에 따라 분리하는 단계(S210), 수집된 음향 신호 중 적어도 일부를 푸리에 변환부를 이용해 측정된 음향 신호를 푸리에 변환하여 변환 데이터를 획득 및 저장하는 단계(S310), 변환 데이터를 이미지화하여 이미지 데이터를 획득 및 저장하는 단계(S410) 및 이미지 데이터를 학습 데이터로 하여 학습하는 단계(S510)를 포함할 수 있다.Referring further to FIG. 4, the artificial intelligence learning method or the method of building a learning model according to this embodiment includes measuring an acoustic signal using an acoustic measurement unit 600 (S110), and separating the collected acoustic signals according to time. Step (S210), obtaining and storing converted data by Fourier transforming at least some of the collected acoustic signals using a Fourier transform unit, obtaining and storing converted data by imaging the converted data. It may include a step S410 and a step S510 of learning using image data as training data.

음향 신호를 측정하는 단계(S110)에서 측정된 음향 신호는 앞서 설명한 것과 같이 시간 경과에 따른 음향 신호의 크기로 표현될 수 있다. 예를 들어, 측정된 음향 신호는 가로축을 시간으로 하고 세로축을 음향 신호의 크기, 예컨대 압력(Pa) 또는 데시벨(dB)로 하는 형태일 수 있다.The sound signal measured in the step of measuring the sound signal (S110) may be expressed as the size of the sound signal over time, as described above. For example, the measured sound signal may be in a form where the horizontal axis is time and the vertical axis is the size of the sound signal, for example, pressure (Pa) or decibel (dB).

그리고 측정된 로데이터, 즉 음향 신호를 시간에 따라 분리할 수 있다(S210). 즉, 특정 시간 구간의 음향 신호를 추출할 수 있다. 음향 신호의 분리 내지는 추출은 소프트웨어의 음향 신호 시간 추출부에 관한 논리적 구성요소에 의해 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다.And the measured raw data, that is, the acoustic signal, can be separated according to time (S210). In other words, the sound signal of a specific time period can be extracted. Separation or extraction of the acoustic signal may be performed by logical components related to the acoustic signal time extraction unit of software, but the present invention is not limited thereto.

일반적으로 셀프 피어싱 리벳팅 공정은 클램핑, 피어싱, 플레어링 및 릴리징 공정이 순차적으로 수행될 수 있고, 각 단계 별로 소정 크기의 음향 신호가 검출될 수 있다. 음향 신호를 분리하는 단계를 수행하는 방법은 특별히 제한되지 않으나, 예를 들어 음향 측정 유닛(600)이 소정 기준 크기 이상의 음향 측정을 시작하는 시간과 음향 측정을 종료하는 시간에 기초하여 수행될 수 있다.Generally, in the self-piercing riveting process, clamping, piercing, flaring, and releasing processes may be performed sequentially, and an acoustic signal of a predetermined size may be detected for each step. The method of performing the step of separating the acoustic signal is not particularly limited, but, for example, it may be performed based on the time when the acoustic measurement unit 600 starts measuring acoustic sound greater than a predetermined standard size and the time when acoustic measurement ends. .

비제한적인 예시로서, 음향 측정의 시작 후 1초부터 2초까지의 구간에서 약 0.2밀리초(ms) 동안 측정되는 소정 크기의 음향 신호는 클램핑 중에 발생한 것일 수 있다. 또, 음향 측정의 시작 후 2초부터 2.5초까지의 구간에서 약 0.5ms 동안 측정되는 소정 크기의 음향 신호는 피어싱 중에 발생한 것일 수 있다. 음향 측정의 시작 후 2.5초부터 3초까지의 구간에서 약 0.5ms 동안 측정되는 소정 크기의 음향 신호는 플레어링 중에 발생한 것일 수 있다. 또, 플레어링 직후, 예컨대 음향 측정의 시작 후 3초부터 3.5초까지의 구간에서 약 0.2ms 동안 측정되는 소정 크기의 음향 신호는 릴리징 중에 발생한 것일 수 있다. 이처럼 시간 구간에 기초하여 음향을 분리하거나, 또는 특정 크기 이상 또는 이하, 또는 소정 범위의 크기로 검출되는 음향 신호를 순차적으로 음향의 분리를 수행할 수 있다.As a non-limiting example, an acoustic signal of a certain size measured for about 0.2 milliseconds (ms) in the period from 1 to 2 seconds after the start of the acoustic measurement may be generated during clamping. Additionally, an acoustic signal of a certain size measured for about 0.5 ms in the period from 2 to 2.5 seconds after the start of the acoustic measurement may have occurred during piercing. An acoustic signal of a certain size measured for about 0.5 ms in the period from 2.5 to 3 seconds after the start of the acoustic measurement may have occurred during flaring. In addition, an acoustic signal of a predetermined size measured for about 0.2 ms immediately after flaring, for example, in the period from 3 to 3.5 seconds after the start of acoustic measurement, may have occurred during releasing. In this way, the sound can be separated based on the time section, or the sound can be sequentially separated from sound signals detected with a size above or below a certain size, or within a predetermined range.

이하에서, 2초에서 2.5초 구간의 피어싱 공정 중에 발생한 음향 신호를 추출하고(S210), 후술할 푸리에 변환을 수행하는 경우를 예로 하여 설명하나, 본 발명이 이에 제한되는 것은 아니다. 본 실시예와 달리 전체 공정 구간 중에 발생한 음향 신호에 기초하여 변환 데이터를 수집할 수도 있으나, 데이터 처리 및 변환의 효율성 측면에서 본 실시예와 같이 특징 데이터로 활용할 수 있는 음향 신호만을 이용하는 것이 바람직할 수 있다. 본 발명의 발명자들은 다른 공정 구간에서 발생한 음향 신호에 비해 피어싱 구간 중에 발생한 음향 신호에 기초하여 학습을 수행할 경우, 다른 공정 구간의 음향 신호에 비해 높은 정밀도를 나타냄을 확인하고 본 발명을 완성하기에 이르렀다.Hereinafter, the case where an acoustic signal generated during a piercing process in a period of 2 seconds to 2.5 seconds is extracted (S210) and Fourier transform, which will be described later, is performed will be described as an example, but the present invention is not limited thereto. Unlike this embodiment, conversion data may be collected based on acoustic signals generated during the entire process section, but in terms of efficiency of data processing and conversion, it may be preferable to use only acoustic signals that can be used as feature data as in this embodiment. there is. The inventors of the present invention confirmed that when learning is performed based on the acoustic signal generated during the piercing section compared to the acoustic signal generated in other process sections, higher precision is achieved compared to the acoustic signal generated in other process sections, and thus completed the present invention. It has arrived.

그 다음 추출된 음향 신호를 변환하여 변환 데이터를 수집할 수 있다(S310). 음향 신호의 변환은 소프트웨어의 푸리에 변환부에 관한 논리적 구성요소에 의해 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. Next, the extracted acoustic signal can be converted to collect conversion data (S310). Conversion of the acoustic signal may be performed by logical components related to the Fourier transform unit of software, but the present invention is not limited thereto.

푸리에 변환의 상세한 예시로는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 들 수 있다. 푸리에 변환된 변환 데이터는 주파수에 따른 음향 신호의 크기로 표현될 수 있다. 예를 들어, 변환된 음향 신호는 가로축을 주파수로 하고 세로축을 음향 신호의 크기, 예컨대 압력, 또는 데시벨, 또는 무차원의 진폭(amplitude) 등으로 하는 형태일 수 있다.A detailed example of the Fourier transform is the Fast Fourier Transform (FFT). Fourier transformed data can be expressed as the size of an acoustic signal according to frequency. For example, the converted sound signal may be in a form where the horizontal axis is frequency and the vertical axis is the size of the sound signal, such as pressure, decibel, or dimensionless amplitude.

그 다음 변환된 변환 데이터를 이미지 형태로 변환 및 저장할 수 있다(S410). 즉, 음향 신호 데이터로부터 이미지 데이터를 추출할 수 있다. 변환 데이터의 이미지화는 소프트웨어의 이미지 변환부에 관한 논리적 구성요소에 의해 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다.Next, the converted data can be converted and saved in image form (S410). That is, image data can be extracted from acoustic signal data. Imaging of converted data may be performed by logical components related to the image conversion unit of software, but the present invention is not limited thereto.

앞서 설명한 것과 같이 최초 음향 측정 유닛(600)에 의해 수집된 데이터, 즉 시간에 따른 음향 신호의 크기 데이터는 인공 지능 학습을 수행할 만큼의 충분한 특징점을 제공하지 못할 수 있다. 그러나 본 실시예와 같이 특정 시간 구간의 음향 신호를 푸리에 변환할 경우, 비제한적인 예시로서 약 10개 이상, 또는 약 15개 이상, 또는 약 20개 이상의 특정 주파수 대역에서의 피크를 특징 데이터로 활용하여 학습 및 품질 평가 정밀도를 높일 수 있다.As described above, data collected by the first acoustic measurement unit 600, that is, data on the size of the acoustic signal over time, may not provide sufficient feature points to perform artificial intelligence learning. However, when Fourier transforming an acoustic signal in a specific time period as in this embodiment, as a non-limiting example, peaks in about 10 or more, about 15 or more, or about 20 or more specific frequency bands are used as feature data. This can increase the precision of learning and quality evaluation.

그리고 획득한 이미지 데이터를 이용하여 학습을 수행할 수 있다(S510). 이 때 이미지 데이터를 이용한 학습 모델은 다양한 인공 지능 학습 모델, 예를 들어 머신 러닝 모델이나 딥러닝 모델이 사용될 수 있다. 구체적인 예를 들어, 수집한 데이터들로부터 여러 관계들과 패턴들을 찾는데 있어 클래스 분류에 적합한 깊이와 구조로 설계된 R-합성곱신경망(region-based convolutional neural network) 또는 Mask-R-CNN 모델과 같은 개별 영역 분할 모델이 활용될 수 있다.And learning can be performed using the acquired image data (S510). At this time, various artificial intelligence learning models, such as machine learning models or deep learning models, can be used as the learning model using image data. For example, in finding various relationships and patterns from collected data, individual models such as R-convolutional neural network (region-based convolutional neural network) or Mask-R-CNN are designed with depth and structure suitable for class classification. A region partition model may be utilized.

클래스를 제공하는 방법은 특별히 제한되지 않으나, 비제한적인 예시로서 하기 표 1과 같은 다양한 정상 조건과 불량 조건을 포함하는 13가지의 클래스를 이용할 수 있다.The method of providing classes is not particularly limited, but as a non-limiting example, 13 classes including various normal and bad conditions as shown in Table 1 below can be used.

클래스class 단면 이미지cross section image 설명explanation 1One 정상normal 22 Rivet leg leng. -0.5mmRivet leg length. -0.5mm 33 Rivet leg leng. +0.5mmRivet leg length. +0.5mm 44 Missalignment 1mmMissalignment 1mm 55 Missalignment 2mmMissalignment 2mm 66 HD2 Rivet+0.5mmHD2 Rivet+0.5mm 77 KA DieK.A.Die 88 DZ DieDZ Die 99 Gap 1mmGap 1mm 1010 Gap 2mmGap 2mm 1111 Tilt 5Tilt 5 1212 Tilt 10Tilt 10 1313 Tilt 15Tilt 15

이하, 본 발명의 다른 실시예들에 대해 설명한다. 다만 전술한 실시예와 실질적으로 동일하거나, 극히 유사한 구성에 대한 설명은 생략하며 이는 첨부된 도면으로부터 본 기술분야에 속하는 통상의 기술자에게 쉽게 이해될 수 있을 것이다.Hereinafter, other embodiments of the present invention will be described. However, descriptions of configurations that are substantially the same or extremely similar to the above-described embodiments will be omitted, and this will be easily understood by those skilled in the art from the attached drawings.

도 5는 본 발명의 다른 실시예에 따른 인공 지능 기반 학습 방법을 나타낸 순서도이다.Figure 5 is a flowchart showing an artificial intelligence-based learning method according to another embodiment of the present invention.

도 5를 참조하면, 본 실시예에 따른 인공 지능 학습 방법 내지는 학습 모델의 구축 방법은 음향 측정 유닛(600)을 이용해 음향 신호를 측정하는 단계(S110), 수집된 음향 신호를 시간에 따라 분리하는 단계(S210), 및 수집된 음향 신호 중 적어도 일부를 푸리에 변환부를 이용해 측정된 음향 신호를 푸리에 변환하여 변환 데이터를 획득 및 저장하는 단계(S310)를 포함하고, 변환 데이터의 주파수 별 구간 중 일부를 분리하는 단계(S420) 및 구간별 신호 크기를 학습 데이터로 하여 학습하는 단계(S520)를 포함할 수 있다.Referring to FIG. 5, the artificial intelligence learning method or the method of building a learning model according to this embodiment includes the steps of measuring an acoustic signal using the acoustic measurement unit 600 (S110), and separating the collected acoustic signals according to time. A step (S210), and a step (S310) of acquiring and storing converted data by Fourier transforming at least some of the collected acoustic signals using a Fourier transform unit, and storing some of the frequency-specific sections of the transformed data. It may include a step of separating (S420) and a step of learning using the signal size for each section as learning data (S520).

음향 신호를 측정하는 단계(S110), 음향 신호를 추출하는 단계(S210) 및 푸리에 변환하는 단계(S310)는 앞서 설명한 바 있으므로 중복되는 설명은 생략한다.Since the step of measuring the sound signal (S110), the step of extracting the sound signal (S210), and the step of Fourier transforming (S310) have been described previously, overlapping descriptions will be omitted.

그 다음 푸리에 변환된 데이터를 주파수 구간 별로 복수의 구간으로 분리한다(S420). 본 실시예와 달리 데이터 처리 및 효율성 측면에서는 전체 주파수 구간의 신호에 기초할 수도 있으나, 본 실시예와 같이 특징 데이터로 활용할 수 있는 주파수 구간을 추출 및 분할하고, 이들 각각에 대한 학습을 수행하는 것이 그렇지 않은 경우에 비해 높은 정밀도를 나타냄을 확인하고 본 발명을 완성하기에 이르렀다.Next, the Fourier transformed data is divided into a plurality of sections for each frequency section (S420). Unlike this embodiment, in terms of data processing and efficiency, it may be based on the signal of the entire frequency section. However, as in this embodiment, it is better to extract and divide frequency sections that can be used as feature data and perform learning on each of them. It was confirmed that higher precision was achieved compared to other cases, and the present invention was completed.

예시적인 실시예에서, 주파수 구간을 추출 및 분할하는 단계(S420)는 하기 5개의 구간 중 하나 이상을 추출하는 것을 포함할 수 있다. 주파수 구간의 분할은 소프트웨어의 주파수 구간 분할부에 관한 논리적 구성요소에 의해 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다.In an exemplary embodiment, the step of extracting and dividing the frequency section (S420) may include extracting one or more of the following five sections. Division of the frequency section may be performed by logical components related to the frequency section division unit of software, but the present invention is not limited thereto.

1) 100Hz 내지 150Hz, 2) 150Hz 내지 400Hz, 3) 400Hz 내지 550Hz, 4) 550Hz 내지 2,000Hz, 5) 2,000Hz 내지 2,550Hz1) 100Hz to 150Hz, 2) 150Hz to 400Hz, 3) 400Hz to 550Hz, 4) 550Hz to 2,000Hz, 5) 2,000Hz to 2,550Hz

그리고 획득한 주파수 구간 별 신호 크기를 이용하여 학습을 수행할 수 있다(S520). 이 때 앞서 추출 및 저장된 주파수 구간들 중 하나, 또는 그 이상의 조합을 이용할 수 있다.And learning can be performed using the acquired signal size for each frequency section (S520). At this time, one or more combinations of previously extracted and stored frequency sections can be used.

예를 들어, 상기 5개의 구간 중 어느 하나에 포함된 정보를 이용하여 학습을 수행할 수 있다. 다른 예를 들어, 상기 5개의 구간 중 2개, 또는 그 이상에 포함된 정보를 이용하여 학습을 수행할 수 있다. For example, learning can be performed using information included in any one of the five sections. For another example, learning may be performed using information included in two or more of the five sections.

이 때 복수의 주파수 구간 데이터를 학습에 이용할 경우, 각각에 대한 데이터를 이용하거나, 또는 복수의 주파수 구간 내 데이터들 간의 상관 관계를 이용할 수 있다. At this time, when using multiple frequency section data for learning, data for each may be used, or correlation between data within a plurality of frequency sections may be used.

예를 들어, 어느 제1 구간(예컨대 100Hz 내지 150Hz)과 다른 제2 구간(예컨대, 400Hz 내지 550Hz) 각각을 이용하여 학습하고, 이들이 모두 학습된 수치 범위 내일 경우 특정 클래스에 해당하는 것으로 분류할 수 있다. For example, a first section (e.g., 100 Hz to 150 Hz) and a different second section (e.g., 400 Hz to 550 Hz) are used to learn, and if they are all within the learned numerical range, they can be classified as belonging to a specific class. there is.

다른 예를 들어, 어느 제1 구간(예컨대 100Hz 내지 150Hz) 내 데이터들의 특징(예컨대 피크의 면적, 범위 구간의 면적 등)과 다른 제2 구간(예컨대 400Hz 내지 550Hz) 내 데이터들의 특징을 비교하여, 이들의 대소 관계, 또는 비율 등 상관 관계에 기초하여 학습하고, 이들의 상관 관계가 학습된 수치 범위 내일 경우 특정 클래스에 해당하는 것으로 분류할 수 있다.For another example, by comparing the characteristics of data (e.g., peak area, area of range section, etc.) in a first interval (e.g., 100 Hz to 150 Hz) with the characteristics of data in another second interval (e.g., 400 Hz to 550 Hz), It can be learned based on correlations such as size or ratio, and if the correlation is within the learned numerical range, it can be classified as belonging to a specific class.

전술한 것과 같이 각 구간들 각각을 학습 데이터로 이용하거나, 복수의 구간들의 특징 데이터의 상관 관계를 학습 데이터로 이용할 경우, 전술한 5개의 구간 중 연속되는 복수개를 하나의 구간으로 설정할 수도 있다. 예를 들어, 어느 3개의 구간(예컨대, 100Hz 내지 150Hz, 150Hz 내지 400Hz, 400Hz 내지 550Hz)을 하나의 제1 구간으로 설정하고, 다른 하나 이상의 구간(예컨대, 2,000Hz 내지 2,550Hz)을 제2 구간으로 설정할 수도 있다.As described above, when each section is used as learning data or the correlation between feature data of a plurality of sections is used as learning data, a plurality of consecutive sections among the five sections described above may be set as one section. For example, any three sections (e.g., 100Hz to 150Hz, 150Hz to 400Hz, 400Hz to 550Hz) are set as one first section, and one or more other sections (e.g., 2,000Hz to 2,550Hz) are set as the second section. It can also be set to .

본 단계(S520)에서, 학습 데이터로 이용되거나, 또는 다른 구간과의 상관 관계에 사용되기 위해 추출되는 푸리에 변환 데이터 값은 구간 내 피크의 개수, 각 피크의 값, 각 피크의 면적, 각 구간 내 피크의 평균값, 각 구간 내 피크값의 표준 편차, 각 구간의 면적, 및/또는 피크에서의 신호 크기의 증감 변화 경향일 수 있다. 여기서 피크는 그 전후에서 극값을 형성하며, 미리 정해진 전후의 주파수에서의 신호 크기와 당해 주파수에서의 신호 크기의 변화율이 소정 기준 이상인 것을 의미할 수 있다.In this step (S520), the Fourier transform data values extracted to be used as learning data or for correlation with other sections include the number of peaks in the section, the value of each peak, the area of each peak, and the It may be the average value of the peak, the standard deviation of the peak value within each section, the area of each section, and/or the tendency to increase or decrease the signal size at the peak. Here, the peak forms an extreme value before and after it, and may mean that the signal size at a predetermined frequency before and after and the rate of change of the signal size at that frequency are greater than a predetermined standard.

더 상세하게 설명하면, 구간 내 피크의 개수는 해당 주파수 구간 내에서 카운트된 피크의 개수를 의미할 수 있다. In more detail, the number of peaks within a section may mean the number of peaks counted within the corresponding frequency section.

또, 각 피크의 값은 피크에 해당하는 신호 크기를 의미할 수 있다. 몇몇 실시예에서, 피크의 값은 소정의 전처리 과정을 통해 단순화될 수 있다. 비제한적인 예시로, 어느 주파수 구간에서 피크의 신호 크기가 순차적으로 2.143, 2.174, 2.781, 3,415, 1,742일 경우, 이들을 반올림 또는 버림 등의 방법으로 소수점 첫째 자리까지 표현하거나, 또는 정수로 표현할 수 있다.Additionally, the value of each peak may mean the signal size corresponding to the peak. In some embodiments, the values of peaks may be simplified through certain preprocessing procedures. As a non-limiting example, if the signal size of the peak in a certain frequency range is sequentially 2.143, 2.174, 2.781, 3,415, and 1,742, these can be expressed to the first decimal place by rounding or truncating, or expressed as an integer. .

각 구간 내 피크의 평균값 및 표준 편차는 해당 주파수 구간에서 피크들의 신호 크기 값들의 평균 및 표준 편차를 의미할 수 있다.The average value and standard deviation of the peaks within each section may mean the average and standard deviation of the signal magnitude values of the peaks in the corresponding frequency section.

또한 각 피크의 면적은 극값을 나타내는 주파수 값에서 미리 정해진 주파수 전후 범위 내에서 피크의 면적을 의미할 수 있다. 예를 들어, 1,540Hz에서 어느 피크가 표현될 경우, 미리 정해진 ±5Hz의 주파수 범위에서의 주파수 면적이 산출될 수 있다. 비제한적인 예시로, 1,535Hz에서 1,545Hz까지의 구간에서의 적분 면적이 1,540Hz 피크의 면적에 해당할 수 있다.Additionally, the area of each peak may mean the area of the peak within a range before and after a predetermined frequency from the frequency value representing the extreme value. For example, if a peak is expressed at 1,540 Hz, the frequency area in a predetermined frequency range of ±5 Hz can be calculated. As a non-limiting example, the integrated area in the section from 1,535 Hz to 1,545 Hz may correspond to the area of the 1,540 Hz peak.

또, 각 구간의 면적은 특정 주파수 구간, 예컨대 400Hz 내지 550Hz에서의 전체 적분 면적을 의미할 수 있다.Additionally, the area of each section may mean the total integrated area in a specific frequency section, for example, 400Hz to 550Hz.

즉, 푸리에 변환된 변환 데이터를 전처리하여 피크와 관련된 수치들 정량적 데이터를 추출한 후 이들을 이용해 학습을 수행할 수 있다. 학습 모델은 공지된 인공 지능 학습 모델을 사용할 수 있으며, 예를 들어 ANN, DNN 등을 이용할 수 있다. 제공되는 클래스는 표 1과 함께 설명한 바 있으므로 중복되는 설명은 생략한다.In other words, the Fourier transformed data can be preprocessed to extract quantitative data related to peaks and then used to perform learning. The learning model may use a known artificial intelligence learning model, for example, ANN, DNN, etc. The provided classes are explained in Table 1, so redundant explanations are omitted.

예시적인 실시예에서, 학습은 100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용할 수 있다.In an exemplary embodiment, learning may utilize the area of one or more peaks occurring in the range 100 Hz to 550 Hz, or the area of a range interval, and the area of one or more peaks occurring in the range 2,000 Hz to 2,550 Hz, or the area of a range interval. You can.

보완적, 추가적 및/또는 대안적인 실시예에서, 학습은 100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및 2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용할 수 있다.In supplementary, additional and/or alternative embodiments, learning includes the value of one or more peaks, or number of peaks, occurring in the range from 100 Hz to 550 Hz, and the value of one or more peaks, or number of peaks, occurring in the range from 2,000 Hz to 2,550 Hz. number can be used.

보완적, 추가적 및/또는 대안적인 실시예에서, 학습은 100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용할 수 있다.In supplementary, additional and/or alternative embodiments, learning is performed on the area of one or more peaks occurring in the range from 100 Hz to 150 Hz, or an area of a section of said range, and the area of one or more peaks occurring in the range of 400 Hz to 550 Hz, or said range. The area of the section can be used.

보완적, 추가적 및/또는 대안적인 실시예에서, 학습은 100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용할 수 있다.In a supplementary, additional and/or alternative embodiment, learning may include the value or number of peaks of one or more peaks occurring in the range of 100 Hz to 150 Hz, and the value or number of peaks of one or more peaks occurring in the range of 400 Hz to 550 Hz. Available.

보완적, 추가적 및/또는 대안적인 실시예에서, 학습은 400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및 550Hz 내지 2,000Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용할 수 있다.In supplementary, additional and/or alternative embodiments, learning is performed by measuring the area of one or more peaks occurring in the range from 400 Hz to 550 Hz, or the area of a section of the range, and the area of one or more peaks occurring in the range from 550 Hz to 2,000 Hz, or The area of the range section can be used.

도 6은 본 발명의 일 실시예에 따른 기계적 체결 공정 및 기계적 체결의 품질 평가 방법을 나타낸 순서도이다.Figure 6 is a flowchart showing a mechanical fastening process and a quality evaluation method of mechanical fastening according to an embodiment of the present invention.

도 6을 더 참조하면, 본 실시예에 따른 기계적 체결 공정 및 기계적 체결 공정의 품질 평가 방법은 음향 측정 유닛(600)을 이용해 음향 신호를 측정하는 단계(S610), 수집된 음향 신호를 시간에 따라 분리하는 단계(S620), 수집된 음향 신호 중 적어도 일부를 푸리에 변환부를 이용해 측정된 음향 신호를 푸리에 변환하여 변환 데이터를 획득 및 저장하는 단계(S630)을 포함하고, 저장된 푸리에 변환 데이터와 학습된 평가 모델을 비교하여 품질을 평가하는 단계(S691)를 더 포함할 수 있다.Referring further to FIG. 6, the mechanical fastening process and the quality evaluation method of the mechanical fastening process according to the present embodiment include measuring an acoustic signal using an acoustic measurement unit 600 (S610), and measuring the collected acoustic signal over time. A step of separating (S620) and Fourier transforming at least some of the collected acoustic signals using a Fourier transform unit to obtain and store transformed data (S630), and evaluating the stored Fourier transform data and the learned evaluation. A step (S691) of evaluating quality by comparing models may be further included.

음향 신호를 측정하는 단계(S610), 음향 신호를 추출하는 단계(S620) 및 푸리에 변환하는 단계(S630)는 앞서 설명한 인공 지능 학습 방법과 동일한 구성요소를 이용하여 실질적으로 동일한 방법으로 수행될 수 있다.The step of measuring the acoustic signal (S610), the step of extracting the acoustic signal (S620), and the step of Fourier transforming (S630) can be performed in substantially the same way using the same components as the artificial intelligence learning method described above. .

그리고 변환된 변환 데이터를 기 학습된 평가 모델과 비교하여 클래스를 분류 및 정상 여부를 판단할 수 있다(S691).Then, the converted data can be compared with the previously learned evaluation model to classify the class and determine whether it is normal (S691).

이하 구체적인 실시예를 통해 본 발명에 대해 더욱 상세하게 설명한다.The present invention will be described in more detail below through specific examples.

<실시예 1><Example 1>

도 7과 같은 학습 모델을 이용하여 셀프 피어싱 리벳의 품질 평가를 위한 학습을 수행하였다. 학습 방법은 도 5 및 표 1과 같이 하였다. 학습은 구간을 5개로 분할하고 이들 모두를 이용하였다. 상기 표 1에서 클래스 2 내지 클래스 13은 불량인 것으로 이해될 수 있다. 그리고 학습된 모델을 이용해서, 클래스 1 내지 클래스 13에 해당하는 셀프 피어싱 리벳팅 공정을 20회 수행하고 분류 정밀도에 관한 결과 및 오차 행렬을 작성하여 도 8에 나타내었다.Learning was performed to evaluate the quality of self-piercing rivets using the learning model shown in Figure 7. The learning method was as shown in Figure 5 and Table 1. For learning, the section was divided into 5 sections and all of them were used. In Table 1, classes 2 to 13 can be understood as defective. Then, using the learned model, the self-piercing riveting process corresponding to classes 1 to 13 was performed 20 times, and the results and error matrix regarding classification accuracy were created and shown in FIG. 8.

음향 측정 유닛으로는 브뤼엘&케아(Bruel&Kjaer)社의 GRAS 46AE 마이크로폰을 준비하였다. 음향 처리 유닛으로는 NI-9234 모듈과 매틀랩(Matlab)을 이용하였다. 또, 기계적 체결부로서 엔빌 다이는 FM 타입 090-2-018 제품을 이용하고, 리벳은 C-타입(Φ5.3×6.5)를 이용하여 펀치 유닛의 압력은 45kN으로 설정하였다.As an acoustic measurement unit, a GRAS 46AE microphone from Bruel&Kjaer was prepared. The NI-9234 module and Matlab were used as the sound processing unit. In addition, as a mechanical fastener, FM type 090-2-018 product was used as the anvil die, C-type (Φ5.3×6.5) rivet was used, and the pressure of the punch unit was set to 45kN.

도 8을 참조하면, 20회의 테스트에서 13개의 클래스를 100%의 정밀도로 분류해낸 결과를 확인할 수 있다.Referring to Figure 8, you can see the results of classifying 13 classes with 100% precision in 20 tests.

한편, 본 발명은 인공 지능 학습을 통한 기계적 체결 공정의 품질 평가 방법 외에도, 컴퓨터 장치에 의해 수행되는 기계적 체결 공정의 품질 평가 방법을 제공한다. 이하, 이에 대해 설명한다.Meanwhile, the present invention provides, in addition to a method for evaluating the quality of a mechanical fastening process through artificial intelligence learning, a method for evaluating the quality of a mechanical fastening process performed by a computer device. Below, this will be explained.

도 9는 본 발명의 다른 실시예에 따른 기계적 체결의 품질 평가 방법을 나타낸 순서도이다.Figure 9 is a flowchart showing a method for evaluating the quality of mechanical fastening according to another embodiment of the present invention.

도 9를 참조하면, 본 실시예에 따른 기계적 체결 공정 및 기계적 체결 공정의 품질 평가 방법은 음향 측정 유닛(600)을 이용해 음향 신호를 측정하는 단계(S610), 수집된 음향 신호를 시간에 따라 분리하는 단계(S620), 수집된 음향 신호 중 적어도 일부를 푸리에 변환부를 이용해 측정된 음향 신호를 푸리에 변환하여 변환 데이터를 획득 및 저장하는 단계(S630)을 포함하고, 저장된 푸리에 변환 데이터의 구간별 신호 크기 등의 비교를 통해 품질을 평가하는 단계(S692)를 더 포함할 수 있다.Referring to FIG. 9, the mechanical fastening process and the quality evaluation method of the mechanical fastening process according to the present embodiment include measuring an acoustic signal using an acoustic measurement unit 600 (S610), separating the collected acoustic signals according to time. A step (S620) of obtaining and storing transformed data by Fourier transforming at least some of the collected acoustic signals using a Fourier transform unit, and obtaining and storing transformed data, and the signal size for each section of the stored Fourier transformed data. A step (S692) of evaluating quality through comparison may be further included.

음향 신호를 측정하는 단계(S610), 음향 신호를 추출하는 단계(S620) 및 푸리에 변환하는 단계(S630)는 앞서 설명한 바 있으므로 중복되는 설명은 생략한다.Since the step of measuring the sound signal (S610), the step of extracting the sound signal (S620), and the step of Fourier transforming (S630) have been described previously, redundant descriptions will be omitted.

신호 크기 등의 비교를 통해 품질을 평가하는 단계(S692)는 컴퓨터 장치, 예컨대 소프트웨어의 비교 판단부에 관한 논리적 구성요소를 이용하여 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. 본 발명의 발명자들은 기계적 체결, 예컨대 셀프 피어싱 리벳팅의 결과물이 우수한 체결 강도를 갖는 정상인 경우와 그렇지 않은 경우에 주파수 대역별 신호의 특성 차가 있는 것을 발견하고 이에 착안하여 본 발명을 완성하기에 이르렀다.The step (S692) of evaluating quality through comparison of signal size, etc. may be performed using logical components related to a comparison judgment unit of a computer device, for example, software, but the present invention is not limited thereto. The inventors of the present invention discovered that there was a difference in signal characteristics for each frequency band when the result of mechanical fastening, such as self-piercing riveting, had excellent fastening strength and when it did not, and took note of this to complete the present invention.

도면으로 표현하지 않았으나, 품질을 평가하는 단계(S692)는 주파수 구간을 추출 및 분할하는 단계 및 이를 비교 판단하는 단계를 포함할 수 있다. 주파수 구간의 분할은 소프트웨어의 주파수 구간 분할부에 관한 논리적 구성요소에 의해 수행될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. 주파수 구간의 추출 및 분할은 하기 5개의 구간 중 하나 이상을 추출하는 것을 포함할 수 있다.Although not shown in the drawing, the step of evaluating quality (S692) may include extracting and dividing a frequency section and comparing and judging them. Division of the frequency section may be performed by logical components related to the frequency section division unit of software, but the present invention is not limited thereto. Extracting and dividing the frequency section may include extracting one or more of the following five sections.

1) 100Hz 내지 150Hz, 2) 150Hz 내지 400Hz, 3) 400Hz 내지 550Hz, 4) 550Hz 내지 2,000Hz, 5) 2,000Hz 내지 2,550Hz1) 100Hz to 150Hz, 2) 150Hz to 400Hz, 3) 400Hz to 550Hz, 4) 550Hz to 2,000Hz, 5) 2,000Hz to 2,550Hz

예시적인 실시예에서, 피어싱 중의 음향 신호의 푸리에 변환 결과, 2,000Hz 내지 2,550Hz 범위에서 발생한 신호의 크기에 합(G2)에 대한, 100Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합(G1)의 비율(G1/G2)이, 10 이상, 바람직하게는 12 이상일 경우 정상인 것으로 판단하고, 그렇지 않을 경우, 바람직하게는 5.0 미만, 또는 약 4.5 이하일 경우 불량으로 판단할 수 있다.In an exemplary embodiment, the Fourier transform of the acoustic signal during piercing results in the ratio of the sum of the amplitudes of the signals occurring in the range of 100 Hz to 550 Hz (G1) to the sum of the amplitudes of the signals occurring in the range of 2,000 Hz to 2,550 Hz (G2). If (G1/G2) is 10 or more, preferably 12 or more, it is judged to be normal. Otherwise, if it is not, preferably less than 5.0, or about 4.5 or less, it can be judged as defective.

본 실시예에서, 특정 주파수 구간에서 발생하는 신호의 합은 가로축을 주파수 범위로 하고 세로축을 신호의 크기로 하는 그래프에 있어서, 해당 주파수 구간에 대한 적분치로 이해될 수 있다. In this embodiment, the sum of signals occurring in a specific frequency section can be understood as an integral value for the corresponding frequency section in a graph with the horizontal axis as the frequency range and the vertical axis as the signal size.

보완적, 추가적 및/또는 대안적인 실시예에서, 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기(H1)가, 2,000Hz 내지 2,550Hz 범위에서 최대 피크를 갖는 신호의 크기(H2)의 3배 이상, 바람직하게는 4배 이상일 경우 정상으로 판단하고, 그렇지 않을 경우, 바람직하게는 2배 미만, 또는 약 1.5배 미만일 경우 불량으로 판단할 수 있다.In a complementary, additional and/or alternative embodiment, the Fourier transform of the acoustic signal during piercing results in a magnitude (H1) of the signal having a maximum peak in the range of 100 Hz to 550 Hz, with a maximum peak in the range of 2,000 Hz to 2,550 Hz. If it is more than 3 times the size of the signal (H2), preferably more than 4 times, it can be judged as normal. Otherwise, if it is less than 2 times, or preferably less than about 1.5 times, it can be judged as defective.

본 실시예에서, 특정 주파수 값에서 발생한 신호의 크기는, 가로축을 주파수 대역으로 하고 세로축을 신호의 크기로 하는 그래프에 있어서, 해당 주파수 값에서의 신호의 크기, 즉 세로축 값으로 표현될 수 있다.In this embodiment, the size of a signal generated at a specific frequency value can be expressed as the size of the signal at that frequency value, that is, a value on the vertical axis, in a graph with the horizontal axis as the frequency band and the vertical axis as the signal size.

본 발명의 발명자들은 피어싱 중의 고주파수 대역, 예컨대 2,000Hz 이상의 주파수 대역의 신호와 저주파수 대역, 예컨대 550Hz 이하의 주파수 대역의 신호에 있어서 셀프 피어싱 리벳 체결의 정상 유무에 따라 특정한 거동 차이를 나타내는 것에 착안하여 본 발명을 완성하기에 이르렀다. The inventors of the present invention focused on the fact that signals in the high frequency band during piercing, for example, a frequency band of 2,000 Hz or more, and signals in the low frequency band, for example, the frequency band of 550 Hz or less, show a specific difference in behavior depending on the normal presence or absence of self-piercing rivet fastening. The invention has been completed.

즉, 본 발명이 어떠한 이론에 국한되는 것은 아니나, 리벳 체결이 정상적으로 이루어진 경우 예컨대 2,000Hz 내지 2,550Hz, 또는 약 2,200Hz 내지 2,500Hz, 또는 약 2,300Hz 내지 2,450Hz에서 음향 신호가 실질적으로 발생하지 않는 반면, 리벳 체결이 비정상적으로 이루어진 경우 상기 주파수 구간에서 소정 크기의 음향 신호가 발생할 수 있다.In other words, the present invention is not limited to any theory, but when the rivet fastening is normally performed, for example, no acoustic signal is substantially generated at 2,000 Hz to 2,550 Hz, or about 2,200 Hz to 2,500 Hz, or about 2,300 Hz to 2,450 Hz. On the other hand, if the rivet fastening is performed abnormally, an acoustic signal of a predetermined size may be generated in the frequency section.

또, 보완적, 추가적 및/또는 대안적인 실시예에서, 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 150Hz 범위에서 발생한 신호의 크기에 합(G2)에 대한, 400Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합(G1)의 비율(G1/G2)이, 1, 또는 바람직하게는 0.8 보다 작을 경우 정상인 것으로 판단하고, 그렇지 않을 경우, 바람직하게는 약 1.4 이상, 또는 약 1.6 이상일 경우 불량으로 판단할 수 있다.Also, in a complementary, additional and/or alternative embodiment, the Fourier transform of the acoustic signal during piercing results in the magnitude of the signal occurring in the range of 400 Hz to 550 Hz relative to the sum (G2) of the magnitude of the signal occurring in the range of 100 Hz to 150 Hz. If the ratio (G1/G2) of the sum (G1) of there is.

보완적, 추가적 및/또는 대안적인 실시예에서, 피어싱 중의 음향 신호의 푸리에 변환 결과, 100Hz 내지 150Hz 범위에서 최대 피크를 갖는 신호의 크기(H1)가, 400Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기(H2)의 2.5배, 바람직하게는 2.8배 이상일 경우 정상으로 판단하고, 그렇지 않을 경우, 바람직하게는 1.8배 이하, 또는 약 1.5배 이하일 경우 불량으로 판단할 수 있다.In a complementary, additional and/or alternative embodiment, the Fourier transform of the acoustic signal during piercing results in a magnitude (H1) of the signal with a maximum peak in the range of 100 Hz to 150 Hz, which is greater than or equal to that of the signal with a maximum peak in the range of 400 Hz to 550 Hz. If it is 2.5 times the size (H2), preferably 2.8 times or more, it can be judged as normal. Otherwise, if it is preferably 1.8 times or less, or about 1.5 times or less, it can be judged as defective.

본 발명의 발명자들은 피어싱 중의 저주파수 대역, 예컨대 550Hz 이하의 주파수 대역의 신호 중, 초저주파수의 신호와 중저주파수 신호에 있어서 셀프 피어싱 리벳 체결의 정상 유무에 따라 특정한 거동 차이를 나타내는 것에 착안하여 본 발명을 완성하기에 이르렀다.The inventors of the present invention focused on the fact that, among signals in the low frequency band during piercing, for example, frequencies in the frequency band below 550 Hz, ultra-low frequency signals and low-mid frequency signals show specific behavioral differences depending on whether self-piercing rivet fastening is normal or not, and developed the present invention. It has reached completion.

즉, 본 발명이 어떠한 이론에 국한되는 것은 아니나, 리벳 체결이 정상적으로 이루어진 경우 100Hz 내지 150Hz에서 음향 신호가 주로 발생하고, 400Hz 내지 550Hz에서 미약한 음향 신호가 발생하는 반면, 리벳 체결이 비정상적으로 이루어진 경우 400Hz 내지 550Hz에서 소정 크기 이상의 음향 신호가 발생하거나, 심지어 100Hz 내지 150Hz에 비해 더 큰 신호가 발생할 수 있다.In other words, the present invention is not limited to any theory, but when the rivet fastening is performed normally, an acoustic signal is mainly generated at 100 Hz to 150 Hz, and a weak acoustic signal is generated at 400 Hz to 550 Hz, whereas when the rivet fastening is performed abnormally. An acoustic signal larger than a certain size may be generated at 400Hz to 550Hz, or a signal larger than that at 100Hz to 150Hz may be generated.

나아가, 보완적, 추가적 및/또는 대안적인 실시예에서, 피어싱 중의 음향 신호의 푸리에 변환 결과, 400Hz 내지 550Hz 범위에서 발생한 신호의 크기에 합에 대한, 550Hz 내지 2,000Hz 범위에서 발생한 신호의 크기의 합의 비율이, 0.5 이하, 바람직하게는 0.3 이하일 경우 정상으로 판단하고, 그렇지 않을 경우, 바람직하게는 0.8 이상, 또는 약 1.0 이상일 경우 불량으로 판단할 수 있다.Furthermore, in a complementary, additional and/or alternative embodiment, the result of the Fourier transform of the acoustic signal during piercing is the sum of the amplitudes of the signals occurring in the range of 550 Hz to 2,000 Hz relative to the sum of the amplitudes of the signals occurring in the range of 400 Hz to 550 Hz. If the ratio is 0.5 or less, preferably 0.3 or less, it can be judged as normal. Otherwise, if it is not, preferably 0.8 or more, or about 1.0 or more, it can be judged as defective.

본 발명의 발명자들은 피어싱 중의 저주파수 대역, 예컨대 550Hz 이하의 주파수 대역의 신호와 중간 주파수 대역, 예컨대 550Hz 내지 2,000Hz 범위의 주파수 대역의 신호에 있어서, 셀프 피어싱 리벳 체결의 정상 유무에 따라 특정한 거동 차이를 나타내는 것에 착안하여 본 발명을 완성하기에 이르렀다.The inventors of the present invention have discovered a specific difference in behavior depending on the normal presence or absence of self-piercing rivet fastening in signals in the low-frequency band during piercing, for example, a frequency band of 550 Hz or less and in a mid-frequency band, for example, in a frequency band ranging from 550 Hz to 2,000 Hz. Focusing on what is shown, the present invention was completed.

즉, 본 발명이 어떠한 이론에 국한되는 것은 아니나, 리벳 체결이 정상적으로 이루어진 경우 550Hz 내지 2,000Hz에서 음향 신호가 실질적으로 발생하지 않거나, 발생하더라도 아주 미약한 정도인 반면, 리벳 체결이 비정상적으로 이루어진 경우 상기 주파수 구간에서 소정 크기의 음향 신호가 발생할 수 있다.In other words, the present invention is not limited to any theory, but when the rivet fastening is performed normally, the sound signal does not substantially occur at 550 Hz to 2,000 Hz, or if it does occur, it is very weak, whereas when the rivet fastening is abnormal, the An acoustic signal of a certain size may be generated in a frequency section.

이하 구체적인 실시예를 통해 본 발명에 대해 더욱 상세하게 설명한다.The present invention will be described in more detail below through specific examples.

<실시예 2><Example 2>

도 9와 같은 방법으로 기계적 체결 품질의 모니터링을 수행하였다. 기계적 체결 방법은 전술한 실시예 1과 마찬가지로 하였다. 리벳 체결이 정상적으로 이루어진 경우에서의 측정된 시간 경과에 따른 음향 신호 및 피어싱 공정 중에 발생한 신호의 푸리에 변환 결과, 그리고 리벳의 단면 이미지를 도 10에 나타내었다. 또, 리벳 체결이 비정상적으로 이루어진 경우에서의 측정된 시간 경과에 따른 음향 신호 및 피어싱 공정 중에 발생한 신호의 푸리에 변환 결과, 그리고 리벳의 단면 이미지를 도 11에 나타내었다.Monitoring of mechanical fastening quality was performed in the same manner as in Figure 9. The mechanical fastening method was the same as in Example 1 described above. The sound signal over time measured when the rivet is fastened normally, the Fourier transform results of the signal generated during the piercing process, and the cross-sectional image of the rivet are shown in Figure 10. In addition, in the case where the rivet is fastened abnormally, the sound signal over time measured, the Fourier transform result of the signal generated during the piercing process, and the cross-sectional image of the rivet are shown in FIG. 11.

도 10 및 도 11을 참조하면, 우선 불량인 경우 정상인 경우에 비해 시간에 따른 음향 신호 크기에 관한 그래프에서 상대적으로 매우 큰 피크를 갖는 음향 신호가 검출되는 것을 확인할 수 있다. 특히 피어싱 중의 검출 신호는 정상인 경우와 불량인 경우에 뚜렷한 차이가 나타나며, 불량인 경우 250Mpa 이상의 음향 신호가 검출된 반면 정상인 경우 그렇지 않음을 알 수 있다.Referring to Figures 10 and 11, it can be seen that in the case of a defect, an acoustic signal with a relatively very large peak is detected in a graph of the size of the sound signal over time compared to the normal case. In particular, there is a clear difference in the detection signal during piercing between normal and defective cases, and it can be seen that in the defective case, an acoustic signal of more than 250Mpa was detected, whereas in the normal case, this was not the case.

또, 푸리에 변환 데이터 그래프에서, 불량인 경우 정상인 경우에 비해 상대적으로 음향 신호의 합이 전체 구간에 걸쳐서 큰 것을 확인할 수 있다.In addition, in the Fourier transform data graph, it can be seen that the sum of the acoustic signals in the defective case is relatively larger over the entire section compared to the normal case.

구체적으로, 정상인 경우 2,000Hz 내지 2,550Hz 범위에서 발생한 신호 크기의 합이 불량인 경우에 비해 현저하게 작다. 또, 정상인 경우와 불량인 경우에 100Hz 내지 150Hz 범위에서 발생한 신호의 크기의 합은 유사하였다. 또한 정상인 경우 400Hz 내지 550Hz에서 발생한 신호 크기의 합이 불량인 경우에 비해 현저하게 작다. 즉, 100Hz 내지 550Hz, 또는 100Hz 내지 150Hz의 신호 크기의 합을 기준으로 삼을 수 있고, 이를 기준으로 다른 주파수 대역의 신호 크기의 합과 소정의 관계를 설정할 수 있었다.Specifically, in the normal case, the sum of the signal sizes generated in the range of 2,000 Hz to 2,550 Hz is significantly smaller than in the defective case. In addition, the sum of the magnitudes of signals generated in the range of 100Hz to 150Hz in normal and defective cases was similar. Additionally, in the normal case, the sum of the signal sizes generated at 400Hz to 550Hz is significantly smaller than in the defective case. That is, the sum of signal sizes from 100 Hz to 550 Hz, or 100 Hz to 150 Hz, can be used as a standard, and a predetermined relationship with the sum of signal sizes in other frequency bands can be established based on this.

정상인 경우 2,000Hz 내지 2,550Hz 범위에서 발생한 신호의 크기에 합에 대한, 100Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합의 비율이 약 20이었으나, 불량인 경우 약 2.5였다.In the normal case, the ratio of the sum of the signals in the 100 Hz to 550 Hz range to the sum of the signals in the 2,000 Hz to 2,550 Hz range was about 20, but in the defective case it was about 2.5.

또, 정상인 경우 100Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기가, 2,000Hz 내지 2,550Hz 범위에서 최대 피크를 갖는 신호의 크기의 약 20배였으나, 불량인 경우 약 2배였다.In addition, in normal cases, the size of the signal with the maximum peak in the range of 100 Hz to 550 Hz was about 20 times that of the signal with the maximum peak in the range of 2,000 Hz to 2,550 Hz, but in the case of defects, it was about twice that.

또한 정상인 경우 100Hz 내지 150Hz 범위에서 발생한 신호의 크기에 합에 대한, 400Hz 내지 550Hz 범위에서 발생한 신호의 크기의 합의 비율이 약 1.7이었으나, 불량인 경우 0.9였다.Additionally, in the normal case, the ratio of the sum of the signals in the 400Hz to 550Hz range to the sum of the signals in the 100Hz to 150Hz range was about 1.7, but in the defective case it was 0.9.

그리고 정상인 경우 100Hz 내지 150Hz 범위에서 최대 피크를 갖는 신호의 크기가, 400Hz 내지 550Hz 범위에서 최대 피크를 갖는 신호의 크기의 약 2.8배였으나, 불량인 경우 약 1.6배였다.And in the normal case, the size of the signal with the maximum peak in the 100Hz to 150Hz range was about 2.8 times that of the signal with the maximum peak in the 400Hz to 550Hz range, but in the defective case, it was about 1.6 times the size.

또, 정상인 경우 400Hz 내지 550Hz 범위에서 발생한 신호의 크기에 합에 대한, 550Hz 내지 2,000Hz 범위에서 발생한 신호의 크기의 합의 비율이 약 0.5였으나, 불량인 경우 0.9였다.In addition, in the normal case, the ratio of the sum of the amplitudes of the signals occurring in the range of 550 Hz to 2,000 Hz to the sum of the amplitudes of the signals occurring in the range of 400 Hz to 550 Hz was about 0.5, but in the defective case it was 0.9.

이상에서 본 발명의 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. Although the description has been made above with a focus on embodiments of the present invention, this is merely an example and does not limit the present invention, and those skilled in the art will be able to understand the present invention without departing from the essential characteristics of the embodiments of the present invention. It will be apparent that various modifications and applications not exemplified above are possible.

따라서 본 발명의 범위는 이상에서 예시된 기술 사상의 변경물, 균등물 내지는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the scope of the present invention should be understood to include changes, equivalents, or substitutes of the technical ideas exemplified above. For example, each component specifically shown in the embodiments of the present invention can be modified and implemented. And these variations and differences in application should be construed as being included in the scope of the present invention as defined in the appended claims.

또, 첨부된 도면의 구성도 또는 블록도 상의 각 구성요소는 소프트웨어나 FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등의 하드웨어로 구현될 수 있다. 다만, 구성도 또는 블록도 상의 각 구성요소들은 소프트웨어 및 하드웨어뿐만 아니라 어드레싱 가능한 저장 매체에서 구현될 수 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수 있다.Additionally, each component on the configuration diagram or block diagram of the attached drawings may be implemented with hardware such as software, field-programmable gate array (FPGA), or application specific integrated circuit (ASIC). However, each component on the configuration diagram or block diagram may be implemented in an addressable storage medium as well as software and hardware, and may be configured to execute one or more processors.

구성도 또는 블록도 상의 각 구성요소는 특정된 논리 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 의미할 수 있다. 따라서 구성도 또는 블록도 상의 구성요소가 제공하는 기능은 더 세분화된 복수의 구성요소에 의해 구현되거나, 또는 구성도 또는 블록도 상의 복수의 구성요소들은 일체화된 하나의 구성요소에 의하여 구현될 수도 있음은 물론이다.Each component on a configuration diagram or block diagram may mean a module, segment, or part of code that includes one or more executable instructions for executing a specified logical function. Therefore, the functions provided by the components on the configuration diagram or block diagram may be implemented by a plurality of more detailed components, or the multiple components on the configuration diagram or block diagram may be implemented by one integrated component. Of course.

즉, 본 발명의 목적 범위 내에서 각 구성요소들이 하나 이상으로 선 택적으로 결합하여 동작할 수 있다. 또, 모든 구성요소들이 각각 하나의 독립된 하드웨어로 구현될 수 있고, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야에 속하는 통상의 기술자에게 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 기록 매체 내지는 저장 매체에 저장되어 컴퓨터에 의해 읽히고 실행됨으로써 본 발명의 실시예를 구현할 수 있다. 상기 기록 매체의 예로는 자기 기록 매체, 광 기록 매체 등을 들 수 있다.That is, within the scope of the purpose of the present invention, each component can be operated by selectively combining one or more of them. In addition, all components may be implemented as independent hardware, and some or all of the components may be selectively combined to have a program module that performs some or all of the combined functions in one or more pieces of hardware. It may also be implemented as a computer program. The codes and code segments that make up the computer program can be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable recording medium or storage medium and can be read and executed by a computer to implement embodiments of the present invention. Examples of the recording medium include magnetic recording media, optical recording media, and the like.

11: 기계적 체결 설비
100: 프로세서
200: 메모리
300: 스토리지
410: 통신 유닛
420: 입출력 유닛
500: 공정 유닛
600: 음향 측정 유닛
11: Mechanical fastening equipment
100: processor
200: memory
300: Storage
410: communication unit
420: input/output unit
500: Process unit
600: Acoustic measurement unit

Claims (10)

컴퓨팅 장치에 의해 수행되는 방법으로서,
클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 공정의 공정 중에 발생하는 음향 신호를 측정하고, 측정된 음향 신호 중 적어도 일부를 푸리에 변환하여 얻은 변환 데이터에 기초한 데이터를 학습 데이터로 하는, 기계적 접합 품질을 예측하기 위한 인공 지능 학습 방법.
A method performed by a computing device, comprising:
A mechanical device that measures acoustic signals generated during the self-piercing riveting process performed in the order of clamping, piercing, and flaring, and uses data based on the conversion data obtained by Fourier transforming at least some of the measured acoustic signals as learning data. Artificial intelligence learning method for predicting joint quality.
제1항에 있어서,
상기 학습 데이터는, 가로축을 주파수(frequency)로 하고 세로축을 크기값(amplitute)으로 하는 변환 데이터를 이미지화한 것을 이용한 것인, 인공 지능 학습 방법.
According to paragraph 1,
The learning data is an artificial intelligence learning method that uses image conversion data with frequency on the horizontal axis and amplitude on the vertical axis.
제1항에 있어서,
상기 학습 데이터는, 상기 변환 데이터를 복수의 주파수 구간으로 분할하고, 각 구간 별 피크의 개수, 각 피크의 값, 각 피크의 면적, 각 구간 내 피크값의 평균값, 각 구간 내 피크값의 표준편차 및 각 구간의 면적 중 하나 이상을 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 1,
The learning data divides the converted data into a plurality of frequency sections, and includes the number of peaks in each section, the value of each peak, the area of each peak, the average value of the peak values within each section, and the standard deviation of the peak values within each section. and an artificial intelligence learning method that uses one or more of the areas of each section.
제3항에 있어서,
상기 학습 데이터는, 적어도
100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및
2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 3,
The learning data is at least
The area of one or more peaks occurring in the range from 100 Hz to 550 Hz, or the area of a section of the range, and
An artificial intelligence learning method that uses the area of one or more peaks occurring in the range of 2,000 Hz to 2,550 Hz, or the area of the range section.
제3항에 있어서,
상기 학습 데이터는, 적어도
100Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및
2,000Hz 내지 2,550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 3,
The learning data is at least
The value of one or more peaks, or the number of peaks, occurring in the range from 100 Hz to 550 Hz, and
An artificial intelligence learning method that uses the value of one or more peaks or the number of peaks occurring in the range of 2,000 Hz to 2,550 Hz.
제3항에 있어서,
상기 학습 데이터는, 적어도
100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및
400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 3,
The learning data is at least
The area of one or more peaks occurring in the range from 100 Hz to 150 Hz, or the area of a section of the range, and
An artificial intelligence learning method that uses the area of one or more peaks occurring in the range of 400Hz to 550Hz, or the area of the range section.
제3항에 있어서,
상기 학습 데이터는, 적어도
100Hz 내지 150Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수, 및
400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 값, 또는 피크의 개수를 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 3,
The learning data is at least
The value of one or more peaks, or the number of peaks, occurring in the range from 100 Hz to 150 Hz, and
An artificial intelligence learning method that uses the value of one or more peaks or the number of peaks occurring in the range of 400Hz to 550Hz.
제3항에 있어서,
상기 학습 데이터는, 적어도
400Hz 내지 550Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적, 및
550Hz 내지 2,000Hz 범위에서 발생한 하나 이상의 피크의 면적, 또는 상기 범위 구간의 면적을 이용하는 것인, 인공 지능 학습 방법.
According to paragraph 3,
The learning data is at least
The area of one or more peaks occurring in the range from 400 Hz to 550 Hz, or the area of a section of the range, and
An artificial intelligence learning method that uses the area of one or more peaks occurring in the range of 550Hz to 2,000Hz, or the area of the range section.
클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 장치로서,
공정 중에서 시간 경과에 따른 음향 신호의 크기를 측정하는 음향 측정부;
상기 음향 신호를 푸리에 변환하는 푸리에 변환부; 및
상기 푸리에 변환된 데이터를 학습된 학습 모델의 입력으로 하여 공정 품질을 평가하는 품질 평가부를 포함하는, 리벳팅 장치.
A self-piercing riveting device that performs clamping, piercing and flaring in that order,
An acoustic measurement unit that measures the size of an acoustic signal over time during the process;
a Fourier transform unit that performs Fourier transform on the sound signal; and
A riveting device comprising a quality evaluation unit that evaluates process quality by using the Fourier transformed data as an input to a learned learning model.
클램핑, 피어싱 및 플레어링 순으로 수행되는 셀프 피어싱 리벳팅 공정의 품질 평가 방법으로서, 컴퓨팅 장치에 의해 수행되고,
리벳팅 공정 중에 발생하는 발생하는 음향 신호를 측정하고, 측정된 음향 신호 중 적어도 일부를 푸리에 변환하여 얻은 변환 데이터를 학습된 평가 모델의 입력 데이터로 하여 리벳팅 공정의 품질을 평가하는 방법.
A quality evaluation method of a self-piercing riveting process performed in the order of clamping, piercing and flaring, performed by a computing device,
A method of evaluating the quality of the riveting process by measuring acoustic signals generated during the riveting process and using the converted data obtained by Fourier transforming at least some of the measured acoustic signals as input data of the learned evaluation model.
KR1020220072829A 2022-06-15 2022-06-15 Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same KR20230172233A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220072829A KR20230172233A (en) 2022-06-15 2022-06-15 Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220072829A KR20230172233A (en) 2022-06-15 2022-06-15 Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same

Publications (1)

Publication Number Publication Date
KR20230172233A true KR20230172233A (en) 2023-12-22

Family

ID=89309724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220072829A KR20230172233A (en) 2022-06-15 2022-06-15 Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same

Country Status (1)

Country Link
KR (1) KR20230172233A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011060A (en) 2014-07-21 2016-01-29 주식회사 성우하이텍 Method for inspecting rivetting portions of metal panel
JP2018010632A (en) 2016-07-11 2018-01-18 ゼネラル・エレクトリック・カンパニイ Evaluating condition of components using acoustic sensor in lighting device
JP2018054587A (en) 2016-09-28 2018-04-05 エヌティーエンジニアリング株式会社 Work machine vibration monitoring method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011060A (en) 2014-07-21 2016-01-29 주식회사 성우하이텍 Method for inspecting rivetting portions of metal panel
JP2018010632A (en) 2016-07-11 2018-01-18 ゼネラル・エレクトリック・カンパニイ Evaluating condition of components using acoustic sensor in lighting device
JP2018054587A (en) 2016-09-28 2018-04-05 エヌティーエンジニアリング株式会社 Work machine vibration monitoring method and system

Similar Documents

Publication Publication Date Title
US7797126B2 (en) Online determination of the quality characteristics for punch riveting and clinching
Meschut et al. Review on mechanical joining by plastic deformation
Mucha et al. The experimental analysis of forming and strength of clinch riveting sheet metal joint made of different materials
CN102004056B (en) Self-piercing riveting quality online detection system and method
GB2557396B (en) Method and controller for detecting material cracking during installation of a self-piercing rivet
US9089892B2 (en) Joining method
US8781157B2 (en) Analyzer of ultrasonic flaw detection image
KR101634864B1 (en) Method for inspecting rivetting portions of metal panel
JP2016211962A (en) Method for evaluating possibility of formation of shear edge
KR20230172233A (en) Method for evaluating of joining quality for self piercing rivet based on artificial neural network and system for the same
JP4678312B2 (en) Press failure determination method, press failure determination device, and press forming apparatus
CN111966062A (en) Automatic judgment method for quality state of self-piercing riveting process
KR20190081614A (en) System for inspecting welding quality of weld zone using ultrasonic
Bielak et al. Further development of a numerical method for analyzing the load capacity of clinched joints in versatile process chains
CN112683774B (en) Self-piercing riveting quality detection device and method for new energy automobile body
KR102420874B1 (en) Method for monitoring of joining quality for self piercing rivet, process for joining of self piercing rivet, and apparatus system for the same
EP0772033B1 (en) Method of monitoring and controlling shear strength in riveted joints
US7054789B2 (en) Abnormality determination and estimation method for product of plastic working, and an abnormality determination and estimation device
KR102599072B1 (en) Determination method of SPR tightening quality based on laser scanning
Grimm Process development for a new mechanical joining technology of Aluminium alloys
CN212704058U (en) Riveting quality detection device of multi-point riveting machine
Cruz et al. Quasi-Static & Dynamic Spotweld Characterization for Automotive Crashworthiness Conditions
Neugebauer et al. Combination of hydroforming and joining
CN105486753A (en) Apparatus and method for detecting defect of press panel
Gu et al. A New Testing Method to Evaluate Edge Cracking with Considerations of the Shear Clearance and Press Speed