KR20220087699A - Method and apparatus for inspecting tire appearance based on deep learning - Google Patents

Method and apparatus for inspecting tire appearance based on deep learning Download PDF

Info

Publication number
KR20220087699A
KR20220087699A KR1020200177995A KR20200177995A KR20220087699A KR 20220087699 A KR20220087699 A KR 20220087699A KR 1020200177995 A KR1020200177995 A KR 1020200177995A KR 20200177995 A KR20200177995 A KR 20200177995A KR 20220087699 A KR20220087699 A KR 20220087699A
Authority
KR
South Korea
Prior art keywords
defect
tire
deep learning
exterior
defect detection
Prior art date
Application number
KR1020200177995A
Other languages
Korean (ko)
Other versions
KR102505484B1 (en
Inventor
배유석
이재근
금기륜
김성규
허조훈
이우람
Original Assignee
한국공학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국공학대학교산학협력단 filed Critical 한국공학대학교산학협력단
Priority to KR1020200177995A priority Critical patent/KR102505484B1/en
Priority to PCT/KR2021/019196 priority patent/WO2022131822A1/en
Publication of KR20220087699A publication Critical patent/KR20220087699A/en
Application granted granted Critical
Publication of KR102505484B1 publication Critical patent/KR102505484B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

본 발명에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법은, 타이어에 대한 외관 이미지를 수집하는 단계; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;를 포함한다. A method for detecting a tire exterior defect based on deep learning according to the present invention includes: collecting exterior images of a tire; detecting whether the tire is defective by analyzing the collected exterior image using a predefined defect detection model; and determining a defect type for the tire by analyzing the detected defective area using a defect classification model independently defined from the defect detection model when the defect with respect to the tire is detected.

Description

딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치{METHOD AND APPARATUS FOR INSPECTING TIRE APPEARANCE BASED ON DEEP LEARNING}Method and device for detecting tire exterior defects based on deep learning

본 발명은 딥러닝 기반의 학습 모델을 이용해 타이어의 결함 여부 및 결함 유형을 동시에 검출할 수 있는 기술에 관한 것이다. The present invention relates to a technology capable of simultaneously detecting whether a tire is defective and a defect type using a deep learning-based learning model.

일반적으로 타이어는 차량 등의 휠에 장착되며 지면에 접촉되어 차량 등을 지지하는 것으로 주로 합성 고무 재질로 형성된다.In general, a tire is mounted on a wheel of a vehicle, etc., is in contact with the ground to support a vehicle, etc., and is mainly formed of a synthetic rubber material.

도 1을 참조하면, 타이어(T)는 크게 트레드(tread, T1), 사이드월(sidewall, T2), 비드(bead, T3) 및 내측(T4)을 포함한다.Referring to FIG. 1 , a tire T largely includes a tread T1 , a sidewall T2 , a bead T3 , and an inner side T4 .

보다 상세하게 상기 트레드(T1)는 지면에 접촉되어 차량 등을 지지하는 부분으로서 마모가 심한 경우 노면에 약간에 물이 있어도 고속으로 주행 시 수막 현상이 크게 증대됨에 따라 사고로 이어질 수 있기 때문에 마모 관리가 중요하다.In more detail, the tread T1 is a part that is in contact with the ground to support a vehicle, etc. When abrasion is severe, even if there is some water on the road surface, the water film phenomenon greatly increases when driving at high speed, which can lead to an accident, so wear management is important

또한, 상기 사이드월(T2)은 상기 트레드(T1)의 양측에 형성되어 타이어(T)의 측벽을 형성하는 부분으로 노면에 장애물 등에 의하여 외부가 찢겨지거나 흠짐 등이 누적되는 경우 사고로 이어질 수 있으므로 외관의 흠집이나 상처 등의 관리가 중요하다.In addition, the sidewall T2 is formed on both sides of the tread T1 to form the sidewall of the tire T. If the outside is torn or damaged by obstacles on the road surface, it may lead to an accident. It is important to manage external scratches and wounds.

또한, 상기 비드(T3)는 상기 사이드월(T2) 단부에 형성되어 림 등에 고정되는 부분으로 강성에 따라 타이어의 동적 성능에 커다란 영향을 미침으로 강도 관리를 위하여 변형 및 손상 등의 관리가 중요하다.In addition, the bead T3 is formed at the end of the sidewall T2 and fixed to the rim, and it has a great influence on the dynamic performance of the tire according to its rigidity, so it is important to manage deformation and damage for strength management .

한편, 타이어(T)는 차량 운행시 안전과 직결되는 중요 부품으로, 생산 완료 후 특정 위치에 불량이 발생하였는지 여부를 사전 판별하는 것이 매우 중요한데, 트레드(T1), 사이드월(T2) 및 비드(T3) 이외, 타이어의 내측(T4)에도 특정 결함이 발생될 수 있다. On the other hand, the tire (T) is an important part directly related to safety when driving a vehicle, and it is very important to determine in advance whether a defect has occurred in a specific location after production is completed. In addition to T3), certain defects may also occur on the inner side (T4) of the tire.

이를 위하여, 카메라 등의 비전 시스템을 통해 타이어의 외관 이미지를 수집한 후, 이를 분석하여 불량 여부 및 불량 유형을 판별하는 기술이 활용되고 있다. To this end, a technology of collecting an exterior image of a tire through a vision system such as a camera and analyzing it to determine whether or not there is a defect and the type of defect is being used.

그러나, 이러한 종래 기술의 경우, 작업자에 의한 사고 판단이 필요함에 따라 검사 시간이 지연되는 문제가 있었으며, 불량 여부 및 불량 유형의 판별 결과에 대한 신뢰성에도 한계가 있었다.However, in the case of this prior art, there is a problem in that the inspection time is delayed as an accident determination by an operator is required, and there is a limit in reliability of the determination result of whether or not a defect is and is a defect type.

현재, 타이어의 외관 불량 검사 기술에 있어, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 기술의 개발이 절실한 실정이다. Currently, there is an urgent need to develop a technology capable of significantly improving inspection accuracy and time efficiency in a tire appearance defect inspection technology.

한국공개특허 10-2019-0141303호Korean Patent Publication No. 10-2019-0141303

본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치를 제공하고자 한다. The present invention was derived to solve the above-described problems, and an object of the present invention is to provide a method and apparatus for detecting defects in a tire exterior based on deep learning that can significantly improve inspection accuracy and time efficiency.

본 발명의 일 측면에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법은, 타이어에 대한 외관 이미지를 수집하는 단계; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;를 포함한다. According to an aspect of the present invention, there is provided a method for detecting a tire exterior defect based on deep learning, the method comprising: collecting exterior images of a tire; detecting whether the tire is defective by analyzing the collected exterior image using a predefined defect detection model; and determining a defect type for the tire by analyzing the detected defective area using a defect classification model independently defined from the defect detection model when the defect with respect to the tire is detected.

일 실시예에서, 상기 불량 여부를 검출하는 단계는, 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.In an embodiment, the detecting of whether the defect is defective may include the step of detecting the defect by using a first deep learning model learned using a Semantic Image Segmentation method.

일 실시예에서, 상기 불량 여부를 검출하는 단계는, 상기 제1 딥러닝 모델과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.In one embodiment, the step of detecting whether the defect is determined independently of the first deep learning model and detecting the defect using a second deep learning model learned based on a region of interest (ROI) ; may be included.

일 실시예에서, 상기 불량 유형을 결정하는 단계는, 상기 제1 및 제2 딥러닝 모델에 의한 불량 검출 결과를 학습한, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함할 수 있다.In an embodiment, the determining of the failure type includes using a third deep learning model based on a residual neural network that has learned the failure detection results by the first and second deep learning models. Determining the type; may include.

일 실시예에서, 상기 불량 여부를 검출하는 단계는, 상기 수집된 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.In an embodiment, the step of detecting whether there is a defect may include performing a pre-processing process on the collected external image, and then determining whether there is a predefined defective pattern to detect the defect. have.

일 실시예에서, 상기 불량 유형을 결정하는 단계는, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함할 수 있다. In an embodiment, the determining of the rejection type may include determining the rejection type using a third deep learning model based on a residual neural network.

본 발명의 다른 일 측면에 따른 딥러닝 기반의 타이어 외관 결함 검출 장치는, 타이어에 대한 외관 이미지를 수집하는 이미지 수집부; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 불량 검출부; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 불량 유형 결정부;를 포함한다.According to another aspect of the present invention, there is provided an apparatus for detecting a tire exterior defect based on deep learning, comprising: an image collecting unit configured to collect exterior images of a tire; a defect detection unit that analyzes the collected exterior image using a predefined defect detection model to detect whether the tire is defective; and a defect type determiner configured to determine a defect type for the tire by analyzing the detected defective area using a defect classification model defined independently of the defect detection model when a defect with respect to the tire is detected.

본 발명에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치는, 타이어 외관 이미지를 기정의된 불량 검출 모델 및 불량 분류 모델을 이용해 분석하여 타이어의 불량 여부 및 불량 유형을 판별함으로써, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있다.A method and apparatus for detecting a tire exterior defect based on deep learning according to the present invention analyzes a tire exterior image using a predefined defect detection model and a defect classification model to determine whether a tire is defective or a defect type, thereby improving inspection accuracy and time Efficiency can be greatly improved.

도 1은 일반적인 차량용 타이어의 단면을 도시한 단면도이다.
도 2는 본 발명에 따른 타이어 외관 결함 검출 시스템을 설명하기 위한 참고도이다.
도 3 내지 5는 본 발명에 따른 타이어 외관 결함 검출 장치를 설명하기 위한 참고도이다.
도 6은 본 발명에 따른 타이어 외관 결함 검출 방법을 설명하기 위한 흐름도이다.1 is a cross-sectional view showing a cross-section of a typical vehicle tire.
2 is a reference diagram for explaining a tire exterior defect detection system according to the present invention.
3 to 5 are reference views for explaining an apparatus for detecting a tire exterior defect according to the present invention.
6 is a flowchart illustrating a method for detecting a tire exterior defect according to the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 타이어 외관 결함 검출 시스템을 설명하기 위한 참고도이다. 도 2를 참조하면, 타이어 외관 결함 검출 시스템(10)은 비전 검사 장치(100) 및 타이어 외관 결함 검출 장치(200)를 포함하여 구성될 수 있다. 2 is a reference diagram for explaining a tire exterior defect detection system according to the present invention. Referring to FIG. 2 , the tire exterior defect detection system 10 may include a vision inspection apparatus 100 and a tire exterior defect detection apparatus 200 .

비전 검사 장치(100)는 타이어에 대한 외관 이미지를 생성하는 장치이다. 여기에서, 비전 검사 장치(100)는 카메라, 3차원 프로파일러 등의 촬영 장치를 포함하여 구성될 수 있으며, 타이어의 트레드, 사이드월 등을 촬영하여 타이어에 대한 외관 이미지를 생성할 수 있다. 한편, 본 발명에서 타이어의 외관 이미지는 명칭, 종류, 크기, 포멧 등에 한정되지 않으며, 타이어 결함 검출을 위한 기초 데이터로 활용될 수 있는 이미지라면 본 발명에 따른 외관 이미지로 해석되어야 할 것이다.The vision inspection apparatus 100 is an apparatus for generating an external image of a tire. Here, the vision inspection apparatus 100 may include a photographing device such as a camera and a 3D profiler, and may generate an exterior image of the tire by photographing the tread and sidewall of the tire. Meanwhile, in the present invention, the exterior image of a tire is not limited to a name, type, size, format, etc., and if it is an image that can be used as basic data for tire defect detection, it should be interpreted as an exterior image according to the present invention.

타이어 외관 결함 검출 장치(200)는 비전 검사 장치(100)에 의해 생성된 외관 이미지를 수집하여, 이하에서 설명하는 동작을 수행함으로써 타이어의 외관 결함을 검출하는 컴퓨팅 장치에 해당한다. 이하에서는, 도 3 내지 6을 참조하여, 본 발명에 따른 타이어 외관 결함 검출 장치(200)의 세부 구성 및 각 구성의 동작을 상세하게 설명한다. The tire exterior defect detection apparatus 200 corresponds to a computing device that collects exterior images generated by the vision inspection apparatus 100 and detects exterior exterior defects of the tire by performing an operation described below. Hereinafter, the detailed configuration and operation of each configuration of the tire exterior defect detection apparatus 200 according to the present invention will be described in detail with reference to FIGS. 3 to 6 .

도 3 내지 5는 본 발명에 따른 타이어 외관 결함 검출 장치를 설명하기 위한 참고도이며, 도 6은 본 발명에 따른 타이어 외관 결함 검출 방법을 설명하기 위한 흐름도이다.3 to 5 are reference diagrams for explaining an apparatus for detecting a tire exterior defect according to the present invention, and FIG. 6 is a flowchart for explaining a method for detecting a tire exterior defect according to the present invention.

도 3을 참조하면, 본 발명에 따른 타이어 외관 결함 검출 장치(200)는 이미지 수집부(210), 불량 검출부(220) 및 불량 유형 결정부(230)를 포함하여 구성된다.Referring to FIG. 3 , the tire exterior defect detecting apparatus 200 according to the present invention includes an image collecting unit 210 , a defect detecting unit 220 , and a defect type determining unit 230 .

이미지 수집부(210)는 타이어에 대한 외관 이미지를 수집한다(단계 S610). 여기에서, 이미지 수집부(210)는 비전 검사 장치(100)에 의해 생성된 외관 이미지를 수집할 수 있다. The image collection unit 210 collects an exterior image of the tire (step S610). Here, the image collection unit 210 may collect an exterior image generated by the vision inspection apparatus 100 .

불량 검출부(220)는 수집된 외관 이미지를 분석하여 타이어에 대한 불량 여부를 검출한다(단계 S620). 여기에서, 불량 검출부(220)는 기정의된 불량 검출 모델을 이용해 타이어의 특정 위치에 불량이 발생하였는지 여부를 판단할 수 있다. The defect detection unit 220 analyzes the collected exterior images to detect whether the tire is defective (step S620). Here, the defect detection unit 220 may determine whether a defect has occurred at a specific location of the tire using a predefined defect detection model.

일 실시예에서, 불량 검출부(220)는 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델(221)을 이용해 불량 여부를 검출할 수 있다. 여기에서, 제1 딥러닝 모델(221)은 다수의 외관 이미지를 세맨틱 세그멘테이션 방식으로 학습한 딥러닝 모델에 해당할 수 있으며, 불량 검출부(220)는 타이어 외관 이미지를 사전 학습된 제1 딥러닝 모델(221)을 이용해 분석함으로써 해당 타이어에 불량이 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제1 딥러닝 모델(221)은 DeepLab 모델로 구현될 수 있다. In an embodiment, the defect detection unit 220 may detect whether the defect is defective by using the first deep learning model 221 trained using a Semantic Image Segmentation method. Here, the first deep learning model 221 may correspond to a deep learning model in which a plurality of exterior images are learned by a semantic segmentation method, and the failure detection unit 220 is a first deep learning pre-trained tire exterior image. By analyzing using the model 221 , it is possible to determine whether a defect exists in the corresponding tire. For example, as shown in FIG. 4 , the first deep learning model 221 may be implemented as a DeepLab model.

다른 일 실시예에서, 불량 검출부(220)는 제1 딥러닝 모델(221)과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델(222)을 이용해 불량 여부를 검출할 수 있다. 여기에서, 제2 딥러닝 모델(222)은 다수의 외관 이미지를 ROI 기반으로 학습한 딥러닝 모델에 해당할 수 있으며, 불량 검출부(220)는 타이어 외관 이미지를 사전 학습된 제2 딥러닝 모델(222)을 이용해 분석함으로써 해당 타이어에 불량이 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제2 딥러닝 모델(222)은 YOLO 모델로 구현될 수 있다. In another embodiment, the defect detection unit 220 is defined independently of the first deep learning model 221 , and detects whether the defect is defective using the second deep learning model 222 learned based on a region of interest (ROI). can do. Here, the second deep learning model 222 may correspond to a deep learning model that has learned a plurality of exterior images based on the ROI, and the defect detection unit 220 uses the tire exterior image as a pre-trained second deep learning model ( 222), it is possible to determine whether a defect exists in the corresponding tire. For example, as shown in FIG. 4 , the second deep learning model 222 may be implemented as a YOLO model.

또 다른 일 실시예에서, 불량 검출부(220)는 기정의된 패턴 검출 모델을 이용해 불량 여부를 검출할 수 있다. 여기에서, 패턴 검출 모델은 사전 정의된 불량 패턴을 포함하여 구성될 수 있으며, 불량 검출부(220)는 외관 이미지에서 해당 불량 패턴이 포함되어 있는지 여부에 기초하여 불량을 검출할 수 있다. 여기에서, 불량 검출부(220)는 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 불량 여부를 검출할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 불량 검출부(220)는 외관 이미지에서 외곽선을 검출할 수 있으며, 검출된 외곽선에 기정의된 불량 패턴이 포함되어 있는지를 체크하여 불량 영역을 결정할 수 있다. In another exemplary embodiment, the failure detection unit 220 may detect whether there is a failure by using a predefined pattern detection model. Here, the pattern detection model may include a predefined defect pattern, and the defect detection unit 220 may detect a defect based on whether the defect pattern is included in the exterior image. Here, after performing a pre-processing process on the exterior image, the defect detection unit 220 may determine whether there is a predefined defect pattern to detect the defect. For example, as shown in FIG. 5 , the defect detection unit 220 may detect an outline from the exterior image, and may determine a defective area by checking whether a predefined defective pattern is included in the detected outline. .

불량 유형 결정부(230)는 불량 검출부(220)에 의해 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 불량 검출 모델(221, 222, 223)과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 타이어에 대한 불량 유형을 결정한다(단계 S630). When a defect is detected by the defect detection unit 220, the defect type determiner 230 analyzes the detected defective area using a defect classification model independently defined from the defect detection models 221, 222, and 223. A defect type for the tire is determined (step S630).

일 실시예에서, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(231)을 이용하여 불량 유형을 결정할 수 있다. 여기에서, 제3 딥러닝 모델(231)은 제1 및 제2 딥러닝 모델(221, 222)에 의한 불량 검출 결과를 학습한 딥러닝 모델에 해당할 수 있으며, 불량 유형 결정부(230)는 검출된 불량 영역을 사전 학습된 제3 딥러닝 모델(231)을 이용해 분석함으로써 불량 유형을 결정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제3 딥러닝 모델(231)은 ResNet 모델로 구현될 수 있다. In an embodiment, the rejection type determiner 230 may determine the rejection type using the third deep learning model 231 based on a residual neural network. Here, the third deep learning model 231 may correspond to a deep learning model that has learned the defect detection results by the first and second deep learning models 221 and 222, and the defect type determiner 230 is The defect type may be determined by analyzing the detected defective area using the pre-trained third deep learning model 231 . For example, as shown in FIG. 4 , the third deep learning model 231 may be implemented as a ResNet model.

다른 일 실시예에서, 제3 딥러닝 모델(232)은 패턴 검출 모델(223)에 의한 불량 검출 결과를 학습한 딥러닝 모델에 해당할 수 있으며, 불량 유형 결정부(230)는 검출된 불량 영역을 사전 학습된 제3 딥러닝 모델(232)을 이용해 분석함으로써 불량 유형을 결정할 수 있다. In another embodiment, the third deep learning model 232 may correspond to a deep learning model that has learned the failure detection result by the pattern detection model 223 , and the failure type determiner 230 is a detected defective area. can be analyzed using the pre-trained third deep learning model 232 to determine the defect type.

본 발명의 바람직한 실시예에 따른 타이어 외관 결함 검출 방법에 대하여 도 4 및 5를 참조하여 설명한다. A tire exterior defect detection method according to a preferred embodiment of the present invention will be described with reference to FIGS. 4 and 5 .

우선 도 4를 참조하면, 불량 검출부(210)는 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델(221, DeepLab)과 ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델(222, YOLO)을 이용해 불량 영역을 검출할 수 있다. 이후, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(231, ResNet)을 이용하여 불량 유형(A, B, C, D,…)을 결정할 수 있다.First, referring to FIG. 4 , the defect detection unit 210 includes a first deep learning model 221 (DeepLab) learned by a Semantic Image Segmentation method and a second deep learning learned based on a region of interest (ROI). A defective area may be detected using the model 222 (YOLO). Thereafter, the rejection type determiner 230 may determine the rejection types A, B, C, D, ... by using the third deep learning model 231 (ResNet) based on a residual neural network.

다음으로 도 5를 참조하면, 불량 검출부(210)는 딥러닝이 아닌 영상 처리 가능한 불량에 대하여는 기정의된 패턴 검출 모델을 이용해 불량 여부를 검출할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 불량 검출부(220)는 외관 이미지에서 외곽선을 검출한 후, 검출된 외곽선에 기정의된 불량 패턴이 포함되어 있는지를 체크하여 불량 영역을 결정할 수 있다. 이후, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(232, ResNet)을 이용하여 불량 유형(A, B, C, D,…)을 결정할 수 있다.Next, referring to FIG. 5 , the defect detection unit 210 may detect a defect using a predefined pattern detection model for a defect capable of image processing other than deep learning. For example, as shown in FIG. 5 , after detecting an outline in the exterior image, the failure detection unit 220 may determine a defective area by checking whether a predefined defective pattern is included in the detected outline. Thereafter, the rejection type determiner 230 may determine the rejection types A, B, C, D, ... by using the third deep learning model 232 (ResNet) based on a residual neural network.

이상에서 설명한 본 발명의 다양한 실시예에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치는, 타이어 외관 이미지를 기정의된 불량 검출 모델 및 불량 분류 모델을 이용해 분석하여 타이어의 불량 여부 및 불량 유형을 판별함으로써, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 이점이 있다. The deep learning-based tire exterior defect detection method and apparatus according to various embodiments of the present invention described above analyzes a tire exterior image using a predefined failure detection model and failure classification model to determine whether or not a tire is defective and a defective type. By determining, there is an advantage that the inspection accuracy and time efficiency can be significantly improved.

이상에서 설명한 본 발명에 따른 타이어 외관 결함 검출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The tire exterior defect detection method according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described preferred embodiments of the present invention have been disclosed for purposes of illustration, and various modifications, changes, and additions will be possible within the spirit and scope of the present invention by those of ordinary skill in the art with respect to the present invention, and such modifications, changes and Additions should be considered to fall within the scope of the following claims.

10: 타이어 외관 결함 검출 시스템
100: 비전 검사 장치
200: 타이어 외관 결함 검출 장치
210: 이미지 수집부
210: 불량 검출부
210: 불량 유형 검출부10: Tire appearance defect detection system
100: vision inspection device
200: tire appearance defect detection device
210: image collection unit
210: defect detection unit
210: defective type detection unit

Claims (7)

딥러닝 기반의 타이어 외관 결함 검출 방법에 있어서,
타이어에 대한 외관 이미지를 수집하는 단계;
상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및
상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;
를 포함하는 타이어 외관 결함 검출 방법.
In the deep learning-based tire appearance defect detection method,
collecting an exterior image for the tire;
detecting whether the tire is defective by analyzing the collected exterior image using a predefined defect detection model; and
determining a defect type for the tire by analyzing the detected defective area using a defect classification model defined independently of the defect detection model when the defect with respect to the tire is detected;
A tire appearance defect detection method comprising a.
 제1항에 있어서, 상기 불량 여부를 검출하는 단계는,
세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
According to claim 1, wherein the step of detecting whether the defect,
Detecting the defect by using a first deep learning model learned using a Semantic Image Segmentation method;
 제2항에 있어서, 상기 불량 여부를 검출하는 단계는,
상기 제1 딥러닝 모델과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
The method of claim 2, wherein the step of detecting whether the defect is
and detecting the defect using a second deep learning model defined independently of the first deep learning model and learned based on a region of interest (ROI).
 제3항에 있어서, 상기 불량 유형을 결정하는 단계는,
상기 제1 및 제2 딥러닝 모델에 의한 불량 검출 결과를 학습한, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
The method of claim 3, wherein the determining of the defect type comprises:
Determining the defect type using a residual neural network-based third deep learning model that has learned the defect detection results by the first and second deep learning models; Appearance defect detection method.
 제1항에 있어서, 상기 불량 여부를 검출하는 단계는,
상기 수집된 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
According to claim 1, wherein the step of detecting whether the defect,
and after performing a pre-processing process on the collected exterior images, determining whether there is a predefined defective pattern and detecting the defect.
 제5항에 있어서, 상기 불량 유형을 결정하는 단계는,
잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
The method of claim 5, wherein the determining of the defect type comprises:
Determining the defect type by using a third deep learning model based on a residual neural network (Residual Network);
 딥러닝 기반의 타이어 외관 결함 검출 장치에 있어서,
타이어에 대한 외관 이미지를 수집하는 이미지 수집부;
상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 불량 검출부; 및
상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 불량 유형 결정부;
를 포함하는 타이어 외관 결함 검출 장치.
In the deep learning-based tire exterior defect detection device,
an image collecting unit for collecting exterior images of the tire;
a defect detection unit that analyzes the collected exterior image using a predefined defect detection model to detect whether the tire is defective; and
a defect type determiner configured to determine a defect type for the tire by analyzing the detected defective area using a defect classification model defined independently of the defect detection model when the defect with respect to the tire is detected;
A tire appearance defect detection device comprising a.
KR1020200177995A 2020-12-18 2020-12-18 Method and apparatus for inspecting tire appearance based on deep learning KR102505484B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200177995A KR102505484B1 (en) 2020-12-18 2020-12-18 Method and apparatus for inspecting tire appearance based on deep learning
PCT/KR2021/019196 WO2022131822A1 (en) 2020-12-18 2021-12-16 Method and device for detecting tire exterior defect on basis of deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177995A KR102505484B1 (en) 2020-12-18 2020-12-18 Method and apparatus for inspecting tire appearance based on deep learning

Publications (2)

Publication Number Publication Date
KR20220087699A true KR20220087699A (en) 2022-06-27
KR102505484B1 KR102505484B1 (en) 2023-03-03

Family

ID=82059436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177995A KR102505484B1 (en) 2020-12-18 2020-12-18 Method and apparatus for inspecting tire appearance based on deep learning

Country Status (2)

Country Link
KR (1) KR102505484B1 (en)
WO (1) WO2022131822A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109607A (en) * 2023-02-22 2023-05-12 广东电网有限责任公司云浮供电局 Power transmission line engineering defect detection method based on image segmentation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152228B (en) * 2023-04-14 2023-06-27 山东奇妙智能科技有限公司 Tire defect detection method and system based on machine vision and machine learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240800A (en) * 2013-06-12 2014-12-25 株式会社ブリヂストン Inspection auxiliary device
KR20180052180A (en) * 2016-11-10 2018-05-18 금호타이어 주식회사 Method Of Defecting Decision Of Tire Using Nondestructive Image Analysis
KR20190141303A (en) 2018-06-14 2019-12-24 엘지전자 주식회사 Method for operating moving robot
JP2019537839A (en) * 2016-10-14 2019-12-26 ケーエルエー コーポレイション Diagnostic system and method for deep learning models configured for semiconductor applications
KR20200092143A (en) * 2019-01-24 2020-08-03 가천대학교 산학협력단 System and method for diagnosising display panel using deep learning neural network
KR102168724B1 (en) * 2020-04-06 2020-10-22 이교혁 Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7132701B2 (en) * 2017-08-10 2022-09-07 株式会社ブリヂストン Tire image recognition method and tire image recognition device
KR102175286B1 (en) * 2018-10-11 2020-11-06 라온피플 주식회사 Apparatus and method for inspecting for defects
US10984521B2 (en) * 2018-11-20 2021-04-20 Bnsf Railway Company Systems and methods for determining defects in physical objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240800A (en) * 2013-06-12 2014-12-25 株式会社ブリヂストン Inspection auxiliary device
JP2019537839A (en) * 2016-10-14 2019-12-26 ケーエルエー コーポレイション Diagnostic system and method for deep learning models configured for semiconductor applications
KR20180052180A (en) * 2016-11-10 2018-05-18 금호타이어 주식회사 Method Of Defecting Decision Of Tire Using Nondestructive Image Analysis
KR20190141303A (en) 2018-06-14 2019-12-24 엘지전자 주식회사 Method for operating moving robot
KR20200092143A (en) * 2019-01-24 2020-08-03 가천대학교 산학협력단 System and method for diagnosising display panel using deep learning neural network
KR102168724B1 (en) * 2020-04-06 2020-10-22 이교혁 Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109607A (en) * 2023-02-22 2023-05-12 广东电网有限责任公司云浮供电局 Power transmission line engineering defect detection method based on image segmentation
CN116109607B (en) * 2023-02-22 2023-10-20 广东电网有限责任公司云浮供电局 Power transmission line engineering defect detection method based on image segmentation

Also Published As

Publication number Publication date
KR102505484B1 (en) 2023-03-03
WO2022131822A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
KR102505484B1 (en) Method and apparatus for inspecting tire appearance based on deep learning
KR102009494B1 (en) Segmentation for wafer inspection
CN109727229B (en) Method and device for detecting false solder
CN107273802B (en) Method and device for detecting fault of brake shoe drill rod ring of railway train
WO2017113805A1 (en) Method and system for identifying train number and model, and safety check method and system
CN110378258B (en) Image-based vehicle seat information detection method and device
CN109509166B (en) Printed circuit board image detection method and device
CN111080601A (en) Method for identifying fault image of pull ring grinding shaft of derailment brake device of railway wagon
CN111080614A (en) Method for identifying damage to rim and tread of railway wagon wheel
CN114445746A (en) Model training method, railway contact net abnormity detection method and related device
CN103093229B (en) Car is demarcated method for position and device
JP2020126636A (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
CN110751633A (en) Multi-axis cart braking detection method, device and system based on deep learning
CN108573244B (en) Vehicle detection method, device and system
CN113095125A (en) Diagnosing a perception system based on scene continuity
CN112036385A (en) Library position correction method and device, electronic equipment and readable storage medium
CN106446784A (en) Image detection method and apparatus
CN116542984A (en) Hardware defect detection method, device, computer equipment and storage medium
US20220036132A1 (en) Semantic image segmentation for cognitive analysis of physical structures
US11087450B1 (en) Wheel matcher
US10684357B2 (en) Vehicle detection assisting method and vehicle detection assisting system
KR101802207B1 (en) Line recognition and position detection system for pipe inside testing device
KR20170127883A (en) Weld bead detecting method based on image
JP2008160635A (en) Camera state detection method
CN110817674B (en) Method, device and equipment for detecting step defect of escalator and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right