WO2022131822A1 - 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치 - Google Patents

딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치 Download PDF

Info

Publication number
WO2022131822A1
WO2022131822A1 PCT/KR2021/019196 KR2021019196W WO2022131822A1 WO 2022131822 A1 WO2022131822 A1 WO 2022131822A1 KR 2021019196 W KR2021019196 W KR 2021019196W WO 2022131822 A1 WO2022131822 A1 WO 2022131822A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
tire
deep learning
exterior
model
Prior art date
Application number
PCT/KR2021/019196
Other languages
English (en)
French (fr)
Inventor
배유석
이재근
금기륜
김성규
허조훈
이우람
Original Assignee
한국공학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국공학대학교산학협력단 filed Critical 한국공학대학교산학협력단
Publication of WO2022131822A1 publication Critical patent/WO2022131822A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to a technology capable of simultaneously detecting whether a tire is defective and a defect type using a deep learning-based learning model.
  • a tire is mounted on a wheel of a vehicle, etc., is in contact with the ground to support a vehicle, etc., and is mainly formed of a synthetic rubber material.
  • a tire T largely includes a tread T1 , a sidewall T2 , a bead T3 , and an inner side T4 .
  • the tread T1 is a part that is in contact with the ground to support a vehicle, and when abrasion is severe, even if there is some water on the road surface, the water film phenomenon greatly increases when driving at high speed, which can lead to an accident, so wear management is important
  • the sidewall T2 is formed on both sides of the tread T1 to form the sidewall of the tire T. If the outside is torn or damaged by obstacles on the road surface, it may lead to an accident. It is important to manage external scratches and wounds.
  • the bead T3 is formed at the end of the sidewall T2 and fixed to the rim, and it has a great influence on the dynamic performance of the tire depending on the rigidity. Therefore, it is important to manage deformation and damage for strength management. .
  • the tire (T) is an important part directly related to safety when driving a vehicle, and it is very important to determine in advance whether a defect has occurred in a specific location after production is completed. In addition to T3), certain defects may also occur on the inner side (T4) of the tire.
  • a technology of collecting an exterior image of a tire through a vision system such as a camera and analyzing it to determine whether or not there is a defect and the type of defect is being used.
  • the present invention was derived to solve the above-described problems, and an object of the present invention is to provide a method and apparatus for detecting defects in a tire exterior based on deep learning that can significantly improve inspection accuracy and time efficiency.
  • a method for detecting a tire exterior defect based on deep learning comprising: collecting exterior images of a tire; detecting whether the tire is defective by analyzing the collected exterior image using a predefined defect detection model; and determining a defect type for the tire by analyzing the detected defective area using a defect classification model independently defined from the defect detection model when a defect with respect to the tire is detected.
  • the detecting of whether the defect is defective may include the step of detecting the defect by using a first deep learning model learned using a Semantic Image Segmentation method.
  • the step of detecting whether the defect is determined independently of the first deep learning model and detecting the defect using a second deep learning model learned based on a region of interest (ROI) may be included.
  • ROI region of interest
  • the determining of the failure type includes using a third deep learning model based on a residual neural network that has learned the failure detection results by the first and second deep learning models. Determining the type; may include.
  • the step of detecting whether there is a defect may include performing a pre-processing process on the collected external image, and then determining whether there is a predefined defective pattern to detect the defect. have.
  • the determining of the rejection type may include determining the rejection type using a third deep learning model based on a residual neural network.
  • an apparatus for detecting a tire exterior defect based on deep learning comprising: an image collection unit configured to collect exterior images of a tire; a defect detection unit that analyzes the collected exterior image using a predefined defect detection model to detect whether the tire is defective; and a defect type determiner configured to determine a defect type for the tire by analyzing the detected defective area using a defect classification model defined independently of the defect detection model when the defect with respect to the tire is detected.
  • a method and apparatus for detecting a tire exterior defect based on deep learning analyzes a tire exterior image using a predefined defect detection model and a defect classification model to determine whether a tire is defective or a defect type, thereby improving inspection accuracy and time Efficiency can be greatly improved.
  • FIG. 1 is a cross-sectional view showing a cross-section of a typical vehicle tire.
  • FIG. 2 is a reference diagram for explaining a tire exterior defect detection system according to the present invention.
  • 3 to 5 are reference views for explaining an apparatus for detecting a tire exterior defect according to the present invention.
  • FIG. 6 is a flowchart illustrating a method for detecting a tire exterior defect according to the present invention.
  • the tire exterior defect detection system 10 may include a vision inspection apparatus 100 and a tire exterior defect detection apparatus 200 .
  • the vision inspection apparatus 100 is a device that generates an external image of a tire.
  • the vision inspection apparatus 100 may include a photographing device such as a camera and a 3D profiler, and may generate an exterior image of the tire by photographing the tread and sidewall of the tire.
  • the exterior image of a tire is not limited to a name, type, size, format, etc., and if it is an image that can be used as basic data for tire defect detection, it should be interpreted as an exterior image according to the present invention.
  • the tire exterior defect detection apparatus 200 corresponds to a computing device that collects exterior images generated by the vision inspection apparatus 100 and detects exterior exterior defects of the tire by performing an operation described below.
  • the detailed configuration and operation of each configuration of the tire exterior defect detection apparatus 200 according to the present invention will be described in detail with reference to FIGS. 3 to 6 .
  • FIG. 3 to 5 are reference diagrams for explaining an apparatus for detecting a tire exterior defect according to the present invention
  • FIG. 6 is a flowchart for explaining a method for detecting a tire exterior defect according to the present invention.
  • the tire exterior defect detecting apparatus 200 includes an image collecting unit 210 , a defect detecting unit 220 , and a defect type determining unit 230 .
  • the image collecting unit 210 collects exterior images of the tire (step S610).
  • the image collection unit 210 may collect an exterior image generated by the vision inspection apparatus 100 .
  • the defect detection unit 220 analyzes the collected exterior images to detect whether the tire is defective (step S620 ).
  • the defect detection unit 220 may determine whether a defect has occurred at a specific location of the tire using a predefined defect detection model.
  • the defect detection unit 220 may detect whether the defect is defective by using the first deep learning model 221 trained using a Semantic Image Segmentation method.
  • the first deep learning model 221 may correspond to a deep learning model in which a plurality of exterior images are learned by a semantic segmentation method, and the failure detection unit 220 is a first deep learning pre-trained tire exterior image. By analyzing using the model 221 , it is possible to determine whether a defect exists in the corresponding tire.
  • the first deep learning model 221 may be implemented as a DeepLab model.
  • the defect detection unit 220 is defined independently of the first deep learning model 221 , and detects whether the defect is defective using the second deep learning model 222 learned based on a region of interest (ROI). can do.
  • the second deep learning model 222 may correspond to a deep learning model that has learned a plurality of exterior images based on ROI, and the defect detection unit 220 uses the tire exterior image to be pre-trained in the second deep learning model ( 222), it is possible to determine whether a defect exists in the corresponding tire.
  • the second deep learning model 222 may be implemented as a YOLO model.
  • the failure detection unit 220 may detect whether there is a failure by using a predefined pattern detection model.
  • the pattern detection model may include a predefined defect pattern, and the defect detection unit 220 may detect a defect based on whether the defect pattern is included in the exterior image.
  • the defect detection unit 220 may determine whether there is a predefined defect pattern to detect the defect. For example, as shown in FIG. 5 , the defect detection unit 220 may detect an outline from the exterior image, and may determine a defective area by checking whether a predefined defective pattern is included in the detected outline. .
  • the defect type determiner 230 analyzes the detected defective area using a defect classification model independently defined from the defect detection models 221, 222, and 223. A defect type for the tire is determined (step S630).
  • the rejection type determiner 230 may determine the rejection type using the third deep learning model 231 based on a residual neural network.
  • the third deep learning model 231 may correspond to a deep learning model that has learned the defect detection results by the first and second deep learning models 221 and 222, and the defect type determiner 230 is The defect type may be determined by analyzing the detected defective area using the pre-trained third deep learning model 231 .
  • the third deep learning model 231 may be implemented as a ResNet model.
  • the third deep learning model 232 may correspond to a deep learning model that has learned the failure detection result by the pattern detection model 223 , and the failure type determiner 230 is a detected defective area. can be analyzed using the pre-trained third deep learning model 232 to determine the defect type.
  • a tire exterior defect detection method according to a preferred embodiment of the present invention will be described with reference to FIGS. 4 and 5 .
  • the defect detection unit 210 includes a first deep learning model 221 (DeepLab) learned by a Semantic Image Segmentation method and a second deep learning learned based on a region of interest (ROI).
  • a defective area may be detected using the model 222 (YOLO).
  • the rejection type determiner 230 may determine the rejection types A, B, C, D, ... by using the third deep learning model 231 (ResNet) based on a residual neural network.
  • the defect detection unit 210 may detect a defect using a predefined pattern detection model for a defect capable of image processing other than deep learning. For example, as shown in FIG. 5 , after detecting an outline in the exterior image, the failure detection unit 220 may determine a defective area by checking whether a predefined defective pattern is included in the detected outline. Thereafter, the rejection type determiner 230 may determine the rejection types A, B, C, D, ... by using the third deep learning model 232 (ResNet) based on a residual neural network.
  • ResNet third deep learning model 232
  • the deep learning-based tire exterior defect detection method and apparatus analyzes a tire exterior image using a predefined failure detection model and failure classification model to determine whether or not a tire is defective and a defective type. By determining, there is an advantage that the inspection accuracy and time efficiency can be significantly improved.
  • the tire exterior defect detection method according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법은, 타이어에 대한 외관 이미지를 수집하는 단계; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;를 포함한다.

Description

딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
본 발명은 딥러닝 기반의 학습 모델을 이용해 타이어의 결함 여부 및 결함 유형을 동시에 검출할 수 있는 기술에 관한 것이다.
일반적으로 타이어는 차량 등의 휠에 장착되며 지면에 접촉되어 차량 등을 지지하는 것으로 주로 합성 고무 재질로 형성된다.
도 1을 참조하면, 타이어(T)는 크게 트레드(tread, T1), 사이드월(sidewall, T2), 비드(bead, T3) 및 내측(T4)을 포함한다.
보다 상세하게 상기 트레드(T1)는 지면에 접촉되어 차량 등을 지지하는 부분으로서 마모가 심한 경우 노면에 약간에 물이 있어도 고속으로 주행 시 수막 현상이 크게 증대됨에 따라 사고로 이어질 수 있기 때문에 마모 관리가 중요하다.
또한, 상기 사이드월(T2)은 상기 트레드(T1)의 양측에 형성되어 타이어(T)의 측벽을 형성하는 부분으로 노면에 장애물 등에 의하여 외부가 찢겨지거나 흠짐 등이 누적되는 경우 사고로 이어질 수 있으므로 외관의 흠집이나 상처 등의 관리가 중요하다.
또한, 상기 비드(T3)는 상기 사이드월(T2) 단부에 형성되어 림 등에 고정되는 부분으로 강성에 따라 타이어의 동적 성능에 커다란 영향을 미침으로 강도 관리를 위하여 변형 및 손상 등의 관리가 중요하다.
한편, 타이어(T)는 차량 운행시 안전과 직결되는 중요 부품으로, 생산 완료 후 특정 위치에 불량이 발생하였는지 여부를 사전 판별하는 것이 매우 중요한데, 트레드(T1), 사이드월(T2) 및 비드(T3) 이외, 타이어의 내측(T4)에도 특정 결함이 발생될 수 있다.
이를 위하여, 카메라 등의 비전 시스템을 통해 타이어의 외관 이미지를 수집한 후, 이를 분석하여 불량 여부 및 불량 유형을 판별하는 기술이 활용되고 있다.
그러나, 이러한 종래 기술의 경우, 작업자에 의한 사고 판단이 필요함에 따라 검사 시간이 지연되는 문제가 있었으며, 불량 여부 및 불량 유형의 판별 결과에 대한 신뢰성에도 한계가 있었다.
현재, 타이어의 외관 불량 검사 기술에 있어, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 기술의 개발이 절실한 실정이다.
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법은, 타이어에 대한 외관 이미지를 수집하는 단계; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;를 포함한다.
일 실시예에서, 상기 불량 여부를 검출하는 단계는, 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 불량 여부를 검출하는 단계는, 상기 제1 딥러닝 모델과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 불량 유형을 결정하는 단계는, 상기 제1 및 제2 딥러닝 모델에 의한 불량 검출 결과를 학습한, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 불량 여부를 검출하는 단계는, 상기 수집된 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 상기 불량 여부를 검출하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 불량 유형을 결정하는 단계는, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함할 수 있다.
본 발명의 다른 일 측면에 따른 딥러닝 기반의 타이어 외관 결함 검출 장치는, 타이어에 대한 외관 이미지를 수집하는 이미지 수집부; 상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 불량 검출부; 및 상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 불량 유형 결정부;를 포함한다.
본 발명에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치는, 타이어 외관 이미지를 기정의된 불량 검출 모델 및 불량 분류 모델을 이용해 분석하여 타이어의 불량 여부 및 불량 유형을 판별함으로써, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있다.
도 1은 일반적인 차량용 타이어의 단면을 도시한 단면도이다.
도 2는 본 발명에 따른 타이어 외관 결함 검출 시스템을 설명하기 위한 참고도이다.
도 3 내지 5는 본 발명에 따른 타이어 외관 결함 검출 장치를 설명하기 위한 참고도이다.
도 6은 본 발명에 따른 타이어 외관 결함 검출 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명에 따른 타이어 외관 결함 검출 시스템을 설명하기 위한 참고도이다. 도 2를 참조하면, 타이어 외관 결함 검출 시스템(10)은 비전 검사 장치(100) 및 타이어 외관 결함 검출 장치(200)를 포함하여 구성될 수 있다.
비전 검사 장치(100)는 타이어에 대한 외관 이미지를 생성하는 장치이다. 여기에서, 비전 검사 장치(100)는 카메라, 3차원 프로파일러 등의 촬영 장치를 포함하여 구성될 수 있으며, 타이어의 트레드, 사이드월 등을 촬영하여 타이어에 대한 외관 이미지를 생성할 수 있다. 한편, 본 발명에서 타이어의 외관 이미지는 명칭, 종류, 크기, 포멧 등에 한정되지 않으며, 타이어 결함 검출을 위한 기초 데이터로 활용될 수 있는 이미지라면 본 발명에 따른 외관 이미지로 해석되어야 할 것이다.
타이어 외관 결함 검출 장치(200)는 비전 검사 장치(100)에 의해 생성된 외관 이미지를 수집하여, 이하에서 설명하는 동작을 수행함으로써 타이어의 외관 결함을 검출하는 컴퓨팅 장치에 해당한다. 이하에서는, 도 3 내지 6을 참조하여, 본 발명에 따른 타이어 외관 결함 검출 장치(200)의 세부 구성 및 각 구성의 동작을 상세하게 설명한다.
도 3 내지 5는 본 발명에 따른 타이어 외관 결함 검출 장치를 설명하기 위한 참고도이며, 도 6은 본 발명에 따른 타이어 외관 결함 검출 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명에 따른 타이어 외관 결함 검출 장치(200)는 이미지 수집부(210), 불량 검출부(220) 및 불량 유형 결정부(230)를 포함하여 구성된다.
이미지 수집부(210)는 타이어에 대한 외관 이미지를 수집한다(단계 S610). 여기에서, 이미지 수집부(210)는 비전 검사 장치(100)에 의해 생성된 외관 이미지를 수집할 수 있다.
불량 검출부(220)는 수집된 외관 이미지를 분석하여 타이어에 대한 불량 여부를 검출한다(단계 S620). 여기에서, 불량 검출부(220)는 기정의된 불량 검출 모델을 이용해 타이어의 특정 위치에 불량이 발생하였는지 여부를 판단할 수 있다.
일 실시예에서, 불량 검출부(220)는 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델(221)을 이용해 불량 여부를 검출할 수 있다. 여기에서, 제1 딥러닝 모델(221)은 다수의 외관 이미지를 세맨틱 세그멘테이션 방식으로 학습한 딥러닝 모델에 해당할 수 있으며, 불량 검출부(220)는 타이어 외관 이미지를 사전 학습된 제1 딥러닝 모델(221)을 이용해 분석함으로써 해당 타이어에 불량이 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제1 딥러닝 모델(221)은 DeepLab 모델로 구현될 수 있다.
다른 일 실시예에서, 불량 검출부(220)는 제1 딥러닝 모델(221)과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델(222)을 이용해 불량 여부를 검출할 수 있다. 여기에서, 제2 딥러닝 모델(222)은 다수의 외관 이미지를 ROI 기반으로 학습한 딥러닝 모델에 해당할 수 있으며, 불량 검출부(220)는 타이어 외관 이미지를 사전 학습된 제2 딥러닝 모델(222)을 이용해 분석함으로써 해당 타이어에 불량이 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제2 딥러닝 모델(222)은 YOLO 모델로 구현될 수 있다.
또 다른 일 실시예에서, 불량 검출부(220)는 기정의된 패턴 검출 모델을 이용해 불량 여부를 검출할 수 있다. 여기에서, 패턴 검출 모델은 사전 정의된 불량 패턴을 포함하여 구성될 수 있으며, 불량 검출부(220)는 외관 이미지에서 해당 불량 패턴이 포함되어 있는지 여부에 기초하여 불량을 검출할 수 있다. 여기에서, 불량 검출부(220)는 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 불량 여부를 검출할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 불량 검출부(220)는 외관 이미지에서 외곽선을 검출할 수 있으며, 검출된 외곽선에 기정의된 불량 패턴이 포함되어 있는지를 체크하여 불량 영역을 결정할 수 있다.
불량 유형 결정부(230)는 불량 검출부(220)에 의해 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 불량 검출 모델(221, 222, 223)과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 타이어에 대한 불량 유형을 결정한다(단계 S630).
일 실시예에서, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(231)을 이용하여 불량 유형을 결정할 수 있다. 여기에서, 제3 딥러닝 모델(231)은 제1 및 제2 딥러닝 모델(221, 222)에 의한 불량 검출 결과를 학습한 딥러닝 모델에 해당할 수 있으며, 불량 유형 결정부(230)는 검출된 불량 영역을 사전 학습된 제3 딥러닝 모델(231)을 이용해 분석함으로써 불량 유형을 결정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제3 딥러닝 모델(231)은 ResNet 모델로 구현될 수 있다.
다른 일 실시예에서, 제3 딥러닝 모델(232)은 패턴 검출 모델(223)에 의한 불량 검출 결과를 학습한 딥러닝 모델에 해당할 수 있으며, 불량 유형 결정부(230)는 검출된 불량 영역을 사전 학습된 제3 딥러닝 모델(232)을 이용해 분석함으로써 불량 유형을 결정할 수 있다.
본 발명의 바람직한 실시예에 따른 타이어 외관 결함 검출 방법에 대하여 도 4 및 5를 참조하여 설명한다.
우선 도 4를 참조하면, 불량 검출부(210)는 세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델(221, DeepLab)과 ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델(222, YOLO)을 이용해 불량 영역을 검출할 수 있다. 이후, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(231, ResNet)을 이용하여 불량 유형(A, B, C, D,…)을 결정할 수 있다.
다음으로 도 5를 참조하면, 불량 검출부(210)는 딥러닝이 아닌 영상 처리 가능한 불량에 대하여는 기정의된 패턴 검출 모델을 이용해 불량 여부를 검출할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 불량 검출부(220)는 외관 이미지에서 외곽선을 검출한 후, 검출된 외곽선에 기정의된 불량 패턴이 포함되어 있는지를 체크하여 불량 영역을 결정할 수 있다. 이후, 불량 유형 결정부(230)는 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델(232, ResNet)을 이용하여 불량 유형(A, B, C, D,…)을 결정할 수 있다.
이상에서 설명한 본 발명의 다양한 실시예에 따른 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치는, 타이어 외관 이미지를 기정의된 불량 검출 모델 및 불량 분류 모델을 이용해 분석하여 타이어의 불량 여부 및 불량 유형을 판별함으로써, 검사 정확도 및 시간 효율성을 대폭 향상시킬 수 있는 이점이 있다.
이상에서 설명한 본 발명에 따른 타이어 외관 결함 검출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (7)

  1. 딥러닝 기반의 타이어 외관 결함 검출 방법에 있어서,
    타이어에 대한 외관 이미지를 수집하는 단계;
    상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 단계; 및
    상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 단계;
    를 포함하는 타이어 외관 결함 검출 방법.
  2. 제1항에 있어서, 상기 불량 여부를 검출하는 단계는,
    세맨틱 세그멘테이션(Semantic Image Segmentation) 방식으로 학습된 제1 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
  3. 제2항에 있어서, 상기 불량 여부를 검출하는 단계는,
    상기 제1 딥러닝 모델과 독립적으로 정의되며, ROI(region of interest) 기반으로 학습된 제2 딥러닝 모델을 이용해 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
  4. 제3항에 있어서, 상기 불량 유형을 결정하는 단계는,
    상기 제1 및 제2 딥러닝 모델에 의한 불량 검출 결과를 학습한, 잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
  5. 제1항에 있어서, 상기 불량 여부를 검출하는 단계는,
    상기 수집된 외관 이미지에 대한 전처리 프로세스를 수행한 후, 기정의된 불량 패턴의 유무를 판단하여 상기 불량 여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
  6. 제5항에 있어서, 상기 불량 유형을 결정하는 단계는,
    잔차 신경망(Residual Network) 기반의 제3 딥러닝 모델을 이용하여 상기 불량 유형을 결정하는 단계;를 포함하는 것을 특징으로 하는 타이어 외관 결함 검출 방법.
  7. 딥러닝 기반의 타이어 외관 결함 검출 장치에 있어서,
    타이어에 대한 외관 이미지를 수집하는 이미지 수집부;
    상기 수집된 외관 이미지를 기정의된 불량 검출 모델을 이용해 분석하여 상기 타이어에 대한 불량 여부를 검출하는 불량 검출부; 및
    상기 타이어에 대한 불량이 검출되면, 검출된 불량 영역을 상기 불량 검출 모델과 독립적으로 정의된 불량 분류 모델을 이용해 분석하여 상기 타이어에 대한 불량 유형을 결정하는 불량 유형 결정부;
    를 포함하는 타이어 외관 결함 검출 장치.
PCT/KR2021/019196 2020-12-18 2021-12-16 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치 WO2022131822A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0177995 2020-12-18
KR1020200177995A KR102505484B1 (ko) 2020-12-18 2020-12-18 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022131822A1 true WO2022131822A1 (ko) 2022-06-23

Family

ID=82059436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019196 WO2022131822A1 (ko) 2020-12-18 2021-12-16 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102505484B1 (ko)
WO (1) WO2022131822A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152228A (zh) * 2023-04-14 2023-05-23 山东奇妙智能科技有限公司 基于机器视觉和机器学习轮胎缺陷检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109607B (zh) * 2023-02-22 2023-10-20 广东电网有限责任公司云浮供电局 一种基于图像分割的输电线路工程缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052180A (ko) * 2016-11-10 2018-05-18 금호타이어 주식회사 비파괴검사 이미지 분석을 통한 타이어 결함 판정 방법
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
US20200160505A1 (en) * 2018-11-20 2020-05-21 Bnsf Railway Company Systems and methods for determining defects in physical objects
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치
KR102175286B1 (ko) * 2018-10-11 2020-11-06 라온피플 주식회사 결함 검출 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6231302B2 (ja) 2013-06-12 2017-11-15 株式会社ブリヂストン 検査補助装置
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
KR20190141303A (ko) 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
KR102342337B1 (ko) * 2019-01-24 2021-12-23 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052180A (ko) * 2016-11-10 2018-05-18 금호타이어 주식회사 비파괴검사 이미지 분석을 통한 타이어 결함 판정 방법
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
KR102175286B1 (ko) * 2018-10-11 2020-11-06 라온피플 주식회사 결함 검출 장치 및 방법
US20200160505A1 (en) * 2018-11-20 2020-05-21 Bnsf Railway Company Systems and methods for determining defects in physical objects
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152228A (zh) * 2023-04-14 2023-05-23 山东奇妙智能科技有限公司 基于机器视觉和机器学习轮胎缺陷检测方法及系统
CN116152228B (zh) * 2023-04-14 2023-06-27 山东奇妙智能科技有限公司 基于机器视觉和机器学习轮胎缺陷检测方法及系统

Also Published As

Publication number Publication date
KR102505484B1 (ko) 2023-03-03
KR20220087699A (ko) 2022-06-27

Similar Documents

Publication Publication Date Title
WO2022131822A1 (ko) 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
CN106991820B (zh) 违规车辆处理方法及装置
US20130120125A1 (en) Method and system for lane departure warning
WO2020256246A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
WO2021066253A1 (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
CN109858456B (zh) 一种铁路车辆状态故障分析系统
CN111709341B (zh) 客梯车作业状态的检测方法与系统
WO2012011715A2 (ko) 차량 충돌 경보 시스템 및 방법
CN113095125A (zh) 基于场景连续性来诊断感知系统
CN112434657A (zh) 飘散运载物检测方法、设备、程序及计算机可读介质
WO2021215740A1 (en) Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle
CN111967384A (zh) 车辆信息处理方法、装置、设备及计算机可读存储介质
CN114820626A (zh) 一种汽车前脸零件配置智能检测方法
WO2023286917A1 (ko) 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
CN110660226A (zh) 车辆安全规范的检测方法、系统及设备、存储装置
KR102030768B1 (ko) 영상을 이용한 가금류 무게 측정 방법, 이를 수행하기 위한 기록매체 및 장치
CN110817674B (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
WO2023113274A1 (ko) Ai 기반 제품 표면 검사 장치 및 방법
CN109165607B (zh) 一种基于深度学习的驾驶员手持电话检测方法
CN114299406B (zh) 基于无人机航拍的光纤电缆线路巡检方法
CN113639685B (zh) 位移检测方法、装置、设备和存储介质
WO2020204350A2 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
JP2003121111A (ja) 積雪用タイヤ検出装置
KR20220075999A (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법
CN112784817A (zh) 车辆所在车道检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21907126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21907126

Country of ref document: EP

Kind code of ref document: A1