WO2023127992A1 - 3d 이미지 데이터를 이용한 타이어 불량 검출 방법 - Google Patents

3d 이미지 데이터를 이용한 타이어 불량 검출 방법 Download PDF

Info

Publication number
WO2023127992A1
WO2023127992A1 PCT/KR2021/020108 KR2021020108W WO2023127992A1 WO 2023127992 A1 WO2023127992 A1 WO 2023127992A1 KR 2021020108 W KR2021020108 W KR 2021020108W WO 2023127992 A1 WO2023127992 A1 WO 2023127992A1
Authority
WO
WIPO (PCT)
Prior art keywords
tire
image data
area
detecting
spew
Prior art date
Application number
PCT/KR2021/020108
Other languages
English (en)
French (fr)
Inventor
김현석
배유석
이원곡
허조훈
김준민
이우람
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Publication of WO2023127992A1 publication Critical patent/WO2023127992A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C25/00—Apparatus or tools adapted for mounting, removing or inspecting tyres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C25/00—Apparatus or tools adapted for mounting, removing or inspecting tyres
    • B60C25/002—Inspecting tyres
    • B60C25/007—Inspecting tyres outside surface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Definitions

  • the present invention relates to a method for detecting tire defects, and more particularly, to a method for detecting defects using 3D image data.
  • a final inspection step is a process of inspecting vent spews of the tire with the naked eye.
  • the vent spew is a small hole that allows the air inside the frame to escape to the outside, and the rubber flows out through the hole and is a hardened bump.
  • vent spew naturally exists in the tire manufacturing process, but if the length is longer than the standard length, it is treated as a defect.
  • Registered Patent No. 10-1879968 (registered on July 12, 2018, tire support device, and tire test system having the tire support device) describes a problem caused by spew and a system for solving the problem, but this is It is about the removal of the tire, and even now, the vent spew of the tire is visually checked to determine whether it is defective or not.
  • An object to be solved by the present invention in consideration of the above problems is to provide a method capable of automatically detecting a vent spew area of a tire and checking a length of the vent spew to determine whether or not there is a defect.
  • the tire defect detection method using 3D image data of the present invention includes the steps of a) detecting a tire area from 3D image data of the surface of a tire, and b) normalizing the detected tire area into image data c) performing YOLO detector learning with normalized image data to obtain a learning result for detecting a bent spew area, d) 3D image of a tire using the learning result of step c) It may include detecting a vent spew area in .
  • the method may further include e) acquiring length information of the vent spew in the detected vent spew area and comparing the length information with the reference length to determine whether or not the vent spew is defective.
  • step a) is a process of processing 3D image data with Otsu's Thresholding Method, and noise erosion of the resultant data processed with Otsu's thresholding algorithm.
  • a process of removing and a process of detecting a tire area using a horizontal projection histogram method may be included.
  • step b) may use a min-max normalization method.
  • step c) may be learned using YOLO V3.
  • the present invention detects the tire area, normalizes the tire surface 3D data, performs YOLO detector (You Only Look Once detector) learning, which is a real-time detection system, detects the vent spew area, and automatically adjusts the length of the vent spew. It can be detected by, so there is an effect that can solve the problems caused by the conventional visual inspection.
  • FIG. 1 is a flowchart of a tire defect detection method using 3D image data according to a preferred embodiment of the present invention.
  • FIG. 2 is a schematic diagram of a device for obtaining a 3D image of a tire.
  • 3 is an exemplary diagram of 3D image data of a tire surface.
  • FIG. 4 is an exemplary diagram of image data of a tire to which an Otsu thresholding algorithm is applied.
  • FIG. 6 is an exemplary diagram of a horizontal projection histogram method.
  • 10 is an exemplary diagram of image segmentation for learning.
  • 11 is an exemplary diagram of a detected vent spew area.
  • 'first' and 'second' may be used to describe various elements, but the elements should not be limited by the above terms. The above terms may only be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a 'first element' may be named a 'second element', and similarly, a 'second element' may also be named a 'first element'. can Also, singular expressions include plural expressions unless the context clearly indicates otherwise. Terms used in the embodiments of the present invention may be interpreted as meanings commonly known to those skilled in the art unless otherwise defined.
  • the present invention relates to a method for automatically detecting defects in a tire, and includes a camera for acquiring a 3D image, a computing device including at least a processor for learning the image, detecting the area of a vent spew, and determining the length thereof. is performed based on
  • each step mentioned in the present invention is performed by a processor of a computing device.
  • FIG. 1 is a flowchart of a tire defect detection method using 3D image data according to a preferred embodiment of the present invention.
  • the present invention includes the steps of detecting a tire area in a 3D image of a tire (S11), normalizing the detected tire area (S12), performing YOLO detector learning (S13), A step of detecting a bent spew area using a learning result (S14), and comparing a bent spew length in the bent spew area with a reference length to determine whether or not it is defective (S15).
  • step S11 the tire area is detected from the 3D image of the tire.
  • Acquisition of the 3D image targets the surface of the tire, and as shown in FIG. It can be done by taking pictures.
  • 3 shows an example of the acquired 3D image data of the tire surface.
  • the 3D image data of the photographed tire surface has the same ratio as the height of the circumference of the tire 3 and is obtained with a variable resolution according to the circumference of each tire.
  • the data type per pixel of commonly used image data is 8 bit, whereas the data type per pixel for the captured 3D data has a height resolution of 5 ⁇ m and a Z-Range of 300mm based on the specifications of the currently used 3D camera (1). 16 bits to represent.
  • depth information according to the size of the tire is acquired within the Z-Range of the 3D camera, not the actual depth information of each tire surface. , it is necessary to normalize the 3D data so that it can have the depth information value of the actual tire surface.
  • Otsu's Thresholding Method is used in the present invention.
  • Equation 1 An example of Otsu's algorithm is described in Equation 1.
  • Equation 1 The variables described in Equation 1 above follow the parameters of the known Otsu algorithm.
  • FIG. 4 is an exemplary diagram of image data of a tire to which an Otsu thresholding algorithm is applied.
  • noise may occur at the bottom due to the surface plate 2 on which the tires are aligned, and it is necessary to remove the vent spew area generated on the upper surface of the tire, and erosion The area is removed by performing an operation.
  • noise is removed through the erosion operation, and only the target tire area can be detected. Finally, the tire area is detected using the horizontal projection histogram method shown in FIG. 6.
  • the detection result of the tire area is shown in FIG. 7 .
  • step S12 the detected tire area is normalized.
  • Normalization at this time may use a minimum-maximum normalization method.
  • Equation 2 is a general expression of min-max normalization.
  • FIG. 8 shows an image resulting from minimum-maximum normalization
  • FIG. 9 shows a histogram of depth values after minimum-maximum normalization of tire surface 3D image data.
  • Histogram #1 is the result of using the minimum and maximum values of the camera specification information
  • the second histogram #2 is the result of using the minimum and maximum values of the entire data area
  • the third histogram #3 is the result of using the tire area after detecting the tire area. It is a normalized result using the minimum and maximum values in .
  • YOLO detector learning is performed as in step S13.
  • processing speed is also an important factor in detecting tire defect areas mechanically instead of visual inspection. Due to the nature of tire surface 3D data that needs to detect even small-sized defective areas, the resolution is variable depending on the circumference and height of the tire, but it has a high resolution compared to data that is generally handled, which requires a lot of computation and time for learning and recognition.
  • YOLO detector which can satisfy both recognition and speed performance factors among various deep learning methods, was used.
  • YOLO is a deep learning model for object detection. It is an algorithm that can satisfy both high accuracy and speed because it consists of a single neural network structure instead of a complex algorithm pipeline structure during learning and detection.
  • YOLO V3 with improved performance was used in the existing YOLO.
  • YOLO V3 is an improved algorithm following YOLO and YOLO V2, which has been improved to classify 9000 classes and detect small objects.
  • Darknet-53 residual application
  • K -Performance improvement by applying methods such as anchor box prediction at three different scales to which Means clustering is applied and softmax replacement method with logistic regression for multi-label prediction this has been done
  • the data used for learning was cut to a certain size as shown in FIG. 10 to configure training and test data.
  • the present invention relates to a method for detecting defects in a 3D image of a tire using natural laws, and has industrial applicability.

Abstract

본 발명은 3D 이미지 데이터를 이용한 타이어 불량 검출 방법에 관한 것으로, a) 타이어의 표면 3D 이미지 데이터에서 타이어 영역을 검출하는 단계와, b) 검출된 타이어 영역을 정규화된 이미지 데이터로 변환하는 단계와, c) 정규화된 이미지 데이터로 YOLO 디텍터 학습을 수행하여, 벤트 스퓨 영역 검출을 위한 학습결과를 획득하는 단계와, d) 상기 c) 단계의 학습결과를 이용하여 타이어의 3D 이미지에서 벤트 스퓨 영역을 검출하는 단계를 포함할 수 있다.

Description

3D 이미지 데이터를 이용한 타이어 불량 검출 방법
본 발명은 타이어 불량 검출 방법에 관한 것으로, 더 상세하게는 3D 이미지 데이터를 이용하여 불량을 검출하는 방법에 관한 것이다.
본 발명은 아래의 국가연구개발사업의 결과물로서 출원됩니다.
[이 발명을 지원한 국가연구개발사업]
[과제고유번호]1711126216
[과제번호]2020-0-01741-002
[부처명]과학기술정보통신부
[과제관리(전문)기관명]한국연구재단
[연구사업명]정보통신방송혁신인재양성(R＆D)
[연구과제명][국고]Grand ICT 연구센터
[기여율]1/1
[과제수행기관명]한국산업기술대학교산학협력단
[연구기간]2021.01.01 ~ 2021.12.31
일반적으로, 자동차용 타이어 제조공정 중, 최종 검사 단계는 육안으로 타이어의 벤트 스퓨(vent spews)를 검사하는 과정이다. 벤트 스퓨는 타이어 제조공정에서 틀 내부의 공기가 외부로 빠져나갈 수 있도록 미세한 구멍을 뚫어 놓으며, 그 구멍으로 고무가 흘러나와 굳은 돌기이다.
벤트 스퓨의 존재는 타이어 제조공정상 당연히 존재하는 것이지만, 그 길이가 기준 길이 이상인 경우 결함으로 취급된다.
등록특허 10-1879968호(2018년 7월 12일 등록, 타이어 지지장치, 및 그 타이어 지지장치를 구비하는 타이어 시험 시스템)에는 스퓨에 의한 문제점과 그 문제점을 해결하기 위한 시스템이 기재되어 있지만 이는 스퓨의 제거에 관한 것이며, 현재까지도 타이어의 벤트 스퓨는 육안으로 확인하여 결함 여부를 판단하고 있다.
따라서, 작업자의 판단에 의해 결함 검출 여부가 결정되기 때문에, 시간이 많이 소요될 뿐만 아니라 결함 검출에 대한 신뢰성이 저하되는 문제점이 있었다.
상기와 같은 문제점을 감안한 본 발명이 해결하고자 하는 과제는, 타이어의 벤트 스퓨 영역을 자동으로 검출하고, 벤트 스퓨의 길이를 확인하여 결함 여부를 판정할 수 있는 방법을 제공함에 있다.
상기와 같은 기술적 과제를 해결하기 위한 본 발명 3D 이미지 데이터를 이용한 타이어 불량 검출 방법은, a) 타이어의 표면 3D 이미지 데이터에서 타이어 영역을 검출하는 단계와, b) 검출된 타이어 영역을 정규화된 이미지 데이터로 변환하는 단계와, c) 정규화된 이미지 데이터로 YOLO 디텍터 학습을 수행하여, 벤트 스퓨 영역 검출을 위한 학습결과를 획득하는 단계와, d) 상기 c) 단계의 학습결과를 이용하여 타이어의 3D 이미지에서 벤트 스퓨 영역을 검출하는 단계를 포함할 수 있다.
본 발명의 실시예에서, e) 검출된 벤트 스퓨 영역에서 벤트 스퓨의 길이 정보를 획득하고, 기준길이와 비교하여 불량 여부를 판정하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 a) 단계는, 3D 이미지 데이터를 오츠의 스레시홀딩 알고리즘(Otsu's Thresholding Method) 처리하는 과정과, 오츠의 스레시홀딩 알고리즘 처리된 결과 데이터의 노이즈를 침식 연산을 통해 제거하는 과정과, 수평 투영 히스토그램 방법을 이용하여 타이어 영역을 검출하는 과정을 포함할 수 있다.
본 발명의 실시예에서, 상기 b) 단계는, 최소-최대 정규화 방법을 사용할 수 있다.
본 발명의 실시예에서, 상기 c) 단계는, YOLO V3를 이용하여 학습할 수 있다.
본 발명은, 타이어 영역을 검출하고, 타이어 표면 3D 데이터를 정규화한 후, 실시간 검출 시스템인 YOLO 디텍터(You Only Look Once detector) 학습을 수행하고, 벤트 스퓨 영역을 검출하여, 벤트 스퓨의 길이를 자동으로 검출할 수 있어, 종래의 육안 검사에 의한 문제점들을 해소할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 3D 이미지 데이터를 이용한 타이어 불량 검출 방법의 순서도이다.
도 2는 타이어 3D 이미지 획득을 위한 장치의 모식도이다.
도 3은 타이어 표면의 3D 이미지 데이터의 예시도이다.
도 4는 오츠 스레시홀딩 알고리즘을 적용한 타이어의 이미지 데이터의 예시도이다.
도 5는 침식 연산의 수행 결과 이미지이다.
도 6은 수평 투영 히스토그램 방법의 예시도이다.
도 7은 타이어 영역 검출 결과도이다.
도 8은 정규화된 타이어 3D 이미지이다.
도 9는 정규화된 타이어 3D 이미지의 히스토그램이다.
도 10은 학습을 위한 이미지 분할 예시도이다.
도 11은 검출된 벤트 스퓨 영역의 예시도이다.
- 도면 부호의 설명 -
1:카메라 2:정반
3:타이어
본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
본 발명은 타이어의 불량을 자동 검출하기 위한 방법에 관한 것으로, 3D 이미지를 획득하기 위한 카메라, 이미지를 학습하고, 벤트 스퓨의 영역 검출 및 길이의 판단은 적어도 프로세서를 포함하는 컴퓨팅 장치를 포함하는 장치에 기반하여 수행된다.
즉, 본원발명에서 언급되는 각 단계는 컴퓨팅 장치의 프로세서에서 수행되는 것으로 이해되어야 한다.
이하에서는, 도면을 참조하여 본 발명의 일실시예에 따른 3D 이미지 데이터를 이용한 타이어 불량 검출 방법에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 3D 이미지 데이터를 이용한 타이어 불량 검출 방법의 순서도이다.
도 1을 참조하면 본 발명은, 타이어의 3D 이미지에서 타이어 영역을 검출하는 단계(S11)와, 검출된 타이어 영역을 정규화하는 단계(S12)와, YOLO 디텍터 학습을 수행하는 단계(S13)와, 학습결과를 이용하여 벤트 스퓨 영역을 검출하는 단계(S14)와, 벤트 스퓨 영역에서 벤트 스퓨 길이를 기준 길이와 비교하여 불량여부를 판정하는 단계(S15)를 포함한다.
이하, 상기와 같이 구성되는 본 발명 3D 이미지 데이터를 이용한 타이어 불량 검출 방법의 구성과 작용에 대하여 보다 상세히 설명한다.
먼저, S11단계와 같이 타이어의 3D 이미지에서 타이어 영역을 검출한다.
3D 이미지의 획득은, 타이어의 표면을 대상으로 하며, 도 2에 도시한 바와 같이 3D 라인 스캔 카메라(1)를 설치하고, 정반(2) 위에서 정렬되어 회전하는 타이어(3)의 표면을 포커싱하여 촬영하는 것으로 수행될 수 있다.
도 3에는 획득된 타이어 표면의 3D 이미지 데이터의 예를 도시하였다.
촬영된 타이어 표면의 3D 이미지 데이터는 타이어(3)의 둘레 높이와 동일 비율이며, 각 타이어 둘레에 따른 가변적인 해상도로 취득된다.
일반적으로 흔히 사용되는 이미지 데이터의 픽셀 당 자료형은 8 bit인데 반해 촬영된 3D 데이터는 현재 사용 3D 카메라(1) 사양 기준으로 Height resolution은 5μm, Z-Range는 300mm이므로 픽셀 당 자료형은 깊이 최대 값을 표현하기 위해 16 bit이다.
타이어 표면 3D 데이터 취득 환경에서 각 타이어 표면의 실제 깊이 정보가 아닌 3D 카메라의 Z-Range 내에서 타이어의 크기에 따른 깊이 정보를 취득하기 때문에 타이어의 외관 결함 인식 시 각 타이어 표면 3D 데이터는 서로 다른 범위를 가지게 되어 실제 타이어 표면의 깊이 정보 값을 가질 수 있도록 3D 데이터의 정규화 과정이 필요하다.
또한 타이어 3D 데이터의 촬영은 타이어 표면을 대상으로 하므로 카메라의 Z-Range 사양과 비교 시 극히 일부분만을 사용하기 때문에 보다 정밀한 인식 성능을 위해 정규화와 더불어 정규화된 깊이 값의 범위 내에서 각 값의 차이를 극명하게 하기 위한 히스토그램 스트레칭(Histogram Stretching) 처리가 필요하다.
타이어의 3D 이미지 데이터에서 타이어 영역을 검출하기 위하여, 본 발명에서는 오츠의 스레시홀딩 알고리즘(Otsu's Thresholding Method)를 사용한다.
오츠 알고리즘의 예를 수학식 1에 기재하였다.
[수학식 1]
Figure PCTKR2021020108-appb-img-000001
위의 수학식1에 기재된 변수들은 알려진 오츠 알고리즘의 변수에 따른다.
도 4는 오츠 스레시홀딩 알고리즘을 적용한 타이어의 이미지 데이터의 예시도이다.
도 4에 도시한 바와 같이 오츠 스레시홀딩 알고리즘을 적용한 이미지는 타이어가 정렬되는 정반(2)으로 인해 하단 노이즈가 발생할 수 있으며, 타이어 상단 표면에 발생되는 벤트 스퓨 영역을 제거할 필요가 있으며, 침식 연산을 수행하여 해당 영역을 제거한다.
도 5는 침식 연산의 수행 결과 이미지를 나타낸다.
도 5에 도시한 바와 같이 침식 연산을 통해 노이즈가 제거되어 목표로하는 타이어 영역만을 검출할 수 있으며, 최종적으로 도 6에 도시한 수평 투영 히스토그램 방법을 이용하여 타이어 영역을 검출한다.
타이어 영역의 검출 결과를 도 7에 도시하였다.
검출된 타이어 영역과 도 3의 원본 이미지 데이터를 비교하면, 원본 타이어 표면 3D 이미지 데이터 상에 초록색선으로 표현되는 타이어 영역 검출 결과를 얻을 수 있다.
그 다음, S12단계와 같이 검출된 타이어 영역을 정규화한다.
이때의 정규화는 최소-최대 정규화 방법을 사용할 수 있다.
수학식 2는 최소-최대 정규화의 일반식이다.
[수학식 2]
Figure PCTKR2021020108-appb-img-000002
최소-최대 정규화 결과 이미지를 도 8에 도시하였으며, 도 9에는 타이어 표면 3D 이미지 데이터를 최소-최대 정규화 후, 깊이 값의 히스토그램을 도시하였다.
히스토그램#1은 카메라 사양 정보 상의 최소, 최대 값을 이용한 결과이며, 두 번째 히스토그램#2은 데이터 전체 영역 상의 최소, 최대 값을 이용한 결과이고, 세 번째 히스토그램#3은 타이어 영역을 검출 후 타이어 영역 내에서 최소, 최대 값을 이용하여 정규화된 결과이다.
이처럼 타이어 영역을 검출하여 정규화된 결과는 다른 정규화 결과와 비교 시 제한된 범위 내의 값을 보다 충분히 활용하는 만큼 차이가 명확함을 알 수 있으며 타이어 표면에서의 최소, 최대 값을 이용하기 때 문에 실제 타이어 표면 내에서의 정밀한 깊이 정보를 얻을 수가 있다.
그 다음, S13단계와 같이 YOLO 디텍터 학습을 수행한다.
육안검사를 대체하여 기계적으로 타이어의 결함 영역을 검출하는 것에 중요한 요인은 정확도와 더불어 처리속도 또한 중요한 요인으로 포함된다. 작은 크기의 불량 영역까지 검출해야 하는 타이어 표면 3D 데이터 특성상 타이어 둘레와 높이에 따라 해상도는 가변적이나 일반적으로 다루는 데이터와 비교 시 높은 해상도를 가지며 이는 학습 및 인식시 많은 연산량과 시간을 요구하게 한다.
본 발명에서는 다양한 딥러닝 방법 중 인식과 속도 성능 요인을 모두 충족할 수 있는 YOLO 디텍터를 사용하였다.
YOLO는 객체 검출을 위한 딥러닝 모델로서 학습과 검출시 복잡한 알고리즘 파이프라인 구조 대신 하나의 신경망 구조로 이루어져 있어 높은 정확도와 빠른속도 두 가지를 모두 충족시킬 수 있는 알고리즘이다. 본 발명에서는 기존 YOLO에서 성능이 개선된 YOLO V3를 사용하였다.
YOLO V3는 YOLO, YOLO V2에 이은 개선된 알고리즘으로 9000개의 클래스를 분류와 작은 물체를 검출 가능토록 개선한 V2에 이어 백본으로 V2에서 적용한 Darknet-19에 이은 Darknet-53(Residual 적용) 적용, K-Means 클러스터링을 적용한 서로 다른 3개의 다른 스케일에서의 앵커 박스 예측, 멀티 레이블(Multi Labels) 예측을 위해 로지스틱 레그레이션(Logistic regression)으로 소프트맥스(Softmax)를 대체 방법 등의 방법을 적용하여 성능 개선이 이루어졌다.
학습에 사용되는 3D 데이터는 고해상도의 데이터로서 제한된 메모리 환경에 처리해야 하므로 도 10과 같이 학습에 사용되는 데이터는 일정 크기로 잘라내어 학습 및 테스트 데이터를 구성하였다.
이와 같은 학습을 통해, 다양한 타이어에 대하여 벤트 스퓨 영역에 대한 학습 결과를 얻을 수 있으며, 신규한 타이어 3D 이미지에 대하여 S14단계와 같이 벤트 스퓨 영역을 검출하고, S15단계와 같이 벤트 스퓨의 길이에 대한 정보를 확인하여, 불량 검출을 수행할 수 있다.
도 11에 벤트 스퓨 영역의 검출 결과를 도시하였다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.
본 발명은 자연법칙을 이용하여 타이어의 3D 이미지에서 불량을 검출하는 방법에 관한 것으로, 산업상 이용 가능성이 있다.

Claims (5)

  1. a) 타이어의 표면 3D 이미지 데이터에서 타이어 영역을 검출하는 단계;
    b) 검출된 타이어 영역을 정규화된 이미지 데이터로 변환하는 단계;
    c) 정규화된 이미지 데이터로 YOLO 디텍터 학습을 수행하여, 벤트 스퓨 영역 검출을 위한 학습결과를 획득하는 단계; 및
    d) 상기 c) 단계의 학습결과를 이용하여 타이어의 3D 이미지에서 벤트 스퓨 영역을 검출하는 단계를 포함하는 3D 이미지 데이터를 이용한 타이어 불량 검출 방법.
  2. 제1항에 있어서,
    e) 검출된 벤트 스퓨 영역에서 벤트 스퓨의 길이 정보를 획득하고, 기준길이와 비교하여 불량 여부를 판정하는 단계를 더 포함하는 3D 이미지 데이터를 이용한 타이어 불량 검출 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 a) 단계는,
    3D 이미지 데이터를 오츠의 스레시홀딩 알고리즘(Otsu's Thresholding Method) 처리하는 과정;
    오츠의 스레시홀딩 알고리즘 처리된 결과 데이터의 노이즈를 침식 연산을 통해 제거하는 과정; 및
    수평 투영 히스토그램 방법을 이용하여 타이어 영역을 검출하는 과정으로 이루어진 3D 이미지 데이터를 이용한 타이어 불량 검출 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 b) 단계는,
    최소-최대 정규화 방법을 사용하는 것을 특징으로 하는 3D 이미지 데이터를 이용한 타이어 불량 검출 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 c) 단계는,
    YOLO V3를 이용하여 학습하는 것을 특징으로 하는 3D 이미지 데이터를 이용한 타이어 불량 검출 방법.
PCT/KR2021/020108 2021-12-28 2021-12-29 3d 이미지 데이터를 이용한 타이어 불량 검출 방법 WO2023127992A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0190382 2021-12-28
KR1020210190382A KR20230100465A (ko) 2021-12-28 2021-12-28 3d 이미지 데이터를 이용한 타이어 불량 검출 방법

Publications (1)

Publication Number Publication Date
WO2023127992A1 true WO2023127992A1 (ko) 2023-07-06

Family

ID=86999292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020108 WO2023127992A1 (ko) 2021-12-28 2021-12-29 3d 이미지 데이터를 이용한 타이어 불량 검출 방법

Country Status (2)

Country Link
KR (1) KR20230100465A (ko)
WO (1) WO2023127992A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009115512A (ja) * 2007-11-02 2009-05-28 Sumitomo Rubber Ind Ltd 物品検査方法
JP2014117800A (ja) * 2012-12-13 2014-06-30 Yokohama Rubber Co Ltd:The 空気入りタイヤの加硫異常検知方法および装置
US20180197285A1 (en) * 2015-07-27 2018-07-12 Compagnie Generale Des Etablissements Michelin Optimised method for analysing the conformity of the surface of a tire
JP2019143996A (ja) * 2018-02-16 2019-08-29 株式会社ブリヂストン タイヤ検査装置、タイヤ検査プログラム及びタイヤ検査方法
KR102316307B1 (ko) * 2021-04-27 2021-10-22 주식회사 오토기기 타이어의 측면 인쇄 정보 및 결함을 검출하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009115512A (ja) * 2007-11-02 2009-05-28 Sumitomo Rubber Ind Ltd 物品検査方法
JP2014117800A (ja) * 2012-12-13 2014-06-30 Yokohama Rubber Co Ltd:The 空気入りタイヤの加硫異常検知方法および装置
US20180197285A1 (en) * 2015-07-27 2018-07-12 Compagnie Generale Des Etablissements Michelin Optimised method for analysing the conformity of the surface of a tire
JP2019143996A (ja) * 2018-02-16 2019-08-29 株式会社ブリヂストン タイヤ検査装置、タイヤ検査プログラム及びタイヤ検査方法
KR102316307B1 (ko) * 2021-04-27 2021-10-22 주식회사 오토기기 타이어의 측면 인쇄 정보 및 결함을 검출하는 장치

Also Published As

Publication number Publication date
KR20230100465A (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
WO2021002549A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
CN109946303A (zh) 检查装置和方法
WO2018216948A1 (ko) 인공신경망 분석에 근거한 복합적 물체 인식 시스템 및 방법
WO2021066253A1 (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
WO2016043397A1 (ko) 초분광영상화 기법을 이용한 글라스 결함 검출 방법 및 장치
WO2017204519A2 (ko) 데이터 밸런싱을 통한 학습기반의 비전검사 방법 및 이를 이용한 데이터 밸런싱을 통한 학습기반의 비전검사 장치
WO2016204402A1 (ko) 부품 결함 검사 방법 및 그 장치
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
CN115065798B (zh) 一种基于大数据的视频分析监控系统
CN113160222A (zh) 一种针对工业信息图像的生产数据识别方法
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
WO2023127992A1 (ko) 3d 이미지 데이터를 이용한 타이어 불량 검출 방법
CN111461143A (zh) 一种图片翻拍识别方法和装置及电子设备
WO2016080815A1 (ko) 위변조 여권 검사 방법 및 그 기록매체
KR102030768B1 (ko) 영상을 이용한 가금류 무게 측정 방법, 이를 수행하기 위한 기록매체 및 장치
WO2023080587A1 (ko) 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
WO2017222228A1 (ko) 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
WO2018048200A1 (ko) 편석 분석 장치 및 방법
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2018006443A1 (zh) 一种显示屏残影检测系统及其方法
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN112801072B (zh) 一种基于计算机视觉的电梯非平层开门故障识别装置及方法
CN112801963B (zh) 一种视频图像遮挡检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21970062

Country of ref document: EP

Kind code of ref document: A1