KR102546778B1 - 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법 - Google Patents

내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법 Download PDF

Info

Publication number
KR102546778B1
KR102546778B1 KR1020200177022A KR20200177022A KR102546778B1 KR 102546778 B1 KR102546778 B1 KR 102546778B1 KR 1020200177022 A KR1020200177022 A KR 1020200177022A KR 20200177022 A KR20200177022 A KR 20200177022A KR 102546778 B1 KR102546778 B1 KR 102546778B1
Authority
KR
South Korea
Prior art keywords
deep learning
tire
learning unit
measurement image
internal air
Prior art date
Application number
KR1020200177022A
Other languages
English (en)
Other versions
KR20220086851A (ko
Inventor
최정원
김동규
Original Assignee
한국타이어앤테크놀로지 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국타이어앤테크놀로지 주식회사 filed Critical 한국타이어앤테크놀로지 주식회사
Priority to KR1020200177022A priority Critical patent/KR102546778B1/ko
Publication of KR20220086851A publication Critical patent/KR20220086851A/ko
Application granted granted Critical
Publication of KR102546778B1 publication Critical patent/KR102546778B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C23/00—Devices for measuring, signalling, controlling, or distributing tyre pressure or temperature, specially adapted for mounting on vehicles; Arrangement of tyre inflating devices on vehicles, e.g. of pumps or of tanks; Tyre cooling arrangements
    • B60C23/02—Signalling devices actuated by tyre pressure
    • B60C23/04—Signalling devices actuated by tyre pressure mounted on the wheel or tyre
    • B60C23/0401—Signalling devices actuated by tyre pressure mounted on the wheel or tyre characterised by the type of alarm
    • B60C23/0405—Mechanically generated visible signals, e.g. by using a gauge needle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 (a) 이송 컨베이어부로 타이어를 투입하는 단계, (b) 내부공기 측정설비가 이송 컨베이어부로부터 이송되는 타이어의 내부공기를 측정한 측정이미지를 생성하는 단계, (c) 딥러닝부가 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하는 단계, (d) 딥러닝부가 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 결과값이 기설정된 판단 기준치 미만인 경우, 측정이미지가 적합한 것으로 판단하는 단계 및 (e) 배출롤러부가 타이어를 배출시키는 단계를 포함하고, 상기 (d) 단계에서, 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 판단 결과가 적합일 경우, 딥러닝부가 타이어를 적합한 것으로 판단하여 상기 (e) 단계를 수행하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 제공한다.

Description

내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법{An automatic detection method of defective tires using internal air measurement part and deep running part}
본 발명은 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 관한 것으로, 보다 상세하게는 타이어의 내부에 공기 포켓(air pocket)의 존재여부를 자동으로 검출하여 타이어의 부적합 여부를 판단하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 관한 것이다.
일반적으로 타이어의 적합 여부를 판단하기 위하여 타이어의 내부공기 측정을 수행하게 된다. 여기서, 타이어의 내부공기 측정은 작업자가 직접 타이어를 육안으로 보면서 검사하는 수동시스템으로서, 이러한 측정방법이 도 1에 도시되어 있다.
도 1을 참조하면, 최초, 타이어가 투입되고, 내부공기 측정장치가 타이어의 내부공기를 측정한 후 측정 결과인 이미지를 취득한다. 이때, 작업자는 UI상에 디스플레이되는 취득된 이미지를 기반으로 판독하여 적합 여부를 판단하고 수기로 판단 결과를 컴퓨터에 저장한다.
이때, 작업자는 취득된 이미지에 대해 부적합 부위를 눈으로 확인한 후 타이어에 대한 부적합 여부를 판단한다. 이후, 상기한 과정을 거친 타이어는 외부로 배출된다.
그러나, 상기한 타이어의 내부공기를 측정하기 위한 시스템은 작업자의 노하우, 컨디션 등에 따라 타이어의 판독에 인적 편차가 존재함에 따라 판독 결과에 대한 신뢰성이 떨어지는 문제점이 있었다.
또한, 상기한 내부공기 측정시스템은 검사해야 할 타이어의 수량이 많을 경우, 작업피로도의 증가와 함께 판독 결과에 대한 신뢰성이 더욱 떨어지는 문제점이 있었다.
(특허문헌 1) 등록특허공보 제10-0444514호(2009.05.08.)
(특허문헌 2) 공개특허공보 제10-2002-0074672호(2002.10.04.)
상기와 같은 문제를 해결하기 위한 본 발명의 목적은 타이어의 내부에 공기 포켓이 존재하는지 여부를 측정한 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 적합 및 부적합 여부를 자동으로 판단하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 제공하는 것이다.
또한, 상기와 같은 문제를 해결하기 위한 본 발명의 목적은 부적합 판정을 받은 측정이미지를 미리 학습된 딥러닝 서브모델에 적용하여 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정한 후 이를 디스플레이부로 전송함으로써 작업자가 효율적으로 타이어의 적합 및 부적합을 판정하는데 지원하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 제공하는 것이다.
또한, 상기와 같은 문제를 해결하기 위한 본 발명의 목적은 측정이미지의 쓰레스홀드가 기설정된 판정 기준치 이상일 경우, 작업자가 육안으로 타이어를 재검사하여 크로스 체크함으로써 타이어의 판독 결과에 대한 신뢰성을 향상시킬 수 있는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은 (a) 이송 컨베이어부로 타이어를 투입하는 단계; (b) 내부공기 측정설비가 상기 이송 컨베이어부로부터 이송되는 상기 타이어의 내부공기를 측정한 측정이미지를 생성하는 단계; (c) 딥러닝부가 상기 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 상기 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하는 단계; (d) 상기 딥러닝부가 상기 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 결과값이 기설정된 판단 기준치 미만인 경우, 상기 측정이미지가 적합한 것으로 판단하는 단계; 및 (e) 상기 배출롤러부가 상기 타이어를 배출시키는 단계;를 포함하고, 상기 (d) 단계에서, 상기 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 판단 결과가 적합일 경우, 상기 딥러닝부가 상기 타이어를 적합한 것으로 판단하여 상기 (e) 단계를 수행하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 제공한다.
본 발명의 실시예에 있어서, 상기 (c) 단계는, (c1) 상기 딥러닝부가 상기 내부공기 측정설비로부터 전송되는 상기 측정이미지를 수신하고 부적합정보를 추출하는 단계; 및 (c2) 상기 딥러닝부가 상기 측정이미지를 전처리하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c1) 단계는, 상기 딥러닝부가 상기 내부공기 측정설비로부터 전송되는 상기 측정이미지를 수신하는 단계; 및 상기 딥러닝부가 상기 측정이미지로부터 상기 부적합정보를 추출하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c2) 단계는, 상기 딥러닝부가 비정형 데이터세트인 부적합정보를 정형 데이터세트로 핸들링하는 단계; 상기 딥러닝부가 타이어 영역을 검출하는 단계; 및 상기 딥러닝부가 상기 핸들링된 부적합정보를 부각시키는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c) 단계는, (c3) 상기 딥러닝부가 상기 부각된 부적합정보를 기반으로 작업자에 의해 딥러닝 학습한 상기 미리 학습된 딥러닝 메인모델을 생성하는 단계; 및 (c4) 상기 딥러닝부가 상기 미리 학습된 딥러닝 메인모델에 상기 측정이미지를 적용하여 상기 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하여 상기 타이어의 부적합 발생여부를 자동으로 검출하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c) 단계는, (c5) 상기 미리 학습된 딥러닝 메인모델에 적용된 측정이미지에 대한 판단 결과가 부적합일 경우, 상기 타이어를 부적합한 것으로 판단하는 단계; 및 (c6) 상기 딥러닝부가 미리 학습된 딥러닝 서브모델에 상기 부적합한 측정이미지를 적용하여 상기 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c) 단계는, (c7) 상기 디스플레이부가 딥러닝부로부터 전송되는 상기 부적합한 측정이미지 및 상기 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 출력하는 단계; 및 (c8) 상기 작업자에 의해 상기 타이어가 재검사되는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
상기와 같은 구성에 따르는 본 발명의 효과는, 타이어의 내부에 공기 포켓이 존재하는지 여부를 측정한 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 적합 및 부적합 여부를 자동으로 판단하여 작업자의 작업 피로도를 감소시킬 수 있다.
또한, 상기와 같은 구성에 따르는 본 발명의 효과는, 부적합 판정을 받은 측정이미지를 미리 학습된 딥러닝 서브모델에 적용하여 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정한 후 이를 디스플레이부로 전송함으로써 작업자가 효율적으로 타이어의 적합 및 부적합을 판정할 수 있다.
또한, 상기와 같은 구성에 따르는 본 발명의 효과는, 측정이미지의 쓰레스홀드가 기설정된 판정 기준치 이상일 경우, 작업자가 육안으로 타이어를 재검사하여 크로스 체크함으로써 타이어의 판독 결과에 대한 신뢰성을 향상시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래기술에 따른 타이어의 내부공기를 수동으로 측정하는 방법을 나타낸 순서도이다.
도 2는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템의 동작흐름을 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 나타낸 순서도이다.
도 5는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 측정이미지를 딥러닝 모델에 적용하는 것을 나타낸 개략도이다.
도 6은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 측정이미지를 전처리하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 수행하는 딥러닝 모델에 대한 세부 알고리즘을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 측정이미지를 딥러닝 모델에 적용한 결과값인 쓰레스홀드(threshole) 수치를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 의한 타이어의 부적합 검출 비율을 나타낸 그래프이다.
도 10은 본 발명의 일 실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 부적합 판정을 받은 측정이미지를 서브 모델에 적용하기 위한 알고리즘을 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 따른 타이어의 적합 및 부적합 결과를 나타낸 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
1. 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템
이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 설명하기 위한 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템을 우선적으로 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템을 나타낸 블록도이다. 도 3은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템의 동작흐름을 나타낸 블록도이다.
본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출시스템은 이송 컨베이어부(110), 내부공기 측정설비(120), 딥러닝부(130), 디스플레이부(140) 및 배출롤러부(150)를 포함한다.
이송 컨베이어부(110)는 투입되는 타이어를 지지한다. 또한, 이송 컨베이어부(110)는 회전하면서 타이어를 내부공기 측정설비(120)로 이송시킨다.
내부공기 측정설비(120)는 이송 컨베이어부(110)에 의해 이송된 타이어의 내부에 공기 포켓(air pocket)이 존재하는지를 측정한다. 이를 위한 내부공기 측정설비(120)는 헤드부에서 진공상태를 유지한 채 타이어 내부의 공기 여부를 레이저센서로 측정할 수 있다.
딥러닝부(130)는 내부공기 측정설비(120)에서 측정된 타이어의 내부공기 유무에 대하여 측정한 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 측정이미지의 적합 및 부적합 여부를 판단한다.
여기서, 미리 학습된 딥러닝 메인모델은 작업자가 다수의 샘플이 되는 이미지를 적용하여 정립되고, 이후 미리 학습된 딥러닝 메인모델에 측정이미지가 적용되면, 미리 학습된 딥러닝 메인모델은 자동으로 측정이미지의 적합 및 부적합 여부를 자동으로 판단한다.
이때, 미리 학습된 딥러닝 메인모델에는 인풋인자로서 측정이미지(pixel), 검사일시, 타이어 패턴명, 타이어 전폭(width), 타이어 편평비, 타이어 외경, 타이어 클래스, 캘리브레이션(calibration) 배율(픽셀(pixel)과 mm변환 비율)이 적용된다.
또한, 딥러닝부(130)는 미리 학습된 딥러닝 메인모델을 필요에 따라 조정하기 위한 학습 설정값(hyperparameter)을 설정할 수 있으며, 본 발명에서는 stride=5, threshold=0.5, max_epoch=100, batch_size=8, max patience for early stopping=15, inner side trim = -3px, outer side trim = -0.5px로 설정하였다.
딥러닝부(130)는 상기한 학습 설정값을 반영한 미리 학습된 딥러닝 메인모델에 측정이미지를 적용하고, 측정이미지가 기설정된 판단 기준치 이상이면 측정이미지를 부적합한 것으로 판단하고, 측정이미지가 기설정된 판단 기준치 미만이면 측정이미지를 적합한 것으로 판단한다.
여기서, 기설정된 판단 기준치는 쓰레스홀드(threshold) 경계값이다.
딥러닝부(130)는 미리 학습된 딥러닝 메인모델에 측정이미지가 부적합한 것으로 판단되면, 부적합한 측정이미지를 미리 학습된 딥러닝 서브모델에 적용하여 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 부적합한 측정이미지에 표기할 수 있다.
상기한 딥러닝부(130)는 측정이미지에 대한 적합 및 부적합 여부에 대한 결과를 디스플레이부(140)로 전송한다.
디스플레이부(140)는 내부공기 측정설비(120)에서 측정된 타이어의 내부 공기와 관련된 측정이미지를 출력한다.
배출롤러부(150)는 측정된 타이어를 외부로 배출하는 기기로서, 다수의 롤러가 서로 이격되도록 위치하여 회전하면서 측정된 타이어를 외부로 배출시킨다.
2. 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법
이하, 도 4 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법을 나타낸 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법은 (a) 이송 컨베이어부(110)로 타이어를 투입하는 단계(S100), (b) 내부공기 측정설비(120)가 이송 컨베이어부(110)로부터 이송되는 타이어의 내부공기를 측정한 측정이미지를 생성하는 단계(S200), (c) 딥러닝부(130)가 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하는 단계(S300), (d) 딥러닝부(130)가 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 결과값이 기설정된 판단 기준치 미만인 경우, 측정이미지가 적합한 것으로 판단하는 단계(S400) 및 (e) 배출롤러부(150)가 타이어를 배출시키는 단계(S500)를 포함하고, 상기 (d) 단계에서, 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 판단 결과가 적합일 경우, 딥러닝부(130)가 타이어를 적합한 것으로 판단하여 상기 (e) 단계를 수행한다.
최초, 상기 (a) 단계에서, 타이어가 이송 컨베이어부(110)로 옮겨지면, 이송컨베이어부(110)는 회전하면서 타이어를 내부공기 측정설비(120)로 이송시킨다.
다음, 상기 (b) 단계에서, 내부공기 측정설비(120)는 이송 컨베이어부(110)에 의해 이송된 타이어의 내부에 공기 포켓(air pocket)이 존재하는지를 측정한다. 이를 위한 내부공기 측정설비(120)는 헤드부에서 진공상태를 유지한 채 타이어 내부의 공기 여부를 레이저센서로 측정할 수 있다.
도 5는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 측정이미지를 딥러닝 모델에 적용하는 것을 나타낸 개략도이다.
다음, 상기 (c) 단계는, (c1) 딥러닝부(130)가 내부공기 측정설비(120)로부터 전송되는 측정이미지를 수신하고 부적합정보를 추출하는 단계 및 (c2) 딥러닝부(130)가 측정이미지를 전처리하는 단계를 포함한다.
구체적으로 상기 (c1) 단계는, 딥러닝부(130)가 내부공기 측정설비(120)로부터 전송되는 측정이미지를 수신하는 단계 및 딥러닝부(130)가 측정이미지로부터 부적합정보를 추출하는 단계를 포함한다.
도 5를 참조하면, 도 5의 상부에 도시된 바와 같이 딥러닝부(130)는 측정이미지를 수신한 후 측정이미지를 픽셀수치로 변환시킨다. 예를 들어, 도 5에 도시된 숫자들은 측정이미지의 픽셀위치별 명함을 나타낼 수 있다.
그에 따라 딥러닝부(130)는 내부공기 측정설비(120)에서 측정된 측정이미지로부터 부적합정보를 추출하고, 부적합정보로부터 특징을 추출(S420)하며, 추출된 특징을 기반으로 유형별 적합/부적합을 분류하여 정의한다. 예시적으로 딥러닝부(130)는 부적합 이미지를 형상에 따라 C 타입, H 타입 및 F 타입의 형태로 정의할 수 있다.
도 6은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 측정이미지를 전처리하는 과정을 나타낸 도면이다.
다음, 도 6을 참조하면, 상기 (c2) 단계는, 딥러닝부(130)가 비정형 데이터세트인 부적합정보를 정형 데이터세트로 핸들링하는 단계, 딥러닝부(130)가 타이어 영역을 검출하는 단계 및 딥러닝부(130)가 핸들링된 부적합정보를 부각시키는 단계를 포함한다.
상기한 (c2) 단계는 측정이미지를 미리 학습된 메인모델에 적용하기 위하여 측정이미지를 전처리하는 과정을 설명한다.
도 7은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 수행하는 딥러닝 모델에 대한 세부 알고리즘을 나타낸 도면이다.
다음, 상기 (c2) 단계 이후, 상기 (c) 단계는, (c3) 딥러닝부(130)가 부각된 부적합정보를 기반으로 작업자에 의해 딥러닝 학습한 미리 학습된 딥러닝 메인모델을 생성하는 단계 및 (c4) 딥러닝부(130)가 미리 학습된 딥러닝 메인모델에 측정이미지를 적용하여 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하여 타이어의 부적합 발생여부를 자동으로 검출하는 단계를 더 포함한다.
구체적으로 상기 (c3) 단계에서는 작업자가 다수의 이미지를 샘플로 하여 미리 학습된 딥러닝 메인모델을 생성한다. 추가적으로 딥러닝부(130)는 부적합 이미지를 형상에 따라 C 타입, H 타입 및 F 타입의 형태로 정의할 수 있다.
추후, 딥러닝부(130)는 미리 학습된 딥러닝 모델에 측정이미지를 적용하여 측정이미지가 부적합 이미지와의 싱크로율 혹은 매칭율에 따라 측정이미지에 대한 적합 및 부적합 여부를 판단하며, 이에 대한 설명은 쓰레스홀드와 함께 구체적으로 후술하도록 한다.
다음, 상기 (c4) 단계에서는 도 7에 도시된 바와 같이 미리 학습된 딥러닝 메인모델의 세부 알고리즘을 적용하며, 예시적으로 도 7에 도시된 알고리즘은 Densenet-121알고리즘일 수 있다.
도 8은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 딥러닝부가 측정이미지를 딥러닝 모델에 적용한 결과값인 쓰레스홀드(threshole) 수치를 나타낸 도면이다.
또한, 본 발명은 상기 (c3) 단계와 상기 (c4) 단계 사이에, 딥러닝부(130)가 미리 학습된 딥러닝 메인모델에 측정이미지를 적용한 결과값인 쓰레스홀드를 산출하는 단계를 더 포함할 수 있으며, 이와 관련하여 도 8에서 상세히 도시하고 있다.
여기서, 딥러닝부(130)는 산출된 쓰레스홀드와 기설정된 판단 기준치인 기설정된 쓰레스홀드를 비교하여 측정이미지에 대한 적합 및 부적합 여부를 판단한다.
이때, 기설정된 판단 기준치는 0.5로서, 측정이미지와 부적합 이미지의 싱크로율 혹은 매칭율이 50%인 것으로 이해될 수 있다.
도 9는 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 의한 타이어의 부적합 검출 비율을 나타낸 그래프이다.
다만, 측정이미지에 따른 쓰레스홀드를 나타낸 도 9에 도시된 바와 같이 측정이미지의 부적합 검출 비율은 1.66%이다.
딥러닝부(130)는 측정이미지에 대한 쓰레스홀드가 기설정된 판단 기준치인 0.5 이상일 경우, 측정이미지가 부적합한 것으로 판단한다.
반면, 딥러닝부(130)는 측정이미지에 대한 쓰레스홀드가 기설정된 판단 기준치인 0.5미만일 경우, 측정이미지가 적합한 것으로 판단한다.
도 10은 본 발명의 일 실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에서 부적합 판정을 받은 측정이미지를 서브 모델에 적용하기 위한 알고리즘을 나타낸 도면이다.
다음, 상기 (c4) 단계 이후, 상기 (c) 단계는, (c5) 미리 학습된 딥러닝 메인모델에 적용된 측정이미지에 대한 판단 결과가 부적합일 경우, 딥러닝부(130)가 타이어를 부적합한 것으로 판단하는 단계 및 (c6) 딥러닝부(130)가 미리 학습된 딥러닝 서브모델에 부적합한 측정이미지를 적용하여 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정하는 단계를 더 포함한다.
딥러닝부(130)는 부적합한 측정이미지를 미리 학습된 딥러닝 서브모델에 적용하기 위해 도 10에 도시된 알고리즘을 적용할 수 있으며, 예시적으로 도 10에 도시된 알고리즘은 Yolo 알고리즘일 수 있다.
이에 따라 미리 학습된 딥러닝 서브모델에서는 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정이미지에 표기하여 저장한다.
도 11은 본 발명의 일실시예에 따른 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법에 따른 타이어의 적합 및 부적합 결과를 나타낸 도면이다.
다음, 상기 (c6) 단계 이후, 상기 (c) 단계는, (c7) 디스플레이부(140)가 딥러닝부(130)로부터 전송되는 부적합한 측정이미지 및 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 출력하는 단계(S410) 및 (c8) 작업자에 의해 타이어가 재검사되는 단계(S420)를 더 포함한다.
상기 (c7) 단계에서, 디스플레이부(140)는 내부공기 측정설비(120)에서 측정된 타이어의 내부 공기와 관련된 측정이미지를 출력하며, 이에 관한 내용이 도 11에 도시되어 있다.
또한, 디스플레이부(140)는 딥러닝부에서 타이어의 적합/부적합 판정에 따른 결과도 다시 디스플레이한다. 이에 따라 작업자는 디스플레이부(140)를 통해 타이어의 상태를 확인하고 재차 육안검사를 수행하여 타이어의 상태를 재검사한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 이송 컨베이어부
120: 내부공기 측정설비
130: 딥러닝부
140: 디스플레이부
150: 배출롤러부

Claims (7)

  1. (a) 이송 컨베이어부로 타이어를 투입하는 단계;
    (b) 내부공기 측정설비가 상기 이송 컨베이어부로부터 이송되는 상기 타이어의 내부공기를 측정한 측정이미지를 생성하는 단계;
    (c) 딥러닝부가 상기 측정이미지를 미리 학습된 딥러닝 메인모델에 적용하여 상기 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하는 단계;
    (d) 상기 딥러닝부가 상기 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 결과값이 기설정된 판단 기준치 미만인 경우, 상기 측정이미지가 적합한 것으로 판단하는 단계; 및
    (e) 배출롤러부가 상기 타이어를 배출시키는 단계;를 포함하고,
    상기 (c) 단계는,
    (c1) 상기 딥러닝부가 상기 내부공기 측정설비로부터 전송되는 상기 측정이미지를 수신하고 부적합정보를 추출하는 단계; 및
    (c2) 상기 딥러닝부가 상기 측정이미지를 전처리하는 단계;를 포함하며,
    상기 (c2) 단계는,
    상기 딥러닝부가 비정형 데이터세트인 부적합정보를 정형 데이터세트로 핸들링하는 단계;
    상기 딥러닝부가 타이어 영역을 검출하는 단계; 및
    상기 딥러닝부가 상기 핸들링된 부적합정보를 부각시키는 단계;를 포함하고,
    상기 (d) 단계에서, 상기 미리 학습된 딥러닝 메인모델에 적용한 측정이미지에 대한 판단 결과가 적합일 경우, 상기 딥러닝부가 상기 타이어를 적합한 것으로 판단하여 상기 (e) 단계를 수행하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 (c) 단계는,
    (c3) 상기 딥러닝부가 상기 부각된 부적합정보를 기반으로 작업자에 의해 딥러닝 학습한 상기 미리 학습된 딥러닝 메인모델을 생성하는 단계; 및
    (c4) 상기 딥러닝부가 상기 미리 학습된 딥러닝 메인모델에 상기 측정이미지를 적용하여 상기 측정이미지에 대한 적합 및 부적합 여부를 자동으로 판단하여 상기 타이어의 부적합 발생여부를 자동으로 검출하는 단계;를 더 포함하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법.
  6. 제5 항에 있어서,
    상기 (c) 단계는,
    (c5) 상기 미리 학습된 딥러닝 메인모델에 적용된 측정이미지에 대한 판단 결과가 부적합일 경우, 상기 타이어를 부적합한 것으로 판단하는 단계; 및
    (c6) 상기 딥러닝부가 미리 학습된 딥러닝 서브모델에 상기 부적합한 측정이미지를 적용하여 상기 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 측정하는 단계;를 더 포함하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법.
  7. 제6 항에 있어서,
    상기 (c) 단계는,
    (c7) 디스플레이부가 딥러닝부로부터 전송되는 상기 부적합한 측정이미지 및 상기 부적합한 측정이미지의 부적합 영역에 대한 좌표 및 면적을 출력하는 단계; 및
    (c8) 상기 작업자에 의해 상기 타이어가 재검사되는 단계;를 더 포함하는 것을 특징으로 하는 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법.
KR1020200177022A 2020-12-17 2020-12-17 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법 KR102546778B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177022A KR102546778B1 (ko) 2020-12-17 2020-12-17 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177022A KR102546778B1 (ko) 2020-12-17 2020-12-17 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법

Publications (2)

Publication Number Publication Date
KR20220086851A KR20220086851A (ko) 2022-06-24
KR102546778B1 true KR102546778B1 (ko) 2023-06-23

Family

ID=82215918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177022A KR102546778B1 (ko) 2020-12-17 2020-12-17 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법

Country Status (1)

Country Link
KR (1) KR102546778B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000249665A (ja) * 1999-03-03 2000-09-14 Bridgestone Corp タイヤの内部検査方法及び装置
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000249665A (ja) * 1999-03-03 2000-09-14 Bridgestone Corp タイヤの内部検査方法及び装置
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置

Also Published As

Publication number Publication date
KR20220086851A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109934814B (zh) 表面缺陷侦测系统及其方法
US10733721B2 (en) Automated material characterization system including conditional generative adversarial networks
EP3311144B1 (en) Colour measurement of gemstones
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
JP3854580B2 (ja) 検査装置および方法
CN108876761A (zh) 图像处理装置、电脑可读取记录媒体、图像处理系统
US20200096454A1 (en) Defect detection system for aircraft component and defect detection method for aircraft component
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
JP2019211247A (ja) コンクリート評価制御装置、コンクリート評価制御プログラム
CN111351789B (zh) 设备检测/维护的方法、系统及电子装置
CN113109240B (zh) 一种计算机实施的粮食不完善粒测定方法和系统
KR20050120420A (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
KR102546778B1 (ko) 내부공기 측정설비와 딥러닝부를 이용한 불량타이어의 자동검출방법
JP7298176B2 (ja) 欠点検査装置および学習済みモデル
EP3128323B1 (en) Method and system for detecting defects in plastic containers
CN109682445B (zh) 基于视频分析的带式输送机瞬时相对输送量测量方法
KR20180052180A (ko) 비파괴검사 이미지 분석을 통한 타이어 결함 판정 방법
CN115731208A (zh) 金属复杂面高精度缺陷检测方法、装置、设备及存储介质
WO2023053029A1 (en) Method for identifying and characterizing, by means of artificial intelligence, surface defects on an object and cracks on brake discs subjected to fatigue tests
KR102325017B1 (ko) 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법
US20230316499A1 (en) Autonomous penetrant testing
JPH10302049A (ja) 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体
CN117161624B (zh) 一种智能焊接检测装置与控制系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant