KR20220097152A - 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법 - Google Patents

심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법 Download PDF

Info

Publication number
KR20220097152A
KR20220097152A KR1020210095054A KR20210095054A KR20220097152A KR 20220097152 A KR20220097152 A KR 20220097152A KR 1020210095054 A KR1020210095054 A KR 1020210095054A KR 20210095054 A KR20210095054 A KR 20210095054A KR 20220097152 A KR20220097152 A KR 20220097152A
Authority
KR
South Korea
Prior art keywords
image
tread surface
unit
tire
tire tread
Prior art date
Application number
KR1020210095054A
Other languages
English (en)
Other versions
KR102425320B1 (ko
Inventor
조재영
김보성
Original Assignee
주식회사 오토피디아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오토피디아 filed Critical 주식회사 오토피디아
Publication of KR20220097152A publication Critical patent/KR20220097152A/ko
Application granted granted Critical
Publication of KR102425320B1 publication Critical patent/KR102425320B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/022—Tyres the tyre co-operating with rotatable rolls
    • G01M17/024—Tyres the tyre co-operating with rotatable rolls combined with tyre surface correcting or marking means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/627—Specific applications or type of materials tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/269—Various geometry objects
    • G01N2291/2692—Tyres

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Tyre Moulding (AREA)

Abstract

본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신부; 상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부; 학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하는 것을 일 특징으로 한다.

Description

심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법{TIRE TREAD WEAR DETERMINATION SYSTEM AND METHOD USING DEEP ARTIFICIAL NEURAL NETWORK}
본 발명은 타이어 트레드면 마모 판단 시스템 및 방법에 관한 것으로서, 특히 단일 이미지만으로 심층 인공신경망을 이용하여 타이어 트레드면의 마모상태를 자동으로 판단하는 시스템 및 방법에 관한 것이다.
시중의 승용차 및 화물차에 장착되는 타이어는 주행거리와 비례하여 트레드면이 마모 및 침식되며 이 때문에 일정 수준 이상의 마모가 진행된 타이어는 교체해야 안전한 주행이 가능하다.
도 1은 마모 한계선이라 불리는 마모도 측정용 구조를 나타낸다. 도 1을 참조하면, 각 차량의 타이어 제조사들은 타이어 트레드면의 마모상태의 객관적인 판단을 위해 마모 한계선(2)이라 불리는 마모도 측정용 구조를 타이어 트레드면에 포함시켜 생산하고 있다. 하지만 전문적인 지식이 없는 일반 소비자들은 이러한 마모 한계선(2)의 활용을 못 하고 있으며, 육안상으로 자차의 타이어 마모상태를 스스로 판단하는 데 어려움을 겪고 있다. 이 때문에 타이어 교체 시기가 늦춰지거나 교체가 필요하지 않은 상황에서 교체 필요 여부를 알아보기 위해 정비소 및 타이어 교환점을 불필요하게 방문하는 상황이 발생한다.
이와 관련하여, 타이어 트레드 홈의 깊이를 일일이 측정할 필요 없도록 제10-1534259호는 타이어 마모도 측정 방법 및 그 장치를 개시한다. 상기의 선행특허문헌은 타이어 마모도 측정장치가 타이어에 대한 동영상 이미지를 수신하면, 이를 기초로 3차원 형상의 이미지를 생성하고, 3차원 형성의 이미지 내 트레드 영역의 깊이를 기초로 타이어 트레드의 마모도를 측정할 수 있도록 한다.
또한, 타이어가 과하다게 마모되었음을 자동으로 경고할 수 있도록 제10-1469563호는 타이어 마모 판단 장치 및 방법을 개시한다. 상기의 선행특허문헌은 별도 센서부가 산출한 차량의 제동거리를 기초로 타이어의 마모 정도를 판단할 수 있도록 한다.
이와 같이 종래의 경우, 타이어의 마모 정도를 자동으로 판단하는 선행문헌이 다수 제안되고 있으나, 타이어 트레드면의 마모상태 측정을 위해 동영상을 촬영하고 분석하는 복잡한 작업이 필요하고 별도의 센서가 요구되는바 한계점이 존재한다. 이에 본 명세서는 과학기술정보통신부의 2020년 인공지능 온라인 경진대회 우수 성과 기업 사업화 지원을 통해 도출된 것이다. (과제번호:A0712-20-1015)
한국등록특허 제10-1534259호 한국등록특허 제10-1469563호
본 발명은 단일 이미지만을 활용해 타이어 마모도를 판단하여 알고리즘 연산에 필요한 계산량을 줄이는 것을 일 목적으로 한다.
또한, 본 발명은 별도의 센서 없이 사용자의 모바일 디바이스 및 일반 촬영장치를 이용하여 간편히 타이어 트레드면의 마모상태를 측정할 수 있도록 하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신부; 상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부; 학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하는 것을 일 특징으로 한다.
바람직하게, 상기 이미지 분할부는, 상기 이미지 수신부가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 출력 모듈을 포함할 수 있다.
바람직하게, 상기 이미지 분할부는, 상기 확률 출력 모듈이 출력한 확률을 상기 이미지 수신부가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 모듈을 더 포함할 수 있다.
바람직하게, 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시키는 학습부;를 더 포함할 수 있다.
바람직하게, 상기 학습부는, 단일 이미지로 심층 인공신경망을 학습하고, 상기 출력부는, 단일 이미지로 타이어 트레드면의 마모도를 출력하여, 연산량을 최소화할 수 있다.
바람직하게, 타이어 트레드면의 이미지를 촬영하여 상기 이미지 수신부에 전송하는 이미지 촬영부;를 더 포함할 수 있다.
바람직하게, 상기 출력부의 출력값을 표시하는 디스플레이부;를 더 포함할 수 있다.
또한 본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신단계; 상기 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할하는 이미지 분할단계; 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시키는 학습단계; 및 학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력단계;를 포함하는 것을 다른 특징으로 한다.
바람직하게, 상기 이미지 분할단계는, 상기 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 출력 단계를 포함할 수 있다.
바람직하게, 상기 이미지 분할단계는, 상기 확률 출력 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 단계를 포함할 수 있다.
본 발명에 따르면, 인공신경망 모델을 이용하여 타이어 트레드면의 마모도를 측정하는 이미지 분할부와 출력부가 단일 이미지만을 활용해 타이어 마모도를 판단할 수 있다는 이점이 있다.
또한 본 발명은, 사용자의 카메라를 이용하여 별도의 센서 없이 트레드면의 마모상태를 측정할 수 있다는 이점이 있다.
도 1은 마모 한계선이라 불리는 마모도 측정용 구조를 나타낸다.
도 2는 본 발명의 실시예에 따른 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 3은 본 발명의 실시예에 따른 알고리즘 연산이 사용자 단말기에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 4는 본 발명의 실시예에 따른 알고리즘 연산이 서버에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 5는 본 발명의 실시예에 따른 심층 인공신경망 구조를 나타낸다.
도 6는 본 발명의 실시예에 따른 차량 관리 어플리케이션의 타이어 트레드 마모 판단 수행화면을 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 2는 본 발명의 실시예에 따른 타이어 트레드면 마모 판단 시스템(1)의 구성도를 나타낸다. 도 2를 참조하면, 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10) 및 서버(30)를 포함할 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 이미지 촬영부(100), 이미지 수신부(200), 이미지 분할부(300), 출력부(400), 디스플레이부(500), 및 정보저장부(700)를 포함할 수 있다.
타이어 트레드면 마모 판단 시스템(1)은 일반 운전자들이 소지하고 있는 사용자 단말기(10)로 촬영된 단일 이미지(4)만으로 타이어 트레드면의 마모상태를 판단할 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 대량의 타이어 트레드면 이미지와 해당 이미지상으로 판단된 교체 필요 여부를 심층 인공신경망 모델에 주입하여 학습시킬 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 단일 이미지(4)의 트레드면 상태 및 트레드 사이의 음영 정보를 바탕으로 마모도를 판단할 수 있다.
타이어 트레드면 마모 판단 시스템(1)은 타이어 교환점 직원이 교환점을 방문한 고객 차량의 타이어 트레드면의 마모도를 간편하게 판단하고 고객에게 안내하는 용도로도 사용될 수 있다.
타이어 트레드면 마모 판단 시스템(1)은 마모도 분석이 원격에서 이루어질 수 있으므로 API 형태로 공급될 수 있다.
사용자 단말기(10)는 휴대가 가능하며, 네트워크를 통해 데이터를 송수신할 수 있는 단말기로서, 스마트폰, 노트북 등을 포함한다. 이때, 사용자 단말기(10)는 본 발명의 실시예에 따른 타이어 마모도를 출력하기 위한 소프트웨어 등이 설치된 단말기이다. 사용자 단말기(10)는 서버(30)와 무선 또는 유선 네트워크로 연결될 수 있다.
서버(30)는 심층 인공신경망의 학습을 위해 대량의 연산이 가능하도록 구성될 수 있다. 서버(30)는 사용자 단말기(10)와 유선 또는 무선 네트워크로 연결될 수 있다.
이미지 촬영부(100)는 타이어 트레드면의 이미지를 촬영하여 이미지 수신부(200)에 전송할 수 있다. 이미지 촬영부(100)는 사용자 단말기(10)에 구비되어 있거나 제3의 장치일 수 있다. 이미지 촬영부(100)는 촬영된 이미지를 이미지 수신부(200)에 전송할 수 있다. 이미지 촬영부(100)는 이미지 수신부(200)와 무선 또는 유선 네트워크로 연결될 수 있다. 이미지 촬영부(100)는 무선으로 이미지 수신부(200)와 연결시 CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution) 또는 WiFi 등의 광의의 이동통신망을 사용할 수 있다.
디스플레이부(500)는 출력부(400)의 출력값을 표시할 수 있다. 디스플레이부(500)는 사용자 단말기(10)에 구비되어 있거나 제3의 장치일 수 있다. 디스플레이부(500)는 사용자 또는 운전자가 촬영한 이미지와 함께 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 표시할 수 있다.
정보저장부(700)는 학습부(600)에서 사용되는 라벨링된 이미지를 저장할 수 있다. 정보저장부(700)는 사용자 또는 운전자가 타이어 트레드면의 마모도를 측정하기 위해 촬영한 이미지를 저장할 수 있다. 정보저장부(700)는 사용자 또는 운전자가 촬영한 이미지를 심층 인공신경망을 학습하는 데 사용되도록 할 수 있다. 정보저장부(700)는 이전에 측정한 타이어 트레드면의 마모도 출력값을 저장할 수 있다.
이미지 수신부(200)는 타이어 트레드면의 이미지를 수신할 수 있다. 이미지 수신부(200)는 이미지 촬영부(100) 또는 일반 디지털카메라에서 촬영한 이미지를 수신할 수 있다. 이미지 수신부(200)는 제3의 장치와 유선 또는 무선 네트워크로 연결되어 제3의 장치가 촬영 또는 저장한 이미지를 수신할 수 있다. 이미지 수신부(200)는 타이어 트레드면의 이미지를 수신받아 이미지 분할부(300)에 전달할 수 있다.
이미지 수신부(200)는 수신받은 이미지를 전처리할 수 있다. 이미지 수신부(200)는 수신받은 이미지의 픽셀값을 정규화하는 방식의 전처리를 수행할 수 있다. 본 실시예로, 이미지 수신부(200)는 수신받은 이미지의 픽셀값이 0~255 사이인 경우, 픽셀값을 -1~1 사이로 전처리(스케일링)할 수 있다. 이미지 수신부(200)는 심층 인공신경망에 입력되도록 수신받은 이미지의 사이즈와 해상도를 조정하는 전처리를 할 수 있다.
이미지 분할부(300)는 이미지 수신부(200)가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성할 수 있다. 이미지 분할부(300)는 배경 영역에 대한 이미지 정보를 줄여서 출력부(400)에서 심층 인공신경망이 타이어 트레드면에 집중하여 연산하도록 할 수 있다. 이미지 분할부(300)는 타이어 부분이 분할된 이미지를 생성하여 배경 부위에 영향을 덜 받게 할 수 있다. 따라서, 이미지 분할부(300)는 출력부(400)에서 타이어 트레드면의 마모도를 정확히 도출하게 할 수 있다.
도 5는 본 발명의 실시예에 따른 심층 인공신경망 구조를 나타낸다. 도 5를 참조하면, 이미지 분할부(300)는 확률 추출 모듈(310) 및 확률 곱셈 모듈(330)을 포함할 수 있다.
확률 추출 모듈(310)은 이미지 수신부(200)가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력할 수 있다. 확률 추출 모듈(310)은 segmentation medel을 이용하여 픽셀 레벨로 각 픽셀이 타이어에 해당하는지 배경에 해당하는지에 대한 확률(Tread Probability Mask)을 출력할 수 있다. 확률 추출 모듈(310)은 확률을 구하는 기준이 사용자에 의해 설정되지 않는다. 즉, 확률 추출 모듈(310)은 확률을 구하는 기준이 심층 인공신경망을 통한 학습에 의해 설정된다.
확률 추출 모듈(310)은 특정 픽셀이 타이어에 해당할 확률을 0에서 1 사이의 값으로 출력할 수 있다. 확률 추출 모듈(310)이 확률을 높게 출력한 경우 해당 픽셀은 타이어 일부일 확률이 높은 것으로 볼 수 있다.
확률 추출 모듈(310)이 출력한 확률이 일정한 기준치 이상이 되는 경우 해당 픽셀은 타이어 일부로 볼 수 있다. 확률 추출 모듈(310)은 사용자에 의해 상기 기준치가 설정될 수 있다. 또한, 확률 추출 모듈(310)은 심층 인공신경망의 학습을 통해 상기 기준치가 설정될 수도 있다. 본 실시예로, 확률 추출 모듈(310)이 출력한 확률이 0.5 이상일 때 해당 픽셀은 타이어 일부로 볼 수 있다.
확률 곱셈 모듈(330)은 확률 출력 모듈이 출력한 확률을 이미지 수신부(200)가 수신한 이미지에 대응되는 픽셀별로 곱할 수 있다. 확률 곱셈 모듈(330)은 픽셀별로 타이어에 해당하는 확률을 기존의 이미지의 픽셀값에 곱하여 타이어와 관계없는 배경 부분의 정보를 희석할 수 있다. 확률 곱셈 모듈(330)은 출력된 확률을 입력된 이미지에 대응되는 픽셀별로 곱하여, 배경 영역에 대한 정보가 줄고 타이어 트레드면에 대한 정보가 강조된 이미지를 생성할 수 있다.
본 실시예로, 확률 곱셈 모듈(330)은 CNN 기반의 심층 인공신경망에서 생성되는 모델인 Activation Map(301)에 Tread Probability Mask(303)를 곱한 Mutiplied Activation Map(305)를 생성할 수 있다. 확률 곱셈 모듈(330)은 Mutiplied Activation Map(305)을 출력부(400)에 입력할 수 있다.
Mutiplied Activation Map(305)은 타이어 부분과 배경 부분이 분할된 이미지이다. Mutiplied Activation Map(305)는 출력부(400)가 타이어 트레드면의 마모도를 출력할 때, 배경 부위에 영향을 적게 받도록 할 수 있다.
출력부(400)는 학습된 심층 인공신경망을 이용하여 이미지 분할부(300)가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력할 수 있다. 출력부(400)는 이미지 분할부(300)가 생성한 이미지를 학습된 심층 인공신경망에 입력하여 이미지 내 픽셀을 분석하는 방식으로 타이어 트레드면의 마모상태를 측정할 수 있다.
출력부(400)는 심층 인공신경망 모델로 인공신경망 기반의 뉴럴 네트워크 알고리즘(DNN, CNN)을 이용할 수 있다. 심층 인공신경망 모델로 CNN(Convolutional Neural Network)을 사용하는 경우 최소한으로 전처리만으로도 인공신경망을 사용할 수 있다. CNN(Convolutional Neural Network)은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공신경망 계층들로 이루어져 있으며, 가중치와 통합 계층들을 추가로 활용한다. CNN(Convolutional Neural Network)은 기존의 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
출력부(400)가 출력하는 값으로 운전자는 타이어 교체의 필요성을 판단할 수 있다. 출력부(400)가 출력하는 값이 ‘보통’인 경우에는 교체의 필요성이 낮음을 의미하고, ‘교체’의 경우에는 교체 필요성이 있음을 의미하며, ‘위험’의 경우에는 즉시 교체 필요성이 있음을 의미한다.
학습부(600)는 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시킬 수 있다. 학습부(600)에서 사용되는 이미지는 10년 이상 타이어 마모도를 평가해온 세 명 이상의 타이어 전문가 어노테이션 그룹을 구성하여 투표(majority voting) 방식으로 보통, 교체, 또는 위험 중 어느 하나로 구분하여 라벨링된 것일 수 있다.
학습부(600)는 학습시킬 심층 인공신경망의 입력값으로 타이어 부분과 배경 부분이 분할된 이미지를 사용할 수 있다. 학습부(600)는 이미지 분할부(300)를 거친 이미지를 입력값으로 사용할 수 있다. 학습부(600)는 타이어 부분이 강조된 이미지를 사용하여 학습의 정확도와 정밀도를 높일 수 있다.
학습부(600)는 단일 이미지로 심층 인공신경망을 학습하고, 출력부(400)는 단일 이미지로 타이어 트레드면의 마모도를 출력하여, 타이어 트레드면 마모 판단 시스템(1)의 연산량을 최소화할 수 있다. 단일 이미지(4)는 알고리즘 연산에 있어서, 동영상이나 복수의 이미지보다 필요한 계산량이 적다는 이점이 있다.
본 실시예에 따르면 사용자 또는 운전자는 단일 이미지(4)만으로 간단히 타이어 트레드면의 마모도를 측정할 수 있다. 사용자 또는 운전자는 스마트폰으로 촬영한 단일 이미지(4)만으로 타이어 트레드면의 마모상태에 따라 교체 필요 여부를 보통, 교체, 또는 위험 3단계로 확인할 수 있어 타이어 교체 여부를 확인하기 위해 카센터를 방문하지 않아도 된다.
도 3은 본 발명의 실시예에 따른 알고리즘 연산이 사용자 단말기(10)에서 이루어지는 타이어 트레드면 마모 판단 시스템(1)의 구성도를 나타낸다. 도 3을 참조하면, 사용자 단말기(10)는 이미지 촬영부(100), 이미지 수신부(200), 이미지 분할부(300), 출력부(400), 및 디스플레이부(500) 포함할 수 있다. 서버(30)는 학습부(600) 및 정보저장부(700)를 포함할 수 있다. 본 실시예에 따르면, 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 심층 인공신경망을 학습시킨다. 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 출력부(400)로 학습된 심층 인공신경망을 전송한다. 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 포함된 이미지 분할부(300)와 출력부(400)에서 타이어 트레드면의 마모도를 출력한다.
도 4는 본 발명의 실시예에 따른 알고리즘 연산이 서버(30)에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다. 도 4를 참조하면, 사용자 단말기(10)는 이미지 촬영부(100), 이미지 수신부(200), 및 디스플레이부(500)를 포함할 수 있다. 서버(30)는 이미지 분할부(300), 출력부(400), 학습부(600), 및 정보저장부(700)를 포함할 수 있다. 본 실시예에 따르면, 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 심층 인공신경망을 학습시킨다. 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 포함된 이미지 수신부(200)에서 서버(30)에 포함된 이미지 분할부(300)로 이미지를 전송한다. 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 이미지 분할부(300)와 출력부(400)에서 타이어 트레드면의 마모도를 출력한다.
본 발명의 다른 실시예로, 타이어 트레드면 마모 판단 방법은 이미지 수신단계, 이미지 분할단계, 학습단계, 및 출력단계를 포함할 수 있다.
이미지 수신단계는 타이어 트레드면의 이미지를 수신할 수 있다. 이미지 수신단계는 전술한 이미지 수신부(200)에서 수행되는 동작을 의미한다.
이미지 분할단계는 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할할 수 있다. 이미지 분할 단계는 전술한 이미지 분할부(300)에서 수행되는 동작을 의미한다.
이미지 분할단계는 확률 출력 단계 및 확률 곱셈 단계를 포함할 수 있다.
확률 출력 단계는 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력할 수 있다. 확률 출력 단계는 전술한 확률 출력 모듈(310)에서 수행되는 동작을 의미한다.
확률 곱셈 단계는 확률 출력 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱할 수 있다. 확률 곱셈 단계는 전술한 확률 곱셈 모듈(330)에서 수행되는 동작을 의미한다.
학습단계는 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시킬 수 있다. 학습단계는 전술한 학습부(600)에서 수행되는 동작을 의미한다.
출력단계는 학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력할 수 있다. 출력단계는 전술한 출력부(400)에서 수행되는 동작을 의미한다.
도 6는 본 발명의 실시예에 따른 차량 관리 어플리케이션의 타이어 트레드 마모 판단 수행화면을 나타낸다. 도 6를 참조하면, 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 저장되어 실행될 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 어플리케이션의 형태로 사용자 단말기(10)에 저장될 수 있다.
사용자 또는 운전자는 차량 관리 어플리케이션을 실행하여 어플리케이션에 포함된 타이어 트레드면 마모 판단 시스템(1)을 실행시킬 수 있다. 운전자는 어플리케이션에서 촬영 부분을 터치하여 타이어 부분을 촬영할 수 있다. 어플리케이션에서는 마모상태 판단의 정확도를 높이기 위해 예시 사진을 제시할 수 있다.
사용자 또는 운전자가 촬영한 단일 이미지(4)를 이미지 수신부(200)가 수신하고 출력부(400)가 마모상태를 출력한다. 어플리케이션은 최종적인 측정값에 따라 타이어 교체 필요성을 보통, 교체, 또는 위험 중 어느 하나로 사용자 단말기(10)에 디스플레이할 수 있다.
본 발명의 실시예에 따른 차량 관리 어플리케이션을 이용하면 단일 이미지(4)로부터의 마모도 측정을 통해 차량에 부착하는 별도 센서 없이 일반 운전자들이 보유하고 있는 모바일 디바이스의 카메라 장치를 활용하여 운전자가 직접 트레드 두께를 측정할 필요 없이 타이어의 마모도를 실시간으로 확인할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
1 : 타이어 트레드면 마모 판단 시스템
2 : 마모 한계선
4 : 단일 이미지
10 : 사용자 단말기
30 : 서버
100 : 이미지 촬영부
200 : 이미지 수신부
300 : 이미지 분할부
301 : Activation Map
303 : Tread Probability Mask
305 : Mutiplied Activation Map
310 : 확률 추출 모듈
330 : 확률 곱셈 모듈
400 : 출력부
500 : 디스플레이부
600 : 학습부
700 : 정보저장부

Claims (10)

  1. 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템에 있어서,
    타이어 트레드면의 이미지를 수신하는 이미지 수신부;
    상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부;
    학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하는 타이어 트레드면 마모 판단 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 분할부는,
    상기 이미지 수신부가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 출력 모듈을 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
  3. 제 2 항에 있어서,
    상기 이미지 분할부는,
    상기 확률 출력 모듈이 출력한 확률을 상기 이미지 수신부가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 모듈을 더 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
  4. 제 1 항에 있어서,
    트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시키는 학습부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
  5. 제 4 항에 있어서,
    상기 학습부는,
    단일 이미지로 심층 인공신경망을 학습하고,
    상기 출력부는,
    단일 이미지로 타이어 트레드면의 마모도를 출력하여,
    연산량을 최소화하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
  6. 제 1 항에 있어서,
    타이어 트레드면의 이미지를 촬영하여 상기 이미지 수신부에 전송하는 이미지 촬영부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
  7. 제 1 항에 있어서,
    상기 출력부의 출력값을 표시하는 디스플레이부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
  8. 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 방법에 있어서,
    타이어 트레드면의 이미지를 수신하는 이미지 수신단계;
    상기 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할하는 이미지 분할단계;
    트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 이미지를 라벨링하여 심층 인공신경망을 학습시키는 학습단계; 및
    학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력단계;를 포함하는 타이어 트레드면 마모 판단 방법.
  9. 제 8 항에 있어서,
    상기 이미지 분할단계는,
    상기 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 출력 단계를 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 방법.
  10. 제 9 항에 있어서,
    상기 이미지 분할단계는,
    상기 확률 출력 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 단계를 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 방법.
KR1020210095054A 2020-12-30 2021-07-20 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법 KR102425320B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200187687 2020-12-30
KR20200187687 2020-12-30

Publications (2)

Publication Number Publication Date
KR20220097152A true KR20220097152A (ko) 2022-07-07
KR102425320B1 KR102425320B1 (ko) 2022-07-27

Family

ID=82397606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210095054A KR102425320B1 (ko) 2020-12-30 2021-07-20 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102425320B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002720A (ko) * 2010-07-01 2012-01-09 넥센타이어 주식회사 인공 신경망을 이용한 타이어 성능 예측 방법
KR101469563B1 (ko) 2013-08-21 2014-12-15 현대오트론 주식회사 타이어 마모 정도 판단 장치 및 방법
KR101534259B1 (ko) 2015-01-29 2015-07-06 주식회사 다인 타이어 마모도 측정 방법 및 그 장치
KR101556354B1 (ko) * 2015-03-02 2015-10-01 주식회사 다인 휴대 단말기를 이용한 타이어 결함 상태 정보 제공 방법
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
KR101977291B1 (ko) * 2017-09-28 2019-05-10 넥센타이어 주식회사 타이어의 마모도 측정 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20200115704A (ko) * 2019-03-08 2020-10-08 한국전자통신연구원 영상 인식 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002720A (ko) * 2010-07-01 2012-01-09 넥센타이어 주식회사 인공 신경망을 이용한 타이어 성능 예측 방법
KR101469563B1 (ko) 2013-08-21 2014-12-15 현대오트론 주식회사 타이어 마모 정도 판단 장치 및 방법
KR101534259B1 (ko) 2015-01-29 2015-07-06 주식회사 다인 타이어 마모도 측정 방법 및 그 장치
KR101556354B1 (ko) * 2015-03-02 2015-10-01 주식회사 다인 휴대 단말기를 이용한 타이어 결함 상태 정보 제공 방법
JP2019035626A (ja) * 2017-08-10 2019-03-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
KR101977291B1 (ko) * 2017-09-28 2019-05-10 넥센타이어 주식회사 타이어의 마모도 측정 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20200115704A (ko) * 2019-03-08 2020-10-08 한국전자통신연구원 영상 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102425320B1 (ko) 2022-07-27

Similar Documents

Publication Publication Date Title
EP3520045B1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
US20200265239A1 (en) Method and apparatus for processing video stream
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
US20210174146A1 (en) Training set sufficiency for image analysis
US10740964B2 (en) Three-dimensional environment modeling based on a multi-camera convolver system
KR20190060817A (ko) 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
EP2959454B1 (en) Method, system and software module for foreground extraction
CN111507210A (zh) 交通信号灯的识别方法、系统、计算设备和智能车
JP2021111273A (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN112926461A (zh) 神经网络训练、行驶控制方法及装置
CN113743163A (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
KR102425320B1 (ko) 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법
CN113240750A (zh) 三维空间信息测算方法及装置
US20230419469A1 (en) Tire tread wear determination system and method using deep artificial neural network
EP4296089A1 (en) Tire tread wear determination system and method using deep artificial neural network
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
JP2020166315A (ja) 学習データの生成方法、トレーニング方法、予測モデル、コンピュータプログラム
CN112926498B (zh) 基于多通道融合和深度信息局部动态生成的活体检测方法及装置
JP2023183769A (ja) 深層人工ニューラルネットワークを用いたタイヤトレッド面摩耗判断システム及び方法
CN110738225B (zh) 图像识别方法及装置
CN113393494A (zh) 模型训练及目标跟踪方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right