KR102079862B1 - 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법 - Google Patents

타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법 Download PDF

Info

Publication number
KR102079862B1
KR102079862B1 KR1020180053481A KR20180053481A KR102079862B1 KR 102079862 B1 KR102079862 B1 KR 102079862B1 KR 1020180053481 A KR1020180053481 A KR 1020180053481A KR 20180053481 A KR20180053481 A KR 20180053481A KR 102079862 B1 KR102079862 B1 KR 102079862B1
Authority
KR
South Korea
Prior art keywords
tire
wear
image information
image
tread
Prior art date
Application number
KR1020180053481A
Other languages
English (en)
Other versions
KR20190129202A (ko
Inventor
이도규
Original Assignee
이도규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이도규 filed Critical 이도규
Priority to KR1020180053481A priority Critical patent/KR102079862B1/ko
Publication of KR20190129202A publication Critical patent/KR20190129202A/ko
Application granted granted Critical
Publication of KR102079862B1 publication Critical patent/KR102079862B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60CVEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C11/00Tyre tread bands; Tread patterns; Anti-skid inserts
    • B60C11/24Wear-indicating arrangements
    • B60C11/246Tread wear monitoring systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06Q50/30
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Tires In General (AREA)

Abstract

본 발명은 타이어의 외관을 카메라로 촬영하여 타이어 트레드 이미지 정보를 취득함으로써 이미지 센싱 장치 및 레이저와 같은 별도의 측정기기 없이도 타이어 마모도의 상태 정보를 취득할 수 있는 타이어의 트레드(tread) 이미지를 이용한 마모도 측정 시스템 및 방법에 관한 것으로, 카메라로 촬영한 타이어의 트레드(tread) 이미지를 획득하는 제 1단계와, 상기 타이어의 트레드 이미지 정보에서 홈 영역과 표면 영역을 검출하는 제 2단계와, 상기 제 2단계에서 검출한 영역의 이미지 정보를 관리 서버의 데이터베이스에 구축된 기데이터와 비교하여 상기 타이어의 마모도를 평가하는 제 3단계와, 상기 이미지 정보를 관리 서버에 저장하여 데이터베이스를 구축하는 제 4단계 및 상기 타이어의 마모도 평가 결과를 기반으로 전문가의 피드백, 근방 타이어 전문점 서칭 결과 및 필요한 제품에 대한 상품 정보를 포함하는 서비스를 사용자의 PC 또는 휴대용 단말기로 제공하는 제 5단계를 포함하며, 타이어 이미지 정보를 취득하여 관리 프로세서를 생성하며, 상기 타이어 이미지 정보의 잡음 제거, 노이즈 제거, 윤곽선 추출, 군집화 및 홈 깊이 인식을 포함하는 이미지 센싱 작업을 통한 마모도 평가 결과를 데이터베이스화하는 관리 서버와, 상기 관리 서버에서 이미지 센싱 작업이 완료된 타이어 이미지 정보에 대해 피드백을 제시하고, 상기 피드백을 기반으로 필요한 상품 정보 및 근방의 상품 판매점 서칭 정보를 제공하는 전문가 단말기 및 상기 관리 서버에 카메라로 촬영한 타이어 이미지 정보를 제공하고, 상기 타이어의 마모도에 대한 정보를 수신하는 사용자 단말기를 포함하는 것을 기술적 요지로 한다.

Description

타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법{System and method for measuring wear rate using tread image of tire}
본 발명은 타이어의 트레드(tread) 이미지 정보를 통해 타이어의 마모도를 측정하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 타이어의 외관을 카메라로 촬영하여 타이어 트레드 이미지 정보를 취득함으로써 이미지 센싱 장치 및 레이저와 같은 별도의 측정기기 없이도 타이어 마모도의 상태 정보를 취득할 수 있는 타이어의 트레드(tread) 이미지를 이용한 마모도 측정 시스템 및 방법에 관한 것이다.
차량은 차량의 타이어와 도로의 마찰력에 의해 주행한다 이 때 타이어의 트레드는 도로 표면과 직접 접촉하기 때문에 마모가 발생하고, 타이어 트레드의 마모는 차량 탑승자의 안전과 직결되기 때문에 타이어 평가에 있어서 주요한 요소로 인식된다.
일반적으로 타이어 트레드에는 제동력과 구동력 향상을 위해서 깊게 홈이 파여 있으며, 이 홈을 그루브라고 부른다. 즉, 타이어 트레드에 무늬가 없는 경우에는 미끄러짐이 많이 발생하여 위험하기 때문에 홈을 형성함으로써, 안전 주행을 돕는다.
타이어 트레드의 홈의 깊이 및 형성 방향에 따라서 차량이 주행할 때 발생하는 소음 및 트레드 마모량이 크게 좌우되며, 홈의 형성 방향에 따라서 리브형, 러그형, 블럭형 등 다양한 패턴의 타이어 트레드가 있다.
전술한 대로 차량이 주행함에 따라서 타이어의 트레드가 마모되기 때문에 트레드에 형성된 홈의 깊이가 얕아지게 되고, 이 과정이 반복되면 결국 트레드에 무늬가 없는 것과 같은 상태가 되어 제동력이 감소하므로 차량 탑승자의 안전을 위협하게 된다.
이로 인해서 종래에는 운전자가 타이어 트레드의 깊이를 직접 측정하여 깊이가 얕아진 경우에는 타이어를 교체하였고, 이를 위해서 타이어 생산 업체는 타이어의 사이드 월에 삼각형을 표시해 두었다. 그리고 타이어의 원주에 수직인 방향으로 이 삼각형을 따라가면 홈의 일부에 돌출된 부분이 있고, 운전자는 돌출된 부분의 높이가 홈이 파이지 않은 트레드 높이와 같아지는 경우에 타이어를 교체할 시점이라고 판단할 수 있었다.
이처럼 종래에는 타이어 트레드가 얼마나 마모되었는지 확인하기 위해서는 운전자가 직접 육안으로 타이어 트레드를 확인해야 하는 불편이 있었고, 차량 주행 중에는 이를 확인할 수 없다는 문제가 있었다.
또한, 사용자가 직접 타이어 트레드의 깊이를 일일이 측정하여 교체 시기를 파악하여는 불편함이 존재하며, 일부 운전자는 타이어 트레드의 마모도가 타이어를 교체할 정도인지 파악하는 방법조차 인지하지 못하는 경우가 있다.
대한민국 등록특허공보 제10-1534259호(2015.01.29) 대한민국 등록특허공보 제10-1388465호(2012.11.26)
본 발명은 상기와 같은 문제점을 해결하기 위해 창출된 것으로, 자동차 타이어의 트레드(tread) 이미지 정보를 이용하여 타이어의 마모도 측정 및 그에 따른 문제점을 해결하기 위한 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법을 제공한다.
또한, 상기 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법을 통해 단순하게 타이어의 마모도에 대한 평가만 하는 것이 아니라 사용자 주변 타이어 전문점 서칭 및 실시간 타이어 상태에 대한 자문을 제공하고자 한다.
한편, 본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 타이어의 트레드 이미지를 이용한 마모도 측정 방법은 카메라로 촬영한 타이어의 트레드(tread) 이미지를 획득하는 제 1단계와, 상기 타이어의 트레드 이미지 정보에서 홈 영역과 표면 영역을 검출하는 제 2단계와, 상기 제 2단계에서 검출한 영역의 이미지 정보를 관리 서버의 데이터베이스에 구축된 기데이터와 비교하여 상기 타이어의 마모도를 평가하는 제 3단계와, 상기 이미지 정보를 관리 서버에 저장하여 데이터베이스를 구축하는 제 4단계 및 상기 타이어의 마모도 평가 결과를 기반으로 전문가의 피드백, 근방 타이어 전문점 서칭 결과 및 필요한 제품에 대한 상품 정보를 포함하는 서비스를 사용자의 PC 또는 휴대용 단말기로 제공하는 제 5단계를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 제 2단계는 상기 제 1단계에서 취득한 타이어의 트레드 이미지 정보에 밝기 및 대비 보정, 노이즈 및 잡음 제거를 포함하는 전처리 작업을 수행하는 (가)단계와, 상기 타이어의 트레드 이미지 정보에 허프 원검출(Hough Circle) 또는 RANSAC 알고리즘을 활용한 이진화 및 영역 보정작업, 윤곽선 추출 및 군집화 작업을 수행하는 (나)단계를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 제 4단계는 타이어 마모도 분석 결과의 신뢰도와 정확도 향상을 위해, 상기 이미지 정보를 머신 러닝(Machine Learning) 또는 딥 러닝(Deep Learning) 알고리즘을 통한 지속적인 업데이트를 하는 것을 특징으로 한다.
본 발명의 바람직한 실시예에 따라, 상기 알고리즘은, 상기 이미지 정보를 관리 서버에 업로드 하는 (1)단계와, 상기 업로드된 정보에 타이어 전문가의 피드백을 추가하여 가설 혹은 공식을 세움으로서 학습된 모델을 정의하는 (2)단계와, 상기 학습된 모델을 새로운 이미지 정보의 정확한 마모도를 예측할 수 있도록 데이터베이스 구축을 통해 관리하는 (3)단계를 포함한다.
본 발명의 바람직한 실시예에 따라, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템은 타이어 이미지 정보를 취득하여 관리 프로세서를 생성하며, 상기 타이어 이미지 정보의 잡음 제거, 노이즈 제거, 윤곽선 추출, 군집화 및 홈 깊이 인식을 포함하는 이미지 센싱 작업을 통한 마모도 평가 결과를 데이터베이스화하는 관리 서버와, 상기 관리 서버에서 이미지 센싱 작업이 완료된 타이어 이미지 정보에 대해 피드백을 제시하고, 상기 피드백을 기반으로 필요한 상품 정보 및 근방의 상품 판매점 서칭 정보를 제공하는 전문가 단말기 및 상기 관리 서버에 카메라로 촬영한 타이어 이미지 정보를 제공하고, 상기 타이어의 마모도에 대한 정보를 수신하는 사용자 단말기를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 관리 서버는 상기 사용자 단말기로부터 타이어 이미지 정보를 수신하여 관리 프로세서를 생성하는 관리 프로세서 생성부와, 상기 이미지 정보를 이미지 센싱 작업을 통해 홈 영역과 표면 영역을 검출하는 이미지 인식부와, 상기 검출한 영역과 데이터베이스에 구축된 기데이터를 비교하여 타이어의 마모도를 측정하는 마모도 측정부와, 상기 마모도 측정이 완료된 이미지 정보를 관리 서버에 저장하는 저장부와, 상기 마모도 측정 결과를 사용자 단말기 및 전문가 단말기로 전송하는 데이터 전송부와, 상기 전문가 단말기로부터 마모도 측정 결과에 따른 필요 상품 정보와 상품 판매 전문점 정보를 포함한 피드백을 수신하고, 상기 피드백을 사용자 단말기로 전송하는 피드백 매칭부를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 전문가 단말기는 상기 관리 서버로부터 마모도 측정 결과를 수신하는 제1데이터 수신부와, 상기 마모도 측정 결과에 따른 피드백을 제공하는 피드백 제공부를 포함한다.
본 발명의 바람직한 실시예에 따라, 상기 사용자 단말기는 타이어 이미지를 촬영하는 촬영부와, 상기 타이어 이미지를 관리 서버로 전송하는 이미지 전송부와, 상기 관리 서버로부터 마모도 측정 결과를 수신하는 제2데이터 수신부와, 상기 관리 서버로부터 전문가의 피드백을 제공받는 알림부를 포함한다.
상기 과제의 해결 수단에 의해, 본 발명의 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법은 타이어 마모의 형태 중 외관상 판단하기 힘든 편마모 상태의 경우에 전문가가 타이어의 트레드 이미지를 보고 타이어의 상태를 전반적으로 평가함으로써, 편의성을 향상시키는 타이어 관리를 제고시킬 수 있는 이점이 있다.
또한, 기계학습(Machine Learnig) 또는 딥러닝 알고리즘 구축을 통해 사용자의 이미지가 증가할수록 검증모델의 신뢰도가 높아지는 효과가 있다. 즉, 기존의 마모도 측정시스템에서 사진 한 장만으로 신뢰도 있는 평가모델을 적용하기 어려움이 있었던 것과는 달리, 본 발명의 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법을 통해 추출한 데이터를 기학습 된 학습기를 통해 재연산함으로써 평가모델의 신뢰성을 제고시킬 수 있는 이점이 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 해당 업계 종사자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 순서도이다.
도 2는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 2단계(S200)의 순서도이다.
도 3은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 4단계(S400)의 순서도이다.
도 4는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 구성도이다.
도 5는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 관리서버(10)의 구성도이다.
도 6은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 전문가 단말기(20)의 구성도이다.
도 7은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 사용자 단말기(30)의 구성도이다.
도 8은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 취득하는 모습을 나타낸 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법의 데이터베이스 구축 과정을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예를 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하여지도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것이 아니다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한, 복수형도 포함한다.
이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 한편, 해당 기술 분야의 통상적인 지식을 가진 자로부터 용이하게 알 수 있는 구성과 그에 대한 작용 및 효과에 대한 도시 및 상세한 설명은 간략히 하거나 생략하고 본 발명과 관련된 부분들을 중심으로 상세히 설명하도록 한다.
도 1은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 타이어의 트레드 이미지를 이용한 마모도 측정 방법은 제 1단계(S100), 제 2단계(S200), 제 3단계(S300), 제 4단계(S400) 및 제 5단계(S500)를 포함한다.
제 1단계(S100)는 사용자가 카메라로 촬영한 자동차 타이어의 트레드(tread) 이미지를 획득한다. 상기 타이어 트레드 이미지를 통해 자동차 타이어의 홈(furrow) 정보를 확인할 수 있으며, 종래의 타 발명과는 다르게 사진 한 장만으로도 타이어 마모도의 상태 측정이 가능하다.
제 2단계(S200)는 상기 타이어의 트레드 이미지 정보에서 홈 영역과 표면 영역을 검출한다. 이때, 데이터를 추출하는 원 검출 알고리즘인 RANSAC와 데이터의 형태를 차선검출에 유리한 형태로 변환하는 호프 원 검출(Hough Circle)을 이용하여 상기 타이어 트레드 이미지 정보로부터 필요한 영역 또는 정보를 검출하는 것을 특징으로 한다.
제 3단계(S300)는 상기 제 2단계(S200)에서 검출한 영역의 이미지 정보를 관리 서버의 데이터베이스에 구축된 기데이터와 비교하여 상기 타이어의 마모도를 평가한다. 이때, 상기 데이터베이스에 구축된 기데이터와 비교하는 것은 사진 한 장만으로의 신뢰도 있는 평가모델을 적용하기 위해 학습되어진 기데이터를 이용하여 평가 모델의 신뢰성을 제고하는 것으로, 다른 이미지 센싱 기반 플랫폼과의 차별성이라 할 수 있다.
제 4단계(S400)는 상기 이미지 정보를 관리 서버에 저장하여 데이터베이스를 구축한다. 이때, 상기 제 4단계(S400)는 데이터베이스화된 기데이터를 생성하기 위해, 타이어 마모도 분석 결과의 신뢰도와 정확도 향상을 위한 머신 러닝(Machine Learning) 또는 딥 러닝(Deep Learning) 알고리즘을 통한 지속적인 업데이트를 하며, 상기 머신 러닝(Machine Learning)은 사람이 학습하듯이 컴퓨터에도 데이터들을 주어 학습하게 함으로써 새로운 지식을 얻어내게 하는 분야로, 즉, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야라고 할 수 있다. 또한, 상기 딥 러닝(Deep Learning)은 인공신경망의 한계를 극복하기 위해 제안된 기계학습 방법으로 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다.
제 5단계(S500)는 상기 자동차 타이어의 마모도 평가 결과를 기반으로 전문가의 피드백, 근방 타이어 전문점 서칭 결과 및 필요한 제품에 대한 상품 정보를 포함하는 서비스를 사용자 PC 또는 휴대용 단말기 등의 사용자 단말기로 제공한다. 이러한 점은 단순하게 마모도에 대한 평가뿐만 아니라 사용자 주변 타이어전문점 서칭 및 실시간 타이어 상태에 대한 자문을 통해 플랫폼 내에서 비즈니스 모델을 수행함으로써 기술개발과 동시에 사업화를 실시할 수 있는 이점이 있다.
도 2는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 2단계의 순서도이다.
도 2에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 2단계(S200)는 (가)단계(S210)와 (나)단계(S220)를 포함한다.
(가)단계(S210)는 상기 제 1단계(S100)에서 취득한 타이어의 트레드 이미지 정보에 밝기 및 대비 보정, 노이즈 및 잡음 제거를 포함하는 전처리 작업을 수행하는 단계다. (나)단계(S220)는 상기 타이어의 트레드 이미지 정보에 허프 원검출 또는 RANSAC 알고리즘을 활용한 이진화 및 영역 보정작업, 윤곽선 추출 및 군집화 작업을 수행하는 단계다.
보다 상세하게는, 상기 타이어 트레드 이미지를 이진화하고 획득 이미지에 대한 영역 보정 과정을 거친 후 잡음제거 또는 노이즈 필터링, Morphology method, 윤곽선 추출, 군집화 작업을 통해 이미지의 특징을 추출한다. 또한, 상기 트레드 이미지의 특징을 추출한 결과를 바탕으로 타이어의 홈 깊이를 인식하며, 상기 트레드 이미지의 홈 깊이를 인식하기 위해 데이터베이스에 구축된 타이어 마모도에 대한 기데이터와 비교 한다. 이러한 과정을 통해 타이어의 마모도를 평가할 수 있다.
도 3은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 4단계의 순서도이다.
도 3에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 방법의 제 4단계(S400)는 (1)단계(S410), (2)단계(S420) 및 (3)단계(S430)를 포함한다.
(1)단계(S410)는 상기 타이어 트레드 이미지 정보를 관리 서버에 업로드 한다. 이는, 사용자들로부터 계속적으로 업로드 된 데이터를 통해 많은 양의 빅데이터 결과로 학습 데이터량이 증가하면서 본 발명의 신뢰도를 높이기 위함이다. 또한, 이에 따라 수집된 타이어 트레드 이미지 자료를 일정 신뢰도 수준 이상이 될 때까지 계속적인 학습 작업을 실시한다.
(2)단계(S420)는 상기 업로드 된 정보에 타이어 전문가의 피드백을 추가하여 가설 혹은 공식을 세움으로서 학습된 모델을 정의한다. 감독학습(Supervised learning) 기반의 머신러닝 또는 딥러닝 알고리즘에서 계속적으로 사용자들로부터 업로드된 데이터에 타이어 전문점의 전문가로부터 판단과 경험을 추가하여 보다 전문적인 마모도 상태 평가 및 분석을 할 수 있도록 한다.
(3)단계(S430)는 상기 학습된 모델을 새로운 이미지 정보의 정확한 마모도를 예측할 수 있도록 데이터베이스 구축을 통해 관리하는 단계다. 상기 구축 또는 축적되는 데이터가 많을수록 신뢰도가 높은 머신러닝 혹은 딥러닝 알고리즘을 활용할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 구성도이다.
도 4에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템은 관리서버(10), 전문가 단말기(20) 및 사용자 단말기(30)를 포함한다.
관리서버(10)는 상기 타이어 이미지 정보를 취득하여 관리 프로세서를 생성하고, 상기 타이어 이미지 정보의 잡음 제거, 노이즈 제거, 윤곽선 추출, 군집화 및 홈 깊이 인식을 포함하는 이미지 센싱 작업을 수행하며, 상기 이미지 센싱 작업을 통한 마모도 평가 결과를 데이터베이스화한다. 이때, 상기 머신 러닝 알고리즘 구축을 통해 사용자의 타이어 트레드 이미지가 증가할수록 검증 모델의 신뢰도가 높아질 수 있다.
본 발명의 바람직한 실시예에 따라, 상기 관리 서버(10)에서의 데이터베이스화를 통한 이원화된 데이터베이스의 관리를 통해 제공 솔루션의 반응속도가 빠르고 데이터베이스의 로딩 및 업로드를 무선 네트워크를 통해 구축함으로써 계속적인 제품 업그레이드가 가능하도록 한다. 상기 알고리즘에는 전문가의 피드백이 반영되는 것이 특징으로, 타이어의 마모 상태 중 편 마모에 대해서는 이미지로 판단하기 힘들 수 있는데, 이러한 경우에는 전문가가 사진을 직접 보고 타이어의 상태를 전반적으로 평가할 수 있는 평가 모델을 탑재함으로써 타이어의 전반적인 문제점에 대한 정보를 사용자가 손쉽게 취득할 수 있도록 한다.
더불어, 상기 전문가 및 판매점에서는 사용자들에게 마모도의 상태를 피드백 하면서 광고를 올릴 수 있는 웹 또는 모바일 기반의 플랫폼을 형성할 수 있으며, 고객관리시스템(CMS) 형태의 플랫폼 구축도 가능하다. 사용자는 타이어 트레드 깊이에 따른 타이어 교체 주기에 대해 모호한 상황과 교체 주기를 정확히 알 수 없는 상황이 발생하나, 본 기술을 통해 사용자가 직접 타이어 교체 주기에 대해 신속하고 정확하게 알 수 있다.
전문가 단말기(20)는 상기 관리서버(10)에서 이미지 센싱 작업이 완료된 타이어 이미지 정보에 대해 피드백을 제시하고, 상기 피드백을 기반으로 필요한 상품 정보 및 근방의 상품 판매점 서칭 정보를 제공한다. 타이어 트레드에는 제동력과 구동력 등 향상의 이유로 깊은 홈이 파여져 있다. 타이어 트레드는 직접적으로 도로와 맞닿아 마찰이 발생하여 주행거리가 늘어날수록 홈의 깊이가 얇아지는데, 보통 사용자가 육안으로 확인하여 마모도의 상태를 평가하기란 쉽지 않다.
따라서, 상기 전문가 단말기(20)를 통해 전문가는 타이어 트레드 이미지에 대한 피드백을 제공할 수 있도록 한다. 더불어, 판매점을 운영하는 전문가의 경우, 피드백을 기반으로 필요한 제품에 대한 자사 제품을 소개할 수 있어 광고 수익을 올릴 수 있도록 광고 수익 모델 기반의 플랫폼을 개발하여 비즈니스 모델을 구축할 수 있다.
이는, 향후 사용자가 증가함에 따라 오픈마켓 형태의 온라인 전문샵을 운영하여 관련 플랫폼 활용 및 부가가치 창출을 할 수 있으며, 지역 기반의 타이어 교체 서비스센터에서 직접적인 활용이 가능하고, 대형 타이어 회사에서 대고객 차원의 서비스 어플리케이션으로도 이용할 수 있고, 전국 대상의 자동차 안전문제와의 연결됨에 따라 관급차원에서의 차량 예비 진단 솔루션으로도 배포 가능하다. 이를 이용하는 지자체 및 관련 관공서에서 자동차 안전 예방차원의 서비스로 활용이 되어질수도 있다.
도 5는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 관리서버의 구성도이다.
도 5에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 관리서버(10)는 관리 프로세서 생성부(11), 이미지 인식부(12), 마모도 측정부(13), 저장부(14), 데이터 전송부(15) 및 피드백 매칭부(16)를 포함한다.
관리 프로세서 생성부(11)는 상기 사용자 단말기(30)로부터 타이어 이미지 정보를 수신하여 관리 프로세서를 생성한다. 기존의 타이어 마모도 측정 시스템 혹은 방법은 별도의 이미지 센싱장치 및 레이져와 같은 측정기기를 통한 마모도를 측정하는 방식이며, 또한 동영상 촬영을 통한 가상 3D 모형을 통해 마모도 분석을 한다. 이와 다르게, 상기 관리 프로세서 생성부(11)에서는 정지된 이미지 한 장을 통해서 머신 러닝 기반의 솔루션으로 마모도를 측정하는 것이 특징이다.
이미지 인식부(12)는 상기 타이어 트레드 이미지 정보에 대한 이미지 센싱 작업을 통해 홈 영역과 표면 영역을 검출한다. 이를 위해, 상기 타이어 이미지 정보에 전처리 작업과 허프 원검출 또는 RANSAC 알고리즘을 활용한다.
마모도 측정부(13)는 상기 검출한 영역과 데이터베이스에 구축된 기데이터를 비교하여 타이어의 마모도를 측정한다. 상기 마모도 측정부(13)에 의해 측정된 마모도 상태에 대한 측정 결과를 전문가 단말기(20)와 사용자 단말기(30)로 전송된다.
저장부(14)는 상기 트레드 이미지 정보 및 마모도 측정 결과를 관리 서버(10)에 저장한다. 상기 관리 서버(10)에서의 이미지 정보 저장을 통한 이원화된 데이터베이스 관리를 통해 제공 솔루션의 반응 속도가 빠르고 데이터베이스의 무선네트워크를 통한 로딩 및 업로드 함으로써 업그레이드가 용이하다.
데이터 전송부(15)는 상기 마모도 측정 결과를 전문가 단말기(20) 및 사용자 단말기(30)로 전송한다. 상기 마모도 측정 결과를 전문가 단말기(20)로 전송함으로써 전문가가 마모도 상태에 대해 2차적으로 평가를 할 수 있다.
피드백 매칭부(16)는 상기 전문가 단말기(20)로부터 마모도 측정 결과에 따른 필요 상품 정보와 상품 판매 전문점 정보를 포함한 피드백을 수신하고, 상기 피드백을 사용자 단말기(30)로 전송한다. 이때, 마모도에 대한 평가뿐만 아니라 사용자 주변 타이어 전문점 서칭 결과 및 실시간 타이어 상태에 대한 자문을 함께 제공한다. 따라서, 전문가 혹은 판매점은 소비자들의 마모도 상태를 제공하면서 광고를 올릴 수 있는 플랫폼을 구성할 수 있다.
즉, 관리 서버(10)는 관리 프로세서 생성부(11)에서 사용자로부터 타이어 트레드 이미지를 수신받아 관리 프로세서를 생성하며, 이미지 인식부(12)에서 상기 트레드 이미지에 대한 이미지 정보를 전처리 작업을 포함하는 이미지 센싱 작업을 통해 홈 영역과 표면 영역을 검출한다. 마모도 측정부(13)에서 상기 검출한 영역과 데이터베이스에 구축된 기데이터를 비교하여 타이어의 마모도를 측정하고, 저장부(14)는 상기 마모도 측정이 완료된 이미지 정보를 관리서버(10)에 저장한다. 상기 정보는 데이터 전송부(15)에서 전문가 혹은 판매점으로 전송하며, 상기 전문가 혹은 판매점으로부터 상기 이미지 정보에 대한 마모도 상태 평가에 대한 피드백을 피드백 매칭부(16)를 통해 사용자에게 제공한다.
도 6은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 전문가 단말기의 구성도이다.
도 6에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 전문가 단말기(20)는 제 1데이터 수신부(21)와 피드백 제공부(22)를 포함한다.
제 1데이터 수신부(21)는 상기 관리 서버(10)로부터 마모도 측정 결과를 수신한다. 상기 마모도 측정 결과를 수신함으로써 전문가 단말기(20)를 사용하는 전문가 혹은 판매점은 마모도 측정 결과를 기반으로 피드백을 제공할 수 있다.
피드백 제공부(22)는 상기 마모도 측정 결과에 따른 피드백을 관리 서버(10)로 전송하여 사용자들이 사용자 단말기(30)를 통해 피드백을 제공 받을 수 있도록 한다.
즉, 전문가 또는 판매점에서는 모바일 또는 웹 형태의 전문가 단말기(20)를 통해 타이어 트레드 이미지와 그에 대한 마모도 측정 결과를 제공받고, 상기 측정 결과를 기반으로 2차 평가를 시행한다. 2차 평가에 따른 피드백과 더불어 피드백에 따라 필요할 제품의 정보와 주변 타이어 전문점 서칭 등 정보를 제공하며, 이를 통해 광고 효과를 얻을 수 있는 이점이 있다.
도 7은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 사용자 단말기의 구성도이다.
도 7에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템의 사용자 단말기(30)는 촬영부(31), 이미지 전송부(32), 제 2데이터 수신부(33), 알림부(34)를 포함한다.
촬영부(31)는 사용자가 마모도 측정이 필요한 자동차 타이어의 외관을 촬영한다. 종래 발명과는 다르게 본 발명은 정지된 이미지 한 장만으로 타이어 마모도 분석이 가능하므로 동영상 촬영 또는 별도의 이미지 센싱 장치나 레이저가 필요 없는 것이 특징이다.
이미지 전송부(32)는 상기 촬영부(31)에서 촬영한 타이어 트레드 이미지를 관리 서버(10)로 전송한다. 이때, 사용자는 휴대 전화 카메라를 이용하여 손쉽게 타이어 트레드 이미지를 촬영하여 APP 혹은 웹사이트를 통해 이미지를 쉽게 전송할 수 있다.
제 2데이터 수신부(33)는 관리 서버(10)로부터 상기 촬영한 타이어 트레드 이미지에 대한 마모도 측정 결과를 수신한다. 따라서, 사용자는 타이어 전문점에 방문을 하지 않고도 언제 어디서나 자동차 타이어의 상태에 대한 정보를 제공받을 수 있다.
알림부(34)는 상기 관리 서버(10)로부터 전문가의 피드백을 제공 받는다. 피드백 외에도 타이어 상태에 따른 필요 제품에 대한 정보와 근방의 판매점 정보를 함께 수신하여 서칭의 수고를 줄이고, 가격비교를 통해 현명한 소비가 가능하다.
즉, 상기 사용자 단말기(30)를 통해 사용자는 상기 촬영부(31)로 촬영한 타이어 트레드 이미지를 자신이 소지한 PC 외에도 휴대 전화를 포함하는 휴대용 단말기를 통해 관리 서버(10)에 제공하며, 상기 관리 서버(10)로부터 제 2데이터 수신부(33)를 통해 타이어 마모도 측정 결과를 수신한다. 또한, 상기 알림부(34)를 통해 마모도 측정 결과에 대한 전문가의 피드백을 추가로 수신할 수 있다.
도 8은 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 취득하는 모습을 나타낸 도면이다.
도 8에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법은 카메라로 촬영한 자동차 타이어의 이미지에서 좌측과 우측의 감지 영역을 추출하며, 상기 이미지에서 잡음 혹은 노이즈 제거, 윤곽선 추출, 군집화를 포함하는 작업을 통해 홈(furrow)을 인식하여 타이어의 마모도를 측정할 수 있다.
도 9는 본 발명의 바람직한 실시예에 따른, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법의 데이터베이스 구축 과정을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법의 데이터베이스를 구축하는 과정은 자동차 타이어의 트레드 이미지를 획득하고, 상기 트레드 이미지에 밝기 및 대비 보정을 포함한 전처리 작업과 허프 원검출 또는 RANSAC 알고리즘을 활용한 보정작업 및 윤곽선 추출 및 군집화 작업을 통해 영역을 검출하며 상기 검출된 영역을 기존에 학습된 데이터와 비교하여 마모도의 상태를 측정한다. 마모도 평가가 끝난 데이터는 관리 서버에 저장되어 데이터베이스를 구축하며, 이는 타이어 트레드 이미지가 증가할수록 검증 모델의 신뢰도와 정확도를 높이는데 기여한다.
전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 상술하였다. 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 관리서버
11 : 관리프로세서 생성부
12 : 마모도 측정부
13 : 저장부
14 : 데이터 전송부
15 : 피드백 매칭부
20 : 전문가 단말기
21 : 제 1데이터 수신부
22 : 피드백 제공부
30 : 사용자 단말기
31 : 촬영부
32 : 이미지 전송부
33 : 제 2데이터 수신부
34 : 알림부

Claims (8)

  1. 카메라로 촬영한 타이어의 트레드(tread) 이미지를 획득하는 제 1단계;
    상기 타이어의 트레드 이미지 정보에서 홈 영역과 표면 영역을 검출하는 제 2단계;
    상기 제 2단계에서 검출한 영역의 이미지 정보를 관리 서버의 데이터베이스에 구축된 기데이터와 비교하여 상기 타이어의 마모도를 평가하는 제 3단계;
    상기 이미지 정보를 관리 서버에 저장하여 데이터베이스를 구축하는 제 4단계; 및
    상기 타이어의 마모도 평가 결과를 기반으로 전문가의 피드백, 근방 타이어 전문점 서칭 결과 및 필요한 제품에 대한 상품 정보를 포함하는 서비스를 사용자의 PC 또는 휴대용 단말기로 제공하는 제 5단계;를 포함하되,
    상기 제 4단계는 타이어 마모도 분석 결과의 신뢰도와 정확도 향상을 위해, 상기 이미지 정보를 머신 러닝(Machine Learning) 또는 딥 러닝(Deep Learning) 알고리즘을 통한 지속적인 업데이트를 하는 것을 특징으로 하는 타이어의 트레드 이미지를 이용한 마모도 측정 방법.
  2. 제 1항에 있어서,
    상기 제 2단계는,
    상기 제 1단계에서 취득한 타이어의 트레드 이미지 정보에 밝기 및 대비 보정, 노이즈 및 잡음 제거를 포함하는 전처리 작업을 수행하는 (가)단계와,
    상기 타이어의 트레드 이미지 정보에 허프 원검출(Hough Circle) 또는 RANSAC 알고리즘을 활용한 이진화 및 영역 보정작업, 윤곽선 추출 및 군집화 작업을 수행하는 (나)단계를 포함하는 타이어의 트레드 이미지를 이용한 마모도 측정 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 알고리즘은,
    상기 이미지 정보를 관리 서버에 업로드 하는 (1)단계와,
    상기 업로드된 정보에 타이어 전문가의 피드백을 추가하여 가설 혹은 공식을 세움으로서 학습된 모델을 정의하는 (2)단계와,
    상기 학습된 모델을 새로운 이미지 정보의 정확한 마모도를 예측할 수 있도록 데이터베이스 구축을 통해 관리하는 (3)단계를 포함하는 타이어의 트레드 이미지를 이용한 마모도 측정 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020180053481A 2018-05-10 2018-05-10 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법 KR102079862B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180053481A KR102079862B1 (ko) 2018-05-10 2018-05-10 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180053481A KR102079862B1 (ko) 2018-05-10 2018-05-10 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190129202A KR20190129202A (ko) 2019-11-20
KR102079862B1 true KR102079862B1 (ko) 2020-02-20

Family

ID=68729303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180053481A KR102079862B1 (ko) 2018-05-10 2018-05-10 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102079862B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022072144A1 (en) * 2020-09-30 2022-04-07 Bridgestone Americas Tire Operations, Llc Hierarchical data structure and method for prediction of tire wear

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465453B2 (en) * 2020-02-21 2022-10-11 Moj.Io, Inc. Computer system with tire wear measurement mechanism and method of operation thereof
CN111976389B (zh) * 2020-08-03 2021-09-21 清华大学 轮胎磨损程度辨识方法及装置
KR102316307B1 (ko) * 2021-04-27 2021-10-22 주식회사 오토기기 타이어의 측면 인쇄 정보 및 결함을 검출하는 장치
CN117571341B (zh) * 2024-01-16 2024-05-14 山东中亚轮胎试验场有限公司 一种轮胎全方位磨损检测系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558487B1 (ko) * 2015-02-26 2015-10-07 주식회사 다인 타이어 정보 제공 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101388465B1 (ko) 2012-11-26 2014-04-23 현대오트론 주식회사 타이어의 트레드 마모도 측정장치
KR101534259B1 (ko) 2015-01-29 2015-07-06 주식회사 다인 타이어 마모도 측정 방법 및 그 장치
KR101889338B1 (ko) * 2016-10-10 2018-08-17 넥센타이어 주식회사 타이어 마모 상태 측정 방법 및 그 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558487B1 (ko) * 2015-02-26 2015-10-07 주식회사 다인 타이어 정보 제공 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022072144A1 (en) * 2020-09-30 2022-04-07 Bridgestone Americas Tire Operations, Llc Hierarchical data structure and method for prediction of tire wear
CN116348752A (zh) * 2020-09-30 2023-06-27 普利司通美国轮胎运营有限责任公司 用于轮胎磨损预测的分级数据结构和方法
US11761858B2 (en) 2020-09-30 2023-09-19 Bridgestone Americas Tire Operations, Llc Hierarchical data structure and method for prediction of tire wear
CN116348752B (zh) * 2020-09-30 2024-02-09 普利司通美国轮胎运营有限责任公司 用于轮胎磨损预测的分级数据结构和方法

Also Published As

Publication number Publication date
KR20190129202A (ko) 2019-11-20

Similar Documents

Publication Publication Date Title
KR102079862B1 (ko) 타이어의 트레드 이미지를 이용한 마모도 측정 시스템 및 방법
US11504069B2 (en) Method and apparatus to infer object and agent properties, activity capacities, behaviors, and intents from contact and pressure images
US10102616B2 (en) Method and system for surface wear determination
US10387896B1 (en) At-shelf brand strength tracking and decision analytics
CN106462881B (zh) 用于确定人口统计信息的系统和方法
US10262331B1 (en) Cross-channel in-store shopper behavior analysis
JP6831053B2 (ja) 電気自動車のための充電ステーションに標的広告を提供するためのシステムおよび方法
KR101425019B1 (ko) 온라인을 이용한 타이어 교체 서비스 제공 시스템
US11514483B2 (en) Systems and methods for automated trade-in with limited human interaction
WO2020205640A1 (en) System for identifying vehicles and detecting tire characteristics
JP2008191842A (ja) 評価調査装置及び評価調査方法
CN107066917A (zh) 基于印记简档的队列监视
CN110133744A (zh) 一种移动机器人路面路况检测方法
KR20190104282A (ko) 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말
US11059333B2 (en) System for tire performance alerts and assisted remediation
US10783792B1 (en) Systems and methods for automated vehicle tracking for readiness with limited human interaction
KR101905127B1 (ko) 3d 모델링 기반의 타이어 점검시스템
CN113591512A (zh) 用于毛发识别的方法及装置、设备
KR20150004969A (ko) 인터넷 접속장치를 이용한 타이어 상태 점검 시스템 및 그 방법
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치
JP2021165915A (ja) 消耗状態学習装置、学習済モデルの生成方法及びプログラム
Rahman et al. Tire Condition Classification Based on Tread Depth using Machine Learning
KR20210012286A (ko) 잡화 관리 박스 및 이를 이용한 잡화 관리 방법 및 시스템
US20230055559A1 (en) Methods and systems for estimating a value of a future vehicle
KR102425320B1 (ko) 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right