KR102148884B1 - 차량의 손상 분석 시스템 및 방법 - Google Patents

차량의 손상 분석 시스템 및 방법 Download PDF

Info

Publication number
KR102148884B1
KR102148884B1 KR1020200040292A KR20200040292A KR102148884B1 KR 102148884 B1 KR102148884 B1 KR 102148884B1 KR 1020200040292 A KR1020200040292 A KR 1020200040292A KR 20200040292 A KR20200040292 A KR 20200040292A KR 102148884 B1 KR102148884 B1 KR 102148884B1
Authority
KR
South Korea
Prior art keywords
damage
area
type
vehicle
repair
Prior art date
Application number
KR1020200040292A
Other languages
English (en)
Inventor
김태윤
어진솔
이안준
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to KR1020200040292A priority Critical patent/KR102148884B1/ko
Priority to PCT/KR2020/011167 priority patent/WO2021201349A1/ko
Application granted granted Critical
Publication of KR102148884B1 publication Critical patent/KR102148884B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

차량의 손상 분석 시스템 및 방법을 개시한다. 본 발명은 차량의 사고 이미지를 이용하여 부품별 손상 유형과 손상 정도를 분석하고, 분석 결과에 따른 객관적인 부품의 교환 여부와 수리 정보를 제공할 수 있다.

Description

차량의 손상 분석 시스템 및 방법{SYSTEM AND METHOD FOR ANALYZING VEHICLE DAMAGE}
본 발명은 차량의 손상 분석 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 차량의 사고 이미지를 이용하여 부품별 손상 유형과 손상 정도에 따른 수리 정보를 산출하는 차량의 손상 분석 시스템 및 방법에 관한 것이다.
최근 들어, 자동차는 사람들의 이동수단, 운송수단 및 생활공간으로써 자동차의 활용도가 높아지고 있다.
과거에는 단순 이동 및 운송수단으로서의 기능을 하는 자동차의 형태였다면, 최근에는 생활공간으로서의 기능을 하는 자동차의 형태도 활용되고 있다.
또한, 가구당 한 대 또는 한 대 이상의 차량을 보유하는 경우가 빈번해지고 있으며, 이에 따라 자동차의 사용량이 크게 증가하여, 편리성의 증대와 함께 사고 발생이 증가하고 있다.
일반적으로 자동차 사고가 발생되면, 자동차를 수리하는 공업사에서 차량의 사고로 인한 부품들의 파손 여부를 확인하고, 파손된 부품에 대한 수리 여부와 비용에 대하여 산출한다.
그러나, 자동차(또는 차량)에 대하여 전문적인 지식이 없는 운전자의 경우, 파손이 발생한 부품명이나, 스크래치, 판금, 덴트 등에 따른 손상 유형이나, 파손 위치, 파손 면적 등에 따른 부품의 교환 여부 등을 객관적으로 확인할 수 없는 문제점이 있다.
또한, 보험사의 경우 사고가 발생된 자동차를 수리하는 공업사의 작업 내역을 기반으로 수리 비용을 산정하는데, 작업자의 주관적인 판단에 따라 수리 작업의 유형을 결정하거나 또는 부품의 교환이 결정되어 수리 비용과 수리 시간에 따른 비용의 과다 청구 발생으로 다툼이 발생하는 문제점이 있다.
한국 공개특허공보 공개번호 제10-2019-0137669호(발명의 명칭: 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램)
이러한 문제점을 해결하기 위하여, 본 발명은 차량의 사고 이미지를 이용하여 부품별 손상 유형과 손상 정도에 따른 수리 정보를 산출하는 차량의 손상 분석 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 차량의 손상 분석 시스템으로서, 차량 이미지를 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 구분하는 부품 인식부; 상기 차량 이미지에서 미리 저장된 제2 학습 알고리즘을 이용하여 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 나열된 손상이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지하는 손상 유형 분석부; 상기 구분된 부품 영역을 미리 저장된 제3 학습 알고리즘을 이용하여 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 상기 수리 유형에 대한 확률 값과, 손상이 발생된 부품 영역에 대한 이미지를 추출하는 수리 분석부; 상기 구분된 부품 영역 중에서 상기 손상 유형이 감지된 영역과 중첩되는 적어도 하나 이상의 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출하는 손상 면적 산출부; 및 상기 수리 분석부와 손상 면적 산출부에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력하는 손상 심도 분석부;를 포함한다.
또한, 상기 실시 예에 따른 차량의 손상 분석 시스템은 복수의 입력 이미지가 입력되면, 상기 입력된 이미지를 필터링 학습 알고리즘을 이용하여 견적 대상인 차량 이미지만을 선별하여 상기 부품 인식부와 손상 유형 분석부로 출력하는 필터부를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제1 학습 알고리즘은 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 손상된 차량의 이미지를 포함한 학습 데이터로부터 범퍼, 휀더, 도어, 트렁크, 램프, 후드, 그릴, 사이드 미러, 사이드 스텝으로 분류한 부품 영역을 학습하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 부품 영역은 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 분류되고, 서로 다른 부품 영역에 대하여 다른 색상으로 표시하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제2 학습 알고리즘은 Faster R-CNN을 이용하여 손상된 차량의 이미지를 포함한 학습 데이터로부터 스크래치, 덴트, 덴트-프레스라인, 깨짐, 찢어짐, 천공, 복합손상으로 분류한 손상 영역과 손상 유형을 학습하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제3 학습 알고리즘은 Inception ResNet v2를 이용하여 학습 데이터로부터 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리 유형을 학습하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 손상 면적 산출부는 미리 설정된 룰(Rule)에 기반하여 손상 영역을 추출한다.
또한, 상기 실시 예에 따른 룰은 촬영된 이미지가 근접하여 부품의 앞/뒤/좌/우 구분이 어렵거나 또는 단일 부품이 이미지의 네모서리 중에서 3개 이상 닿은 경우, 상기 부품은 제외하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 손상 면적 산출부는 차량 이미지의 중앙부에 일정 크기의 감지 영역을 설정하고, 상기 감지 영역에 걸치지 않은 영역의 부품은 제외하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 손상 면적 산출부는 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출한다.
또한, 상기 실시 예에 따른 손상 면적은 부품별, 손상 유형별로 계산하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제4 학습 알고리즘은 DNN(Deep Neural Network)을 이용하여 학습 데이터로부터 정상, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리에 대한 결과를 학습하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 최종 손상 심도 결과는 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)를 통해 산출되고, 여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까우며, 손상심도 클래스는 수리 유형에 따라 정의된 수치이고, 손상 심도 스코어는 손상유형과 면적에 비례하여 산출되는 수치인 것을 특징으로 한다.
또한, 상기 실시 예에 따른 필터링 학습 알고리즘은 DenseNet을 이용하여 학습 데이터로부터 견적 대상, 개인정보, 문서, 차대번호, 차량으로부터 분리된 상태의 부품 및 계기판 중 어느 하나의 선별 유형을 학습하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예에 따른 차량의 손상 분석 방법은 a) 차량 이미지가 입력되면, 부품 인식부가 상기 입력된 차량 이미지를 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 구분하는 단계; b) 손상 유형 분석부가 상기 입력된 차량 이미지를 미리 저장된 제2 학습 알고리즘을 이용하여 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 나열된 손상이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지하는 단계; c) 수리 분석부가 상기 a) 단계에서 구분된 부품 영역을 미리 저장된 제3 학습 알고리즘을 이용하여 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 상기 수리 유형에 대한 확률 값과, 손상이 발생된 부품 영역에 대한 이미지를 추출하는 단계; d) 손상 면적 산출부가 상기 a) 단계에서 구분된 부품 영역 중에서 상기 b) 단계에서 상기 손상 유형이 감지된 영역과 중첩되는 적어도 하나 이상의 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출하는 단계; 및 e) 손상 심도 분석부가 상기 c) 단계와 d) 단계에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 a) 단계는 복수의 입력 이미지가 입력되면, 필터부가 상기 입력된 이미지를 필터링 학습 알고리즘을 이용하여 견적 대상인 차량 이미지(200)만을 선별하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 a) 단계는 부품 인식부가 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 부품 영역 분류하고, 서로 다른 부품 영역에 대하여 다른 색상으로 표시하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 d) 단계는 손상 면적 산출부가 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출하고, 부품별, 손상 유형별로 손상 면적을 계산하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 상기 e) 단계는 손상 심도 분석부(150)가 최종 손상 심도 결과를 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)에 기반하여 산출되고, 여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까우며, 손상심도 클래스는 수리 유형에 따라 정의된 수치이고, 손상 심도 스코어는 손상유형과 면적에 비례하여 산출되는 수치인 것을 특징으로 한다.
본 발명은 차량의 사고 이미지를 이용하여 부품별 손상 유형과 수리 유형을 분석하여 제공할 수 있는 장점이 있다.
또한, 본 발명은 스크래치, 덴트, 깨짐, 찢어짐, 천공, 복합손상 등으로 분류한 객관적인 손상 유형에 대한 정확한 정보를 제공할 수 있는 장점이 있다.
또한, 본 발명은 부품의 손상에 따른 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 손상이 발생된 부품에 대한 이미지와 수리 유형에 대한 확률값을 제공함으로써, 부품의 수리 여부에 대한 신뢰도를 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 손상이 발생된 부품에서 손상 유형이 감지된 영역과 중첩되는 부품 영역을 추출하고, 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출함으로써, 수리에 따른 기간과 수리 비용을 쉽게 산출할 수 있는 장점이 있다.
또한, 본 발명은 추출된 부품이 차량 이미지에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 제공함으로써, 결과에 따른 객관적인 부품의 교환 여부와 수리 정보를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템의 구성을 나타낸 블록도.
도 2는 도 1의 실시 예에서 차량의 손상 분석을 위해 입력되는 원본 이미지를 나타낸 예시도.
도 3은 도 1의 실시 예에서 입력된 원본 이미지에 기반하여 부품의 인식 과정을 설명하기 위한 예시도.
도 4는 도 1에서 인식된 부품을 나타낸 예시도.
도 5는 도 1에서 인식된 다른 부품을 나타낸 예시도.
도 6은 도 1의 실시 예에서 입력된 원본 이미지에 기반하여 손상 유형을 인식하는 과정을 설명하기 위한 예시도.
도 7은 도 6에서 인식된 손상 유형을 나타낸 예시도.
도 8은 도 6에서 인식된 다른 손상 유형을 나타낸 예시도.
도 9는 도 3 및 도 6에서 인식된 부품과 손상 유형을 이용하여 손상 심도를 산출하는 과정을 나타낸 예시도.
도 10은 도 3 및 도 6에서 인식된 부품과 손상 유형에 기반한 손상 위치를 구분하는 과정을 설명하기 위한 예시도.
도 11은 도 3 및 도 6에서 인식된 부품과 손상 유형에 기반한 손상 상대 면적 산출하는 과정을 설명하기 위한 예시도.
도 12는 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템을 이용한 분석 과정을 나타낸 흐름도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수가 있고, 단수 또는 복수를 의미할 수가 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템 및 방법의 바람직한 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템의 구성을 나타낸 블록도이고, 도 2 내지 도 11은 차량의 손상 분석을 위해 동작하는 과정을 설명하기 위한 예시도 이다.
도 1 내지 도 11을 참조하면, 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템(100)은 차량의 사고 이미지를 이용하여 부품별 손상 유형과 손상 정도를 분석하고, 분석 결과에 따른 객관적인 부품의 교환 여부와 수리 정보를 제공할 수 있도록 부품 인식부(110)와, 손상 유형 분석부(120)와, 수리 분석부(130)와, 손상 면적 산출부(140)와, 손상 심도 분석부(150)와, 필터부(160)를 포함하여 구성될 수 있다.
부품 인식부(110)는 견적 대상인 차량 이미지(200) 내에서 차량의 부품만을 추출하기 위한 구성으로서, 차량 이미지(200)가 입력되면, 입력된 차량 이미지(200)를 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 구분하여 부품을 인식한다.
또한, 부품 인식부(110)는 입력된 차량 이미지(200)로부터 범퍼, 휀더, 도어, 트렁크, 램프, 후드(또는 보닛), 그릴, 사이드 미러, 사이드 스텝을 앞/뒤/좌/우로 구분하여 인식할 수 있다.
또한, 부품 인식부(110)는 제1 학습 알고리즘을 이용하여 손상된 차량의 이미지(예를 들면, 정답 이미지)를 포함한 학습 데이터로부터 범퍼, 휀더, 도어, 트렁크, 램프, 후드, 그릴, 사이드 미러, 사이드 스텝으로 분류된 부품 영역을 학습할 수 있다.
여기서, 학습 알고리즘은 머신 러닝중에서 딥러닝(Deep learning)이라는 방법을 통해 만들어진 분석 모델들의 종류라고 볼 수 있다.
따라서, 학습 알고리즘은 딥러닝 모델 또는 딥러닝 분석 모델의 표현으로 사용될 수 있다.
머신 러닝은 복잡한 시스템이 명시적으로 프로그래밍되지 않고서, 경험으로부터 자동으로 학습하고 개선할 수 있게 하는 인공 지능의 응용이다.
머신 러닝 모델들의 정확도 및 유효성은 그들 모델들을 훈련시키는 데 사용되는 데이터에 부분적으로 의존할 수 있다.
제1 학습 알고리즘은 Mask R-CNN(Region Convolutional Neural Network)을 이용하고, 부품 영역은 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 분류할 수 있다.
즉, 이미지들 각각을 Mask R-CNN을 이용하여 범퍼, 휀더, 도어, 트렁크, 램프, 후드, 그릴, 사이드 미러, 사이드 스텝 등 각 부품 별 위치 및 종류를 학습한다.
예를 들어, 차량의 정면부, 측면부, 후면부 등을 무작위로 촬영한 다수(예컨
대, 수만장)의 차량 이미지들 각각을 Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 위치 및 종류를 학습하게 된다.
또한, 마스킹 영역은 범퍼, 휀더, 도어, 트렁크, 램프, 후드, 그릴, 사이드 미러, 사이드 스텝 등의 각 부품 별 크기에 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적을 마스킹할 수 있다.
이를 통해 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 손상에 대해서도 인식할 수 있도록 한다.
또한, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품별 종류를 파악할 수 있다.
또한, 제1 학습 알고리즘은 수리 전 상태인 다수의 이미지(예를 들면, 약 5만장)와, 수리 후 상태를 촬영한 다수의 이미지를 서로 비교한 결과값에 기반하여 선택된 다수의 차량 이미지를 학습 데이터로 반복 학습한다.
또한, 부품 인식부(110)는 차량 이미지(200)를 제1 학습 알고리즘을 이용하여 도 3과 같이, 제1 부품 영역(210), 제2 부품 영역(220), 제3 부품 영역(230) 및 제4 부품 영역(240)으로 분류하고, 인스턴스 세그멘테이션을 기반으로 분류된 부품 영역 중에서 서로 다른 부품 영역은 다른 색상으로 표시되도록 할 수 있다.
또한, 부품 인식부(110)는 도 4와 같이, 제1 부품 영역(210)의 이미지와 도 5와 같은 제2 부품 영역(220)의 이미지를 추출할 수도 있다.
손상 유형 분석부(120)는 입력된 차량 이미지(200)로부터 부품의 손상 유형예를 들면, 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 나열된 손상이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지하는 구성으로서, 손상 위치와 손상 유형을 판별한다.
또한, 손상 유형 분석부(120)는 차량 이미지(200)를 미리 저장된 제2 학습 알고리즘을 이용하여 하나 이상의 손상 영역과 손상 유형으로 구분한다.
제2 학습 알고리즘은 Faster R-CNN을 이용하여 손상된 차량의 이미지를 포함한 학습 데이터로부터 스크래치, 덴트, 덴트-프레스라인, 깨짐, 찢어짐, 천공, 두개 이상의 손상이 발생한 복합 손상으로 정의된 손상 유형을 학습하고, 오브젝트 디텍션(Object detection)을 이용한 모델링을 통해 손상 유형을 감지한다.
Faster R-CNN은 Region proposal Networks(RPN)를 사용하여 하나의 차량 이미지가 들어오면, 출력으로 직사각형의 객체 제안(object proposal)들과 객체 스코어(object score)를 제공한다.
또한, Faster R-CNN은 바운딩 박스 회귀(bounding box regression)를 위해 3개의 서로 다른 비율과 3개의 서로 다른 크기의 조합으로 총 9개의 앵커 박스(anchor box)를 지정한다.
그리고 슬라이딩 윈도우(sliding window)의 각 지점마다 적용하고 각각의 앵커 박스들로부터 바운딩 박스 제안(bounding box proposal)을 계산한다.
이때, RPN에서는 객체(object)인지, 배경(background)인지만의 분류작업만을 하고, 그후 RoI pooling 을 거쳐 분류작업과 정확한 바운딩 박스 위치(bounding box position)를 찾는다.
즉, 도 6과 같이, 바운딩 박스 영역에 표시된 부분에 대하여 손상이 발생되었는지 여부를 감지하고, 그에 따라 도 7과 같이 제1 손상 영역(210a)에서 제1 손상 감지 영역(211a)을 추출하고, 도 8과 같이 제2 손상 영역(220a)에서 제2 손상 감지 영역(211b)을 추출한다.
또한, 손상 유형 분석부(120)는 전체적인 손상의 유형을 감지(또는 탐색)하는 구성으로서, 부품의 구분 없이 손상 유형을 감지하고, 손상이 감지된 영역에 대하여 후술되는 손상 면적 산출부(140)에서 손상 위치와, 손상 면적을 산출한다.
본 실시 예에서는 설명의 편의를 위해 하나의 부품에 대하여 각각 손상 감지 영역을 추출한 것을 설명하지만, 이에 한정되는 것은 아니고, 복수의 부품에 대하여 손상 감지 영역을 추출할 수도 있다.
수리 분석부(130)는 이미지 분류를 통해 부품의 손상 정도에 따른 수리 유형을 판별하는 구성으로서, 부품 인식부(110)에서 구분된 부품 영역에서 손상 부품에 대한 수리 유형(예를 들면, 정상, 스크래치, 판금, 교환 등으로 분류)과, 해당 수리 유형에 대한 확률값과, 손상이 발생된 부품 영역에 대한 부품 이미지를 추출한다.
또한, 수리 분석부(130)는 미리 저장된 제3 학습 알고리즘을 이용하여 수리 유형을 추출할 수 있다.
제3 학습 알고리즘은 Inception ResNet v2를 이용하고, 금속 판넬의 경우, 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리 유형을 학습 데이터로 학습하며, 비금속 부품의 경우 정상, 수리, 교환 중 어느 하나의 수리 유형을 학습 데이터로 학습한다.
Inception ResNet V2는 Inception V4와 ResNet 구조를 변경해 합친 구조로, Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요 상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 학습할 수 있도록 하고, ResNet 구조에 맞게 특징 맵 차원을 변형시키며, 연산량이 줄어들 수 있도록 한다.
또한, 수리 분석부(130)는 제3 학습 알고리즘을 통해 추출한 수리 유형에 대하여 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금 및 교환에 대한 확률 값을 추출할 수 있다.
즉, 수리 분석부(130)는 예를 들어, 도 4 및 도 5와 같이 손상 영역을 포함한 제1 부품 영역(210)의 이미지와, 제2 부품 영역(220)의 이미지로부터 제1 수리 대상 영역(211)과, 제2 수리 대상 영역(221)과 제3 수리 대상 영역(222)에 수리 유형을 추출하고, 이때 추출된 수리 유형에 대하여 하기표와 같은 확률값으로 표시할 수 있다.
수리유형 정상 스크래치 소손상판금 중손상판금 대손상판금 교환
제1부품 0 0 0 0 0.005 0.995
제2부품 0 0 0 0 0.0001 0.9998
또한, 수리 분석부(130)는 대상물의 역산란 신호가 중첩되어 발생하는 스페클노이즈(Speckle noise)를 이용한 필터링이나, 빛반사 제거를 이용하여 수리 유형의 판단 오차가 감소되도록 할 수 있다.
또한, 수리 분석부(130)의 수리 유형은 손상이 발생된 정도에 기반하여 해당 부품에 대한 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금, 교환 등을 분석한 것이고, 손상 유형 분석부(120)의 손상 유형은 부품의 구분 없이 스크래치, 덴트, 덴트-프레스라인, 깨짐, 찢어짐, 천공, 복합 손상 등을 분석한 것에서 차이점이 있다.
손상 면적 산출부(140)는 미리 설정된 룰(Rule)에 기반하여 손상 유형 분석부(120)에서 감지된 손상 유형에 대하여 손상 영역의 위치와 면적을 추출하는 구성으로서, 손상 유형 분석부(120)에서 제1 손상 영역(210a)과, 제2 손상 영역(220a)이 감지되면, 손상 면적 산출부(140)는 부품 인식부(110)에서 구분된 부품 영역 중에 손상 유형 분석부(120)에서 감지된 손상 유형이 감지된 영역과 중첩되는 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출한다.
즉, 손상 면적 산출부(140)는 중첩을 통해 추출된 부품 영역, 예를 들면 제1 손상 영역(210a)의 제1 손상 감지 영역(211a)에 대하여 중첩되는 제1 부품 영역(210)과, 제2 손상 영역(220a)의 제2 손상 감지 영역(221a)에 대하여 중첩되는 제2 부품 영역(220)을 추출한다.
이를 더욱 상세하게 설명하면, 손상 면적 산출부(140)는 도 9와 같이, 분류된 부품 중에서 제2 손상 영역(220a) 및 제2 손상 감지 영역(221a)과 겹치는 부분을 검색한다.
검색을 통해 손상 면적 산출부(140)는 제2 수리 대상 영역(221)과 제3 수리 대상 영역(222)을 포함한 제2 부품 영역(220)을 별도로 불러온다.
또한, 손상 면적 산출부(140)는 예를 들면, 제1 손상 영역(210a)에 대응하는 부품 영역을 추출하는 경우, 도 10과 같이 위치를 추정하기 위해 인식된 부품 중에서 우측 헤드램프 및 좌측 헤드램프와 같은 제1 기준 부품 영역(300)과 제2 기준 부품 영역(310)의 말단을 기준으로 제1 기준선(R1)과 제2 기준선(R2)을 설정하고, 설정된 기준선을 기준으로 대응하는 부품 영역을 추출할 수 있다.
또한, 손상 면적 산출부(140)는 그릴과 같은 제3 기준 부품 영역(320)을 중심으로 주변에 위치한 부품 영역으로부터 대응하는 부품 영역을 추출할 수도 있다.
한편, 손상 면적 산출부(140)는 촬영된 이미지가 너무 근접하여 촬영된 경우, 부품의 앞/뒤/좌/우 구분이 어려울 수가 있고, 또한 촬영된 이미지가 단일 부품만 촬영되어 촬영된 부품이 이미지의 네모서리 중에서 3개 이상 닿은 경우, Close Rule을 통해 제외되도록 한다.
또한, 손상 면적 산출부(140)는 차량 이미지(200)의 중앙부에 일정 크기의 감지 영역(예를 들면, 사각 형상의 포커스 룰 박스)을 설정하고, 감지 영역에 걸치지 않은 영역의 부품은 제외되도록 한다.
즉, 손상 면적 산출부(140)는 촬영하려는 부분을 이미지의 중앙에 배치하고, 중앙에서 벗어난 부품의 경우, 손상의 판단이 어렵기 때문에 이미지의 중앙부에 박스 형상의 감지 영역을 설정하고, 박스에 걸처진 부분의 부품에 대해서만 인식하고, 박스 형상의 영역에 걸처지지 않은 부품의 인식은 Focus Rule을 통해 제외되도록 한다.
또한, 손상 면적 산출부(140)는 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출할 수 있다.
또한, 손상 면적 산출부(140)는 하나의 부품에 복수의 손상 유형이 인식되면, 손상 유형별로 손상 면적과 손상 위치를 산출할 수 있다.
즉, 도 11에 나타낸 바와 같이, 제1 부품(210)에 덴트가 제1 손상 감지 영역(211a)에서 감지되고, 스크레치가 제2 손상 감지 영역(211b)에 인식되면, 손상 면적 산출부(140)는 손상이 발생된 손상 픽셀수를 부품의 전체 픽셀수로 나누어 제1 손상 감지 영역(211a)과 제2 손상 감지 영역(211b)에 발생된 손상 면적을 개별 계산한다.
여기서, 손상 면적은 찢어진 면적 및 깊이, 덴트된 면적 및 깊이, 천공 크기 및 깊이 등일 수 있다.
또한, 손상 면적 산출부(140)는 부품별, 손상 유형별로 계산할 수도 있다.
예를 들면, 헤드 램프-깨짐: 0.65, 전면범퍼-덴트: 0.13, 전면범퍼-스크래치: 0.04와, 같이 손상 면적을 계산하여 출력할 수 있다.
즉, 다음의 표와 같이 산출하여 손상 심도 분석부(150)로 출력한다.
손상종류 스크래치 덴트 천공
상대면적 0.02 0.60 0.04
한편, 본 실시 예에서는 설명의 편의를 위해 손상 유형 분석부(120)와 손상 면적 산출부(140)를 구분한 것을 실시 예로 설명하지만, 이에 한정되는 것은 아니고, 손상 유형 분석부(120)와 일체로 구성할 수도 있다.
손상 심도 분석부(150)는 수리 분석부(130)와 손상 면적 산출부(140)에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지(200)에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력한다.
즉, 손상 심도 분석부(150)는 다음의 표와 같이, 예를 들면, 제1 부품(인덱스 1)과 제2 부품(인덱스 2)에 대하여 수리 분석부(130)와 손상 면적 산출부(140)로부터 정보가 입력되면, 제4 학습 알고리즘에 기반하여 최종 심도 결과를 출력한다.
인덱스 스크래치
상대면적		 덴트
상대면적		 천공
상대면적		 정상 스크래치 판금
소		 판금
중		 판금
대		 교환 실측자료
1 0.02 0.6 0.04 0 0 0 0 0.02 0.98 교환
2 0.15 0.01 0 0.05 0.9 0.05 0 0 0 스크래치
제4 학습 알고리즘은 DNN(Deep Neural Network)을 이용하여 학습 데이터로부터 스크래치, 덴트, 천공 등의 손상에 대하여 정상 부품의 면적과 대비한 상대 면적과, 정상, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리에 대한 결과를 학습한다.
DNN은 입력층(input layer)과 출력측(output layer) 사이에 여개 개의 은닉층들로 이루어진 인공신경망(Artificial Neural Network)으로 복잡한 선형 관계(non-linear relationship)들을 모델링하여 점진적으로 모여진 하위 계층들의 특징들을 종합하여 복잡한 데이터를 모델링한다.
또한, 손상 심도 분석부(150)는 분석 대상 부품이 예를 들면, 판금 대상으로 판단된 경우, 면적, 깊이, 꺽인 형태, 깊이 등에 기반하여 판단할 수 있다.
구분 포커스
감지영역
부품비율		 손상
심도명		 손상심도
클래스		 손상심도
스코어		 종합
점수		 종합
순위		 최종
결과
사진1 앞범퍼 0.11 교환 2 0.62 1.35 2 수리
사진2 0.63 수리 1 0.83 1.46 1
사진3 0.22 수리 1 0.84 1.06 3
사진2 좌측
프론트
패널		 0.28 무손상 0 0.85 0 1 무손상
사진3 우측
프론트
패널		 0.55 스크래치 1 0.92 1.47 2 소손상
판금
사진4 0.36 소손상
판금		 2 0.84 2.04 1
최종 손상 심도 결과는 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)를 통해 산출될 수 있고 상기의 표와 같이 입력된 자료를 기반으로 최종 결과를 도출할 수 있다.
여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까울 수 있다.
또한, 손상심도 클래스는 금속 판넬인 경우, 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금, 교환으로 구분되고, 비금속 부품인 경우, 정상, 수리, 교환으로 구분될 수 있다.
또한, 손상 심도 클래스는 손상 유형에 따라 금속 판넬인 경우, 정상은 '0', 스크래치는 '1', 소손상 판금(판금_ 소)은 '2', 중손상 판금(판금_중)은 '3', 대손송 판금(판금_대)은 '4', 교환은 '5'로 구분된 가중치를 제공할 수 있다.
또한, 손상 심도 클래스는 비금속 부품인 경우, 정상은 '0', 수리는 '1', 교환은 '2'로 구분된 가중치를 제공할 수 있다.
또한, 손상 심도 스코어는 손상 면적에 기반하여 변환된 수치 정보일 수 있다.
필터부(160)는 복수의 입력 이미지가 입력되면, 입력된 이미지들 중에서 불필요한 이미지를 필터링 학습 알고리즘을 이용하여 제거함으로써, 견적 대상인 사고 발생을 촬영한 차량 이미지(200)만을 선별할 수 있도록 한다.
또한, 필터부(160)는 이동 단말기, PC 등과 네트워크를 통해 접속되어 복수의 입력 이미지를 수신할 수 있다.
또한, 필터부(160)는 선별된 차량 이미지(200)상기 부품 인식부(110)와 손상 유형 분석부(120)로 출력한다.
필터링 학습 알고리즘은 DenseNet을 이용하여 학습 데이터로부터 견적 대상, 개인정보, 문서, 차대번호, 부품의 수리중 및 계기판 중 어느 하나의 선별 유형을 학습함으로써, 불필요한 이미지가 제거되도록 한다.
여기서, 부품의 수리중은 부품의 수리를 위해 차량으로부터 부품을 분리한 상태를 촬영한 이미지이다.
DenseNet은 Densely Connected 된 CNN구조로서, 이전 레이어(layer) 들의 특징 맵(Feature map)을 계속해서 다음 레이어의 입력과 연결하는 방식으로 특징 맵끼리 연속(Concatenation) 시켜 어느 하나의 유형을 학습함으로써, 불필요한 이미지가 제거될 수 있도록 한다.
또한, 필터부(160)는 제1 학습 알고리즘의 학습 데이터 중에서 수리 후 상태를 촬영한 차량 이미지, 또는 너무 멀리서 촬영한 차량 이미지를 제거할 수도 있다.
다음은 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템을 이용한 분석 방법을 설명한다.
도 12는 본 발명의 일 실시 예에 따른 차량의 손상 분석 시스템을 이용한 분석 과정을 나타낸 흐름도이다.
도 1 내지 도 12를 참조하면, 차량 이미지(200)가 손상 분석 시스템(100)에 입력(S100)된다.
S100 단계에서 복수의 이미지가 입력된 경우, 손상 분석 시스템(100)은 필터부(160)를 통해 입력된 이미지를 필터링 학습 알고리즘을 이용하여 견적 대상인 차량 이미지(200)만을 선별할 수도 있다.
S100 단계에서 선별된 차량 이미지(200)는 부품 인식부(110)에서 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 인식하고, 인식된 부품 영역을 구분(S200)한다.
또한, S200 단계에서 부품 인식부(110)는 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 부품 영역을 구분하고, 서로 다른 부품 영역에 대하여 다른 색상으로 표시하여 출력할 수 있다.
또한, S100 단계에서 선별된 차량 이미지(200)는 손상 유형 분석부(120)로 입력되고, 손상 유형 분석부(120)는 입력된 차량 이미지(200)를 미리 저장된 제2 학습 알고리즘을 이용하여 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 나열된 손상이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지(S300)한다.
또한, 수리 분석부(130)는 S200 단계에서 구분된 부품 영역을 미리 저장된 제3 학습 알고리즘을 이용하여 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 상기 수리 유형에 대한 확률 값과, 손상이 발생된 부품 영역에 대한 이미지를 추출(S400)한다.
손상 면적 산출부(140)가 S100 단계에서 분할된 부품 영역 중에 S300 단계에서 상기 손상 유형이 감지된 영역과 중첩되는 적어도 하나 이상의 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출(S500)한다.
또한, S500 단계에서, 손상 면적 산출부(140)는 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출하고, 부품별, 손상 유형별로 손상 면적을 계산할 수 있다.
손상 심도 분석부(150)는 S400 단계와 S500 단계에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지(200)에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력(S600)한다.
또한, S600 단계에서 손상 심도 분석부(150)는 최종 손상 심도 결과를 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)에 기반하여 산출한다.
여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까울 수 있다.
또한, 손상심도 클래스는 금속 판넬인 경우, 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금, 교환으로 구분되고, 비금속 부품인 경우, 정상, 수리, 교환으로 구분될 수 있다.
또한, 손상 심도 클래스는 금속 판넬인 경우, 정상은 '0', 스크래치는 '1', 소손상 판금(판금_ 소)은 '2', 중손상 판금(판금_중)은 '3', 대손송 판금(판금_대)은 '4', 교환은 '5'로 구분될 수 있다.
또한, 손상 심도 클래스는 비금속 부품인 경우, 정상은 '0', 수리는 '1', 교환은 '2'로 구분될 수 있다.
또한, 손상 심도 스코어는 손상 면적에 기반하여 변환된 수치 정보일 수 있다.
따라서, 차량의 사고 이미지를 이용하여 부품별 손상 유형과 손상 정도를 분석하고, 분석 결과에 따른 객관적인 부품의 교환 여부와 수리 정보를 제공할 수 있게 된다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 손상 분석 시스템 110 : 부품 인식부
120 : 손상 유형 분석부 130 : 수리 분석부
140 : 손상 면적 산출부 150 : 손상 심도 분석부
160 : 필터부 200 : 차량 이미지
210 : 제1 부품 영역 210a : 제1 손상 영역
211 : 제1 수리 대상 영역 211a : 제1 손상 감지 영역
211b : 제2 손상 감지 영역 220 : 제2 부품 영역
220a : 제2 손상 영역 221 : 제2 수리 대상 영역
221a : 제2 손상 감지 영역 222 : 제3 수리 대상 영역
230 : 제3 부품 영역 240 : 제4 부품 영역
300 : 제1 기준 영역 310 : 제2 기준 영역

Claims (17)

  1. 차량 이미지(200)를 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 구분하는 부품 인식부(110);
    상기 차량 이미지(200)에서 미리 저장된 제2 학습 알고리즘을 이용하여 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 스크래치, 덴트, 깨짐, 찢어짐, 천공이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지하는 손상 유형 분석부(120);
    상기 구분된 부품 영역을 미리 저장된 제3 학습 알고리즘을 이용하여 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 상기 수리 유형에 대한 확률 값과, 손상이 발생된 부품 영역에 대한 이미지를 추출하는 수리 분석부(130);
    상기 구분된 부품 영역 중에서 상기 손상 유형이 감지된 영역과 중첩되는 적어도 하나 이상의 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출하는 손상 면적 산출부(140); 및
    상기 수리 분석부(130)와 손상 면적 산출부(140)에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지(200)에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력하는 손상 심도 분석부(150);를 포함하되,
    상기 최종 손상 심도 결과는 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)를 통해 산출되는 것을 특징으로 하는 차량의 손상 분석 시스템.
    - 여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까우며, 손상심도 클래스는 수리 유형에 따라 정의된 수치이고, 손상 심도 스코어는 손상유형과 면적에 비례하여 산출되는 수치임 -
  2. 제 1 항에 있어서,
    상기 차량의 손상 분석 시스템은 복수의 입력 이미지가 입력되면, 상기 입력된 이미지를 필터링 학습 알고리즘을 이용하여 견적 대상인 차량 이미지(200)만을 선별하여 상기 부품 인식부(110)와 손상 유형 분석부(120)로 출력하는 필터부(160)를 더 포함하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제1 학습 알고리즘은 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 손상된 차량의 이미지를 포함한 학습 데이터로부터 범퍼, 휀더, 도어, 트렁크, 램프, 후드, 그릴, 사이드 미러, 사이드 스텝으로 분류한 부품 영역을 학습하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  4. 제 3 항에 있어서,
    상기 부품 영역은 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 분류되고, 서로 다른 부품 영역에 대하여 다른 색상으로 표시하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 제2 학습 알고리즘은 Faster R-CNN을 이용하여 손상된 차량의 이미지를 포함한 학습 데이터로부터 스크래치, 덴트, 덴트-프레스라인, 깨짐, 찢어짐, 천공, 복합손상으로 분류한 손상 유형을 학습하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 제3 학습 알고리즘은 Inception ResNet v2를 이용하여 학습 데이터로부터 정상, 스크래치, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리 유형을 학습하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 손상 면적 산출부(140)는 미리 설정된 룰(Rule)에 기반하여 손상 영역을 추출하되,
    상기 룰은 촬영된 이미지가 근접하여 부품의 앞/뒤/좌/우 구분이 어렵거나 또는 단일 부품이 이미지의 네모서리 중에서 3개 이상 닿은 경우, 상기 부품은 제외하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  8. 제 7 항에 있어서,
    상기 손상 면적 산출부(140)는 차량 이미지(200)의 중앙부에 일정 크기의 감지 영역을 설정하고, 상기 감지 영역에 걸치지 않은 영역의 부품은 제외하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  9. 제 7 항에 있어서,
    상기 손상 면적 산출부(140)는 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출하되,
    상기 손상 면적은 부품별, 손상 유형별로 계산하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 제4 학습 알고리즘은 DNN(Deep Neural Network)을 이용하여 학습 데이터로부터 정상, 소손상 판금, 중손상 판금, 대손상 판금 및 교환 중 어느 하나의 수리에 대한 결과를 학습하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  11. 삭제
  12. 제 2 항에 있어서,
    상기 필터링 학습 알고리즘은 DenseNet을 이용하여 학습 데이터로부터 견적 대상, 개인정보, 문서, 차대번호, 차량으로부터 분리된 상태의 부품 및 계기판 중 어느 하나의 선별 유형을 학습하는 것을 특징으로 하는 차량의 손상 분석 시스템.
  13. a) 차량 이미지(200)가 입력되면, 부품 인식부(110)가 상기 입력된 차량 이미지(200)를 미리 저장된 제1 학습 알고리즘을 이용하여 하나 이상의 부품 영역으로 구분하는 단계;
    b) 손상 유형 분석부(120)가 상기 입력된 차량 이미지(200)를 미리 저장된 제2 학습 알고리즘을 이용하여 스크래치, 덴트, 깨짐, 찢어짐, 천공 및 상기 스크래치, 덴트, 깨짐, 찢어짐, 천공이 복수의 조합으로 발생된 복합손상으로 분류한 손상 유형을 감지하는 단계;
    c) 수리 분석부(130)가 상기 a) 단계에서 구분된 부품 영역을 미리 저장된 제3 학습 알고리즘을 이용하여 정상, 스크래치, 판금, 교환으로 분류된 수리 유형과, 상기 수리 유형에 대한 확률 값과, 손상이 발생된 부품 영역에 대한 이미지를 추출하는 단계;
    d) 손상 면적 산출부(140)가 상기 a) 단계에서 구분된 부품 영역 중에서 상기 b) 단계에서 상기 손상 유형이 감지된 영역과 중첩되는 적어도 하나 이상의 부품 영역을 추출하고, 상기 추출된 부품 영역에 기반하여 부품의 손상 면적을 산출하는 단계; 및
    e) 손상 심도 분석부(150)가 상기 c) 단계와 d) 단계에서 출력되는 정보를 미리 저장된 제4 학습 알고리즘을 이용하여 추출된 부품이 차량 이미지(200)에서 차지하는 영역의 비율과, 손상 유형에 따라 설정된 가중치, 손상 면적에 기반하여 산출된 수치를 종합한 부품의 최종 손상 심도 결과를 출력하는 단계;를 포함하되,
    상기 e) 단계는 손상 심도 분석부(150)가 최종 손상 심도 결과를 (포커스 감지 영역의 부품 비율)+(손상 심도 클래스)*(손상 심도 스코어)에 기반하여 산출하는 것을 특징으로 하는 차량의 손상 분석 방법.
    - 여기서, 포커스 감지 영역의 부품 비율은 부품의 포커스 룰 박스 넓이를 100으로 했을 때, 해당 부품이 박스 안에서 차지하는 영역의 비율이고, 부품이 사진의 중앙에 위치하게 촬영할수록 1에 가까우며, 손상심도 클래스는 수리 유형에 따라 정의된 수치이고, 손상 심도 스코어는 손상유형과 면적에 비례하여 산출되는 수치임 -
  14. 제 13 항에 있어서,
    상기 a) 단계는 복수의 입력 이미지가 입력되면, 필터부(160)가 상기 입력된 이미지를 필터링 학습 알고리즘을 이용하여 견적 대상인 차량 이미지(200)만을 선별하는 단계;를 더 포함하는 것을 특징으로 하는 차량의 손상 분석 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 a) 단계는 부품 인식부(110)가 인스턴스 세그멘테이션(Instance segmentation)을 기반으로 부품 영역 분류하고, 서로 다른 부품 영역에 대하여 다른 색상으로 표시하는 것을 특징으로 하는 차량의 손상 분석 방법.
  16. 제 13 항 또는 제 14 항에 있어서,
    상기 d) 단계는 손상 면적 산출부(140)가 손상 면적을 손상 픽셀수/부품의 픽셀수로부터 산출하고, 부품별, 손상 유형별로 손상 면적을 계산하는 것을 특징으로 하는 차량의 손상 분석 방법.
  17. 삭제
KR1020200040292A 2020-04-02 2020-04-02 차량의 손상 분석 시스템 및 방법 KR102148884B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200040292A KR102148884B1 (ko) 2020-04-02 2020-04-02 차량의 손상 분석 시스템 및 방법
PCT/KR2020/011167 WO2021201349A1 (ko) 2020-04-02 2020-08-21 차량의 손상 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200040292A KR102148884B1 (ko) 2020-04-02 2020-04-02 차량의 손상 분석 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102148884B1 true KR102148884B1 (ko) 2020-08-27

Family

ID=72237365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200040292A KR102148884B1 (ko) 2020-04-02 2020-04-02 차량의 손상 분석 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102148884B1 (ko)
WO (1) WO2021201349A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4006834A1 (en) * 2020-11-25 2022-06-01 Vehicle Service Group, LLC Damage detection using machine learning
KR102451148B1 (ko) * 2022-02-15 2022-10-06 주식회사 어메스 중고 자동차 가치 평가 솔루션 서비스 제공 방법 및 장치
KR102469794B1 (ko) * 2022-02-18 2022-11-23 주식회사 어메스 폐차장 관리 솔루션 서비스 제공 방법 및 장치
KR102479672B1 (ko) * 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
KR102479671B1 (ko) * 2021-11-30 2022-12-21 주식회사 오토피디아 차량 부품 정보를 제공하기 위한 방법
KR102518513B1 (ko) 2022-10-04 2023-04-05 주식회사 온유산업 차량 표면 결함 점검 시스템을 포함하는 세차장 관리 시스템 및 세차장 운용 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
WO2023163476A1 (ko) * 2022-02-24 2023-08-31 민팃(주) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
KR102597530B1 (ko) 2022-10-04 2023-11-03 주식회사 온유산업 타이어 점검 시스템을 포함하는 세차장 관리 시스템 및 세차장 운용 방법
WO2024042582A1 (ja) * 2022-08-22 2024-02-29 コグニビジョン株式会社 損傷情報検出システム、損傷情報検出方法、および損傷情報検出プログラム
WO2024096435A1 (ko) * 2022-10-31 2024-05-10 민팃(주) 전자 기기 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501264B2 (ja) * 2020-09-15 2024-06-18 株式会社アイシン 異常検出装置、異常検出プログラム、および異常検出システム
CN114723945A (zh) * 2022-04-07 2022-07-08 平安科技（深圳）有限公司 车损检测方法和装置、电子设备及存储介质
CN115588168A (zh) * 2022-09-27 2023-01-10 淮阴工学院 基于痕迹立体维度的路况事故分析方法以及测量装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001633A (ja) * 2002-05-31 2004-01-08 Takeo Kamigaki 車輌修理の支援方法、車輌修理の支援プログラム、車輌修理の支援システム
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
JP2017097477A (ja) * 2015-11-19 2017-06-01 株式会社日立製作所 保険業務支援システムおよび保険業務支援方法
KR20190069457A (ko) * 2017-04-11 2019-06-19 알리바바 그룹 홀딩 리미티드 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
KR20190137669A (ko) 2018-06-01 2019-12-11 한화손해보험주식회사 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
KR102109882B1 (ko) * 2019-03-11 2020-05-12 사단법인 보험개발원 인공 지능 기반 차량 손상 진단 및 수리비 산정 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001633A (ja) * 2002-05-31 2004-01-08 Takeo Kamigaki 車輌修理の支援方法、車輌修理の支援プログラム、車輌修理の支援システム
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
JP2017097477A (ja) * 2015-11-19 2017-06-01 株式会社日立製作所 保険業務支援システムおよび保険業務支援方法
KR20190069457A (ko) * 2017-04-11 2019-06-19 알리바바 그룹 홀딩 리미티드 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
KR20190137669A (ko) 2018-06-01 2019-12-11 한화손해보험주식회사 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
KR102109882B1 (ko) * 2019-03-11 2020-05-12 사단법인 보험개발원 인공 지능 기반 차량 손상 진단 및 수리비 산정 시스템 및 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4006834A1 (en) * 2020-11-25 2022-06-01 Vehicle Service Group, LLC Damage detection using machine learning
US11574395B2 (en) 2020-11-25 2023-02-07 Vehicle Service Group, Llc Damage detection using machine learning
KR102479672B1 (ko) * 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
KR102479671B1 (ko) * 2021-11-30 2022-12-21 주식회사 오토피디아 차량 부품 정보를 제공하기 위한 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
KR102451148B1 (ko) * 2022-02-15 2022-10-06 주식회사 어메스 중고 자동차 가치 평가 솔루션 서비스 제공 방법 및 장치
KR102469794B1 (ko) * 2022-02-18 2022-11-23 주식회사 어메스 폐차장 관리 솔루션 서비스 제공 방법 및 장치
WO2023163476A1 (ko) * 2022-02-24 2023-08-31 민팃(주) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
WO2024042582A1 (ja) * 2022-08-22 2024-02-29 コグニビジョン株式会社 損傷情報検出システム、損傷情報検出方法、および損傷情報検出プログラム
KR102518513B1 (ko) 2022-10-04 2023-04-05 주식회사 온유산업 차량 표면 결함 점검 시스템을 포함하는 세차장 관리 시스템 및 세차장 운용 방법
KR102597530B1 (ko) 2022-10-04 2023-11-03 주식회사 온유산업 타이어 점검 시스템을 포함하는 세차장 관리 시스템 및 세차장 운용 방법
WO2024096435A1 (ko) * 2022-10-31 2024-05-10 민팃(주) 전자 기기 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치

Also Published As

Publication number Publication date
WO2021201349A1 (ko) 2021-10-07

Similar Documents

Publication Publication Date Title
KR102148884B1 (ko) 차량의 손상 분석 시스템 및 방법
KR102097120B1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
CN106127747B (zh) 基于深度学习的汽车表面损伤分类方法及装置
KR102109882B1 (ko) 인공 지능 기반 차량 손상 진단 및 수리비 산정 시스템 및 방법
US11854181B2 (en) Systems and methods for utilizing machine-assisted vehicle inspection to identify insurance buildup or fraud
US8035639B2 (en) Method and apparatus for determining the alteration of the shape of a three dimensional object
CN115605889A (zh) 确定车辆零件损坏的方法
GB2554361A (en) Automatic image based object damage assessment
CN110569701A (zh) 计算机执行的车辆定损方法及装置
CN110009508A (zh) 一种车险自动赔付方法和系统
JP7300765B2 (ja) ディープラーニングに基づいた自動車部位別の破損程度の自動判定のためのモデル学習方法およびシステム
WO2021135513A1 (zh) 基于深度学习模型的车辆定损方法、装置、设备及介质
JP2024501066A (ja) 車両事故損失評価方法及び装置
WO2021190269A1 (zh) 车辆定损方法、车辆定损装置及应用其的电子设备
US20220358751A1 (en) Tool for labelling training images for a vehicle characteristic detection model
KR102197724B1 (ko) 충돌 성능 예측 장치 및 충돌 성능 예측 방법
CN116883313A (zh) 车身漆面缺陷快速检测方法、图像处理设备及可读介质
CN110570317B (zh) 用于车辆核损的方法及装置
Reddy et al. Automatic vehicle damage detection classification framework using fast and mask deep learning
US20230334642A1 (en) Vehicle Inspection Using a Mobile Application
Daya et al. Neural network approach for the identification system of the type of vehicle
Madheswari et al. Exterior Vehicular Damage Detection using Deep Learning
KR102531372B1 (ko) 차량 수리 정보 제공 시스템
US20230334866A1 (en) Remote Vehicle Inspection
US20230138430A1 (en) Method and apparatus for generating an adaptive training image dataset

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant