KR20190069457A - 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 - Google Patents

이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 Download PDF

Info

Publication number
KR20190069457A
KR20190069457A KR1020197012676A KR20197012676A KR20190069457A KR 20190069457 A KR20190069457 A KR 20190069457A KR 1020197012676 A KR1020197012676 A KR 1020197012676A KR 20197012676 A KR20197012676 A KR 20197012676A KR 20190069457 A KR20190069457 A KR 20190069457A
Authority
KR
South Korea
Prior art keywords
image
component
images
damage
damaged
Prior art date
Application number
KR1020197012676A
Other languages
English (en)
Other versions
KR102151365B1 (ko
Inventor
하이타오 장
주안 수
진롱 호우
지안 왕
신 구오
단니 쳉
유에 후
보쿤 우
얀킹 첸
Original Assignee
알리바바 그룹 홀딩 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알리바바 그룹 홀딩 리미티드 filed Critical 알리바바 그룹 홀딩 리미티드
Publication of KR20190069457A publication Critical patent/KR20190069457A/ko
Application granted granted Critical
Publication of KR102151365B1 publication Critical patent/KR102151365B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00664—
    • G06K9/22—
    • G06K9/3233—
    • G06K9/4628—
    • G06K9/4642—
    • G06K9/4671—
    • G06K9/6218—
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

본 출원의 실시예들은 이미지 기반의 차량 손실 평가 방법, 장치, 및 시스템, 및 전자 디바이스를 개시한다. 본 방법은: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 제1의 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지(local image) 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 제2의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및 식별된 제1의 차량 구성품, 식별된 제2의 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계를 포함한다. 본 출원의 실시예들을 이용함으로써, 차량 구성품의 손상 부분 및 손상 정도와 같은 특정 정보가 신속하면서, 정확하고, 신뢰성 있게 식별될 수 있으며, 그래서 손실 평가 결과가 보다 정확하고 신뢰적이며, 사용자 서비스 경험이 향상된다.

Description

이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
본 출원은 컴퓨터 이미지 데이터 처리 기술 분야에 속하는 것으로, 보다 구체적으로는 이미지 기반의 차량 손실 평가 방법과 장치, 및 전자 디바이스에 관한 것이다.
교통사고가 발생하면, 종종 보험회사의 배상청구 조정관이 사고 현장으로 가서 처리를 하고 사진 촬영을 통해 청구 근거를 확보하는 것을 기다릴 필요가 있다. 최근에는 자동차 소유자의 증가로 인해, 연간 교통사고의 수가 높은 수준을 유지하고 있다. 하지만, 차량 손실 평가 청구 서비스 처리는 종종 전문적인 보험회사 직원에 의한 현장 처리에 의존하게 되는데, 이는 고비용, 긴 대기 기간, 및 낮은 처리 효율을 초래할 수 있다.
현재, 사전 결정된 자동차 손상 부분들의 사전 결정 분류(predetermined classification)를 획득하기 위해 교통사고 현장 사진들이 자동으로 분석되는 몇가지 처리 방법들이 있다. 예를 들면, "차량 보험 청구 처리 사진의 분석 방법 및 시스템(Analysis Method And System For Vehicle Insurance Claims Settlement Photos)"라는 명칭의 공개번호 CN 105678622A를 갖는 발명은, 손상 부분 분류를 식별하기 위해 모바일 단말기에서 업로드한 청구 처리 사진들을 분석하고 분석 결과에 기초하여 알림(notification) 정보를 생성하기 위해 종래의 컨벌루션 신경망(convolutional neural network: CNN)을 이용하는 알고리즘을 개시한다. 하지만, 전술한 방법은 단순히 자동차의 전방, 측면, 또는 후방과 같은 차량 손상 부분의 분류를 결정한다. 어떠한 구체적인 손상 유형도 식별되지 않는다. 식별된 손상 부분에 대한 알림 정보는 주로, 수작업에 의한 손실 평가와 수작업으로 비교하기 위해 보험회사의 직원에 의해 사용되며, 손실 평가 계산에 있어서 보험회사 직원을 돕기 위한 기준 정보로 사용된다. 또한, 이 알고리즘은 CNN의 일반적인 객체(object) 식별 알고리즘만을 사용한다. 최종적인 차량 손실 평가의 결과는 여전히 수작업 검증에 의존한다. 인력과 시간 비용이 비교적 높으며, 상이한 보험 회사들은 차량 손실 평가에 대해 상이한 기준을 갖고 있다. 또한, 인간의 주관적인 요인에 영향을 받아서, 차량 손실 평가의 결과가 크게 달라지며 신뢰도가 상대적으로 낮다.
본 출원의 목적은 손상 차량 구성품의 손상 부분과 정도에 대한 구체적인 정보를 신속하면서, 정확하고, 신뢰성 있게 식별하기 위한, 이미지 기반의 차량 손실 평가 방법과 장치 및 전자 디바이스를 제공하는 것이다. 손실 평가의 결과가 보다 정확하고 신뢰적일 수 있고, 차량 손실 평가 처리가 신속하면서 효율적으로 행해질 수 있으며, 사용자 경험이 크게 향상된다.
본 출원에 제시된 이미지 기반의 차량 손실 평가 방법과 장치 및 전자 디바이스는 이하와 같이 구현된다.
이미지 기반의 차량 손실 평가 방법이 제시되며, 상기 방법은: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 로컬 이미지(local image) 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계를 포함한다.
이미지 기반의 차량 손실 평가 장치가 제시되며, 상기 장치는: 처리 대상 이미지들을 획득하도록 구성된, 이미지 획득 모듈과; 처리 대상 이미지들을 검사하고 처리 대상 이미지들 내에서 차량 구성품을 식별하도록 구성된, 제1 구성품 식별 모듈과; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하도록 구성된, 제2 구성품 식별 모듈과; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하도록 구성된, 손상 식별 모듈; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하도록 구성된, 손상 계산 모듈을 포함한다.
프로세서와 프로세서 실행 가능 명령어를 저장하도록 구성된 메모리를 포함하는 이미지 기반의 차량 손실 평가 장치가 제시되며, 명령어를 실행할 때, 프로세서는 다음의: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계를 이행한다.
컴퓨터 판독 가능 저장 매체가 제시되며, 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령어를 저장하고, 이 명령어가 실행될 때, 이하의: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계가 이행된다.
프로세서와 프로세서 실행 가능 명령어를 저장하도록 구성된 메모리를 포함하는 전자 디바이스가 제시되며, 명령어를 실행할 때, 프로세서는 다음의: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계를 이행한다.
I/O 인터페이스, 메모리, 중앙처리장치(CPU), 및 이미지 프로세서를 포함하는 이미지 기반의 차량 손실 평가 시스템이 제시되며, I/O 인터페이스는 처리 대상 이미지들을 획득하고 정비 계획서(maintenance plan)를 출력하도록 구성되고, 중앙처리장치는 이미지 프로세서에 결합되어: 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하며; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하며; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하며; 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하도록 구성되고, 중앙처리장치는 또한 처리 대상 이미지들 내에서 결정된 손상 구성품과 이 손상 구성품에 대응하는 결정된 손상 부분과 손상 유형을 포함하는 정보를 기초로, 정비 계획서를 생성하도록 구성된다.
본 출원에 제시된 이미지 기반의 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스에 의하면, 처리 대상 이미지들에 포함된 손상 구성품이 식별될 수 있고, 그리고 나서 손상 구성품의 손상 부분과 각 손상 부분에 대응하는 손상 유형이 제작된 손상 식별 모델을 기초로 식별될 수 있다. 그래서, 차량 구성품의 차량 손실 평가 정보가 정확하면서, 포괄적이고, 신뢰성 있게 획득될 수 있다. 본 출원의 실시예의 해법에서는, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 손상 정도 등이 식별될 수 있다. 또한, 유사한 차량 구성품의 로컬 상세 이미지에 대해, 구성품 유형이 또한 정확히 결정될 수 있고, 계산을 통해 얻어진 차량 손실 평가를 위한 정보의 신뢰도가 향상되며, 그 결과 이미지 기반의 차량 손실 평가 결과가 보다 신뢰적일 수 있고, 차량 손실 평가 처리의 결과에 대한 정확도와 신뢰도가 향상되며, 사용자 경험이 향상된다.
본 출원의 실시예 또는 기존 기술의 기술적 해법을 보다 명료하게 기술하기 위해, 이하에서는 실시예 또는 기존 기술을 설명하는데 필요한 첨부 도면을 간단히 소개한다. 자명하다시피, 이하의 설명의 첨부 도면들은 단지 본 출원에 기록된 몇몇 실시예를 도시할 뿐이며, 본 기술분야의 통상의 기술자는 창의적인 노력없이 이들 첨부 도면들로부터 다른 도면들도 여전히 도출해 낼 수 있다.
도 1은 본 출원의 일 실시예에 따른, 이미지 기반의 차량 손실 평가 방법을 예시하는 순서도.
도 2는 본 출원의 일 실시예에 따른, 로컬 이미지(local image) 내의 차량 구성품을 식별하는 일례의 프로세스를 예시하는 개략도.
도 3은 본 출원에 따른, 구성품 이미지를 식별하는 처리 프로세스를 예시하는 개략도.
도 4는 본 출원에 따른, 구성품 이미지를 사용하여 로컬 이미지 내의 구성품을 매칭하는 특정 시나리오를 예시하는 개략도.
도 5는 본 출원의 일 실시예에 따른, 손상 식별 모델의 네트워크 아키텍처를 예시하는 개략도.
도 6은 본 출원의 일 실시예에 따른, 구성품 식별 모델의 네트워크 아키텍처를 예시하는 개략도.
도 7은 본 출원의 다른 실시예에 따른, 이미지 기반의 차량 손실 평가 방법의 방법 절차를 예시하는 개략도.
도 8은 본 출원에 따른, 손상 구성품, 손상 구성품 내의 손상 부분, 및 손상 유형을 결정하는 방법을 예시하는 개략도.
도 9는 본 출원의 일 실시예에 따른, 이미지 기반의 차량 손실 평가 장치의 모듈 구조를 예시하는 개략도.
도 10은 본 출원의 다른 실시예에 따른, 이미지 기반의 차량 손실 평가 장치의 모듈 구조를 예시하는 대략도.
도 11은 본 출원의 일 실시예에 따른, 제2 구성품 식별 모듈의 모듈 구조를 예시하는 개략도.
도 12는 본 출원의 일 실시예에 따른, 전자 디바이스를 예시하는 개략적인 구조도.
도 13은 본 출원의 일 실시예에 따른, 차량 손실 평가의 처리 시나리오를 예시하는 개략도.
도 14는 본 출원의 일 실시예에 따른, 정비 계획서를 생성하기 위한 컴퓨터 구현 방법의 일례를 예시하는 순서도.
본 기술분야의 통상의 기술자가 본 출원의 기술적 해법을 보다 잘 이해할 수 있게 하기 위해, 이하에서는 본 출원의 실시예들의 첨부 도면을 참조하여 본 출원의 실시예의 기술적 해법을 명료하면서 온전하게 기술한다. 자명하다시피, 기술된 실시예들은 본 출원의 실시예들 전부가 아니라 단지 몇몇일 뿐이다. 창의적인 노력 없이 본 출원의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 얻어질 수 있는 모든 다른 실시예들도 본 출원의 보호 범위 내에 있게 된다.
도 1은 본 출원의 일 실시예에 따른, 이미지 기반의 차량 손실 평가 방법을 예시하는 순서도이다. 본 출원은 이하의 실시예들 또는 첨부 도면들에 예시된 장치의 구조 또는 방법의 동작 단계들을 제공한다. 하지만, 종래 방식으로 또는 창의적인 노력 없이도, 방법 또는 장치는 더 많은 동작 단계들 또는 국소적인 결합 후에 더 적은 수의 동작 단계들을 포함할 수 있거나, 또는 장치는 더 많은 모듈 유닛들, 또는 국소적인 결합 후에 더 적은 수의 모듈 유닛들을 포함할 수 있다. 논리적으로 필수적인 인과관계를 갖지 않는 단계들 또는 구조들의 경우에는, 이들 단계들의 실행 순서 또는 디바이스의 모듈 구조가 본 출원의 실시예들 또는 첨부 도면들에 도시된 실행 순서 또는 모듈 구조에 국한되지 않는다. 본 방법 또는 모듈 구조가 실제 장치, 서버, 또는 단말 제품에 적용될 때, 본 방법 또는 모듈 구조는 실시예들 또는 첨부 도면들에 예시된 방법 또는 모듈 구조를 기초로 순차적으로 실행되거나 또는 병렬로 실행될 수 있다(예를 들면, 심지어는 분산 처리 또는 서버 클러스터링의 구현 환경을 포함하는, 병렬 프로세서 또는 멀티스레드 처리 환경).
현재는, 긁힘 사고와 같은 실제 교통사고가 처리될 때, 일반적으로 현장으로부터 대피하기 전에 보험회사의 청구 조정관(claims adjuster)이 현장에 와서 현장의 사진을 촬영하는 것을 기다릴 필요가 있는데, 그래서 종종 교통 체증과 많은 시간의 낭비를 초래하고 손실 평가 결과 정보를 획득하기 위한 대기 기간을 장기화한다. 하지만, 본 출원의 실시예에 따르면, 교통사고가 발생하면, 관련 차량 소유주는 일반적으로 그들 자신의 차량 또는 다른 관련 소유주의 차량의 손실 또는 손실 평가 상태를 알기를 원한다. 이 경우에, 관련 소유주는 교통사고 현장의 사진을 촬영할 수 있다. 사진들은 사고 현장에 대한 증거로 사용될 수도 있고, 추가적으로 사진들은 단말기 앱(application: APP)을 통한 자동 차량 손실 평가 및 청구 상태 액세스를 위해서도 사용될 수 있다. 이와 같이, 신속하면서, 포괄적이고, 정확하며, 신뢰성 있는 차량 손실 평가 처리에 대한 관련 차량 소유주의 요구가 충족된다.
명료함을 위해, 차량 소유주가 모바일 단말기 앱을 사용하여 차량 손실 평가 서비스를 요청하는 특정 적용 시나리오가 이하의 실시예에 기술된다. 이 실시예의 적용 시나리오에서는, 차량 소유주가 교통사고 현장에서 모바일 단말기(예를 들면, 휴대폰)를 사용하여 손상된 차량 부분과 차량 전체를 사진 촬영할 수 있다. 어떤 경우에는, 차량 소유주가 차량 번호, 사용자 ID 등을 또한 사진 촬영할 수 있다. 그 후에, 차량 소유주 사용자는 촬영한 사진(이미지)을 단말기 앱(애플리케이션)을 통해 업로드한다. 차량 손실 평가를 위한 처리 대상 이미지들을 획득한 후에는, 클라우드 서버가 먼저 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 및 대응하는 손상 유형을 식별할 수 있다. 그리고 나서, 본 출원의 실시예의 해법에 기초하여 얻어진 차량 손실 평가를 위한 보다 정확하고, 신뢰적이며, 포괄적인 정보에 기초하여, 차량 모델, 위치, 수리 센터 등과 같은 정비 전략(maintenance strategy) 정보를 기초로 상이한 가격 데이터베이스를 호출하고, 궁극적으로는 적어도 하나의 정비 계획서를 생성하도록 규칙 엔진(rule engine)이 설계될 수 있다. 정비 계획서는 차량 소유주 사용자에게 회신될 수 있으며, 그래서 차량 소유주는 차량 손실 평가의 결과를 신속하게 획득할 수 있다. 물론, 사용자가 보험회사의 직원이면, 사용자는 정비 계획서를 보험회사로 회신할 수 있거나, 또는 정비 계획서의 결과를 직접 디스플레이할 수 있다. 하지만, 본 기술분야의 통상의 기술자는 본 해법의 본질이, 보험회사 또는 수리 센터의 자동 차량 손실 평가, 또는 인가 대리점(authorized dealership) 혹은 다른 서비스 제공자가 제공하는 셀프서비스 차량 손실 평가 서비스와 같은, 차량 손실 평가의 다른 실시예 시나리오들에도 또한 적용될 수 있다는 것을 이해할 수 있다.
구체적인 실시예가 도 1에 도시되어 있다. 본 출원은 이미지 기반의 차량 손실 평가 방법의 일 실시예를 제공한다. 본 방법은 다음의 단계들을 포함할 수 있다.
S1: 처리 대상 이미지들(to-be-processed images)을 획득한다.
서버가 클라이언트 또는 제3자 서버(예를 들면, 보험회사의 서버)로부터 차량 손실 평가를 위한 처리 대상 이미지들을 획득할 수 있다. 처리 대상 이미지들은 일반적으로 차량 소유주 또는 보험회사 직원이 현장에서 촬영한 복수의 이미지들에 대한 이미지 정보를 포함한다. 처리 대상 이미지들은 차량의 이미지, 사고 현장의 이미지 등을 포함할 수 있으며, 물론 사용자가 업로드하는 차량 번호, 사용자 ID, 및 (신호등, 랜드마크(landmark) 등과 같은) 주변 환경 정보의 이미지들도 또한 포함할 수 있다. 일반적으로 이들 처리 대상 이미지들이 단일 구성품의 복수의 사진들인 지는 확실하지 않다. 이 실시예에서, 처리 대상 이미지는 다양한 그래픽 또는 사진들을 포함할 수 있는데, 이들 그래픽 또는 사진들은 일반적으로 종이 상의 이미지, 필름 또는 사진 상의 이미지, 텔레비젼 상의 이미지, 프로젝터 또는 컴퓨터 스크린 상의 이미지 등을 포함할 수 있는 시각 효과를 갖는 이미지이다.
처리 대상 이미지들이 복수의 유형의 이미지 정보를 포함하면, 처리 대상 이미지들은 이미지 분류 알고리즘을 사용하여 분류되며, 차량 손실 평가 처리 정보와 관련된 이미지가 차량 손실 평가 처리를 위한 이미지로 선택된다. 예를 들어, 손상 부분과 손상 유형을 식별하는데 유용한 차량 손실 평가 처리를 위한 이미지를 식별하기 위해 이미지 분류 알고리즘을 사용하여 분류가 행해질 수 있다. 처리 대상 이미지들의 구체적인 분류는 시나리오 처리 요건을 기초로 하여 분류 및 설정될 수 있다. 예를 들면, 차량 손실 평가 처리를 위한 이미지들은 차량 이미지를 포함할 필요가 있다. 처리 대상 이미지들은 차량 전체의 파노라마 뷰(panoramic view)의 이미지, 복수의 구성품들을 포함하는 하프 뷰(half view)의 이미지, 차량 구성품 상세(details)의 뷰 등으로 분류될 수 있다. 차량 손실 평가 처리에 있어서 차량 구성품 또는 손상 부분의 식별과 관련되지 않은 이미지들은 별도로 분류되거나 또는 해당 카테고리로 분류될 수 있다. 예를 들면, ID 사진, 사고 지점의 신호등 사진, 운전자의 인물사진 등이 있다. 이미지 분류 알고리즘은 ResNet(Residual Network, residual network)과 같은 컨벌루션 신경망(convolutional neural network: CNN) 모델을 사용할 수 있는데, 이 CNN 모델은 분류된 이미지들을 사용하여 트레이닝된다.
선택적인 실시예에서, 처리 대상 이미지들의 이미지 품질이 추가로 검사될 수 있으며, 이미지 품질이 요건을 충족하지 못하는 처리 대상 이미지는 삭제될 수 있다. 구체적으로, 처리 대상 이미지의 이미지 품질이 기설정 처리 요건을 충적하는 지가 결정될 수 있다. 이미지 품질이 상대적으로 낮으면, 예를 들어 사진이 흐릿하고 식별될 수 없으면, 구성품 이미지는 폐기될 수 있으며, 사용자에게 초점과 조명 등과 같이 이미지 촬영 중에 선명도에 영향을 미칠 수 있는 요인들에 주의를 기울이라고 안내하는 피드백이 모바일 단말기 앱에 전송된다. 이미지 품질은 퍼지 정도(fuzzy degree) 문턱값, 정보 엔트로피 값 등을 기초로 결정될 수 있다.
다른 실시예에서는, 처리 대상 이미지들이 획득되고 난 후에 또는 전술한 이미지 품질 결정 및 이미지 분류 중 적어도 하나가 처리되고 난 후에, 유사도(similarity)가 기설정 문턱값에 도달하는 처리 대상 이미지들에 대해 중복제거(deduplication) 처리가 추가로 행해질 수 있다. 이와 같이, 동일한 각도에서 반복적으로 촬영된 높은 유사도를 갖는 이미지들은 삭제될 수 있으며, 높은 이미지 품질을 갖는 처리 대상 이미지가 처리를 위해 선택된다.
S2: 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별한다.
이 실시예의 시나리오에서는, 처리 대상 이미지들을 획득한 후에, 처리 대상 이미지들에 포함된 차량 구성품을 식별하기 위해 클라우드 서버가 사전 제작된 구성품 식별 모델을 이용하여 처리 대상 이미지들을 검사할 수 있다. 하나의 처리 대상 이미지가 하나 이상의 차량 구성품들을 포함하는 것이 식별되면, 처리 대상 이미지 내의 차량 구성품들의 (여기서는 구성품 구역들로 지칭될 수 있는) 위치 구역들에 대한 정보가 계산을 통해 결정된다. 이 실시예에서, 차량 구성품은 일반적으로 차량에 있는 구성품, 예를 들면 전방 범퍼, 왼쪽 앞문, 후미등 등이다.
이 실시예에서는, 이미지 내의 차량 구성품을 식별하기 위한 구성품 식별 모델이 설계된 머신러닝(machine learning) 알고리즘을 사용하여 사전에 제작될 수 있다. 구성품 식별 모델은 샘플 사진들을 대상으로 트레이닝되고 난 후에, 어떤 차량 구성품들이 구성품 이미지에 포함된 지를 식별할 수 있다. 이 실시예에서는, 구성품 식별 모델을 제작하기 위해 심층 신경망(deep neural network)의 네트워크 모델 또는 변형 네트워크 모델이 샘플 이미지를 사용하여 트레이닝될 수 있다. 예를 들면, 구성품 식별 모델은 입력 모델에 의해 트레이닝된 완전 연결 계층(fully connected layer), 손상 샘플 사진 등을 참조하여, 컨벌루션 신경망(convolutional neural network: CNN)과 구역 제안 네트워크(region proposal network: RPN)를 기초로 제작 및 생성될 수 있다. 그래서, 본 출원의 방법의 다른 실시예에서는, 차량 구성품을 식별하기 위해 처리 대상 이미지들을 검사하기 위해 다음과 같은 식별 모델이 사용된다.
컨벌루션 계층(convolution layer)과 구역 제안 계층(region proposal layer)의 네트워크 모델을 기초로 샘플 데이터 트레이닝을 통해 구축 및 생성된 심층 신경망.
처리 대상 이미지들의 경우에, 차량 구성품이 식별될 수 있는 이미지를 기초로, 구성품 유형이 심층 신경망을 사용하여 식별된다. 컨벌루션 신경망은 일반적으로 컨벌루션 계층(CNN)과 활성화 계층(activation layer)과 같은 다른 중요한 계층들로 주로 구성된 신경망을 지칭하며, 주로 이미지 식별에 사용된다. 본 실시예에 기술된 심층 신경망은 컨벌루션 계층과 (입력 모델에 의해 트레이닝된 손상 샘플 이미지, 여러 개의 정규화 계층, 및 활성화 계층과 같은) 다른 중요한 계층들을 포함할 수 있으며, 구역 제안 네트워크와 함께 네트워크를 형성한다. 컨벌루션 신경망은 일반적으로 이미지 처리에 있어서의 2차원 이산 컨벌루션 연산(discrete convolution operation)을 인공 신경망과 결합한다. 컨벌루션 연산은 자동 특징 추출에 사용될 수 있다. (임의의 크기의) 사진으로부터 추출된 (컨벌루션 신경망을 이용하여 추출된 2차원 특징일 수 있는) 특징이 구역 제안 네트워크(RPN)에 입력될 수 있으며, 구역 제안 네트워크는 한 세트의 직사각형 타겟 제안 박스(rectangular target proposal box)를 출력한다. 각 박스는 하나의 객체의 점수(score)를 갖는다. 혼동을 피하기 위해, 본 실시예에서는 컨벌루션 신경망(CNN)이 컨벌루션 계층(CNN)으로도 지칭될 수 있고, 구역 제안 네트워크(RPM)가 구역 제안 계층(RPN)으로도 지칭될 수 있다. 본 출원의 다른 실시예에서는, 구성품 식별 모델이, 컨벌루션 신경망 또는 구역 제안 네트워크를 기초로 한 개선된 변형 네트워크 모델과, 샘플 데이터 트레이닝을 통해 구축 및 생성된 심층 컨벌루션 신경망을 더 포함할 수 있다.
전술한 실시예에서 사용된 모델들과 알고리즘들은 동일 유형의 모델들 또는 알고리즘들 일 수 있다. 구체적으로, 예를 들면 컨벌루션 신경망과 구역 제안 네트워크를 기초로 한 다양한 모델들과 그 변형이 고속(Faster) R-CNN, YOLO, 및 Mask-FCN과 같은 구성품 식별 모델에 적용될 수 있다. ResNet, 인셉션(Inception), VGG 등과, ResNet, 인셉션(Inception), VGG 등의 변형과 같은 임의의 CNN 모델이 컨벌루션 신경망(CNN)에 사용될 수 있다. 일반적으로, 객체 식별에 우수한 기능을 하는 인셉션(Inception) 또는 ResNet과 같은 완숙형(mature) 네트워크 구조가 신경망의 컨벌루션 신경망(CNN) 부분에 사용될 수 있다. 예를 들어, ResNet 네트워크에서, 입력이 사진이면, 그 출력은 복수의 구성품 구역들과, 그 대응하는 구성품 분류들 및 신뢰수준(여기서 신뢰수준은 식별된 차량 구성품의 진본성(authenticity)의 정도를 나타내는 파라미터임)일 수 있다. 고속 R-CNN, YOLO, Mask-FCN 등은 모두 컨벌루션 계층을 포함하며 본 실시예에 적용될 수 있는 심층 신경망이다. 본 실시예에서 사용되는 심층 신경망은 구역 제안 계층과 CNN 계층을 참조하여 처리 대상 사진 내의 차량 구성품을 식별할 수 있고, 처리 대상 이미지 내의 차량 구성품의 구성품 구역을 결정할 수 있다.
본 출원의 일 실시예에서는, 처리 대상 이미지들을 검사하고 처리 대상 이미지들 내에서 차량 구성품을 식별하기 위한 구성품 식별 모델을 구현하기 위해 별도의 알고리즘 서버가 사용될 수 있음을 주목해야 한다. 예를 들면, 사용자에 의해 업로드되는 처리 대상 이미지를 획득하고 정비 계획서를 출력하도록 서비스 서버가 설정된다. 또한, 알고리즘 서버도 서비스 서버 내의 처리 대상 이미지를 검사 및 식별하고 처리 대상 이미지 내의 차량 구성품을 결정하기 위해, 제작된 구성품 식별 모델을 저장할 수 있도록 또한 설정될 수 있다. 물론, 전술한 처리는 동일한 서버에 의해서도 또한 실행될 수 있다.
S3: 식별된 차량 구성품을 포함하는 구성품 이미지와 차량 구성품을 식별하지 못한 처리 대상 이미지들 내의 로컬 이미지(local image) 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정한다.
본 발명의 이 실시예에서, 획득된 처리 대상 이미지들은 일반적으로 다양한 유형이다. 예를 들면 구성품의 로컬 상세 이미지(local detail image)에 대한 몇몇 이미지들 Tu의 경우에, 구성품 유형과 구성품 위치는 알고리즘 모델 등을 사용해서는 직접 식별될 수 없다. 이들 이미지들은 여기서 로컬 이미지라 지칭될 수 있다. 그래서 본 출원의 이 실시예에서는, 로컬 이미지의 차량 구성품이 알고리즘 모델과 식별된 차량 구성품을 포함하는 다른 이미지들을 사용하여 식별될 수 있다. 예를 들면, 전술한 심층 신경망에 의해 식별된 제1 자동차 구성품을 포함하는 구성품들을 기초로 이미지 매칭을 수행하고, 어느 구성품 이미지들이 로컬 이미지에 대한 정보를 포함하는지를 계산한다. 결국, 이미지 매칭의 결과에 기초하여 로컬 이미지 내의 (전술한 식별된 차량 구성품들에서는 구성품 유형일 수 있는) 차량 구성품이 결정된다.
구체적으로, 일례에서, 사용자가 업로드한 10개의 이미지들 중에서 6개가 차량 자체에 대한 정보를 포함하고, 나머지들은 ID 이미지들이다. 6개의 처리 대상 이미지들 중에서 P1이 차량의 구성품의 로컬 상세 이미지이다. 제작된 구성품 식별 모델은 이미지 P1에서 구성품 유형과 구성품 위치를 식별할 수 없지만, 나머지 5개의 처리 대상 이미지들 내에 포함된 차량 구성품들이 식별된다. 이 경우에, 이미지 P1이 나머지 5개의 이미지들 P2, P3, P4, P5 각각에 매칭될 수 있는데, 5개의 이미지들의 위치 구역이 이미지 P1의 이미지 정보와 매치되는지 및 요건, 예를 들면 매칭 정도가 가장 높으며 최소 매칭 정도 요건을 충족하는지를 계산 및 결정한다. 매칭에 사용되는 데이터는 이미지 픽셀의 시각 특징 데이터(visual feature data), 예를 들면 RGB, 구배(gradient), 그라데이션(gradation) 등일 수 있으며, 당연히 다른 이미지 데이터 정보일 수도 있다. 이미지 매칭 후에, P2에 포함된 차량 구성품의 로컬 위치가 이미지 P1 내의 차량 구성품의 로컬 위치와 가장 유사한지 및 최소 유사도 요건을 만족하는 지가 식별된다. 이 경우에, P2의 대응하는 위치에 있는 차량 구성품이 이미지 P1 내의 식별된 차량 구성품으로 사용될 수 있다.
이미지를 곱셈(multiplication)을 위해 벡터로 변환하는 것(converting)과 같은, 직교 좌표계에서의 종래의 이미지 변환은 선형 변환(linear transformation)일 수 있다. 하지만 차량 손실 평가 처리에서는, 손상 구성품이 정상 상태의 이미지 정보와 비교하여 필시적으로 변형되었거나, 손상되지 않은 구성품에 비해 변위되었을(displaced) 것이다. 본 출원에 제시된 방법의 다른 실시예에서는, 애파인 변환(affine transformation) 기반의 이미지 데이터 처리가 이러한 실시예의 시나리오에 제공될 수 있다. 그래서 구성품 이미지가 보다 정확히 식별될 수 있는데, 특히 손상 구성품의 이미지일 때 더욱 그러하다. 애파인 변환은 애파인 조합(affine combination)을 만족하는 변환을 지칭하며, 선형 변환에 트랜슬레이션(translation)을 더한 것으로 이해될 수 있다. 선형 변환은 트랜슬레이션을 나타낼 수 없지만, 애파인 변환은 트랜슬레이션을 나타낼 수 있다.
로컬 이미지 Tu 내의 구성품 유형과 구성품 위치가 다른 이미지 Tk를 사용하여 식별되면, 이미지 u 내의 구성품 유형과 구성품 위치를 획득하기 위하여, Tk로부터 u에 포함된 위치들을 포함하는 이미지 k를 찾고 u와 k 사이의 애파인 변환을 식별하기 위해, Tu 내의 각 이미지 u가 Tk 내의 이미지에 매칭된다. 도 2는 본 출원에 따른, 로컬 이미지 내의 차량 구성품을 식별하는 일 실시예의 프로세스를 예시하는 개략도이다. 도 2에 도시된 바와 같이, 실시예의 프로세스의 구체적인 단계들은 이하의 것을 포함한다:
S30: 컨벌루션 신경망을 사용하여 로컬 이미지의 제1의 컨벌루션 특징 데이터(convolutional feature data)를 추출하고, 사전 결정 알고리즘을 사용하여 로컬 이미지의 제1의 로컬 특징점 세트(local feature point set)를 추출한다.
이 실시예에서는, 구성품 이미지 u의 제1의 컨벌루션 특징 데이터 x가 추출될 수 있다. 예를 들면, 컨벌루션 신경망 Np가 구축되고, 컨벌루션 신경망 Np 내의 풀링 계층(pooling layer)의 최종 출력 벡터가 구성품 이미지 u의 컨벌루션 네트웨크 특징으로 사용된다.
제1의 로컬 특징점 세트는 SIFT(scale-invariant feature transform: 스케일 불변 특징 변환)를 사용하여 획득될 수 있으며, 이미지 u의 제1의 로컬 특징점 세트 y가 추출된다. 본 출원의 일 실시예에서는, SIFT가 이미지의 로컬 특징 데이터로 사용된다. 물론, 다른 실시예에서는 다른 특징 데이터, 예컨대 FAST(features from accelerated segment test, 코너 검출 방법)와 같은 특징도 또한 사용될 수 있다.
S31: 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 획득하기 위해, 제1의 컨벌루션 특징 데이터를 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교한다.
이미지 매칭에 사용되는 구성품 이미지로부터 복수의 샘플링 구역들이 선택될 수 있다. 예를 들면, 각 샘플링 구역의 크기는 구성품 이미지 또는 크롭 구성품 이미지(cropped component image)의 사이즈와 동일하게 설정되며, 샘플링 구역들은 구성품 이미지의 상단 좌측(upper left) 코너로부터 순차적으로 선택된다. 구성품 이미지의 모든 샘플링 구역들이 획득되고 난 후에 샘플링 구역들의 세트가 구성될 수 있다. 각 샘플링 구역의 컨벌루션 특징 데이터가 계산되고, 전술한 제1의 컨벌루션 특징 데이터가 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교되며, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터에 가장 유사한 샘플링 구역이 획득되어 유사 구역(similar region)으로 사용된다.
다른 실시예에서는, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 획득하기 위해, 제1의 컨벌루션 특징 데이터가 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교되는 단계가 다음의 단계를 포함한다: 구성품 이미지에 대해, 슬라이딩 윈도우(sliding window)를 사용하여 구성품 이미지 내의 슬라이딩 윈도우 구역의 제2의 컨벌루션 특징 데이터 - 제2의 컨벌루션 특징 데이터는 컨벌루션 특징 데이터 x를 추출하는데 사용된 것과 동일한 컨벌루션 신경망을 사용하여 얻어짐 - 을 추출하고, 제2의 컨벌루션 특징 데이터 세트를 획득하는 단계와; 제2의 컨벌루션 특징 데이터 세트로부터, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터에 가장 유사한 유사 구역을 선택하는 단계.
특정 예에서, Tk 내의 각 이미지 t에 대해, 제1의 컨벌루션 특징 데이터 x를 추출하는데 사용된 것과 동일한 컨벌루션 신경망을 이용함으로써, 상이한 크기의 슬라이딩 윈도우들이 구성품 이미지 내의 상이한 구역들의 제2의 컨벌루션 특징 데이터를 추출하는데 사용될 수 있다. 그 제2의 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터 x에 가장 유사한 구역 r이 모든 구역들로부터 선택된다. 유사도는 코사인 유사도(cosine similarity)를 사용하여 계산될 수 있다.
S32: 사전 결정 알고리즘을 사용하여 유사 구역의 제2의 로컬 특징점 세트를 추출하고, 매칭 포인트 쌍(matching point pair)을 획득하기 위해 제1의 로컬 특징점 세트와 제2의 로컬 특징점 세트를 매칭하며, 애파인 변환 중에 매칭 포인트 쌍의 위치 오류(location error)를 최소화함으로써 로컬 이미지와 구성품 이미지 사이의 애파인 변환을 획득한다.
매칭 포인트 쌍의 그룹을 획득하기 위해, u의 로컬 특징점 세트가 r의 로컬 특징점 세트와 매칭되며, 그리고 나서 애파인 변환 중에 매칭 포인트 쌍의 위치 오류를 최소화함으로써 애파인 변환이 획득된다.
다른 실시예에서는, 더 넓은 범위에서 더 많은 로컬 특징 데이터를 획득하고 매칭 처리 신뢰도를 향상시키기 위해, 유사 구역의 이미지 구역 범위가 사전에 결정된 방식으로 더 확장될 수 있다. 그에 따라, 제2의 로컬 특징점 세트는 그 이미지 구역 범위가 확장된 유사 구역의 추출된 로컬 특징점 세트를 포함한다.
사전에 결정된 방식으로 유사 구역의 이미지 구역 범위를 확장하는 방식은 처리 요건에 따라 맞춤화(customize)될 수 있다. 본 출원의 일 실시예에서는, 사전에 결정된 방식으로 유사 구역의 이미지 구역 범위가 확장되는 것이 이하의 것을 포함할 수 있다:
유사 구역의 좌측, 우측, 상부측, 및 하부측이 사전 설정된 백분율(percentage)만큼 연장된다. 이와 달리, 유사 구역의 이미지 구역 범위는 충분한 개수의 제2의 로컬 특징점들을 포함하도록 사전 설정된 백분율 범위 내에서 연장된다. 예를 들어, 대응하는 제1의 로컬 특징점들의 개수의 2배를 포함하도록 이루어진다. 예를 들면, 유사 구역의 이미지 구역 범위가 50% 확장될 수 있는데, 유사 구역 r의 각 측면이 50% 연장되며(이미지는 일반적으로 정사각형 이미지가 되도록 전처리된다), 그래서 특징 추출의 데이터 요건이 충족될 수 있으며, 계산량(computing amount)이 적절히 제어될 수 있다.
S33: 로컬 이미지 내의 차량 구성품으로서, 구성품 이미지 내에 있으며 최소의 위치 오류를 갖는 이미지 구역에 대응하는 구성품을 선택한다.
단계 S32에서 최소의 매칭 오류를 갖는 이미지 구역이 구성품 이미지 u의 매칭 이미지 k로 선택되며, 구성품 이미지 u의 구역이며 대응하는 애파인 변환을 통해서 k에 대해 획득된 대응 구역에 대응하는 구성품 유형이 구성품 이미지 u의 구성품 유형으로 사용된다.
전술한 실시예에 제시된 처리 방식을 사용함으로써, 구성품의 로컬 상세 이미지와 같은 처리 대상 이미지의 특정 구성품 유형이 단일 이미지에 기초해서는 결정될 수 없을 때, 이러한 로컬 상세 이미지가 그 구성품 유형과 구성품 위치가 알려진 다른 처리 대상 이미지에 매칭될 수 있으며, 그래서 구성품의 로컬 상세 이미지의 구성품 유형을 결정할 수 있게 된다. 구체적으로, 일례의 실시예에서는, 이미지 SIFT 및 CNN 특징에 기초하여 샴 네트워크(Siamese networks)의 네트워크 구조를 사용하여 이미지 매칭이 행해질 수 있으며, 그래서 매칭된 이미지들 사이에 애파인 변환을 획득할 수 있고, 그 결과 대응 위치에서 구성품 유형을 획득하고 로컬 이미지 내의 제2의 차량 구성품을 결정할 수 있다. 도 3은 본 출원에 따른, 구성품 이미지를 식별하는 처리 프로세스를 예시하는 개략도이다. 도 4는 로컬 상세 이미지의 구성품 유형을 결정하기 위해 구성품 이미지가 매칭에 사용되는 특정 시나리오를 예시하는 개략도이다. 도 4에서, 긁힘(scrape)만이 로컬 이미지로부터 볼 수 있으며, 구성품은 식별될 수 없다. 로컬 이미지가 그 차량 구성품이 이미 식별된 구성품 이미지에 매칭되고 난 후에, 도 4의 로컬 이미지 내의 손상 부분을 포함하는 구성품이 전방 범퍼라는 것이 식별된다.
S4: 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별한다.
처리 대상 이미지들을 획득하고 난 후에, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하기 위해, 클라우드 서버측이 사전 제작된 손상 식별 모델을 이용하여 구성품 이미지를 검사할 수 있다. 이 실시예에서, 손상 부분은 일반적으로 차량에서 손상된 부분이다. 손상된 차량 구성품은 복수의 손상 부분들을 포함할 수 있으며, 각 손상 부분은 손상 유형(예를 들면, 심한 긁힘 또는 경미한 변형)에 대응한다. 이 실시예에서는, 처리 대상 사진 내의 손상 부분의 위치 구역(위치 구역은 여기서 손상 구역으로 지칭될 수 있으며, 손상 부분에 대응하는 특정 손상 구역 또는 손상 구역의 사진 구역 데이터는 손상 부분의 엔티티 데이터(entity data) 정보를 나타내는 것으로 이해할 수 있음)이 식별될 수 있으며, 손상 유형을 식별하기 위해 손상 구역이 검사될 수 있다. 이 실시예에서, 손상 유형은 경미한 긁힘, 심한 긁힘, 경미한 변형, 중간 정도의 변형, 심한 변형, 및 검사를 위해 분해가 필요함과 같은 유형을 포함할 수 있다.
이 실시예에서, 이미지 내의 손상 부분과 손상 유형을 식별하는데 사용되는 손상 식별 모델은 설계된 머신러닝 알고리즘을 이용하여 사전 제작될 수 있다. 샘플 트레이닝 후에, 손상 식별 모델은 처리 대상 이미지들 내에서 하나 이상의 손상 부분들과 그 대응하는 손상 유형들을 식별할 수 있다. 이 실시예에서, 손상 식별 모델은 심층 신경망의 네트워크 모델 또는 변형 네트워크 모델을 사용하여 샘플 트레이닝을 통해 제작 및 생성될 수 있다. 본 출원에 제시된 방법의 다른 실시예에서는, 손상 식별 모델이 입력 모델에 의해 트레이닝된 손상 샘플 사진들과 완전 연결 계층(fully connected layer)을 참조하여 컨벌루션 신경망(convolutional neural network: CNN)과 구역 제안 네트워크(region proposal network: RPN)를 기초로 제작될 수 있다. 그래서, 본 출원의 방법의 다른 실시예에서는, 손상 부분과 손상 유형을 식별하기 위해 처리 대상 이미지들을 검사하기 위해 다음의 식별 모델이 사용된다:
301: 컨벌루션 계층과 구역 제안 계층의 네트워크 모델에 기초하여 샘플 데이터를 기초로 한 트레이닝 후에 구축된 심층 신경망.
컨벌루션 신경망은 일반적으로 컨벌루션 계층(CNN)과 활성화 계층(activation layer)과 같은 다른 구조들로 주로 구성되는 신경망을 지칭하며, 이미지 인식에 주로 사용된다. 본 실시예에서, 심층 신경망은 컨벌루션 계층과 (입력 모델에 의해 트레이닝된 손상 샘플 사진들, 여러 개의 정규화 계층(normalized layers), 및 활성화 계층과 같은) 다른 중요한 계층들을 포함할 수 있으며, 구역 제안 네트워크(RPN)와 함께 네트워크를 형성한다. 컨벌루션 신경망은 일반적으로 이미지 처리에 있어서의 2차원 이산 컨벌루션 연산(discrete convolution operation)을 인공 신경망과 결합한다. (임의의 크기)의 사진으로부터 추출된 (컨벌루션 신경망을 사용하여 추출된 2차원 특징일 수 있는) 특징이 구역 제안 네트워크(RPN)의 입력이 될 수 있으며, 구역 제안 네트워크는 한 세트의 직사각형 타겟 제안 박스(rectangular target proposal box)를 출력한다. 각 박스는 하나의 객체의 점수(score)를 갖는다. 마찬가지로 혼동을 피하기 위해, 본 실시예에서는 컨벌루션 신경망(CNN)이 컨벌루션 계층(CNN)으로도 지칭될 수 있고, 구역 제안 네트워크(RPM)가 구역 제안 계층(RPN)으로도 지칭될 수 있다. 본 출원의 다른 실시예에서는, 손상 식별 모델이, 컨벌루션 신경망 또는 구역 제안 네트워크를 기초로 한 개선된 변형 네트워크 모델과, 샘플 데이터 트레이닝을 통해 구축 및 생성된 심층 컨벌루션 신경망을 더 포함할 수 있다.
전술한 실시예에서는, 단일의 손상 샘플 이미지 내의 복수의 손상 부분들이 모델 트레이닝 중에 식별될 수 있다. 구체적으로, 샘플 트레이닝 중에, 입력은 사진이고, 출력은 복수의 사진 구역들 및 대응하는 손상 유형들이다. 마킹 데이터를 사용한 미니 배치 경사 하강법(mini-batch gradient descent) 트레이닝을 통하여, 선택된 신경망 파라미터가 획득될 수 있다. 예를 들어, mini-batch=32이면, 32개의 트레이닝 이미지들이 트레이닝을 위한 입력으로 동시에 사용된다. 마킹 데이터는 구역 및 해당 유형이 마킹된 이미지이며, 실제 차량 손상 이미지를 수작업으로 마킹함으로써 획득될 수 있다. 이 신경망에서, 입력은 이미지이며, 출력 구역은 이미지 내의 손상 부분들의 분량(quantity)과 관련된다. 구체적으로, 예를 들어 하나의 손상 부분이 있으면, 하나의 이미지 구역이 출력되고; k개의 손상 부분들이 있으면, k개의 이미지 구역들이 출력될 수 있으며; 손상 부분이 없으면, 0개의 이미지 구역이 출력된다.
전술한 실시예에서 사용된 모델들과 알고리즘들은 동일 유형의 모델들 또는 알고리즘들 일 수 있다. 구체적으로, 예를 들면 컨벌루션 신경망과 구역 제안 네트워크를 기초로 한 다양한 모델들과 그 변형이 고속(Faster) R-CNN, YOLO, 및 Mask-FCN과 같은 구성품 식별 모델에 적용될 수 있다. ResNet, 인셉션(Inception), VGG 등과, ResNet, 인셉션(Inception), VGG 등의 변형과 같은 임의의 CNN 모델이 컨벌루션 신경망(CNN)에 사용될 수 있다. 일반적으로, 객체 식별에 우수한 기능을 하는 인셉션(Inception) 또는 ResNet과 같은 완숙형(mature) 네트워크 구조가 신경망의 컨벌루션 신경망(CNN) 부분에 사용될 수 있다. 예를 들어, ResNet에서, 입력이 사진이면, 그 출력은 손상 부분과 그 대응하는 손상 분류(손상 분류는 손상 유형을 결정하는데 사용됨)를 포함하는 복수의 사진 구역들과, 신뢰수준(여기서 신뢰수준은 손상 유형의 진본성의 정도를 나타내는 파라미터임)일 수 있다. 고속 R-CNN, YOLO, Mask-FCN 등은 모두 컨벌루션 계층을 포함하며 본 실시예에 사용될 수 있는 심층 신경망들이다. 구역 제안 계층과 CNN 계층에 기초하여, 본 실시예에서 사용되는 심층 신경망은 손상 부분, 손상 유형, 및 구성품 사진 내의 손상 부분의 위치 구역을 식별할 수 있다.
본 출원의 일 실시예에서는, 처리 대상 이미지들을 검사하고 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하기 위해 독립적인 알고리즘 서버가 사용될 수 있음을 주목해야 한다. 예를 들면, 사용자에 의해 업로드되는 처리 대상 이미지를 획득하고 정비 계획서를 출력하도록 서비스 서버가 설정된다. 또한, 알고리즘 서버도 서비스 서버의 처리 대상 이미지를 검출 및 식별하고, 손상 부분과, 손상 유형, 및 처리 대상 이미지 내의 손상 구역과 같은 정보를 결정하기 위해, 제작된 손상 식별 모델을 저장할 수 있도록 또한 설정될 수 있다. 물론, 전술한 처리 대상 이미지를 획득하고 손상 부분과, 손상 유형, 및 손상 구역을 식별하는 처리는 하나의 서버에 의해서도 또한 행해질 수 있다.
복수의 유형의 트레이닝 데이터가 전술한 구성품 식별 모델과 손상 식별 모델에 사용될 수 있다. 예를 들어, 일 실시예에서, 구성품 식별 모델은 마킹 데이터를 포함하는 구성품 샘플 이미지들을 사용하여 트레이닝되도록 설정된다. 구성품 샘플 이미지는 적어도 하나의 손상 구성품을 포함하고, 손상 구성품은 적어도 하나의 손상 부분을 포함한다.
손상 식별 모델은 손상 샘플 사진이 모델 트레이닝에 대한 입력일 때 적어도 하나의 손상 부분 위치와 손상 부분에 대응하는 손상 유형, 및 손상 유형의 진본성 정도를 나타내는 신뢰수준을 출력하도록 설정된다.
단계 S2에서 구성품 식별 모델을 사용하여 차량 구성품을 검사하는 처리와 단계 S4에서 손상 식별 모델을 사용하여 손상 부분, 손상 유형, 및 손상 구역을 검출하는 처리가 병렬로 수행될 수도 있다는 것에 주목해야 한다. 즉, 동일한 알고리즘 서버 또는 대응하는 알고리즘 서버들이 단계 S2와 S4에서 처리 대상 사진들을 처리하고 사진 이미지 처리 및 계산을 실행하는데 사용될 수 있다. 물론, 본 출원에서는, 단계 S2에서 차량 구성품을 식별하는 처리를 먼저 실행하거나, 또는 손상 부분을 식별하는 처리를 먼저 실행하는 것도 또한 가능하다. 도 5와 도 6에 도시된 바와 같이, 도 5는 본 출원의 일 실시예에 따른, 손상 식별 모델의 네트워크 아키텍처를 예시하는 개략인 구조도이다. 도 6은 본 출원의 일 실시예에 따른, 구성품 식별 모델의 네트워크 아키텍처를 예시하는 개략도이다. 실제 단말기 앱(APP)의 실시예의 프로세스에서, 구성품 식별 모델의 네트워크 모델 아키텍처는 기본적으로 손상 식별 모델의 네트워크 모델 아키텍처와 동일하다. 구성품 식별 모델에서는, 손상 식별 모델의 손상 구역이 구성품 구역으로 되고, 손상 유형이 구성품 유형으로 된다. 도 5와 도 6에 도시된 본 출원의 네트워크 모델 구조를 기초로, 다른 개선된, 변형의, 또는 변환된 네트워크 모델이 또한 포함될 수 있다. 하지만, 본 출원의 다른 실시예에서는, 구성품 식별 모델 또는 손상 식별 모델 중 적어도 하나가 컨벌루션 계층과 구역 제안 계층을 기초로 한 네트워크 모델이 된다. 샘플 데이터에 기초한 트레이닝 후에 심층 신경망을 구축하는 실시예도 본 출원의 실시예의 범위 내에 포함되게 된다.
S5: 손상 부분과 구성품 구역에 따라 처리 대상 사진 내의 손상 구성품을 결정하고, 손상 구성품의 손상 부분과 손상 유형을 결정한다.
처리 대상 이미지들에 포함된 차량 구성품 정보와 손상 부분, 손상 유형, 및 처리 대상 이미지들 내의 손상 구역에 대한 정보가 획득되고 난 후에, 차량 구성품 내의 손상 구성품이 또한 식별 및 검출될 수 있다. 이 실시예의 구현에 있어서, 전술한 식별 프로세스를 통한 계산에 의해 획득된 구성품 구역과 손상 구역은 손상 구성품의 위치를 찾기 위해 추가로 분석될 수 있다. 특히, 손상 구성품은 처리 대상 이미지들에 있는 손상 구역의 위치 구역과 구성품 구역의 위치 구역을 기초로 결정될 수 있다. 예를 들어, 이미지 P1에서, P1에서 식별된 손상 구역이 P1에서 식별된 구성품 구역에 포함되면(식별된 구성품 구역의 면적이 일반적으로 손상 구역의 면적보다 더 크다), P1 내의 구성품 구역에 대응하는 차량 구성품이 손상 구성품으로 간주될 수 있다. 이와 달리, 이미지 P2에서, P2에서 식별된 손상 구역과 P2에서 식별된 구성품 구역 사이에 중첩 영역이 있으면, P2 내의 구성품 구역에 대응하는 차량 구성품이 손상 구성품으로 간주될 수 있다.
구체적인 예에서, 이미지 P에서, 단계 S2에서 차량 구성품들이 좌측 앞문과 좌측 전방 펜더(fender)로 식별되며, 이미지 P에서 (r1, r2)에 각각 위치된 2개의 차량 구성품들의 구성품 구역들은 신뢰수준(p1, p2)에 대응한다. 단계 S3에서, 이미지 P에 경미한 긁힘(손상 유형들 중 하나임)이 존재하고, 사진 P 내의 경미한 긁힘의 손상 구역은 r3이며, 신뢰수준은 p3임이 식별된다. 사진 위치 구역의 대응도(correspondence)를 처리한 후에, 경미한 긁힘 구역 r3가 좌측 앞문의 구성품 구역 r1에서 식별된다. 그래서, 손상 구성품이 좌측 앞문이고, 손상 구성품의 손상 구역은 r3임이 식별된다. 단일 이미지 P 내의 손상 구성품의 손상 유형은 경미한 긁힘이며, 신뢰수준은 p1*p3이다.
물론, 좌측 전방 펜더가 손상되었다는 것이 또한 식별되면, 전술한 예를 기초로, 이미지 P 내의 손상 구성품은 좌측 전방 펜더를 더 포함한다는 것이 결정될 수 있고, 좌측 전방 펜더의 손상 부분과 손상 유형도 또한 산출될 수 있다.
손실 처리 평가 시에는, 처리 대상 이미지가 그 배치된 컨벌루션 신경망의 입력이 된다. 복수의 손상 부분들이 존재하면, 손상 부분을 포함하는 복수의 이미지 구역들이 식별되고, 사진 구역이 검사되며, 사진 구역의 손상 유형이 결정되고, 각 사진 구역에 대응하는 손상 부분과 손상 유형이 개별적으로 출력된다. 또한 이 실시예에서는, 손상 유형에 있어서 가장 높은 손상 정도를 갖는 손상에 대응하는 손상 부분이 손상 구성품의 손상 부분으로 선택될 수 있다. 그에 따라, 가장 높은 손상 정도를 갖는 손상 유형이 손상 구성품의 손상 유형으로 결정된다.
본 출원에 제시된 이미지 기반의 차량 손실 평가 방법에 기초하여, 처리 대상 이미지들 내에 포함된 손상 구성품이 식별될 수 있고, 그리고 나서 손상 구성품 내의 손상 부분과 각 손상 부분에 대응하는 손상 유형이 제작된 손상 식별 모델을 기초로 식별될 수 있다. 그래서, 차량 구성품의 차량 손실 평가 정보가 정확하면서, 포괄적이고, 신뢰성 있게 획득될 수 있다. 본 출원의 실시예의 해법에서는, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 및 하나 이상의 손상 정도 등이 식별될 수 있다. 또한, 유사한 차량 구성품의 로컬 상세 이미지에 대해, 구성품 유형이 또한 정확히 결정될 수 있다. 계산을 통해 얻어진 차량 손실 평가를 위한 정보의 신뢰도가 향상된다. 이미지 기반의 차량 손실 평가의 결과가 보다 신뢰적이고 정확하게 되어, 결과의 신뢰도와 사용자 서비스 경험을 향상시킨다.
또한, 차량 손실 평가를 위한 정보가 획득된 후에, 사용자에게 회신될 수 있는 손실 평가 결과가 또한 생성될 수 있다. 그래서, 본 출원의 방법은 이하의 것을 더 포함한다:
S6: 손상 구성품, 손상 부분, 및 손상 유형을 포함하는 정보를 기초로 정비 계획서를 생성한다.
도 7은 본 출원에 따른, 이미지 기반의 차량 손실 평가 방법의 다른 실시예의 방법 절차를 예시하는 개략도이다. 처리 대상 이미지들 내의 차량 구성품을 식별하고, 손상 구성품을 결정하고, 손상 부분과 손상 유형을 식별함으로써 본 실시예의 차량 손실 평가를 위한 정보가 획득되고 난 후에, 정비 계획서(maintenance plan)가 이러한 정보에 기초하여 생성될 수 있다. 정비 계획서에서는, 손실 평가 결과가 하나의 손상 구성품에 대해 구체적이 될 수 있거나, 차량 전체의 복수의 손상 구성품들에 대해 구체적이 될 수 있다. 본 출원의 실시예의 해법에서는, 손상 구성품, 손상 구성품 내의 손상 부분, 및 손상 유형을 기초로 정비 계획서가 생성된다. 이러한 계획서는 보험 운영 직원과 차량 소유주에게 보다 정확하고 보다 신뢰적이며 실제 기준값을 갖는 손실 평가 정보를 제공할 수 있다. 본 출원의 정비 계획서에서는, 보다 포괄적이면서 정확한 손실 평가 정보를 신속하게 획득하고 그리고 나서 정비 계획서를 자동으로 생성하기 위해, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 손상 수준 등이 식별될 수 있으며, 그 결과 신속하면서, 포괄적이고, 정확하며, 신뢰성 있는 차량 손실 평가 처리에 대한 보험회사 또는 차량 소유주의 요구조건을 충족시키고, 차량 손실 평가 처리 결과의 정확도와 신뢰도를 향상시키며, 사용자 서비스 경험을 향상시킬 수 있다.
이 실시예에서는, 각 손상 유형이 하나의 정비 계획서에 대응하도록 설정될 수 있다. 예를 들어, 심한 변형은 구성품 교체에 대응하고, 가벼운 변형은 도금(metal plating)을 필요로 하며, 경미한 긁힘은 스프레이 페인팅을 요한다. 사용자에게, 손상 구성품에 대한 최종 출력은 정비 계획서일 수 있다. 하나의 손상 구성품에 복수의 손상 부분들이 존재할 때에는, 가장 심하게 손상된 부분에 대한 정비 해법이 전체 구성품에 대한 최종 처리 해법으로 사용될 수 있다. 일반적으로, 차량의 하나의 구성품은 온전체(whole)로 간주될 수 있다. 복수의 부분들이 손상되면, 가장 심하게 손상된 부분에 대한 처리 해법을 적용하는 것이 비교적 합리적이다. 본 실시예에서는, 하나의 손상 구성품 내의 모든 손상 부분들을 수리하기 위해 하나의 정비 계획서가 선택될 수 있다. 예를 들면, 손상 구성품에 대해, 하나의 손상 부분의 손상 유형이 심한 손상이면, 그 손상 부분은 구성품 교체를 필요로 하고; 다른 손상 부분의 손상 유형이 가벼운 변형이면, 그 손상 부분은 도금을 필요로 한다. 이 경우에는, 도금 처리 대신에 구성품 교체 처리가 선택될 수 있다.
일반적으로, 손실 평가는 2가지 정보: 손상 사정(damage evaluation)과 비용 평가(cost assessment)를 포함할 수 있음이 이해되어야 한다. 본 출원의 이 실시예에서는, 출력 정비 계획서가 정비 비용에 대한 정보를 포함하지 않으면, 정비 계획서는 손실 평가 부분으로 분류될 수 있고; 출력 정비 계획서가 정비 비용에 대한 정보를 포함하면, 계산 처리가 손실 평가와 비용 평가 양자 모두에 대해 수행되었다고 여겨질 수 있다. 그래서, 본 실시예의 각 정비 계획서는 차량 손실 평가의 처리 결과들 중 하나이다.
구체적인 예에서, 알고리즘 서버가 처리 대상 사진 내의 손상 구성품, 손상 구성품의 손상 부분과 손상 유형을 식별하고 난 후에, 알고리즘 서버는 사전 설정된 처리 규칙에 따라 전술한 정보에 기초하여 차량 구성품의 정비 계획서를 생성할 수 있다. 예를 들어, 제조사 A1의 2016년산 차량 모델 B1의 좌측 전방 펜더가 경미하게 변형되어서, 도금 처리가 요구된다. 제조사 A2의 2010년산 차량 모델 B2의 좌측 앞문이 심하게 긁히고 심하게 변형되어서, 구성품 교체 처리가 요구된다. 제조사 A3의 2013년산 차량 모델 B3의 전방 범퍼가 약간 긁혀서, 스프레이 페인팅 처리가 요구된다. 좌측 전방 램프가 검사 등을 위해 분해가 요구된다.
본 출원의 방법의 다른 실시예에서는, 차량 손실 평가에 있어서의 비용 정보에 대한 사용자의 요구조건을 충족시키기 위해, 정비 계획서는 차량 구성품 정비를 위한 예상 정비 비용에 대한 정보를 더 포함할 수 있으며, 그 결과 사용자는 정비 비용 정보를 알고, 보다 적절한 정비 처리 방식을 선택할 수 있다. 그래서, 사용자 요구조건이 충족되고 사용자 경험이 향상된다. 그래서, 본 출원의 방법의 다른 실시예에서는, 본 방법이 다음의 것을 더 포함할 수 있다.
S601: 차량 구성품의 정비 전략에 대한 정보를 획득한다.
그에 따라, 정비 계획서는 정비 전략에 대응하는 예상 정비 비용을 더 포함할 수 있다. 예상 정비 비용은 차량 구성품의 예상 정비 비용이며, 차량 구성품 내의 손상 부분, 손상 유형, 및 정비 전략을 포함하는 정보, 및 정비 전략 내의 차량 구성품에 대응하는 제품 가격 및/또는 정비 전략 내의 차량 구성품에 대한 정비 서비스를 포함하는 데이터에 기초하여 계산된다.
구체적인 실시예에서, 차량 구성품의 차량 모델, 및 차량 구성품에 대해 선택된 정비소(인가 대리점 또는 일반 수리 센터)와 같은 정비 전략에 대한 정보를 기초로 상이한 가격 데이터베이스를 호출하도록 계산 규칙이 설계될 수 있다. 정비 전략에 대한 정보는 사용자의 선택에 기초하여 결정될 수 있다. 예를 들어, 사용자는 정비 장소(예를 들면, 시(市) 레벨 또는 지역(district) 레벨)를 선택할 수 있고, 인가 대리점 또는 일반 수리 센터를 선택할 수 있으며, 차량 브랜드와 모델을 입력할 수 있다. 그리고 나서, 알고리즘 서버가 차량 구성품의 정비 전략 정보, 식별된 손상 부분과 식별된 손상 유형에 기초하여 다음의 정비 계획서를 획득할 수 있다:
제조사 A3의 2013년산 차량 모델 B3의 전방 범퍼가 약간 긁혀서 스프레이 페인팅 처리가 요구된다. 현지 인가 대리점에서의 예상 정비 비용은 600 위안 RMB(인민폐)이다.
물론, 다른 실시예에서는 인가 대리점에서의 수리에 대한 작업 시간(hours) 및 비용과 같은 정보와, 손상 구성품, 손상 유형, 및 손상 정도와 같은 배상 처리 경험에 따라 종래의 자동차 보험회사에 의해 마련된 정보에 기초하여 엔진 모듈이 구성된다. 실제 처리 앱(application)이 차량 구성품의 손상 부분과 손상 유형을 식별하게 되면, 차량 구성품의 손실 평가 결과를 출력하도록 엔진 모듈이 호출될 수 있다.
상기 정비 전략에 대한 정보는 수정되거나 대체될 수 있다. 예를 들면, 사용자가 정비를 위해 인가 대리점을 선택할 수 있다. 이 경우에, 이러한 선택은 하나의 정비 전략과 하나의 정비 계획서에 대응한다. 사용자가 정비를 위해 일반 수리 센터로 변경하면, 이러한 선택은 다른 정비 전략 및 다른 정비 계획서에 대응한다.
본 출원은 샘플 기반의 손상 식별 모델의 트레이닝 프로세스의 특정 실시예를 또한 제시한다. 구체적으로, 도 8에 도시된 바와 같은 특정 방법의 다른 실시예에서는, 손상 구성품과, 손상 구성품의 손상 부분과 손상 유형이 다음의 방식으로 결정될 수 있다.
S410: 손상 부분을 포함하는 처리 대상 이미지들의 세트(set: 집합)를 획득한다.
S420: 컨벌루션 신경망을 사용하여 세트 내의 처리 대상 이미지들의 특징 벡터(feature vector)를 추출하고, 특징 벡터를 기초로 동일한 차량 구성품에 대한 이미지 클러스터링(image clustering) 처리를 수행하며, 손상 구성품을 결정한다.
S430: 동일한 손상 구성품에 속하는 손상 부분들을 통합하고, 손상 부분들의 손상 클러스터 특징 데이터(damage cluster feature data)를 획득한다.
S440: 손상 클러스터 특징 데이터를 기초로, 손상 구성품에 포함된 손상 부분과 손상 부분에 대응하는 손상 유형을 결정한다.
구체적인 예에서, 식별된 임의의 손상 구성품 p는 하나 이상의 이미지들에서 식별된 하나 이상의 손상 부분들(손상 유형, 위치, 및 신뢰도를 포함)에 대응한다. 이미지들은 클러스터링(clustering: 군집화)되며, 컨벌루션 네트워크를 사용하여 추출된 이미지들의 특징 벡터를 사용하여, 예를 들면 Ns의 컨벌루션 네트워크에서 트레이닝을 위해 모델에 입력된 손상 샘플 이미지의 최종 출력 벡터를 사용하여 이미지 거리가 계산된다. 동일한 클러스터 t에 속하는 이미지들 내의 손상 부분들(신뢰수준을 기초로 상위 K개의 손상 부분들이 선택되며, K는 15일 수 있음)이 통합되어, 특징 Ft로 사용된다. 또한, 클러스터 내의 상위 C개(top-C)(C는 5일 수 있고, 특징들은 클러스터 내에서 가중화된 손상 부분들의 분량을 기초로 랭킹이 매겨지며, 가중치는 손상 부분의 신뢰수준임)의 특징들(Ft1, Ft2, ...)이 다중 분류(multi-classification) GBDT(gradient boosting decision tree: 그라데이션 부스팅 결정 트리)에 대한 특징 입력(features input)으로 선택된다. 손상 유형과 손상 정도를 최종적으로 출력하기 위해 다계층(multiclass) GBDT 모델이 사용된다. GBDT 모델은 마킹 데이터를 사용하여 경사 하강법 트레이닝(gradient descent training)을 통해 획득될 수 있다.
손상 이미지가 모델 트레이닝 중에 사용되는 샘플 이미지일 수 있다는 것을 이해할 수 있을 것이다. 사용자의 실제 실시에서는, 손상 이미지가 처리 대상 이미지일 수 있다. 전술한 이미지 클러스터는 주로 동일 구성품을 포함하는 클러스터링 이미지들이다. 클러스터링의 목적은 손상 구성품 내의 손상 부분과 거의 동일한 부분을 갖는 촬영된 이미지를 식별하는 것이다. 처리 대상 이미지들 내의 획득된 손상 구성품, 대응하는 손상 부분, 및 대응하는 손상 유형이, 단계 S2와 S3에서 획득된 손상 구성품들과, 손상 부분들, 및 손상 유형들을 기초로 전술한 실시예에서 결정된다.
또한, 다른 실시예에서, 동일한 손상 구성품에 속하는 손상 부분들을 통합하는 것은 다음의 것을 포함할 수 있다: 이미지 클러스터 내의 동일한 손상 구성품에 속하는 처리 대상 이미지들로부터 신뢰수준의 내림차순으로 K개의 처리 대상 이미지들의 손상 부분들을 선택하고 통합하는 것, 여기서 K≥2이다.
통합 후에, 상위 K개의(TOP K) 신뢰수준들이 처리를 위해 선택된다. 특히, 대량의 샘플 이미지들을 기초로 한 트레이닝 동안에 식별 처리의 속도가 향상될 수 있다. 이 실시예의 모델 트레이닝의 실시 시나리오에서는 K가 10 내지 15일 수 있다.
다른 실시예에서, 손상 부분들의 손상 클러스터 특징 데이터는 다음의 것을 포함할 수 있다: 통합된 이미지 클러스터로부터, 손상 부분들의 가중치의 내림차순으로 C개의 처리 대상 이미지들의 손상 클러스터링 특징 데이터를 선택하는 것, 여기서 C≥2이고 가중치의 가중 계수(weight factor)는 손상 부분의 신뢰수준이다. 이 실시예의 모델 트레이닝의 실시 시나리오에서는 C가 3 내지 5일 수 있다.
몇몇 다른 실시예에서는, 손상 클러스터링 특징 데이터에 따라 손상 구성품에 포함된 손상 부분과 손상 부분에 대응하는 손상 유형을 결정하는 것은 다음의 것을 포함한다: 손상 클러스터링 특징 데이터를 사전 결정된 다중 분류 GBDT 모델에 대한 입력 데이터로 사용함으로써, 손상 부분과 손상 유형을 식별하는 것.
처리(processing)를 위한 처리 대상 이미지는 모델 트레이닝 동안에 사용되는 샘플 이미지일 수 있다. 예를 들면, 단계 S410에서 손상 부분을 포함하는 획득된 트레이닝 샘플 사진들의 세트에서 또는 이미지 클러스터 내의 동일 손상 구성품에 속하는 트레이닝 샘플 사진들에서, K개의 트레이닝 샘플 사진들 내의 손상 부분들이 신뢰수준의 내림차순으로 선택되며, 그리고 나서 통합된다. 모델 트레이닝의 실시 프로세스에 대해서는, 처리 대상 이미지들에 대한 설명을 참조하면 된다. 상세사항이 여기서는 다시 기술되지 않는다.
전술한 실시예의 해법에서는, 처리 속도가 한층 가속화될 수 있으면서, 손실 평가 결과의 신뢰도와 정확도가 향상된다.
복수의 각도로부터 및 현실감을 갖는 복수의 조명 모델에서 차량의 3차원 모델을 그림으로써 이미지들이 생성된다. 그림으로 생성된 이미지들은 트레이닝 데이터와 마킹 데이터에 추가된다. 일 실시예에서, 구성품 식별 모델 또는 손상 식별 모델 중 적어도 하나에 사용되는 트레이닝 샘플 이미지는: 컴퓨터 시뮬레이션에 의해 생성된 손상 차량 구성품의 그림에 의해 획득된 이미지 정보를 포함할 수 있다. 실제 현장에서 촬영된 이미지는 트레이닝을 위해 마킹되며, 그래서 모델 트레이닝 효과가 더욱 향상될 수 있고, 모델 파라미터가 최적화되며, 식별 정밀도가 향상될 수 있다.
본 출원에 제시된 이미지 기반의 차량 손실 평가 방법에 따르면, 처리 대상 이미지들에 포함된 손상 구성품이 식별될 수 있으며, 그리고 나서 손상 구성품 내의 복수의 손상 부분들과 각 손상 부분에 대응하는 손상 유형이 제작된 손상 식별 모델을 기초로 식별될 수 있다. 그래서 차량 구성품의 차량 손실 평가가 정확하면서, 포괄적이며, 신뢰적으로 획득될 수 있다. 또한, 본 출원의 실시예의 해법에서는, 보험 청구 운영자 및 차량 소유자 사용자에게 현실적인 기준값을 갖는 보다 정확하면서 신뢰성 있는 손실 평가 정보를 제공할 수 있도록, 보험 운영 직원과 정비 전략을 제공하기 위하여, 손상 구성품, 손상 구성품 내의 손상 부분, 손상 유형, 정비 계획서에 대한 정보를 기초로 차량 정비 계획서가 생성된다. 본 출원의 실시예의 해법에서는, 보다 포괄적이면서 정확한 손실 평가 정보를 신속하게 획득할 수 있도록, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 하나 이상의 손상 정도 등이 식별될 수 있다. 그리고 나서, 정비 계획서가 자동으로 생성될 수 있어서, 신속하면서, 포괄적이고, 정확하며, 신뢰성 있는 차량 손실 평가 처리에 대한 보험회사 또는 차량 소유주의 요구조건을 충족시키고, 차량 손실 평가 처리 결과의 정확도와 신뢰도를 향상시키며, 사용자 서비스 경험을 향상시킬 수 있다.
전술한 이미지 기반의 차량 손실 평가 방법을 기초로, 본 발명은 이미지 기반의 차량 손실 평가 장치를 또한 제시한다. 본 장치는 본 출원의 방법을 이용하여 (분산 시스템을 포함하는) 시스템, 소프트웨어(애플리케이션), 모듈, 컴포넌트, 서버, 클라이언트 등을 사용하며 필수적인 구현 하드웨어를 포함하는 장치일 수 있다. 동일한 혁신적인 개념에 의거하면, 본 출원의 일 실시예에 제시된 장치는 이하의 실시예에 기술된다. 본 장치에 의해 과제를 해결하는 실시예의 해법은 본 방법의 실시예의 해법과 유사하다. 그래서, 본 출원의 장치의 구체적인 실시예에 대해서는, 전술한 방법의 실시예를 참조하면 된다. 반복되는 설명은 더 이상 제공되지 않는다. 이하에서, "유닛(unit)" 또는 "모듈(module)" 이라는 용어는 기설정 기능의 소프트웨어 및/또는 하드웨어의 조합을 실현할 수 있다. 이하의 실시예에 기술되는 장치는 바람직하게는 소프트웨어로 구현되지만, 하드웨어 또는 소프트웨어와 하드웨어의 조합을 통해 장치를 구현하는 것도 또한 가능하다. 구체적으로, 도 9는 본 출원의 일 실시예에 따른, 이미지 기반의 차량 손실 평가 장치의 모듈 구조를 예시하는 개략도이다. 도 9에 도시된 바와 같이, 본 장치는: 처리 대상 이미지들을 획득하도록 구성된, 이미지 획득 모듈(101)과; 처리 대상 이미지들을 검사하고 처리 대상 이미지들 내에서 차량 구성품을 식별하도록 구성된, 제1 구성품 식별 모듈(102); 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하도록 구성된, 제2 구성품 식별 모듈(103)과; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하도록 구성된, 손상 식별 모듈(104); 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하도록 구성된, 손상 계산 모듈(105)을 포함할 수 있다.
본 출원에 제시된 이미지 기반의 차량 손실 평가 장치에 따르면, 처리 대상 이미지들 내에 포함된 손상 구성품이 식별될 수 있으며, 그리고 나서 제작된 손상 식별 모델을 기초로 손상 구성품 내의 손상 부분과 각 손상 부분에 대응하는 손상 유형이 식별될 수 있다. 그래서, 차량 구성품의 차량 손실 평가 정보가 정확하면서, 포괄적이며, 신뢰적으로 획득될 수 있다. 본 출원의 실시예의 해법에서는, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 하나 이상의 손상 정도 등이 식별될 수 있다. 또한, 유사한 차량 구성품의 로컬 상세 이미지에 대해, 구성품 유형도 또한 정확하게 결정될 수 있어서, 계산에 의해 획득되는 차량 손실 평가에 대한 정보의 신뢰도를 향상시킨다. 이미지 기반의 차량 손실 평가의 결과가 보다 신뢰적이어서, 차량 손실 평가의 결과의 정확도와 신뢰도를 향상시키고, 사용자 서비스 경험을 향상시킨다.
도 10은 본 출원에 따른, 이미지 기반의 차량 손실 평가 장치의 다른 실시예의 모듈 구조를 예시하는 대략도이다. 도 10에 도시된 바와 같이, 다른 실시예에서는 본 장치가: 처리 대상 이미지들 내에서 결정된 손상 구성품과 손상 구성품에 대응하는 결정된 손상 부분과 손상 유형을 포함하는 정보에 기초하여 정비 계획서를 생성하도록 구성된, 손실 평가 처리 모듈(105)를 더 포함할 수 있다.
도 11은 본 출원에 따른 제2 구성품 식별 모듈(103)의 일 실시예의 모듈 구조를 예시하는 개략도이다. 도 11에 도시된 바와 같이, 제2 구성품 식별 모듈(103)은: 컨벌루션 신경망을 사용하여 로컬 이미지의 제1의 컨벌루션 특징 데이터를 추출하고, 사전 결정 알고리즘을 사용하여 로컬 이미지의 제1의 로컬 특징점 세트를 추출하도록 구성된, 특징 추출 모듈(1031)과; 제1의 컨벌루션 특징 데이터를 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교하고, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역(similar region)을 획득 하도록 구성된, 구역 매칭 모듈(1032)과; 사전 결정 알고리즘을 사용하여 유사 구역의 제2의 로컬 특징점 세트를 추출하고, 매칭 포인트 쌍(matching point pair)을 획득하기 위해 제1의 로컬 특징점 세트와 제2의 로컬 특징점 세트를 매칭하며, 애파인 변환(affine transformation) 중에 매칭 포인트 쌍의 위치 오류를 최소화함으로써 로컬 이미지와 구성품 이미지 사이의 애파인 변환을 획득하도록 구성된, 애파인 변환(affine transformation) 처리 모듈(1033); 및, 로컬 이미지 내의 차량 구성품으로서, 구성품 이미지 내에 있으며 최소의 위치 오류를 갖는 이미지 구역에 대응하는 구성품을 선택하도록 구성된, 구성품 결정 모듈(1034)을 포함할 수 있다.
구성품 이미지에 대해, 구성품 이미지 내의 슬라이딩 윈도우 구역의 제2의 컨벌루션 특징 데이터가 슬라이딩 윈도우를 사용하여 추출될 수 있고, 제2의 컨벌루션 특징 데이터 세트가 이러한 데이터로부터 획득될 수 있는데, 여기서 제2의 컨벌루션 특징 데이터는 제1의 컨벌루션 특징 데이터를 추출하는데 사용된 것과 동일한 컨벌루션 신경망을 사용하여 획득되고; 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역이 제2의 컨벌루션 특징 데이터 세트로부터 선택되는데, 여기서 유사도는 코사인 유사도를 사용하여 계산된다.
전술한 방법을 참조하면, 본 장치는 다른 실시예를 더 포함할 수 있다. 예를 들어, 처리 대상 이미지들은 컨벌루션 계층과 구역 제안 계층을 포함하는 네트워크 모델들에 기초하여 샘플 데이터 트레이닝을 통하여 구축 및 생성된 심층 신경망을 사용하여 검사된다. 이미지 클러스터 내에 있으며 동일한 손상 샘플 구성품에 속하는 처리 대상 이미지들로부터, K개의 처리 대상 이미지들 내의 손상 부분들이 선택된다. 이들 이미지들은 신뢰도의 내림차순으로 선택되며, 선택된 이미지들은 또한 통합된다. 유사 구역의 이미지 구역 범위가 미리 설정된 방식 등으로 확장된다. 또한, 예상 수리 비용 등을 포함하는 정비 계획서를 생성하기 위해 차량 구성품의 정비 전략에 대한 정보도 또한 획득될 수 있다. 상세 사항에 대해서는, 전술한 방법 실시예의 관련 설명을 참조하면 되며, 상세 사항들은 여기서 상술(詳述)되지 않는다.
본 출원의 전술한 방법 또는 장치는 필수 하드웨어를 참조하여 컴퓨터 프로그램을 사용하여 구현될 수 있고, 디바이스의 애플리케이션에 전개될 수 있으며, 이미지 기반의 차량 손실 평가의 결과를 신속하면서 신뢰성 있게 출력할 수 있다. 그래서, 본 출원은 이미지 기반의 차량 손실 평가 장치를 또한 제시하며, 이 장치는 서버측에 배치될 수 있으며, 프로세서와 프로세서 실행 가능 명령어를 저장하도록 구성된 메모리를 포함할 수 있다. 명령어를 실행할 때, 프로세서는 다음의: 처리 대상 이미지들을 획득하는 동작과; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 동작과; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 동작과; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 동작; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 동작을 이행한다.
특정의 실제 처리에서, 본 장치는 다른 처리 하드웨어, 예를 들면 GPU(Graphics Processing Unit)를 더 포함할 수 있다. 전술한 방법에 기술된 바와 같이, 본 장치의 다른 실시예에서는, 명령어를 실행할 때, 프로세서는 다음의: 처리 대상 이미지들 내의 결정된 손상 구성품과 이 손상 구성품에 대응하는 결정된 손상 부분과 손상 유형을 포함하는 정보를 기초로 정비 계획서를 생성하는 단계를 또한 이행한다.
이미지 기반의 차량 손실 평가 장치의 다른 실시예에서는, 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 동작을 수행하는 명령어를 실행할 때, 프로세서가 다음의: 컨벌루션 신경망을 사용하여 로컬 이미지의 제1의 컨벌루션 특징 데이터를 추출하고, 사전 결정 알고리즘을 사용하여 로컬 이미지의 제1의 로컬 특징점 세트를 추출하는 단계와; 제1의 컨벌루션 특징 데이터를 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교하고, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 획득하는 단계와; 사전 결정 알고리즘을 사용하여 유사 구역의 제2의 로컬 특징점 세트를 추출하고, 매칭 포인트 쌍을 획득하기 위해 제1의 로컬 특징점 세트와 제2의 로컬 특징점 세트를 매칭하며, 애파인 변환 중에 매칭 포인트 쌍의 위치 오류를 최소화함으로써 로컬 이미지와 구성품 이미지 사이에 애파인 변환을 획득하는 단계; 및, 로컬 이미지 내의 차량 구성품으로서, 구성품 이미지 내에 있으며 최소의 위치 오류를 갖는 이미지 구역에 대응하는 구성품을 선택하는 단계를 이행한다.
장치의 다른 실시예에서는, 본 해법이 처리 정밀도를 향상시키기 위해 추가로 최적화될 수 있다. 구체적으로, 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 로컬 이미지 내의 차량 구성품을 결정하는 동작을 수행하는 명령어를 실행할 때, 프로세서가 다음의 단계들 중 적어도 하나의 단계를 이행한다:
슬라이딩 윈도우를 사용하여 구성품 이미지 내의 슬라이딩 윈도우 구역의 제2의 컨벌루션 특징 데이터를 추출하고, 제2의 컨벌루션 특징 데이터 세트를 획득하는 단계로서, 여기서 제2의 컨벌루션 특징 데이터는 제1의 컨벌루션 특징 데이터를 추출하는데 사용된 것과 동일한 컨벌루션 신경망을 사용하여 획득되고; 제2의 컨벌루션 특징 데이터 세트로부터, 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 선택하는 단계로서, 여기서 유사도는 코사인 유사도를 사용하여 계산되며;
유사 구역의 이미지 구역 범위를 사전 결정 백분율만큼 확장하는 단계로서, 여기서 사전 결정 백분율의 수치 범위는 50%를 포함하며, 그에 따라 제2의 로컬 특징점 세트는 그 이미지 구역이 확장된 유사 구역의 추출된 로컬 특징점 세트를 포함하고;
스케일 불변 특징 변환(SIFT: scale-invariant feature transform)을 사용하여 제1의 로컬 특징 데이터와 제2의 로컬 특징 데이터를 추출하는 단계.
이미지 기반의 차량 손실 평가 장치의 다른 실시예에서는, 처리 대상 이미지들이 다음의 식별 모델을 사용하여 검사될 수 있다: 컨벌루션 계층과 구역 제안 계층을 포함하는 네트워크 모델들에 기초하여 샘플 데이터 트레이닝을 통해 구축 및 생성된 심층 신경망.
전술한 방식에서 기술한 바와 같이, 처리 대상 이미지들 내의 손상 구성품과 손상 구성품에 대응하는 손상 부분과 손상 유형이 이하의 방식을 사용하여 결정될 수 있다: 손상 부분을 포함하는 처리 대상 이미지들의 세트를 획득하는 것; 컨벌루션 신경망을 사용하여 세트 내의 처리 대상 이미지들의 특징 벡터를 추출하고, 특징 벡터에 기초하여 동일한 차량 구성품에 대해 이미지 클러스터링 처리를 수행하며, 손상 구성품을 결정하는 것; 동일한 손상 구성품에 속하는 손상 부분들을 통합하고, 손상 부분들의 손상 클러스터링 특징 데이터를 획득하는 것; 및, 손상 클러스터링 특징 데이터에 기초하여, 손상 구성품에 포함된 손상 부분과 이 손상 부분에 대응하는 손상 유형을 결정하는 것.
전술한 방법을 참조하여, 본 장치는 다른 실시예를 더 포함할 수 있다. 방법의 구체적인 실시예 및 구현 프로세스에 대해서는, 전술한 방법의 관련 실시예들의 설명을 참조하면 된다. 상세 사항은 여기서 다시 기술되지 않는다.
본 출원의 실시예에 제시된 이미지 기반의 차량 손실 평가 장치를 사용하여, 처리 대상 이미지들 내에 포함된 손상 구성품이 식별될 수 있으며, 그리고 나서 손상 구성품 내의 복수의 손상 부분들과 각 손상 부분에 대응하는 손상 유형이 제작된 손상 식별 모델을 기초로 식별될 수 있다. 그래서, 차량 구성품의 차량 손실 평가 정보가 정확하면서, 포괄적이며, 신뢰적으로 획득될 수 있다. 또한, 본 출원의 실시예의 해법에서는, 보험 청구 운영자 및 차량 소유자 사용자에게 현실적인 기준값을 갖는 보다 정확하면서 신뢰성 있는 손실 평가 정보를 제공할 수 있도록, 보험 운영 직원과 정비 전략을 제공하기 위하여, 손상 구성품, 손상 구성품 내의 손상 부분, 및 손상 유형을 포함하는 정보와, 정비 계획서에 대한 정보를 기초로 차량 정비 계획서가 생성된다. 본 출원의 실시예의 해법에서는, 보다 포괄적이면서 정확한 손실 평가 정보를 신속하게 획득할 수 있도록, 하나 이상의 이미지들 내의 하나 이상의 손상 구성품들, 손상 구성품들 내의 하나 이상의 손상 부분들, 하나 이상의 손상 정도 등이 식별될 수 있다. 그리고 나서, 정비 계획서가 자동으로 생성될 수 있어서, 신속하면서, 포괄적이고, 정확하며, 신뢰성 있는 차량 손실 평가 처리에 대한 보험회사 또는 차량 소유주의 요구조건을 충족시키고, 차량 손실 평가 처리 결과의 정확도와 신뢰도를 향상시키며, 사용자 서비스 경험을 향상시킬 수 있다.
본 출원의 전술한 실시예들의 방법 또는 장치는 컴퓨터 프로그램을 사용하여 서비스 로직(service logic)을 구현할 수 있고, 이 서비스 로직을 저장 매체에 기록할 수 있다. 본 출원의 실시예들에 기술된 본 해법의 효과를 달성하기 위해, 기록 매체는 컴퓨터에 의해 판독 및 실행될 수 있다. 그래서, 본 출원은 컴퓨터 판독 가능 저장 매체를 또한 제시한다. 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령어를 저장한다. 명령어가 실행될 때, 다음의: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 로컬 이미지 사이에 이미지 매칭을 수행함으로써, 처리 대상 이미지들로부터 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계가 이행될 수 있다.
컴퓨터 판독 가능 저장 매체는 정보를 저장하기 위한 물리적인 장치를 포함할 수 있다. 일반적으로, 정보가 디지털화되고, 그리곤 나서 전기적인 방식, 자기(磁氣) 방식, 광 방식 등으로 매체에 저장된다. 이 실시예의 컴퓨터 판독 가능 저장 매체는: 정보를 전기적인 방식으로 저장하는 장치, 예를 들면 RAM 또는 ROM과 같은 메모리; 하드디스크, 플로피디스크, 자기 테이프, 자심 코어 메모리(magnetic core memory), 자기 버블 메모리(magnetic bubble memory), 또는 USB 플래시 드라이브와 같이, 정보를 자기 방식으로 저장하는 장치; 및, CD 또는 DVD와 같이, 정보를 광 방식으로 저장하는 장치를 포함할 수 있다. 물론, 다른 형태의 컴퓨터 판독 가능 저장 장치, 예를 들면 양자 메모리(quantum memory)와 그래핀(graphene) 메모리도 있다.
전술한 장치 또는 방법은 이미지 기반의 차량 손실 평가 처리의 고속 처리를 구현하기 위해, 이미지 처리를 위한 전자 디바이스에 적용될 수 있다. 전자 디바이스는 독립형 서버(standalone server)일 수도 있고, 또는 복수의 애플리케이션 서버들을 포함하는 시스템 클러스터(system cluster)일 수도 있고, 또는 분산 시스템의 서버일 수도 있다.
도 12는 본 발명에 따른, 전자 디바이스의 일 실시예를 예시하는 개략적인 구조도이다. 일 실시예에서, 전자 디바이스는 프로세서와 프로세서 실행 가능 명령어를 저장하도록 구성된 메모리를 포함할 수 있다. 명령어를 실행할 때, 프로세서는: 처리 대상 이미지들을 획득하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들에서 차량 구성품을 식별하는 단계와; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 로컬 이미지 사이에 이미지 매칭을 수행함으로써, 처리 대상 이미지들로부터 로컬 이미지 내의 차량 구성품을 결정하는 단계와; 처리 대상 이미지들을 검사하고, 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하는 단계; 및, 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계를 이행한다.
도 13은 본 출원의 일 실시예에 따른, 차량 손실 평가의 처리 시나리오를 예시하는 개략도이다. 도 13의 클라이언트는 사용자의 모바일 단말기이다. 다른 실시예의 시나리오에서는 클라이언트가 PC 또는 다른 단말기 디바이스일 수도 있다. 본 출원에 제시된 이미지 기반의 차량 손실 평가 방법과 장치, 및 전자 디바이스를 기초로, 손상 부분과 손상 유형이 심층 학습(deep learning) 기술을 사용하여 식별되고, 이미지 매칭 방법을 사용하여 손상 부분이 정확히 위치 파악된다. 그래서 손실 평가의 정확도가 다중 이미지 인식(multi-image recognition)의 결과를 기초로 향상될 수 있다. 이미지 인식 기술, 차량 구성품 가격 데이터베이스, 및 정비 규칙에 기초하여 정비 계획서와 예상 비용이 자동 생성된다. 본 출원의 몇몇 실시예의 해법에서는, 정비 계획서와 예상 정비 비용이 보다 구체적인 차량 손상 정보, 차량 구성품 가격 데이터베이스, 정비 처리 방식 등에 기초하여, 자동으로 생성될 수 있다. 그래서, 신속하면서, 포괄적이고, 정확하며, 신뢰성 있는 차량 손실 평가 처리에 대한 보험회사 또는 차량 소유주의 요구조건이 충족될 수 있음으로 인해, 차량 손실 평가의 결과의 정확도와 신뢰도를 향상시키며, 사용자 서비스 경험을 향상시킬 수 있다.
전술한 방법과 장치는 복수의 자동의 이미지 기반의 차량 손실 평가 서비스 시스템에 적용될 수 있으며, 그래서 사용자는 촬영된 손상 차량 이미지를 업로드함으로써 정확하며 신뢰적인 차량 손실 평가 정보를 신속하게 획득할 수 있다. 그래서, 사용자의 요구조건이 충족되고, 사용자의 서비스 이용 경험이 향상된다. 그래서, 본 출원은 이미지 기반의 차량 손실 평가 시스템을 또한 제시한다. 구체적으로, 본 시스템은 I/O 인터페이스, 메모리, 중앙처리장치(cpu), 및 이미지 프로세서를 포함할 수 있는데, I/O 인터페이스는 처리 대상 이미지들을 획득하고 정비 계획서를 출력하도록 구성되고;
중창처리장치는 이미지 프로세서에 결합되어, 처리 대상 이미지들을 검사하여 처리 대상 이미지들 내에서 차량 구성품을 식별하고; 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하여, 로컬 이미지 내의 차량 구성품을 결정하며; 처리 대상 이미지들을 검사하여 처리 대상 이미지들 내에서 손상 부분과 손상 유형을 식별하고; 식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 처리 대상 이미지들 내의 손상 구성품과 이 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하도록 구성되며,
중앙처리장치는 처리 대상 이미지들 내의 결정된 손상 구성품과 이 손상 구성품에 대응하는 결정된 손상 부분과 손상 유형을 포함하는 정보에 기초하여 정비 계획서를 생성하도록 또한 구성된다.
전술한 실시예들은 전술한 관련 방법 또는 장치 실시예들에 대한 설명을 기초로, 장치, 전자 디바이스, 컴퓨터 판독 가능 저장 매체, 및 시스템에 대한 설명을 제공하지만, 장치, 전자 디바이스, 컴퓨터 판독 가능 저장 매체, 및 시스템이 다른 실시예를 더 포함할 수 있다는 것에 주목해야 한다. 구체 사항에 대해서는, 관련 방법 또는 장치 실시예들의 설명을 참조하면 되며, 구체 사항은 여기서 다시 상술되지 않는다.
본 출원의 내용은 이미지 품질 처리, 컨벌루션 신경망, 구역 제안 네트워크, 컨벌루션 신경망과 구역 제안 네트워크를 결합하여 생성된 심층 신경망, 예상 정비 비용의 계산 방법, GBCT 모델을 통하여 손상 부분과 손상 유형을 획득하는 처리 방법, SIFT를 통한 로컬 특징 데이터의 추출, 데이터 획득, 교환, 계산, 및 애파인 변환 처리 프로세스의 결정에 대한 설명을 언급한다. 하지만, 본 출원은 업게 통신 표준, 표준 데이터 모델/알고리즘, 컴퓨터 처리 및 저장 규칙을 따라야 하는 경우들 또는 본 발명의 실시예들에 기술된 상황들에 부합하는 것에 국한되지 않는다. 몇몇 업계 표준, 자체 정의 방식(self-defined manner), 또는 실시예들에 기술된 일 실시예를 기초로 한 변경 후에 얻어진 구현 해법들도 전술한 실시예들과 동일하거나, 동등하거나, 유사, 또는 변형예의 예측되는 실시 효과들을 또한 구현할 수 있다. 변경예 또는 변형예의 데이터 획득 방식, 저장 방식, 결정 방식, 처리 방식 등의 실시예들도 여전히 본 출원의 선택적인 실시예의 해법의 범위 내에 있을 수 있다.
1990년대에는, 기술의 향상이 하드웨어의 향상(예를 들면, 다이오드, 트랜지스터, 및 스위치와 같은 회로 구조의 향상)인지 소프트웨어의 향상(방법 절차의 향상)인지 명확히 구분될 수 있었다. 하지만 기술의 발전에 따라, 오늘날에는 많은 방법 절차의 향상이 하드웨어 회로 구조의 직접적인 향상으로 간주될 수 있다. 설계자는 대체로 향상된 방법 절차를 하드웨어 회로에 프로그램함으로써 해당 하드웨어 회로 구조를 얻는다. 그래서, 방법 절차의 향상이 하드웨어 실체 모듈을 사용하여 구현될 수 없다고 말할 수 없다. 예를 들면, PLD(programmable logic device)(예컨대 FPGA: field programmable gate array)가 일종의 이러한 집적회로이다. PLD의 논리 함수(logical function)는 사용자에 의해 실행되는 컴포넌트 프로그래밍에 의해 결정된다. 설계자들은 칩 제조업자가 전용 집적회로를 설계 및 제작할 필요 없이, 디지털 시스템을 단일의 PLD에 "통합(integrate)"하기 위해 독립적으로 프로그래밍을 수행한다. 또한, 집적회로 칩을 수작업으로 제작하는 대신에, 프로그래밍은 대부분 "로직 컴파일러(logic compiler)" 소프트웨어로 구현되는데, 이 로직 컴파일러 소프트웨어는 프로그램 개발시에 사용되는 소프트웨어 컴파일러와 유사하다. 컴파일링 이전에 존재하는 원 코드(original code)도 또한 특정 프로그래밍 언어로 작성될 필요가 있는데, 이는 HDL(hardware description language: 하드웨어 기술 언어)이라 지칭된다. ABEL(Advanced Boolean Expression Language), AHDL(Altera Hardware Description Language), Confluence(컨플루언스), CUPL(Cornell University Programming Language), HDCal, JHDL(Java Hardware Description Language), Lava, Lola, MyHDL, PALASM, 및 RHDL(Ruby Hardware Description Language) 등과 같은 하나 이상의 HDL이 존재한다. 현재, VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)과 Verilog(베릴로그)가 가장 흔히 사용된다. 본 기술분야의 통상의 기술자는 방법 절차가 전술한 몇개의 하드웨어 기술 언어(description language)를 사용하여 논리적으로 프로그램되면, 논리 방법 절차를 구현하는 하드웨어 회로가 쉽사리 얻어질 수 있다는 것도 또한 이해해야 한다.
컨트롤러는 임의의 적절한 방식을 사용하여 구현될 수 있다. 예를 들면, 컨트롤러는 마이크로프로세서 또는 프로세서, (마이크로)프로세서에 의해 실행되는 컴퓨터 판독 가능 프로그램 코드(예를 들면, 소프트웨어 또는 펌웨어)를 저장하는 컴퓨터 판독 가능 매체, 논리 게이트, 스위치, ASIC(application-specific integrated circuit), PLC(programmable logic controller), 및 임베디드 마이크로컨트롤러일 수 있다. 컨트롤러의 예로는 다음의 마이크로컨트롤러들이 포함되나 이에 국한되지 않는다: ARC 625D, Atmel AT91SAM, Microchip PIC18F26K20, 및 Silicone Labs C8051F320. 메모리 컨트롤러는 메모리의 제어 논리(controlling logic)의 일부로도 구현될 수 있다. 본 기술분야의 통상의 기술자는 컨트롤러가 컴퓨터 판독 가능 프로그램 코드만의 방식으로 구현될 수도 있으며, 컨트롤러가 논리 게이트, 스위치, ASIC, PLC, 임베디드 마이크로컨트롤러 등의 형태로 동일 기능을 또한 구현할 수 있도록, 본 방법의 단계들이 논리적으로 프로그램될 수 있음을 또한 알고 있다. 그래서, 컨트롤러는 하드웨어 컴포넌트 내의 구조로도 또한 간주될 수 있다. 이와 달리, 다양한 기능들을 구현하도록 구성된 장치가 방법을 구현하는 소프트웨어 모듈과 하드웨어 컴포넌트 내의 구조의 양자(兩者) 모두로 간주될 수도 있다.
전술한 실시예에 기술된 시스템, 장치, 모듈, 또는 유닛은 컴퓨터 칩 또는 엔티티(entity)에 의해 구체적으로 구현될 수 있거나, 특정 기능을 갖는 제품에 의해 구현될 수도 있다. 전형적인 구현 디바이스는 컴퓨터이다. 구체적으로, 컴퓨터는 예를 들면, PC(personal computer), 랩탑컴퓨터, 차량 탑재 사람-컴퓨터 상호작용 장치, 휴대전화기, 카메라폰, PDA(personal digital assistant), 미디어 플레이어, 네비게이션 장치, 이메일 장치, 게임콘솔, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 이들 장치들의 임의의 조합일 수 있다.
본 출원은 실시예 또는 순서도에 예시된 방법의 방법 동작 단계들을 제시하지만, 종래의 또는 비창의적인 수단에 따라 더 많거나 더 적은 수의 동작 단계들이 포함될 수도 있다. 실시예에 열거된 단계들의 시퀀스는 단지 복수의 단계 실행 시퀀스들 중 하나일 뿐이며, 유일한 실행 시퀀스를 나타내지는 않는다. 실제에서는, 장치 또는 단말기 제품이 단계들을 실행할 때, 실시예에 예시된 시퀀스로 또는 첨부 도면에 예시된 방법으로 실행이 이루어질 수도 있고, 또는 병렬로 수행될 수도 있다(예를 들면, 병렬 처리의 환경에서, 또는 멀티 스레드 처리 환경에서, 또는 심지어는 분산 데이터 처리 환경). 또한, "포함하다(include 또는 contain)"라는 용어 또는 그들의 임의의 다른 변형 표현은 비배타적인 포함을 커버하기 위한 것으로, 일련의 요소들을 포함하는 프로세스, 방법, 품목, 또는 디바이스가 이들 요소들을 포함할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소들도 또한 포함하거나, 또한 이러한 프로세스, 방법, 제품, 또는 디바이스에 본질적인 요소들도 더 포함하게 된다. 더 이상의 제한이 없을 때에는, 그 요소를 포함하는 프로세스, 방법, 제품, 또는 디바이스 내에 다른 동일하거나 동등한 요소가 존재하는 것이 또한 가능하다.
설명의 편의를 위해, 전술한 장치는 기능들을 다양한 모듈들로 구분하여 기술되었다. 물론, 본 출원의 실시 시에는 각 모듈의 기능이 한 가지 이상의 소프트웨어 및/또는 하드웨어로 구현될 수 있거나, 동일 기능을 구현하는 모듈이 복수의 서브모듈들 또는 서브유닛들 등의 조합으로 구현될 수도 있다. 기술된 장치 실시예는 단지 예시를 위한 것일 뿐이다. 예를 들어, 유닛 구분은 단지 논리 기능 구분일 뿐이며, 실제 구현에서는 다른 구분일 수도 있다. 예를 들어, 복수의 유닛들 또는 컴포넌트들이 다른 시스템에 결합되거나 통합될 수 있거나, 또는 몇몇 특징은 무시되거나 수행되지 않을 수도 있다. 또한, 도시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 소정의 인터페이스를 사용하여 구현될 수 있다. 장치들 또는 유닛들 사이의 직접 결합 또는 통신 연결은 전자식, 기계식, 또는 다른 형태로 구현될 수 있다.
본 기술분야의 통상의 기술자는 컨트롤러가 컴퓨터 판독 가능 프로그램 코드만의 방식으로 구현될 수도 있으며, 컨트롤러가 논리 게이트, 스위치, ASIC, PLC, 임베디드 마이크로컨트롤러 등의 형태로 동일 기능을 또한 구현할 수 있도록, 본 방법의 단계들이 논리적으로 프로그램될 수 있음을 또한 알고 있다. 그래서, 컨트롤러는 하드웨어 컴포넌트로 간주될 수 있고, 컨트롤러에 포함되며 다양한 기능들을 구현하도록 구성된 장치도 또한 하드웨어 컴포넌트의 구조로 간주될 수 있다. 이와 달리, 다양한 기능들을 구현하도록 구성된 장치는 방법을 구현하는 소프트웨어 모듈과 하드웨어 컴포넌트 내의 구조의 양자(兩者) 모두로 간주될 수 있다.
본 발명은 본 발명의 실시예들을 기초로 한 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 순서도 및/또는 블록도를 참조하여 기술되었다. 컴퓨터 프로그램 명령어들이 순서도들 및/또는 블록도들 내의 각 프로세스 및/또는 블록 및 순서도들 및/또는 블록도들 내의 프로세스 및/또는 블록의 조합을 구현하는데 사용될 수 있음을 이해해야 한다. 이들 컴퓨터 프로그램 명령어들은 범용 컴퓨터, 전용 컴퓨터, 임베디드 프로세서, 또는 머신을 생성하기 위한 임의의 다른 프로그램 가능 데이터 처리 디바이스의 프로세서에 제공될 수 있으며, 그래서 컴퓨터 또는 임의의 다른 프로그램 가능 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령어들이 순서도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내의 하나 이상의 블록들의 특정 기능을 구현하는 장치를 생성한다.
이들 컴퓨터 프로그램 명령어들은 컴퓨터 또는 임의의 다른 프로그램 가능 데이터 처리 디바이스가 특정 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독 가능 메모리에 저장될 수 있으며, 그래서 컴퓨터 판독 가능 메모리에 저장된 명령어들이 명령 장치(instruction apparatus)를 포함하는 아티팩트(artifact)를 생성할 수 있다. 명령 장치는 순서도들 내의 하나 이상의 절차들 및/또는 블록도들 내의 하나 이상의 블록들의 특정 기능을 구현할 수 있다.
컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그램 가능 데이터 처리 디바이스에 로딩될 수 있으며, 그래서 일련의 동작들 또는 단계들이 컴퓨터 또는 다른 프로그램 가능 디바이스에서 수행되고, 그에 따라 컴퓨터 구현 처리를 생성하게 된다. 그래서, 컴퓨터 또는 다른 프로그램 가능 디바이스에서 실행되는 명령어들은 순서도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내의 하나 이상의 블록들의 특정 기능을 구현하는 단계들을 제공한다.
전형적인 구성에서, 컴퓨팅 디바이스는 하나 이상의 프로세서들(CPU), 입력/출력 인터페이스, 네트워크 인터페이스, 및 메모리를 포함한다.
메모리는 비영구 메모리, RAM(random access memory), 비휘발성 메모리, 및/또는 컴퓨터 판독 가능 매체에 있는 다른 형태, 예를 들면, ROM(read-only memory) 또는 플래시 메모리(플래시 RAM)를 포함할 수 있다. 메모리는 컴퓨터 판독 가능 매체의 일례이다.
컴퓨터 판독 가능 매체는 임의의 방법 또는 기술을 사용하여 정보 저장을 구현할 수 있는 영구, 비영구, 이동형, 또는 비이동형 매체를 포함한다. 정보는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터일 수 있다. 컴퓨터 저장 매체의 예로는: PRAM(phase change memory), SRAM(static random access memory), DRAM(dynamic random access memory), 다른 유형의 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), 플래시 메모리 또는 다른 메모리 기술, CD-ROM(compact disc read-only memory), DVD(digital versatile disc) 또는 광저장장치, 카세트 자기테이프, 테이프 및 디스크 저장장치 또는 다른 자기 저장 디바이스, 또는 컴퓨팅 디바이스에 의해 액세스될 수 있는 정보를 저장하도록 구성될 수 있는 임의의 다른 비전송 매체가 포함되나, 이에 국한되지 않는다. 본 명세서에서의 한정에 기초하여, 컴퓨터 판독 가능 매체는 변조 데이터 신호 및 반송파(carrier)와 같은, 일시적 컴퓨터 판독 가능 매체(transitory media)는 포함하지 않는다.
본 기술분야의 통상의 기술자는 본 출원의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제시될 수 있음을 이해해야 한다. 그래서, 본 출원은 하드웨어 전용 실시예, 소프트웨어 전용 실시예, 또는 소프트웨어와 하드웨어의 조합의 실시예의 형태를 이용할 수 있다. 또한, 본 출원은 컴퓨터 사용 가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용 가능 저장 매체(디스크 메모리, CD-ROM, 광 메모리 등을 포함하나 이에 국한되지 않음)에서 구현되는 컴퓨터 프로그램 제품의 형태를 이용할 수 있다.
본 출원은 컴퓨터에 의해 실행되는 컴퓨터 실행 가능 명령어, 예를 들면 프로그램 모듈의 일반적인 맥락에서 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크(task)를 실행하거나 또는 특정 추상(abstract) 데이터 유형을 구현하기 위한, 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 출원은 통신 네트워크를 사용하여 연결된 원격 처리 디바이스에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서도 또한 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 저장장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 양자 모두에 위치될 수 있다.
본 명세서의 실시예들은 모두 점진적인 방식으로 기술되고, 실시예들 내의 동일하거나 유사한 부분들은 서로 참조할 수 있으며, 각 실시예는 다른 실시예들과의 차이점에 초점을 맞추고 있다. 특히, 시스템 실시예는 방법 실시예와 기본적으로 유사하며, 그래서 간략하게만 기술된다. 관련 부분에 대해서는, 방법 실시예의 일부 설명을 참조하면 된다. 본 명세서의 설명에서, "일 실시예(an implementation)", "몇몇 실시예들(some implementations)", "일례(an example)", "구체적인 예(specific example)" 및 "몇몇 예들(some examples)"와 같은 참조 용어는, 실시예들 또는 예들을 참조하여 기술된 특정 특징들, 구조들, 재료들, 또는 특성들이 본 출원의 적어도 하나의 실시예 또는 예에 포함되어 있음을 의미한다. 본 명세서에서, 전술한 용어들이 반드시 동일 실시예 또는 예에 대해서 기술되는 것은 아니다. 또한, 기술된 특정 특징들, 구조들, 재료들, 및 특성들은 하나 이상의 실시예 또는 예에서 적절한 방식으로 조합될 수 있다. 게다가, 본 기술분야의 통상의 기술자는 서로 상충되지 않는 한, 본 명세서에 기술된 상이한 실시예들 또는 예들 및 상이한 실시예들 또는 예들의 특성들을 통합하거나 조합할 수 있다.
전술한 실시예들은 단지 본 출원의 실시예들일 뿐으로, 본 출원을 제한하기 위한 것으로 사용되지 않는다. 본 기술분야의 통상의 기술자에게는, 본 출원이 다양한 수정과 변경을 가질 수 있다. 본 출원의 사상과 원리를 벗어남이 없이 이루어진 임의의 수정, 등가 대체, 및 개선도 본 출원의 특허청구범위의 범위 내에 있게 된다.
도 14는 본 개시의 일 실시예에 따른, 차량 손실 평가를 위한 컴퓨터 구현 방법(1400)의 일례를 예시하는 순서도이다. 명료하게 제시하기 위해, 후속 설명은 전체적으로 본 설명의 다른 도면들의 맥락에서 방법(1400)을 기술한다. 하지만, 본 방법(1400)은 예를 들어, 임의의 시스템, 환경, 소프트웨어, 및 하드웨어, 또는 시스템, 환경, 소프트웨어, 및 하드웨어의 조합에 의해 적절히 수행될 수 있음이 이해될 것이다. 몇몇 실시예에서는, 방법(1400)의 다양한 단계들이 병렬로, 조합 형태로, 루프 형태로, 또는 임의의 순서로 실행될 수 있다.
단계 1402에서, 차량 손상 데이터가 수신된다. 차량은 승용차, 트럭, 보트, 열차, 헬리콥터, 및/또는 항공기와 같은 임의의 유형의 개인 또는 공공 차량을 포함할 수 있다. 몇몇 실시예에서는, 차량 손상 데이터가 차량 운전자 또는 차량 소유주 같은 사용자로부터 수신된다. 차량 운전자는 손실 또는 손상 평가 상태에 대한 정보를 수신하기 위해, 손상 차량이 관련된 사고 현장에서 (휴대 전화기와 같은) 모바일 디바이스를 사용하여 차량의 손상 위치의 하나 이상의 사진들(또는 이미지들)을 촬영할 수 있다. 차량 운전자는 사진들을 직접 업로드하거나 또는 사진들을 업로드할 수 있게 차랑 소유주에게 사진들을 전송할 수 있다. 예를 들어, 사용자는 획득한 이미지들을 업로드하기 위해 차량 정비를 지원하도록 구성된 애플리케이션(앱)에 액세스할 수 있다. 애플리케이션은 대역폭 요건(bandwidth requirements)을 최소화할 수 있도록 전송 데이터의 양을 최소화하기 위해, 이미지들을 자동으로 처리하도록 구성될 수 있다. 이미지 처리는 손상 식별과 무관한 특징들(예를 들면, 배경 특징들)을 삭제하기 위하여 이미지들을 필터링하는 것을 포함할 수 있다. 이미지 처리는 전송 대역폭 요건을 최소화하기 위해 그레이스케일(gray scale) 이미지로 변환하는 것을 포함할 수 있다. 이미지 처리는 전송 대역폭 요건을 최소화하기 위해 기설정 파일 사이즈로 압축하는 것을 포함할 수 있다. 이미지들 외에, 사용자는 사용자 식별자(예를 들면, 이름과 패스워드) 및 업로드된 사진들과 연관된 데이터를 제공할 수 있다. 데이터는 손상된 자동차 구성품(예를 들면, 차량의 전방 범퍼, 좌측 앞문, 또는 후미등), 차량 소유주, 보험 정보, 손상 차량과 연관된 다른 당사자들의 보험 정보, 사고 상태, 위치, 및 사고 시간의 표시를 포함할 수 있다. 단계 1402에서, 방법(1400)은 단계 1404로 진행한다.
단계 1404에서, 데이터 품질이 허용할만 하며 충분한지 판단하기 위해 차량 손상 데이터가 처리된다. 이미지 품질은 퍼지 정도(fuzzy degree) 문턱값, 정보 엔트로피 값과 같은 품질 결정 알고리즘을 기초로 결정될 수 있다. 낮은 이미지 품질은 차량 손실 평가를 위한 관련 정보의 추출을 저해할 수 있다. 차량 손상 데이터가 품질 문턱값(threshold) 미만이거나 차량 손상 데이터의 일부가 누락되어 있으면, 단계 1404로부터 방법(1400)은 단계 1406으로 진행한다.
단계 1406에서, 사용자에게 추가적인 차량 손상 데이터가 요청된다. 예를 들어, 사용자는 이미지 처리를 가능케 하는 특정 표준에 부합하는 추가적인 이미지들을 제공하도록 안내받을 수 있다. 몇몇 실시들예에서는, 사용자가 업로드된 사진들과 연관된 추가적인 데이터를 제공하도록 안내받을 수 있다. 단계 1406으로부터, 방법(1400)은 단계 1402로 복귀한다. 차량 손상 데이터가 품질 문턱값 이상이면, 단계 1404로부터, 방법(1400)은 단계 1408로 진행한다.
단계 1408에서, 수신된 차량 손상 데이터는 사용자 식별자를 기초로 사용자 정보를 검색하는데 사용되며, 차량 구성품을 결정하기 위해 차량 이미지들이 처리된다. 몇몇 실시예에서는, 차량 이미지들이 복수의 유형의 이미지 정보를 포함하면, 차량 이미지들은 이미지 분류 알고리즘을 사용하여 분류된다. 예를 들어, 손상 부분과 손상 유형을 식별하는데 유용한 차량 손실 평가 처리를 위한 이미지를 식별하기 위해 이미지 분류 알고리즘을 사용하여 분류가 행해질 수 있다. 차량 이미지들의 구체적인 분류는 시나리오 처리 요건(scenario-processing requirement)을 기초로 분류 및 설정될 수 있다. 이미지들은 차량 전체의 파노라마 뷰(panoramic view)의 이미지, 복수의 구성품들을 포함하는 하프 뷰(half view)의 이미지, 차량 구성품 상세(details)의 뷰 등으로 분류될 수 있다. 차량 손실 평가 처리에 있어서 차량 구성품 또는 손상 부분의 식별과 관련되지 않은 이미지들은 별도로 분류되거나 또는 해당 카테고리로 분류될 수 있다(예를 들면, ID 사진, 사고 지점의 신호등 사진, 운전자의 인물사진 등). 이미지 분류 알고리즘은 ResNet(residual network)과 같은 컨벌루션 신경망(CNN) 모델을 사용할 수 있는데, 이 CNN 모델은 분류된 이미지들을 사용하여 트레이닝된다.
차량 구성품은 구성품 손상 식별 알고리즘을 사용하여 차량 이미지들로부터 결정될 수 있다. 이미지 내의 차량 구성품을 식별하는데 사용되는 구성품 식별 모델은 머신러닝(machine learning) 알고리즘을 포함할 수 있다. 구성품 식별 모델은 구성품 이미지 내에 포함된 차량 구성품들을 식별하기 위해 샘플 이미지들에 대해 트레이닝될 수 있다. 복수의 구성품 식별 모델이 차량 구성품을 결정하는데 사용될 수 있다. 각 구성품 식별 모델의 출력은 차량 구성품 특성화(characterization) 및 신뢰수준을 포함할 수 있다. 구성품 식별 모델은 도 1 내지 도 13을 참조하여 설명된 바와 같이, 심층 신경망의 네트워크 모델, 변형 네트워크 모델, 컨벌루션 신경망(CNN) 모델, 구역 제안 네트워크(RPN) 모델, 또는 복수의 모델들의 조합을 포함할 수 있다. 차량 이미지는 특정의 차량 구성품을 손상되지 않은 차량의 다른 구성품들과 구분하기 위해, 하나 이상의 이미지 분석 기법들과 패턴 매칭 기법들을 사용하여 처리될 수 있다. 몇몇 실시예에서는, 차량 구성품의 식별이: 컨벌루션 신경망을 사용하여 이미지의 컨벌루션 특징 데이터를 추출하는 것과; 사전 결정 알고리즘을 사용하여 이미지의 로컬 특징점 세트를 추출하는 것을 포함한다. 예를 들면, 구성품 이미지 u의 컨벌루션 특징 데이터 x가 추출될 수 있다. 컨벌루션 신경망 Np가 구축되고, 컨벌루션 신경망 Np 내의 풀링 계층의 최종 출력 벡터가 구성품 이미지 u의 컨벌루션 신경망 특징으로 사용된다. 로컬 특징점 세트는 스케일 불변 특징 변환(scale-invariant feature transform: SIFT)을 사용하여 획득될 수 있으며, 이미지 u의 제1의 로컬 특징점 세트 y가 추출된다. SIFT는 이미지의 로컬 특징 데이터로도 사용될 수 있다. 다른 특징 데이터, 예를 들면 FAST(features from accelerated segment test, 코너 검출 방법)와 같은 특징도 또한 사용될 수 있다. 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 획득하기 위해, 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터가 사용될 수 있다. 이미지 매칭에 사용되는 구성품 이미지로부터 복수의 샘플링 구역들이 선택될 수 있다. 예를 들면, 각 샘플링 구역의 크기는 구성품 이미지 또는 크롭 구성품 이미지(cropped component image)의 사이즈와 동일하게 설정되며, 샘플링 구역들은 구성품 이미지의 상단 좌측(upper left) 코너로부터 순차적으로 선택된다. 구성품 이미지의 모든 샘플링 구역들이 획득되고 난 후에 샘플링 구역들의 세트가 구성될 수 있다. 각 샘플링 구역의 컨벌루션 특징 데이터가 계산된다. 컨벌루션 특징 데이터가 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교된다. 제1의 컨벌루션 특징 데이터에 가장 유사한 컨벌루션 특징 데이터를 포함하는 샘플링 구역이 획득되어 유사 구역(similar region)으로 사용된다. 몇몇 실시예에서는, 슬라이딩 윈도우를 사용하여 구성품 이미지 내의 슬라이딩 윈도우 구역의 컨벌루션 특징 데이터를 추출함으로써 유사 구역이 결정된다. 컨벌루션 특징 데이터는 컨벌루션 특징 데이터 x를 추출하는 데 사용된 것과 동일한 컨벌루션 신경망을 사용하여 획득될 수 있다. 그 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터에 가장 유사한 유사 구역으로부터 제2의 컨벌루션 특징 세트가 선택될 수 있다. 예를 들면, Tk 내의 각 이미지 t에 대해, 제1의 컨벌루션 특징 데이터 x를 추출하는데 사용된 것과 동일한 컨벌루션 신경망을 함으로써, 상이한 크기의 슬라이딩 윈도우들이 구성품 이미지 내의 상이한 구역들의 제2의 컨벌루션 특징 데이터를 추출하는데 사용될 수 있다. 그 제2의 컨벌루션 특징 데이터가 제1의 컨벌루션 특징 데이터 x에 가장 유사한 구역 r이 모든 구역들로부터 선택된다. 유사도는 코사인 유사도(cosine similarity)를 사용하여 계산될 수 있다. 몇몇 실시예에서는, 더 넓은 범위에서 더 많은 로컬 특징 데이터를 획득하고 매칭 처리 신뢰도를 향상시키기 위해, 유사 구역의 이미지 구역 범위가 확장될 수 있다. 그에 따라, 제2의 로컬 특징점 세트는 그 이미지 구역 범위가 확장된 유사 구역의 추출된 로컬 특징점 세트를 포함한다. 유사 구역의 이미지 구역 범위를 확장하는 방법은 처리 요건에 따라 맞춤화(customize)될 수 있다. 유사 구역의 이미지 구역 범위는 미리 설정된 백분율(percentage)만큼 유사 구역의 좌측, 우측, 상부측, 및 하부측 쪽으로 연장될 수 있다. 유사 구역의 이미지 구역 범위는 특정 목표 개수의 제2의 로컬 특징점들을 포함하도록 사전 설정된 백분율 범위 내에서 확장될 수 있다. 목표 개수는 대응하는 제1의 로컬 특징점들의 개수의 2배를 포함할 수 있다. 예를 들면, 유사 구역의 이미지 구역 범위는 50% 확장될 수 있는데, 유사 구역 r의 각 측면이 50% 확장되며(이미지는 일반적으로 정사각형 이미지가 되도록 전처리된다), 그래서 특징 추출의 데이터 요건이 충족될 수 있으며, 계산량이 적절히 제어될 수 있다. 단계 1408로부터, 본 방법(1400)은 단계 1410으로 진행한다.
단계 1410에서, 이미지들이 매칭된다. 이미지 매칭은 식별된 차량 구성품을 포함하는 제1의 이미지와 제2의 이미지 또는 제2의 이미지들의 세트 사이에 행해질 수 있다. 제2의 이미지 또는 이미지들의 세트는, 차량 구성품 식별을 통해서 잔여 이미지들 내에서 차량 구성품을 결정하지 못한, 사용자로부터 수신된 다른 이미지들일 수 있다. 예를 들면, 사용자가 업로드한 10개의 이미지들 중에서 6개가 차량 자체에 대한 정보를 포함할 수 있고, 나머지들은 ID 이미지들이다. 6개의 차량 이미지들 중에서 이미지 P1이 차량의 구성품의 로컬 상세 이미지이다. 제작된 구성품 식별 모델이 이미지 P1에서 구성품 유형과 구성품 위치는 식별할 수 없지만, 나머지 5개의 차량 이미지들에 포함된 차량 구성품들은 식별된다. 이미지 P1이 나머지 5개의 이미지들 P2, P3, P4, P5 각각에 매칭될 수 있는데, 5개의 이미지들의 위치 구역이 이미지 P1의 이미지 정보와 매치되는지 및 요건, 예를 들면 매칭 정도가 가장 높으며 최소 매칭 정도 요건을 충족하는지를 계산 및 결정한다. 매칭에 사용되는 데이터는 이미지 픽셀의 시각 특징 데이터(예를 들면 RGB, 구배(gradient), 그라데이션(gradation) 등) 또는 다른 이미지 데이터 정보일 수 있다. 이미지 매칭은 P2에 포함된 제1의 자동차 구성품의 제1의 위치가 이미지 P1 내의 제2의 자동차 구성품의 제2의 위치와 가장 유사한 지 및 사전 결정된 유사도 문턱값을 초과함으로써 최소 유사도 점수(minimum similarity score) 요건을 충족하는 지를 나타낼 수 있다. 매칭 결과를 기초로, P2의 대응 위치에 있는 차량 구성품이 이미지 P1 내의 식별된 차량 구성품으로 사용될 수 있다. 몇몇 실시예에서는, 매칭 알고리즘이 제1 및 제2의 이미지들 중 적어도 하나에 적용된 하나 이상의 이미지 변환을 포함한다. 이미지를 곱셈을 위해 벡터로 변환하는 것과 같은, 직교 좌표계에서의 종래의 이미지 변환은 선형 변환일 수 있다. 차량 손실 평가 처리의 경우에는, 손상 구성품이 정상 상태의 이미지 정보와 비교하여 가능케는 변형되었거나, 또는 손상되지 않은 구성품에 비해 변위되었을 것으로 간주된다. 몇몇 실시예에서는, 이미지 변환이 애파인 변환을 포함한다. 애파인 변환은 선형 변환에 트랜슬레이션을 더한 것과 같은, 애파인 조합(affine combination)을 만족하는 변환을 포함할 수 있다. 몇몇 실시예에서는, 이미지 매칭이 유사도가 기설정 문턱값에 도달하는 이미지들에 대한 중복제거 처리를 포함할 수 있다. 중복제거 처리는 동일한 각도에서 반복적으로 촬영되어 서로 다른 손상 정보를 제공하지 않는, 높은 유사도를 갖는 이미지들을 삭제하도록 적용된다. 단계 1410으로부터, 방법(1400)은 단계 1412로 진행한다.
단계 1412에서, 구성품 손상 식별 알고리즘을 사용한 특정 모델을 기초로, 자동차 부품의 하나 이상의 손상 영역 위치들과 하나 이상의 손상 유형들을 식별하기 위해 차량 구성품이 처리된다. 이미지 내의 차량 구성품을 식별하는데 사용되는 구성품 식별 모델은 머신러닝 알고리즘을 포함할 수 있다. 구성품 식별 모델은 구성품 이미지에 포함된 차량 구성품들을 식별하기 위해 샘플 이미지들에 대해 트레이닝될 수 있다. 복수의 구성품 식별 모델들이 차량 구성품을 식별하는데 사용될 수 있다. 각 구성품 식별 모델의 출력은 차량 구성품 특성화 및 신뢰수준을 포함할 수 있다. 구성품 식별 모델은 도 1 내지 도 13을 참조하여 기술된 바와 같이, 심층 신경망의 네트워크 모델, 변형 네트워크 모델, 컨벌루션 신경망(CNN) 모델, 구역 제안 네트워크(RPN) 모델, 또는 복수의 모델들의 조합을 포함할 수 있다. 차량 이미지는 특정의 차량 구성품을 차량의 손상되지 않은 다른 구성품들과 구분하기 위해, 하나 이상의 이미지 분석 기법들과 패턴 매칭 기법들을 사용하여 처리될 수 있다. CNN은 컨벌루션 계층과 활성화 계층과 같은 다른 구조들을 포함할 수 있으며, 주로 하나 이상의 이미지들에서의 손상 식별에 사용된다. CNN 모델은 이미지 처리에 있어서의 2차원 이산 컨벌루션 연산을 인공 신경망과 결합한다. 컨벌루션 연산은 손상 특징의 자동 추출에 사용될 수 있다. (임의의 크기의) 이미지로부터 추출된 (컨벌루션 신경망을 사용하여 추출된 2차원 특징일 수 있는) 손상 특징이 추가 처리를 위해 RPN 모델에 입력될 수 있다. RPN 모델은 손상 특징을 처리하여, 3차원 손상 데이터 세트들의 집합(직사각형 타켓 제안 박스)으로 구성품 특성화를 생성할 수 있다. 예를 들면, 단일의 손상 이미지가 복수의 손상 부분들을 포함할 수 있다. 각각의 3차원 손상 데이터 세트는 복수의 손상 부분들 중 특정 손상 부분에 대응할 수 있다. 하나의 손상 부분이 있으면, 하나의 이미지 구역이 출력되고; k개의 손상 부분들이 있으면, k개의 이미지 구역들이 출력되며; 손상 부분이 없으면, 0개의 이미지 구역이 출력된다. 각각의 3차원 손상 데이터 세트는 손상 분류(손상 분류는 손상 유형을 결정하는데 사용됨)를 정의할 수 있도록 경미한, 중간 정도, 및 심한 손상들을 구분하기 위한 점수(예를 들면, 1, 2, 3)와, 신뢰수준(여기서 신뢰수준은 손상 유형의 진본성 정도를 나타내는 파라미터임)을 포함한다. 손상 유형은 경미한 긁힘, 심한 긁힘, 경미한 변형, 중간 정도의 변형, 심한 변형, 손상, 및 분해가 요구되는 검사를 포함할 수 있다.
몇몇 실시예에서는, 하나 이상의 특징 벡터들(feature vectors)을 추출하기 위해 구성품 구역들이 처리될 수 있다. 손상 구성품을 특징짓기 위해, 특징 벡터들을 기초로 동일 차량 구성품에 대해 이미지 클러스터링이 행해질 수 있다. 동일 손상 구성품에 대응하는 손상 부분들은 통합될 수 있으며, 손상 부분들에 대해 손상 클러스터링 특징 데이터가 획득될 수 있다. 손상 클러스터링 특징 데이터는 손상 구성품에 포함된 손상 부분과 손상 부분에 대응하는 손상 유형을 결정하는데 사용될 수 있다. 예를 들면, (손상 유형, 위치, 및 신뢰수준을 포함하는) 하나 이상의 손상 부분들에 대응하는 식별된 손상 구성품 p가, 클러스터링될 수 있는 하나 이상의 이미지들에서 식별될 수 있다. 구성품 식별 모델(CNN 모델)에 의해 처리되는 손상 이미지에 대응하는 특징 벡터는 이미지 거리(image distance)를 계산하는데 사용될 수 있다. 동일한 클러스터 t에 대응하는 손상 부분들은 특징 Ft로 통합될 수 있다. 클러스터 내의 상위 C개(top-C)의 이미지들(클러스터 내에서 가중화된 손상 부분들의 분량을 기초로 선택된 이미지들로서, 가중치는 손상 부분의 신뢰수준임)의 복수의 특징들(Ft1, Ft2, ...)이 다계층 GBDT(gradient boosting decision tree: 그라데이션 부스팅 결정 트리)에 대한 특징 입력으로 선택될 수 있다. GBDT 모델은 마킹 데이터를 사용하여 경사 하강법 트레이닝(gradient descent training)을 통해 획득될 수 있다. 클러스터링의 목적은 거의 동일한 손상 구성품의 부분들에 대해 촬영된 이미지들 식별하는 것이다. 처리 대상 이미지들 내의 손상 구성품, 대응하는 손상 부분, 및 대응하는 손상 유형이 손상 구성품들과, 손상 부분들, 및 손상 유형들을 기초로 결정된다. 동일한 손상 구성품에 속하는 손상 부분들을 통합하는 것은: 신뢰수준(손상 부분들의 가중치)의 내림차순으로, 이미지 클러스터 내의 동일한 손상 구성품에 대응하는 복수의 이미지들에서 손상 부분들을 선택 및 통합하는 것을 포함할 수 있다. 신뢰수준을 기초로 처리되는 이미지들의 수를 저감함으로써 처리 속도가 향상될 수 있다. 예를 들면, 미리 선정된 신뢰수준 이상의 신뢰수준을 갖는 이미지들의 최대 개수가 처리 로드(processing load) 및 그에 따른 처리 속도를 제어하는데 사용될 수 있다. 몇몇 실시예에서는, 알려진 손상 유형들을 갖는 이미지들에 기초한 이미지 매칭을 사용하여, 이미지 내의 구성품 유형과 구성품 위치가 식별될 수 있다. 예를 들면, 이미지 u 내의 구성품 유형과 구성품 위치를 획득하기 위하여, Tk로부터 u에 포함된 위치들을 포함하는 이미지 k를 찾고 u와 k 사이의 애파인 변환을 식별하기 위해, Tu 내의 각 이미지 u가 Tk 내의 이미지에 매칭될 수 있다. 몇몇 실시예에서는, 이미지 SIFT 및 CNN 특징을 기초로 샴 네트워크(Siamese networks)의 네트워크 구조를 사용하여 이미지 매칭이 행해질 수 있으며, 그래서 매칭된 이미지들 사이에 애파인 변환을 획득할 수 있고, 그 결과 대응 위치에서 손상 유형을 획득할 수 있다. 단계 1412로부터, 방법(1400)은 단계 1414로 진행한다.
단계 1414에서, 식별된 손상 영역 위치와 손상 유형에 기초하여 정비 계획서가 생성된다. 정비 계획서는 차량 손실 평가에 포함된다. 정비 계획서는 규칙 엔진을 사용하여 생성될 수 있다. 규칙 엔진은 식별된 손상을 복원할 수 있는 정비 서비스를 포함하여 손상 차량 부분에 대한 적어도 하나의 정비 계획서를 한 세트의 규칙에 기초하여 생성하기 위해, 차량 모델, 위치, 및 이용 가능 수리 센터에 연관된 정비 전략을 기초로 상이한 가격 정책 데이터베이스(pricing scheme databases)를 호출할 수 있다. 규칙에는 프런트 엔드(front-end) 규칙과 백 엔드(back-end) 규칙이 포함될 수 있다. 프런트 엔드 규칙은 정비 계획서를 결정하는데 필요한 최소 유형의 정보 유형과 같은, 계약 요건을 나타낼 수 있다. 이들 계약 기반의 특징에는 인건비, 특정 업무당 청구 가능 시간(chargeable hours), 또는 정비 계획서가 적용되는 임의의 다른 면의 작업이 포함될 수 있다. 백 엔드 규칙은 정비 계획서가 식별된 손상에 부합하는 지를 나타낼 수 있다(예를 들면, 전방 충돌의 경우에, 시스템은 정비가 필요한 것으로 표시된 후미등 조립체에는 플래그(flag)를 붙이게 된다). 몇몇 경우에는, 정비 계획서가 정비 비용 견적을 포함한다. 출력 정비 계획서가 정비 비용을 포함하지 않으면, 그 정비 계획서는 손상 평가 부분으로 분류될 수 있다. 정비 계획서가 정비 비용을 포함하면, 산출 처리가 손상 평가와 비용 평가 양자 모두에 대해 수행되었다고 여겨질 수 있다. 그래서, 본 실시예의 각 정비 계획서는 차량 손실 평가의 처리 결과들 중 하나이다. 정비 계획서는 가능한 정비 서비스와 위치에 대응하는 시간 견적(time estimates)을 포함할 수 있다. 몇몇 실시예에서, 정비 계획서를 생성하는 것에는 할당 견적서(assignment estimates)를 생성하기 위한 FNOL(first notice of loss: 손실에 대한 1차 고지) 프로세스의 일부로서 하나 이상의 차량 수리 센터에 할당 데이터를 전송하는 것이 포함된다. 할당 데이터는 손상 정보, 고객 이름, 연락처 정보, 보험 청구 번호, 할당일, 손실 일자, 손실 유형, 손실 유형 상세사항, 손실 기술(loss description), 현재 차량 위치, 차량이 이송될 장소, 공제 금액, 차량 유형, 연도/메이크/모델, VIN(vehicle identification number), 차량 번호, 견인차 회사 정보, 이전의 손상 정보, 및 차량 안전 상태(운전 가능/운전 불가능)를 포함할 수 있으나 이에 국한되지 않는다. 단계 1414로부터, 방법(1400)은 단계 1416으로 진행한다.
단계 1416에서, 정비 계획서는 차량과 연관된 사용자 및/또는 보험업자에게 전송된다. 정비 계획서의 전송은 차량 정비를 지원하도록 구성된 애플리케이션에 의해 해석 가능한 정비 계획서 코드를 생성하는 것을 포함할 수 있다. 정비 계획서 코드는 대역폭 요건을 최소화하고 시각화 프로세스의 속도를 높이기 위하여 전송 데이터의 양을 최소화하도록 포맷이 이루어질 수 있다. 애플리케이션은 사용자에게 정비 계획서가 검토 준비가 되었다는 것을 나타내는 알림(alert)을 생성하도록 구성될 수 있다. 애플리케이션은 모바일 디바이스의 사용자에게 이 애플리케이션의 GUI(graphical user interface) 상에 정비 계획서를 디스플레이하도록 구성될 수 있다. 단계 1416으로부터, 방법(1400)은 단계 1418로 진행한다.
단계 1418에서, 사용자 및/또는 보험업자로부터 정비 계획서의 승인이 수신될 수 있다. 정비 계획서의 승인은 재정상의 책임 또는 차량 손실 배상이 사용자, 보험업자, 및/또는 제3자에 의해 수락되었는지를 보여줄 수 있다. 정비 계획서의 승인은 정비소의 선택 및 제안된 정비 계획서에 열거된 가능한 정비 서비스들 중 적어도 일부를 포함할 수 있다. 정비 계획서의 승인은 정비 계획서를 개시(開始)하기 위한 선호되는 시간을 포함할 수 있다. 단계 1418로부터, 방법(1400)은 단계 1420으로 진행한다.
단계 1420에서, 정비 계획서의 승인의 수신에 응답하여, 정비 계획서가 개시된다. 정비 계획서의 개시는 정비 작업을 수행할 수 있도록, 선택된 차량 정비소에 작업 할당 데이터를 전송하는 것을 포함할 수 있다. 차량 정비소와의 통신의 이점은 청구 및/또는 정비 과정 동안에 어떠한 정보라도 변경될 때 실시간 업데이트를 제공할 수 있고, 고객을 위해 정비를 신속하게 할 수 있는 능력이다. 단계 1420 후에, 방법(1400)은 정지한다.
본 개시의 실시예들은 상응하는 데이터 공유 효율을 향상시킬 수 있는 한편, 대역폭 요건을 최소화하고 차량 손실 평가 생성 프로세스의 속도를 높이기 위하여 전송 데이터의 양을 최소화함으로써 컴퓨팅 리소스(computing resources)를 저감한다.
본 명세서에 기술된 실시예들과 동작들은 본 명세서에 개시된 구조들을 포함하는 디지털 전자 회로로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들의 하나 이상의 조합으로 구현될 수 있다. 동작들은 하나 이상의 컴퓨터 판독 가능 저장 장치에 저장되거나 또는 다른 소스들로부터 수신된 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작들로 구현될 수 있다. 데이터 처리 장치, 컴퓨터, 또는 컴퓨팅 디바이스는, 예로서 프로그램 가능 프로세서, 컴퓨터, SoC(system on a chip), 이들의 복수 또는 조합을 포함하는, 데이터 처리를 위한 장치, 디바이스, 및 머신을 포함할 수 있다. 본 장치는 전용 논리 회로, 예를 들면, CPU, FPGA(field programmable gate array), 또는 ASIC(application-specific integrated circuit)를 포함할 수 있다. 본 장치는 해당 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영체계(예를 들면, 단일 운영체계 또는 운영체계들의 조합), 크로스 플랫폼 런타임 환경, 버추얼 머신, 이들의 하나 이상의 조합을 구성하는 코드를 또한 포함할 수 있다. 본 장치와 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라스트럭쳐와 같은 다양한 다른 컴퓨팅 모델 인프라스트럭쳐를 실현할 수 있다.
(예를 들면, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 소프트웨어 모듈, 소프트웨어 유닛, 스크립트, 또는 코드라고도 알려진) 컴퓨터 프로그램은 컴파일러형 또는 해석형 언어, 또는 선언형 또는 절차형 언어를 포함하는 임의의 형태의 프로그램밍 언어로 작성될 수 있으며, 컴퓨팅 환경에서 사용하는데 적합한 독립형 프로그램으로, 또는 모듈, 컴포넌트, 서브루틴, 객체, 또는 다른 유닛을 포함하는 임의의 형태로 전개(deploy)될 수 있다. 프로그램은 다른 프로그램 또는 데이터를 보유한 파일의 일부(예를 들면, 마크업 언어 문서에 저장된 하나 이상의 스크립트)에, 해당 프로그램 전용의 단일 파일에, 또는 복수의 연계 파일(coordinated files)(예를 들면, 하나 이상의 모듈, 서브프로그램, 또는 코드의 일부를 저장한 파일)에 저장될 수 있다. 컴퓨터 프로그램은 단일 컴퓨터 상에서 또는 한 지점에 배치되거나 또는 복수의 지점에 걸쳐 분산되어 통신 네트워크로 상호 연결된 복수의 컴퓨터 상에서 실행될 수 있다.
컴퓨터 프로그램의 실행을 위한 프로세서는, 예로서 범용 및 전용 마이크로프로세서 양자(兩者) 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 ROM 또는 RAM 또는 양자 모두로부터 명령어들과 데이터를 수신하게 된다. 컴퓨터의 필수 요소는 명령어에 따라 동작을 수행하는 프로세서와 명령어와 데이터를 저장하는 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터 저장을 위한 하나 이상의 대용량 저장 장치를 포함하거나, 이들에 데이터를 송신 또는 수신 또는 송수신하기 위해 동작 가능하게 결합되게 된다. 컴퓨터는 다른 디바이스, 예를 들면 모바일 디바이스, PDA(personal digital assistant), 게임콘솔, GPS 수신기, 또는 휴대용 저장 장치에 내장될 수도 있다. 컴퓨터 프로그램 명령어와 데이터를 저장하는데 적합한 디바이스로는, 예로서 반도체 메모리 디바이스, 자기 디스크, 및 자기 광디스크를 포함하는 비휘발성 메모리, 매체, 및 메모리 디바이스가 포함된다. 프로세서와 메모리에는 전용 논리 회로가 부가되거나 또는 프로세서와 메모리가 이에 병합될 수 있다.
모바일 디바이스는 핸드셋, UE(user equipment: 사용자 단말기), 휴대 전화기(예를 들면, 스마트폰), 태블릿, 웨어러블 디바이스(예를 들면, 스마트워치 및 스마트 아이글라스), 인체 내에 임플란트된 디바이스(예를 들면, 바이오센서, 인공와우 임플란트), 또는 다른 유형의 모바일 디바이스를 포함할 수 있다. 모바일 디바이스들은 다양한 통신 네트워크(후술함)에 (예를 들면, RF(radio frequency) 신호를 사용하여) 무선으로 통신할 수 있다. 모바일 디바이스는 모바일 디바이스의 현재 환경의 특성을 판단하는 센서를 포함할 수 있다. 이들 센서들은 카메라, 마이크로폰, 근접 센서, GPS 센서, 동작 센서, 가속도계, 주변광(ambient light) 센서, 수분 센서, 자이로스코프, 나침반, 기압계, 지문 센서, 안면인식 시스템, RF 센서(예를 들면, Wi-Fi 및 셀룰러 무선), 감온 센서, 또는 다른 유형의 센서들을 포함할 수 있다. 예를 들어, 카메라는 이동식 또는 고정식 렌즈를 갖는 전방 또는 후방 카메라와, 플래시, 이미지 센서, 및 이미지 프로세서를 포함할 수 있다. 카메라는 안면 및/또는 홍채 인식을 위해 미세부분을 촬상할 수 있는 메가픽셀 카메라일 수 있다. 카메라는 데이터 프로세서 및 메모리에 저장되거나 원격으로 액세스되는 인증 정보와 함께 안면인식 시스템을 형성한다. 안면인식 시스템 또는 하나 이상의 센서들, 예를 들어 마이크로폰, 동작 센서, 가속도계, GPS 센서, 또는 RF 센서가 사용자 인증에 사용될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 실시예들은 디스플레이 장치와 입력 장치, 예를 들면 사용자에게 정보를 디스플레이 하기 위한 LCD(liquid crystal display) 또는 OLED(organic light-emitting diode)/VR(virtual-reality)/AR(augmented reality) 디스플레이, 및 사용자가 컴퓨터에 입력을 제공할 수 있게 해주는 터치스크린, 키보드, 및 포인팅 디바이스를 구비한 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 상호 작용을 제공하는데 사용될 수 있는데: 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백, 예를 들면 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있으며; 사용자로부터의 입력은 음향, 음성언어(speech), 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송신 및 수신함으로써, 예를 들면 웹 브라우저로부터 수신된 요청에 응답하여 사용자의 클라이언트 디바이스 상의 웹 브라우저에 웹 페이지를 전송함으로써 사용자와 상호 작용할 수 있다.
실시예들은 임의의 형태 또는 매체의 유선 또는 무선 디지털 데이터 통신(또는 그 조합), 예를 들면 통신 네트워크에 의해 상호 연결된 컴퓨팅 디바이스를 사용하여 구현될 수 있다. 상호 연결된 디바이스의 예로는 전형적으로 통신 네트워크를 통하여 상호 작용하는, 일반적으로 서로 멀리 떨어진 클라이언트와 서버가 있다. 클라이언트, 예를 들면 모바일 디바이스는 그 자체가, 예를 들면 구매, 판매, 지불, 수여, 송부, 또는 대출 거래(transaction)를 수행하거나 또는 이를 인가하는 서버와, 또는 서버를 통하여 거래를 수행할 수 있다. 이러한 거래들은 동작과 응답이 시간적으로 근접해 있도록 실시간일 수 있는데; 예를 들어, 개인은 그 동작과 응답이 거의 동시에 발생한다고 인식하며; 개인의 동작에 따른 응답에 걸리는 그 시간차는 1ms(밀리초) 미만이거나 l초 미만이고; 응답은 시스템의 처리 한계를 고려하여 의도적인 지연이 없다.
통신 네트워크의 예로는 LAN(local area network), RAN(radio access network), MAN(metropolitan area network), 및 WAN(wide area network)이 포함된다. 통신 네트워크에는 인터넷, 다른 통신 네트워크, 또는 통신 네트워크들의 조합의 전부 또는 일부가 포함될 수 있다. LTE(Long Term Evolution), 5G, IEEE 802, IP(Internet Protocol), 또는 다른 프로토콜 또는 프로토콜들의 조합을 포함하는 다양한 프로토콜 및 표준에 따라 통신 네트워크 상에서 정보가 전송될 수 있다. 통신 네트워크는 연결된 컴퓨팅 디바이스들 사이에서 음성, 비디오, 바이오메트릭, 또는 인증 데이터, 또는 다른 정보를 전송할 수 있다.
개별 실시예로 기술된 특징들이 조합 형태로 단일 실시예로 구현될 수도 있는 한편, 단일 실시예로 기술된 특징들은 개별적으로 또는 임의의 적절한 하부 조합 형태로 복수의 실시예로 구현될 수도 있다. 특성 순서로 기술되고 청구된 동작들을 그 특정 순서가 필수적이라거나, 또는 예시된 모든 동작들이 수행되어야만 하는 것으로 이해되어서는 안 된다(어떤 동작들은 선택적일 수 있다). 적절한 경우에는, 멀티태스킹 또는 병렬 처리(또는 멀티태스킹과 병렬 처리의 조합)가 수행될 수도 있다.

Claims (15)

  1. 이미지 기반의 차량 손상 평가 방법에 있어서,
    처리 대상 이미지들(to-be-processed images)을 획득하는 단계와;
    상기 처리 대상 이미지들에서 차량 구성품(vehicle component)을 식별하기 위해 상기 처리 대상 이미지들을 검사하는 단계와;
    식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 상기 처리 대상 이미지들 내의 로컬 이미지(local image) 사이에 이미지 매칭을 수행하고, 상기 로컬 이미지 내의 차량 구성품을 식별하는 단계와;
    상기 처리 대상 이미지들에서 손상 부분과 손상 유형을 식별하기 위해 상기 처리 대상 이미지들을 검사하는 단계; 및
    식별된 차량 구성품, 식별된 손상 부분, 및 식별된 손상 유형을 기초로, 상기 처리 대상 이미지들 내의 손상 구성품과 상기 손상 구성품에 대응하는 손상 부분과 손상 유형을 결정하는 단계:
    를 포함하는, 이미지 기반의 차량 손상 평가 방법.
  2. 제1항에 있어서,
    상기 처리 대상 이미지들 내의 결정된 손상 구성품과 상기 손상 구성품에 대응하는 결정된 손상 부분과 손상 유형을 포함하는 정보를 기초로 정비 계획서(maintenance plan)를 생성하는 단계:
    를 더 포함하는, 이미지 기반의 차량 손상 평가 방법.
  3. 제1항에 있어서,
    상기 식별된 차량 구성품을 포함하는 구성품 이미지와 미식별 차량 구성품을 포함하는 상기 처리 대상 이미지들 내의 로컬 이미지 사이에 이미지 매칭을 수행하고, 상기 로컬 이미지 내의 차량 구성품을 결정하는 단계는,
    컨벌루션 신경망(convolutional neural network)을 사용하여 상기 로컬 이미지의 제1의 컨벌루션 특징 데이터를 추출하고, 스케일 불변 특징 변환(scale-invariant feature transform)을 포함하는 사전 결정 알고리즘을 사용하여 상기 로컬 이미지의 제1의 로컬 특징점 세트(local feature point set)를 추출하는 단계;
    상기 제1의 컨벌루션 특징 데이터를 상기 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교하고, 컨벌루션 특징 데이터가 상기 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역(similar region)을 획득하는 단계;
    상기 사전 결정 알고리즘을 사용하여 상기 유사 구역의 제2의 로컬 특징점 세트를 추출하고, 매칭 포인트 쌍(matching point pair)을 획득하기 위해 상기 제1의 로컬 특징점 세트와 상기 제2의 로컬 특징점 세트를 매칭하며, 애파인 변환(affine transformation) 중에 상기 매칭 포인트 쌍의 위치 오류를 최소화함으로써 상기 로컬 이미지와 상기 구성품 이미지 사이에 애파인 변환을 획득하는 단계; 및
    상기 구성품 이미지 내에 있으며 최소의 위치 오류를 갖는 이미지 구역에 대응하는 구성품을, 상기 로컬 이미지 내의 차량 구성품으로서 선택하는 단계
    를 포함하는 것인, 이미지 기반의 차량 손상 평가 방법.
  4. 제3항에 있어서,
    상기 제1의 컨벌루션 특징 데이터를 상기 구성품 이미지 내의 샘플링 구역의 컨벌루션 특징 데이터와 비교하고, 컨벌루션 특징 데이터가 상기 제1의 컨벌루션 특징 데이터와 가장 유사한 유사 구역을 획득하는 단계는,
    상기 구성품 이미지에 대해, 슬라이딩 윈도우(sliding window)를 사용하여 상기 구성품 이미지 내의 슬라이딩 윈도우 구역의 제2의 컨벌루션 특징 데이터 - 상기 제2의 컨벌루션 특징 데이터는 상기 제1의 컨벌루션 특징 데이터를 추출하는데 사용된 상기 컨벌루션 신경망과 동일한 컨벌루션 신경망을 사용하여 획득됨 - 를 추출하고, 제2의 컨벌루션 특징 데이터 세트를 획득하는 단계; 및
    상기 제2의 컨벌루션 특징 데이터 세트로부터, 컨벌루션 특징 데이터가 상기 제1의 컨벌루션 특징 데이터와 가장 유사한 - 유사도는 코사인 유사도(cosine similarity)를 사용하여 계산됨 - 유사 구역을 선택하는 단계
    를 포함하는 것인, 이미지 기반의 차량 손상 평가 방법.
  5. 제3항에 있어서,
    상기 유사 구역의 이미지 구역 범위를 사전 결정된 방식으로 확장하는 단계를 더 포함하며,
    그에 따라, 상기 제2의 로컬 특징점 세트는 이미지 구역 범위가 확장된 상기 유사 구역의 추출된 로컬 특징점 세트를 포함하는 것인,
    이미지 기반의 차량 손상 평가 방법.
  6. 제5항에 있어서,
    상기 유사 구역의 이미지 구역 범위를 사전 결정된 방식으로 확장하는 단계는 상기 유사 구역의 좌측, 우측, 상부측, 및 하부측을 사전 결정된 백분율(percentage)만큼 연장하는 단계를 포함하고,
    상기 사전 결정된 백분율의 수치 범위는 50%를 포함하는 것인,
    이미지 기반의 차량 손상 평가 방법.
  7. 제1항에 있어서,
    상기 처리 대상 이미지들을 획득하는 단계 후에, 다음의 이미지 처리:
    상기 처리 대상 이미지들이 복수의 유형의 이미지 정보를 포함하면, 이미지 분류 알고리즘을 사용하여 상기 처리 대상 이미지들을 분류하고, 차량 손실 평가 처리 정보에 관련된 이미지를 차량 손실 평가 처리를 위한 이미지로서 선택하는 것; 또는
    상기 처리 대상 이미지들의 이미지 품질을 결정하고, 이미지 품질이 요건을 충족하지 못하는 처리 대상 이미지를 삭제하는 것; 또는
    유사도가 사전 결정된 문턱값(threshold)에 도달하는 처리 대상 이미지들에 대해 중복제거 처리(deduplication processing)를 행하는 것
    중 적어도 하나의 유형의 이미지 처리가 추가로 수행되는 것인,
    이미지 기반의 차량 손상 평가 방법.
  8. 제2항에 있어서,
    상기 손상 구성품의 정비 전략(maintenance strategy)에 대한 정보를 획득하는 단계를 더 포함하고,
    그에 따라, 상기 정비 계획서는 상기 정비 전략에 대응하는 예상 수리 비용을 더 포함하며,
    상기 예상 수리 비용은, 상기 손상 구성품, 손상 부분, 손상 유형, 및 상기 정비 전략 내의 상기 손상 구성품의 제품 및 수리 서비스 중 적어도 하나의 가격 데이터가 질의된(queried) 후의 상기 정비 전략에 대한 정보를 기초로 한 계산을 통해 획득된 상기 손상 구성품의 예상 수리 비용인 것인,
    이미지 기반의 차량 손상 평가 방법.
  9. 제1항에 있어서,
    상기 처리 대상 이미지들은 심층 신경망(deep neural network)을 포함하는 식별 모델을 사용하여 검사되며,
    상기 심층 신경망은,
    샘플 데이터 트레이닝을 통해 구축 및 생성되고;
    컨벌루션 계층(convolutional layer)과 구역 제안 계층(region proposal layer)을 포함하는 네트워크 모델을 기초로 하는 것인,
    이미지 기반의 차량 손상 평가 방법.
  10. 제9항에 있어서,
    상기 처리 대상 이미지들 내의 손상 구성품과 상기 손상 구성품에 대응하는 손상 부분과 손상 유형은 이하의 방식:
    손상 부분을 포함하는 처리 대상 이미지들의 세트를 획득하는 것;
    컨벌루션 신경망을 사용하여 상기 세트 내의 처리 대상 이미지들의 특징 벡터(feature vector)를 추출하고, 상기 특징 벡터를 기초로 동일한 차량 구성품에 대해 이미지 클러스터링(image clustering) 처리를 수행하며, 상기 손상 구성품을 결정하는 것;
    동일한 손상 구성품 내의 손상 부분들을 통합하고, 상기 손상 부분들의 손상 클러스터 특징 데이터(damage cluster feature data)를 획득하는 것; 및
    상기 손상 클러스터 특징 데이터를 기초로, 상기 손상 구성품에 포함된 손상 부분과 상기 손상 부분에 대응하는 손상 유형을 결정하는 것
    을 사용하여 결정되는 것인,
    이미지 기반의 차량 손상 평가 방법.
  11. 제10항에 있어서,
    상기 동일한 손상 구성품 내의 손상 부분들을 통합하고, 상기 손상 부분들의 손상 클러스터 특징 데이터를 획득하는 것은,
    이미지 클러스터 내의 동일한 손상 샘플 구성품에 대해 처리 대상 이미지들로부터 신뢰수준의 내림차순으로 선택된 K개의 처리 대상 이미지들 내의 손상 부분들을 통합하는 것 - K≥2임 - ;
    통합된 이미지 클러스터로부터, 손상 부분들의 가중치 - 상기 가중치의 가중 계수(weight factor)는 손상 부분의 신뢰수준임 - 의 내림차순으로 C개의 처리 대상 이미지들의 손상 클러스터 특징 데이터를 선택하는 것 - C≥2임 -
    을 포함하는 것인,
    이미지 기반의 차량 손상 평가 방법.
  12. 제11항에 있어서,
    상기 손상 클러스터 특징 데이터를 기초로 손상 샘플 이미지 내의 손상 부분과 손상 유형을 식별하는 것은, 상기 손상 클러스터 특징 데이터를 사전 결정된 다중 분류 그라디언트 부스팅 결정 트리(multi-classification gradient boosting decision tree) 모델의 입력 데이터로 사용하여 상기 손상 부분과 손상 유형을 식별하는 것을 포함하는 것인,
    이미지 기반의 차량 손상 평가 방법.
  13. 제1항에 있어서,
    상기 처리 대상 이미지들에서 차량 구성품을 식별하기 위해 상기 처리 대상 이미지들을 검사하는 단계와 상기 처리 대상 이미지들에서 손상 부분과 손상 유형을 식별하기 위해 상기 처리 대상 이미지들을 검사하는 단계는 병렬로 수행되는 것인,
    이미지 기반의 차량 손상 평가 방법.
  14. 이미지 기반의 차량 손실 평가 장치에 있어서,
    프로세서, 및
    프로세서 실행 가능 명령어를 저장하도록 구성된 메모리
    를 포함하며,
    상기 명령어를 실행할 때, 상기 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 동작들을 이행하는 것인,
    이미지 기반의 차량 손실 평가 장치.
  15. 컴퓨터 판독 가능 저장 매체에 있어서,
    컴퓨터 명령어를 저장하며,
    상기 컴퓨터 명령어가 실행될 때, 제1항 내지 제 13항 중 어느 한 항에 따른 단계들이 이행되는 것인,
    컴퓨터 판독 가능 저장 매체.
KR1020197012676A 2017-04-11 2018-04-11 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 KR102151365B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201710232956.8A CN107358596B (zh) 2017-04-11 2017-04-11 一种基于图像的车辆定损方法、装置、电子设备及系统
CN201710232956.8 2017-04-11
US15/950,786 2018-04-11
US15/950,786 US20180293552A1 (en) 2017-04-11 2018-04-11 Image-based vehicle maintenance plan
PCT/US2018/027194 WO2018191437A1 (en) 2017-04-11 2018-04-11 Image-based vehicle loss assessment method, apparatus, and system, and electronic device

Publications (2)

Publication Number Publication Date
KR20190069457A true KR20190069457A (ko) 2019-06-19
KR102151365B1 KR102151365B1 (ko) 2020-09-04

Family

ID=60271548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197012676A KR102151365B1 (ko) 2017-04-11 2018-04-11 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스

Country Status (10)

Country Link
US (2) US20180293552A1 (ko)
EP (1) EP3520045B8 (ko)
JP (2) JP6873237B2 (ko)
KR (1) KR102151365B1 (ko)
CN (1) CN107358596B (ko)
MY (1) MY193739A (ko)
PH (1) PH12019500971A1 (ko)
SG (1) SG11201903904VA (ko)
TW (1) TWI684922B (ko)
WO (2) WO2018191437A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
WO2021011378A1 (en) * 2019-07-12 2021-01-21 The Nielsen Company (Us), Llc Deduplication across multiple different data sources to identify common devices
WO2021055988A1 (en) * 2019-09-22 2021-03-25 Kar Auction Services, Inc. Vehicle self-inspection apparatus and method
KR102476815B1 (ko) * 2022-09-21 2022-12-12 (주)슬레이트미디어 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템
WO2023076085A1 (en) * 2021-10-25 2023-05-04 Argo AI, LLC Systems, methods, and computer program products for severity classifications of simulated collisions
US12033192B2 (en) 2020-10-30 2024-07-09 Toyota Motor North America, Inc. Transport use determination

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
CN106651881B (zh) * 2016-12-28 2023-04-28 同方威视技术股份有限公司 车辆检查系统、车辆部位识别方法及系统
US10399106B2 (en) * 2017-01-19 2019-09-03 Ford Global Technologies, Llc Camera and washer spray diagnostic
CN107403424B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107392218B (zh) 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107194323B (zh) 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN108090838B (zh) * 2017-11-21 2020-09-29 阿里巴巴集团控股有限公司 识别车辆受损部件的方法、装置、服务器、客户端及系统
CN108171255A (zh) * 2017-11-22 2018-06-15 广东数相智能科技有限公司 基于图像识别的图片联想强度评分方法及装置
US10460431B2 (en) * 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
CN108334906B (zh) * 2018-02-08 2021-02-23 北京鑫车科技有限公司 一种金融典当服务的抵押物自动识别评估方法和装置
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技（深圳）有限公司 车辆定损方法、装置、电子设备及存储介质
CN108550080A (zh) * 2018-03-16 2018-09-18 阿里巴巴集团控股有限公司 物品定损方法及装置
CN108921811B (zh) * 2018-04-03 2020-06-30 阿里巴巴集团控股有限公司 检测物品损伤的方法和装置、物品损伤检测器
CN108764046A (zh) * 2018-04-26 2018-11-06 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN108628287A (zh) * 2018-04-27 2018-10-09 重庆车云金服科技股份有限公司 汽车维修方案智能评估方法及系统
CN108632530B (zh) * 2018-05-08 2021-02-23 创新先进技术有限公司 一种车辆定损的数据处理方法、装置、设备及客户端、电子设备
CN108921068B (zh) * 2018-06-22 2020-10-20 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
EP3588451A1 (en) * 2018-06-26 2020-01-01 Ningbo Geely Automobile Research & Development Co. Ltd. Repair instruction device and method
US20200034934A1 (en) * 2018-07-24 2020-01-30 Mitchell International, Inc. Methods for assessing conditioning of a total loss vehicle and devices thereof
CN110569693B (zh) * 2018-08-16 2023-05-12 创新先进技术有限公司 车体颜色识别方法及装置
CN109242006A (zh) * 2018-08-23 2019-01-18 阿里巴巴集团控股有限公司 基于车型分类的识别车辆损伤的方法及装置
CN110569856B (zh) 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN109242762A (zh) * 2018-08-27 2019-01-18 北京铂石空间科技有限公司 图像识别方法、装置、存储介质及电子设备
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN110570388A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 车辆的部件检测方法、装置及设备
CN110569694A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 车辆的部件检测方法、装置及设备
CN110569697A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 车辆的部件检测方法、装置及设备
CN110569695B (zh) * 2018-08-31 2021-07-09 创新先进技术有限公司 基于定损图像判定模型的图像处理方法和装置
CN110567728B (zh) * 2018-09-03 2021-08-20 创新先进技术有限公司 用户拍摄意图的识别方法、装置及设备
CN110569864A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
EP3620984B1 (en) 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
US11928581B2 (en) * 2018-09-14 2024-03-12 Arm Limited System and method for compressing kernels
CN110570389B (zh) * 2018-09-18 2020-07-17 阿里巴巴集团控股有限公司 车辆损伤识别方法及装置
CN109443301B (zh) * 2018-09-25 2021-09-10 平安科技（深圳）有限公司 一种车辆定损方法、计算机可读存储介质及服务器
CN110569700B (zh) * 2018-09-26 2020-11-03 创新先进技术有限公司 优化损伤识别结果的方法及装置
CN109359676A (zh) * 2018-10-08 2019-02-19 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN109215027B (zh) * 2018-10-11 2024-05-24 平安科技（深圳）有限公司 一种基于神经网络的车辆定损方法、服务器及介质
CN109544623B (zh) * 2018-10-11 2021-07-27 百度在线网络技术（北京）有限公司 车辆损伤区域的测量方法和装置
CN109214399B (zh) * 2018-10-12 2021-01-01 清华大学深圳研究生院 一种嵌入SENet结构的改进YOLOV3目标识别方法
AR116767A1 (es) * 2018-10-19 2021-06-09 Climate Corp Detección de infecciones de enfermedades de plantas mediante la clasificación de fotografías de plantas
CN109508715B (zh) * 2018-10-30 2022-11-08 南昌大学 一种基于深度学习的车牌定位和识别方法
CN109635651B (zh) * 2018-11-07 2024-05-24 中国平安财产保险股份有限公司 一种基于图像识别的车辆定损方法、存储介质及服务器
EP3881230A2 (en) * 2018-11-14 2021-09-22 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation
CN109635142B (zh) * 2018-11-15 2022-05-03 北京市商汤科技开发有限公司 图像选择方法及装置、电子设备和存储介质
CN109584230A (zh) * 2018-11-26 2019-04-05 深圳龙图腾创新设计有限公司 辅助质检方法、装置、计算机设备及可读存储介质
TWI700646B (zh) * 2018-11-27 2020-08-01 中華電信股份有限公司 一種資訊整合之干擾查測系統與方法
CN109900702A (zh) * 2018-12-03 2019-06-18 阿里巴巴集团控股有限公司 车辆损伤检测的处理方法、装置、设备、服务器和系统
CN109657716B (zh) * 2018-12-12 2020-12-29 中汽数据(天津)有限公司 一种基于深度学习的车辆外观损伤识别方法
CN109635742A (zh) * 2018-12-13 2019-04-16 深源恒际科技有限公司 一种车辆图像定损中的子部件损伤识别方法
CN109784171A (zh) * 2018-12-14 2019-05-21 平安科技（深圳）有限公司 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN109635824A (zh) * 2018-12-14 2019-04-16 深源恒际科技有限公司 一种图像匹配深度学习方法及系统
CN110033011A (zh) * 2018-12-14 2019-07-19 阿里巴巴集团控股有限公司 车祸事故处理方法和装置、电子设备
CN109684956A (zh) * 2018-12-14 2019-04-26 深源恒际科技有限公司 一种基于深度神经网络的车辆损伤检测方法及系统
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
CN110569701B (zh) * 2018-12-29 2020-08-07 阿里巴巴集团控股有限公司 计算机执行的车辆定损方法及装置
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
CN110009509B (zh) * 2019-01-02 2021-02-19 创新先进技术有限公司 评估车损识别模型的方法及装置
CN109815997A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 基于深度学习的识别车辆损伤的方法和相关装置
CA3126804A1 (en) * 2019-01-22 2020-07-30 Fyusion, Inc. Damage detection from multi-view visual data
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
CN109948811A (zh) * 2019-01-31 2019-06-28 德联易控科技(北京)有限公司 车辆定损的处理方法、装置及电子设备
CN109886344A (zh) * 2019-02-26 2019-06-14 广东工业大学 基于深度学习的皮革破损识别方法、系统及设备和介质
CN109885718B (zh) * 2019-02-28 2021-05-28 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型
ES2924977T3 (es) 2019-03-13 2022-10-13 Ravin Ai Ltd Sistema y procedimiento de detección automática de daños en vehículos
CN110163761B (zh) * 2019-03-27 2023-05-12 蚂蚁金服（杭州）网络技术有限公司 基于图像处理的可疑项目成员识别方法及装置
CN110135437B (zh) * 2019-05-06 2022-04-05 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
CN110287768A (zh) * 2019-05-06 2019-09-27 浙江君嘉智享网络科技有限公司 图像智能识别车辆定损方法
CA3139562A1 (en) * 2019-05-09 2020-11-12 Automobilia Ii, Llc Methods, systems and computer program products for media processing and display
DE102019112289B3 (de) * 2019-05-10 2020-06-18 Controlexpert Gmbh Verfahren zur Schadenserfassung bei einem Kraftfahrzeug
EP3739507A1 (en) * 2019-05-14 2020-11-18 Banco Bilbao Vizcaya Argentaria, S.A. Method and system for obtaining information about an object based on a photograph thereof
CN110276258A (zh) * 2019-05-21 2019-09-24 智慧互通科技有限公司 一种识别车辆外观的方法及系统
CN110210536A (zh) * 2019-05-22 2019-09-06 北京邮电大学 一种光互连系统的物理损伤诊断方法及装置
JP7117272B2 (ja) * 2019-06-06 2022-08-12 株式会社日立ビルシステム 保守支援システムおよび方法
JP7462386B2 (ja) 2019-06-14 2024-04-05 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体
CN110458186B (zh) * 2019-06-26 2021-08-31 山东大学 基于局部参考相似性编码的乳腺超声图像分类方法及系统
CN110472656B (zh) * 2019-07-03 2023-09-05 平安科技（深圳）有限公司 车辆图像分类方法、装置、计算机设备及存储介质
TWI703511B (zh) * 2019-07-09 2020-09-01 洽吧智能股份有限公司 螢幕裂損檢測系統
CN110399816B (zh) * 2019-07-15 2023-04-07 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
CN110334693A (zh) * 2019-07-17 2019-10-15 中国电子科技集团公司第五十四研究所 一种面向深度学习的遥感图像目标样本生成方法
CN110569383A (zh) * 2019-07-26 2019-12-13 平安科技（深圳）有限公司 店铺信息处理方法、装置、存储介质及计算机设备
CN110516746A (zh) * 2019-08-29 2019-11-29 吉林大学 一种基于无标签数据的驾驶员跟车行为风格分类方法
CN110598621A (zh) * 2019-09-06 2019-12-20 高新兴科技集团股份有限公司 车辆品牌识别方法、装置、设备及计算机可读存储介质
US11410287B2 (en) * 2019-09-09 2022-08-09 Genpact Luxembourg S.à r.l. II System and method for artificial intelligence based determination of damage to physical structures
CN110660000A (zh) * 2019-09-09 2020-01-07 平安科技（深圳）有限公司 数据预测方法、装置、设备及计算机可读存储介质
DE102019125320A1 (de) * 2019-09-20 2021-03-25 Audi Ag Automatisches Behandeln eines Kollisionsschadens eines Fahrzeugs
CN113396437B (zh) * 2019-09-30 2024-04-09 日立建机株式会社 疲劳管理系统
CN110738576B (zh) * 2019-10-14 2021-08-06 支付宝(杭州)信息技术有限公司 为受损车辆生成定损文件的方法及装置
US11829128B2 (en) 2019-10-23 2023-11-28 GM Global Technology Operations LLC Perception system diagnosis using predicted sensor data and perception results
CN110796105A (zh) * 2019-11-04 2020-02-14 中国矿业大学 一种基于多模态数据融合的遥感图像语义分割方法
JP7015503B2 (ja) * 2019-12-18 2022-02-03 Ａｒｉｔｈｍｅｒ株式会社 貸与対象物管理システム、貸与対象物管理プログラム及び貸与対象物管理方法。
CN111209957B (zh) * 2020-01-03 2023-07-18 平安科技（深圳）有限公司 车辆部件识别方法、装置、计算机设备及存储介质
EP4085399A1 (en) 2020-01-03 2022-11-09 Tractable Ltd Method of determining repair operations for a damaged vehicle
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
CN111310631B (zh) * 2020-02-10 2021-05-07 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
US20210304153A1 (en) * 2020-03-30 2021-09-30 Lyft, Inc. Utilizing a transportation matching system in conjunction with a multi-track vehicle service center to service transportation vehicles
TWI723823B (zh) * 2020-03-30 2021-04-01 聚晶半導體股份有限公司 基於神經網路的物件偵測裝置和物件偵測方法
US11210869B2 (en) * 2020-03-31 2021-12-28 Calpro Adas Solutions, Llc Vehicle safety feature identification and calibration
US11935219B1 (en) 2020-04-10 2024-03-19 Allstate Insurance Company Systems and methods for automated property damage estimations and detection based on image analysis and neural network training
CN111783517B (zh) * 2020-05-13 2024-05-07 北京达佳互联信息技术有限公司 图像识别方法、装置、电子设备及存储介质
JP7031935B2 (ja) * 2020-05-19 2022-03-08 Ｎｅｃプラットフォームズ株式会社 寿命通知装置、寿命通知システム、寿命通知方法及び寿命通知プログラム
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
CN111695615A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 基于人工智能的车辆定损方法、装置、电子设备及介质
CN111666995B (zh) * 2020-05-29 2024-04-09 平安科技（深圳）有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111667392B (zh) * 2020-06-12 2023-06-16 成都国铁电气设备有限公司 一种基于时空聚类的铁路接触网缺陷热点区域预警方法
CN111709352B (zh) * 2020-06-12 2022-10-04 浪潮集团有限公司 一种基于神经网络的车辆划痕检测方法
CN111488875B (zh) * 2020-06-24 2021-04-13 爱保科技有限公司 基于图像识别的车险理赔核损方法、装置和电子设备
CN111612104B (zh) * 2020-06-30 2021-04-13 爱保科技有限公司 车辆定损图像获取方法、装置、介质和电子设备
WO2022015236A1 (en) * 2020-07-17 2022-01-20 Hitachi, Ltd. Method of image processing for object identification and system thereof
US11488117B2 (en) * 2020-08-27 2022-11-01 Mitchell International, Inc. Systems and methods for managing associations between damaged parts and non-reusable parts in a collision repair estimate
US11328402B2 (en) 2020-09-29 2022-05-10 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of image based anomaly localization for vehicles through generative contextualized adversarial network
CN112329772B (zh) * 2020-11-06 2024-03-05 浙江大搜车软件技术有限公司 车辆部件识别方法、装置、电子装置和存储介质
CN112232351B (zh) * 2020-11-09 2023-10-10 浙江工业职业技术学院 一种基于深度神经网络的车牌识别系统
CA3206364A1 (en) * 2020-11-09 2022-05-12 Automobilia Ii, Llc Methods, systems and computer program products for media processing and display
CN112785547A (zh) * 2020-11-11 2021-05-11 平高集团有限公司 一种电极触头表面损伤识别方法和系统
CN112070250B (zh) * 2020-11-13 2021-05-04 深圳壹账通智能科技有限公司 车辆定损方法、装置、终端设备及存储介质
CN112330666B (zh) * 2020-11-26 2022-04-29 成都数之联科技股份有限公司 基于改进孪生网络的图像处理方法及系统及装置及介质
CN112270313A (zh) * 2020-12-21 2021-01-26 德联易控科技(北京)有限公司 线上理赔方法、装置、设备及存储介质
CN112686308A (zh) * 2020-12-28 2021-04-20 青岛鼎信通讯股份有限公司 一种基于kh与fcm的低压台区归属识别方法及系统
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN112801951A (zh) * 2021-01-15 2021-05-14 深圳市商汤科技有限公司 目标部件的损伤检测方法、装置、设备及存储介质
KR102263067B1 (ko) * 2021-01-26 2021-06-09 박형근 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법
US11971953B2 (en) 2021-02-02 2024-04-30 Inait Sa Machine annotation of photographic images
CN112818884B (zh) * 2021-02-07 2021-11-30 中国科学院大学 一种人群计数方法
WO2022175044A1 (en) * 2021-02-18 2022-08-25 Inait Sa Annotation of 3d models with signs of use visible in 2d images
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
CN113139572B (zh) * 2021-03-09 2022-08-02 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN112689114B (zh) * 2021-03-11 2021-06-22 太平金融科技服务（上海）有限公司 对车辆的目标位置进行确定的方法、装置、设备和介质
CN113034114A (zh) * 2021-04-01 2021-06-25 苏州惟信易量智能科技有限公司 一种基于可穿戴设备的流程控制系统及方法
WO2022226159A1 (en) * 2021-04-21 2022-10-27 Siemens Mobility GmbH Automated selection and semantic connection of images
CN112990158A (zh) * 2021-05-14 2021-06-18 太平金融科技服务(上海)有限公司深圳分公司 车险数据处理方法、装置、计算机设备和存储介质
CN113486725A (zh) * 2021-06-11 2021-10-08 爱保科技有限公司 智能车辆定损方法及装置、存储介质及电子设备
JPWO2023017617A1 (ko) * 2021-08-13 2023-02-16
CN113640308B (zh) * 2021-08-31 2024-03-29 夏冰心 一种基于机器视觉的轨道异常监测系统
CN113781454B (zh) * 2021-09-15 2023-09-08 平安科技（深圳）有限公司 一种车辆损伤检测方法、装置、设备及存储介质
CN113822447A (zh) * 2021-09-23 2021-12-21 深圳市星卡科技有限公司 一种用于汽车保养的智能检测方法、装置及车载设备
WO2023058068A1 (en) * 2021-10-08 2023-04-13 Ola Electric Mobility Private Limited Damage assessment for vehicles
CN118176515A (zh) * 2021-11-09 2024-06-11 阿尔法人工智能科技有限公司 车辆损坏情况评估系统和方便车辆维修或维护服务的平台
CN114530043A (zh) * 2022-03-03 2022-05-24 上海闪马智能科技有限公司 一种事件检测方法、装置、存储介质及电子装置
CN114739293A (zh) * 2022-03-25 2022-07-12 北京博联众睿机器人科技有限公司 车身测量方法、系统、装置以及电子设备
CN114842198A (zh) * 2022-05-31 2022-08-02 平安科技（深圳）有限公司 车辆智能定损方法、装置、设备及存储介质
CN115115611B (zh) * 2022-07-21 2023-04-07 明觉科技（北京）有限公司 车辆损伤识别方法、装置、电子设备和存储介质
CN115994910B (zh) * 2023-03-24 2023-06-06 邦邦汽车销售服务(北京)有限公司 基于数据处理的汽车损伤程度确定方法及系统
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及系统
CN117851940B (zh) * 2024-03-08 2024-06-18 北京建筑大学 一种超声导波损伤检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109263A1 (en) * 2004-05-11 2005-11-17 Fausto Siri Process and system for analysing deformations in motor vehicles
WO2013093932A2 (en) * 2011-09-29 2013-06-27 Tata Consultancy Services Limited Damage assessment of an object
KR20160019514A (ko) * 2013-06-12 2016-02-19 르노 에스.아.에스. 차량에 야기된 손상의 식별 방법 및 시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3243065B2 (ja) * 1993-06-30 2002-01-07 株式会社東芝 構造部品の劣化・損傷予測装置
JP2001344463A (ja) * 2000-05-30 2001-12-14 System Location Co Ltd 車両再販価格分析システム
JP2002183338A (ja) * 2000-12-14 2002-06-28 Hitachi Ltd 損害評価方法および情報処理装置ならびに記憶媒体
JP2003196511A (ja) * 2001-12-25 2003-07-11 System Kobo M:Kk 車両修理簡易見積りシステム、車両修理簡易見積りサーバおよびプログラム
JP2003226230A (ja) * 2002-02-05 2003-08-12 Mazda Motor Corp 製品の修理支援装置、その方法、及び製品の修理支援用プログラムを記録した記録媒体
US6826301B2 (en) * 2002-10-07 2004-11-30 Infocus Corporation Data transmission system and method
JP3839822B2 (ja) * 2004-08-11 2006-11-01 株式会社損害保険ジャパン 物流工程における物品の損傷状況分析方法、損傷状況分析システム及び記録媒体
JP2006164022A (ja) * 2004-12-09 2006-06-22 Mitsubishi Electric Corp 維持管理計画システム
CN1658559A (zh) * 2005-02-22 2005-08-24 刘波 基于因特网的远程实时监控车辆定损系统及其监控方法
JP5057183B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
CN102376071B (zh) * 2010-08-20 2015-03-25 深圳市安致兰德科技有限公司 保险定损移动查勘系统
US9002719B2 (en) * 2012-10-08 2015-04-07 State Farm Mutual Automobile Insurance Company Device and method for building claim assessment
CN103310223A (zh) * 2013-03-13 2013-09-18 四川天翼网络服务有限公司 一种基于图像识别的车辆定损系统及方法
US20150287130A1 (en) * 2014-04-04 2015-10-08 Verc, Inc. Systems and methods for assessing damage of rental vehicle
US20160239922A1 (en) * 2015-02-17 2016-08-18 Raymond Jimenez System and method of real-time imaging and analysis of real-world objects
GB2542118B (en) * 2015-09-04 2021-05-19 Toshiba Europe Ltd A method, apparatus, system, and computer readable medium for detecting change to a structure
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN105678622A (zh) 2016-01-07 2016-06-15 平安科技（深圳）有限公司 车险理赔照片的分析方法及系统
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN105956667B (zh) * 2016-04-14 2018-09-25 平安科技（深圳）有限公司 车险定损理赔审核方法及系统
CN106021548A (zh) * 2016-05-27 2016-10-12 大连楼兰科技股份有限公司 基于分布式人工智能图像识别的远程定损方法及系统
CN106296118A (zh) * 2016-08-03 2017-01-04 深圳市永兴元科技有限公司 基于图像识别的车辆定损方法及装置
CN106203644A (zh) * 2016-08-09 2016-12-07 深圳市永兴元科技有限公司 车辆定损方法和装置
CN106372651B (zh) * 2016-08-22 2018-03-06 平安科技（深圳）有限公司 图片品质的检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109263A1 (en) * 2004-05-11 2005-11-17 Fausto Siri Process and system for analysing deformations in motor vehicles
WO2013093932A2 (en) * 2011-09-29 2013-06-27 Tata Consultancy Services Limited Damage assessment of an object
KR20160019514A (ko) * 2013-06-12 2016-02-19 르노 에스.아.에스. 차량에 야기된 손상의 식별 방법 및 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021011378A1 (en) * 2019-07-12 2021-01-21 The Nielsen Company (Us), Llc Deduplication across multiple different data sources to identify common devices
US11429575B2 (en) 2019-07-12 2022-08-30 The Nielsen Company (Us), Llc Deduplication across multiple different data sources to identify common devices
WO2021055988A1 (en) * 2019-09-22 2021-03-25 Kar Auction Services, Inc. Vehicle self-inspection apparatus and method
US11721010B2 (en) 2019-09-22 2023-08-08 Openlane, Inc. Vehicle self-inspection apparatus and method
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
WO2021201349A1 (ko) * 2020-04-02 2021-10-07 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
US12033192B2 (en) 2020-10-30 2024-07-09 Toyota Motor North America, Inc. Transport use determination
WO2023076085A1 (en) * 2021-10-25 2023-05-04 Argo AI, LLC Systems, methods, and computer program products for severity classifications of simulated collisions
KR102476815B1 (ko) * 2022-09-21 2022-12-12 (주)슬레이트미디어 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Also Published As

Publication number Publication date
TWI684922B (zh) 2020-02-11
JP6874150B2 (ja) 2021-05-19
CN107358596B (zh) 2020-09-18
PH12019500971A1 (en) 2019-11-11
MY193739A (en) 2022-10-27
JP6873237B2 (ja) 2021-05-19
WO2018191437A8 (en) 2022-02-17
CN107358596A (zh) 2017-11-17
WO2018191435A1 (en) 2018-10-18
JP2020504358A (ja) 2020-02-06
EP3520045A1 (en) 2019-08-07
EP3520045B1 (en) 2021-11-24
US20190213563A1 (en) 2019-07-11
SG11201903904VA (en) 2019-05-30
EP3520045B8 (en) 2022-02-23
WO2018191437A1 (en) 2018-10-18
JP2020517015A (ja) 2020-06-11
TW201837786A (zh) 2018-10-16
US20180293552A1 (en) 2018-10-11
KR102151365B1 (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
KR102151365B1 (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
KR102270499B1 (ko) 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
Rahmouni et al. Distinguishing computer graphics from natural images using convolution neural networks
US11144889B2 (en) Automatic assessment of damage and repair costs in vehicles
WO2018191421A1 (en) Image-based vehicle damage determining method, apparatus, and electronic device
García et al. Driver monitoring based on low-cost 3-D sensors
CN106250838A (zh) 车辆识别方法及系统
CN109325429A (zh) 一种关联特征数据的方法、装置、存储介质及终端
WO2019144416A1 (zh) 信息处理方法、系统、云处理设备以及计算机程序产品
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN110348463A (zh) 用于识别车辆的方法和装置
CN112329616A (zh) 目标检测方法、装置、设备以及存储介质
Abdellaoui et al. Driving assistance system based on artificial intelligence algorithms
Madake et al. Vision-Based Weather Condition Recognition for Driver Assistance
CN115131544A (zh) 图像识别的方法和系统
CN111881762A (zh) 一种联合训练行人属性识别和行人身份识别的方法
CN117455689A (zh) 车辆定损方法和装置、电子设备及存储介质
SM et al. Pothole Detection using Alexnet & RGB-D Images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant