WO2021002549A1 - 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 - Google Patents

딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 Download PDF

Info

Publication number
WO2021002549A1
WO2021002549A1 PCT/KR2019/018708 KR2019018708W WO2021002549A1 WO 2021002549 A1 WO2021002549 A1 WO 2021002549A1 KR 2019018708 W KR2019018708 W KR 2019018708W WO 2021002549 A1 WO2021002549 A1 WO 2021002549A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
image
vehicle
damaged
degree
Prior art date
Application number
PCT/KR2019/018708
Other languages
English (en)
French (fr)
Inventor
김태윤
어진솔
배병선
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Priority to JP2021536348A priority Critical patent/JP7277997B2/ja
Publication of WO2021002549A1 publication Critical patent/WO2021002549A1/ko
Priority to US17/362,013 priority patent/US11887064B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a system and method for automatically determining the degree of damage for each vehicle part based on deep learning. More specifically, after analyzing a picture of an accident vehicle using a deep learning-based Mask R-CNN framework, Part images are extracted, and the degree of damage of the extracted part image is automatically determined based on a previously learned model, so that a consistent and reliable vehicle repair estimate can be quickly calculated. It relates to an automatic determination system and method.
  • the present invention was derived to solve the above-described problem, and after analyzing a picture of an accident vehicle using a deep learning-based Mask R-CNN framework, an image of a part corresponding to the accident site was extracted, and the extracted part image
  • a deep learning-based automatic determination system and method for the degree of damage for each vehicle part based on deep learning that enables a consistent and reliable vehicle repair estimate to be quickly calculated.
  • the system for determining the degree of damage for each vehicle part based on deep learning compares a plurality of vehicle photographed images photographed before an accident repair and a plurality of vehicle photographed images photographed after an accident repair. Based on the results, it learns subdivided data for each part, and based on the result of comparing the damage level labeling data for each damage type of the car shot image with the reference value, the damage level labeling data is reviewed and rebelled, and a number of images of damaged parts are photographed.
  • a model generation unit that generates a model by learning data that determines the degree of damage for each type of damage, an image preprocessing unit that corrects and processes the image of a vehicle captured from the user terminal based on the model generated through the model generation unit, A part grasping unit for grasping and subdividing the vehicle photographed image for each vehicle part based on the model generated through the model generating unit, a damaged part image extracting unit for extracting an image of a damaged automobile part from among the automobile photographed images, and Based on the extracted damaged part image and the model generated through the model generating part, it may be characterized in that it comprises a damage degree determining unit that determines the damage degree of the corresponding damaged part according to a preset state.
  • the image preprocessing unit is characterized in that performing a correction process of augmentation of the image through rotation and inversion of the car shot image, or a correction process of removing light reflection on the car shot image. I can.
  • the parts grasping unit may be characterized in identifying and subdividing automobile parts for bumpers, doors, fenders, trunks and hoods on the vehicle photographed image using the Mask R-CNN framework.
  • the damage degree determination unit uses the InceptionV4 network structure of the CNN framework, and the damage degree of the damaged part is in a normal state, a scratch state, a small damaged sheet metal state, a medium damaged sheet metal state, a badly damaged sheet metal state, and an exchange state. It may be characterized in that it is determined whether it corresponds to any one of the states.
  • the component grasping unit masks the areas for the bumpers, doors, fenders, trunks, and hoods using the Mask R-CNN framework, but rather than the outer lines of each area so as to cover the boundaries of adjacent areas. It may be characterized by masking a large area.
  • the present invention may be characterized in that it further comprises an acquisition unit for acquiring a vehicle photographed image from the user terminal.
  • the present invention may further include a predicted repair estimate providing unit that calculates a predicted repair estimate based on the degree of damage to the damaged part image and provides it to the user terminal.
  • a method for automatically determining the degree of damage for each vehicle part based on deep learning is, in the model generation unit, a plurality of images of a vehicle photographed before an accident repair and a plurality of automobiles photographed a state after the accident Based on the result of comparing images with each other, subdivided data for each part is learned, and the damage level labeling data is inspected and rebelled based on the result of comparing the damage level labeling data for each damage type of the vehicle image with the reference value.
  • the present invention may be characterized in that it further comprises the step of obtaining the vehicle photographed image from the user terminal through an acquisition unit.
  • the present invention may include the step of calculating a predicted repair estimate based on the degree of damage to the damaged part image in the predicted repair estimate providing unit and providing the predicted repair estimate to the user terminal.
  • a vehicle owner can quickly obtain a consistent and reliable vehicle repair estimate based on an accident image taken by himself/herself.
  • FIG. 1 is a diagram schematically showing the configuration of a deep learning-based automatic damage determination system 100 for each vehicle part according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of the model generator 110 shown in FIG. 1.
  • FIG. 3 is a diagram illustrating a state in which a vehicle photographed image is grasped and subdivided for each vehicle part through the part grasping unit 130 illustrated in FIG. 1.
  • FIG. 4 is a view showing a state in which an image of a damaged automobile part is extracted through the damaged part image extracting unit 140 shown in FIG. 1.
  • FIG. 5 is a diagram schematically showing the configuration of a deep learning-based automatic damage determination system 200 for each vehicle part according to another embodiment of the present invention.
  • FIG. 6 is a diagram showing a method for automatically determining the degree of damage for each vehicle part through the deep learning-based automatic determination system 100 for each vehicle part shown in FIG.
  • FIG. 7 is a diagram illustrating another method for automatically determining the degree of damage for each vehicle part through the deep learning-based automatic determination system 200 for each vehicle part shown in FIG.
  • FIG. 1 is a diagram schematically showing the configuration of a deep learning-based automatic damage determination system 100 for each vehicle part according to an embodiment of the present invention
  • FIG. 2 is a model generator 110 shown in FIG. It is a diagram showing the configuration of.
  • the deep learning-based automatic determination system 100 for each vehicle part includes a model generation unit 110, an image preprocessing unit 120, and a component identification unit. (130), it may be configured to include a damaged area image extraction unit 140 and the degree of damage determination unit 150.
  • the model generation unit 110 learns subdivided data for each part based on a result of comparing a plurality of vehicle photographing images photographed before the accident repair and a plurality of vehicle photographing images photographed after the accident repair, and photographing a vehicle. Based on the result of comparing the damage level labeling data for each damage type of the image with the reference value, the damage level labeling data is inspected and re-labeled, and the model by learning the data that determines the damage level by damage type of multiple damaged area images. It serves to create.
  • the model generation unit 110 largely includes a first model generation unit 110a, a second model generation unit 110b, a third model generation unit 110c, and a fourth model generation unit 110d. Can be configured.
  • the first model generation unit 110a serves to generate a first model by learning data for selecting some of the car shot images from among the plurality of first car shot images.
  • the first model generation unit 110a photographs a plurality of (for example, 50,000 or more) vehicle photographing images photographing the state before the accident repair of the accident vehicle in the event of a vehicle accident, and photographing the state after the accident repair.
  • a plurality of first car shot images eg, 30 to 40 car shot images of an accident vehicle during a car accident
  • the first model is generated by repeatedly learning the process of selecting the car shot image. This may be applied later in selecting an image suitable for determining the type of damage and the degree of damage from among a plurality of photographed images taken through a user terminal (eg, a vehicle owner's terminal of an accident vehicle).
  • the second model generation unit 110b may generate a second model by learning data grasped and subdivided for each part using a plurality of second vehicle photographed images.
  • the second model generation unit 110b uses the Mask R-CNN framework to identify and subdivide automobile parts for bumpers, doors, fenders, trunks and hoods on a plurality of second vehicle images. You can learn.
  • a number of images e.g., tens of thousands of images
  • the Mask R-CNN framework for bumpers, doors, fenders, trunks, and hoods.
  • the location and type of each part such as bumpers, doors, fenders, trunks, and hoods are learned based on the masked area.
  • the masking area does not exactly match the size of each part, such as bumpers, doors, fenders, trunks, and hoods, but masks an area larger than the size of each part (for example, 110% of the size of each part). Accordingly, by masking to cover the boundary between adjacent parts and parts that are in contact with each other or connected to each other, damage of the boundary parts adjacent to or connected to each other is also recognized.
  • parts identified through the Mask R-CNN framework are masked based on the part data previously learned through at least tens of thousands of sample images for each part type, so other parts other than the learned parts are not detected. Does not.
  • the Mask R-CNN framework is a framework developed by Facebook's artificial intelligence research center, and using this, it is possible to identify the type of each component by masking different colors for each component.
  • the third model generation unit 110c damages the image of the damaged part determined by the user so that the damage type determination result with higher reliability can be obtained with respect to the plurality of vehicle images taken of the accident vehicle during a car accident. It plays a role of creating a third model that compares the damage level labeling data for each type with a reference value, and inspects and labels it.
  • repair refers to a process performed by assuming that the damage level labeling data determined by the user is not perfect for human error, and the third model serves to inspect the damage level labeling data.
  • the third model generation unit 110c generates a third model that outputs the probability of the damaged part estimated to correspond to the corresponding image when classifying the damaged part with respect to the photographed image of the specific damaged part as result data.
  • the third model generation unit 110c sets the probability value of the damaged part of the result data outputted as a result of inputting a specific damaged part photographing image to the third model as a random probability value. It is determined whether it is higher or lower than the probability value.
  • the probability value may be output as a number such as a percentage (%) or a constant integer value.
  • the probability value of the damaged portion of the specific damaged portion photographed image is higher than the reference probability value, it is determined that the accuracy of the previously generated third model is high. In this case, the damage level labeling data given by the user for the photographed image of the damaged area is maintained.
  • the probability value of the damaged part of the photographed image of the specific damaged part is lower than the reference probability value, it is determined that the accuracy of the previously generated third model is low.
  • the damage level labeling data given by the user for the photographed image of the damaged area is modified with new damage level labeling data.
  • the rate of determination of the degree of damage of the damaged area photographed image can be improved, and the performance of the third model continues every time the relabeling process is repeated. It improves. Finally, the third model showing improved performance can be applied to training of the fourth model to be described later.
  • the fourth model generation unit 110d to be described later is a softmax generated through the third model generation unit 110c. The value becomes available.
  • the fourth model generation unit 110d serves to generate a fourth model by learning data that determines the degree of damage for each type of damage of a plurality of images of damaged areas.
  • the fourth model generation unit 110d is damaged based on a number of (eg, tens of thousands of) images of the damaged area (eg, a door with scratches, a fender requiring sheet metal work, a bumper requiring replacement work, etc.)
  • the fourth model is created by repeatedly learning the degree of damage for each type.
  • the fourth model generation unit 110d uses the Inception V4 network structure of the CNN framework, and the damage degree of the corresponding damaged part is in a normal state, a scratch state, a small damaged sheet metal required state, a moderately damaged sheet metal required state, and a severely damaged sheet metal. It is determined whether it corresponds to either the required state or the exchange state.
  • the Inception V4 network structure was developed by Google's artificial intelligence laboratory, and using it, the damaged part is in a normal state, a scratch state, a small damaged sheet metal required state, a severely damaged sheet metal required state, a badly damaged sheet metal required state, or an exchange state. You will be able to learn whether it corresponds to one.
  • the image preprocessing unit 120 is based on the model generated through the above-described model generation unit 110, through a camera photographing function mounted on a user terminal (e.g., the car's mobile phone of the accident vehicle). It serves to increase the accuracy rate or recognition rate of determining the degree of damage through the damage degree determination unit 150 to be described later by various correction processing of the captured vehicle image.
  • a user terminal e.g., the car's mobile phone of the accident vehicle.
  • the image preprocessor 120 normalizes the image size by rotating or inverting the image of the vehicle captured through the user terminal to expand or resize the image to an arbitrary size recognizable by the parts grasping unit 130 to be described later. Is done. In addition, through a correction process that removes light reflection on the front surface of the part, it plays a role of improving accuracy by removing recognition errors of the vehicle image taken by light reflection.
  • the parts grasping unit 130 performs masking of different colors for each part, and then the above-described model generation unit 110 in order to grasp each part on the vehicle photographed image corrected through the image preprocessing unit 120. Based on the model created through the process, it is identified and subdivided for each vehicle part. This will be described in more detail with reference to FIG. 3.
  • FIG. 3 is a diagram illustrating a state in which a vehicle photographed image is grasped and subdivided for each vehicle part through the part grasping unit 130 illustrated in FIG. 1.
  • the parts grasping unit 130 grasps and subdivides the position of parts for bumpers, doors, fenders, trunks, and hoods on a vehicle photographed image using the Mask R-CNN framework.
  • the masking area is exactly the size of each part such as bumper, door, fender, trunk, and hood. It does not match, but masks a larger area (eg, 110%) than the size of each part. Therefore, by masking to cover the boundary between the part and the part that are in contact with each other or connected to each other, damage of the boundary part adjacent to or connected to each other is also recognized.
  • the parts identified through the Mask R-CNN framework are masked based on the parts previously learned through at least tens of thousands of sample images for each part type, so other parts other than the learned parts are not detected. .
  • the Mask R-CNN framework is a framework developed by Facebook's artificial intelligence research center, and using this, it is possible to identify the type of each component by masking different colors for each component.
  • the damaged part image extracting unit 140 serves to extract an image of a damaged automobile part from a vehicle photographed image in which the type and location of each automobile part is identified through the part grasping unit 130. do. This will be described in more detail with reference to FIG. 4.
  • FIG. 4 is a view showing a state in which an image of a damaged automobile part is extracted through the damaged part image extracting unit 140 shown in FIG. 1.
  • the damaged part image extracting unit 140 all of the peripheral parts (background) in addition to the automobile parts are blackened based on the outline line among the images of the automobile parts obtained through masking by the parts detection unit 120 (or parts The image of the damaged area is extracted by processing it with a different color to make it stand out. Through this, the determination accuracy is increased when determining the degree of damage in the degree of damage determination unit 150 to be described later.
  • the damage degree determination unit 150 is based on the model generated through the above-described model generation unit 110, and the degree of damage of the damaged area image extracted through the damaged area image extracting unit 140 ( The damage depth) is determined by using the Inception V4 network structure of the CNN framework. , It is determined whether it corresponds to any one of the exchange status.
  • the damage degree determination unit 150 compares the model learned based on the damaged image of tens of thousands of samples or more through the deep learning-based Inception V4 network structure (inception V4 convolutional neural network structure) and the damaged area image, It automatically determines which state the damaged area image corresponds to.
  • the scratch state is determined based on a model learned based on tens of thousands or more samples damaged images, for example, the repair time is within 30 minutes, and the minor damaged sheet metal required state corresponds to the repair time within about 1.3 hours. It is determined based on the model learned based on the damaged image of tens of thousands of samples or more, and the required state of severely damaged sheet metal is determined based on the model learned based on the damaged image of tens of thousands of samples or more, which takes about 1.7 hours to repair. In addition, the required state of severe damage sheet metal can be determined based on a model learned based on tens of thousands or more of sample damage images corresponding to a repair time of about 2.3 hours.
  • the Inception V4 network structure was developed by Google's artificial intelligence laboratory, and using it, the damaged part is in a normal state, a scratch state, a small damaged sheet metal required state, a severely damaged sheet metal required state, a badly damaged sheet metal required state, or an exchange state. It is possible to determine whether it corresponds to one.
  • the image preprocessing unit 120, the parts grasping unit 130, the damaged area image extracting unit 140, and the damage degree determining unit 150 use a model server provided by TensorFlow.
  • the model's execution environment which identifies the model's learning environment and parts that are trained through a number of sample images, extracts the damaged area image, and determines the degree of damage
  • the learning result of the learning model is transferred to the execution environment To be reflected.
  • the learning speed of the learning model and the execution speed of the execution model can be dramatically improved through a plurality of GPUs.
  • the vehicle photographing image acquired through the image preprocessor 120 may be classified based on a model obtained by learning data for selecting some of the vehicle photographing images from among a plurality of vehicle photographing images.
  • the model at this time is a number of images of a vehicle (e.g., more than 50,000) photographing the state of the vehicle in the accident before the accident is repaired, and a number of photographs of the state after the accident is repaired (e.g., The state after the accident is repaired among a number of first car shot images (e.g., 30 to 40 car shot images taken of the accident vehicle in the event of a car accident) based on the result of comparing the car shot images of 50,000 or more).
  • the first image by repeatedly learning selected data of about 10% (e.g., 3-4) by removing the image of the car that is judged to have taken or is out of focus due to being taken too far away. You will create a model.
  • This model can be applied in selecting an image suitable for determining the type of damage and the degree of damage from a plurality of photographed images taken through a user terminal (eg, a vehicle owner's terminal of an accident vehicle).
  • the present invention receives a request for an immediate predicted repair estimate for the vehicle photographed image from the user terminal, so that the predicted repair estimate result corresponding to the predicted repair estimate request may be transmitted back to the user terminal.
  • the predicted repair estimate result corresponding to the predicted repair estimate request may be transmitted back to the user terminal.
  • FIG. 5 is a diagram schematically showing the configuration of a deep learning-based automatic damage determination system 200 for each vehicle part according to another embodiment of the present invention.
  • FIG. 5 shows an acquisition unit 220 for acquiring a vehicle photographed image from a user terminal when compared to FIG. 1, and a predicted repair estimate is calculated based on the degree of damage to the damaged area image to the user terminal. It may be characterized in that it comprises a predicted repair estimate providing unit 270 provided again.
  • the acquisition unit 220 serves to obtain a vehicle photographed image from the user terminal and to receive a request for a repair prediction estimate through the vehicle photographed image.
  • the image pre-processing unit 230, the parts grasping unit 240, the damaged area image extracting unit 250, and the damage degree determining unit 260 include the image pre-processing unit 120, the parts grasping unit 130, and Since it corresponds to the damaged area image extracting unit 140 and the damage degree determining unit 150, detailed descriptions will be omitted.
  • the predicted repair estimate providing unit 270 numerically calculates the degree of damage of the damaged part determined through the damage information determination unit 260, calculates an expected repair estimate based on this, and provides it back to the user terminal.
  • FIG. 6 is a diagram showing a method for automatically determining the degree of damage for each vehicle part through the deep learning-based automatic determination system 100 for each vehicle part shown in FIG.
  • the model generation unit learns subdivided data for each part based on the result of comparing a plurality of vehicle images photographed before the accident repair and a plurality of vehicle photographed images photographed after the accident repair. , Based on the result of comparing the damage level labeling data for each damage type of the car shot image with the reference value, the damage level labeling data is inspected and re-labeled. It learns to generate a model (S601).
  • the image preprocessing unit corrects the vehicle photographed image acquired from the user terminal (S602).
  • the image size is standardized by augmentation of the image to an arbitrary size that can be recognized by the part grasping unit, and the recognition error of the car shot image through a correction process that removes light reflection. The accuracy is improved by removing.
  • the parts grasping unit grasps and subdivides the corrected vehicle photographed image for each automobile part (S603).
  • the location of parts for bumpers, doors, fenders, trunks, and hoods, etc., on the image of a vehicle photographed using the Mask R-CNN framework is identified and subdivided.
  • the damaged part image extracting unit extracts only the image of the damaged automobile part from the vehicle photographed image (S604).
  • an accurate image of the damaged part is extracted by black processing all the peripheral parts (background) other than the car parts based on the outline of the image of the car parts obtained through masking by the parts detection unit.
  • the damage degree determination unit divides the damage degree of the damaged part into six states based on the extracted damaged part image to determine (S605).
  • the damaged part corresponds to one of the normal state, scratch state, minor damage sheet metal required state, medium damaged sheet metal required state, badly damaged sheet metal required state, and exchange state. It is determined whether or not.
  • FIG. 7 is a diagram illustrating another method for automatically determining the degree of damage for each vehicle part through the deep learning-based automatic determination system 200 for each vehicle part shown in FIG.
  • the model generation unit learns subdivided data for each part based on a result of comparing a plurality of vehicle images photographed before an accident repair and a plurality of vehicle photographed images photographed after an accident repair. , Based on the result of comparing the damage level labeling data for each damage type of the car shot image with the reference value, the damage level labeling data is inspected and re-labeled. It learns to generate a model (S701).
  • the acquisition unit acquires a vehicle photographed image from the user terminal and receives a request for a repair estimate estimate through the vehicle photographed image (S702).
  • the image preprocessor corrects the vehicle photographed image acquired from the user terminal (S703).
  • the image size is standardized by augmentation of the image to an arbitrary size that can be recognized by the part grasping unit, and the recognition error of the car shot image through a correction process that removes light reflection. The accuracy is improved by removing.
  • the component grasp unit grasps and subdivides the corrected vehicle photographed image for each vehicle component (S704).
  • the location of parts for bumpers, doors, fenders, trunks, and hoods, etc., on the image of a vehicle photographed using the Mask R-CNN framework is identified and subdivided.
  • the damaged part image extracting unit extracts only the image of the damaged automobile part from the vehicle photographed image (S705).
  • an accurate image of the damaged part is extracted by black processing all the peripheral parts (background) other than the car parts based on the outline of the image of the car parts obtained through masking by the parts detection unit.
  • the damage degree determination unit divides and determines the degree of damage of the damaged part into six states based on the extracted damaged part image (S706).
  • the damaged part corresponds to one of the normal state, scratch state, minor damage sheet metal required state, medium damaged sheet metal required state, badly damaged sheet metal required state, and exchange state. It is determined whether or not.
  • the predicted repair estimate providing unit calculates the predicted repair estimate based on the degree of damage to the damaged part image and provides it to the user terminal (S707).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것이다.

Description

딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
본 출원은 2018년 12월 31일자 한국 특허 출원 제10-2018-0174099호, 2018년 12월 31일자 한국 특허 출원 제10-2018-0174110호, 2019년 7월 3일자 한국 특허 출원 제10-2019-0079914호에 기초한 우선권의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서의 일부로서 포함된다.
본 발명은 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것으로서, 보다 구체적으로는, 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며, 해당 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법에 관한 것이다.
일반적으로, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하게 된다. 이때, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우가 발생하고 있다.
따라서, 정비 전문가들의 주관적인 파손정도 판단기준이 아닌, 정형화되고 일관성 있는 판단 기준을 통해 신뢰할 수 있는 수리비 견적을 책정할 수 있는 기술이 필요한 실정이다.
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로서, 딥러닝 기반의 Mask R-CNN 프레임워크를 이용하여 사고차량 사진을 분석 후 사고부위에 해당하는 부품 이미지를 추출하며, 해당 추출된 부품 이미지의 파손정도를 기 학습된 모델을 기반으로 자동 판정함으로써, 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 산출할 수 있도록 하는 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템은 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 모델 생성부, 상기 모델 생성부를 통해 생성된 모델을 토대로, 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 이미지 전처리부, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 부품 파악부, 상기 자동차 촬영 이미지 중에서, 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 파손부위 이미지 추출부 및 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로, 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 파손정도 판별부를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 이미지 전처리부는 상기 자동차 촬영 이미지의 회전 및 반전처리를 통해 이미지를 확장(augmentation)하는 보정 처리, 또는 상기 자동차 촬영 이미지 상의 빛 반사를 제거하는 보정 처리를 수행하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 부품 파악부는 Mask R-CNN 프레임워크를 이용하여 상기 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 파손정도 판별부는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 판별하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 부품 파악부는 상기 Mask R-CNN 프레임워크를 이용하여 상기 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 영역을 마스킹하되, 서로 인접한 영역의 경계를 커버하도록 각 영역의 외곽라인보다 넓은 영역을 마스킹하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 상기 사용자 단말로부터 자동차 촬영 이미지를 획득하는 획득부를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 상기 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 예상 수리견적 제공부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법은 모델 생성부에서, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 단계, 이미지 전처리부에서, 상기 모델 생성부를 통해 생성된 모델을 토대로 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 단계, 부품 파악부에서, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 단계, 파손부위 이미지 추출부에서, 상기 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 단계 및 파손정도 판별부에서, 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 획득부를 통해, 상기 사용자 단말로부터 상기 자동차 촬영 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 본 발명은 예상 수리견적 제공부에서, 상기 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 차주가 직접 자신이 촬영한 사고 이미지를 토대로 일관성 있고 신뢰할 수 있는 차량 수리 견적을 신속히 획득할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 수만장 이상의 사고 이미지를 토대로 학습된 딥러닝 모델을 기반으로 파손정도 판별 결과를 신속히 도출할 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 교통사고 등 여러 요인에 의해 자동차가 파손되었을 경우, 파손 차량을 정비소로 입고시킨 후 정비 전문가의 판단에 따라 자동차의 파손정도를 결정하는 과정을 수행하지 않아도 된다. 이에 따라, 정비 전문가 별로 파손정도를 판단하는 기준이 정형화되어 있지 않고 주관적 판단이 개입되기 때문에, 비슷한 파손정도임에도 불구하고 수리비 견적이 크게 달라지는 경우를 효과적으로 방지할 수 있는 이점을 가진다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)의 구성을 개략적으로 도시한 도면이다.
도 2는 도 1에 도시된 모델 생성부(110)의 구성을 도시한 도면이다.
도 3은 도 1에 도시된 부품 파악부(130)를 통해 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하는 상태를 도시한 도면이다.
도 4는 도 1에 도시된 파손부위 이미지 추출부(140)를 통해 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 상태를 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)의 구성을 개략적으로 도시한 도면이다.
도 6은 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 7은 도 5에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 다른 방법을 일련의 순서대로 도시한 도면이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)의 구성을 개략적으로 도시한 도면이고, 도 2는 도 1에 도시된 모델 생성부(110)의 구성을 도시한 도면이다.
도 1 및 도 2를 살펴보면, 본 발명의 일 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)은 크게 모델 생성부(110), 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)를 포함하여 구성될 수 있다.
모델 생성부(110)는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 역할을 한다.
보다 구체적으로, 모델 생성부(110)는 크게 제1 모델 생성부(110a), 제2 모델 생성부(110b), 제3 모델 생성부(110c) 및 제4 모델 생성부(110d)를 포함하여 구성될 수 있다.
제1 모델 생성부(110a)는 다수의 제1 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 제1 모델을 생성하는 역할을 한다.
보다 구체적으로, 제1 모델 생성부(110a)는 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 이미 사고 수리가 완료된 후의 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트지고 윤곽선이 선명하지 않은 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택하는 과정을 반복 학습함으로써 제1 모델을 생성하게 된다. 이는 추후 사용자 단말(예컨대, 사고 차량의 차주 단말)을 통해 촬영된 다수의 촬영 이미지 중에서 파손유형 및 파손정도를 판단하기에 적합한 이미지를 선택함에 있어 적용될 수 있다.
제2 모델 생성부(110b)는 다수의 제2 자동차 촬영 이미지를 이용하여 각 부품별로 파악 및 세분화한 데이터를 학습하여 제2 모델을 생성할 수 있다.
보다 구체적으로, 제2 모델 생성부(110b)는 Mask R-CNN 프레임워크를 이용하여 다수의 제2 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화한 데이터를 학습할 수 있다.
예컨대, 자동차의 정면부, 측면부, 후면부 등을 각 부위별로 무작위로 촬영한 다수(예컨대, 수만장)의 자동차 촬영 이미지들 각각을 Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 위치 및 종류를 학습하게 된다.
이때 마스킹 영역은 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 크기에 정확히 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적(예컨대, 각 부품의 크기 대비 110%)을 마스킹하게 된다. 따라서, 인접한 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 커버하도록 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 파손에 대해서도 함께 인식하도록 한다.
또한, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품 데이터를 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품 별 종류를 파악할 수 있다.
제3 모델 생성부(110c)는 자동차 사고 시 사고차량을 촬영한 다수의 자동차 촬영 이미지에 대하여 보다 높은 신뢰도를 가진 손상유형 판단 결과를 획득할 수 있도록, 사용자에 의해 판단된 파손부위 촬영 이미지의 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교하여 검수 및 리라벨링하는 제3 모델을 생성하는 역할을 한다.
여기에서, 리라벨링이라 함은 사용자에 의해 판단된 파손정도 라벨링 데이터가 사람의 실수에 완벽하지 않다고 가정하여 진행되는 과정을 의미하며, 제3 모델은 이러한 파손정도 라벨링 데이터를 검수하는 역할을 한다.
먼저, 제3 모델 생성부(110c)에서는 특정 파손부위 촬영 이미지에 대하여 파손 부위 분류 시 해당 이미지에 해당되는 것으로 추정되는 파손 부위의 확률을 결과 데이터로써 출력하는 제3 모델을 생성한다.
이때, 제3 모델 생성부(110c)에서는 해당 제3 모델의 정확도를 높이기 위하여, 제3 모델에 특정 파손부위 촬영 이미지를 입력함에 따라 출력되는 결과 데이터의 파손 부위의 확률값이 임의의 확률값으로 정한 기준 확률값보다 높은지 낮은지 여부를 판단하게 된다. 이때, 확률값은 퍼센테이지(%) 또는 일정한 정수값 등의 수치로 출력될 수 있다.
만약, 특정 파손부위 촬영 이미지의 파손 부위의 확률값이 기준 확률값보다 높을 경우에는, 앞서 생성된 제3 모델의 정확도가 높은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 유지하게 된다.
반대로, 특정 파손부위 촬영 이미지의 파손 부위 확률값이 기준 확률값보다 낮을 경우에는, 앞서 생성된 제3 모델의 정확도가 낮은 것으로 판단하게 된다. 이 경우에는 해당 파손부위 촬영 이미지에 대해 사용자가 부여한 파손정도 라벨링 데이터를 새로운 파손정도 라벨링 데이터로 수정하게 된다.
이러한 방식으로 모든 파손부위 촬영 이미지에 대하여 리라벨링 과정을 수행함으로써, 파손부위 촬영 이미지의 파손 정도 판단률이 향상될 수 있고, 매 리라벨링 과정이 반복 수행될 때마다, 제3 모델의 성능이 계속해서 향상 된다. 최종적으로 향상된 성능을 보이는 제3 모델은 후술되는 제4 모델의 학습에 적용될 수 있다.
또한, 일 실시예에서 제3 모델 생성부(110c)를 통한 리라벨링과정에 있어서, 후술되는 제4 모델 생성부(110d)는 제3 모델 생성부(110c)를 통해 생성되는 소프트맥스(softmax) 값을 이용할 수 있게 된다.
제4 모델 생성부(110d)는 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 제4 모델을 생성하는 역할을 한다.
보다 구체적으로, 제4 모델 생성부(110d)는 다수(예컨대, 수만장)의 파손부위 촬영 이미지(예컨대, 스크래치가 발생된 도어, 판금 작업이 필요한 휀더, 교체 작업이 필요한 범퍼 등)를 토대로 파손유형 별 파손정도를 반복 학습하여 제4 모델을 생성하게 된다. 이때, 제4 모델 생성부(110d)는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
이때 Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 학습할 수 있게 된다.
다음으로, 이미지 전처리부(120)는 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여, 사용자 단말(예컨대, 사고차량의 차주의 휴대전화 등)에 탑재된 카메라 촬영 기능을 통해 촬영된 자동차 촬영 이미지를 다양한 보정 처리함으로써, 후술되는 파손정도 판별부(150)를 통한 파손정도 판단 정확률 혹은 인식률을 높이는 역할을 한다.
이미지 전처리부(120)는 사용자 단말을 통해 촬영된 자동차 촬영 이미지를 회전 또는 반전 처리함으로써 이미지를 후술되는 부품 파악부(130)에서 인식 가능한 임의의 크기로 확장(augmentation) 또는 리사이징하여 이미지 크기를 규격화 하게 된다. 또한, 부품 포면의 빛 반사를 제거하는 보정 처리를 통해, 빛 반사에 의한 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키는 역할을 하게 된다.
부품 파악부(130)는 이미지 전처리부(120)를 통해 보정 처리된 자동차 촬영 이미지 상의 각 부품을 각각 파악하기 위하여, 각 부품 별로 서로 다른 색상의 마스킹을 수행한 후 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여, 자동차 부품 별로 파악 및 세분화하게 된다. 이에 관해서는, 도 3을 통해 보다 구체적으로 살펴보기로 한다.
도 3은 도 1에 도시된 부품 파악부(130)를 통해 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하는 상태를 도시한 도면이다.
도 3을 살펴보면, 부품 파악부(130)는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
이때, Mask R-CNN 프레임워크를 통해 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별로 서로 상이한 색상이 마스킹되는데, 이때 마스킹 영역은 범퍼, 도어, 휀더, 트렁크, 후드 등 각 부품 별 크기에 정확히 일치하는 것이 아닌, 각 부품 별 크기 보다 넓은 면적(예컨대, 110%)을 마스킹하게 된다. 따라서, 부품과 부품이 서로 접하거나 연결되는 부분의 경계를 커버하도록 마스킹함으로써, 서로 인접하거나 연결되는 경계 부분의 파손에 대해서도 인식하도록 한다.
이때, Mask R-CNN 프레임워크를 통해 파악되는 부품은 각 부품 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 부품 외에 다른 부품에 대해서는 검출되지 않는다.
한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 부품 별 서로 상이한 색상을 마스킹하여 부품 별 종류를 파악할 수 있다.
다시 도 1로 돌아와서, 파손부위 이미지 추출부(140)는 부품 파악부(130)를 통해 자동차 부품 별 종류 및 위치가 파악된 자동차 촬영 이미지 상에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 역할을 한다. 이에 관해서는 도 4를 통해 보다 구체적으로 살펴보기로 한다.
도 4는 도 1에 도시된 파손부위 이미지 추출부(140)를 통해 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 상태를 도시한 도면이다.
도 4를 살펴보면, 파손부위 이미지 추출부(140)에서는 부품 검출부(120)에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리(또는 부품이 부각되도록 하는 다른 색상으로 처리)함으로써 정확한 파손부위 이미지를 추출하게 된다. 이를 통해, 후술되는 파손정도 판별부(150)에서의 파손정도 판단 시 판단 정확도가 상승하게 된다.
다시 도 1로 돌아와서, 파손정도 판별부(150)는 상술한 모델 생성부(110)를 통해 생성된 모델을 기초로 하여 파손부위 이미지 추출부(140)를 통해 추출된 파손부위 이미지의 파손정도(파손심도)가 어느정도 인지를 판단하게 되는데, 이는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
예컨대, 파손정도 판별부(150)는 딥러닝 기반의 Inception V4 네트워크 구조(인셉션 V4 콘볼루션 신경망 구조)를 통해 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형과 파손부위 이미지를 서로 비교함으로써, 파손부위 이미지의 상태가 어느 상태에 해당하는지를 자동으로 판별하게 된다.
이때, 스크래치 상태는 예컨대, 수리에 걸리는 시간이 30분 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되고, 소손상 판금 필요상태는 수리에 걸리는 시간이 약 1.3 시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되며, 중손상 판금 필요상태는 수리에 걸리는 시간이 약 1.7시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별되고, 대손상 판금 필요상태는 수리에 걸리는 시간이 약 2.3 시간 이내에 해당하는 수만장 이상의 샘플 파손 이미지를 기초로 학습된 모형을 토대로 판별될 수 있다.
이때 Inception V4 네트워크 구조는 구글 사의 인공지능 연구소에서 개발된 것으로서, 이를 이용하여 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별할 수 있게 된다.
또한, 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)는 텐서플로우(TensorFlow)에서 제공하는 모델서버(Model server)를 이용하여, 다수의 샘플 이미지를 통해 학습되는 모델의 학습 환경과 부품을 파악하고 파손부위 이미지를 추출하며 파손정도를 판별하는 모델의 실행 환경을 독립적으로 구현함으로써, 학습 모델의 학습 결과가 실시간으로 실행 환경에 반영되도록 한다. 이때, 다수의 GPU를 통해 학습 모델의 학습 속도와 실행 모델의 실행 속도를 획기적으로 향상시킬 수 있다.
일 실시예에서, 이미지 전처리부(120)를 통해 획득된 자동차 촬영 이미지는 다수의 자동차 촬영 이미지 중에서 일부의 자동차 촬영 이미지를 선택한 데이터를 학습하여 얻어지는 모델을 토대로 구분될 수 있다.
예를 들어, 이때의 모델은 자동차 사고 시 사고차량의 사고 수리 전 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지와, 사고 수리 후 상태를 촬영한 상태를 촬영한 다수(예컨대, 5만장 이상)의 자동차 촬영 이미지를 서로 비교한 결과값에 기초하여, 다수의 제1 자동차 촬영 이미지(예컨대, 자동차 사고 시 사고 차량을 촬영한 30장~40장의 자동차 촬영 이미지) 중에서 사고 수리 후 상태를 촬영한 것으로 판단되는 이미지이거나, 또는 너무 멀리서 촬영됨에 따라 초점이 흐트러진 자동차 촬영 이미지를 제거함으로써 대략 10% 정도(예컨대, 3장~4장)의 자동차 촬영 이미지를 선택한 데이터를 반복 학습함으로써 제1 모델을 생성하게 된다. 이러한 모델은 사용자 단말(예컨대, 사고 차량의 차주 단말)을 통해 촬영된 다수의 촬영 이미지 중에서 파손유형 및 파손정도를 판단하기에 적합한 이미지를 선택함에 있어 적용될 수 있다.
한편, 일 실시예에서 본 발명은 사용자 단말로부터 자동차 촬영 이미지에 대하여 즉각적인 예상 수리 견적을 요청받음으로써, 해당 예상 수리 견적 요청에 상응하는 예상 수리 견적 결과를 사용자 단말로 다시 전송할 수 있는데, 이에 대해 살펴보면 다음과 같다.
도 5는 본 발명의 다른 실시예에 따른 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)의 구성을 개략적으로 도시한 도면이다.
도 5를 살펴보면, 도 5는 도 1과 비교하였을 때 사용자 단말로부터 자동차 촬영 이미지를 획득하는 획득부(220)와, 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 사용자 단말로 다시 제공하는 예상 수리견적 제공부(270)를 포함하는 것을 특징으로 할 수 있다.
보다 구체적으로, 획득부(220)는 사용자 단말로부터 자동차 촬영 이미지를 획득함은 물론, 해당 자동차 촬영 이미지를 통한 수리 예상 견적을 요청받는 역할을 한다.
이미지 전처리부(230), 부품 파악부(240), 파손부위 이미지 추출부(250) 및 파손정도 판별부(260)는 도 1을 통해 살펴본 이미지 전처리부(120), 부품 파악부(130), 파손부위 이미지 추출부(140) 및 파손정도 판별부(150)와 상응하므로 상세한 설명은 생략하기로 한다.
예상 수리견적 제공부(270)는 파손정보 판별부(260)를 통해 판별된 파손부의 파손정도를 수치적으로 산출 후 이를 토대로 예상 수리견적을 산출하여 이를 다시 사용자 단말로 제공하게 된다.
다음으로는, 도 6 및 도 7을 통해, 본 발명을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 살펴보기로 한다.
도 6은 도 1에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(100)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 방법을 일련의 순서대로 도시한 도면이다.
도 6을 살펴보면, 먼저 모델 생성부에서는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하게 된다(S601).
다음으로, 이미지 전처리부에서는 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하게 된다(S602). 이 단계에서는 자동차 촬영 이미지를 회전 및 반전 처리함으로써 이미지를 부품 파악부에서 인식 가능한 임의의 크기로 확장(augmentation)하여 이미지 크기를 규격화 하고, 빛 반사를 제거하는 보정 처리를 통해 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키게 된다.
다음으로, 부품 파악부에서는 보정 처리된 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하게 된다(S603). 이 단계에서는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
다음으로, 파손부위 이미지 추출부에서 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지만을 추출하게 된다(S604). 이 단계에서는 부품 검출부에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리함으로써 정확한 파손부위 이미지를 추출하게 된다.
다음으로, 파손정도 판별부에서는 추출된 파손부위 이미지를 토대로 해당 파손부위의 파손정도를 6가지 상태로 나뉘어 판별하게 된다(S605). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
도 7은 도 5에 도시된 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템(200)을 통해 자동차 부위별 파손정도를 자동으로 판정하기 위한 다른 방법을 일련의 순서대로 도시한 도면이다.
도 7을 살펴보면, 먼저 모델 생성부에서는 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교한 결과를 토대로 부품 별 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하게 된다(S701).
다음으로, 획득부에서는 사용자 단말로부터 자동차 촬영 이미지를 획득함은 물론, 해당 자동차 촬영 이미지를 통한 수리 예상 견적을 요청받는다(S702).
다음으로, 이미지 전처리부에서는 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하게 된다(S703). 이 단계에서는 자동차 촬영 이미지를 회전 및 반전 처리함으로써 이미지를 부품 파악부에서 인식 가능한 임의의 크기로 확장(augmentation)하여 이미지 크기를 규격화 하고, 빛 반사를 제거하는 보정 처리를 통해 자동차 촬영 이미지의 인식오류를 제거하여 정확도를 향상시키게 된다.
다음으로, 부품 파악부에서는 보정 처리된 자동차 촬영 이미지를 자동차 부품 별로 파악 및 세분화하게 된다(S704). 이 단계에서는 Mask R-CNN 프레임워크를 이용하여 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드 등에 대한 부품 위치를 파악 및 세분화하게 된다.
다음으로, 파손부위 이미지 추출부에서 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지만을 추출하게 된다(S705). 이 단계에서는 부품 검출부에서 마스킹을 통해 획득된 자동차 부품에 대한 이미지 중에서 외곽라인을 기준으로 자동차 부품 외에 주변부(배경)를 모두 블랙처리함으로써 정확한 파손부위 이미지를 추출하게 된다.
다음으로, 파손정도 판별부에서는 추출된 파손부위 이미지를 토대로 해당 파손부위의 파손정도를 6가지 상태로 나뉘어 판별하게 된다(S706). 이 단계에서는 CNN 프레임워크의 Inception V4 네트워크 구조를 이용하여 해당 파손부위가 정상 상태, 스크래치 상태, 소손상 판금 필요상태, 중손상 판금 필요상태, 대손상 판금 필요상태, 교환 상태 중 어느 하나에 해당하는지 여부를 판별하게 된다.
다음으로, 예상 수리견적 제공부에서는 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출한 후 이를 사용자 단말로 제공하게 된다(S707).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교하고, 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드에 대한 자동차 부품을 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨링 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 모델 생성부;
    상기 모델 생성부를 통해 생성된 모델을 토대로, 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 이미지 전처리부;
    보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 부품 파악부;
    상기 자동차 촬영 이미지 중에서, 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 파손부위 이미지 추출부; 및
    추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로, 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 파손정도 판별부;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  2. 제1항에 있어서,
    상기 이미지 전처리부는,
    상기 자동차 촬영 이미지의 회전 및 반전처리를 통해 이미지를 확장(augmentation)하는 보정 처리, 또는 상기 자동차 촬영 이미지 상의 빛 반사를 제거하는 보정 처리를 수행하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  3. 제1항에 있어서,
    상기 부품 파악부는 Mask R-CNN 프레임워크를 이용하여 상기 자동차 촬영 이미지 상에서 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 자동차 부품을 파악 및 세분화하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  4. 제1항에 있어서,
    상기 파손정도 판별부는 CNN 프레임워크의 InceptionV4 네트워크 구조를 이용하여 상기 파손부위의 파손정도가 정상 상태, 스크래치 상태, 소손상 판금 상태, 중손상 판금 상태, 대손상 판금 상태 및 교환 상태 중 어느 하나의 상태에 해당하는지 여부를 판별하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  5. 제3항에 있어서,
    상기 부품 파악부는,
    상기 Mask R-CNN 프레임워크를 이용하여 상기 범퍼, 도어, 휀더, 트렁크 및 후드에 대한 영역을 마스킹하되, 서로 인접한 영역의 경계를 커버하도록 각 영역의 외곽라인보다 넓은 영역을 마스킹하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  6. 제1항에 있어서,
    상기 파손부위 이미지에 대한 파손정도를 토대로, 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 예상 수리견적 제공부;를 더 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템.
  7. 모델 생성부에서, 사고 수리 전 상태를 촬영한 다수의 자동차 촬영 이미지와 사고 수리 후 상태를 촬영한 다수의 자동차 촬영 이미지를 서로 비교하고, 각 부품 별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 범퍼, 도어, 휀더, 트렁크, 후드에 대한 자동차 부품을 세분화한 데이터를 학습하고, 자동차 촬영 이미지에 대한 파손유형 별 파손정도 라벨링 데이터를 기준치와 비교한 결과를 토대로 상기 파손정도 라벨리 데이터를 검수 및 리라벨링하며, 다수의 파손부위 촬영 이미지의 파손유형 별 파손정도를 판단한 데이터를 학습하여 모델을 생성하는 단계;
    이미지 전처리부에서, 상기 모델 생성부를 통해 생성된 모델을 토대로 사용자 단말로부터 획득되는 자동차 촬영 이미지를 보정 처리하는 단계;
    부품 파악부에서, 보정 처리된 상기 자동차 촬영 이미지를 상기 모델 생성부를 통해 생성된 모델을 토대로 자동차 부품 별로 파악 및 세분화하는 단계;
    파손부위 이미지 추출부에서, 상기 자동차 촬영 이미지 중에서 파손이 발생된 자동차 부품에 대한 이미지를 추출하는 단계; 및
    파손정도 판별부에서, 추출된 파손부위 이미지와 상기 모델 생성부를 통해 생성된 모델을 토대로 해당 파손부위의 파손정도를 기 설정된 상태에 따라 판별하는 단계;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법.
  8. 제7항에 있어서,
    예상 수리견적 제공부에서, 상기 파손부위 이미지에 대한 파손정도를 토대로 예상 수리견적을 산출하여 이를 상기 사용자 단말로 제공하는 단계;를 포함하는 것을 특징으로 하는, 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 방법.
PCT/KR2019/018708 2018-12-31 2019-12-30 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 WO2021002549A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021536348A JP7277997B2 (ja) 2018-12-31 2019-12-30 ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法
US17/362,013 US11887064B2 (en) 2018-12-31 2021-06-29 Deep learning-based system and method for automatically determining degree of damage to each area of vehicle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180174099 2018-12-31
KR20180174110 2018-12-31
KR10-2019-0079914 2019-07-03
KR1020190079914A KR102097120B1 (ko) 2018-12-31 2019-07-03 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/362,013 Continuation US11887064B2 (en) 2018-12-31 2021-06-29 Deep learning-based system and method for automatically determining degree of damage to each area of vehicle

Publications (1)

Publication Number Publication Date
WO2021002549A1 true WO2021002549A1 (ko) 2021-01-07

Family

ID=70275809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018708 WO2021002549A1 (ko) 2018-12-31 2019-12-30 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Country Status (4)

Country Link
US (1) US11887064B2 (ko)
JP (1) JP7277997B2 (ko)
KR (1) KR102097120B1 (ko)
WO (1) WO2021002549A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538293A (zh) * 2021-08-20 2021-10-22 爱保科技有限公司 一种车损伤图像的增强方法和装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CA3115784A1 (en) 2018-10-11 2020-04-16 Matthew John COOPER Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN115668250A (zh) 2020-01-03 2023-01-31 易识有限公司 确定对损坏车辆的喷漆要求的方法
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法
KR102383051B1 (ko) * 2020-07-14 2022-04-06 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
KR102382583B1 (ko) * 2020-09-03 2022-04-04 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
CN112347952B (zh) * 2020-11-11 2021-05-11 哈尔滨市科佳通用机电股份有限公司 铁路货车钩尾框托板脱落识别方法
KR102592502B1 (ko) * 2021-06-03 2023-10-20 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
WO2023083182A1 (en) * 2021-11-09 2023-05-19 Alpha Ai Technology Limited A system for assessing a damage condition of a vehicle and a platform for facilitating repairing or maintenance services of a vehicle
KR102479672B1 (ko) 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
CN114358663B (zh) * 2022-03-17 2022-05-13 西华大学 基于人工智能的电动汽车火灾事故后综合判断方法
KR102531372B1 (ko) 2022-05-24 2023-05-10 송현우 차량 수리 정보 제공 시스템
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링
KR20190060817A (ko) * 2017-04-11 2019-06-03 알리바바 그룹 홀딩 리미티드 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002326569A (ja) * 2001-05-02 2002-11-12 Eac:Kk 事故車の損傷部認識システム及び認識方法
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
US10832332B1 (en) * 2015-12-11 2020-11-10 State Farm Mutual Automobile Insurance Company Structural characteristic extraction using drone-generated 3D image data
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
WO2018191421A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle damage determining method, apparatus, and electronic device
CN107194323B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
US20230230172A1 (en) * 2020-05-28 2023-07-20 Jonathan PYLE Vehicle Repair Estimation System and Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
KR20180118596A (ko) * 2015-10-02 2018-10-31 트랙터블 리미티드 데이터세트들의 반-자동 라벨링
KR20190060817A (ko) * 2017-04-11 2019-06-03 알리바바 그룹 홀딩 리미티드 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"MASK R-CNN", vol. 1, 23 May 2017 (2017-05-23), pages 4 - 5, Retrieved from the Internet <URL:https://blog.naver.com/sogangori/221012300995> [retrieved on 20200330] *
HORAJJAN: "[ML] CNN - AlexNet, VBGGNet, GoogLeNet, RestNet", 23 December 2018 (2018-12-23), Retrieved from the Internet <URL:https://blog.naver.com/horajjan/221425497675> [retrieved on 20200330] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538293A (zh) * 2021-08-20 2021-10-22 爱保科技有限公司 一种车损伤图像的增强方法和装置

Also Published As

Publication number Publication date
US20210327042A1 (en) 2021-10-21
KR102097120B1 (ko) 2020-04-09
JP7277997B2 (ja) 2023-05-19
US11887064B2 (en) 2024-01-30
JP2022537857A (ja) 2022-08-31

Similar Documents

Publication Publication Date Title
WO2021002549A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
WO2020256246A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
WO2021201349A1 (ko) 차량의 손상 분석 시스템 및 방법
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2022065817A1 (en) Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2021194056A1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2013042928A1 (ko) 부분방전 결함유형 판정 방법 및 그 장치
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2022039318A1 (ko) 비식별화 영상 데이터를 이용한 인공지능 학습 방법 및 시스템
WO2021033792A1 (ko) Ai 기반의 사전 훈련 모델 결정 시스템 및 이를 이용한 제품 생산 라인을 위한 ai 기반의 비전 검사 관리 시스템
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2022086147A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2023286917A1 (ko) 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
WO2022075714A1 (ko) 화자 인식을 위한 음성인식기 기반 풀링 기법의 화자 임베딩 추출 방법 및 시스템, 그리고 이를 위한 기록매체
WO2021225296A1 (en) Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2021235701A1 (en) Method for performing adjustable continual learning on deep neural network model by using selective deep generative replay module and device using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536348

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19936304

Country of ref document: EP

Kind code of ref document: A1